特許 6483446 複合線判定装置及び複合線判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6483446

(24)【登録日】2019年2月22日

(45)【発行日】2019年3月13日

(54)【発明の名称】複合線判定装置及び複合線判定方法

(51)【国際特許分類】

   G06T 7/60 20170101AFI20190304BHJP

   G08G 1/16 20060101ALI20190304BHJP

   G06T 1/00 20060101ALI20190304BHJP

【ＦＩ】

   G06T7/60 200J

   G08G1/16 C

   G06T1/00 330A

【請求項の数】4

【全頁数】17

(21)【出願番号】特願2015-6155(P2015-6155)

(22)【出願日】2015年1月15日

(65)【公開番号】特開2016-133838(P2016-133838A)

(43)【公開日】2016年7月25日

【審査請求日】2017年11月24日

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】片岡 祐介

(72)【発明者】

【氏名】川嵜 直輝

(72)【発明者】

【氏名】酒井 唯史

(72)【発明者】

【氏名】渡邉 章弘

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１３−２１０９９１（ＪＰ，Ａ）

【文献】 特開２０１２−１６８８８４（ＪＰ，Ａ）

【文献】 特開２００５−１５７７３１（ＪＰ，Ａ）

【文献】 特開２００５−１４８３０８（ＪＰ，Ａ）

【文献】 特開２００５−１００００１（ＪＰ，Ａ）

【文献】 特開２００３−１７８３９９（ＪＰ，Ａ）

【文献】 国際公開第２０１４／００７１７５（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／１３３０８６（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

車両の走行路を撮像した走行路画像に基づいて前記走行路の区画線が複合線であるか単線であるかを判定する複合線判定装置であって、
前記走行路画像において、前記区画線が表示される位置に区画線表示領域を設定し、前記区画線表示領域より前記走行路の中央側の位置であって前記区画線以外の路面が表示される位置に路面表示領域を設定する設定部と、
前記区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値を算出し、前記路面表示領域を構成する複数の画素の輝度状態を表す路面代表値を算出する算出部と、
前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上である場合に前記区画線が前記複合線であると判定し、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上でない場合に前記区画線が前記単線であると判定する判定部と、
を備える複合線判定装置。

【請求項2】

前記算出部は、前記区画線代表値として前記区画線表示領域を構成する複数の画素の輝度値の中央値を算出し、前記路面代表値として前記路面表示領域を構成する複数の画素の輝度値の中央値を算出する、
請求項１に記載の複合線判定装置。

【請求項3】

前記算出部は、前記区画線代表値として前記区画線表示領域を構成する複数の画素の輝度値の平均値を算出し、前記路面代表値として前記路面表示領域を構成する複数の画素の輝度値の平均値を算出する、
請求項１に記載の複合線判定装置。

【請求項4】

車両の走行路を撮像した走行路画像に基づいて前記走行路の区画線が複合線であるか単線であるかを複合線判定装置により判定する複合線判定方法であって、
前記走行路画像において、前記区画線が表示される位置に区画線表示領域を設定し、前記区画線表示領域より前記走行路の中央側の位置であって前記区画線以外の路面が表示される位置に路面表示領域を設定する設定ステップと、
前記区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値を算出し、前記路面表示領域を構成する複数の画素の輝度状態を表す路面代表値を算出する算出ステップと、
前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上である場合に前記区画線が前記複合線であると判定し、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上でない場合に前記区画線が前記単線であると判定する判定ステップと、
を含む複合線判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、走行路の区画線が複合線であるかどうかを判定する複合線判定装置及び複合線判定方法に関する。

【背景技術】

【0002】

従来、車両の走行路の区画線が複合線であるかどうかを判定する技術として、特開２００５−１４１４８７号公報に記載されるように、車両の走行路を撮像した画像に基づいて走行路の境界線の種類を判定する技術が知られている。この判定技術は、画像上において水平となるレーン探索ラインを設定し、そのレーン探索ラインを用いてレーン候補点を検出し、そのレーン候補点の密度や形状によってレーンの境界線の種類を判定して、走行路の境界線を確実に認識しようとするものである。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００５−１４１４８７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した判定技術にあっては、走行路の区画線の判定精度が不十分になる場合がある。例えば、走行路の遠方など画像を撮像するカメラの解像度が低下するような状況においては、レーン候補点の検出精度が低下し、その候補点の数を正確に特定することが困難となる。このため、車線の区画線が複合線であるのか単線であるのかを判定する判定精度が低下する。

【0005】

そこで、本技術分野において、走行路の区画線が複合線であるか否かの判定精度の向上が図れる複合線判定装置及び複合線判定方法の開発が望まれている。

【課題を解決するための手段】

【0006】

すなわち、本発明の一側面における複合線判定装置は、車両の走行路を撮像した走行路画像に基づいて前記走行路の区画線が複合線であるか単線であるかを判定する複合線判定装置であって、前記走行路画像において、前記区画線が表示される位置に区画線表示領域を設定し、前記区画線表示領域より前記走行路の中央側の位置であって前記区画線以外の路面が表示される位置に路面表示領域を設定する設定部と、前記区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値を算出し、前記路面表示領域を構成する複数の画素の輝度状態を表す路面代表値を算出する算出部と、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上である場合に前記区画線が前記複合線であると判定し、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上でない場合に前記区画線が前記単線であると判定する判定部とを備えて構成される。

【0007】

この装置によれば、区画線表示領域の輝度状態を表す区画線代表値と路面表示領域の輝度状態を表す路面代表値の乖離度合いが予め設定される閾値以上である場合に区画線が複合線であると判定することにより、区画線の位置を正確に検出できなくても複合線であるか否かの判定が行える。このため、走行路画像の解像度の低下などにより区画線の位置の検出精度が低下する場合であっても、複合線の判定精度の低下を抑制でき、複合線の判定精度の向上が図れる。

【0008】

また、複合線判定装置において、前記算出部は、前記区画線代表値として前記区画線表示領域を構成する複数の画素の輝度値の中央値を算出し、前記路面代表値として前記路面表示領域を構成する複数の画素の輝度値の中央値を算出してもよい。この場合、区画線代表値として区画線表示領域を構成する複数の画素の輝度値の中央値を算出し、路面代表値として路面表示領域を構成する複数の画素の輝度値の中央値を算出することにより、区画線代表値及び路面代表値を簡易な演算処理により算出することができる。このため、複合線判定が迅速に行える。

【0009】

また、複合線判定装置において、前記算出部は、前記区画線代表値として前記区画線表示領域を構成する複数の画素の輝度値の平均値を算出し、前記路面代表値として前記路面表示領域を構成する複数の画素の輝度値の平均値を算出してもよい。この場合、区画線代表値として区画線表示領域を構成する複数の画素の輝度値の平均値を算出し、路面代表値として路面表示領域を構成する複数の画素の輝度値の平均値を算出することにより、区画線代表値及び路面代表値を簡易な演算処理により算出することができる。このため、複合線判定が迅速に行える。

【0010】

また、本発明の一側面における複合線判定方法は、車両の走行路を撮像した走行路画像に基づいて前記走行路の区画線が複合線であるか単線であるかを複合線判定装置により判定する複合線判定方法であって、前記走行路画像において、前記区画線が表示される位置に区画線表示領域を設定し、前記区画線表示領域より前記走行路の中央側の位置であって前記区画線以外の路面が表示される位置に路面表示領域を設定する設定ステップと、前記区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値を算出し、前記路面表示領域を構成する複数の画素の輝度状態を表す路面代表値を算出する算出ステップと、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上である場合に前記区画線が前記複合線であると判定し、前記区画線代表値と前記路面代表値の乖離度合いが予め設定される閾値以上でない場合に前記区画線が前記単線であると判定する判定ステップとを含んで構成される。この方法によれば、区画線表示領域の輝度状態を表す区画線代表値と路面表示領域の輝度状態を表す路面代表値の乖離度合いが予め設定される閾値以上である場合に区画線が複合線であると判定することにより、区画線の位置を正確に検出できなくても複合線であるか否かの判定が行える。このため、走行路画像の解像度の低下などにより区画線の位置の検出精度が低下する場合であっても、複合線の判定精度の低下を抑制でき、複合線の判定精度の向上が図れる。

【発明の効果】

【0011】

本発明によれば、走行路の区画線が複合線であるか否かの判定の精度を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の第一実施形態に係る複合線判定装置の構成概要図である。

【図2】図１の複合線判定装置で用いられる走行路画像の説明図である。

【図3】図１の複合線判定装置における領域設定の説明図である。

【図4】図１の複合線判定装置における領域設定の説明図である。

【図5】図１の複合線判定装置における複合線判定処理のフローチャートである。

【図6】図１の複合線判定装置を用いた区画線検出装置の構成概要図である。

【図7】図６の区画線検出装置で用いられる走行路画像の説明図である。

【図8】図６の区画線検出装置におけるエッジ点の中央位置投票の説明図である。

【図9】図６の区画線検出装置におけるエッジ点の中央位置投票の説明図である。

【図10】本発明の第二実施形態に係る複合線判定装置の構成概要図である。

【図11】図１０の複合線判定装置における複合線判定処理のフローチャートである。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施形態について説明する。なお、以下の説明において、同一要素には同一符号を付し、重複する説明を省略する。
（第一実施形態）

【0014】

図１は、本発明の第一実施形態に係る複合線判定装置１の構成概要図である。図２は、複合線判定装置１の複合線判定に用いられる走行路画像の説明図である。

【0015】

図１に示されるように、複合線判定装置１は、車両に搭載されたカメラ２により撮像された走行路画像を用いて車両の走行路の区画線が複合線であるか否かを判定する装置である。走行路の区画線は、走行路の路面に表示され車線を区画する線であって、白線又はレーンマーカと称され、車道中央線、車線境界線、車道外側線を含む。車道中央線は、走行方向の異なる複数の車線を区画するための線であって、センターラインと称される。車線境界線は、同じ走行方向で隣接する車線の間の境界を示す線である。車道外側線は、走行路の路端側に引かれる線である。複合線は、区画線が複数の線により構成されるものであり、単線のみの区画線以外の区画線である。

【0016】

複合線判定装置１は、例えば、ＥＣＵ（Electronic Control Unit）１０によって構成され、判定ライン設定部１１、領域設定部１２、輝度状態算出部１３及び複合線判定部１４を備える。ＥＣＵ１０は、複合線判定制御処理を行う電子制御ユニットであり、例えばＣＰＵ、ＲＯＭ、ＲＡＭを含むコンピュータを主体として構成されている。このＥＣＵ１０は、複合線判定装置１のみを構成するものでもよいし、複合線判定装置１以外の機能を備えるものであってもよいし、その他の装置としても機能するものであってもよい。判定ライン設定部１１、領域設定部１２、輝度状態算出部１３及び複合線判定部１４は、例えば、それぞれの機能を実現するソフトウェア又はプログラムをＥＣＵ１０に導入することにより構成される。また、判定ライン設定部１１、領域設定部１２、輝度状態算出部１３及び複合線判定部１４の一部又は全部を個別の電子制御ユニットにより構成してもよい。

【0017】

複合線判定装置１には、カメラ２及び出力装置３が接続されている。カメラ２は、車両の周囲を撮像する撮像部として機能するものであり、例えば車両の進行方向の周囲を撮影できるように取り付けられる。カメラ２は、走行路を撮像した走行路画像の画像情報をＥＣＵ１０に入力する。カメラ２としては、画像を構成する画素の輝度情報ないし輝度値を取得できるものであれば、いずれのカメラを用いてもよい。例えば、カメラ２により撮像される画像はカラーでもモノクロであってもよいし、カメラ２の撮像波長帯は可視波長でも近赤外波長であってもよい。

【0018】

出力装置３は走行路の区画線が複合線であるか否かの情報を用いて車両の制御を行う装置であり、例えばレーントレース制御装置や車線逸脱抑制制御装置などが該当する。

【0019】

判定ライン設定部１１は、走行路を撮像した走行路画像に対し判定ラインを設定する。判定ラインは、走行路の区画線が複合線であるか否かを判定する領域又は位置を示すためのラインである。

【0020】

例えば、図２に示すように、走行路を撮像した走行路画像６０には、車線の右側の区画線６１と左側の区画線６２が表示される。区画線６１、６２は、遠ざかるほど画像６０の中央方向の上方へ延びるように表示される。ここでは、区画線６１は、複合線であって、実線６１ａの内側へ破線状の補助線６１ｂを表示するものとなっている。また、区画線６２は、複合線であって、実線６２ａの内側と外側の双方に破線状の補助線６２ｂ、６２ｂを表示するものとなっている。複合線の態様は、図２の区画線６１、６２以外の形態も含む。

【0021】

この区画線６１、６２が複合線であるか否かを判定すべく、走行路画像６０に判定ライン６３が設定される。判定ライン６３は、区画線６１、６２に対し交差する方向に向けて設定され、例えば走行路画像６０上にて水平方向ないし横方向に向けて設定される。判定ライン６３は、走行路に沿って所定距離を離して複数設定される。例えば、走行路に沿って一定距離を隔てて複数設定される。複数の判定ライン６３が設定される範囲は、予め設定される範囲とされる。

【0022】

図１において、領域設定部１２は、走行路画像について、区画線が表示される位置に区画線表示領域を設定し、その区画線表示領域より走行路の中央側の位置であって区画線以外の路面が表示される位置に路面表示領域を設定する。区画線表示領域は区画線を含む表示領域であればよく、必ずしも区画線のみを表示する領域でなくてもよい。路面表示領域は、区画線でない路面を表示する領域である。この区画線表示領域および路面表示領域は、走行路画像に設定される判定ラインに沿って並べて設定される。

【0023】

例えば、図３に示すように、判定ライン６３に沿って区画線表示領域Ｒ１および路面表示領域Ｒ２が並べて設定される。図３では、説明の便宜上、区画線表示領域Ｒ１および路面表示領域Ｒ２の範囲が矢印で示されているが、画像上では、区画線表示領域Ｒ１および路面表示領域Ｒ２は、複数の画素による領域として設定され、横長の領域として設定される。具体的には、区画線表示領域Ｒ１および路面表示領域Ｒ２は、縦に一画素、横に複数画素の大きさの領域として設定される。また、区画線表示領域Ｒ１および路面表示領域Ｒ２は、縦に二以上の画素として設定されてもよい。さらに、区画線表示領域Ｒ１及び路面表示領域Ｒ２において、横方向の画素数は異なるように設定されてもよい。

【0024】

区画線表示領域Ｒ１の横方向の位置は、区画線６１が表示される位置に基づいて設定される。例えば、繰り返し行われる複合線判定処理において、前回の判定における区画線６１の位置情報を用いて区画線表示領域Ｒ１の位置を設定すればよい。また、初回の区画線表示領域Ｒ１の位置は予め設定された位置とし、区画線６１の検出位置に応じてその後の位置を調整すればよい。

【0025】

区画線表示領域Ｒ１の横方向の長さＬ１は、複合線が表示可能な長さに設定される。また、区画線表示領域Ｒ１の横方向の長さＬ１は、例えば、区画線表示領域Ｒ１の半分以上に複合線の線部分が表示される長さであって、区画線表示領域Ｒ１の半分以上に単線の線部分以外の路面が表示される長さに設定されてもよい。具体的には、図３において、区画線６１が複合線の場合、区画線６１の実線６１ａの長さをＬ１１、補助線６１ｂの長さをＬ１２とすると、区画線表示領域Ｒ１の横方向の長さＬ１は、Ｌ１／２≦Ｌ１１＋Ｌ１２を満たすように設定される。一方、区画線６１が実線６１ａのみの単線の場合、区画線表示領域Ｒ１の横方向の長さＬ１は、Ｌ１／２≦Ｌ１−Ｌ１１を満たすように設定される。このように区画線表示領域Ｒ１の横方向の長さＬ１を設定することにより、複合線の判定処理が容易に行える。すなわち、区画線表示領域Ｒ１を構成する画素の輝度値の中央値を演算した場合、区画線６１が複合線の場合には中央値が白線の輝度値又はほぼ白線の輝度値となり、区画線６１が単線の場合には中央値が路面の輝度値又はほぼ路面の輝度値となり、判別処理が簡易な演算で行え、判別精度が高くなる。

【0026】

なお、中央値は、統計処理で一般に用いられる中央値であり、区画線表示領域Ｒ１の画素の輝度値を小さく順又は大きい順に並べたときの中央に位置する値である。区画線表示領域Ｒ１の横方向の画素数が偶数の場合には、中央に近い二つの画素の輝度値のいずれかを選択してもよいし、その二つの画素の輝度値の平均値を中央値としてもよい。ここで、区画線表示領域Ｒ１の横方向の長さＬ１は区画線表示領域Ｒ１の横方向の画素数に比例している。このため、ここでの説明は、長さＬ１を区画線表示領域Ｒ１の横方向の画素数として読み替えることができる。

【0027】

図３において、路面表示領域Ｒ２は、区画線表示領域Ｒ１より走行路の中央側の位置であって、区画線表示領域Ｒ１から所定の距離Ｌ３を離した位置に設定される。路面表示領域Ｒ２の横方向の長さＬ２は、区画線表示領域Ｒ１と同じ長さでもよいが、区画線表示領域Ｒ１の横方向の長さＬ１より短く設定してもよい。この場合、路面表示領域Ｒ２に路面標示が表示されることが抑制され、走行路の路面の輝度状態を適切に算出することが可能となる。ここで、路面標示は、走行路の路面に表示される最高速度の標示などが該当する。

【0028】

図４に示すように、区画線６１が実線６１ａと二つの補助線６１ｂにより構成される場合、区画線表示領域Ｒ１の横方向の長さＬ１は、その長さＬ１の半分の長さが実線６１ａと二つの補助線６１ｂの幅の合計長さ以下になるように設定すればよい。これにより、上述と同様に、複合線の判定処理が容易に行える。

【0029】

なお、図３、４においては、車線の右側の区画線６１の領域設定について説明したが、同様にして、車線の左側の区画線６２についても領域設定が行われる。また、走行路画像６０において複数の判定ライン６３が設定された場合には、判定ライン６３ごとに区画線表示領域Ｒ１及び路面表示領域Ｒ２が設定される。

【0030】

図１において、輝度状態算出部１３は、区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値を算出又は演算し、路面表示領域を構成する複数の画素の輝度状態を表す路面代表値を算出し又は演算する算出部ないし演算部である。例えば、輝度状態算出部１３は、区画線代表値として区画線表示領域を構成する複数の画素の輝度値の中央値を算出し、路面代表値として路面表示領域を構成する複数の画素の輝度値の中央値を算出する。具体的には、輝度状態算出部１３は、区画線表示領域を構成する全ての画素の輝度値を演算し、それらの画素の輝度値を小さい順又は大きい順に並べたときの中央の輝度値を中央値として算出する。また、輝度状態算出部１３は、路面表示領域を構成する全ての画素の輝度値を演算し、それらの画素の輝度値を小さい順又は大きい順に並べたときの中央の輝度値を中央値として算出する。その際、区画線表示領域および路面表示領域において、画素数が偶数の場合には、中央に位置する二つ輝度値のうちいずれかを領域の中央値としてもよいし、二つの輝度値の平均値を中央値としてもよい。

【0031】

なお、区画線表示領域を構成する複数の画素の輝度状態を表す区画線代表値及び路面表示領域を構成する複数の画素の輝度状態を表す路面代表値は、領域の画素の輝度状態を表す代表値であれば、中央値以外の値であってもよい。例えば、領域の画素の平均値を代表値として算出してもよい。

【0032】

複合線判定部１４は、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いが予め設定される閾値以上である場合に区画線が複合線であると判定する。また、複合線判定部１４は、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いが閾値以上でない場合に区画線が複合線でなく、単線であると判定する。走行路の区画線が複合線の場合には、区画線が単線の場合と比べて、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いが大きくなるため、その乖離度合いに基づいて区画線が複合線であるか否かを判定することが可能となる。

【0033】

例えば、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いとしては、区画線代表値と路面代表値の比率が用いられる。判定に用いられる比率の閾値は、予め複合線判定部１４に設定される値が用いられる。具体的には、区画線代表値をｐｖ２、路面代表値をｐｖ１とした場合、その比率ｐｖ２／ｐｖ１が予め設定される比率の閾値Ｓ以上であるか否かが判定される。比率ｐｖ２／ｐｖ１が閾値Ｓ以上である場合には区画線が複合線であると判定され、比率ｐｖ２／ｐｖ１が閾値Ｓ以上でない場合には区画線が複合線でないと判定される。

【0034】

また、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いとしては、区画線代表値と路面代表値の差又はその差の絶対値を用いることもできる。判定に用いられる閾値は、予め複合線判定部１４に設定される値が用いられる。この場合、例えば、区画線代表値と路面代表値の差の絶対値が閾値以上である場合には区画線が複合線であると判定され、区画線代表値と路面代表値の差の絶対値が閾値以上でない場合には区画線が複合線でないと判定される。

【0035】

なお、区画線表示領域の区画線代表値と路面表示領域の路面代表値の乖離度合いは、区画線代表値及び路面代表値の輝度値の乖離度合いが判断できるものであれば、区画線代表値と路面代表値の比率及び差以外の値を用いて算出してもよい。

【0036】

次に、本実施形態に係る複合線判定装置１の動作及び本実施形態に係る複合線判定方法について説明する。

【0037】

図５は、本実施形態に係る複合線判定装置１及び複合線判定方法における複合線判定処理を示すフローチャートである。複合線判定処理は、例えば車両制御又は運転支援制御の開始に応じ、ＥＣＵ１０によって開始され、所定の周期で繰り返し実行される。

【0038】

まず、図５のステップＳ１０（以下、単に「Ｓ１０」という。他のステップＳについても同様とする。）に示すように、走行路画像の読み込み処理が行われる。走行路画像の読み込み処理は、カメラ２により撮像された画像データを読み込む処理である。例えば、図２に示すような走行路画像６０の画像データが読み込まれる。

【0039】

そして、図５のＳ１２に処理が移行し、判定ライン設定処理が行われる。判定ライン設定処理は判定ライン設定部１１により行われ、図２に示すように、走行路画像６０に対し判定ライン６３の設定が行われる。判定ライン６３は、走行路画像６０に対し水平方向ないし横方向に向けて設定され、走行路に沿って所定距離を隔てて複数設定される。

【0040】

そして、図５のＳ１４に処理が移行し、領域設定処理が行われる。領域設定処理は、区画線表示領域及び路面表示領域を設定する処理であり、領域設定部１２により行われる。すなわち、走行路画像について、区画線が表示される位置に区画線表示領域が設定され、その区画線表示領域より走行路の中央側の位置であって区画線以外の路面が表示される位置に路面表示領域が設定される。

【0041】

例えば、図３に示すように、判定ライン６３に沿って区画線表示領域Ｒ１および路面表示領域Ｒ２が並べて設定される。区画線表示領域Ｒ１の横方向の位置は区画線６１が表示される位置に基づいて設定される。例えば、繰り返し行われる複合線判定処理において、前回の判定における区画線６１の位置情報を用いて区画線表示領域Ｒ１の位置が設定される。そして、路面表示領域Ｒ２は、区画線表示領域Ｒ１より走行路の中央側の位置であって、区画線表示領域Ｒ１から所定の距離Ｌ３を離した位置に設定される。路面表示領域Ｒ２の横方向の長さＬ２は、区画線表示領域Ｒ１と同じ長さでもよいが、区画線表示領域Ｒ１の横方向の長さＬ１より短く設定してもよい。

【0042】

区画線表示領域Ｒ１及び路面表示領域Ｒ２の領域設定は、左右の区画線６１、６２について行われる。また、区画線表示領域Ｒ１及び路面表示領域Ｒ２の領域設定は、判定ライン６３についてそれぞれ行われる。

【0043】

そして、図５のＳ１６に処理が移行し、輝度状態算出処理が行われる。輝度状態算出処理は、区画線表示領域Ｒ１を構成する複数の画素の輝度状態を表す区画線代表値を算出又は演算し、路面表示領域Ｒ２を構成する複数の画素の輝度状態を表す路面代表値を算出し又は演算する処理であり、輝度状態算出部１３により実行される。例えば、区画線代表値として区画線表示領域Ｒ１を構成する複数の画素の輝度値の中央値が算出され、路面代表値として路面表示領域Ｒ２を構成する複数の画素の輝度値の中央値が算出される。なお、区画線代表値及び路面代表値として、輝度値の平均値を用いてもよいし、その他、区画線表示領域Ｒ１及び路面表示領域Ｒ２の画素の輝度状態を示す値を用いてもよい。

【0044】

そして、Ｓ１８に処理が移行し、区画線代表値と路面代表値の乖離度合いが閾値以上であるか否かが判定される。この判定処理は、複合線判定部１４により行われ、区画線代表値及び路面代表値の乖離度合いとして、例えば、区画線代表値及び路面代表値の比率が用いられる。具体的には、区画線代表値をｐｖ２、路面代表値をｐｖ１とした場合、その比率ｐｖ２／ｐｖ１が予め設定される比率の閾値Ｓ以上であるか否かが判定される。比率ｐｖ２／ｐｖ１が閾値Ｓ以上である場合には区画線が複合線であると判定され（Ｓ２０）、比率ｐｖ２／ｐｖ１が閾値Ｓ以上でない場合には区画線が複合線でなく単線であると判定される（Ｓ２２）。

【0045】

なお、区画線代表値及び路面代表値の乖離度合いとして、区画線代表値及び路面代表値の差を用いてもよいし、また、区画線代表値及び路面代表値の輝度値の乖離度合いが判断できるものであれば、区画線代表値と路面代表値の比率及び差以外の値を用いてもよい。Ｓ２０又はＳ２２の処理を終えたら、一連の制御処理を終了する。

【0046】

なお、図５の一連の制御処理において、制御結果に影響を及ぼさなければ、制御処理の順番を入れ替えてもよいし、制御処理の一部の実行を省略してもよい。

【0047】

次に、本実施形態に係る複合線判定装置１を用いた区画線検出装置について説明する。

【0048】

図６は、本実施形態に係る複合線判定装置１を用いた区画線検出装置９０の構成概要図である。図７は、車両の走行路を撮像した走行路画像の説明図である。

【0049】

区画線検出装置９０は、車両の走行路の路面に表示される区画線を検出する装置である。この区画線検出装置９０は、走行路を撮像した走行路画像に基づいて、区画線が複合線であるか非複合線であるかを判定し、複合線領域と非複合線領域に応じて特徴点の検出手法を異ならせて区画線を検出するものである。

【0050】

区画線検出装置９０は、ＥＣＵ１０を備えている。このＥＣＵ１０は、上述した複合線判定装置１のＥＣＵ１０に対し区画線を検出する機能を追加したものである。ＥＣＵ１０は、エッジ点検出部４０、エッジ線分検出部４１、複合線判定装置１、非複合線領域演算部４３、複合線領域演算部４４、車線境界点統合部４５及び白線パラメータ推定部４６を備えている。

【0051】

エッジ点検出部４０は、カメラ２により撮像される走行路画像においてエッジ点を検出する。エッジ点は、走行路画像の隣り合う画素と画素の輝度値が所定値以上に変化する点である。エッジ点の検出手法は公知のものを用いることができる。図７に示すように、走行路画像５３に対し横方向に設定される判定ライン（図７の一点鎖線）において、エッジ点検出部４０はエッジ点を検出する。判定ラインは走行路に沿って所定の間隔で複数設定され、その判定ラインごとにエッジ点が検出される。

【0052】

エッジ線分検出部４１は、エッジ点検出部４０により検出されるエッジ点の情報に基づいて、エッジ点を結ぶエッジ線分を検出ないし演算する。すなわち、判定ラインごとに検出されるエッジ点について隣接する同士を結ぶようにエッジ線分が演算される。エッジ線分の演算手法としては、例えばハフ変換が用いられる。また、エッジ線分を演算できれば、その他の手法等を用いてもよい。このエッジ線分の演算は、車線の右側及び左側の区画線付近について行われる。

【0053】

複合線判定装置１は、上述したものが用いられ、走行路画像に基づいて区画線が複合線であるか非複合線であるかを判定する。

【0054】

非複合線領域演算部４３は、区画線が非複合線である走行路の領域である非複合線領域Ｂについて、区画線の車線境界線分５４の検出を行い、車線境界線分５４から車線境界点５５を抽出する。この非複合線領域演算部４３は、車線境界線分検出部４３ａと車線境界点抽出部４３ｂを備えている。

【0055】

車線境界線分検出部４３ａは、区画線の車線境界線分５４を検出する。例えば、車線境界線分検出部４３ａは、エッジ線分検出部４１により検出されたエッジ線分の位置、長さ、傾き等に基づいて、検出されたエッジ線分の中から最も車線中央側のエッジ線分を車線境界線分５４として検出する。この車線境界線分５４の検出は、車線幅方向の左右の位置においてそれぞれ行われる。

【0056】

車線境界点抽出部４３ｂは、車線境界線分検出部４３ａにより検出される車線境界線分５４に基づいて車線境界点５５を抽出する。例えば、車線境界点抽出部４３ｂは、判定ラインごとに、各車線境界線分５４を構成するエッジ点を逆引き、分解し、これを車線境界点５５とする。この車線境界点５５の抽出は、車線幅方向の左右の位置においてそれぞれ行われる。

【0057】

複合線領域演算部４４は、区画線が複合線である走行路の領域である複合線領域Ａについて、複合線５２の中央点の候補点５６を算出する。例えば、複合線領域演算部４４は、複合線５２のエッジ点群における所定の中央位置への投票を行い、その投票ピーク点を複合線５２の中央点の候補点５６として算出する。複合線領域演算部４４は、エッジ点群中央位置投票部４４ａ、投票ピーク点抽出部４５ｂを備えている。

【0058】

例えば、図８に示すように、エッジ点群中央位置投票部４４ａは、車線境界線５０及び補助線５１を示すと推定される上がりエッジ点５８ａ、５８ｂ、５８ｃを選定すると共に、下がりエッジ点５９ａ、５９ｂ、５９ｃを選定する。そして、エッジ点群中央位置投票部４４ａは、車線幅方向に沿った間隔が所定の閾値内である組み合わせとして、例えば、上がりエッジ点５８ａと下がりエッジ点５９ａ、上がりエッジ点５９ａと下がりエッジ点５８ｂ、上がりエッジ点５９ａと下がりエッジ点５８ｃ、上がりエッジ点５８ｂと下がりエッジ点５９ｂ、上がりエッジ点５９ｂと下がりエッジ点５８ｃ、上がりエッジ点５８ｃと下がりエッジ点５９ｃを選定する。そして、エッジ点群中央位置投票部４４ａは、上がりエッジ点５８ａと下がりエッジ点５９ａの中央位置Ｃ１、上がりエッジ点５９ａと下がりエッジ点５８ｂの中央位置Ｃ２、上がりエッジ点５９ａと下がりエッジ点５８ｃの中央位置Ｃ３、上がりエッジ点５８ｂと下がりエッジ点５９ｂの中央位置Ｃ４、上がりエッジ点５９ｂと下がりエッジ点５８ｃの中央位置Ｃ５、上がりエッジ点５８ｃと下がりエッジ点５９ｃの中央位置Ｃ６に投票を行う。

【0059】

また、エッジ点群中央位置投票部４４ａは、図９の例では、車線境界線５０及び補助線５１を示すと推定される上がりエッジ点５８ｄ、５８ｅを選定すると共に、下がりエッジ点５９ｄ、５９ｅを選定する。そして、エッジ点群中央位置投票部４４ａは、車線幅方向に沿った間隔が所定の閾値内である組み合わせとして、例えば、上がりエッジ点５８ｄと下がりエッジ点５９ｄ、上がりエッジ点５９ｄと下がりエッジ点５８ｅ、上がりエッジ点５８ｅと下がりエッジ点５９ｅを選定する。そして、エッジ点群中央位置投票部４４ａは、上がりエッジ点５８ｄと下がりエッジ点５９ｄの中央位置Ｃ７、上がりエッジ点５９ｄと下がりエッジ点５８ｅの中央位置Ｃ８、上がりエッジ点５８ｅと下がりエッジ点５９ｅの中央位置Ｃ９に投票を行う。

【0060】

投票ピーク点抽出部４５ｂは、エッジ点群中央位置投票部４４ａによる投票に応じて複合線５２の中央点の候補点５６を算出する。例えば、投票ピーク点抽出部４５ｂは、投票数が最も多い中央位置、すなわち投票ピーク点を複合線５２の中央点の候補点５６として算出する。具体的には、図８の例では、中央位置Ｃ３、Ｃ４が投票ピーク点であるので、この中央位置Ｃ３又はＣ４が複合線５２の中央点の候補点５６として算出される。また、図９の例では、中央位置Ｃ７、Ｃ８、Ｃ９が同じ投票数であるので、中央位置Ｃ７、Ｃ８、Ｃ９がすべて複合線５２の中央点の候補点５６として算出される。

【0061】

図６において、車線境界点統合部４５は、複合線領域演算部４４により算出される複合線５２の中央点の候補点５６と非複合線領域演算部４３により算出される車線境界点５５に基づいて、統合車線境界点群５７を生成する。

【0062】

白線パラメータ推定部４６は、統合車線境界点群５７に基づいて、車線境界線５０を表す車線境界線パラメータとして白線パラメータを推定する。例えば、白線パラメータ推定部４６は、車線境界点統合部４５により統合された統合車線境界点群５７に対しモデルフィッティングすることで白線パラメータを推定する。具体的には、白線パラメータ推定部４６は、最小二乗法等を用いて統合車線境界点群５７から車線境界線５０の車線中央側のエッジ線を表す曲線を推定する。白線パラメータは、例えば曲線を表す数式の係数として推定される。

【0063】

このように、走行路の区画線について複合線領域と非複合線領域に分けて区画線検出を行う区画線検出装置９０に対して、本実施形態に係る複合線判定装置１を用いることにより、複合線判定が正確に行えるため、精度の高い区画線検出が可能となる。

【0064】

なお、本実施形態に係る複合線判定装置１は、上述した区画線検出装置９０以外の装置などに用いてもよい。

【0065】

以上説明したように、本実施形態に係る複合線判定装置１及び複合線判定方法によれば、区画線表示領域の輝度状態を表す区画線代表値と路面表示領域の輝度状態を表す路面代表値の乖離度合いが予め設定される閾値以上である場合に区画線が複合線であると判定することにより、区画線の位置を正確に検出できなくても複合線であるか否かの判定が行える。このため、走行路画像の解像度の低下などにより区画線の位置の検出精度が低下する場合であっても、複合線の判定精度の低下を抑制でき、複合線の判定精度の向上が図れる。

【0066】

例えば、図３に示すように、区画線表示領域Ｒ１の輝度状態を表す区画線代表値と路面表示領域Ｒ２の輝度状態を表す路面代表値の乖離度合いが予め設定される閾値以上である場合に区画線が複合線であると判定される。区画線６１が複合線の場合には、区画線６１が単線の場合と比べて、区画線表示領域Ｒ１に占める区画線６１の領域が多くなり、輝度値の状態が領域全体で高くなる。このため、区画線代表値と路面代表値の乖離度合いが大きくなる。一方、区画線６１が単線の場合には、区画線６１が複合線の場合と比べて、区画線表示領域Ｒ１に占める区画線６１の領域が少なくなり、輝度値の状態が領域全体で低くなる。このため、区画線代表値と路面代表値の乖離度合いが小さくなる。従って、区画線代表値と路面代表値の乖離度合いに基づいて、区画線６１が複合線であるか否かを判定することが可能となる。

【0067】

また、区画線代表値と路面代表値の乖離度合いに基づいて、区画線６１が複合線であるか否かを判定することにより、区画線６１の位置又は区画線６１における輝度勾配を正確に検出できなくても、区画線６１が複合線であるか否かの判定が行える。車両から離れるほど区画線６１の画像の解像度が低下する状態となるが、そのような場合であっても複合線の判定精度の低下を抑制できるため、複合線の判定精度の向上が図れることとなる。

【0068】

また、本実施形態に係る複合線判定装置１及び複合線判定方法において、区画線代表値として区画線表示領域を構成する複数の画素の輝度値の中央値を算出し、路面代表値として路面表示領域を構成する複数の画素の輝度値の中央値を算出することにより、区画線代表値及び路面代表値を簡易な演算処理により算出することができる。このため、複合線判定が迅速に行える。

【0069】

また、本実施形態に係る複合線判定装置１及び複合線判定方法において、区画線代表値として区画線表示領域を構成する複数の画素の輝度値の平均値を算出し、路面代表値として路面表示領域を構成する複数の画素の輝度値の平均値を算出することにより、区画線代表値及び路面代表値を簡易な演算処理により算出することができる。このため、複合線判定が迅速に行える。
（第二実施形態）

【0070】

次に、本発明の第二実施形態について説明する。

【0071】

図１０は、第二実施形態に係る複合線判定装置１ａの構成概要図である。

【0072】

本実施形態に係る複合線判定装置１ａは、第一実施形態に係る複合線判定装置１とほぼ同様に構成されるが、エッジ検出部１５を備える点、および、複合線判定部１４にて走行路画像のエッジ点の数を用いて区画線が複合線であるか否かの判定を行う点で異なっている。

【0073】

図１０において、エッジ検出部１５は、区画線表示領域Ｒ１及び路面表示領域Ｒ２におけるエッジ点を検出する。エッジ点は、区画線表示領域Ｒ１及び路面表示領域Ｒ２において、隣り合う画素の間の輝度値の変化量（輝度勾配）が所定値以上となる点である。このエッジ検出の手法は、公知の手法を用いることができる。

【0074】

複合線判定部１４は、第一実施形態に記載したように、区画線表示領域Ｒ１の区画線代表値と路面表示領域Ｒ２の路面代表値の乖離度合いが予め設定される閾値以上であるか否かを判定する。そして、複合線判定部１４は、区画線表示領域Ｒ１の区画線代表値と路面表示領域Ｒ２の路面代表値の乖離度合いが閾値以上でない場合には、区画線が複合線でないと判定する。一方、複合線判定部１４は、区画線表示領域Ｒ１の区画線代表値と路面表示領域Ｒ２の路面代表値の乖離度合いが閾値以上である場合には、エッジ検出部１５にて検出された区画線表示領域Ｒ１のエッジ点の数が予め設定される第二閾値以上であるか否かが判断される。ここで、区画線表示領域Ｒ１のエッジ点の数が予め設定される第二閾値以上である場合、区画線が複合線であると判定される。一方、区画線表示領域Ｒ１のエッジ点の数が第二閾値以上でない場合、区画線が単線であると判定される。

【0075】

このように、複合線判定部１４にて、区画線表示領域Ｒ１の区画線代表値と路面表示領域Ｒ２の路面代表値の乖離度合いだけでなく、区画線表示領域Ｒ１のエッジ点の数を考慮して、区画線が複合線であるか否かを判定することにより、区画線が通常より太い単線である場合に複合線であると誤判定することを抑制することができ、複合線判定の精度をより向上させることができる。

【0076】

また、複合線判定部１４において、区画線表示領域Ｒ１の区画線代表値と路面表示領域Ｒ２の路面代表値の乖離度合いが閾値以上である場合、エッジ検出部１５にて検出された区画線表示領域Ｒ１のエッジ点の数が予め設定される第二閾値以上であり、かつ、路面表示領域Ｒ２のエッジ点の数に対する区画線表示領域Ｒ１のエッジ点の数の比率が第三閾値以上であるか否かが判断してもよい。この場合、エッジ検出部１５にて検出された区画線表示領域Ｒ１のエッジ点の数が第二閾値以上であり、かつ、路面表示領域Ｒ２のエッジ点の数に対する区画線表示領域Ｒ１のエッジ点の数の比率が第三閾値以上である場合、区画線が複合線であると判定される。

【0077】

次に、第二実施形態に係る複合線判定装置１ａの動作及び複合線判定方法について説明する。

【0078】

図１１は、第二実施形態に係る複合線判定装置１ａ及び複合線判定方法の複合線判定処理を示すフローチャートである。この複合線判定処理は、例えば車両制御又は運転支援制御の開始に応じ、ＥＣＵ１０によって開始され、所定の周期で繰り返し実行される。

【0079】

まず、図１１のＳ１０〜Ｓ１８の処理は、図５のＳ１０〜Ｓ１８と同様に行われる。図１１のＳ１８にて、区画線代表値及び路面代表値の乖離度合いが閾値以上でないと判定された場合、区画線が複合線でなく単線であると判定される（Ｓ２２）。一方、Ｓ１８にて、区画線代表値と路面代表値の乖離度合いが閾値以上であると判定された場合、区画線表示領域Ｒ１におけて検出されたエッジ点の数が予め設定される第二閾値以上であるか否かが判断される（Ｓ１９）。Ｓ１９にて区画線表示領域Ｒ１において検出されたエッジ点の数が予め設定される第二閾値以上であると判断された場合、区画線が複合線であると判定される（Ｓ２０）。一方、Ｓ１９にて区画線表示領域Ｒ１において検出されたエッジ点の数が予め設定される第二閾値以上でないと判断された場合、区画線が単線であると判定される（Ｓ２２）。区画線が複合線の場合には、区画線が単線の場合と比べて、エッジ点が多くなることに着目して判定したものである。

【0080】

なお、Ｓ１９では、区画線表示領域Ｒ１において検出されたエッジ点の数が第二閾値以上であり、かつ、路面表示領域Ｒ２のエッジ点の数に対する区画線表示領域Ｒ１のエッジ点の数の比率が第三閾値以上であるか否かを判定してもよい。Ｓ２０又はＳ２２の処理を終えたら、一連の制御処理を終了する。この図１１の一連の制御処理において、制御結果に影響を及ぼさなければ、制御処理の順番を入れ替えてもよいし、制御処理の一部の実行を省略してもよい。

【0081】

以上説明したように、第二実施形態に係る複合線判定装置１ａ及び複合線判定方法によれば、第一実施形態に係る複合線判定装置１及び複合線判定方法により得られる作用効果に加え、区画線が通常より太い単線であった場合にその太い単線を複合線であると誤判定することを抑制することができ、より精度の高い複合線判定が行える。すなわち、第二実施形態に係る複合線判定装置１ａ及び複合線判定方法では、複合線判定部１４及び複合線判定処理においてエッジ点の数を考慮して区画線が複合線であるか否かを判定している。これにより、区画線が通常より太い単線であった場合にその太い単線を複合線であると誤判定することを抑制でき、より精度の高い複合線判定が行えることとなる。

【0082】

なお、上述した各実施形態は、本発明に係る複合線判定装置及び複合線判定方法の実施形態の一部を説明したものであり、本発明に係る複合線判定装置及び複合線判定方法は上記実施形態に記載されたものに限定されない。本発明に係る複合線判定装置及び複合線判定方法は、各請求項に記載した要旨を変更しないように上記実施形態に係る複合線判定装置及び複合線判定方法を変形し、又は他のものに適用したものであってもよい。

【符号の説明】

【0083】

１…複合線判定装置、２…カメラ、３…出力装置、１０…ＥＣＵ、１１…判定ライン設定部、１２…領域設定部、１３…輝度状態算出部、１４…複合線判定部、６０…走行路画像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】