特許 7606437 運転支援装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-17

(45)【発行日】2024-12-25

(54)【発明の名称】運転支援装置およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241218BHJP

   G06T 7/60 20170101ALI20241218BHJP

   G08G 1/16 20060101ALI20241218BHJP

   B60W 30/10 20060101ALI20241218BHJP

   B60W 40/06 20120101ALI20241218BHJP

   B60W 50/14 20200101ALI20241218BHJP

【ＦＩ】

G06T7/00 650A

G06T7/00 350B

G06T7/60 200J

G08G1/16 C

B60W30/10

B60W40/06

B60W50/14

【請求項の数】 8

(21)【出願番号】P 2021162045

(22)【出願日】2021-09-30

(65)【公開番号】P2023051408

(43)【公開日】2023-04-11

【審査請求日】2023-11-09

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100139480

【弁理士】

【氏名又は名称】日野 京子

(74)【代理人】

【識別番号】100125575

【弁理士】

【氏名又は名称】松田 洋

(74)【代理人】

【識別番号】100175134

【弁理士】

【氏名又は名称】北 裕介

(72)【発明者】

【氏名】熊野 俊也

(72)【発明者】

【氏名】鈴木 俊輔

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０２０－０６７６９８（ＪＰ，Ａ）

【文献】特開２０２０－１０１９３５（ＪＰ，Ａ）

【文献】特開２０１６－０８１３６１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

Ｂ６０Ｗ ３０／１０

Ｂ６０Ｗ ４０／０６

Ｂ６０Ｗ ５０／１４

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

車載カメラにより撮影した画像を取得する画像撮影部（１０）と、
センサにより計測した自車の状態量を取得する自車状態量センサ部（１１）と、
前記画像と、前記状態量とを用いて、前記自車の周囲の白線を認識することにより白線認識情報を算出する白線認識部（１２ａ）と、
前記白線認識情報に基づいて警報および前記自車の制御を行う警報／車両制御部（１３）と、を備え、
前記白線認識部は、
前記自車が走行している走路の境界線の候補となる線候補を抽出する線候補抽出部（１７）と、
前記線候補抽出部により抽出された線候補から、前記境界線を選択する境界線選択部（１８）と、
ディープラーニングによる学習に基づき、前記境界線を認識する境界認識部（２０）と、
前記画像のピクセルごとに所定のクラス識別を付与するクラス識別部（２１）と、を備え、
前記境界線選択部は、前記線候補抽出部により抽出された線候補から、前記境界線を選択するための特徴量を算出する特徴算出部（３３）を備え、
前記特徴算出部は、前記線候補抽出部により抽出された線候補において前記クラス識別部により路面クラスまたは白線クラスと識別された前記特徴量の割合である含有率を算出し、
前記境界線選択部は、前記含有率に基づき、前記線候補がノイズ線であるか否かを判定する運転支援装置。

【請求項2】

前記クラス識別部は、前記画像のピクセルごとに、路面、自車線白線ペイント、自車線ギャップ、その他線白線ペイント、ゼブラ、立体物、および移動物のうちの少なくとも１つをクラスとして識別する請求項１に記載の運転支援装置。

【請求項3】

前記特徴算出部は、前記線候補における白線ペイントに付与されたクラス識別に基づいて、前記クラス毎の含有率を算出する請求項１または２に記載の運転支援装置。

【請求項4】

前記境界線選択部は、前記特徴算出部によりに算出された前記クラス毎の含有率に基づいて、前記線候補がノイズ線であるか否かを判定する請求項３に記載の運転支援装置。

【請求項5】

前記境界線選択部は、前記特徴算出部によりに算出された前記クラス毎の含有率に基づいて、前記線候補の線種を判定する線種判定部を備える請求項３または４に記載の運転支援装置。

【請求項6】

前記線種判定部は、前記特徴算出部によりに算出されたゼブラクラスの含有率と、前記境界認識部により認識された自車線の線種と、前記線候補により認識された自車線と前記境界認識部により認識された自車線との一致性とのうちの少なくとも１つに基づいて、前記線候補の線種が実線であることを判定する請求項５に記載の運転支援装置。

【請求項7】

前記線種判定部は、前記特徴算出部により算出されたその他線白線ペイントクラスの含有率と、前記境界認識部により認識された自車線の線種と、前記線候補により認識された自車線と前記境界認識部により認識された自車線との一致性とのうちの少なくとも１つに基づいて、前記線候補の線種が補助線であることを判定する請求項５に記載の運転支援装置。

【請求項8】

車載カメラにより撮影した画像を取得する画像撮影部（１０）と、
センサにより計測した自車の状態量を取得する自車状態量センサ部（１１）と、を備える運転支援装置に適用され、
コンピュータに、
前記画像と、前記状態量とを用いて、前記自車の周囲の白線を認識することにより白線認識情報を算出する白線認識処理と、
前記白線認識情報に基づいて警報および前記自車の制御を行う警報／車両制御処理と、を実行させ、
前記白線認識処理は、
前記自車が走行している走路の境界線の候補となる線候補を抽出する線候補抽出処理と、
前記線候補抽出処理により抽出された線候補から、前記境界線を選択する境界線選択処理と、
ディープラーニングによる学習に基づき、前記境界線を認識する境界認識処理と、
前記画像のピクセルごとに所定のクラス識別を付与するクラス識別処理と、を含み、
前記境界線選択処理は、前記線候補抽出処理により抽出された線候補から、前記境界線を選択するための特徴量を算出する特徴算出処理を含み、
前記特徴算出処理において、前記線候補抽出処理により抽出された線候補において前記クラス識別処理により路面クラスまたは白線クラスと識別された前記特徴量の割合である含有率を算出し、
前記境界線選択処理において、前記含有率に基づき、前記線候補がノイズ線であるか否かを判定するプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

白線認識に基づいて車両を制御する運転支援装置およびプログラムに関する。

【背景技術】

【0002】

特許文献１に、隣接車線の認識結果と地図情報を組合せて、車線変更するか否かを決定する運転支援装置が記載されている。この運転支援装置では、隣接車線の認識の信頼度を、地図情報との整合性で判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１６８５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、地図が使用できない場合に、隣接車線を誤認する可能性がある。車線変更に際して隣接車線を認識する場合、車線変更前の自車線幅をある程度の許容差のもとに維持して、車線変更後の隣接車線となる線候補を探索することが従来行われてきた。この手法は、カメラにより画像の端側に撮影された隣接車線を認識する場合に、レンズの歪みや公差、隣接車線を走行する移動体による遮蔽、縁石や汚れ線といったノイズ線と隣接車線とを誤認識することを抑制する点において、自動車専用道路に適用する場合には、ある程度のロバスト性を提供できる。

【0005】

しかしながら、近年、市街地や山道等の自動車専用道路よりも劣悪な環境下でも安定して隣接車線等の白線を認識する技術が求められている。劣悪な環境下では、車線変更前後で隣接車線の車線幅が著しく異なる等により、従来の手法では白線認識が困難となることが懸念される。白線認識により得られる情報である白線認識情報に基づいて車線変更等の車両制御を適切に行うためには、適切かつ速やかに白線を認識することが求められる。

【0006】

上記を鑑み、本発明は、白線認識情報に基づき車両を制御する運転支援装置およびプログラムにおいて、適切かつ速やかに白線認識を実行する技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、車載カメラにより撮影した画像を取得する画像撮影部と、センサにより計測した自車の状態量を取得する自車状態量センサ部と、前記画像と、前記状態量とを用いて、前記自車の周囲の白線を認識することにより白線認識情報を算出する白線認識部と、前記白線認識情報に基づいて警報および前記自車の制御を行う警報／車両制御部と、を備える第１および第２の運転支援装置を提供する。

【0008】

第１の運転支援装置では、前記白線認識部は、前記自車が走行している走路の境界線の候補となる線候補を抽出する線候補抽出部と、前記線候補抽出部により抽出された線候補から、前記境界線を選択する境界線選択部と、ディープラーニングによる学習に基づき、前記境界線を認識する境界認識部と、前記画像のピクセルごとに所定のクラス識別を付与するクラス識別部と、を備える。前記境界線選択部は、前記線候補抽出部により抽出された線候補から、前記境界線を選択するための特徴量を算出する特徴算出部を備える。前記特徴算出部は、前記線候補抽出部により抽出された線候補において前記クラス識別部により路面クラスまたは白線クラスと識別された前記特徴量の割合である含有率を算出し、前記境界線選択部は、前記含有率に基づき、前記線候補がノイズ線であるか否かを判定する。

【0009】

第１の運転支援装置によれば、境界線選択部は、線候補において路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出する特徴算出部を備える。特徴算出部は、さらに、含有率に基づいてノイズ線を判定できるため、ノイズ線が境界線として誤認されることを抑制できる。その結果、適切かつ速やかに白線認識を実行して境界線を選択できる。

【0010】

第２の運転支援装置では、前記白線認識部は、前記自車が走行している走路の境界線の候補となる線候補を抽出する線候補抽出部と、前記線候補抽出部により抽出された線候補から、前記境界線を選択する境界線選択部と、ディープラーニングによる学習に基づき、前記境界線を認識する境界認識部と、を備える。前記境界線選択部は、選択した前記境界線と前記自車の位置に基づき、前記自車が車線変更したか否かを判定する車線変更判定部を備え、前記自車が車線変更したと判定した場合に、前記線候補抽出部から抽出された候補線から車線の境界線を選択する際に、前記境界認識部により認識された前記境界線の位置に基づいて前記境界線を選択する。

【0011】

第２の運転支援装置によれば、境界線選択部は、自車が車線変更したと判定した場合に、線候補抽出部から抽出された候補線から車線の境界線を選択する際に、境界認識部により認識された境界線の位置に基づいて境界線を選択する。例えば、車線変更前後の車線幅が相違している場合にも適切かつ速やかに白線認識を実行して境界線を選択できる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る運転支援装置が搭載される車両と、車両に設置された車載カメラを示す図。

【図2】第１実施形態に係る運転支援装置の構成を示すブロック図。

【図3】第１実施形態に係る白線認識部の構成を示すブロック図。

【図4】図３に示す白線認識部が実行する白線認識処理のフローチャート。

【図5】図４に示す車線境界線を選択する処理のフローチャート。

【図6】車線変更した場合の車線認識について説明する図。

【図7】第２実施形態に係る白線認識部の構成を示すブロック図。

【図8】図７に示す白線認識部が実行する白線認識処理のフローチャート。

【図9】図８に示す車線境界線を選択する処理のフローチャート。

【図10】ゼブラゾーンによる線種の誤認識について説明する図。

【図11】補助線における線種の誤認識について説明する図。

【図12】ノイズ線について説明する図。

【図13】図９に示す車線境界線を選択する処理のフローチャート。

【発明を実施するための形態】

【0013】

（第１実施形態）
第１実施形態に係る運転支援装置は、図１に示すように車載カメラ２が設置された車両に搭載され、図２に示すように、画像撮影部１０と、自車状態量センサ部１１と、白線認識部１２と、警報／車両制御部１３とを備えている。車載カメラ２は、周知のＣＣＤカメラ等からなるカメラであり、図１に示すように、自車１の室内におけるフロントガラスの上部近傍に搭載され、撮影範囲３を撮影できる。この車載カメラ２は、自車１の前方を撮影（即ち、撮像）し、その撮影した前方の画像について画像データを生成する。なお、車載カメラ２により撮影される画像には、自車１の前方の路面が含まれる。

【0014】

車載カメラ２は、予め設定された時間間隔で、繰り返し撮影して、前方の画像を得る。車載カメラ２は、カラーの画像を撮影可能である。画像撮影部１０は、車載カメラ２で撮影された画像の画像データを取得し、白線認識部１２へ出力する。

【0015】

自車状態量センサ部１１は、自車１の状態量を計測する各種のセンサから自車１の状態量を取得し、白線認識部１２へ出力する。センサとしては、例えば、車速センサやヨーレートセンサが含まれる。それ以外に、例えば、ピッチ角センサやステアリング角センサ等が含まれていてもよい。センサは、予め設定された時間間隔で繰り返して、自車１の状態を示す状態量を測定し、その測定結果は、自車状態量センサ部１１に取得される。なお、車載センサは、周知のナビゲーション装置を備えていてもよく、このナビゲーション装置では、道路形状等の情報を含む地図情報を記憶していてもよい。

【0016】

白線認識部１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。白線認識部１２は、ＣＰＵが非遷移有形記録媒体に格納されたプログラムを実行することにより、図３及び図４に示すような各種の機能を実行する。この例では、半導体メモリが、プログラムを格納した非遷移有形記録媒体に該当する。

【0017】

なお、白線認識部１２が備えるマイクロコンピュータの数は１つでも複数でもよい。また、白線認識部１２により実現される各種の機能は、ＣＰＵがプログラムを実行することによって実現することに限るものではなく、その一部又は全部について、一つあるいは複数のハードウェアを用いて実現してもよい。

【0018】

警報／車両制御部１３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成されている。警報／車両制御部１３は、白線認識部１２における白線認識により得られる白線認識情報に基づいて、警報を出力する警報出力制御や、自車１の走行状態を制御する走行制御を実施する。警報出力制御としては、自車１が車線（即ち、自車線）を逸脱しそうになった場合に、警報を出力する制御が挙げられる。走行制御としては、自車１が車線を逸脱しそうになった場合に実施される、操舵の制御やブレーキの制御が挙げられる。

【0019】

白線認識部１２は、図３に示すように、エッジ抽出部１４、白線ペイント抽出部１５、自車線ペイント判定部１６、線候補抽出部１７、境界線選択部１８、道路形状推定部１９、ディープラーニング（ＤＮＮ）境界認識部２０を備えている。また、境界線選択部１８は、車線変更判定部３１、位置学習部３２を備えている。なお、以下では、ディープラーニングによる機械学習を、単に機械学習と記すことがある。また、白線ペイントとは、道路の幅方向における領域を区画するために、道路の延びる方向に沿って、道路上に破線や実線にて形成された白線や黄線等の線を構成するペイントである。

【0020】

エッジ抽出部１４は、車載カメラ２にて撮影された画像から、輝度値の変化が大きい画素であるエッジ点を抽出する。撮影された画像からエッジ点を抽出する具体的方法については、周知であるため、ここでは詳しい説明を省略し、概要のみ簡潔に述べる。エッジ抽出部１４は、画像の左端から右端へ水平方向に走査しながら、輝度値の変化量が閾値以上となる画素を探索し、アップエッジ点及びダウンエッジ点を抽出する。

【0021】

アップエッジ点は、低い輝度値から高い輝度値へ変化する輝度値の立ち上がり点であり、より具体的には、低い輝度値から高い輝度値への輝度値の変化量が輝度閾値以上となる点である。ダウンエッジ点は、高い輝度値から低い輝度値へ変化する輝度値の立下り点であり、より具体的には、高い輝度値から低い輝度値への輝度値の変化量が輝度閾値以上となる点である。エッジ抽出部１４は、このような水平方向への走査によるエッジ点の抽出を、画像の上下方向、即ち画像の奥行き方向へ位置をずらしながら繰り返すことで、画像のほぼ全領域からエッジ点を抽出する。

【0022】

白線ペイント抽出部１５は、エッジ抽出部１４で抽出されたエッジ点同士を繋げることによって、区画線を構成するペイントの塊である白線ペイントを抽出する。具体的には、抽出された各エッジ点から、複数のエッジ点によって形成される略矩形状の領域を白線ペイントとして抽出する。詳しくは、アップエッジ点と、そのアップエッジ点に対して右側に位置し、且つ、そのアップエッジ点に最も近い位置のダウンエッジ点とをペアとする。そして、そのペアが自車１の走行方向において予め設定された間隔閾値以内の間隔で配列されている略矩形の領域を、白線ペイントとして抽出する。

【0023】

自車線ペイント判定部１６は、白線ペイント抽出部１５によって抽出された白線ペイントが、自車線の境界線を示す白線ペイント（自車線ペイント）であるか否かを判定する。自車線ペイントであると判定された白線ペイントは、線候補抽出部１７にて、区画線の候補を抽出する際に用いられる。

【0024】

線候補抽出部１７は、自車１が走行している走路の境界線の候補となる線候補を抽出する。線候補抽出部１７は、自車１の走行方向に沿って延びるように存在する線を抽出する。すなわち、線候補抽出部１７では、自車線ペイントであると判定された白線ペイント同士を、走行方向に繋げることで、自車１の走行方向に沿って延びるように存在する区画線を抽出する。

【0025】

境界線選択部１８は、線候補抽出部１７により抽出された線候補から、境界線を選択する。具体的には、線候補抽出部１７にて抽出された複数の区画線、即ち区画線の候補から、車線（例えば、自車線）の左右の境界を規定する左右一対の境界線として適した区画線を選択し、この選択された区画線を境界線として設定する。

【0026】

例えば、線候補抽出部１７で抽出された複数の区画線のうち、自車１の左右方向において、それぞれ自車１に最も近い一対の区画線であって、所定の距離以上の間隔を有する区画線を、自車線の境界線として選択することができる。なお、その他、道路状況に応じて、各種の選択条件を加味してもよい。

【0027】

境界線選択部１８は、車線変更判定部３１と、位置学習部３２とを備えている。

【0028】

車線変更判定部３１は、選択した境界線と自車１の位置に基づき、自車１が車線変更したか否かを判定する。境界線選択部１８は、車線変更判定部３１により自車１が車線変更したと判定された場合に、線候補抽出部１７から抽出された候補線から車線の境界線を選択する際に、ＤＮＮ境界認識部２０が認識した境界線の位置に基づいて、境界線を選択する。

【0029】

位置学習部３２は、隣接車線の位置である隣接車線位置を時系列で学習する。境界線選択部１８は、ＤＮＮ境界認識部２０により認識され、位置学習部３２により学習された隣接車線位置に基づき、線候補抽出部１７から抽出された候補線の中から境界線を選択することができる。ＤＮＮ境界認識部２０により認識され、位置学習部３２により学習される隣接車線位置が算出されていない状態で自車１が車線変更した場合には、境界線選択部１８は、自車１の車線変更前に認識していた車線幅を基準位置として、境界線を選択する。

【0030】

道路形状推定部１９は、例えば現在選択されている左右一対の境界線に基づいて、自車線を含む、現在走行中の道路の形状を推定する。具体的には、道路形状推定部１９は、現在走行中の道路の形状等の特徴を示す道路パラメータとして、例えば車線位置，車線傾き，車線曲率，車線幅などの各種の道路パラメータを推定する。

【0031】

ここで、車線幅は、左右一対の境界線の間隔である。車線位置とは、自車１の中心を基準とした車線幅上の中心である中心位置であって、自車１の中心からその中心位置までの距離で表すことができる。車線傾きとは、左右の境界線の中央を通過する仮想的な車線中心の上記中心位置における接線の車両進行方向に対する傾きである。車線曲率とは、車線中心の曲率である。道路形状推定部１９で推定された道路形状、即ち各種の道路パラメータは警報／車両制御部１３へ出力される。

【0032】

ＤＮＮ境界認識部２０は、ディープラーニングによる学習に基づき、境界線を認識する。具体的には、画像撮影部１０によって取得された自車１の前方の画像に対して、自車１の前方の画像のディープラーニングによる機械学習の結果を用いて、自車１の前方の自車線の領域を認識する。ＤＮＮ境界認識部２０は、自車１が走行している走路の自車線、隣接車線、道路端のうちの少なくともいずれか１つを認識するように構成されていることが好ましい。

【0033】

この画像に対するディープラーニングによる機械学習については、周知であるので簡単に説明する。例えば、自車１の前方を撮影して多数の画像を取得する。そして、多数の画像に対して、映っている物体等が、例えば、道路の領域と、他車両の領域と、他車両や道路以外の領域とに区画し、更に道路の領域を自車線の領域とそれ以外の領域とに区画する。そして、このように複数の領域に区画した多数の画像に対してディープラーニングによる学習を行う。

【0034】

なお、ディープラーニングを行う際に使用する画像の数、モデル、モデルの層の数等については、公知技術に基づいて適宜選択することができる。このディープラーニングのモデルとして、ニューラルネットワークを採用できる。ニューラルネットワークは、相互接続する複数のノードからなる多層で構成できる。このネットワークは、数十から数百の隠れ層を持つことができる。

【0035】

このようなディープラーニングのモデルは、ディープニューラルネットワークと呼ばれており、大規模なラベル付されたデータとニューラルネットワークの構造を利用して学習を行うことができる。なお、ディープニューラルネットワークとしては、畳み込みニューラルネットワークを採用できる。

【0036】

ＤＮＮ境界認識部２０は、上述したようにして学習した結果を用いて、例えば今回取得した最新の画像に対して、自車１の前方において、自車線の領域と、自車線以外の道路の領域と、道路以外の領域と、他車両の領域とに区画することができる。つまり、ＤＮＮ境界認識部２０により、今回取得した画像において、自車線の領域がどの部分であるかを示す自車線の領域の認識結果が得られる。

【0037】

白線認識部１２は、上記の各構成により、ＤＮＮ境界認識部２０の処理によって得られた結果を用いて、白線認識を行う学習認識処理を実行できる。白線認識部１２は、また、ＤＮＮ境界認識部２０による認識結果を利用することなく、画像撮影部１０によって取得された自車１の前方の画像に基づいて、自車１の前方の自車線の情報を取得する非学習処理を実行できる。

【0038】

図４に、白線認識部１２が実行する白線認識処理のフローチャートを示す。図４に示す処理は、所定の周期で繰り返し実行される。

【0039】

ステップＳ１０１では、車載カメラ２にて撮影された画像のほぼ全領域を走査し、輝度値の変化が大きい画素であるエッジ点を抽出する。その後、ステップＳ１０２に進む。

【0040】

ステップＳ１０２では、ステップＳ１０１において抽出されたエッジ点同士を繋げることによって、区画線を構成するペイントの塊である白線ペイントを抽出する。具体的には、抽出された各エッジ点から、複数のエッジ点によって形成される略矩形状の領域を白線ペイントとして抽出する。その後、ステップＳ１０３に進む。

【0041】

ステップＳ１０３では、ステップＳ１０２において抽出された白線ペイントのそれぞれが、自車線ペイントであるか否かを判定する。その後、ステップＳ１０４に進む。

【0042】

ステップＳ１０４では、自車線ペイントであると判定された白線ペイント同士を、走行方向に繋げることで、自車１の走行方向に沿って延びるように存在する区画線を抽出することにより、線候補を抽出する。その後、ステップＳ１０５に進む。

【0043】

ステップＳ１０５では、ステップＳ１０４において抽出された線候補から、境界線を選択する。具体的には、ステップＳ１０４において抽出された複数の区画線、即ち区画線の候補から、車線（例えば、自車線）の左右の境界を規定する左右一対の境界線として適した区画線を選択し、この選択された区画線を境界線として認識する。その後、ステップＳ１０７に進む。

【0044】

ステップＳ１０７では、図５に示す車線境界線を選択する処理を実行する。まず、ステップＳ２０１では、ディープラーニングにより認識された隣接車線位置を位置学習する。その後、ステップＳ２０２に進む。

【0045】

例えば、図６に示すように、右側白実線４０と左側白実線４３とによって区画された道路において、白破線４１，４２によって車線４４Ｌ，４４Ｃ，４４Ｒが区画されており、自車１が、右側の車線４４Ｒを走行している場合、自車線である車線４４Ｒの車線幅ｗ１は、左側白実線４３の横位置ｘ０と、白破線４１の横位置ｘ１との間の距離により表すことができる。自車線に隣接する車線４４Ｃの車線幅ｗ２は、白破線４１の横位置ｘ１と、白破線４２の横位置ｘ２ｂとの間の距離により表すことができる。車線幅ｗ２は、車線幅ｗ１より狭く、白破線４１の横位置ｘ１から距離がｗ１となる横位置ｘ２ａは、横位置ｘ２ｂよりも左側にずれている。自車１が車線４４Ｒを走行していた場合、自車線の車線幅ｗ１に基づいて推定された隣接車線位置は、横位置ｘ２ａであり、ディープラーニングにより認識された隣接車線位置は、横位置ｘ２ｂである。

【0046】

ステップＳ２０２では、自車１が車線変更したか否かを判定する。例えば、図６において、自車１が車線４４Ｒから車線４４Ｃに車線変更した場合には、自車１が車線変更したと判定され、ステップＳ２０３に進む。自車１が車線変更しなかった場合には、ステップＳ２０５に進む。

【0047】

ステップＳ２０３では、ステップＳ２０１において実行された、ディープラーニングにより認識された隣接車線位置についての位置学習が、完了しているか否かについて判定する。完了している場合には、ステップＳ２０４に進む。完了していない場合には、ステップＳ２０５に進む。

【0048】

ステップＳ２０４では、ディープラーニングにより認識された隣接車線位置である横位置ｘ２ｂに基づき、ステップＳ１０４で抽出された候補線の中から自車線の境界線を選択する。ステップＳ２０５では、自車１の車線変更前に認識していた車線幅ｗ１を基準位置として、ステップＳ１０４で抽出された候補線の中から自車線の境界線を選択する。言い換えると、横位置ｘ２ａに基づき、ステップＳ１０４で抽出された候補線の中から自車線の境界線を選択する。

【0049】

上記のとおり、第１実施形態によれば、車線変更前後の車線幅が相違している場合でも、ディープラーニングによる隣接車線位置を車線変更後の自車線の境界線として認識できる。このため、図６に示すように、車線変更前後の車線幅が相違している場合にも適切かつ速やかに白線認識を実行して車線の境界線を選択できる。

【0050】

（第２実施形態）
第２実施形態に係る運転支援装置は、白線認識部１２ａの構成において、第１実施形態に係る運転支援装置と相違している。図７に、第２実施形態に係る白線認識部１２ａを示す。白線認識部１２ａは、クラス識別部２１を備えている点、および、境界線選択部１８が、特徴算出部３３，線種判定部３４，ノイズ線判定部３５を備えている点において、図３に示す白線認識部１２と相違する。その他の構成は、概して白線認識部１２と同様であるため、説明を省略する。

【0051】

クラス識別部２１は、画像のピクセルごとに所定のクラス識別を付与する。クラス識別部２１は、路面、自車線白線ペイント、自車線ギャップ、その他線白線ペイント、ゼブラ、立体物、および移動物のうちの少なくとも１つをクラスとして識別するように構成されていることが好ましい。なお、自車線白線ペイントクラス、自車線ギャップクラス、その他線白線ペイントクラス、ゼブラクラスは、白線クラスをさらに細分化したクラスである。クラス識別部２１により付与されたクラス識別は、自車線ペイント判定部１６および境界線選択部１８に出力される。

【0052】

特徴算出部３３は、線候補抽出部１７により抽出された線候補から、境界線を選択するための特徴量を算出する。特徴算出部３３は、線候補抽出部１７により抽出された線候補における白線ペイントに付与されたクラス識別部２１毎の含有率を算出する。例えば、路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出する。

【0053】

線種判定部３４は、特徴算出部３３によりに算出されたクラス毎の含有率に基づいて、線候補の線種を判定する。例えば、線種判定部３４は、特徴算出部３３により算出されたゼブラクラスの含有率と、ＤＮＮ境界認識部２０により認識された自車線（ＤＮＮ自車線）の線種と、線候補抽出部１７により抽出された自車線とＤＮＮ境界認識部２０により認識された自車線との一致性のうちの少なくとも１つに基づいて、線候補の線種が実線であることを判定する。また、例えば、線種判定部３４は、特徴算出部３３によりに算出されたその他白線ペイントクラスの含有率と、ＤＮＮ境界認識部２０により認識された自車線（ＤＮＮ自車線）の線種と、線候補抽出部１７により抽出された自車線とＤＮＮ境界認識部２０により認識された自車線との一致性のうちの少なくとも１つに基づいて、線候補の線種が複合線における補助線であることを判定する。

【0054】

ノイズ線判定部３５は、特徴算出部３３によりに算出されたクラス毎の含有率に基づいて、線候補がノイズ線であるか否かを判定する。特徴算出部３３は、線候補抽出部１７により抽出された線候補においてクラス識別部２１により路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出し、ノイズ線判定部３５は、この含有率に基づき、線候補がノイズ線であるか否かを判定する。

【0055】

図８に、白線認識部１２ａが実行する白線認識処理のフローチャートを示す。図８に示す処理は、所定の周期で繰り返し実行される。

【0056】

ステップＳ３０１においてはエッジ抽出処理が実行され、Ｓ３０２ステップでは、白線ペイント抽出処理が実行される。Ｓ３０１、Ｓ３０２に示す処理は、ステップＳ１０１，１０２に示す処理と同様であるため、説明を省略する。

【0057】

ステップＳ３０３では、ステップＳ３０２において抽出された白線ペイントのそれぞれが、自車線ペイントであるか否かを判定する。判定に際しては、白線ペイントに付与されたクラス識別が考慮されていてもよい。その後、ステップＳ３０４に進む。

【0058】

ステップＳ３０４では、線候補を抽出し、ステップＳ３０５では、境界線認識を実行する。Ｓ３０４、Ｓ３０５に示す処理は、ステップＳ１０４，１０５に示す処理と同様であるため、説明を省略する。

【0059】

ステップＳ３０６では、画像のピクセルごとに所定のクラス識別を付与する。路面、自車線白線ペイント、自車線ギャップ、その他線白線ペイント、ゼブラ、立体物、および移動物のうちの少なくとも１つをクラスとして識別する。

【0060】

ステップＳ３０７では、図９に示す車線境界線を選択する処理を実行する。まず、ステップＳ４０１では、ステップＳ３０４により抽出された線候補から、境界線を選択するための特徴量を算出する。ステップＳ３０４により抽出された線候補において路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出する。その後、ステップＳ４０２に進む。

【0061】

ステップＳ４０２では、ステップＳ４０１において算出された各クラスの含有率と、ディープラーニングによる境界認識結果と、ステップＳ３０４により抽出された線候補とに基づいて、線種を判定する。

【0062】

例えば、図１０（ａ）に示す白実線４５の線種判定を例示して説明する。図１０（ａ）では、自車線の右側に、白実線４５，黄実線４６、白実線４７がこの順序で配置され、白実線４５から黄実線４６側に斜線４５ａが伸び、白実線４７から黄実線４６側に斜線４７ａが伸びて、白実線４５，４７および斜線４５ａ．４７ａによりゼブラゾーンが構成されている。

【0063】

白実線４５を認識する場合、図１０（ｂ）に示すように、白実線４５と斜線４５ａとの接続部分において、白実線４５が途切れたように認識され、白破線４５ｅと誤認識されることがある。

【0064】

これに対し、（条件１－１）白実線４５がクラス識別においてゼブラクラスと判定されていること、（条件１－２）ディープラーニングによる境界線認識の結果、白実線４５が実線と判定されていること、（条件１－３）線候補抽出により抽出された自車線とディープラーニングにより認識された自車線が一致すること、の３条件を全て満たす場合に、線種を実線であると判定することにより、白実線４５の線種を実線であると判定できる。

【0065】

また、例えば、図１１に示すように、自車線の境界線が、外側に実線４８、５０が配置され、その内側に補助線４９，５１が存在する場合、補助線４９，５１のギャップ長やライン長が、線種が補助線であると判定するための条件に満たないと判断され、補助線４９，５１が白破線であると誤認されることがある。

【0066】

これに対し、（条件２－１）補助線４９，５１がクラス識別においてその他白線クラスと判定されている割合が所定の第１割合閾値以上であること、（条件２－２）ディープラーニングによる境界線認識の結果、シーン判定により複合線シーンであると判定されていること、の２条件を全て満たす場合に、補助線４９，５１の線種を複合線であると判定できる。もしくは、ギャップ長やライン長の条件に加えて、（条件２－３）補助線４９，５１がクラス識別においてその他白線クラスと判定されている割合が所定の第２割合閾値以上であること、との条件を追加することにより、補助線４９，５１の線種を複合線における補助線であると判定できる。なお、第１割合閾値は、第２割合閾値より大きい割合を示す値である。

【0067】

ステップＳ４０２の後、ステップＳ４０４に進む。ステップＳ４０４では、ステップＳ４０１で算出したクラス含有率に基づき、ノイズ線判定を行う。例えば、白線クラスと識別された特徴量の割合である含有率に基づき、線候補がノイズ線であるか否かを判定する。

【0068】

図１２に示すように、右側白実線５３および補助線５４と左側白実線５７および補助線５８とによって区画された道路において、白破線５５および補助線５６によって車線５９Ｌ，５９Ｒが区画されており、自車１が、左側の車線５９Ｌを走行している場合を例示して説明する。図１２に示すように、自車線である車線５９Ｌ内に、白破線５５よりも内側にコールタール線６０が存在していると、コールタール線６０が補助線として誤認識されてしまうことがある。この場合、（条件３－１）コールタール線６０がクラス識別においてその他白線クラスと判定されている割合が所定の第３割合閾値未満であること、（条件３－２）コールタール線６０がクラス識別において自車線白線クラスと判定されている割合が所定の第４割合閾値未満であること、との２条件を全て満たす場合に、コールタール線６０がノイズ線であると判定できる。なお、第３割合閾値は、第４割合閾値より大きい割合を示す値である。

【0069】

ステップＳ４０４の後、ステップＳ４０５に進む。図１３に示す車線境界線を選択する処理を実行する。ステップＳ５０１では、所定の線候補が、高信頼度で認識がされたか否かを判定する。信頼度は、画像の輝度、線候補の総延長距離、エッジ数等から総合的に判断する。高信頼度であると判定された場合には、ステップＳ５０２に進む。高信頼度ではないと判定された場合には、処理を終了する。

【0070】

ステップＳ５０２では、高信頼度であると判定された状態下で、自車１の走行距離がＬ１以上であるか否かを判定する。Ｌ１以上である場合には、ステップＳ５０３に進む。Ｌ１未満である場合には、処理を終了する。

【0071】

ステップＳ５０３では、線候補が自車１に最も近いか否かを判定する。最も近い場合には、ステップＳ５０４に進む。最も近いものではない場合には、処理を終了する。

【0072】

ステップＳ５０４では、線候補がノイズ線であるか否かを判定する。ノイズ線ではない場合には、ステップＳ５０６に進み、線候補が車線境界線として選択される。ノイズ線であると判定された場合、ステップＳ５０５に進む。ステップＳ４０４において、線候補がコールタール線６０のようにノイズ線と判定されている場合には、ステップＳ５０４において否定判定され、ステップＳ５０５に進む。

【0073】

ステップＳ５０５では、線候補がノイズ線であると判定された状態下で、自車１の走行距離がＬ２未満であるか否かを判定する。Ｌ２未満である場合には、ステップＳ５０６に進み、線候補が車線境界線として選択される。Ｌ２以上である場合には、処理を終了する。図１３に示す処理を終了すると、図９に示す処理も終了される。

【0074】

上記のとおり、第２実施形態に係る白線認識部１２ａによれば、ＤＮＮ境界認識部２０による境界線認識に加えて、クラス識別部２１によるクラス識別およびこれを用いた特徴算出部３３による各クラスの含有率等に基づいて、境界線を選択できるため、図１０に示すようなゼブラシーンを伴う白線ペイントについての境界線認識における誤認識、図１１に示すような補助線を伴う白線ペイントについての境界線認識における誤認識、図１２に示すようなコールタール線等のノイズ線による境界線認識における誤認識を抑制できる。

【0075】

上記の各実施形態によれば、下記の効果を得ることができる。

【0076】

運転支援装置は、車載カメラ２により撮影した画像を取得する画像撮影部１０と、センサにより計測した自車１の状態量を取得する自車状態量センサ部１１と、画像と、状態量とを用いて、自車１の周囲の白線を認識することにより白線認識情報を算出する白線認識部１２，１２ａと、白線認識情報に基づいて警報および自車１の制御を行う警報／車両制御部１３と、を備える。

【0077】

第１実施形態に係る運転支援装置では、白線認識部１２は、自車１が走行している走路の境界線の候補となる線候補を抽出する線候補抽出部１７と、線候補抽出部１７により抽出された線候補から、境界線を選択する境界線選択部１８と、ディープラーニングによる学習に基づき、境界線を認識するＤＮＮ境界認識部２０と、を備える。境界線選択部１８は、選択した境界線と自車１の位置に基づき、自車１が車線変更したか否かを判定する車線変更判定部３１を備え、自車１が車線変更したと判定した場合に、線候補抽出部１７から抽出された候補線から車線の境界線を選択する際に、ＤＮＮ境界認識部２０により認識された境界線の位置に基づいて境界線を選択する。

【0078】

第１の実施形態に係る白線認識部１２によれば、境界線選択部１８は、自車１が車線変更したと判定した場合に、線候補抽出部１７から抽出された候補線から車線の境界線を選択する際に、ＤＮＮ境界認識部２０により認識された境界線の位置に基づいて境界線を選択する。このため、例えば、車線変更前後の車線幅が相違している場合にも適切かつ速やかに白線認識を実行して境界線を選択できる。

【0079】

ＤＮＮ境界認識部２０は、自車１が走行している走路の自車線、隣接車線、道路端のうちの少なくともいずれか１つを認識するように構成されていることが好ましい。

【0080】

境界線選択部１８は、隣接車線の位置である隣接車線位置を時系列で学習する位置学習部３２を備える。さらには、境界線選択部１８は、ＤＮＮ境界認識部２０により認識され、位置学習部３２により学習された隣接車線位置に基づき、線候補抽出部１７から抽出された候補線の中から境界線を選択するように構成されている。このため、より適切かつ速やかに白線認識を実行して境界線を選択できる。また、境界線選択部１８は、ＤＮＮ境界認識部２０により認識され、位置学習部３２により学習される隣接車線位置が算出されていない状態で自車１が車線変更した場合に、自車１の車線変更前に認識していた車線幅を基準位置として、境界線を選択するように構成されている。このため、隣接車線位置の算出が間に合わない場合であっても、ある程度は適切に境界線を選択できる。

【0081】

第２の実施形態に係る運転支援装置では、白線認識部１２ａは、自車１が走行している走路の境界線の候補となる線候補を抽出する線候補抽出部１７と、線候補抽出部１７により抽出された線候補から、境界線を選択する境界線選択部１８と、ディープラーニングによる学習に基づき、境界線を認識するＤＮＮ境界認識部２０と、画像のピクセルごとに所定のクラス識別を付与するクラス識別部２１と、を備える。境界線選択部１８は、線候補抽出部１７により抽出された線候補から、境界線を選択するための特徴量を算出する特徴算出部３３を備える。特徴算出部３３は、線候補抽出部１７により抽出された線候補においてクラス識別部２１により路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出し、境界線選択部１８は、含有率に基づき、線候補がノイズ線であるか否かを判定する。

【0082】

第２の実施形態に係る白線認識部１２ａによれば、境界線選択部１８は、線候補において路面クラスまたは白線クラスと識別された特徴量の割合である含有率を算出する特徴算出部３３を備える。特徴算出部３３は、さらに、含有率に基づいてノイズ線を判定できるため、ノイズ線が境界線として誤認されることを抑制できる。その結果、適切かつ速やかに白線認識を実行して境界線を選択できる。

【0083】

クラス識別部２１は、画像のピクセルごとに、路面、自車線白線ペイント、自車線ギャップ、その他線白線ペイント、ゼブラ、立体物、および移動物のうちの少なくとも１つをクラスとして識別するように構成されていることが好ましい。

【0084】

特徴算出部３３は、線候補における白線ペイントに付与されたクラス識別に基づいて、クラス毎の含有率を算出するように構成されていることが好ましい。この場合、境界線選択部１８は、特徴算出部３３によりに算出されたクラス毎の含有率に基づいて、線候補がノイズ線であるか否かを判定するように構成されていることが好ましい。クラス毎の含有率に基づいてノイズ線を判定できるため、ノイズ線が境界線として誤認されることをより効果的に抑制できる。

【0085】

境界線選択部１８は、特徴算出部３３によりに算出されたクラス毎の含有率に基づいて、線候補の線種を判定する線種判定部３４を備えていてもよい。この場合、線種判定部３４は、特徴算出部３３によりに算出されたゼブラクラスの含有率と、ＤＮＮ境界認識部２０により認識された自車線の線種と、線候補により認識された自車線とＤＮＮ境界認識部２０により認識された自車線との一致性とのうちの少なくとも１つに基づいて、線候補の線種が実線であることを判定するように構成されていてもよい。ゼブラを含む白線ペイントにおいて、実線が破線と誤認識されることを効果的に抑制できる。

【0086】

また、線種判定部３４は、特徴算出部３３によりに算出されたその他白線ペイントクラスの含有率と、ＤＮＮ境界認識部２０により認識された自車線の線種と、線候補により認識された自車線とＤＮＮ境界認識部２０により認識された自車線との一致性とのうちの少なくとも１つに基づいて、前記線候補の線種が補助線であることを判定するように構成されていてもよい。補助線が破線と誤認識されることを効果的に抑制できる。

【0087】

なお、上記の第１の実施形態に係る白線認識部１２の各構成と、第２の実施形態に係る白線認識部１２ａの各構成とは、１つの白線認識部に用いることもできる。

【0088】

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

【符号の説明】

【0089】

１０…画像撮影部、１１…自車状態量センサ部、１２，１２ａ…白線認識部、１３…警報／車両認識部、１７…線候補抽出部、１８…境界線選択部、２０…ＤＮＮ境界認識部、３１…車線変更判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】