特許 6798860 境界線推定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6798860

(24)【登録日】2020年11月24日

(45)【発行日】2020年12月9日

(54)【発明の名称】境界線推定装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20201130BHJP

   G06T 7/00 20170101ALI20201130BHJP

   G08G 1/16 20060101ALI20201130BHJP

【ＦＩ】

   G06T7/60 200J

   G06T7/00 650A

   G08G1/16 C

【請求項の数】4

【全頁数】12

(21)【出願番号】特願2016-231472(P2016-231472)

(22)【出願日】2016年11月29日

(65)【公開番号】特開2018-88151(P2018-88151A)

(43)【公開日】2018年6月7日

【審査請求日】2019年2月14日

【新規性喪失の例外の表示】特許法第３０条第２項適用 ＧＰＵ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｎｆｅｒｅｎｃｅ Ｊａｐａｎ ２０１６ ｈｔｔｐ：／／ｗｗｗ．ｇｐｕｔｅｃｈｃｏｎｆ．ｊｐ／ｓｅｓｓｉｏｎｓ．ｈｔｍｌ 第１２回ジョイントＣＳセミナー 第６回スマートビークル研究センターシンポジウム 合同シンポジウム 第１２回ジョイントＣＳセミナー 第６回スマートビークル研究センターシンポジウム 合同シンポジウムプログラム

(73)【特許権者】

【識別番号】000004695

【氏名又は名称】株式会社ＳＯＫＥＮ

(73)【特許権者】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(73)【特許権者】

【識別番号】592032636

【氏名又は名称】学校法人トヨタ学園

(74)【代理人】

【識別番号】110000578

【氏名又は名称】名古屋国際特許業務法人

(72)【発明者】

【氏名】石丸 和寿

(72)【発明者】

【氏名】テヘラニニキネジャド ホセイン

(72)【発明者】

【氏名】白井 孝昌

(72)【発明者】

【氏名】ヴィジャイ ジョン

(72)【発明者】

【氏名】三田 誠一

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００６−０１８６８８（ＪＰ，Ａ）

【文献】 特開２０１３−０３０１８３（ＪＰ，Ａ）

【文献】 特開２００６−１８５１０１（ＪＰ，Ａ）

【文献】 特開２０１３−１９６４０１（ＪＰ，Ａ）

【文献】 特開２０１６−１５３９８４（ＪＰ，Ａ）

【文献】 特開２００３−１７８３９９（ＪＰ，Ａ）

【文献】 特開２０１３−０１２０４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

周辺環境を撮像する少なくとも１つの撮像装置（１０Ｌ，１０Ｒ）から撮像画像を取得する画像取得部（２１）と、
前記撮像画像から路面領域を表す特徴量を抽出する抽出部（２２〜２４）と、
事前の学習によって得られた前記特徴量と道路環境との対応関係を表す識別器に基づき、前記抽出部により抽出された前記特徴量に対応する前記道路環境を識別する環境識別部（２５）と、
前記環境識別部により識別された前記道路環境に基づき、前記撮像画像内の車線境界線の位置を推定する推定部（２６）と、
を備え、
前記抽出部は、学習によってパラメータが調節された畳み込みニューラルネットワークに従い、前記特徴量を抽出する、
境界線推定装置（２０）。

【請求項2】

請求項１に記載の境界線推定装置であって、
前記抽出部は、前記撮像画像に対応する距離画像を生成し、生成した前記距離画像と、前記撮像画像の色情報と、に基づき、前記特徴量を抽出する、境界線推定装置。

【請求項3】

請求項２に記載の境界線推定装置であって、
前記画像取得部は、同一対象を複数の異なる視点から撮像するための複数の前記撮像装置から前記撮像画像を取得し、
前記抽出部は、前記複数の撮像装置から取得された複数の前記撮像画像間の視差に基づき、前記距離画像を生成する、境界線推定装置。

【請求項4】

請求項１から請求項３までのいずれか１項に記載の境界線推定装置であって、
前記推定部は、前記撮像画像内の車線境界線の位置を、曲線描画の制御点を回帰することにより推定する、境界線推定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像画像内の車線境界線の位置を推定する技術に関する。

【背景技術】

【0002】

特許文献１には、カメラの撮像画像に基づいて、車線の境界を表す車線境界線を検出する構成が開示されている。この構成では、検出した車線境界線に基づき、車線維持制御等の車両制御が実行される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３−７３６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の構成では、撮像画像において車線境界線の一部が先行車両等により遮られている場合、遮られている車線境界線を検出することができない。この場合、車線境界線に基づく車両制御が実行できないことがある。よって、撮像画像において先行車両等により一部視認不可能になった車線境界線の位置を推定する技術が望まれる。

【0005】

本開示は、撮像画像において車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様は、境界線推定装置（２０）であって、画像取得部（２１）と、抽出部（２２〜２４）と、環境識別部（２５）と、推定部（２６）と、を備える。画像取得部は、周辺環境を撮像する少なくとも１つの撮像装置（１０Ｌ，１０Ｒ）から撮像画像を取得する。抽出部は、撮像画像から路面領域を表す特徴量を抽出する。環境識別部は、事前の学習によって得られた特徴量と道路環境との対応関係を表す識別器に基づき、抽出部により抽出された特徴量に対応する道路環境を識別する。推定部は、環境識別部により識別された道路環境に基づき、撮像画像内の車線境界線の位置を推定する。

【0007】

このような構成によれば、撮像画像上で車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる。

【図面の簡単な説明】

【0008】

【図1】境界線推定システムの構成を示すブロック図である。

【図2】撮像画像から車線境界線の位置を推定する工程の概要を表す図である。

【図3】分類された道路環境を表す図である。

【図4】車線境界線の位置の推定のシミュレーション結果を表す図である。

【図5】第１の処理におけるパラメータの調節の概要を表す図である。

【図6】道路環境を識別する識別器の学習の概要を表す図である。

【図7】車線境界線の位置を回帰するモデルの学習の概要を表す図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら、本開示を実施するための形態を説明する。
［１．構成］
図１に示す境界線推定システム１は、２つの撮像装置１０Ｌ，１０Ｒと、境界線推定装置２０と、を備える。境界線推定システム１は、車両に搭載される。以下では、境界線推定システム１が搭載された車両を「自車両」という。

【0010】

左右一対の撮像装置１０Ｌ，１０Ｒは、自車両の前部において車幅方向の中心を挟むように左右に設けられたいわゆるステレオカメラであり、自車両の周辺環境、具体的には、自車両から見て同一方向である自車両の前方の領域を撮像する。つまり、境界線推定システム１は、撮像装置１０Ｌ，１０Ｒにより、複数の異なる視点から同一対象を撮像する。撮像装置１０Ｌ，１０Ｒのそれぞれは、撮像画像を表す画像データを境界線推定装置２０に出力する。なお、撮像装置１０Ｌ，１０Ｒから出力される画像データのサイズは、２２４×２２４画素である。

【0011】

以下では、２つの撮像装置１０Ｌ，１０Ｒのうち、一方の撮像装置（例えば撮像装置１０Ｌ）の撮像画像を基準画像という。また、他方の撮像装置（例えば撮像装置１０Ｒ）の撮像画像を比較画像という。

【0012】

境界線推定装置２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びフラッシュメモリ等の半導体メモリを有する周知のマイクロコンピュータを中心に構成される。境界線推定装置２０の各種機能は、ＣＰＵが非遷移的実体的記憶媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、ＣＰＵにより実行されるプログラムを格納した非遷移的実体的記憶媒体に該当する。また、ＣＰＵによるプログラムの実行により、プログラムに対応する方法が実行される。なお、境界線推定装置２０を構成するマイクロコンピュータの数は１つでも複数でもよい。

【0013】

境界線推定装置２０は、ＣＰＵがプログラムを実行することにより、画像取得部２１、距離画像生成部２２、情報結合部２３、ラベル付け部２４、環境識別部２５及び推定部２６として機能する。

【0014】

画像取得部２１は、撮像装置１０Ｌ，１０Ｒから基準画像及び比較画像を表す画像データを取得する。なお、本実施形態では、画像取得部２１は２台の撮像装置１０Ｌ，１０Ｒから撮像画像を取得するが、画像取得部２１が撮像画像を取得する撮像装置の台数はこれに限られるものではない。画像取得部２１は、例えば、１台又は３台以上の撮像装置から撮像画像を取得してもよい。

【0015】

距離画像生成部２２は、画像取得部２１により取得された画像データに基づき、基準画像及び比較画像に対応する距離画像を生成する。具体的には、距離画像生成部２２は、まず、あらかじめ記憶されている補正パラメータを用いて、基準画像の画像データと比較画像の画像データとの間のズレを補正する。ここでいうズレには、撮像装置１０Ｌ，１０Ｒのレンズの歪みによるものや、撮像装置１０Ｌ，１０Ｒの垂直方向、回転方向の位置又は向きのズレによるものが含まれる。そして、距離画像生成部２２は、撮像画像全体を所定小区画（例えば１画素）に分割した画像ブロックごとに、基準画像と比較画像との間の水平視差を算出する。そして、距離画像生成部２２は、算出した水平視差に基づき、画像ブロックに写る物体までの距離を算出する。これにより、画像ブロックごとに自車両から物体までの距離の情報を有する距離画像が生成される。

【0016】

情報結合部２３は、距離画像生成部２２により生成された距離画像と、基準画像の色情報と、を対応関係がある画像領域ごとに結合する。本実施形態では、距離画像と基準画像の色情報とは画素ごとに結合される。また、本実施形態では、色情報は、画素ごとの色相及び彩度である。以下では、距離画像及び色情報が結合されることにより生成される画像の画像データを「ＨＳＤ画像データ」という。ＨＳＤは、Hue，Saturation，Depth、つまり色相、彩度、距離を意味する。なお、ＨＳＤ画像データのサイズは、２２４×２２４画素である。

【0017】

ラベル付け部２４は、情報結合部２３により生成されたＨＳＤ画像データを入力データとして図２に示す第１の処理を実行する。第１の処理において、ラベル付け部２４は、ＨＳＤ画像データから路面領域を表す特徴量を抽出することにより、ＨＳＤ画像データ内の各画素に対して、路面領域か非路面領域かを表す二値ラベルｋを付与する。路面領域とは、路面に対応する領域である。路面領域は、例えば、図４のハッチングで示されるような、道路脇の側壁や道路中央の中央分離帯等に囲まれた領域である。

【0018】

本実施形態では、ラベル付け部２４は、畳み込みニューラルネットワーク（Convolutional Neural Network）を用いて、画像サイズを縮小しながらＨＳＤ画像から特徴量を抽出する。抽出された特徴量は、特徴量マップとして表現される。また、ラベル付け部２４は、逆畳み込みニューラルネットワーク（Deconvolution Neural Network）を用いて、畳み込みニューラルネットワークによって生成された特徴量マップからＨＳＤ画像における路面領域の位置を復元する。この逆畳み込みニューラルネットワークによって、路面領域の情報のみが保持されつつ、入力画像と同じサイズの２２４×２２４画素の画像が復元される。

【0019】

なお、畳み込みニューラルネットワークと逆畳み込みニューラルネットワークとが併用されたアルゴリズムは、例えば下記の論文などに示されるように公知である。
「H. Noh, S. Hong, and B. Han, “Learning deconvolution network for semantic segmentation.” CoRR, vol. abs/1505.04366, 2015.」
本実施形態では、上記論文で提案されたアルゴリズムをベースに、学習によってそのパラメータが調節されるものが使用される。学習の詳細については後述する。

【0020】

以下、第１の処理における前段の畳み込みニューラルネットワーク及び後段の逆畳み込みニューラルネットワークについて簡単に説明する。
前段の畳み込みニューラルネットワークは、畳み込み層とプーリング層との組を複数（この例では５つ）有している。図２では、５つの畳み込み層Ｃ１〜Ｃ５と５番目のプーリング層Ｐ５とは図示されている。一方、１〜４番目のプーリング層Ｐ１〜Ｐ４は図示されていない。なお、５番目のプーリング層Ｐ５によって、路面領域の情報が最も圧縮された特徴量マップが生成される。

【0021】

畳み込み層Ｃ１〜Ｃ５は、入力画像に対してフィルタを作用させることで畳み込みを行う層である。フィルタはｎ×ｎ画素の要素を持ち、重みやバイアスといったパラメータを含む。なお、ｎは正の整数であり、例えば５である。フィルタは、画像内の領域を変更しながら、各領域に対して作用される。フィルタが作用されることによって画像内の局所的な特徴、つまりパターンが抽出される。

【0022】

プーリング層Ｐ１〜Ｐ５は、入力画像に対してプーリングを行うことで、入力画像の解像度を下げる層である。典型的なプーリングは、畳み込み層Ｃ１〜Ｃ５から出力された２次元配列を２×２のグリッドに分割し、各グリッドの４つの値のうち最大値を取る処理である。別のプーリングとしては、２×２のグリッドのうちある１つの値（例えば左上の（１，１）の値）だけを取り出すサブサンプリングが挙げられる。プーリングによって、入力画像のサイズが１／４に圧縮される。なお、畳み込み層Ｃ１〜Ｃ５及びプーリング層Ｐ１〜Ｐ５によって抽出された特徴は、全結合層（Fully Connected層：ＦＣ層）で分類される。

【0023】

後段の逆畳み込みニューラルネットワークは、逆畳み込み層とアンプーリング層との組を複数（この例では５つ）有している。図２では、５つの逆畳み込み層ＤＣ１〜ＤＣ５は図示されている。一方、５つのアンプーリング層は図示されていない。この逆畳み込み層ＤＣ１〜ＤＣ５及びアンプーリング層は、それぞれ、畳み込み層Ｃ１〜Ｃ５及びプーリング層と逆の機能を有する。具体的には、アンプーリング層では、畳み込みニューラルネットワークで行われたプーリングのインデックス情報を基に、プーリングで反応した部分に特徴量を拡大させる。具体的には例えば、プーリング層Ｐ１〜Ｐ５で、２×２グリッドの右上の（１，２）から値が抽出された場合には、アンプーリング層で、抽出された値が２×２グリッドの右上の（１，２）に入力され、２×２グリッドの他のグリッドに０が入力されることで、特徴量が拡大される。このように生成されるアンプーリング層の出力画像は疎であるため、アンプーリング層からの出力画像は、逆畳み込み層ＤＣ１〜ＤＣ５によって密にされる。逆畳み込み層ＤＣ１〜ＤＣ５は、畳み込みのような演算を行うことによって密な画像を生成する。逆畳み込み層ＤＣ１〜ＤＣ５における各フィルタは、重みやバイアスといったパラメータを含む。逆畳み込み層ＤＣ１〜ＤＣ５及びアンプーリング層によって、プーリング層Ｐ５を経て生成された特徴量マップは、入力画像と同サイズの２２４×２２４画素に拡大される。なお、逆畳み込みニューラルネットワークの最終の出力画像においては、路面領域を表す情報のみが保持される。

【0024】

環境識別部２５は、図２に示す第２の処理を実行することにより、ラベル付け部２４の中間データ、具体的には、プーリング層Ｐ５によって生成された特徴量マップに対応する道路環境を識別する。すなわち、環境識別部２５は、事前の学習によって得られた特徴量マップと道路環境との対応関係を表す識別器である環境識別器に基づき、プーリング層Ｐ５によって生成された特徴量マップに対応する道路環境を識別する。環境識別器の学習については後述する。また、環境識別器は、図２では「Trained Extra Trees Classifier」と記載されている。

【0025】

本実施形態では、道路環境は、あらかじめ定義されたシーンラベルｓにより分類されている。シーンラベルｓは、車線境界線の数、順番及び特徴に基づいて決定される。車線境界線とは、具体的には道路区画線のことである。また、車線境界線の特徴とは、車線境界線の色や種類（破線状の車線境界線や連続した車線境界線等）などである。このように、シーンラベルｓで分類された道路環境には、車線境界線の情報が含まれている。また、シーンラベルｓによって道路環境が分類されることにより、道路環境が、道路が合流又は離脱した道路環境、複数の車線境界線がある道路環境、道路に道路区画線がない道路環境など、種々の道路環境に分類される。

【0026】

シーンラベルｓで分類された道路環境の例を図３に示す。
（ａ）は、路面領域の２つの境界と、２つの白色の車線境界線と、１つの白色の破線状の車線境界線と、を有する道路環境である。

【0027】

（ｂ）は、路面領域の２つの境界と、２つの白色の車線境界線と、１つの白色の連続した車線境界線と、を有する道路環境である。
（ｃ）は、路面領域の２つの境界と、１つの黄色の車線境界線と、を有する道路環境である。

【0028】

（ｄ）は、路面領域の２つの境界と、２つの黄色の車線境界線と、１つの白色の車線境界線と、１つの破線状の車線境界線と、を有する道路環境である。
（ｅ）は、路面領域の２つの境界と、２つの白色の車線境界線と、１つの白色の連続した車線境界線と、１つの破線状の車線境界線と、を有する道路環境である。

【0029】

（ｆ）は、路面領域の４つの境界と、３つの白色の車線境界線と、３つの白色の連続した車線境界線と、１つの破線状の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の４つの境界には、左の出口の路面領域の境界が含まれる。また、３つの白色の連続した車線境界線には、左の出口の車線境界線が含まれる。

【0030】

（ｇ）は、路面領域の４つの境界と、２つの白色の車線境界線と、３つの破線状の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の４つの境界には、左の出口の路面領域の境界が含まれる。また、３つの破線状の車線境界線には、左の出口の車線境界線が含まれる。

【0031】

（ｈ）は、路面領域の４つの境界と、３つの白色の車線境界線と、１つの黄色の車線境界線と、１つの白色の連続した車線境界線と、を有する道路環境である。なお、ここでいう路面領域の４つの境界には、左の出口の路面領域の境界が含まれる。また、３つの白色の車線境界線には、左の出口の車線境界線が含まれる。

【0032】

（ｉ）は、路面領域の４つの境界と、３つの破線状の車線境界線と、２つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の４つの境界には、右の出口の路面領域の境界が含まれる。また、３つの破線状の車線境界線には、右の出口の車線境界線が含まれる。

【0033】

（ｊ）は、路面領域の４つの境界と、４つの破線状の車線境界線と、２つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の４つの境界には、左の出口の路面領域の境界が含まれる。また、４つの破線状の車線境界線には、左の出口の車線境界線が含まれる。

【0034】

（ｋ）は、路面領域の６つの境界と、３つの破線状の車線境界線と、１つの白色の車線境界線と、を有する道路環境である。なお、ここでいう路面領域の６つの境界には、左の出口及び料金所がある場所の路面領域の境界が含まれ、３つの破線状の車線境界線には、左の出口の車線境界線が含まれる。

【0035】

推定部２６は、図２に示す第３の処理を実行することにより、撮像装置１０Ｌ，１０Ｒの撮像画像内の車線境界線の位置を推定する。すなわち、推定部２６は、ラベル付け部２４により抽出された特徴量の特徴量マップと環境識別部２５により識別された道路環境とから撮像画像内の車線境界線の位置及び特徴を回帰するモデルである車線回帰モデルを用いて、車線境界線の位置を推定する。この車線回帰モデルは、事前の学習によって得られるものであり、その学習については後述する。なお、車線回帰モデルは、図２では「Trained Extra trees Regressor」と記載されている。

【0036】

本実施形態では、車線境界線の位置は、曲線描画の制御点、つまり、ベジェ曲線の制御点を回帰することにより推定される。換言すれば、車線境界線の位置は、ベジェ曲線の制御点によって表現される。つまり、撮像画像にｍ個の車線境界線が含まれる場合、これらの車線境界線はｍ個のベジェ曲線によって表現される。また、本実施形態では、ベジェ曲線と共にレーンラベルベクトルＷが共に出力される。レーンラベルベクトルＷは、撮像画像にｍ個の車線境界線が含まれる場合はｍ個の成分を有する。レーンラベルベクトルＷの各成分は、ｍ個の車線境界線のうちのいずれかに対応し、対応する車線境界線の特徴を表すラベルとなっている。

【0037】

推定された車線境界線の例を図４に示す。図中、ハッチングが付された領域は、第１の処理で検出された路面領域を表す。また、黒色の丸印は、推定された車線境界線の位置を表すベジェ曲線の制御点を表す。

【0038】

なお、図中の白色の丸印は、後述する学習の際に入力されるベジェ曲線の制御点の真値点を表す。また、図４では、路面領域の境界もベジェ曲線の制御点によって表現されている。

【0039】

［２．学習について］
［２−１．第１の処理のパラメータ］
第１の処理において、入力されたＨＳＤ画像データから路面領域が正しく検出されるように、上記論文の畳み込みニューラルネットワーク及び逆畳み込みニューラルネットワークのパラメータを調節する。具体的には、図５に示すように、学習用のＨＳＤ画像データと、そのＨＳＤ画像データに対応する画像であって、あらかじめ各画素が路面領域か非路面領域かラベル付けされた画像と、を入力データとして、上記パラメータが調節される。後者の画像は、換言すれば、路面領域の位置の真値を表す画像であり、図５では「Ground Truth Label」と記載されている。なお、調節されるパラメータは、畳み込み層Ｃ１〜Ｃ５、ＦＣ層及び逆畳み込み層ＤＣ１〜ＤＣ５におけるフィルタの重みやバイアス等である。

【0040】

［２−２．環境識別器］
第２の処理では、第１の処理で抽出された特徴量に対応する道路環境を識別する環境識別器として、エクストラツリーズ（extra trees）に基づく識別器が使用される。エクストラツリーズとは、公知の機械学習のアルゴリズムであるランダムフォレスト（random forest）の拡張である。ランダムフォレストでは、１つの学習用データセットから重複を許して複数のサブセットが作成される。そして、それぞれのサブセットに対して弱識別器となる決定木が作成される。その後、作成された各決定木の判定結果を集約する（例えば多数決を取る）ことにより強識別器が作成される。

【0041】

本実施形態では、図６に示すように、特徴量マップと、その特徴量マップに対応する道路環境、つまりシーンラベルｓと、を学習用データセットとして、ランダムフォレストが作成される。なお、学習には、図３に示す道路環境が使用される。

【0042】

［２−３．車線回帰モデル］
第３の処理における車線回帰モデルとしては、環境識別器と同様、ランダムフォレストに基づくモデルが使用される。当該ランダムフォレストは、図７に示すように、道路環境ごとに作成されたＨＳＤ画像データと、そのＨＳＤ画像データにおける車線境界線の位置をベジェ曲線の制御点で表した画像と、学習用データセットとして作成される。後者の画像は、車線境界線の位置の真値を表す画像であり、図７では「BezierGround Truth Label」と記載されている。また、本実施形態では、車線回帰モデルは、ＨＳＤ画像データから抽出された特徴量とそのＨＳＤ画像データの道路環境とが入力された場合に、レーンラベルベクトルＷも回帰できるように学習される。

【0043】

［３．効果］
以上詳述した実施形態によれば、以下の効果が得られる。
（１）本実施形態では、境界線推定装置２０は、入力された撮像画像の画像データから路面領域を表す特徴量を抽出し、事前の学習によって得られた環境識別器に基づき、抽出された特徴量に対応する道路環境を識別する。そして、境界線推定装置２０は、識別された道路環境に基づき、撮像画像内の車線境界線の位置を推定する。したがって、このような構成によれば、撮像画像上で車線境界線の一部が先行車両等により遮られている場合であっても、車線境界線の位置を推定することができる。

【0044】

（２）本実施形態では、境界線推定装置２０は、撮像画像に対応する距離画像を生成し、生成した距離画像と、撮像画像の色情報と、に基づき、特徴量を抽出する。例えば、トンネルのような場所では、距離画像における路面領域よりも上方の部分の距離は、路面領域の上方に空が広がっている場合と比較して、小さくなる。つまり、距離画像は道路環境に応じて異なる。よって、距離画像と色情報とに基づき特徴量を抽出することで、例えば、色情報のみから特徴量を抽出する構成と比較して、道路環境を識別しやすくすることができる。

【0045】

（３）本実施形態では、境界線推定装置２０は、複数の撮像装置１０Ｌ，１０Ｒから取得された複数の撮像画像間の視差に基づき、距離画像を生成する。したがって、道路環境の識別をより精度良く行うことができる。

【0046】

すなわち、距離画像は、例えば、自車両と自車両周辺の物体との距離を測定可能なレーダを用いても生成することができる。しかしながら、レーダが用いられる場合、レーダの探索範囲によっては、撮像画像中の一部の領域についてしか距離が取得できない場合がある。これに対して、本実施形態のように、複数の撮像装置１０Ｌ，１０Ｒの撮像画像に基づき距離画像を生成する場合、撮像画像中の全領域について距離を取得することができる。よって、撮像画像中の全領域にわたって距離に基づく特徴量を抽出することができる。ひいては、道路環境の識別をより精度良く行うことができる。

【0047】

（４）本実施形態では、境界線推定装置２０は、学習によってパラメータが調節された畳み込みニューラルネットワークに従い、特徴量を抽出する。したがって、人の感覚では物理的意味が明確に把握できない特徴量であっても抽出することができる。そして、そのような特徴量に基づき道路環境を識別することができる。よって、畳み込みニューラルネットワークよりも抽出可能な特徴量が限られている抽出方法を使用する場合よりも、精度の高い車線境界線の位置推定を行うことができる。

【0048】

（５）本実施形態では、境界線推定装置２０は、撮像画像内の車線境界線の位置を、ベジェ曲線の制御点を回帰することにより推定する。換言すれば、車線境界線の位置は、ベジェ曲線の制御点によって表現される。よって、例えば、直線や円を使って車線境界線の位置を表現する構成と比較して、複雑な形状の車線境界線の位置も表すことができる。

【0049】

なお、本実施形態では、距離画像生成部２２、情報結合部２３及びラベル付け部２４が抽出部としての処理に相当する。
［４．他の実施形態］
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

【0050】

（１）上記実施形態では、ラベル付け部２４は、距離画像と撮像画像の色情報とが結合したＨＳＤ画像データを入力データとして当該ＨＳＤ画像データから特徴量を抽出するが、入力データはこれに限られるものではない。例えば、撮像画像の色情報のみを入力データとして、当該色情報から特徴量が抽出されてもよい。

【0051】

（２）上記実施形態では、境界線推定システム１は車両に搭載されるが、境界線推定システム１が搭載される対象はこれに限られるものではない。境界線推定システム１は、例えば、ロボット等に搭載されてもよい。

【0052】

（３）上記実施形態で、境界線推定装置２０が実行する機能の一部又は全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。
（４）前述した境界線推定装置２０の他、当該境界線推定装置２０を構成要素とするシステム、当該境界線推定装置２０としてコンピュータを機能させるためのプログラム、このプログラムを記憶した半導体メモリ等の非遷移的実体的記憶媒体、車線境界線の位置を推定する方法など、種々の形態で本開示を実現することもできる。

【0053】

（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

【符号の説明】

【0054】

１…境界線推定システム、１０Ｌ，１０Ｒ…撮像装置、２０…境界線推定装置、２１…画像取得部、２２…距離画像生成部、２３…情報結合部、２４…ラベル付け部、２５…環境識別部、２６…推定部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】