特許 7548813 車線を認識するための方法及び装置並びに運転支援システム及び車両

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】車線を認識するための方法及び装置並びに運転支援システム及び車両

(51)【国際特許分類】

   G06T 7/60 20170101AFI20240903BHJP

   G06T 7/00 20170101ALI20240903BHJP

   G08G 1/16 20060101ALI20240903BHJP

【ＦＩ】

G06T7/60 200J

G06T7/00 350C

G06T7/00 650A

G08G1/16 A

【請求項の数】 15

(21)【出願番号】P 2020514970

(86)(22)【出願日】2018-08-31

(65)【公表番号】

(43)【公表日】2020-11-26

(86)【国際出願番号】 DE2018200078

(87)【国際公開番号】W WO2019057252

(87)【国際公開日】2019-03-28

【審査請求日】2021-08-26

【審判番号】

【審判請求日】2023-08-28

(31)【優先権主張番号】102017216802.1

(32)【優先日】2017-09-22

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】399023800

【氏名又は名称】コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(72)【発明者】

【氏名】バイヤー・クリストファー

(72)【発明者】

【氏名】ヘラー・クラウディオ

(72)【発明者】

【氏名】ローイ・クラウディア

(72)【発明者】

【氏名】アブラモフ・アレクセイ

【合議体】

【審判長】畑中 高行

【審判官】圓道 浩史

【審判官】高橋 宣博

(56)【参考文献】

【文献】特開２０１５－２０３９９２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０５０４６２３５（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 7/00-7/90

G08G 1/00-1/16

(57)【特許請求の範囲】

【請求項1】

車線（Ｆ）を認識するための方法であって、
車両（５）のカメラ装置（２）を用いて車両周辺の１つのカメラ画像（Ｋ）を撮影するステップ（Ｓ１）と、
当該撮影されたカメラ画像（Ｋ）内の、可能な車線境界（Ｍ１、Ｍ２）の領域だけに対応する複数の特徴点（Ｐ１～Ｐ１５）を、車道路面上の２つの隣り合う画素の輝度差によって認識することによって、前記車線境界が予期されない領域を除外するステップ（Ｓ２）と、
当該認識されたそれぞれの特徴点（Ｐ１～Ｐ１５）の周囲の当該撮影されたカメラ画像（Ｋ）の切り出し画像を生成するステップ（Ｓ３）と、
前記複数の特徴点（Ｐ１～Ｐ１５）を分類するため、ニューラルネットワークを用いて前記切り出し画像を分析し、このときに、前記切り出し画像が前記車線境界（Ｍ１，Ｍ２）を表示している蓋然性が出力され、演算された前記蓋然性が、前記車線境界が予期されない領域に対応する所定の閾値を超える場合に、前記切り出し画像が、前記車線境界（Ｍ１，Ｍ２）に対応するとして分類されるステップ（Ｓ４）と、
当該分類された複数の特徴点（Ｐ１～Ｐ１５）を考慮して、前記車両周辺内の車線を認識するステップ（Ｓ５）とを含む当該方法。

【請求項2】

前記特徴点（Ｐ１～Ｐ１５）は、エッジ検出用アルゴリズムを用いて認識される請求項１に記載の方法。

【請求項3】

前記エッジ検出は、ソーベルフィルタの使用を含む請求項２に記載の方法。

【請求項4】

前記可能な車線境界（Ｍ１、Ｍ２）は、車線標識（５１、５２）から成る請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記ニューラルネットワークは、畳み込みニューラルネットワークである請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記ニューラルネットワークは、データベースからの所定のトレーニングデータを用いて学習される請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記トレーニングデータは、車線境界（Ｍ１、Ｍ２）の画像と、車線境界（Ｍ１、Ｍ２）でない構造体の画像とを含む請求項６に記載の方法。

【請求項8】

前記画像の少なくとも一部が、異なる輝度及び／又は時刻及び／又は天候条件で生成されたものである請求項７に記載の方法。

【請求項9】

車線境界に対応するとして分類された隣り合う複数の特徴点（Ｐ１～Ｐ１５）を補間することによって、車線境界（Ｍ１、Ｍ２）の推移が認識され、
前記車両（５）にとって走行可能な前記車線（Ｆ）が、前記車線境界（Ｍ１、Ｍ２）の前記推移に基づいて決定される請求項１～８のいずれか１項に記載の方法。

【請求項10】

車両（５）のカメラ装置（２）を用いて撮影されたこの車両（５）の車両周辺のカメラ画像（Ｋ）を受信するインタフェース（１１）と、演算装置（１２）とを有する、車線（Ｆ）を認識するための装置（１）であって、
‐前記インタフェース（１１）を用いて受信された前記カメラ画像（Ｋ）内の、可能な車線境界（Ｍ１、Ｍ２）の領域だけに対応する複数の特徴点（Ｐ１～Ｐ１５）を、車道路面上の２つの隣り合う画素の輝度差によって認識することによって、前記車線境界が予期されない領域を除外し、
‐当該認識されたそれぞれの特徴点（Ｐ１～Ｐ１５）の周囲の当該撮影されたカメラ画像（Ｋ）の切り出し画像を生成し、
‐前記複数の特徴点（Ｐ１～Ｐ１５）を分類するため、ニューラルネットワークを用いて前記切り出し画像を分析し、このときに、前記切り出し画像が前記車線境界（Ｍ１，Ｍ２）を表示している蓋然性が出力され、演算された前記蓋然性が、前記車線境界が予期されない領域に対応する所定の閾値を超える場合に、前記切り出し画像が、前記車線境界（Ｍ１，Ｍ２）に対応するとして分類され、
‐当該分類された複数の特徴点（Ｐ１～Ｐ１５）を考慮して、前記車両周辺内の車線（Ｆ）を認識するように、前記演算装置（１２）は構成されている当該装置（１）。

【請求項11】

前記演算装置（１２）は、エッジ検出用アルゴリズムを用いて前記複数の特徴点（Ｐ１～Ｐ１５）を認識する請求項１０に記載の装置（１）。

【請求項12】

前記演算装置（１２）は、当該エッジ検出のためにソーベルフィルタ使用する請求項１０又は１１に記載の装置（１）。

【請求項13】

車線境界（Ｍ１、Ｍ２）に対応するとして分類された隣り合う複数の特徴点（Ｐ１～Ｐ１５）を補間することによって、車線境界（Ｍ１、Ｍ２）の推移を認識し、前記車線境界（Ｍ１、Ｍ２）の前記推移に基づいて、前記車両（５）にとって走行可能な前記車線（Ｆ）を決定するように、前記演算装置は構成されている請求項１０～１２のいずれか１項に記載の装置（１）。

【請求項14】

車両（５）の車両周辺のカメラ画像（Ｋ）を撮影するように構成されているカメラ装置（２）と、前記カメラ装置（２）によって当該撮影されたカメラ画像（Ｋ）に基づいて車線（Ｆ）を認識するための請求項１０～１３のいずれか１項に記載の装置（１）とを有する車両（５）用の運転支援システム（４）。

【請求項15】

請求項１４に記載の運転支援システム（４）を有する車両（５）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車線を認識するための方法及び装置並びに運転支援システム及び車両に関する。

【背景技術】

【0002】

運転支援システムは、大量のセンサデータに基づいて車両周辺のモデルを生成する。障害物そしてさらなる交通参加者の検出とともに、車線の認識は特に重要である。車線内での車両の移動を判定することで、意図せず車線から外れた場合に運転者を適時に警告することができる。また、運転支援システムは、運転者を車線維持に関して支援することができ、又は車両を自律的に車線に沿って制御することができる。

【0003】

一般に、車線認識は、特に車線標識と縁石を含む、車線境界の判定により行われる。特許文献１は、いくつかのセンサに基づいて互いに独立して決定される特徴ベクトルを用いた車線評価方法を開示している。

【0004】

多くの場合白色又は黄色である車線標識を暗色の車道と分離するため、明るい領域と暗い領域との間の遷移を検知する、車線標識を決定するためのエッジ検出方法を用いることができる。おもに２つの隣り合う領域の輝度差が演算される、ソーベルフィルタの使用が普及している。一定の輝度の場合この差はゼロと数値化される一方、エッジの場合ゼロとは異なる値が得られる。

【0005】

物体認識、特に車線標識を認識するためにますますニューラルネットワークが用いられている。そのような方法は、異なる環境条件、例えば輝度の時刻又は天候による変化を、これが静的ソーベルフィルタの場合よりも良好に考慮することができるという有利な点を有する。

【0006】

しかし、認識画像の評価はニューラルネットワークを用いて通常は画素毎に行われるため、演算コストが比較的高く、これによりエネルギー消費が増加し、評価速度が低下する。

【先行技術文献】

【特許文献】

【0007】

【文献】ドイツ特許出願公開第１０２０１５２０９４６７Ａ１号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明の課題は、車線を迅速かつ精確に認識することを可能にすることである。

【課題を解決するための手段】

【0009】

この課題は、請求項１の特徴を有する車線を認識するための方法と、請求項１０の特徴を有する車線を認識するための装置と、請求項１４の特徴を有する運転支援システムと、請求項１５の特徴を有する車両とによって解決される。

【0010】

さらなる好ましい実施形態が従属請求項の対象である。

【0011】

第１態様によると、本発明は、車両のカメラ装置を用いて車両の車両周辺のカメラ画像が撮影される車線認識方法を提供する。車線境界の可能性がある領域に対応するカメラ画像内の特徴点が認識される。それぞれの特徴点の周囲の撮影されたカメラ画像の切り出し画像が生成される。切り出し画像は、特徴点を分類するニューラルネットワークを用いて分析される。最後には、分類された特徴点を考慮して車両周辺の車線が認識される。

【0012】

第２態様によると、本発明は、車両のカメラ装置を用いて撮影される、車両の車両周辺のカメラ画像を受信するインタフェースを備える車線認識装置を提供する。本装置は、インタフェースを用いて受信されるカメラ画像内の特徴点を認識し、特徴点が車線境界の可能性がある領域に対応する、演算装置をさらに備える。演算装置は、それぞれの特徴点の周囲の撮影されたカメラ画像の切り出し画像を生成し、特徴点を分類するニューラルネットワークを用いて切り出し画像を分析し、分類された特徴点を考慮して車両周辺の車線を認識する。

【0013】

第３態様によると、本発明は、車両用運転支援システムにおいて、車両の車両周辺のカメラ画像を撮影するカメラ装置と、カメラ装置により撮影されたカメラ画像に基づいて車線を認識する装置と、を備える車両用運転支援システムに関する。

【0014】

第４態様によると、本発明は、運転支援システムを備える車両に関する。

【0015】

本発明は、車線の２段階認識を提供する。第１段階において、好ましくは一般的な特徴認識方法を用いてカメラ画像が分析され、車線境界の可能性がある領域に対応する特徴点が認識される。この第１段階では、大まかな評価においてすでにあまり関連性が高くない領域、つまり高い蓋然性で車線境界が予期されないような領域が除外される。これにより、さらなるデータ処理における演算コストが低減される。

【0016】

次の第２段階において、検出された特徴点の詳細な分析が実行される。ここで、特徴点の周囲に関する切り出し画像がニューラルネットワークを用いて評価される。これにより、特徴点の分類、つまり特徴点が車線境界に対応するか否かの分類を実行できる。車線は、車線境界に対応する特徴点として分類されたその特徴点に基づいて認識される。

【0017】

ソーベルフィルタに対するニューラルネットワークのさらなる有利な点は、より大きな切り出し画像を考慮に入れることにある。ソーベルフィルタは、一般に、３×３画素の撮影領域を有する一方、ニューラルネットワークの切り出し画像は、例えば１２８×１２８画素の撮影領域を有することができる。このより大きな切り出し画像により、ニューラルネットワークは、周辺のコンテキストを撮影して特徴点を分類することが可能である。この場合、例えば切り出し画像内の灌木が、ガードレール、したがって誤識別又は外れ値を示唆する場合がある。そのため、切り出し画像の周辺領域も評価されることは有利である。

【0018】

このように好ましくは、本発明は、一般的な方法をニューラルネットワークの使用と組み合わせる。その一方、プレフィルタリングに基づいて、カメラ画像の特定領域のみをニューラルネットワークを用いて分析する必要があるだけであり、全ての画素の全体評価を省略することができる。これにより、車線認識を迅速かつ効率的に実施することができる。それと同時に、ニューラルネットワークの高い認識精度が十分に活用される。

【0019】

車線境界が認識されないことを防止するため、特徴点として画素を検出するために超えられるべき閾値は、好ましくは比較的低く設定される。これにより発生する誤認識は、その後、ニューラルネットワークを用いて再度フィルタリング除去される。ソーベルフィルタのみを用いる場合、閾値は、一般に、誤認識の発生が可能な限り少なくなるように選択される。しかし、これにより、低コントラストの車線境界が認識されない場合がある。本発明の２段階方法によれば、そのような中間のものが入り込むことはなく、認識精度はより高い。

【0020】

本方法の１つの好ましい発展形態によると、特徴点はエッジ検出用アルゴリズムを用いて認識される。したがって、エッジ検出は一般的な方法を用いて、好ましくはソーベルフィルタを用いて実行される。

【0021】

本方法の１つの好ましい発展形態によると、可能な車線境界は、車線標識から成る。特に、車線標識のみを車線境界の可能性として認識してよい。車線標識又は道路標示には、個々の車線を区分するか又は境界を定める車道路面上のカラー標示が含まれてよい。その一方、さらなる実施形態によると、車線境界には、特に道路標示がない場合、縁石、ガードレール又は草木も含まれてよい。

【0022】

本方法の１つの好ましい発展形態によると、ニューラルネットワークは畳み込みニューラルネットワークである。

【0023】

本方法の１つの好ましい発展形態によると、ニューラルネットワークはデータベースの所定のトレーニングデータを用いて学習する。

【0024】

１つの発展形態によると、トレーニングデータは車線境界の画像を含む。トレーニングデータは道路標示を示さない構造体の画像をさらに含んでよい。好ましくはこれらの画像は、通常、一般的なエッジ検出を用いて道路標示と誤認識される可能性がある構造体と物体を映すように選択される。例えば、車線境界を示さない、車両又はガードレールの画像であってよい。これにより、ニューラルネットワークは、車線境界の画像が車線境界を示さない画像から区別されるように学習する。

【0025】

分析のためにニューラルネットワークを用いて使用される切り出し画像は、好ましくは所定の画素数又は所定のサイズを有する。トレーニングデータとして選択される画像は、好ましくは車両のカメラ装置により撮影される、これらの所定の画素数又はサイズの一般的な画像に対応する。

【0026】

好ましくは、画像は少なくとも一部が異なる輝度において生成される。例えば、画像は異なる時刻において生成されてよい。また、画像は、異なる照明条件、例えば照明不良の道路又は照明良好の道路上で生成されてよい。さらに、画像は、異なる天候条件、例えば、晴れ、霧、降雨又は降雪の条件下で撮影されてよい。

【0027】

本方法の１つの好ましい発展形態によると、車線境界に属するとして分類された隣り合う特徴点が補間され、車線境界の延在状態が認識される。車線境界の延在状態に基づいて車両が走行可能な車線が決定される。

【0028】

本装置の１つの好ましい発展形態によると、演算装置は特徴点を、エッジ検出用アルゴリズムを用いて認識する。

【0029】

本装置の１つの好ましい発展形態によると、演算装置はエッジ検出用にソーベルフィルタを用いる。

【0030】

１つの好ましい発展形態によると、本装置の演算装置は、車線境界に対応するとして分類された隣り合う特徴点の補間により車線境界の延在状態が認識される。演算装置は、車線境界の延在状態に基づいて車両が走行可能な車線を決定する。

【0031】

以下、本発明を図面の概略図に示される実施形態例に基づいてさらに詳細に説明する。

【図面の簡単な説明】

【0032】

【図1】図１は、本発明の１つの実施形態による車線認識装置の概略ブロック図である。

【図2】図２は、カメラ装置により撮影された概略的なカメラ画像を示す図である。

【図3】図３は、ニューラルネットワーク用トレーニングデータとしての図を示す図である。

【図4】図４は、カメラ画像において認識された車線境界を示す図である。

【図5】図５は、運転支援システムの概略ブロック図である。

【図6】図６は、車両の概略ブロック図である。

【図7】図７は、車線認識方法のフロー図である。

【発明を実施するための形態】

【0033】

本発明のさらなる可能な実施形態、発展形態及び実装には、上記又は以下に実施形態例に関して記載される本発明の特徴の明示されていない組み合わせも含まれる。

【0034】

添付の図面は、本発明の実施形態のさらなる理解に資するものである。添付の図面は、実施形態と、本発明の原理及び概念の説明の記載に関連する形態とを示している。他の実施形態及び多くの記載される有利な点は、図面に照らして得られる。この場合、同一の参照符号は、同一又は類似して機能する構成要素を示す。

【0035】

図１は、車線認識装置１の概略ブロック図を示す。

【0036】

装置１は、無線又は有線接続を介してデータを受信及び送信するように構成されるインタフェース１１を有する。インタフェース１１は、特に、カメラデータを受信し、これを装置１の演算装置１２に送信する。カメラデータは、少なくとも、車両のカメラ装置２により生成されたカメラ画像を含む。また、カメラ画像は、カメラ装置２の１つの車両カメラの複数の単一画像に基づいて、又はカメラ装置２の複数の車両カメラの複数の画像に基づいて組み合わされてもよい。

【0037】

演算装置１２は画像認識方法を用いてカメラ画像を分析し、車両周辺の車線境界を有する領域に対応する特徴点を抽出する。演算装置１２は演算ステップを実行する少なくとも１つのマイクロプロセッサを含む。

【0038】

演算装置１２はそれぞれの特徴点の周囲に関してそれぞれの切り出し画像を生成する。この切り出し画像は、切り出し画像を評価するニューラルネットワークの入力変数としての役割を果たす。ニューラルネットワークとは、好ましくは畳み込みニューラルネットワークに関する。ニューラルネットワークを用いて、切り出し画像が車線境界を映す蓋然性が演算される。蓋然性が所定の閾値を超える場合、演算装置１２は切り出し画像の特徴点が車線境界に対応することを認識する。

【0039】

そのように分類された特徴点は演算装置１２によりさらに評価され、車両の車両周辺の車線を認識する。このように、車線境界に対応する互いに隣り合う特徴点の補間によりカメラ画像における車線境界の延在状態が認識されてよい。車線境界間に延在する領域は車道として識別されてよく、演算装置１２は周辺モデルを生成してよい。

【0040】

以下、装置１のいくつかの態様を図２～４に基づいてさらに詳細に説明する。

【0041】

図２はカメラ装置２により撮影されるカメラ画像Ｋを示す。映される物体は、右側道路標示５１、中央道路標示５２、右側路側にあるガードレール５３及び並行する車道を走行する車両５４を含む。

【0042】

演算装置１２は一般的なエッジ検出方法を用いてカメラ画像Ｋの画素を分析する。特に、演算装置１２は、画素又は画素周辺のエッジを検出するためにそれぞれの画素にソーベルフィルタを適用してよい。ソーベルフィルタは検討すべき画素周辺の３×３画素を考慮してよい一方、さらに大きい画素周辺領域を算入してもよい。

【0043】

演算装置１２はそれぞれの画素について、画素がエッジ近傍に接するか又は近傍内に位置するか否かを決定してよい。特に、演算装置１２は、ソーベルフィルタを用いて演算される値を所定の閾値と比較してよい。閾値が超えられる場合、演算装置１２は、画素が車線境界の可能性に対応する特徴点に関するものであると決定する。

【0044】

図２に示されるカメラ画像Ｋにおいて、演算装置１２は特徴点Ｐ１～Ｐ１５全体を認識する。このことは例示に過ぎないものと理解されるべきである。一般にはさらに多数の特徴点が生成される。

【0045】

それぞれの特徴点Ｐ１～Ｐ１５について、演算装置１２は、図２においては明瞭化を目的として最初の３つの特徴点Ｐ１～Ｐ３についてのみ示されている、切り出し画像Ｂ１～Ｂ３を生成する。切り出し画像Ｂ１～Ｂ３は、所定のサイズ、例えば１２８×１２８画素を有してよい。特徴点Ｐ１～Ｐ１５は、好ましくはそれぞれの切り出し画像Ｂ１～Ｂ３の中心部にそれぞれ配置される。

【0046】

図３は、切り出し画像Ｂ１～Ｂ３をさらに分析するために用いられるニューラルネットワークの作成についてより詳細に説明するものである。この場合、最初に、トレーニングデータを有するデータベースＤＢが生成される。トレーニングデータは、車両カメラを用いて撮影された画像を含む。画像は好ましくは手動で２つのグループに分類される。第１グループＴａ１～Ｔａ４は車線境界を示す画像を含む。画像は道路標示の画像のみを含んでよい。その一方、画像は、さらなる実施形態においては縁石又はさらなる車線境界も映してよい。この場合、画像は異なる輝度又は天候条件下で生成されてよい。第２グループＴｂ１～Ｔｂ４は、エッジを有する一方で車線境界ではない物体を示す画像を含む。この場合、車両Ｔｂ１、Ｔｂ３、ガードレールＴｂ２又は橋Ｔｂ４の画像に関するものであってよい。

【0047】

ここで、ニューラルネットワークは、第１グループＴａ１～Ｔａ４の画像が車線境界の画像として分類される一方、第２グループＴｂ１～Ｔｂ４の画像は車線境界ではない画像として分類されるように訓練される。訓練フェーズ後、演算装置１２はニューラルネットワークを用いて任意の切り出し画像Ｂ１～Ｂ３を分類してよい。この場合、まず、ニューラルネットワークを用いて、切り出し画像Ｂ１～Ｂ３が車線境界に関する蓋然性が出力される。演算される蓋然性が所定の閾値、例えば０．５を超える場合、演算装置１２は切り出し画像Ｂ１～Ｂ３を車線境界に対応するとして分類する。

【0048】

カメラ画像Ｋの特徴点Ｐ１～Ｐ１５について、演算装置１２は、例えば、中央道路標示５２の特徴点Ｐ２、Ｐ５～Ｐ８と右側道路標示５１の特徴点Ｐ１、Ｐ９～Ｐ１３が車線境界に対応する特徴点に関するものであると認識する。反対に、ガードレール５３及び車両５４の測定点Ｐ４、Ｐ３、Ｐ１４、Ｐ１５は誤識別として却下されるのは、映される物体が車線境界に関するものでないからである。

【0049】

車線を認識するため、演算装置１２は好ましくは車線境界に対応するとして認識されたその特徴点Ｐ１～Ｐ１５のみを含める。

【0050】

ここで、演算装置１２は、隣り合う残りの特徴点Ｐ１～Ｐ１５又は画素の補間により対応する車線境界を認識してよい。

【0051】

図４に示されるように、演算装置１２は図２で映されているカメラ画像Ｋについて、例えば第１車線境界Ｍ１と第２車線境界Ｍ２を認識する。それに対応して演算装置１２は、第１車線境界Ｍ１、Ｍ２間に車道Ｆが延在することを認識する。

【0052】

好ましくは、記載の車道認識は反復して実行されることにより、すでに認識されている車線境界及び車道が更新される。

【0053】

図５において、本発明の１つの実施形態による車両用運転支援システム４のブロック図が示される。運転支援システム４は、車両に設置されるか又は車両に設置可能な１つ又は複数の車両カメラを有するカメラ装置２を含む。

【0054】

運転支援システム４は、上記車線認識装置１をさらに含む。装置は、カメラ装置２により撮影されるカメラ画像を受信する上記インタフェース１２と、カメラ画像に基づいて車道Ｆを認識する演算装置１２とを含む。

【0055】

運転支援システム４は、車両の特定の走行機能を制御してよい制御装置３を含んでよい。このようにして、制御装置３は認識される車両の車線に応じて、車両を加速、減速又は操舵するように制御してよい。これにより、運転支援システム４は半自律又は自律制御を可能にできる。制御装置３は、車両が認識されている車道Ｆから離脱する場合、車道Ｆから意図せず逸脱していることを運転者に警告するために信号を出力するようにさらに構成されてよい。

【0056】

図６において、本発明の１つの実施形態による車両５のブロック図が示される。車両５とは例えば乗用車、トラック又は自動二輪車に関してよい。車両５は、車両５の車両周辺の車線認識装置１を有する上記運転支援システム４を含む。

【0057】

図７は、本発明の１つの実施形態による車線Ｆ認識方法のフロー図を示す。

【0058】

方法ステップＳ１において、車両周辺のカメラ画像がカメラ装置２を用いて撮影される。また、複数の単一画像が組み合わされてもよい。

【0059】

さらなる方法ステップＳ２において、カメラ画像の個々の画素がエッジ検出方法を用いて評価され、特徴点Ｐ１～Ｐ１５を認識する。ここで、例えばエッジ検出用ソーベルフィルタが用いられてよい。ソーベルフィルタを用いて演算される値が所定の閾値を超える場合、画素は車線境界に対応する可能性がある特徴点Ｐ１～Ｐ１５として識別される。

【0060】

それぞれの特徴点Ｐ１～Ｐ１５の周囲に関して、方法ステップＳ３において切り出し画像Ｂ１～Ｂ３が生成される。特徴点Ｐ１～Ｐ１５は、好ましくは四角形の切り出し画像Ｂ１～Ｂ３の中心部にそれぞれ位置してよい。切り出し画像のサイズは、例えば１２８×１２８画素であってよい。しかしこれに本発明は限定されない。このように、切り出し画像は必ずしも四角形又は矩形に構成される必要はない。切り出し画像の形状は、例えばカメラ装置２の視野に応じて選択されてよい。

【0061】

方法ステップＳ４において、切り出し画像はニューラルネットワークを用いて分析される。また、ニューラルネットワークはデータベースのトレーニングデータに基づいて作成されるか又は学習する。トレーニングデータは、図３を参照して説明された車線境界又は車線境界を含まない車道周辺の画像を含む。訓練フェーズ後、ニューラルネットワークは、任意の切り出し画像を分析して、分類するように構成される。それぞれの切り出し画像に関して、映されている車両周辺領域が車線境界を映している否かが認識される。それに応じて特徴点が分類される。ニューラルネットワークを用いて車線境界に対応すると分類されるその特徴点はさらに評価される一方、残りの特徴点は却下される。

【0062】

残っている特徴点に基づいて、方法ステップＳ５において、車線境界Ｍ１、Ｍ２の延在状態が認識される。車線境界Ｍ１、Ｍ２の延在状態に基づいて、車両５が走行可能な車道Ｆが認識される。

【0063】

さらに認識車道Ｆに基づいて警告信号が出力されてよく、又は車両５の半自律もしくは自律制御を実行してよい。
なお、本願は、特許請求の範囲に記載の発明に関するものであるが、他の態様として以下の構成も包含し得る：
１．
車線（Ｆ）を認識するための方法であって、
車両（５）のカメラ装置（２）を用いて車両周辺の１つのカメラ画像（Ｋ）を撮影するステップ（Ｓ１）と、
当該撮影されたカメラ画像（Ｋ）内の、可能な車線境界（Ｍ１、Ｍ２）の領域に対応する複数の特徴点（Ｐ１～Ｐ１５）を認識するステップ（Ｓ２）と、
それぞれの特徴点（Ｐ１～Ｐ１５）の周囲の当該撮影されたカメラ画像（Ｋ）の複数の切り出し画像を生成するステップ（Ｓ３）と、
前記複数の特徴点（Ｐ１～Ｐ１５）を分類するため、ニューラルネットワークを用いて前記複数の切り出し画像を分析するステップ（Ｓ４）と、
当該分類された複数の特徴点（Ｐ１～Ｐ１５）を考慮して、前記車両周辺内の車線を認識するステップ（Ｓ５）とを含む当該方法。
２．
前記特徴点（Ｐ１～Ｐ１５）は、エッジ検出用アルゴリズムを用いて認識される上記１に記載の方法。
３．
前記エッジ検出は、ソーベルフィルタの使用を含む上記２に記載の方法。
４．
前記可能な車線境界（Ｍ１、Ｍ２）は、車線標識（５１、５２）から成る上記１～３のいずれか１項に記載の方法。
５．
前記ニューラルネットワークは、畳み込みニューラルネットワークである上記１～４のいずれか１項に記載の方法。
６．
前記ニューラルネットワークは、データベースからの所定のトレーニングデータを用いて学習される上記１～５のいずれか１項に記載の方法。
７．
前記トレーニングデータは、車線境界（Ｍ１、Ｍ２）の画像と、車線境界（Ｍ１、Ｍ２）でない構造体の画像とを含む上記６に記載の方法。
８．
前記画像の少なくとも一部が、異なる輝度及び／又は時刻及び／又は天候条件で生成されたものである上記７に記載の方法。
９．
車線境界に対応するとして分類された隣り合う複数の特徴点（Ｐ１～Ｐ１５）を補間することによって、車線境界（Ｍ１、Ｍ２）の推移が認識され、
前記車両（５）にとって走行可能な前記車線（Ｆ）が、前記車線境界（Ｍ１、Ｍ２）の前記推移に基づいて決定される上記１～８のいずれか１項に記載の方法。
１０．
車両（５）のカメラ装置（２）を用いて撮影されたこの車両（５）の車両周辺のカメラ画像（Ｋ）を受信するインタフェース（１１）と、演算装置（１２）とを有する、車線（Ｆ）を認識するための装置（１）であって、
‐前記インタフェース（１１）を用いて受信された前記カメラ画像（Ｋ）内の、可能な車線境界（Ｍ１、Ｍ２）の領域に対応する複数の特徴点（Ｐ１～Ｐ１５）を認識し、
‐それぞれの特徴点（Ｐ１～Ｐ１５）の周囲の当該撮影されたカメラ画像（Ｋ）の複数の切り出し画像を生成し、
‐前記複数の特徴点（Ｐ１～Ｐ１５）を分類するため、ニューラルネットワークを用いて前記複数の切り出し画像を分析し、
‐当該分類された複数の特徴点（Ｐ１～Ｐ１５）を考慮して、前記車両周辺内の車線（Ｆ）を認識するように、前記演算装置（１２）は構成されている当該装置（１）。
１１．
前記演算装置（１２）は、エッジ検出用アルゴリズムを用いて前記複数の特徴点（Ｐ１～Ｐ１５）を認識する上記１０に記載の装置（１）。
１２．
前記演算装置（１２）は、当該エッジ検出のためにソーベルフィルタ使用する上記１０又は１１に記載の装置（１）。
１３．
車線境界（Ｍ１、Ｍ２）に対応するとして分類された隣り合う複数の特徴点（Ｐ１～Ｐ１５）を補間することによって、車線境界（Ｍ１、Ｍ２）の推移を認識し、前記車線境界（Ｍ１、Ｍ２）の前記推移に基づいて、前記車両（５）にとって走行可能な前記車線（Ｆ）を決定するように、前記演算装置は構成されている上記１０～１２のいずれか１項に記載の装置（１）。
１４．
車両（５）の車両周辺のカメラ画像（Ｋ）を撮影するように構成されているカメラ装置（２）と、前記カメラ装置（２）によって当該撮影されたカメラ画像（Ｋ）に基づいて車線（Ｆ）を認識するための上記１０～１３のいずれか１項に記載の装置（１）とを有する車両（５）用の運転支援システム（４）。
１５．
上記１４に記載の運転支援システム（４）を有する車両（５）。

【符号の説明】

【0064】

１ 車線認識装置
２ カメラ装置
３ 制御装置
４ 運転支援システム
５ 車両
１１ インタフェース
１２ 演算装置
５１ 右側車線標識
５２ 中央車線標識
５３ ガードレール
５４ 車両
Ｆ 車道
Ｍ１、Ｍ２ 車線境界
Ｐ１～Ｐ１５ 特徴点
Ｂ１～Ｂ３ 切り出し画像
Ｔａ１～Ｔａ４車線境界の画像
Ｔｂ１～Ｔｂ４車線境界ではない物体の画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】