特許 6353448 自動車用の走行レーン推移を測定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6353448

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】自動車用の走行レーン推移を測定するための方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20180625BHJP

   G01S 17/93 20060101ALI20180625BHJP

   G01S 17/66 20060101ALI20180625BHJP

   G01S 17/89 20060101ALI20180625BHJP

   G06T 1/00 20060101ALI20180625BHJP

【ＦＩ】

   G08G1/16 C

   G01S17/93

   G01S17/66

   G01S17/89

   G06T1/00 330A

【請求項の数】7

【全頁数】9

(21)【出願番号】特願2015-528874(P2015-528874)

(86)(22)【出願日】2013年8月9日

(65)【公表番号】特表2015-534152(P2015-534152A)

(43)【公表日】2015年11月26日

(86)【国際出願番号】DE2013200115

(87)【国際公開番号】WO2014032664

(87)【国際公開日】20140306

【審査請求日】2016年7月12日

(31)【優先権主張番号】102012107885.8

(32)【優先日】2012年8月27日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】399023800

【氏名又は名称】コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】シュトラウス・マティアス

(72)【発明者】

【氏名】コーマー・マティアス

(72)【発明者】

【氏名】ヴァルトバウアー・ディルク

(72)【発明者】

【氏名】ギュンター・ヴォルフガング

(72)【発明者】

【氏名】リューケ・シュテファン

【審査官】 久保田 創

(56)【参考文献】

【文献】 特開２００１−３３１７８７（ＪＰ，Ａ）

【文献】 特開２００９−０９６２７４（ＪＰ，Ａ）

【文献】 特開２００６−１１９０９０（ＪＰ，Ａ）

【文献】 特開２００９−００９３３１（ＪＰ，Ａ）

【文献】 特開平１１−２５０３９６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／００−９９／００

Ｇ０１Ｓ １７／６６

Ｇ０１Ｓ １７／８９

Ｇ０１Ｓ １７／９３

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

自動車（１０）用の走行レーン推移を測定するための方法であって、走行可能空間を限定する複数の構成物が、少なくとも一つの画像撮影ユニット（２）によって捕捉され、これらの構成物が、自動車周辺を、複数の格子セル（２１）から成る二次元の格子パターン（２０ａ）に分割している周辺マップ（２０）内に記録する方法において、
−前記周辺マップ（２０）の前記複数の格子セル（２１）内の前記自動車（１０）の位置が、前記自動車（１０）のオドメトリデータによって測定され、連続して更新され、
−前記周辺マップ（２０）の前記格子パターン（２１ａ）の、前記車線及び／又は前記走行レーンを限定し、前記自動車（１０）によって乗り越え不可能な複数の構成物を有する複数のセル（２１ｂ）に対する前記自動車（１０）の間隔と方向とが測定され、
−明暗移行部と暗明移行部とが、前記画像撮影ユニット（２）によって作成された画像データ内で検出され、前記周辺マップ（２０）の前記格子パターン（２０ａ）の前記複数の格子セル（２１）内に記録され、
−前記走行レーン推移（２２）が、当該検出された明暗移行部と暗明移行部とを有する複数のセルから測定され、
前記自動車（１０）の前方に存在する周辺部からの画像データが欠落している場合、前記自動車（１０）によって既に通過された走行レーン推移（２２）が、前記自動車（１０）の前方に存在する周辺部内に補外されることを特徴とする方法。

【請求項2】

定置座標系が、前記周辺マップ（２０）用に使用されることを特徴とする請求項１に記載の方法。

【請求項3】

線状パターン内に存在する明暗移行部と暗明移行部とが検出されることを特徴とする請求項１又は２に記載の方法。

【請求項4】

前記周辺マップの前記複数の格子セル（２１）が、乗り越え可能な格子セル又は乗り越え不可能な格子セルとして分類されることを特徴とする請求項１〜３のいずれか１項に記載の方法。

【請求項5】

前記オドメトリデータは、自動車に設けられているセンサー（７）によって算出されることを特徴とする請求項１〜４のいずれか１項に記載の方法。

【請求項6】

前記周辺マップ（２０）の前記格子パターン（２０ａ）内の前記自動車（１０）の位置を測定するため、前記オドメトリデータに加えて、前記画像撮影ユニット（２）の画像データからのオプティカルフローが使用されることを特徴とする請求項１〜５のいずれか１項に記載の方法。

【請求項7】

−前記自動車（１０）に対して並行して走行している自動車が、前記画像撮影ユニット（２）によって捕捉され、
−前記自動車（１０）の走行方向に対して横方向に、当該並行して走行している自動車までの間隔が測定され、
−当該並行して走行している自動車までの測定された間隔が、当該測定された走行レーン推移（２２）を確認するために使用されることを特徴とする請求項１〜６のいずれか１項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１の上位概念に基づく自動車用の走行レーン推移を測定するための方法に関する。

【背景技術】

【0002】

このような方法は、例えば、車両（自動車）周辺部を周辺センサーによって捕捉し、車両周辺部にあるオブジェクトの検出のために、グリッドセルに分割する方法を開示しているＤＥ １０ ２０７ ０１３ ０２３ Ａ１から既知である。これらのグリッドセルには、それぞれ一つの該グリッドセル内にあるオブジェクトが存在していることを示す占有確率を示す値が与えられている。検出される、或いは、隠れて見えないオブジェクトが無いグリッドセルには、値０が、或いは、確立がほぼ０に近い範囲の低い値が、与えられ、占有されているグリッドセルには、高い値、例えば、０．５と１の間の値が、与えられる。特にこのＤＥ １０ ２０７ ０１３ ０２３ Ａ１から既知の方法では、車両のフリーなグリッドセルからの距離に依存した値が、各々のグリッドセルに与えられる、即ち、フリーなグリッドセルが遠ければ遠いほどより高い占有確率が選択される。

【0003】

このＤＥ １０ ２０７ ０１３ ０２３ Ａ１に係る既知の方法によって得られたグリッドベースの周辺マップの座標系は、グローバル座標系と回転しないように連携されており、車両が動く際、該車両が、周辺マップの二次元の格子パターン上を動くようになっている。

【0004】

このＤＥ １０ ２０７ ０１３ ０２３ Ａ１から既知のレーン認識方法
このようなＤＥ １０ ２０７ ０１３ ０２３ Ａ１の方法に基づき作成されたグリッドベースの周辺マップは、車線、走行チューブ、及び／或いは、車線境界の認識のために採用されている。ここでは先ず、占有確率が、予め定められている値、例えば、０．１以下である領域が、グリッドベースの周辺マップ上で割出される。この領域内では、車両の長手方向に延びる、複数の部分線に分割される中線が求められる。これらの部分線は、中線の方向に対して鉛直に、車両の両側に向かって、占有確率が、特定の値、例えば、０．５を超えているグリッドセルに至るまでスライドされる。このようにスライドされた部分線は、互いに接続され、この接続線が、車線、走行チューブ、及び／或いは、車線境界の存在を示すモデル、例えば、直線、クロソイド曲線、ポリゴン、多項式、放物線、或いは、スプライン曲線などを描写しているか否かが確かめられる。

【0005】

いずれにせよ、ＤＥ １０ ２０７ ０１３ ０２３ Ａ１の方法に基づいて作成された、グリッドベースの周辺マップによれば、周辺センサーを用いて、該周辺マップ上の自車両の位置を割出すことも可能である。

【0006】

しかしながら、ＤＥ １０ ２００７ ０１３ ０２３ Ａ１に記載の、車両用の走行レーン推移を割出すための方法では、全ての交通シチュエーションにおいて、特に、低速走行時や、周辺センサーの可視領域が、特に、前方を走行している車両によって覆われ、グリッドベースの周辺マップをアップデートするための測定が、出来なかった、或いは、その回数が不足している場合などにおいて、満足のいく結果を得ることができない。

【0007】

走行レーン、及び／或いは、車線を区画する構成物を捕捉・追跡（トラッキング）する他の方法としては、例えば、ＤＥ １０ ２００９ ００３ ６９７ Ａ１の方法が既知であるが、ここでは、カメラを用いて車両の周辺部を捕捉し、捕捉された画像内の、走行レーン、及び／或いは、車線、並びにその推移に対して特徴的な、例えば、車線マークや、ガードレールなど車線の縁を示す構成物を評価するための画像処理アルゴリズムが採用されている。ここで使用されている画像処理アルゴリズムは、これらのマークを、主に、道路表面と車線マーク間の明暗／暗明移行部によって認識している。尚、最もコントラストの大きい構成物が、上記のような移行部であることが多いため、これを画像内で探すようにしている。

【0008】

明暗／暗明移行部を検出し、これをフィルターアルゴリズムに与える既知の方法では、車両速度に依存した、例えば、クロソイド曲線モデルを採用したカルマンフィルターが用いられる。レーンポジションの推定は、このようなモデルベースのフィルターでは、二通りのデータインプットをベースにしている。一つ目は、測定位置から、もう一方は、車両固有運動から得られるデータである。低速走行のため、或いは、前方を走行している車両に隠され測定できない場合、車両固有運動からのみのデータが供給され、トラッキングは継続できる。

【0009】

しかし、このようなやり方には、低速走行時、誤って仮定した角度や誤って推定したレーン推移の湾曲度により、レーンが「歪む」、即ち、例えば、直線がカーブとして、又は、逆に、カーブが直線として推定されてしまうと言う問題がある。要するに、このような方法も、車両速度が速い場合にのみ使用可能である。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】ＤＥ １０ ２０７ ０１３ ０２３ Ａ１

【特許文献2】ＤＥ １０ ２００７ ０１３ ０２３ Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の課題は、従来の技術と比較して改善された、特に、低速走行時、即ち、走行速度が遅い場合で、且つ周辺センサーにとって隠された領域の場合でも、走行レーン推移のトラッキング（追跡）が可能である、自動車用の走行レーン推移を測定するための方法を提供することにある。

【0012】

本課題は、特許請求の範囲の請求項１に記載の特徴を有する方法によって達成される。

【課題を解決するための手段】

【0013】

すなわち、本発明の課題は、自動車（１０）用の走行レーン推移を測定するための方法であって、走行可能空間を限定する複数の構成物が、少なくとも一つの画像撮影ユニット（２）によって捕捉され、これらの構成物が、車両周辺を、複数の格子セル（２１）から成る二次元の格子パターン（２０ａ）に分割している周辺マップ（２０）内に記録する方法において、
−前記周辺マップ（２０）の前記複数の格子セル（２１）内の前記自動車（１０）の位置が、前記車両（１０）のオドメトリデータによって測定され、連続して更新され、
−前記周辺マップ（２０）の前記格子パターン（２１ａ）の、前記車線及び／又は前記走行レーンを限定し、前記自動車（１０）によって乗り越え不可能な複数の構成物を有する複数のセル（２１ｂ）に対する前記自動車（１０）の間隔と方向とが測定され、
−明暗移行部と暗明移行部とが、前記画像撮影ユニット（２）によって作成された画像データ内で検出され、前記周辺マップ（２０）の前記格子パターン（２０ａ）の前記複数の格子セル（２１）内に記録され、
−前記走行レーン推移（２２）が、当該検出された明暗移行部と暗明移行部とを有する複数のセルから測定され、
前記自動車（１０）の前方に存在する周辺部からの画像データが欠落している場合、前記自動車（１０）によって既に通過された走行レーン推移（２２）が、前記自動車（１０）の前方に存在する周辺部内に補外されることによって解決される。

【0014】

走行可能空間を区画する構成物としては、車線境界、例えば、縁石、芝生、車線マーク、或いは、車線中央や車線脇のレーンマークなど、並びに、ガイドポストなども含めた交通標識など、車線、乃至、走行レーンを区画する構成物だけでなく、例えば、駐車スペースを区画する構成物も対象である。

【0015】

本発明に係る方法では、非常に低速な場合でも、また、例えば、レーンマークが隠れるほど前方を走行中の車両との車間が非常に僅かでも、レーン情報を得ることができる。

【0016】

全ての明暗／暗明移行部が、周辺マップのグリッドセルに記録されることにより、レーンマークを追跡（「トラッキング」）することができると共に、先ずは、有利なことに、全ての形状のレーンマーク、即ち、例えば、右・左折矢印、速度情報を包含する交通マーク、横断歩道などの他の道路マークの明暗／暗明移行部が、捕捉される。更に好ましいことに、グリッドベースの周辺マップを採用することにより、車両が既に通過したレーンマークを、本方法において考慮することもできる。レーンマークの認識におけるエラー率は、レーン中央に対する車両の位置、車両の角度、レーンマークの湾曲が、連続的にアップデートされるため、非常に低くい。

【0017】

本発明の好ましい実施形態によれば、車両前方の周辺部において画像データが欠落している場合、車両前方への特定の走行レーン推移は、補外される。走行レーン、或いは、車線の更に先のこのように推定される推移は、車両が、特に、交通量が多い、或いは、建築物の密度が高いと言った街中を走行している場合に特に好ましい。

【0018】

本発明の更なる好ましい発展形態によれば、周辺マップ用に、定置座標系が採用される。これにより、画像処理とグリッドベースの周辺マップの作成時における離散化エラーを最小限とすることができる。

【0019】

本発明に係る方法は、線状パターン内に存在する明暗移行部／暗明移行部が検出される場合に、特に効率が良い。特に、車線縁と車線縁、乃至、車線境界が、ライン状マークとして、迅速かつ簡単に捕捉される。

【0020】

この本発明に係る方法は、本発明のある好ましい更なる実施形態によれば、周辺マップのグリッドセルを、「乗り越えることができるもの」と「乗り越えることができないもの」に分類することにより、より安定した方法になる。ここでは、画像撮影ユニットの画像データから検出可能な周辺の構成物とオブジェクトが補足され、グリッドセルに記録される。

【0021】

オドメトリデータは、本発展形態によれば、通常車両内に、特に好ましくは、自動車内に既に取り付けられている、車載センサーによって得られる。

【0022】

更に、本発明の好ましい発展形態によれば、周辺マップの格子パターン内における車両の位置を割出すために、オドメトリデータに加えて、画像撮影ユニットの画像データからのオプティカルフローも採用される。これにより、車両の状態、例えば、タイヤの空転や、車両のスリップなども、考慮することができる。

【0023】

本発明の最後の形態では、画像撮影ユニットによって車両に対して並行して走行している車両を捕捉し、該並行して走行している車両までの車両の走行方向に対して横方向の距離を割出し、割出された並行して走行している車両までの距離を、割出されている走行レーン推移の確認に用いることができる。これにより、レーン認識が、好ましくサポートされる。

【0024】

以下本発明を、添付図を参照しながら詳しく説明する。図の説明：

【図面の簡単な説明】

【0025】

【図1】本発明に係る方法を説明するための、画像撮影ユニットを備えた車両の概略的描写である。

【図2】本発明の方法によって作成されたグリッドベースの車両の周辺マップの概略的描写である。

【図3】本発明に係る実施例としての、図１の車載画像撮影システムを用いて図２に係るグリッドベースの周辺マップを作成するためのフローチャートである。

【発明を実施するための形態】

【0026】

図１に概略的に示されている車両１０、特に、自動車は、カメラ２を画像撮影ユニットとして装備した画像撮影システム１、カメラ２によって撮影された画像データからオブジェクトを認識するためのオブジェクト認識ユニット３を包含しているが、該オブジェクト認識ユニット３には、メモリー４が帰属している。オブジェクト認識のために、該オブジェクト認識ユニット３は、パターン認識方法を用いて、認識された構成物やオブジェクト、特に、カメラ２によって作成された画像データ内の車線縁のオブジェクトに対する分類を実施するための分類手段３ａを有している。これにより、車線マークや、ガイドレール、縁石、交通標識など車線境界と言った車線、乃至、走行レーンを区画している構成物のみならず、例えば、先方を走行している、或いは、並走している車両、テールランプ、ヘッドライトなども認識されることができる。

【0027】

更に、画像撮影システム１からは、車両１０の走行レーン推移、或いは、車線推移も割出され、ドライバー・アシスタント機能に用いられる。即ち、例えば、認識された道路推移に関するレーン維持に必要な情報が供給され、必要に応じて、車両１０のブレーキシステム、及び／或いは、操舵システムに、アクチュエータ手段６ａを介して介入するレーン維持アシスタントとして構成されているドライバー・アシスタント・システム６が、設けられている。

【0028】

更に、車両１０は、例えば、車両１０の中央表示・操作ユニットの一部、或いは、車両１０の複合計器であり、オブジェクト認識ユニット３によって認識されたオブジェクトを、例えば、交通標識を表示する、即ち、該ユニットに接続されているディスプレー５も包含している。尚、認識された走行レーン、或いは、車線を意図せずに逸脱したことが認識された場合は、ドライバーに対する光学的、及び／或いは、聴覚的な警告も示される、乃至、発せられる。

【0029】

最終的には、車両１０のオドメトリデータも、動きの推定のために、画像撮影システム１に供給されるが、そのために、車載センサー７は、例えば、車両のヨーイング率、舵角、ホイール回転数を捕捉している。

【0030】

以下、本発明の実施例として、一つの、交通状況における車両１０の走行レーン推移の割出し方法を、図１，２，３に基づいて記述し、説明する。

【0031】

該方法の第一ステップＳ１では、画像データとして、カメラ２によって捉えられた車両周辺部２０が、グリッドセル２１における同じグリッド間隔の定置グリッド、乃至、グローバル・グリッド２０ａに分割される。このような図２に示すグリッドベースの周辺マップ２０は、カメラ１が捉えた周辺部を離散化するものであるが、明快さを維持するために、グリッドラインは、十本毎のみ、書き込んでいる。

【0032】

次のステップＳ２では、カメラ２の画像データからオブジェクトが、捕捉され、分類手段３ａにより分類され、グリッドセル２１内に、占有確率と共に、書き込まれる。例えば、≧０．５などと言った占有確率の値に依存して、グリッドセル２１には、「乗り越え不可能」（グリッドセル２１ｂ）や「乗り越え可能」（グリッドセル２１ａ）と言ったステータスが、与えられる。図２では、乗り越え可能なグリッドセル２１ａは、乗り越え不可能なグリッドセル２１ｂよりも暗い色で示されている。

【0033】

このグリッドベースの周辺マップ２０において、次のステップＳ３では、センサー７が作成したオドメトリデータが、捕捉され、車両１０の位置が、対応するグリッドセル２１ａ内に書き込まれる。連続的に作成されるオドメトリデータによって、車両１０の動きが、推定され、その周辺マップ２０上の位置は、該挙動推定を基に移動される。

【0034】

車両１０の挙動推定のためには、ヨー角、舵角、ホイール回転数などのオドメトリデータの他、カメラ２のオプティカルフローからの情報も、推定された位置の確実性担保に用いることができる。

【0035】

周辺マップ２０の格子パターン２０ａに記録された車両１０の位置から、更なるステップＳ４によって、走行レーン、及び／或いは、車線を区切っている構成物を有する乗り越えることのできないグリッドセル２１ｂへの車両１０からの距離と方向を割出すことが可能である。

【0036】

続くステップＳ５では、全ての線状パターンの明暗／暗明移行部を捕捉し、周辺マップ２０に記録する（図２参照）と共に、最後のステップＳ６において、走行レーン２２のレーンマーク２２ａと２２ｂとして、並びに、右側の車線マーク２３として同定され、パーティクル・フィルターを応用することにより、トラッキングする；尚、ここでは、車両１０が既に通過したレーンマーク２２ａ，２２ｂと、車線を区画している構成物２３は、車両１０の走行レーン推移の割出しに、用いられる。ここに記載されている方法によれば、低速時においても、レーンマーク２２ａ，２２ｂと車線を区画している構成物２３のトラッキングが可能である。

【0037】

また、この方法によれば、他の道路マーク、例えば、右左折矢印、標識の速度情報や横断歩道などに由来する明暗／暗明移行部も捕捉することが可能である。

【0038】

例えば、前方を走行中の車両によって隠れていることにより、画像データが欠落している場合は、これまでに同定された走行レーン推移２２、乃至、車線推移２３が、車両１０前方に横たわる周辺部に補外される。

【0039】

ここに示されている方法は、並行して走る車両を捕捉し、該並行して走るオブジェクトが、レーンが狭くなる際に、車両１０と接触することを回避できると言う点において、車両１０の走行レーン推移の割出しに関して改良されることも可能である。

【0040】

上記の実施例では、画像撮影ユニットとして、ステレオカメラでもよい、ビデオ画像を作成するカメラ２が、用いられている。このようなカメラ２の代わりに、本発明に係る方法の実施においては、レーザースキャナーデータを作成するレーザーを用いることも可能である。

【符号の説明】

【0041】

１ 画像撮影システム
２ 画像撮影ユニット、カメラ
３ オブジェクト認識ユニット
３ａ 分類手段
４ メモリー
５ ディスプレー
６ ドライバー・アシスタント・システム
６ａ ドライバー・アシスタント・システム６のアクチュエータ手段
７ 車載センサー類
１０ 車両、自動車
２０ 周辺マップ
２０ａ 周辺マップ２０上の定置グリッド
２１ 周辺マップ２０のグリッドセル、格子セル
２１ａ 走行（乗り越えることが）できるグリッドセル２１、格子パターン
２１ｂ 乗り越えることができないグリッドセル２１、セル
２２ 車両１０の走行レーン、走行レーン推移
２２ａ 右側の走行レーンマーク
２２ｂ 左側の走行レーンマーク
２３ 右の車線マーク

【図1】

【図2】

【図3】