特許 6238905 ３Ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6238905

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】３Ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し

(51)【国際特許分類】

   G01B 11/24 20060101AFI20171120BHJP

   G06T 7/00 20170101ALI20171120BHJP

   G08G 1/16 20060101ALI20171120BHJP

   G06T 7/60 20170101ALI20171120BHJP

   B60R 21/00 20060101ALI20171120BHJP

   G08G 1/00 20060101ALI20171120BHJP

【ＦＩ】

   G01B11/24 K

   G06T7/00 C

   G08G1/16 C

   G06T7/60 200J

   B60R21/00 624C

   B60R21/00 624F

   B60R21/00 626A

   G08G1/00 J

【請求項の数】10

【全頁数】8

(21)【出願番号】特願2014-547716(P2014-547716)

(86)(22)【出願日】2012年12月17日

(65)【公表番号】特表2015-510105(P2015-510105A)

(43)【公表日】2015年4月2日

(86)【国際出願番号】DE2012100384

(87)【国際公開番号】WO2013091620

(87)【国際公開日】20130627

【審査請求日】2015年9月1日

(31)【優先権主張番号】102011056671.6

(32)【優先日】2011年12月20日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

(73)【特許権者】

【識別番号】399023800

【氏名又は名称】コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】ヘーゲマン・シュテファン

(72)【発明者】

【氏名】ハインリヒ・シュテファン

(72)【発明者】

【氏名】リューケ・シュテファン

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特開２０１０−０７２８０７（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００６３０９７（ＵＳ，Ａ１）

【文献】 特開２００９−１８６２２８（ＪＰ，Ａ）

【文献】 特開平１０−０２１４１１（ＪＰ，Ａ）

【文献】 特開２００６−１５５６１５（ＪＰ，Ａ）

【文献】 独国特許出願公開第１０２００４０５７２９６（ＤＥ，Ａ１）

【文献】 特開２０１０−２５７２８２（ＪＰ，Ａ）

【文献】 特開２００５−３４６３８３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０８Ｇ １／００−９９／００

Ｂ６０Ｒ １／００

Ｂ６０Ｒ ２１／００

Ｈ０４Ｎ ５／２２５

Ｇ０６Ｔ ７／００− ７／６０

(57)【特許請求の範囲】

【請求項1】

３Ｄカメラにより、車両前方に横たわる周辺部の少なくとも一枚の画像を撮影する、３Ｄカメラを用いた車両周辺部の凹凸プロファイルの割り出し方法において、
３Ｄカメラの画像データから、車両の走行方向（１）に対して横向き（２）の周辺部表面の凹凸プロファイル（６）内での少なくとも一つのギャップ（７，８）が割出され、
車両周辺部の凹凸マップが３Ｄカメラの奥行き方向に解像した画像データから作成され、この凹凸マップの推移が、走行方向（１）に対して横向き（２）の複数のライン（５）に沿った凹凸プロファイル（６）として割り出されて、車両の走行方向（１）に対して横向き（２）の周辺部表面の凹凸プロファイル（６）内のライン（５）に沿った少なくとも一つのギャップ（７，８）が割出され、
この割出された少なくとも一つのギャップ（７，８）のみを候補として、カラー値画像及び／又はグレースケール画像である、３Ｄカメラの２Ｄ画像データからエッジを認識するアルゴリズムを用いてエッジを割出し、これによって、３Ｄ画像データからの車両周辺部の凹凸プロファイルの割出しの際に、この割出された少なくとも一つのギャップ（７，８）の精密化又は妥当性検証が実施される、
ことを特徴とする方法。

【請求項2】

走行方向（１）に対して横向き（２）の複数のライン（５）に沿って凹凸プロファイル（６）が分析される検出領域が、既に割り出された凹凸プロファイル（６）内のギャップ（７，８）に基づいて限定されることを特徴とする請求項１に記載の方法。

【請求項3】

少なくとも一本の車線縁が、少なくとも一つの割出された凹凸プロファイル（６）内でのギャップ（７，８）を考慮しながら認識されることを特徴とする請求項１又は２に記載の方法。

【請求項4】

高くなっている車線境界（３，４）が、凹凸プロファイル（６）内でのギャップ（７，８）の予め設定されている最低高から割り出されることを特徴とする請求項３に記載の方法。

【請求項5】

車両データ及び凹凸プロファイル（６）から、高くなっている車線境界（３，４）に車両が衝突する危険性があるか否かが割出され、仮に迫っている場合は、警告が発生られる、或いは、衝突を回避するために車両制御への介入が実施されることを特徴とする請求項４に記載の方法。

【請求項6】

車線縁と隣接する周辺部の車線に対する凹みが、ギャップ（７，８）の予め定められている最低深さから認識され、車両データ及び凹凸プロファイル（６）からは、車線から車両が逸脱する危険性が迫っているか否かが割出され、仮に迫っている場合、警告を発する、或いは、車線からの逸脱を回避するために車両制御への介入が実施されることを特徴とする請求項３から５までの何れか一項に記載の方法。

【請求項7】

下げられた、及び／或いは、低くされた縁石が、走行方向において変化する、高くなっている車線境界のギャップの高さから認識され、これに基づいて、車線に対して側方への入り口、及び／或いは、進入路が認識されることを特徴とする請求項４から６までの何れか一項に記載の方法。

【請求項8】

停車操作又は駐車操作において、少なくとも一つの車両制御への介入が実施され、これにより、車両が、高くなっている車線境界（３，４）に対して平行に、且つ、これに対して側方に所定の間隔をおいて停車されることを特徴とする請求項４から７までの何れか一項に記載の方法。

【請求項9】

３Ｄカメラがステレオ・カメラであることを特徴とする請求項１から８までの何れか一項に記載の方法。

【請求項10】

３Ｄカメラを包含する車両周辺部の凹凸プロファイルを割出すための装置であって、車両の走行方向（１）に対して横向き（２）の周辺部表面の凹凸プロファイル（６）内での少なくとも一つのギャップ（７，８）を割出すための評価手段を装備しており、
車両周辺部の凹凸マップが３Ｄカメラの奥行き方向に解像した画像データから作成され、この凹凸マップの推移が、走行方向（１）に対して横向き（２）の複数のライン（５）に沿った凹凸プロファイル（６）として割り出されて、車両の走行方向（１）に対して横向き（２）の周辺部表面の凹凸プロファイル（６）内のライン（５）に沿った少なくとも一つのギャップ（７，８）が割出され、
この割出された少なくとも一つのギャップ（７，８）のみを候補として、カラー値画像及び／又はグレースケール画像である、３Ｄカメラの２Ｄ画像データからエッジを認識するアルゴリズムを用いてエッジを割出し、これによって、３Ｄ画像データからの車両周辺部の凹凸プロファイルの割出しの際に、この割出された少なくとも一つのギャップ（７，８）の精密化又は妥当性検証が実施される、
ことを特徴とする車両周辺部の凹凸プロファイルを割出すための装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、（空間的解像度を有する）３Ｄカメラを用いた車両周辺部の凹凸プロファイルを割り出すための方法並びに装置に関する。

【背景技術】

【0002】

特許文献１は、ある車線における車両の前方の道路の特徴を割出すための方法及び装置を開示している。画像取得手段、或いは、車両固有運動データから、車両の前方にある車線の道路の特徴を割出している。該画像取得手段は、車両の前方に搭載され、画像取得ユニットを包含するカメラであることができる。割出された道路の特徴に応じて、アクティブなシャーシ・コントロールや可変ダンパーを制御できる。

【0003】

しかしながら、車両前方の走行レーンの道路特徴のうち既知なものを考慮するだけでは、全ての走行状況（走行シチュエーション）を十分に考慮したものとは言えないため、従来の技術に係る方法や装置には欠点がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】ドイツ特許公開第１０２００９０３３２１９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0005】

よって、本発明の課題は、これらの欠点を排除し、他の走行シチュエーションも含め、信頼性の高い推定を可能にすることである。

【課題を解決するための手段】

【0006】

この課題は、車両周辺の少なくとも一枚の画像を３Ｄカメラによって撮影することにより解決される。３Ｄカメラの画像データから、周辺部表面の凹凸プロファイル内に少なくとも一つの車両の走行方向に対して横向きのギャップが存在するか否かが割出される。

【0007】

凹凸プロファイル内に車両の走行方向に対して横向きのギャップを割り出すことにより、走行レーンと車両周辺部の完全なモデルを得ることができ、これにより、全ての走行状況を信頼性高く推定することが可能になる。特に、高くなっている車線境界によって区画されている、或いは、急な斜面に囲まれている道路や車線において、走行可能な領域を割り出すことができるようになる。凹凸プロファイルを割り出すために、特に、３Ｄカメラの奥行き方向に解像した画像データ（視差画像）のデータを、車両を定点としたグリッドに入力する。この転換におり、３次元のポイント・クラウドができる。この３Ｄポイント・クラウドを基にして凹凸マップ（Ｈｅｉｇｈｔ Ｍａｐ）が作成される。更に、車両前方の定義された領域を予め決められた数のセルに区画することができ、これらのセルにはそれぞれ高さ値が帰属している。この高さ値は、帰属しているセル内のポイント・クラウド中、好ましくは、１．５メートル以下のうちで、最も高い値である。この上方への制限は、非常に高いオブジェクト、例えば、橋などをデータから排除する役割を果たしている。

【0008】

ある好ましい実施形態では、走行方向に対して横向きの複数のラインに沿って凹凸プロファイルが割り出される。このラインは、スキャン・ラインとも呼ばれる。即ち、これらのラインに沿って、凹凸プロファイルが「スキャン」される。該凹凸プロファイルは、走行方向に対して横向きの複数のラインに沿って、３Ｄカメラの画像データ、或いは、それより得られた凹凸マップから割り出されることが特に好ましい。

【0009】

好ましくは、走行方向に対して横向きの複数のラインに沿って凹凸プロファイルが分析される検出領域は、既に割り出された凹凸プロファイル内のギャップに基づいて限定することができる。スキャン・ラインに高さのギャップが検出された場合、この高さのギャップを基にして、広い検索アプローチを、この情報に基づいて縮小された検索領域のみを処理するアプローチに限定することが可能になる。即ち、例えば、（例えば、隣接するスキャン・ラインから）その中心点が、割出された高さのギャップの横方向の位置にあり、且つ、その幅が、例えば、一メートル、乃至、５０ｃｍのライン部分のみをスキャンに用いることができる。これによりかなりの計算リソースが節約できる。

【0010】

車両周辺部の凹凸プロファイル（３Ｄ画像、或いは、奥行画像から得られた３Ｄ地図データ）内で割出されたギャップは、独立して割出されたカラー画像エッジ、及び／或いは、グレースケール画像エッジと組み合わせることでより精密にすることが好ましい。３Ｄ画像データを評価するためには、原理的に、３Ｄカメラの三通りのデータ流が使用可能である：即ち、画像、光学的流れ、並びに、視差マップ（言い換えれば、視差画像）。好ましい実施形態では、視差マップと２Ｄカメラ画像がベースを構成している。該２Ｄカメラ画像は、ステレオ・カメラの場合、左、或いは、右の何れのカメラモジュールから供給されてもよい。該カメラ画像内では、道路脇である可能性を有する候補としてエッジが検出される。この情報は、高くなっている、或いは、低くなっている道路脇のグループに、例えば、縁石に帰属しないオブジェクト（タールの継ぎ目や影など）によるエッジである可能性があるため、単独では信頼性を常に有するものではない。車両周辺部の凹凸プロファイル内でのギャップは、通例、ステレオ・カメラの二つの画像取得ユニットのうちの一つによって検出されるカラー／グレースケール画像内に同時にエッジを生じさせる。２Ｄ画像データからエッジを認識するためのアルゴリズム、例えば、キャニー演算やソーベル演算によれば、これらのエッジは、カラー／輝度移行部として検出できる。ピクセルの強さ評価やカラー評価によって認識されたこれらのエッジは、例えば、縁石ストラクチャーの典型的な特徴と、高さの異なる車線縁を特定するために比較され、３Ｄ画像データからの車両周辺部の凹凸プロファイルの割出しの際に考慮される。これは、例えば、高さギャップの位置や分類を精密化する、或いは、妥当性検証する役割を果たす。特にステレオ・カメラでは、どの３Ｄ−ピクセル、或いは、どの視差マップポジション、或いは、どの高さ地図内の点が、個々の画像取得ユニットのエッジが帰属された２Ｄピクセルに対応しているかは、既知である。

【0011】

双方の方法（３Ｄでの高さギャップ認識と２Ｄでのエッジ認識）からデータを統合するには、基本的に３つの方法がある：
ａ）双方の認識方法は、独立して実施され、結果が融合される、
ｂ）ステレオデータによる高さギャップ認識が、縁石などの有無を検出し、適合するエッジが画像内にあるか否かを確認する、或いは、
ｃ）２Ｄ画像内のエッジを探し、適当なエッジがある場所において、奥行き方向に解像した画像データ内に高さギャップが存在するか否かを確認する。

【0012】

方法ｂ）によるアプローチは、実際に高くなっている／低くなっている車線境界のみが、候補として扱われると言う長所を有している。

【0013】

尚、２Ｄ画像内のエッジ認識には、前処理（データの同期、グレースケールへの変換、ノイズリダクション）と、エッジをキャニー・エッジ演算によって割出し、遠い側に更にトレースする輪郭サーチの実施も包含されることが好ましい。開始点としては、３Ｄ画像データから既に割出された高さギャップの結果が用いられる。更には、輪郭マッチングが実施されてもよい。

【0014】

本発明の好ましい発展形態によれば、少なくとも一本の車線縁が、少なくと一つの割出された凹凸プロファイル内でのギャップを考慮しながら認識される。

【0015】

高くなっている車線境界、特に、歩道縁石や縁石は、車両の走行方向に対して横向きの周辺部表面の凹凸プロファイル内でのギャップの予め設定されている最低高から割り出されることが好ましい。

【0016】

ここでは、車両データ、及び／或いは、周辺データから、高くなっている車線境界に車両が衝突する危険性があるか否かが好ましく判断できる。車両データは、ここでは、回転数センサー、慣性センサー手段、舵角センサーなどの車載センサーのデータであり、特に好ましくは、自車両の軌道の推測、或いは、割出を可能にするものである。環境データは、ここでは、周辺センサー、或いは、コミュニケーション手段などによって検出、或いは、受信される車両周辺部からのデータである。尚、３Ｄカメラも環境データを供給する。周辺データを用いて軌道を分析することにより、車両が、例えば、縁石に衝突する危険性があるか否かを割出すことができる。また、縁石（凹凸プロファイルのギャップ）の高さから、乗り越えることが可能か、或いは、危険か否か、即ち、乗り越えることを薦めることができるか否かも割出すことができる。仮に衝突の危険性が迫っている場合（そして、それが薦めることのできるものではない場合）、ドライバーに警告を発することができる、或いは、車両制御に、それにより衝突が回避できるように介入することが可能である。該介入は、操舵への介入、及び／或いは、ブレーキへの介入として実施することができる。これにより、車両（例えば：ホイール、タイヤなど）の破損を回避することができる。

【0017】

ある好ましい実施形態では、車線縁と隣接する周辺部の車線に対する凹みが、ギャップの予め定められている最低深さから認識される。車両データ、及び／或いは、環境データからは、車線から車両が逸脱する危険性が迫っているか否かを割出すことができる。仮に迫っている場合、警告を発する、或いは、車線からの逸脱を回避するために車両制御への介入が実施される。これにより、終わりのある車線からの側方への逸脱は、回避できる。

【0018】

好ましくは、下げられた、及び／或いは、低くされた縁石は、走行方向において変化する、高くなっている車線境界のギャップの高さから認識され、これに基づいて、車線に対して側方への入り口、及び／或いは、進入路が認識できる。

【0019】

ある有利な実施形態によれば、停車マヌーバ、或いは、駐車マヌーバにおいて、少なくとも一つの車両制御への介入が実施され、これにより、車両が、高くなっている車線境界に対して平行に、且つ、これに対して側方に所定の間隔をおいて停車される。即ち、側方の縁石を認識することで、ドライバーに少なくとも部分自立化された駐車アシストを提供できる。

【0020】

また、バスや他の人を運ぶための車両では、縁石を認識し、タイヤの損傷を回避するための操舵サポートを実施していれば、停車時の縁石への最適な間隔も設定可能となる。これによって、乗客にとっては、乗り降りが非常に楽になる。

【0021】

該３Ｄカメラとしては、ステレオ・カメラやＰＭＤ（Ｐｈｏｔｏｎｉｃ Ｍｉｘｅｒ Ｄｅｖｉｃｅ）カメラやＰＭＤセンサーが好ましく採用される。

【0022】

本発明は、更に、車両周辺部の凹凸プロファイルを割出すための装置にも関する。これには、３Ｄカメラ、及び、車両の走行方向に対して横向きの周辺部表面の凹凸プロファイル内での少なくとも一つのギャップを割出すための評価手段が、装備されている。

【0023】

以下、本発明を、図面と実施例に基づいて詳しく説明する。

【図面の簡単な説明】

【0024】

【図1】これに沿って車両の周辺部表面の凹凸プロファイルが割出される走行方向に対して横向きのラインの図

【図2】走行方向に対して横向きの車両の周辺部表面の凹凸プロファイルの図

【発明を実施するための形態】

【0025】

図１には、車両の走行方向（１）に対して横向き（２）のライン（５）に沿った凹凸プロファイルのスキャンが概略的に示されている。左（３）と右（４）の高くなっている車線境界は、車線と平行に認識できる。車両の通常走行時は、高くなっている車線境界（３，４）は、本質的に走行方向（１）と平行に伸びている。

【0026】

図２には、典型的な凹凸プロファイル（６）が、例示されている。ここでは、高さｈは、（横方向の）基準ａを基にプロットされている。この凹凸プロファイル（６）は、二つのギャップ（７，８）を有している。双方のギャップ（７，８）の間を、車線が通っている。左側のギャップ（７）は、高くなっている車線境界（３）、例えば、左の縁石に相当する。左の縁石（３）の高さは、これから直接求めることができる。右のギャップ（８）も同様であり、例えば、右の縁石（４）に帰属させることができる。

【0027】

ステレオ・カメラを車両の前に横たわる車両周辺部の光学的（受動的）に捕捉するための３Ｄカメラとして用いる場合は、奥行き方向に解像した画像データ（或いは、視差画像）から、この車両周辺部の凹凸マップ（Ｈｅｉｇｈｔ Ｍａｐ）が作成される。走行方向（１）に対して横向き（２）に横たわる複数のライン（５）に沿ってこの凹凸マップの推移が評価できる。

【0028】

これらのラインのうちの少なくとも一本に沿って、凹凸プロファイル内にギャップ（７，８）が選出された場合、凹凸マップ内の該点／領域は、ステレオ・カメラの個々の画像取得ユニットの２Ｄ画像内のピクセル／領域に帰属させることができる。

【0029】

図１の、スキャン用の横方向のラインを除く画像は、例えば、ステレオ・カメラの個々の画像取得ユニットによって撮影されることができる。続く、２Ｄ画像におけるエッジ認識の前には先ず、カメラ画像の前処理を実施することができる：データの同期、グレースケールへの変換、ノイズリダクション。エッジ認識の開始点としては、３Ｄ画像データから既に割出された高さギャップの結果（ピクセル、或いは、領域）を用いることができる。ここから、輪郭サーチが実施され、この際、キャニー・エッジ演算を用いてエッジを割出す。割出されたグレースケール（或いは、カラー値）エッジは、前方（即ち、略走行方向）の遠く離れた場所まで追跡される。最後に、輪郭マッチングを実施し、割出された輪郭が、車線境界と一致するか否かを確認する。

【0030】

このアプローチには、３Ｄ画像データから割り出された車線境界候補の信頼性担保がなされ、実際に高くなっている／低くなっている車線境界を含む画像領域だけが、候補として取り扱われると言う利点がある。よって、凹凸プロファイルにギャップが全く認識されなかった画像領域に対する無駄なエッジ認識を実施する必要はない。

【図1】

【図2】