特許 6234620 車両のアシスタント・システムのオペレーティングのための方法、並びに、アシスタント・システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6234620

(24)【登録日】2017年11月2日

(45)【発行日】2017年11月22日

(54)【発明の名称】車両のアシスタント・システムのオペレーティングのための方法、並びに、アシスタント・システム

(51)【国際特許分類】

   G08G 1/09 20060101AFI20171113BHJP

   G06T 7/00 20170101ALI20171113BHJP

   G06T 7/60 20170101ALI20171113BHJP

   G08G 1/04 20060101ALI20171113BHJP

   G06T 7/70 20170101ALI20171113BHJP

【ＦＩ】

   G08G1/09 D

   G06T7/00 650A

   G06T7/60 150Z

   G06T7/60 180B

   G06T7/60 200C

   G08G1/04 C

   G06T7/70 B

【請求項の数】9

【全頁数】9

(21)【出願番号】特願2016-572790(P2016-572790)

(86)(22)【出願日】2015年6月22日

(65)【公表番号】特表2017-527876(P2017-527876A)

(43)【公表日】2017年9月21日

(86)【国際出願番号】DE2015200385

(87)【国際公開番号】WO2016012014

(87)【国際公開日】20160128

【審査請求日】2017年1月27日

(31)【優先権主張番号】102014214713.1

(32)【優先日】2014年7月25日

(33)【優先権主張国】DE

【早期審査対象出願】

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】ベーレンス・アレクサンダー

(72)【発明者】

【氏名】クリステンセン・シュテーン

【審査官】 吉村 俊厚

(56)【参考文献】

【文献】 特開２００４−２７２６９４（ＪＰ，Ａ）

【文献】 特開２００５−０２５４９７（ＪＰ，Ａ）

【文献】 特開２００９−０１４６４５（ＪＰ，Ａ）

【文献】 特開２０１３−１８６６５５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０８Ｇ １／０９

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ ７／７０

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

− アシスタント・システム（２）の一台のカメラ（８）によって画像が捕捉され、
− 捕捉された画像内において交通サイン（６，７）が、割り出され、
− 割り出された交通サイン（６，７）の車両（４）に対する向き（α）が、割り出され、但し、ここで言う、向きとは、車体前後方向と平行な直線と、交通サインと平行な面との間の角度であり、続いて、
− 該向き（α）に依存してアシスタント・システム（２）のシグナル手段（１２）が、作動される、但し、該シグナル手段は、車両を基準とした該交通サインの向きが、特定の角度範囲内にある場合に作動される、
ことと、
割り出される交通サイン（６，７）の向き（α）を割り出すために、捕捉された画像内の交通サイン（６，７）のエッジを表す直線が用いられることと、
を特徴とする車両（４）のアシスタント・システム（２）をオペレーティングするための方法（１４，４２）。

【請求項2】

交通サイン（６，７）の車両（４）に対する位置（３２）が割り出されることを特徴とする請求項１に記載の方法（１４，４２）。

【請求項3】

割り出される交通サイン（６，７）の向き（α）が、遠近法的歪みを基に割り出されることを特徴とする請求項１、或いは、２に記載の方法（１４，４２）。

【請求項4】

割り出される交通サイン（７）の向き（α）を割り出すために、偏心率が用いられることを特徴とする請求項１から３のうち何れか一項に記載の方法（４２）。

【請求項5】

更なる画像が捕捉され、該更なる画像内で交通サイン（７）が割り出され、且つ、偏心率が割り出され、双方の割り出された偏心率が比較されることを特徴とする請求項４に記載の方法（４２）。

【請求項6】

ある数のこの様な更なる画像が、捕捉され、それぞれ、偏心率が割り出され、比較されることを特徴とする請求項５に記載の方法（４２）。

【請求項7】

偏心率が、減少する、或いは、変化しない場合に、シグナル手段（１２）によってシグナルが出力されることを特徴とする請求項５、或いは、６に記載の方法（４２）。

【請求項8】

割り出された交通サイン（６，７）の向き（α）に対して平行な直線（２６）を車両（４）が通過した場合に、シグナル手段（１２）によってシグナルが出力されることを特徴とする請求項１から７のうち何れか一項に記載の方法（１４，４２）。

【請求項9】

一台のカメラ（８）、並びに、一つのシグナル手段（１２）を備えた車両（４）の請求項１から８のうち何れか一項に記載の方法（１４，４２）によってオペレーティングされるアシスタント・システム（２）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のアシスタント・システムのオペレーティングのための方法、並びに、車両のアシスタント・システムに関する。

【背景技術】

【0002】

車両の運転手には、交通サインによって、危険や有効な法規に関しての示唆が与えられる。例えば、交通サインを用いて、制限速度や道路の状態が示される。更には、交通サインによって、例えば、一方通行や袋小路、並びに、特定の道路への進入禁止など、道路構成も示される。近年、車両には、車両の運転手が、該車両を楽に運転できるように、増々アシスタント・システムが搭載されるようになってきている。そして、交通サインを捕捉するアシスタント・システムも既知である。そのため、カメラを用いて、車両前方の領域を撮影し、その中に写っている交通サインが割り出される。

【0003】

特定の道路構成、例えば、交差点、分岐などにおいては、車両の運転手が選んだ進路には有効ではない交通サインが認識されることも起こり得る。この様な誤認識を無くすため、通常は、捕捉された交通サインが、保存されている概観地図と照合される。そして、車両の動きが捕捉され、該交通サインが、車両の運転手が選択した道で有効か否かも割り出される。この方法の欠点は、この様な照合を実施するには、該道路が含まれる概要地図が、必要不可欠なことである。例えば、工事やそれに相当する事情で道路構成が変更されている場合、アシスタント・システムのエラー無きオペレーティングは、保証できなくなってしまう。しかも、該オペレーティングには、常に略最新の地図が、必要とされる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

よって、本発明の課題は、特に、車両運転手にとって重要な交通サインが捕捉される車両用アシスタント・システムのオペレーティングに非常に適した、しかしながら、周辺の地図マテリアルを必要としない方法を提供することである。

【課題を解決するための手段】

【0005】

本発明によれば、該課題は、方法に関しては、請求項１の特徴によって、また、アシスタント・システムに関しては、請求項１０の特徴によって解決される。本発明の有利な発展形態、並びに、実施形態は、従属請求項に記載されている。

【0006】

該方法では、第一ワークステップにおいて、カメラによって画像が捕捉されることが前提である。該カメラは、ここでは、例えば、モノ・カメラ、或いは、ステレオ・カメラである、即ち、一枚（一組）の、或いは、二枚（二組）のレンズを有している。特に好ましくは、該カメラは、車両の走行方向に向けられている。画像がデジタル状態で存在するよう、捕捉の際、画像が、デジタル化されることが好ましい。該画像は、特に好ましくは、車両の前方の領域を示す、或いは、描写している。補足された画像内において、交通サインが認識される。これは、例えば、パターン認識やそれに相当する方法によって実施される。言い換えれば、捕捉された画像は、交通サインがそこに写っているか否かに関して分析される。「交通サイン」と言う概念は、ここでは、特に好ましくは、「交通標識」であると解釈できる。同定される交通サインは、ここでは、特に好ましくは、特定のパターン、及び／或いは、アルファベットや数字などの文字を含んでいる。次のワークステップでは、上記の如く割り出された交通サインの該車両を基準とした向きが、割り出される。この際、特に好ましくは、車両の他の部品に対するカメラの位置と向きが参照される。

【0007】

要約すると、捕捉された画像に基づいて、交通サインの存在、並びに、それの該車両を基準とした向きが割り出される。「向き」と言う概念は、特に好ましくは、車体前後方向と平行な直線と、交通サインと平行な面との間の角度であると解釈できる。

【0008】

この様にして求められた交通サインの向きに依存して、アシスタント・システムのシグナル手段が作動される。該シグナル手段は、例えば、マルチファンクション・ディスプレー、或いは、ヘッド・アップ・ディスプレーなどと言った表示手段を有している。特に好ましくは、該シグナル手段によって、交通サインが表しているシンボルが表示される。この形態の代案、乃至、これとの組み合わせにおいては、該シグナル手段は、聴覚的出力手段を包含している。この形態の代案、乃至、組み合わせにおいては、該シグナル手段は、更なるアシスタント・システム、例えば、車間アシスタントなどへのインターフェースとして構成されている。言い換えれば、該向きに依存して、シグナル手段によって他のアシスタント・システムが、作動される。例えば、該交通サインが、禁止を表している場合、シグナル手段が、作動される。また、車両を基準とした該交通サインの向きが、特定の角度範囲内にある場合に、該シグナル手段が、作動されることが好ましい。尚、車体前後方向と交通サインとの間の角度が、４５°以下である場合には、作動されないことが目的にかなっている。

【0009】

交通サインの向きを考慮することにより、該シグナル手段は、捕捉された全ての交通サインに対してではなく、特定の交通サインに対してのみ作動されるため、情報流量の低減、並びに、それに伴って、車両運転手の負担の削減もが実現する。更に、該方法は、道路構成に関する情報を必要としないため、煩雑さやエラーに対する弱点を削減することができる。また、ナビゲーション・システムやそれに相当するものへのインターフェースに関する規格を守る必要もなくなる。該方法は、その目的から、道路情報のサポートを得ることなく作動するため、ナビゲーション・システムやそれに相当するものとは、シグナル的に、カップリングされていない。

【0010】

本発明のある好ましい実施形態においては、車両を基準とした交通サインの位置が割り出される。これは、特に、捕捉された画像を用いて実施される。言い換えれば、捕捉された画像から、車両を基準とした交通サインの位置、並びに、向きが割り出される。例えば、これにステレオ・カメラが用いられた場合、その画像は、車両の周辺領域の少なくとも一領域の三次元描写である。代案的には、既知な実際の交通サインの大きさと、捕捉された画像内での該交通サインの描写の大きさから位置を割り出すこともできる。好ましくは、シグナル手段の作動は、交通サインの位置と向きに依存して実施される。例えば、車体前後方向に対する交通サインの向きが９０°であり、車両を基準とした交通サインの位置が、特定の値以下である場合にのみ、該シグナル手段は、作動される。これの代案、乃至、これとの組み合わせにおいては、車体前後方向、並びに、その延長線に対する交通サインの位置の差異が、特定の値以下、例えば、５ｍ以下である場合にのみ、シグナル手段が作動される。例えば、車両の交通サインに対する特定の間隔が、車両の速度が変化しても、特に物理的条件に起因して、該特定の値を下回らない場合、シグナル手段は、作動しない。

【0011】

本発明のある特に好ましい実施形態においては、交通サインの向きが、捕捉された画像内における遠近法的歪みを基に割り出される。言い換えれば、描写されている交通サインの遠近法的歪みが割り出され、保存されている交通サインの形状と比較される。通常、交通サインは、規則的な形状、特に、三角形、四角形、或いは、円形であるため、比較的煩雑なアルゴリズムの助けを借りることなく、向きを割り出すことが可能である。好ましくは、捕捉された画像内において、特に、交通サインのエッジ、例えば、標識のエッジを表す直線が割り出される。該エッジは、好ましくは、水平方向を向いており、この直線とそれの画像内にある水平方向に対する傾きを基に、比較的短時間に割り出すことが可能である。特に好ましくは、該直線は、捕捉された画像内の色度を比較することによって割り出される。この場合、該画像は、ある数の領域に分割され、各領域に、輝度、或いは、色彩に応じて、特定の値が割り当てられる。ここで、該直線は、これらの領域のうちのそれらに与えられた特定の値が予め定められている閾値以上異なる二つの領域間を通っている。この様にすれば、比較的短時間、且つ、確実に該直線の分類が、可能になる。

【0012】

この方法に対する代案では、向きの割出しに、捕捉された画像内で交通サインの描写が有している偏心率が、用いられる。これは、円形の交通サインにおいて実施されることが好ましい。言い換えれば、捕捉された画像内における、該交通サインの描写の水平方向と垂直方向の広がりが割り出される。偏心率とは、ここでは、描写されている交通サインの水平方向の広がりの垂直方向への広がりに対する差異の大きさである。特に、該偏心率は、双方の広がりの二乗の差の根に比例している。

【0013】

好ましくは、更なる画像が捕捉され、ここでも交通サインが、割り出されるが、画像が捕捉されたタイミングが異なっていることが、目的にかなっている。双方の画像を捕捉する際の該交通サインに対する車両の位置が異なっていることが特に好ましい。更なる画像内においても、交通サインの描写の偏心率が、割り出される。割り出された双方の偏心率は、互いに、車両に対する交通サインの向きを割り出すために比較される。この工程は、繰り返し実施されることが目的にかなっている。言い換えれば、ある数の更なる画像が捕捉され、その中で、交通サインが割り出され、更に、交通サインの描写の偏心率の経時変化があるかをみるために、それぞれの描写の偏心率が、比較される。偏心率の変化がない、乃至、減少がある場合、シグナル手段が、作動され、シグナルが出力される。偏心率が実質的に変化しない場合、車両に対する交通サインの向きも変化しない。特に、偏心率が比較的小さい場合、該交通サインは、車両運転手に対して意味を有していると考え得るため、シグナル手段にシグナルを出力することが必要である。車両に対する偏心率が減少する場合、車両に対する交通サインの向きが変化しているが、偏心率がなくなると言う状態は、交通サインが、実質的に、車体前後方向に対して直角であることを意味する。この様な交通サインは、高い確率で、車両運転手にとって重要であるため、シグナル手段を用いて、車両運転手に知らせられる。偏心率が増加している場合は、シグナルが出力されないことが好ましい。

【0014】

これの代案、乃至、これとの組み合わせにおいては、割り出された交通サインの向きに対して平行な直線が定義される。そして、車両が、この直線を通過すると同時に、シグナル手段によって、シグナルが出力される。この場合は、交通サインの位置も割り出され、該直線は、交通サインの位置によって定義される。言い換えれば、該直線は、交通サインの位置を通っている。代案的には、該直線は、その位置に関して、ある特定の値、車両の方向へ移動される、或いは、その位置から遠ざけられるが、該ある特定の値とは、１ｍから１０ｍの間の値であることが好ましい。言い換えれば、シグナルは、車両が、交通サインの後ろの領域に達した、或いは、少なくとも、ある値分、その領域に接近した場合に、シグナルが出力される。この場合、該シグナルは、交通サインの位置に対する間隔が、該直線を通過する際に、予め定められている値よりも小さい場合にのみ出力されることが好ましいが、該値は、車線の幅に相当することが特に好ましい。尚、該間隔は、１０ｍ、５ｍ、或いは、２ｍであることが好ましい。この様にすることで、車両が、交差点において、右／左折する場合でも、車線向こう側にある交通サインに関して、間違ってシグナル出力しなくても済むようになる。

【0015】

車両のアシスタント・システムは、一台のカメラとシグナル手段、並びに、例えば、一つの計算手段を有している。該カメラは、例えば、一台のモノ・カメラ、或いは、ステレオ・カメラである、即ち、一枚（一組）の、或いは、二枚（二組）のレンズを有している。特に好ましくは、該カメラは、画像を捕捉するための一つの画像センサー、例えば、ＣＣＤチップやＣＭＯＳチップを包含している。該シグナル手段は、例えば、ヘッド・アップ・ディスプレー、或いは、マルチファンクション・ディスプレー、乃至、インターフェースである。該アシスタント・システムは、交通サインを割り出す役割を有している。作動中、先ずは、カメラによって一枚の画像が捕捉され、捕捉された画像内で一つの交通サインが割り出される。続いて、特定の交通サインの向きが、割り出され、その向きに応じてシグナル手段からシグナルが出力される。該アシスタント・システムは、この工程を実施できるように想定され、構成されている。例えば、該アシスタント・システムは、ナビゲーション・システムと、シグナル的にカップリングされていない。該アシスタント・システムは、車両周辺部の道路情報を有していないため、アシスタント・システムのメンテナンスや製造が簡略化される。

【0016】

以下、本発明の実施例を、図面を用いて詳細に説明する。

【図面の簡単な説明】

【0017】

【図1】模式的に簡略化されたアシスタント・システム

【図2a】該アシスタント・システムのオペレーティングのための第一方法

【図2b】更なる方法

【図3】模式的に簡略化されたアシスタント・システムを装備した車両

【発明を実施するための形態】

【0018】

互いに対応する部分は、全ての図において同じ符号がつけられている。

【0019】

図１は、模式的に簡略化された図３に示されている車両４の交通サイン６，７を捕捉するためのアシスタント・システム２を模式的に簡略化して示している。該アシスタント・システム２は、それぞれに画像センサーが帰属している互いにずらして配置された二つ（二組）のレンズを備えた一台のカメラ８を有している。更に、該アシスタント・システム２は、シグナル的に互いにカップリングされた一つの計算ユニット１０と一つのシグナル手段１２も有している。ここでは、該計算ユニット１０によって、カメラ８が作成した画像を分析するが、カメラ８によって捕捉されたそれぞれの画像は、双方のセンサーのデータを包含している。該シグナル手段１２は、ヘッド・アップ・ディスプレーであり、これにより、情報が、車両のフロントガラスに投影される。

【0020】

該アシスタント・システム２は、図２ａに示されている方法１４によってオペレーティングされる。スタートイベント１６の後、第一ワークステップ１８において、カメラ８によって車両４の周辺部の画像が捕捉される。該スタートイベント１６は、ここでは、カメラ８の捕捉領域内での交通サイン６の存在、或いは、車両４のスタートである。

【0021】

カメラ８によって捕捉された画像は、計算ユニット１０に伝達される。第二ワークステップ２０では、デジタル化された画像が評価され、その中で、交通サイン６の描写が識別される。第三ワークステップ２２では、交通サイン６の描写に、交通サイン６の標識エッジに対応する直線が割り当てられる。言い換えれば、捕捉された画像内において、画像の各々のピクセルのグラデーション比較によって、四角形の交通サイン６の描写されている標識エッジの割り出しが実施される。この際、水平な標識エッジ２４に相当するグラデーション・ラインが、直線２６として、車両４の前後方向と平行な更なる直線２８と交差するまで延長される。双方の直線２６，２８の交差から、交通サイン６の車両４に対する向きαが割り出されるが、該向きαは、双方の直線２６，２８間の交差角度に相当する。

【0022】

第四ワークステップ３０では、車両４に対する交通サイン６の位置３２が割り出されるが、これは、ステレオ・カメラによって撮影された画像を用いた三角測量によって実施される。

【0023】

第五ステップ３４では、車両４が走行する軌道に基づいて、シグナル手段１２によってシグナルを出力する。第一軌道３６は、図３に示されている交差点３８における車両４の左折に相当する。ここでは、交通サイン６の標識エッジ２４によって定義された直線２６を、車両４が、通過しないため、交通標識６は、車両４の運転手にとって有効ではない。よって、第一軌道３６を走行する場合は、シグナル手段１２からシグナルは、出力されない。

【0024】

一方、交差点の直進に相当する第二軌道４０を走行する場合は、交通サイン６は、運転手にとって有効である。この場合、車両４は、直線２６を通過し、且つ、車両４と交通サイン６間の間隔は、車線幅よりも小さい。この場合、シグナル手段１２は、計算ユニット１０によって、交通サイン６の縮小された図を車両４のフロントガラス上に、該車両の運転手に知らせるために投影するように作動される。

【0025】

図２ｂには、交通サイン７が、円形の場合に実施される、アシスタント・システム２のオペレーティング用の更なる方法４２が示されている。この場合、スタートイベント１６、第一ワークステップ１８での画像の捕捉、並びに、第二ワークステップ２０での該画像内での交通サイン７の割出しは、図２ａに示した方法１４と同様である。第三ワークステップ２２での車両の４に対する交通サイン６の向きαの割り出しは、変更されている。ここでは、交通サイン７の向きは、交通サイン７の描写の偏心率を求めることにより割り出される。そのために、交通サイン７の描写の水平方向への広がりが、その垂直方向への広がりと比較される。偏心率がなくなった場合、双方の長さは同じであり、向きαが、９０°であることを示している。言い換えれば、この場合、交通サイン７の描写は、円形である。第四ワークステップ３０においては更に、交通サイン６の車両４に対する位置３２が割り出される。

【0026】

位置３２の割り出しに続いて、改めて、第一ワークステップ１８において、画像が捕捉され、第二、第三、並びに、第四ワークステップ２０，２２，３０が、実施される。

【0027】

これに続いて、第六ワークステップ４４において、改めて、偏心率が求められ、既知の偏心率と比較される。続いて、第二、第三、第四、並びに、第六ワークステップ２０，２２，３０，４４が、改めて実施される。これらの工程は、例えば、五回、繰り返され、偏心率の経時変化が割り出されるが、ここでは、交通サイン７の車両４に対する位置３２が変化した時の偏心率のみが考慮される。偏心率が一定に保たれている場合、車両４に対する交通サイン７の向きαは、本質的に９０°に相当する。この場合、シグナル手段１２が作動し、交通サイン７の図が、車両のフロントガラスに投影される。また、偏心率が減少する場合も、交通サイン７が、車両４の運転手にとって有効であると考えられるため、シグナル手段１２は、同様に作動される。例えば、図３に示されている第二交通サイン７が、この様なケースであり、この場合、第一軌道３６を走行中、向きαが、側道へ侵入した時点において実質上９０°に相当する。左折後、車両４が、交通サイン７と平行、且つ、交通サイン７の位置３２を通る直線２６を、交通サイン７に対して２ｍ以下の間隔で通過した時点において、シグナル手段１２は、交通サイン７の縮小図を車両４のフロントガラスに投影するように作動される。

【0028】

本発明は、上に説明された実施例に限定されない。況や、当業者によれば、本発明の対象を逸脱することなく、本発明に基づく他のバリエーションを得ることが可能である。特に、実施例と関連して記載された個々の特徴は、本発明の対象を逸脱することなく、更に、他のやり方で互いに組み合わせることも可能である。

【符号の説明】

【0029】

２ アシスタント・システム
４ 車両
６ 交通サイン
７ 交通サイン
８ カメラ
１０ 計算ユニット
１２ シグナル手段
１４ 方法
１６ スタートイベント
１８ 第一ワークステップ
２０ 第二ワークステップ
２２ 第三ワークステップ
２４ 標識エッジ
２６ 直線
２８ 直線
３０ 第四ワークステップ
３２ 位置
３４ 第五ワークステップ
３６ 第一軌道
３８ 交差点
４０ 第二軌道
４２ 方法
４４ 第六ワークステップ
α 向き

【図1】

【図2a】

【図2b】

【図3】