特許 5657677 交通標識の識別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5657677

(24)【登録日】2014年12月5日

(45)【発行日】2015年1月21日

(54)【発明の名称】交通標識の識別方法

(51)【国際特許分類】

   G06T 7/00 20060101AFI20141225BHJP

   G06T 1/00 20060101ALI20141225BHJP

   G08G 1/095 20060101ALI20141225BHJP

【ＦＩ】

   G06T7/00 350B

   G06T1/00 330A

   G08G1/095 A

【請求項の数】8

【全頁数】9

(21)【出願番号】特願2012-531237(P2012-531237)

(86)(22)【出願日】2010年9月24日

(65)【公表番号】特表2013-506214(P2013-506214A)

(43)【公表日】2013年2月21日

(86)【国際出願番号】DE2010001123

(87)【国際公開番号】WO2011038714

(87)【国際公開日】20110407

【審査請求日】2013年6月20日

(31)【優先権主張番号】102009048066.8

(32)【優先日】2009年10月1日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】503355292

【氏名又は名称】コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100173521

【弁理士】

【氏名又は名称】篠原 淳司

(74)【代理人】

【識別番号】100062317

【弁理士】

【氏名又は名称】中平 治

(74)【代理人】

【識別番号】100153419

【弁理士】

【氏名又は名称】清田 栄章

(72)【発明者】

【氏名】ゾーベル， マテイアス

【審査官】 松浦 功

(56)【参考文献】

【文献】 特表２００２−５３０７５９（ＪＰ，Ａ）

【文献】 YONGPING WANG，A METHOD OF FAST AND ROBUST FOR TRAFFIC SIGN RECOGNITION，2009.FIFTH INTERNATIONAL CONFERENCE ON IMAGE AND GRAPHICS，米国，IEEE，２００９年 ９月２０日，P891-894

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ １／００

Ｇ０８Ｇ １／０９５

(57)【特許請求の範囲】

【請求項1】

センサ（１）の画像データを情報処理装置において分析しかつ分類する交通標識の識別方法であって、
第１の方法段階において、分析の結果に基いて、特定のクラスの交通標識である対象を十分な確率で含む少なくとも１つの画像部分（１０）が求められて、この画像部分（１０）にあるクラスに特有な特徴（１１）が確認される方法において、
クラスに特有な特徴（１１）が画像部分（１０）の画像中心に移動するように、画像部分（１０）が修正されて、このクラスに特有な特徴（１１）を画像中心へ移動させることによって生じる画像範囲（１３，１４，１５）が、適当な画素で満たされ、
第２の方法段階において、この修正された画像部分（１２）が分類器（５）へ供給され、分類器（５）が、選択された画像部分（１０）に基いて、学習に基くアルゴリズムにより、特定のクラスから交通標識を識別する、
ことを特徴とする方法。

【請求項2】

修正された画像部分（１２）において、クラスに特有な特徴（１１）が所定の画像大きさにされることを特徴とする、請求項１に記載の方法。

【請求項3】

画像部分（１０）が所定の大きさを持つときにのみ、修正された画像部分（１２）が発生されることを特徴とする、請求項１又は２に記載の方法。

【請求項4】

画像データの少なくとも１つの分類が成功しない時にのみ、修正された画像部分（１２）が発生されることを特徴とする、請求項１から３までのいずれか１つに記載の方法。

【請求項5】

クラスに特有な特徴（１１）を画像中心へ移動させることによって生じる画像範囲（１３，１４，１５）が、クラスに特有な特徴（１１）の周囲の画素に応じて画素で満たされることを特徴とする、請求項１から４までのいずれか１つに記載の方法。

【請求項6】

クラスに特有な特徴（１１）を画像中心へ移動させることによって生じる画像範囲（１３，１４，１５）が、クラスに特有な特徴（１１）の周囲の画素から計算される画素で満たされることを特徴とする、請求項１から３までのいずれか１つに記載の方法。

【請求項7】

特定のクラスの交通標識が円形の交通標識を含んでいることを特徴とする、請求項１から６までのいずれか１つに記載の方法。

【請求項8】

特定のクラスの交通標識が数字ブロックを持つ交通標識を含んでいることを特徴とする、請求項１から７までのいずれか１つに記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、請求項１の上位概念に記載の交通標識の識別方法に関する。

【背景技術】

【0002】

例えば速度超過の際運転者に警告するため、最近の運転者援助システムはますます電子交通標識識別システムを備えるようになっている。このためカメラが車両の前の周辺を記録し、適当な画像データを車載計算機へ供給し、車載計算機はアルゴリズムにより画像データを分析しかつ分類して、これから交通標識を確認する。

【0003】

このような方法は例えばドイツ連邦共和国特許出願公開第１９８５２６３１号明細書から公知である。

【0004】

交通標識を識別するこのような方法の目的は、拒否割合即ち識別されないか又は誤って識別される標識の割合を少なくすることである。すべての交通標識がその形状について規格に従い、それにより異なる交通標識の多様性が特に外国の道路交通に関して減少されると、有利であろう。道路交通標識についてのウイーン協定において、欧州の複数の国が一部交通標識の統一に同意したので、例えば速度制限指示が、赤い外輪と速度制限の数字を持つ丸い標識から生じるようにしている。

【0005】

交通標識の識別方法は規準に従って実施され、検出段階でカメラ画像において、交通標識を含む可能性のある画像区域が識別される。これらの標識仮定は、続いて第２の方法段階で分類器に供給され、画像区域に交通標識が存在するか否か、それがどんな交通標識であるかを、分類器が決定する。

【0006】

図１は、概略的なブロック線図で、このような方法により動作する計算機に基く標識識別システムを示す。これによれば、カメラ１により周辺が記録され、対応する画像データが情報処理装置２のメモリ装置３に記録され、情報処理装置３はさらに検出装置４、分類装置５、出力メモリ６及び出力装置７を含んでいる。検出装置４において画像区域従って標識仮定が確認され、続いて分類装置５へ送られる。識別された交通標識は出力メモリ６において記録され、それから出力装置７例えば運転者に表示するため複合計器の中央ディスプレイ又は表示器が利用される。

【0007】

分類器又は分類装置５は、例えばドイツ連邦共和国特許出願公開第１０２００５０６２１５４号明細書から公知のように学習に基いて動作することができ、即ち選択された検出方法に関係する表出を持つ多量学習例を介して前もって適当に訓練される。例えば速度限界を識別するため、検出段階において画像処理段階により、カメラ画像にある円を求め、包囲する長方形を一部として分類器へ与えることは公知であり、この特徴としての″円″が交通標識の特定のクラスを規定する。

【0008】

画像センサの画像データにおいて円状の対象を識別する方法は、例えばドイツ連邦共和国特許出願公開第１０２００５０１７５４１号明細書から公知である。

【0009】

上述したように、速度限界用の交通標識は、大抵の国ではウイーン協定に従って統一的に形成され、かつ速度値を示す数字ブロックが図２に示すように単独で中心に置かれて交通標識に埋込まれており、通常見られる形状を示すように、特徴づけられている。

【0010】

しかし速度限界のこの統一された表示のほかに、例えばオーストリア又はベルギーでは、それとは異なる標識表出が行われ、図３に示すように、重要な数字ブロックが一層小さい文言表示例えば″ｋｍ″によって補足されているか、又は重要な数字ブロックが図４のように偏心して配置されているため、数字ブロックの大きさも異なる大きさ、大抵の場合図２による統一的な形状と比較して小さい大きさを持つことがしばしばある。時には、図４による交通標識が、交通標識上へ存在する文言追加の接着又は上塗りの結果としても生じる。

【0011】

学習に基いて動作する分類器にとってこれは、数字ブロックが標識の中心に設けられている速度限界のために通常使用される形状からのこれらの相違のため、可変性が著しく増大することを意味する。なぜならば、これらの変化に対して学習例又は訓練例も同様に発生して、利用可能にせねばならないからである。更に増大する可変性のため、このような分類器は一層多くの標識仮定を通過させることになり、それにより誤警報割合が高まる。

【発明の概要】

【発明が解決しようとする課題】

【0012】

従って本発明の課題は、最初にあげた種類の交通標識識別方法を提示し、分類器のために必要な学習例及び訓練例の必要な変化の数が限定されるけれども、識別率が低下するか又は実時間要求が危険であることのないようにすることである。

【課題を解決するための手段】

【0013】

この課題は、請求項１の特徴を持つ方法によって解決される。

【0014】

センサの画像データを情報処理装置において分析しかつ分類する交通標識の識別方法であって、
第１の方法段階において、分析の結果に基いて、複数の交通標識のうち特定のクラスの交通標識である対象を十分な確率で含む少なくとも１つの画像部分が求められ、
第２の方法段階において、この画像部分が分類器へ供給され、分類器が、選択された画像部分に基いて、学習に基くアルゴリズムにより、特定のクラスから交通標識を識別するものにおいて、
本発明によれば、
第１の方法段階において、画像部分にあるクラスに特有な特徴が確認され、
クラスに特有な特徴を持つ修正された画像部分が、その画像中心に発生され、クラスに特有な特徴を画像中心へ移動させることによって生じる画像範囲が、適当な画素で満たされ、
修正された画像部分が分類器へ供給される。

【0015】

さて交通標識の特定のクラス例えば速度限界を持つ丸い交通標識のクラスのクラスに特有な特徴が、統一的な規格とは相違していると、従って例えばこのような速度限界用交通標識において、標識ブロックが交通標識の中心に設けられていないと、画像部分が分類器へ供給される前に、この画像部分が修正されて、クラスに特有な特徴従ってこの数字ブロックが画像部分の画像中心へ移動されるようにする。この修正された画像部分により、分類器が分類を行う。従って分類器を、供給された画像部分の中心にクラスに特有な特徴を持つ交通標識となるように訓練しさえすればよく、それにより分類器の訓練のために必要な学習の変化が一層少なくなり、従って準備すべき訓練例の量も減少することができる。

【0016】

こうして分類器がクラスに特有で処理すべき画像部分の中心にある特徴を分類しさえすればよく、従って訓練例の数も減少される、というこの制限によって、分類器を強固に形成することができる。

【0017】

本発明の特に有利な展開では、クラスに特有な特徴が、特定のクラスの交通標識のうちデータバンクに記憶されている交通標識の表現へ入れられることによって、修正された画像部分が発生される。これは次のことを意味する。即ち実際の画像部分の代わりに、クラスに特有な特徴を持たずかつデータバンクに記憶されている特定のクラスの人工的な交通標識が使用されて、クラスに特有で分類されるべき特徴へ入れられる。このように発生される修正された画像部分は、続いて分類のため分類器へ供給される。それによっても訓練例の可変性が有利に減少され、その結果識別割合が上昇する。

【0018】

本発明の有利な展開によれば、クラスに特有な特徴の位置の正規化が行われるだけでなく、修正された画像部分においてクラスに特有な特徴を所定の画像大きさに設定することによって、大きさの正規化も行われる。従ってこの手段によって、分類器のために準備すべき訓練例の数が再度減少され、それにより分類方法の強さの一層の改善が行われる。

【0019】

本発明の好ましい展開では、処理すべき画像部分が特定の大きさを持つ時にのみ、位置及び大きさの正規化が行われる。従ってクラスに特有な特徴に似た構造を持つ対象が可能な交通標識として確認されるか、又は車両を大きく離れているか、隣接する車線に属している物体が除外されるのを、防止することができる。

【0020】

更に本発明による方法の別の展開では有利なように、画像データの少なくとも１つの分類なるべく所定数の画像サイクルが成功しない時にのみ、修正された画像部分が発生される。これにより、識別方法に対する実時間要求に関して分類方法の有利な動作が行われる。

【0021】

クラスに特有な特徴を画像中心へ移動させることによって生じる画像範囲が、クラスに特有な特徴の周囲の画素に応じて画素で満たされると、分類方法に関して特に有利である。これにより、識別割合が増大する。これらの画像範囲を、特定の色の画素で満たし、修正された画像部分の周囲の画素から計算される画素で、例えば平均輝度に関する平均値として又は例えば交通標識の背景色の一定な色として満たして、訓練例に相当する分類器容表示を得ることができる。

【0022】

本発明による方法は、丸い交通標識のクラスに特に有利に適用され、この交通標識クラス内で、数字ブロックを持つこのような交通標識従って例えば速度限界を持つ交通標識に適用される。

【0023】

図面を参照して本発明が以下に詳細に説明される。

【図面の簡単な説明】

【0024】

【図1】 公知の交通標識識別方法を説明するための回路装置の概略的なブロックダイヤグラムを示す。

【図2】 速度限界を持ちかつウイーン協定により規格化された交通標識の図を示す。

【図3】 図２による交通標識に従う形状とは異なる交通標識の図を示す。

【図4】 図２による交通標識に従う形状とは異なる形状を持つ交通標識の別の図を示す。

【図5】 本発明による交通標識識別方法を説明する回路装置の概略的なブロックダイヤグラムを示す。

【図6】 本発明による交通標識識別方法を説明する交通標識の図を示す。

【図7】 本発明による交通標識識別方法を説明する交通標識の別の図を示す。

【発明を実施するための形態】

【0025】

図５による回路装置のブロックダイヤグラムは、その構造的構成において、図１によるブロックダイヤグラムに相当する。図１によるこの回路装置に比べて、図５による回路装置は、カメラ１、メモリ装置３、検出装置４、分類装置５、出力メモリ６及び出力装置７のほかに、本発明により更に中心配置装置８を持ち、この中心配置装置８を大きさを正規化装置９により補足することができる。

【0026】

カメラ１により記録される画像サイクルの画像データはメモリ装置３に記憶され、重要な画像部分を検出する検出装置４へ供給される。重要な画像部分は、十分な確率で特定のクラスの交通標識例えば丸い交通標識を含むような画像データである。更に交通標識のこの特定のクラスのために、例えば速度限界交通標識の数字ブロックであってもよいクラス特有の特徴が検出される。

【0027】

図６ａはこのような重要な画像部分１０を示し、この画像部分１０は、クラスに特有な特徴として数字ブロック１１を持つ丸い交通標識を含み、この数字ブロックは“６０”の速度限界を示している。この数字ブロック１１は、図６ａに記入された十字線からわかるように、画像部分１０の中心外にある。

【0028】

図６ａによるこの画像部分１０は、次の方法段階において中心配置装置８へ送られ、中心配置装置８がこの画像部分１０から修正された画像部分１２を発生し、この画像部分１２が図６ｂに示されている。この場合数字ブロック１１は画像部分１０の中心に発生されるので、図６ｂによる修正された画像部分１２が生じ、数字ブロック１１の中心配置は記入された十字線により明白に識別可能である。画像部分１２の中心への数字ブロック１１の発生又は移動により、数字ブロック１１の最初の状態の画像範囲１３が生じ、この画像範囲１３が数字ブロック１１の数字“６”の構造の一部を示す。この画像範囲１３が適当な画素で代えられるか、又は重ね書きされる。例えばこの画像範囲１３は、数字ブロック１１の周囲の画素に応じて画素で代えられるか、特定の色の画素又は修正された画像部分１２の画素の平均値に相当する画素で代えられるようにすることができる。更に画像範囲１３を、画像部分１０の背景に応じて画素で満たすこともできる。

【0029】

修正された画像部分１２により発生する画像は、従って図２による正規化された交通標識に相当する。

【0030】

修正された画像部分１２は今や分類装置５へ供給され、この分類装置５が、速度表示“６０”を持つ図２の交通標識を画像部分１２から確認し、出力メモリ６に記憶する。そこから交通標識を、運転者のために、例えば運転者の車両の複合計器に、現在許容される最高速度として表示することができる。

【0031】

本発明による方法によって交通標識を識別する別の例が、図７ａ及び７ｂにより説明される。図７ａによれば、数字ブロック１１のほかにクラスに特有な特徴として追加文言“ｋｍ”も含む画像部分１０が検出される。この画像部分１０にも、画像中心外に数字ブロック１１があり、それが図示された十字線により認められる。

【0032】

この画像部分１０を分類する前に、すでに図６の説明に関連して説明されたように、中心配置装置８により、画像部分１０の中心へのこの数字ブロック１１の中心配置が行われるので、図７ｂにより修正された画像部分１２が生じる。

【0033】

数字ブロック１１が中心配置されるこの修正された画像部分１２の発生の際、画像部分１０にある数字ブロック１１の最初の状態から画像範囲１４及び１５が生じて、数字ブロック１１の数字“６”の構造の一部及び追加文言“ｋｍ”の構造の一部を示す。図６ｂによる例で説明されたように、これらの画像範囲１４及び１５は適当な画素で代えられるか又は重ね書きされるので、分類装置５は、修正された画像部分１２により交通標識の確認を行うことができ、この交通標識が図２による交通標識の正規化された形状に一致する。

【0034】

検出装置４のデータメモリに記憶されている特定のクラスの人工的な交通標識が使用されるけれども、クラスに特有な特徴を持っていないように、修正された画像部分１２を発生することもできる。このような交通標識の表現は、図２に示すように赤い縁を持つけれども速度表示“６０”を持つ数字ブロックなしの丸い交通標識に相当する。検出装置４による実際の画像部分１０から検出される数字ブロック１１は、このような人工的な交通標識へ入れられて、修正された画像部分１２として分類装置５へ送られる。

【0035】

画像部分１０における数字ブロック１１の位置正規化のほかに、更に識別された数字ブロック１１の大きさ正規化も行うことができる。このため図５による回路装置は更に大きさ正規化装置９を持ち、この大きさ正規化装置９へまず画像部分１０が供給されて、そこで識別される数字ブロック１１の大きさを所定の寸法に変化し、従って正規定する。このように修正された画像部分は、今や中心配置装置８へ供給され、それにより大きさを正規化装置９の前で修正された画像部分から、中心に配置される数字ブロック１１を持つ図６ｂ又は７ｂの更に修正された数字ブロック１１が発生される。

【0036】

中心配置及び／又は大きさ正規化の前に、画像部分１０に関して特定の条件を満たさねばならないように、本発明による交通標識識別方法を修正することもできる。

【0037】

そこで分類装置５により画像部分１０の分類をまず行い、従って検出装置４において発生される画像部分１０をまず分類装置５へ供給し、特定数の画像サイクル後に効果的な分類を行うことができない時に初めて、この画像部分１０が検出装置４へ戻され、それから中心配置装置８又は大きさ正規化装置９へ供給される。

【0038】

更にこのような条件は、画像部分１０が特定の大きさを持たねばならないことでもある。それにより、車両から遠く離れ過ぎているか、交通標識を表示しないか、又は隣接する車線の交通標識である対象が、除外される。

【符号の説明】

【0039】

１ カメラ
２ 情報処理装置
３ 画像データ用メモリ装置
４ 検出装置
５ 分類装置
６ 出力メモリ
７ 出力装置
８ 中心配置装置
９ 大きさ正規化装置
１０ 画像部分
１１ クラスに特有な特徴、数字ブロック
１２ 修正された画像部分
１３ 画像範囲
１４ 画像範囲
１５ 画像範囲

【図1】

【図2】

【図3a】

【図3b】

【図4】

【図5】

【図6a-6b】

【図7a-7b】