特許 7044898 ナンバープレート認識方法、および、そのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-22

(45)【発行日】2022-03-30

(54)【発明の名称】ナンバープレート認識方法、および、そのシステム

(51)【国際特許分類】

   G06V 30/194 20220101AFI20220323BHJP

   G06V 30/148 20220101ALI20220323BHJP

   G06T 7/00 20170101ALI20220323BHJP

【ＦＩ】

G06K9/66

G06K9/34

G06T7/00 350C

【請求項の数】 15

(21)【出願番号】P 2020548723

(86)(22)【出願日】2019-01-21

(65)【公表番号】

(43)【公表日】2021-08-05

(86)【国際出願番号】 CN2019072542

(87)【国際公開番号】W WO2019174405

(87)【国際公開日】2019-09-19

【審査請求日】2020-11-11

(31)【優先権主張番号】201810208466.9

(32)【優先日】2018-03-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】596039187

【氏名又は名称】台達電子工業股▲ふん▼有限公司

【氏名又は名称原語表記】ＤＥＬＴＡ ＥＬＥＣＴＲＯＮＩＣＳ，ＩＮＣ．

(74)【代理人】

【識別番号】110000291

【氏名又は名称】特許業務法人コスモス国際特許商標事務所

(72)【発明者】

【氏名】陳 ▲ユー▼達

(72)【発明者】

【氏名】梁 峰銘

(72)【発明者】

【氏名】鄭 景鴻

【審査官】真木 健彦

(56)【参考文献】

【文献】特開平１１－３０６２８３（ＪＰ，Ａ）

【文献】特開２００９－０８７０８７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３１１４６０（ＵＳ，Ａ１）

【文献】特開２０１６－０５３７６３（ＪＰ，Ａ）

【文献】特開２００４－１１０４４８（ＪＰ，Ａ）

【文献】K. K. Kim，Learning-based approach for license plate recognition，Neural Networks for Signal Processing X. Proceedings of the 2000 IEEE Signal Processing Society Workshop (Cat. No.00TH8501)，米国，IEEE，2000年，P.614-623，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=890140

【文献】Yashihiro Shima，Extraction of number plate images based on image category classification using deep learning，2016 IEEE International Symposium on Robotics and Intelligent Sensors (IRIS)，日本，IEEE，2016年12月17日，P.19-26，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8066060

【文献】Gabriel Resende Concalves，License plate recognition based on temporal redundancy，2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC)，BR，IEEE，2016年11月01日，P.2577-2582，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7795970

【文献】保黒 政大，車両搭載型ナンバープレート認識システム，電気学会論文誌Ｃ，日本，（社）電気学会，2006年05月01日，第126巻 第5号，P.589～595

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｖ ３０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

ナンバープレート認識方法であって、
ナンバープレート上のすべての文字を含む処理待ちイメージを取得する工程と、
特徴マップ抽出モジュールにより、前記処理待ちイメージの文字特徴を有する複数の特徴マップを抽出する工程と、
ニューラルネットワークに基づいた文字認識モデルにより、前記特徴マップにしたがって、各文字に対応するブロック、および、座標を抽出する工程、および、
前記文字の前記各ブロック、および、前記各座標に基づいて、ナンバープレート認識結果を得る工程、
を有し、
前記複数の特徴マップのそれぞれは、異なる空間周波数に応じる前記文字特徴に対応することを特徴とする方法。

【請求項2】

さらに、
原画像を受信する工程と、
バックグラウンド抽出モジュールにより、歴史的背景イメージを抽出する工程と、
前記原画像と前記歴史的背景イメージを比較して、イメージ変化量を判断する工程、および、
前記イメージ変化量が所定値より大きいか否か判断する工程、を有し、
前記イメージ変化量が前記所定値より大きいとき、前記のすべての文字を含む前記処理待ちイメージを生成することを特徴とする請求項１に記載のナンバープレート認識方法。

【請求項3】

さらに、
原画像を受信する工程と、
車輛フロントイメージ捕捉モジュール、あるいは、車輛バックイメージ捕捉モジュールにより、第一イメージ特徴、および、第一分類器を利用して、前記原画像中から、車輛フロントイメージ、あるいは、車輛バックイメージを取得する工程と、
ナンバープレート文字領域検査モデルにより、前記車輛フロントイメージ、あるいは、前記車輛バックイメージに基づいて、前記のすべての文字を含む前記処理待ちイメージを取得する工程と、
前記ナンバープレート文字領域検査モデルにより、第二イメージ特徴、および、第二分類器を利用して、前記車輛フロントイメージ、あるいは、前記車輛バックイメージから、少なくとも一つの文字ブロックを取得する工程と、
前記文字ブロックの数量に基づいて、拡大倍率を決定する工程、および、
前記拡大倍率に基づいて、前記文字ブロックが合併されるイメージ領域が有する複数の辺をそれぞれ拡大し、拡大された前記複数の辺からなる前記処理待ちイメージを取得する工程、
を有することを特徴とする請求項１に記載のナンバープレート認識方法。

【請求項4】

さらに、
複数の前記ナンバープレート認識結果を受信する工程と、
ナンバープレート分類規則に基づいて、前記複数のナンバープレート認識結果を、少なくとも二個の群に分類する工程と、
前記各群中の各サブ認識結果に投票を行う工程と、
前記各群中の任意の前記サブ認識結果の投票点数が、スレショルド値より大きいとき、前記サブ認識結果に基づいて、最終ナンバープレート認識結果を生成する工程、および、
前記ナンバープレート認識結果、および／または、前記最終ナンバープレート認識結果に基づいて、前記文字認識モデルを更新する工程、を有し
前記ナンバープレート分類規則は、ナンバープレート命名分類規則、英文字領域と数字領域分類規則、ダッシュ分類規則、および、文字相対位置分類規則、
を有することを特徴とする請求項１に記載のナンバープレート認識方法。

【請求項5】

さらに、
全ての前記ナンバープレート認識結果の時間序列に基づいて、前記の各ナンバープレート認識結果に重み付けを割り当てる工程、および、
前記各群中の任意の前記サブ認識結果の重み付け総和が、前記スレショルド値より大きいとき、前記サブ認識結果に基づいて、前記最終ナンバープレート認識結果を生成する工程、
を有することを特徴とする請求項４に記載のナンバープレート認識方法。

【請求項6】

ナンバープレート認識システムであって、
少なくとも一つの原画像を捕捉するイメージ捕捉ユニット、および、
前記イメージ捕捉ユニットから、前記原画像を受信、
前記原画像に基づいて、ナンバープレート上のすべての文字を含む処理待ちイメージを取得、
特徴マップ抽出モジュールにより、前記処理待ちイメージの文字特徴を有する複数の特徴マップを取得、
ニューラルネットワークに基づく文字認識モデルにより、前記特徴マップが、前記の各文字に対応するブロック、および、座標を抽出、および、
前記の文字の前記の各ブロック、および、前記の各座標により、ナンバープレート認識結果を取得、するのに用いられる処理ユニット、
を有し、
前記複数の特徴マップのそれぞれは、異なる空間周波数に応じる前記文字特徴に対応することを特徴とするナンバープレート認識システム。

【請求項7】

前記処理ユニットは、更に、
バックグラウンド抽出モジュールにより、歴史的背景イメージを抽出し、
前記原画像と前記歴史的背景イメージを比較して、イメージ変化量を判断し、および、
前記イメージ変化量が所定値より大きいか否かを判断するのに用いられ、
前記イメージ変化量が、前記所定値より大きいとき、前記処理ユニットは、前記すべての文字を含む前記処理待ちイメージを生成することを特徴とする請求項６に記載のナンバープレート認識システム。

【請求項8】

前記処理ユニットは、さらに、
車輛フロントイメージ捕捉モジュール、あるいは、車輛バックイメージ捕捉モジュールにより、第一イメージ特徴、および、第一分類器を利用して、前記原画像中から、車輛フロントイメージ、あるいは、車輛バックイメージを取得し、
ナンバープレート文字領域検査モデルにより、前記車輛フロントイメージ、あるいは、前記車輛バックイメージを利用して、前記すべての文字を含む前記処理待ちイメージを取得し、
前記ナンバープレート文字領域検査モデルにより、第二イメージ特徴、および、第二分類器を用いて、前記車輛フロントイメージ、あるいは、前記車輛バックイメージ中から少なくとも一つの文字ブロックを取得し、
前記文字ブロックの数量に基づいて、拡大倍率を決定し、および、
前記拡大倍率に基づいて、前記文字ブロックが合併されるイメージ領域が有する複数の辺をそれぞれ拡大し、拡大された前記複数の辺からなる前記処理待ちイメージを取得するのに用いられることを特徴とする請求項６に記載のナンバープレート認識システム。

【請求項9】

前記処理ユニットは、更に、
複数の前記ナンバープレート認識結果を受信する工程と、
ナンバープレート分類規則に基づいて、前記各ナンバープレート認識結果を、少なくとも二個の群に分類し、
前記各群中の各サブ認識結果に対して投票し、
前記各群中の任意の前記サブ認識結果の投票点数が、スレショルド値より大きいとき、前記サブ認識結果に基づいて、最終ナンバープレート認識結果を生成するのに用いられ、および、
前記ナンバープレート認識結果、および／または、前記最終ナンバープレート認識結果に基づいて、前記文字認識モデルを更新するのに用いられ、
前記ナンバープレート分類規則は、ナンバープレート命名分類規則、英文字領域と数字領域分類規則、ダッシュ分類規則、および、文字相対位置分類規則を有することを特徴とする請求項６に記載のナンバープレート認識システム。

【請求項10】

前記処理ユニットは、更に、
全ての前記ナンバープレート認識結果の時間序列に基づいて、前記各ナンバープレート認識結果に重み付けを割り当て、および、
前記各群中の任意の前記サブ認識結果の重み付け総和が、前記スレショルド値より大きいとき、前記サブ認識結果に基づいて、前記最終ナンバープレート認識結果を生成するのに用いられることを特徴とする請求項９に記載のナンバープレート認識システム。

【請求項11】

ナンバープレート認識方法であって、
処理待ちイメージを取得する工程と、
特徴マップ抽出モジュールにより、複数の標的特徴を有する複数の特徴マップを取得する工程と、
標的位置抽出モジュールにより、前記各特徴マップ中の前記標的特徴を含む少なくとも一つの領域を取得するとともに、前記各特徴マップの各フレームに、前記標的特徴に対応する点数を与える工程と、
標的候補分類モジュールにより、前記点数に基づいて、前記各特徴マップの前記各フレームを分類するとともに、文字特徴に対応する少なくとも一つの領域を保留する工程、および、
投票／統計モジュールにより、前記文字特徴に対応する前記領域に基づいて、ナンバープレート認識結果を取得する工程、
を有し、
前記標的特徴は、異なる空間周波数に対応する前記文字特徴、ナンバープレート外型特徴、背景特徴、あるいは、車輛特徴を有することを特徴とする方法。

【請求項12】

さらに、
クラスタ化、あるいは、カスタムサイズにより、前記特徴マップ上の所定数の画素毎に、一フレームを抽出するとともに、前記標的位置抽出モジュールにより、前記各特徴マップの前記各フレームに、前記各標的特徴に対応する前記点数を割り当てることを特徴とする請求項１１に記載のナンバープレート認識方法。

【請求項13】

さらに、
簡易分類器により、前記特徴マップの少なくとも一つの標的特徴点を取得し、異なる大きさの複数のフレームを利用して、前記標的特徴点付近に位置する複数の領域を選び、および、前記特徴マップ抽出モジュールにより、前記各特徴マップの前記各フレームに、前記標的特徴に対応する前記点数を与えることを特徴とする請求項１１に記載のナンバープレート認識方法。

【請求項14】

さらに、
前記標的候補分類モジュールにより、非最大抑制方式で、最高点数を有し、且つ、点数が所定値より大きい前記文字特徴を保留することを特徴とする請求項１１に記載のナンバープレート認識方法。

【請求項15】

さらに、
複数の前記ナンバープレート認識結果を受信する工程と、
前記投票／統計モジュールにより、ナンバープレート分類規則に基づいて、前記複数のナンバープレート認識結果を、少なくとも二個の群に分類する工程と、
前記投票／統計モジュールにより、前記各群中の各サブ認識結果に投票を実行する工程と、
前記各群中の任意の前記サブ認識結果の投票点数が、スレショルド値より大きいとき、前記投票／統計モジュールは、前記サブ認識結果に基づいて、最終ナンバープレート認識結果を生成する工程、および、
前記ナンバープレート認識結果、および／または、前記最終ナンバープレート認識結果に基づいて、前記特徴マップ抽出モジュールを更新する工程、
を有することを特徴とする請求項１１に記載のナンバープレート認識方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ナンバープレート認識方法、および、ナンバープレート認識システムに関するものであって、特に、ニューラルネットワークにより、ナンバープレート上の各文字を認識するナンバープレート認識方法、および、ナンバープレート認識システムに関するものである。

【背景技術】

【0002】

イメージ処理の応用において、ナンバープレート認識技術は、すでに幅広く知られている。従来のナンバープレート認識技術において、ナンバープレート情報を取得する常用技術手段は、ナンバープレート定位、ナンバープレート文字区切り、および、ナンバープレート文字認識である。しかし、実際の応用上、撮影角度の違い、あるいは、光源、日夜、晴雨等の環境の干渉によって、ナンバープレートイメージは、ナンバープレート特徴の不明瞭、ナンバープレート歪斜、ナンバープレート変形、光源ノイズ、および、ナンバープレート破損等の状況が発生して、認識の精度が低下する。このほか、従来のナンバープレート定位技術は、通常、エッジ密度値に基づいて、ナンバープレートのイメージ位置を捜索し、ナンバープレートに汚損や装飾等がある場合、エッジ密度値の特徴が破壊され、ナンバープレート定位の精度が大幅に低下する。さらに、取得したナンバープレートの歪斜や変形がひどい場合、文字分割が困難になり、余分なアルゴリズムによって、ナンバープレートを校正しなければならない。以上の各種要素は、従来のナンバープレート認識技術の環境に対する許容性が低く、各種余分なイメージ処理技術によって、認識率を向上させなければならないが、これは、ナンバープレート認識の速度を低下させてしまう。よって、最適なナンバープレート認識方法を提供して、ナンバープレート認識の環境に対する許容度を向上させるとともに、高い精度を維持、および、認識速度を迅速にすることが、現在解決すべき問題である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、ナンバープレート認識方法、および、そのシステムを提供する。

【課題を解決するための手段】

【0004】

本発明の一実施形態は、ナンバープレート認識方法を提供し、本方法は、ナンバープレート上のすべての文字を含む処理待ちイメージを取得する工程と、特徴マップ抽出モジュールにより、処理待ちイメージの文字特徴を有する複数の特徴マップを取得する工程と、ニューラルネットワークに基づいた文字認識モデルにより、特徴マップにしたがって、文字に対応する各ブロック、および、各座標を得る工程、および、文字の各ブロック、および、各座標にしたがって、ナンバープレート認識結果を取得する工程、を有する。

【0005】

本発明のもう一つの実施形態は、さらに、ナンバープレート認識システムを提供し、本システムは、イメージ捕捉ユニット、および、処理ユニットを有する。イメージ捕捉ユニットは、少なくとも一つの原画像を捕捉するのに用いられる。処理ユニットは、イメージ捕捉ユニットから原画像を受信、原画像に基づいて、ナンバープレート上のすべての文字を含む処理待ちイメージを取得、特徴マップ抽出モジュールにより、処理待ちイメージの文字特徴を有する複数の特徴マップを取得、ニューラルネットワークに基づいた文字認識モデルにより、特徴マップに基づいて、文字に対応する各ブロック、および、各座標を取得、および、文字の各ブロック、および、各座標に基づいて、ナンバープレート認識結果を取得、するのに用いられる。

【0006】

本発明のもう一つの実施形態は、さらに、ナンバープレート認識方法を提供し、本方法は、処理待ちイメージを取得する工程と、特徴マップ抽出モジュールにより、複数の標的特徴を有する複数の特徴マップを取得する工程と、標的位置抽出モジュールにより、各特徴マップ中の標的特徴を有する少なくとも一つの領域を取得するとともに、各特徴マップの各フレームに、各標的特徴に対応する点数を与える工程と、標的候補分類モジュールにより、点数に基づいて、上述の各特徴マップの各フレームを分類するとともに、文字特徴に対応する少なくとも一つの領域を保留する工程、および、投票／統計モジュールにより、文字特徴に対応する上述の領域に基づいて、ナンバープレート認識結果を取得する工程、を有する。

【発明の効果】

【0007】

本発明のナンバープレート認識システムにより、認識速度が迅速、且つ、精度が高くなる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態によるナンバープレート認識システムのシステム構造図である。

【図2】本発明の一実施形態によるナンバープレート認識方法のフローチャートである。

【図3A】本発明の一実施形態による現在のイメージを示す図である。

【図3B】本発明の一実施形態による現在のイメージと歴史的背景イメージのイメージ変化を示す図である。

【図4A】本発明のいくつかの実施形態による特徴マップを生成するのに用いられる訓練済みのマトリクスを示す図である。

【図4B】本発明のいくつかの実施形態による特徴マップを生成するのに用いられる訓練済みのマトリクスを示す図である。

【図4C】本発明のいくつかの実施形態による特徴マップを生成するのに用いられる訓練済みのマトリクスを示す図である。

【図4D】本発明のいくつかの実施形態による特徴マップを生成するのに用いられる訓練済みのマトリクスを示す図である。

【図5A】本発明の一実施形態による文字を有すると判断されたブロックを示す図である。

【図5B】本発明の一実施形態による文字を有すると判断されたブロックを示す図である。

【図6】本発明の一実施形態による投票／統計モジュールを示す図である。

【図7A】本発明の一実施形態による現在のイメージを示す図である。

【図7B】本発明の一実施形態によるフロントイメージを示す図である。

【図8】本発明の一実施形態によるナンバープレートの文字領域を示す図である。

【図9】本発明のもう一つの実施形態によるナンバープレート認識方法のフローチャートである。

【発明を実施するための形態】

【0009】

本発明のナンバープレート認識方法、および、ナンバープレート認識システムに適用されるその他の範囲は、以下で提供される詳述に明確に記述される。理解すべきことは、以下の詳述、および、具体的な実施形態が、ナンバープレート認識方法、および、ナンバープレート認識システムに関係する実施形態を描写する目的のために提出されたものであり、本発明の範囲を限定することを意図しないことである。

【0010】

図１は、本発明の一実施形態によるナンバープレート認識システムのシステム構造図である。ナンバープレート認識システム１００は、たとえば、デスクトップパソコン、ノート型パソコン、あるいは、タブレット等の電子装置中で実施され、且つ、ナンバープレート認識システム１００は、すくなくとも、処理ユニット１１０を有する。処理ユニット１１０は、多種の方式、たとえば、専用のハードウェア回路、あるいは、汎用ハードウェア（たとえば、単一プロセッサ、並行処理能力を有するマルチプロセッサ、グラフィックプロセッサ、あるいは、その他の演算能力を有するプロセッサ）により実施され、且つ、本発明の各モデル、および、工程と関係があるプログラムコード、あるいは、ソフトウェアを実行時、後に記述される機能を提供する。ナンバープレート認識システム１００は、さらに、ストレージユニット１２０を有して、捕捉したイメージを保存し、過程中に必要なデータ、および、様々な電子ファイル、たとえば、各種アルゴリズム、および／または、各モデル等を実行する。ナンバープレート認識システム１００は、更に、イメージ捕捉ユニット１３０、たとえば、モニター、ビデオカメラ、および／または、カメラ等を有して、少なくとも一つのイメージ、あるいは、連続したビデオイメージを取得するとともに、それらを処理ユニット１１０に送信する。ディスプレイユニット１４０は、ディスプレイパネル（たとえば、薄膜液晶ディスプレイパネル、有機発光ダイオードパネル、あるいは、ディスプレイ能力を有するその他のパネル）を有し、入力する文字、数字、符号、マウスをドラッグする移動軌跡、あるいは、応用プログラムにより提供されるユーザーインターフェースを表示して、使用者に見せる。ナンバープレート認識システム１００は、さらに、入力装置（図示しない）、たとえば、マウス、タッチペン、あるいは、キーボード等を有して、ユーザーが対応する操作を実行する。

【0011】

図２を参照する。図２は、本発明の一実施形態によるナンバープレート認識システムのフローチャートである。工程Ｓ２０１において、イメージ捕捉ユニット１３０は、処理待ちイメージを取得する。イメージ処理速度を速くするため、イメージ捕捉ユニット１３０が、連続イメージを捕捉することができるモニター、あるいは、カメラであるとき、処理ユニット１１０は、更に、あらかじめ、現在のイメージと歴史イメージを比較することにより、現在のイメージ中に車輛があるか、あるいは、その他の物体が、撮影範囲に進入しているかを判断する。たとえば、処理ユニット１１０は、複数の歴史イメージに基づいて、バックグラウンド捕捉（Background Subtract）モジュールにより、歴史的背景イメージを取得して、処理ユニット１１０に、歴史的背景イメージ、および、現在のイメージに基づいて、迅速に判断させる。現在のイメージと歴史的背景イメージの間のイメージ変化の面積、あるいは、イメージ変化量が所定値より大きいとき、処理ユニット１１０は、車輛がある、あるいは、その他の物体が、現在のイメージが対応する撮影範囲に進入していると判断し、続いて、現在のイメージに対し、後続の動作を実行する。たとえば、図３Ａは、現在のイメージを示す図であり、図３Ｂは、現在のイメージと歴史的背景イメージの間のイメージ変化を示す図である。図３Ｂの内容に基づくと、イメージ変化の面積は約３７％であることが分かり、所定値が３５％に設定される場合、処理ユニット１１０は、現在のイメージ内に車輛が出現した、あるいは、その他の物体があると判断することができる。

【0012】

工程Ｓ２０２において、処理ユニット１１０は、処理待ちイメージを受信するとともに、特徴マップ抽出モジュールにより、複数の特徴マップを取得する。特徴マップ抽出モジュールは、文字特徴を増強させるマトリクスにより訓練され、主に、イメージ中の英文字、あるいは、数字等の文字を目立たせるのに用いられる。図４Ａ～図４Ｄは、本発明のいくつかの実施形態による特徴マップを生成するのに用いられる複数の訓練済みのマトリクスを示す図である。工程Ｓ２０３において、特徴マップを取得後、処理ユニット１１０は、文字認識モデルにより、特徴マップに基づいて、文字に対応するブロック、および、対応する座標を抽出する。文字認識モジュールは、ニューラルネットワークベースのモジュールであり、主に、各種異なる文字（即ち、Ａ～Ｚ）、数字（即ち、０～９）に対応する複数のイメージを訓練データとして、イメージ中の各文字のブロック、および、その位置を正確に認識する。たとえば、図５Ａに示される複数のブロックは、それぞれ、文字を有するブロックであると判断される。文字認識モジュールは、直接、各文字が対応するブロックを探し出すことができ、あらかじめ、ナンバープレート中の文字に対し分割を実行する必要がない。しかし、図５Ａに示されるように、一部、文字を有さないブロック（たとえば、周辺環境が、文字のイメージ、あるいは、イメージ中のノイズ等に類似する）があると誤判定されるので、処理ユニット１１０は、更に、信頼性が高い領域（たとえば、重畳が多い領域を選択することにより）を、文字を有するブロックとするとともに、同時に、領域の座標を取得して、ナンバープレート上の文字の順序の配置の根拠とする。たとえば、図５Ｂに示されるように、太枠線の領域は、文字を有する最後に抽出された領域であり、上述の方法により、効果的に、誤判断されたブロックをろ過する。

【0013】

続いて、工程Ｓ２０４において、全ての文字、および、文字の対応座標を取得した後、処理ユニット１１０は、各文字、および、座標の順序に基づいて、ナンバープレート認識結果を得る。本発明の一実施形態によると、処理ユニット１１０は、更に、投票／統計モジュールにより、複数のナンバープレートイメージに投票を実行して、ナンバープレート認識結果の精度を向上させる。ナンバープレートの各文字、および、配列順序を取得した後、処理ユニット１１０は、ナンバープレート分類規則により、ナンバープレートを、少なくとも二個のグループに分ける。ナンバープレート分類規則は、ナンバープレート命名分類規則、英文字領域と数字領域分類規則、ダッシュ分類規則、および、文字相対位置分類規則等を有する。ナンバープレートを分類した後、処理ユニット１１０は、続いて、各群の認識結果に対して投票を実行し、各群中に、投票点数がスレショルド値より大きい認識結果が表れたとき、最終ナンバープレート認識結果を生成する。たとえば、図６は、本発明の一実施形態による投票／統計モジュールを示す図である。この実施形態において、処理ユニット１１０は、ダッシュ分類規則を採用して、ナンバープレートは、ダッシュの位置を基準にして、二個の群に分けられる（即ち、ダッシュの左半部分、および、右半部分）。その後、二個の群の認識結果を取得後、各群中の異なる認識結果に対して投票を行い、重複した認識結果が表れた場合、投票点数を累加する。たとえば、図６に示されるように”２８０６”の第一反復が第五組の認識結果中に現れ、”２８０６”の投票点数が２に累加される。”Ｊ３”の第一反復が第四組の認識結果に表れ、”Ｊ３”の得票点数が２に累加され、以下同様である。投票点数のスレショルド値がすでにあらかじめ４に設定されていると仮定すると、ダッシュ右半部分の群は、第六認識結果の”Ｊ３”として判断され、ダッシュ左半部分の群は、第七組認識結果の”２８０６”として判断される。その後、ナンバープレートの第七組の認識結果が完了後、処理ユニット１１０は、”２８０６-Ｊ３”の最終ナンバープレート認識結果を出力することができる。

【0014】

本発明のもう一つの実施形態によると、処理ユニット１１０は、更に、認識結果の時間序列に基づいて、認識結果に異なる重み付けを割り当てる。たとえば、新しい認識結果は大きい重み付けを割り当て、古い認識結果は小さい重み付けを割り当て、これにより、最終ナンバープレート認識結果の収束速度を加速させる。

【0015】

このほか、本発明のもう一つの実施形態によると、処理ユニット１１０のナンバープレート情報に対する処理速度を加速するため、ナンバープレートイメージを有する現在のイメージを取得後、処理ユニット１１０は、更に、車輛フロントイメージ捕捉モジュール、あるいは、車輛バックイメージ捕捉モジュールにより、現在のイメージから、フロントイメージ、あるいは、バックイメージを取得して、処理したいイメージ面積を縮小する。車輛フロントイメージ捕捉モジュール、あるいは、車輛バックイメージ捕捉モジュールは、複数のイメージ特徴（たとえば、Haar Feature、HOG、LBP等）と分類器（Cascade Classifier、Ada boost、あるいは、SVM）により、各種車輛フロントイメージ、あるいは、車輛バックイメージを訓練して、現在のイメージ中から、フロントイメージ、あるいは、バックイメージを取得する。たとえば、図７Ａは、現在のイメージを示す図であり、図７Ｂは、車輛フロントイメージ捕捉モジュールにより取得したフロントイメージを示す図である。

【0016】

本発明のもう一つの実施形態によると、車輛のフロントイメージ、あるいは、バックイメージを取得後、さらに、処理ユニット１１０が処理したいイメージ領域の大きさを縮小するため、処理ユニット１１０は、ナンバープレート文字領域検査モデルにより、フロントイメージ、あるいは、バックイメージ中から、ナンバープレート付近の領域を取得する。ナンバープレート文字領域検査モデルは、また、複数のイメージ特徴（たとえば、Haar Feature、HOG、LBP等）と分類器（Cascade Classifier、Ada boost、あるいは、SVM）により、各文字イメージを訓練し、フロントイメージ、あるいは、バックイメージ中から、各文字を探し出す。たとえば、図８に示されるように、処理ユニット１１０は、ナンバープレート文字領域検査モデルにより、車輛のフロントイメージの中から、文字を有する四個の領域８０１～８０４を探し出す。続いて、処理ユニット１１０は、領域８０１～８０４を合併して、別のさらに大きい領域８１０を取得するとともに、ナンバープレートのフォーマットにしたがって、領域８１０を拡張して、ナンバープレート上のすべての文字を含む別の領域を取得する。たとえば、ナンバープレートは６個の文字を有し、ナンバープレート文字領域検査モデルは、フロントイメージの中から、文字を有する四個の領域だけを探し出す。これによって、処理待ちイメージ中に、ナンバープレート中の全ての文字が含まれることを確保するため、処理ユニット１１０は、更に、探し出された文字数に基づいて、外向けの拡張の倍率を決定する。たとえば、図８に示されるように、処理ユニット１１０はすでに、四個の文字を探し出したので、処理ユニット１１０は、領域８１０の四辺から外に向かって二倍に拡張される（領域８２０に示される）。これにより、全ての文字がみな、処理待ちイメージ中に含まれることを確保する。つまり、処理ユニット１１０が、文字を有する一領域だけを探し出した場合、処理ユニット１１０は、適当に、拡張の倍率を増加させて（たとえば、左側、右側に十倍拡張する）、全ての文字がみな、処理待ちイメージ中に含まれることを確保する。拡張の倍率は、ユーザーの必要性に応じて調整することができる。前述の実施形態は単なる例であり、これに制限されない。車輛のフロントイメージ、あるいは、バックイメージと比較して、ナンバープレート文字領域検査モデルにより得られた処理待ちイメージは、更に正確に、イメージの面積を縮小させて、さらに、計算の速度を加速する。注意すべきことは、ナンバープレート文字領域検査モデルの主要な功能は、文字を有する領域を探し出すことだけに用いられ、文字を精確に認識することに用いられるのではないので、文字認識モデルと比較して、ナンバープレート文字領域検査モデルは、弱分類器に属する。即ち、その検査精度は低いが、計算速度は速い。このほか、ナンバープレート文字領域検査モデルと車輛フロントイメージ捕捉モジュール、あるいは、車輛バックイメージ捕捉モジュールは、異なるイメージ特徴、および、分類器を使用する。

【0017】

工程Ｓ２０５において、文字認識モデルの精度をさらに向上させるため、処理ユニット１１０は、更に、イメージ、および、対応する認識結果を訓練データとして、文字認識モデルを更新する。認識結果は、正確なナンバープレート認識結果、および、正確でないナンバープレート認識結果を有し、これにより、文字認識モジュールの認識誤差を減少させると共に、間接的に、ナンバープレート認識システムの処理速度を加速させる。

【0018】

図９は、本発明のもう一つの実施形態によるナンバープレート認識方法のフローチャートである。工程Ｓ９０１において、イメージ捕捉ユニット１３０は、少なくとも一つの処理待ちイメージを取得する。工程Ｓ９０２において、処理ユニット１１０は、イメージ捕捉ユニット１３０から、取得した処理待ちイメージを受信するとともに、特徴マップ抽出モジュールにより、複数の特徴マップを取得する。特徴マップ中に含まれる情報は、異なる空間周波数（たとえば、低周波数から高周波数）に対応する複数の標的特徴を有し、標的特徴は、ナンバープレート上の文字特徴、ナンバープレート外型特徴、背景特徴、車輛情報特徴（たとえば、ミラー、車種、車輪等、車輛を表す特徴）を含む。このほか、特徴マップ抽出モジュールは、前述の標的特徴を有するマトリクスにより訓練される。工程Ｓ９０３において、複数の特徴マップを取得後、処理ユニット１１０は、特徴マップに基づいて、標的位置抽出モジュールにより、前述の標的特徴を有する領域を探しだす。

【0019】

本発明の一実施形態によると、処理ユニット１１０は、クラスタ化、あるいは、カスタムサイズにより、特徴マップ上の所定数の画素毎に、一フレームを抽出するとともに、特徴マップ抽出モジュールに基づいて、各フレーム中に含まれる特徴を判断するとともに、各フレームに、一標的特徴に対応する点数を与える。あるいは、本発明のもう一つの実施形態によると、処理ユニット１１０は、まず、簡易分類器により、特徴マップの目標感度点数図を取得する。即ち、特徴マップ上で、標的特徴を有する複数の標的特徴点、あるいは、標的特徴領域を探し出し、続いて、異なる大きさのフレームを利用して、標的特徴点付近に位置する複数の領域を選ぶとともに、それらの領域に、標的特徴に対応する点数を与える。

【0020】

続いて、処理ユニット１１０が、各フレームの標的特徴に対応する全ての点数を取得した後、工程Ｓ９０４に進み、処理ユニット１１０は、標的候補分類モジュールにより、非最大抑制(ＮＭＳ)方式によって、最高点数を有し、且つ、所定値より大きい標的特徴だけを保留する。たとえば、ある一フレームが、背景特徴に対応する点数が最大であり、且つ、所定値より大きい場合、処理ユニット１１０は、フレームを、背景特徴に対応するフレームに分類する。このほか、ある特定フレームにおいて、標的特徴に対応する点数がどれも、所定値より大きくないとき、フレームは、非標的特徴に対応するよう分類される。このほか、処理ユニット１１０は、更に、標的候補分類モジュールにより、同じ標的特徴を有し、且つ、互いに隣り合う複数のフレームを、大きな領域に集結して、後続の認識工程を有利にする。続いて、処理ユニット１１０は、文字特徴に対応する領域だけを保留して、工程Ｓ９０５に進む。工程Ｓ９０５において、処理ユニット１１０は、文字、および、座標の順序（たとえば、左から右、上から下）に基づいて、ナンバープレート認識結果を取得する。前述のように、処理ユニット１１０は、投票／統計モジュールにより、複数のナンバープレートイメージに投票を行って、ナンバープレート認識結果の精度を向上させる。工程Ｓ９０５のナンバープレート認識方式は、工程Ｓ２０４のナンバープレート認識方法と類似するので、ここでは詳述しない。

【0021】

最後に、工程Ｓ９０６において、処理ユニット１１０は、更に、各処理待ちイメージ、および、対応する認識結果を、訓練データとして、文字認識モデルを更新する。認識結果は、正確なナンバープレート認識結果、および、正確でないナンバープレート認識結果を有し、これにより、文字認識モジュールの認識誤差を減少させる。

【0022】

総合すると、本発明のいくつかの実施形態によるナンバープレート認識方法、および、ナンバープレート認識システムは、ナンバープレートイメージ捕捉工程、および、ナンバープレート文字認識工程により、視角が悪い、あるいは、変化が複雑な環境下でも、迅速な認識速度、および、高い精度を維持することができ、且つ、継続的に認識結果を訓練データとすることにより、さらに、ナンバープレート認識の誤差を減少させるとともに、間接的に、ナンバープレート認識システムの計算速度を加速させる。

【0023】

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

【符号の説明】

【0024】

１００ ナンバープレート認識システム
１１０ 処理ユニット
１２０ ストレージユニット
１３０ イメージ捕捉ユニット
１４０ ディスプレイユニット
８０１～８０４ 文字に対応するブロック
８１０ 文字ブロックの合併
８２０ 拡張されたナンバープレートイメージ

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図4C】

【図4D】

【図5A】

【図5B】

【図6】

【図7A】

【図7B】

【図8】

【図9】