特許 7277879 ナンバプレート認識プログラム及びナンバプレート認識装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-11

(45)【発行日】2023-05-19

(54)【発明の名称】ナンバプレート認識プログラム及びナンバプレート認識装置

(51)【国際特許分類】

   G06T 7/11 20170101AFI20230512BHJP

   G08G 1/04 20060101ALI20230512BHJP

   G06T 7/00 20170101ALI20230512BHJP

【ＦＩ】

G06T7/11

G08G1/04 C

G06T7/00 650B

【請求項の数】 7

(21)【出願番号】P 2020161772

(22)【出願日】2020-09-28

(65)【公開番号】P2022054632

(43)【公開日】2022-04-07

【審査請求日】2022-01-21

(73)【特許権者】

【識別番号】304021417

【氏名又は名称】国立大学法人東京工業大学

(73)【特許権者】

【識別番号】520375136

【氏名又は名称】株式会社Ｔｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ

(73)【特許権者】

【識別番号】515212747

【氏名又は名称】株式会社ＧＯＵＲＩＫＩコーポレーション

(74)【代理人】

【識別番号】100100011

【弁理士】

【氏名又は名称】五十嵐 省三

(72)【発明者】

【氏名】朱 疆

(72)【発明者】

【氏名】張 遠瑞

(72)【発明者】

【氏名】山▲崎▼ 智博

【審査官】佐藤 実

(56)【参考文献】

【文献】特開２００９－０８７０８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

車両の前方又は後方の画像データを取得する画像データ取得手順と、
前記画像データを黒白２値化データに変換する黒白２値化データ変換手順と、
前記黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手順と、
前記複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手順と、
複数の前記数字領域及び前記点領域から前記車両の車両番号を抽出する車両番号抽出手順と
を具備し、
前記数字・点領域抽出手順は、
前記各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手順と、
前記ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、前記ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は該第１の閾値より小さい第２の閾値以下のときに前記各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手順と
を具備し、
前記車両番号抽出処理手順は、
前記数字・点領域のすべての平均高さを演算する平均値演算手順と、
前記数字・点領域の１つを第１の領域として選択する第１の選択手順と、
前記第１の領域の右側の前記平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手順と、
前記第１、第２の領域の間にある前記数字・点領域を第３の領域として選択する第３の選択手順と、
前記第３の領域が所定数のときに前記第１、第２、第３の領域を車両番号候補とする車両番号候補選択手順と、
前記車両番号候補が１つである場合には、当該車両番号候補を前記車両の車両番号として選択し、前記車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい前記車両番号候補を前記車両の車両番号として選択する車両番号選択手順と
を具備するナンバプレート認識プログラム。

【請求項2】

前記所定条件は、
前記車両番号候補が同一の背景色を有するか、
前記車両番号候補の１個の点領域が３個の数字領域の左側に存在するか、
前記車両番号候補の２個の点領域が２個の数字領域の左側に存在するか、
前記車両番号候補の３個の点領域が１個の数字領域の左側に存在するか、又は
前記車両番号候補の数字・点領域間の高さのばらつきが一番小さいか
である請求項１に記載のナンバプレート認識プログラム。

【請求項3】

さらに、
前記車両番号の所定周辺の前記長方形輪郭領域から前記車両番号の他のナンバプレート情報を抽出して前記車両番号を修飾するナンバプレート完成手順を具備する請求項１に記載のナンバプレート認識プログラム。

【請求項4】

前記黒白２値化データ変換手順は、
前記画像データに対してノイズを除去するためのガウシアンぼかし処理を行うガウシアンぼかし処理手順と、
前記ガウシアンぼかし処理後に最適２値化処理を行う最適２値化処理手順と
を具備する請求項１に記載のナンバプレート認識プログラム。

【請求項5】

前記長方形輪郭領域抽出手順は、
前記画像データの連結された白輪郭又は黒輪郭を長方形又は矩形で囲んで複数の長方形輪郭領域として抽出する手順を具備する請求項１に記載のナンバプレート認識プログラム。

【請求項6】

車両の前方又は後方の画像データを取得する画像データ取得手段と、
前記画像データを黒白２値化データに変換する黒白２値化データ変換手段と、
前記黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手段と、
前記複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手段と、
複数の前記数字領域及び前記点領域から前記車両の車両番号を抽出する車両番号抽出手段と
を具備し、
前記数字・点領域抽出手段は、
前記各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手段と、
前記ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、前記ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は該第１の閾値より小さい第２の閾値以下のときに前記各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手段と
を具備し、
前記車両番号抽出処理手段は、
前記数字・点領域のすべての平均高さを演算する平均値演算手段と、
前記数字・点領域の１つを第１の領域として選択する第１の選択手段と、
前記第１の領域の右側の前記平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手段と、
前記第１、第２の領域の間にある前記数字・点領域を第３の領域として選択する第３の選択手段と、
前記第３の領域が所定数のときに前記第１、第２、第３の領域を車両番号候補とする車両番号候補選択手段と、
前記車両番号候補が１つである場合には、当該車両番号候補を前記車両の車両番号として選択し、前記車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい前記車両番号候補を前記車両の車両番号として選択する車両番号選択手段と
を具備するナンバプレート認識装置。

【請求項7】

さらに、
前記車両番号の所定周辺の前記長方形輪郭領域から前記車両番号の他のナンバプレート情報を抽出して前記車両番号を修飾するナンバプレート完成手段を具備する請求項６に記載のナンバプレート認識装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はナンバプレート認識プログラム及びナンバプレート認識装置に関する。

【背景技術】

【0002】

駐車場、路上等において、停車中又は走行中の車両のナンバプレートを認識する必要性がある場合がある。

【0003】

従来のナンバプレート認識方法は、カメラで撮影された車両画像からナンバプレート画像を切り出した後に、ナンバプレートの情報を認識する（参照：特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１７６２４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上述の従来のナンバプレート認識方法においては、ナンバプレート画像は、車両の環境、車両の色、ナンバプレートの色に大きく依存し、ナンバプレート画像の切り出しが困難であるという課題がある。

【課題を解決するための手段】

【0006】

上述の課題を解決するために、本発明に係るナンバプレート認識プログラムは、車両の前方又は後方の画像データを取得する画像データ取得手順と、画像データを黒白２値化データに変換する黒白２値化データ変換手順と、黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手順と、複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手順と、数字領域及び点領域から車両の車両番号を抽出する車両番号抽出手順とを具備し、数字・点領域抽出手順は、各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手順と、ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は第１の閾値より小さい第２の閾値以下のときに各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手順とを具備し、車両番号抽出処理手順は、数字・点領域のすべての平均高さを演算する平均値演算手順と、数字・点領域の１つを第１の領域として選択する第１の選択手順と、第１の領域の右側の平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手順と、第１、第２の領域の間にある数字・点領域を第３の領域として選択する第３の選択手順と、第３の領域が所定数のときに第１、第２、第３の領域を車両番号候補とする車両番号候補選択手順と、車両番号候補が１つである場合には、車両番号候補を車両の車両番号として選択し、車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい車両番号候補を車両の車両番号として選択する車両番号選択手順とを具備するものである。

【0007】

また、本発明に係るナンバプレート認識装置は、車両の前方又は後方の画像データを取得する画像データ取得手段と、画像データを黒白２値化データに変換する黒白２値化データ変換手段と、黒白２値化データの連結された黒データ又は白データの連結輪郭を複数の長方形輪郭領域として抽出する長方形輪郭領域抽出手段と、複数の長方形輪郭領域から複数の数字領域及び点領域を判別して抽出する数字・点領域抽出手段と、数字領域及び点領域から車両の車両番号を抽出する車両番号抽出手段とを具備し、数字・点領域抽出手段は、各長方形輪郭領域内画像をブーリアン型画像に変換するブーリアン型画像変換手段と、ブーリアン型画像とブーリアン型数字テンプレートとをピクセル対応のブーリアン演算で比較し、ブーリアン型画像とブーリアン型数字テンプレートとの類似度が第１の閾値以上又は第１の閾値より小さい第２の閾値以下のときに各長方形輪郭領域が数字・点領域であると判別して抽出する数字・点判別抽出手段とを具備し、車両番号抽出処理手段は、数字・点領域のすべての平均高さを演算する平均値演算手段と、数字・点領域の１つを第１の領域として選択する第１の選択手段と、第１の領域の右側の平均高さの所定倍の範囲内の前記数字・点領域を第２の領域として選択する第２の選択手段と、第１、第２の領域の間にある数字・点領域を第３の領域として選択する第３の選択手段と、第３の領域が所定数のときに第１、第２、第３の領域を車両番号候補とする車両番号候補選択手段と、車両番号候補が１つである場合には、車両番号候補を車両の車両番号として選択し、車両番号候補が複数ある場合には、所定条件を満足している可能性が一番大きい車両番号候補を車両の車両番号として選択する車両番号選択手段とを具備するものである。

【発明の効果】

【0008】

本発明によれば、連結輪郭を長方形輪郭領域として抽出し、長方形輪郭領域から数字・点領域を抽出し、数字・点領域からナンバプレートの車両番号を抽出するので、ナンバプレートの切り出しを容易にできる。

【図面の簡単な説明】

【0009】

【図1】本発明に係るナンバプレート認識装置の実施の形態を含むシステムを示すブロック図である。

【図2】ナンバプレート認識装置の詳細なブロック回路図である。

【図3】図２の中央処理ユニットの動作を説明するためのフローチャートである。

【図4】図３のステップ３０１～３０３を説明するための図である。

【図5】図３のステップ３０４～３０６を説明するための図である。

【図6】図３の数字・点領域抽出処理ステップの数字・点領域の抽出に用いられるテンプレート及び長方形輪郭領域の例を示す図である。

【図7】図３の数字・点領域抽出処理ステップの数字・点領域の抽出方法の一例を説明するための図である。

【図8】図３の数字・点領域抽出処理ステップの数字・点領域の抽出方法の他の例を説明するための図である。

【図9】図３の車両番号抽出処理ステップの詳細なフローチャートである。

【図10】図９の車両番号候補抽出を説明するための図である。

【図11】図３のナンバプレート完成処理ステップを説明するための図である。

【図12】図２のナンバプレート認識装置の他の例を示すブロック図である。

【発明を実施するための形態】

【0010】

図１は本発明に係るナンバプレート認識装置の実施の形態を含むシステムを示すブロック図である。

【0011】

図１において、ナンバプレート認識装置１にはたとえば駐車場又は路上に設けられたカメラ（たとえば単眼カメラ）２が接続される。カメラ２は停車中又は走行中の車両のナンバプレートを含む前方又は後方を撮影する。また、ナンバプレート認識装置１は必要に応じてインタネット３を介して情報端末４等に接続される。操作者は情報端末４等を介して又は直接的にナンバプレート認識装置１を操作できる。

【0012】

尚、一般に、ナンバプレートは、次の４つの部分よりなる。
４桁の数字・点よりなる車両番号（但し、点がある場合、点は必ず数字の前に存在する）、
車両番号の左上方に設けられた品川、足立等の地名、
車両番号の右上方に設けられた３桁又は２桁の分類番号、
車両番号の左側に設けられた平仮名等（英字の場合もある）。

【0013】

図２は図１のナンバプレート認識装置１の詳細なブロック回路図である。

【0014】

図２において、ナンバプレート認識装置１は、中央処理ユニット（ＣＰＵ）１０１、プログラム等を格納するリードオンリメモリ（ＲＯＭ）（又はフラッシュメモリ）１０２、一時的データ等を格納するランダムアクセスメモリ（ＲＡＭ）１０３、カメラ２に接続された画像インタフェイス１０４、インタネット３に接続された通信インタフェイス１０５等によって構成される。

【0015】

図３は図２のＣＰＵ１０１の動作を説明するためのフローチャートであって、リードオンリメモリ（又はフラッシュメモリ）１０２に格納されている。

【0016】

始めに、画像データ取得処理ステップ３０１にて、カメラ２より図４の（Ａ）に示す車両のナンバプレートを含むたとえば前方の画像データを取得する。この場合、カメラ２の画像データがＲＧＢカラーデータであれば、グレースケール化する。

【0017】

次に、黒白２値化データ変換処理ステップ３０２にて、ステップ３０１にて取得した画像データを図４の（Ｂ）に示す黒白２値化データに変換する。この黒白２値化データ変換処理ステップ３０２の詳細については後述する。

【0018】

次に、長方形輪郭領域抽出処理ステップ３０３にて、黒白２値化データの輪郭たとえば連結された黒データ又は白データの輪郭を、図４の（Ｃ）に示すごとく、長方形輪郭領域として抽出する。長方形輪郭領域抽出処理ステップ３０３の詳細については後述する。

【0019】

次に、数字・点領域抽出処理ステップ３０４にて、４つの長方形輪郭領域から４桁の車両番号の数字又は点を表す図５の（Ａ）に示す数字・点領域を抽出する。数字・点領域抽出処理ステップ３０４の詳細については後述する。

【0020】

次に、車両番号抽出処理ステップ３０５にて、数字・点領域から４桁の図５の（Ｂ）に示す車両番号を抽出する。車両番号抽出処理ステップ３０５の詳細については後述する。

【0021】

最後に、ナンバプレート完成処理ステップ３０６にて、車両番号以外の図５の（Ｃ）に示す地名たとえば「足立」、分類番号たとえば「３３０」及び平仮名「た」を抽出して車両番号を修飾してナンバプレートの抽出を完了する。ナンバプレート完成処理ステップ３０６の詳細については後述する。そして、ステップ３０７にて図３のルーチンは終了する。

【0022】

次に、図３の黒白２値化データ変換処理ステップ３０２の詳細を説明する。始めに、画像データからノイズを除去するためにガウシアンぼかし処理を行う。ガウシアンぼかし処理とは中心から離れる程、値が小さくなる２次元ガウス関数を用いて畳み込み和を演算するものである。次いで、適切な濃淡データを確立するために最適２値化処理を行う。最適２値化処理とは、閾値を固定せずに、注目画素と該注目画素の周囲にあるたとえば８個の画素との合計９個の画素の平均値を閾値とし、注目画素とこの閾値とを比較することにより注目画素を黒白２値化データに変換する。

【0023】

次に、図３の長方形輪郭領域抽出処理ステップ３０３の詳細について説明する。始めに、黒の輪郭を検出する。次いで、連結された黒輪郭を長方形又は矩形で囲んで長方形輪郭領域として抽出する。尚、連結された黒輪郭部の代わりに、連結された白輪郭を用いることもできる。

【0024】

次に、数字・点領域抽出処理ステップ３０４の数字・点領域の抽出について説明する。この場合の数字・点領域の数字及び点は車両番号の数字であり、図６の（Ａ）に示す１１個の辞書数字（テンプレート）を予めリードオンメモリ（又はフラッシュメモリ）１０２に格納しておく。図６の（Ａ）に示す１１個の各テンプレートとステップ３０３にて抽出されたたとえば図６の（Ｂ）に示す長方形輪郭領域の画像の２値化データとをブーリアン演算を用いて比較する。図７を参照してブーリアン演算の一例を説明すると、（Ａ）に示すテンプレートをたとえば「８」の黒ピクセルをＴ（ｔｒｕｅ）、白ピクセルをＦ（ｆａｌｓｅ）として（Ｂ）に示す８×８ピクセル（実際は２８×２８ピクセル）ブーリアン型テンプレートに変換して保存しておく。他方、抽出した長方形輪郭領域の黒ピクセルＴ、白ピクセルＦとして（Ｃ）に示す８×８ピクセルブーリアン型画像に変換する。ここで、重要なことは（Ｂ）に示すブーリアン型テンプレートのピクセル形式と（Ｃ）に示すブーリアン型画像のピクセル形式とが同一つまり、この場合、８×８ピクセルであることである。この結果、（Ｂ）に示す８×８ピクセルブーリアン型テンプレートと（Ｃ）に示す８×８ピクセルブーリアン型画像とを対応ピクセル毎の排他的論理和を用いて比較すると、（Ｄ）に示す８×８ピクセルの比較結果を得る。この場合、類似度は５９／６４＝９２％となる。同様に、図８を参照してブーリアン演算の他の例を説明すると、この場合、類似度は５／６４＝８％となる。一般に、背景が白、数字が黒のナンバプレートの場合には、図７に示すごとく、類似度が大きい程、ブーリアン型画像はブーリアン型テンプレートと類似しているが、逆に、背景が黒、数字が白のナンバプレートの場合には、図８に示すごとく、類似度が小さい程、ブーリアン型画像はブーリアン型テンプレートと類似していることになる。従って、両者に適合するように、類似度が大きい閾値たとえば９２％以上か小さい閾値８％以下のときに、抽出された長方形輪郭領域の画像がテンプレートの数字に類似していると判別すればよい。

【0025】

次に、図３の車両番号抽出処理ステップ３０５の詳細について図９を参照して説明する。

【0026】

始めに、ステップ９０１にて、図３のステップ３０４にて既に抽出された数字・点領域のすべての高さｈの平均値を演算する。

【0027】

次に、ステップ９０２にて、数字・点領域の１つを第１の領域Ａ（参照：図１０）として選択する。

【0028】

次に、ステップ９０３にて、第１の領域Ａの右側の所定距離範囲たとえば２ｈ～６ｈの範囲の数字・点領域を第２の領域Ｂ（参照：図１０）として選択する。

【0029】

次に、ステップ９０４にて、第１、第２の領域Ａ、Ｂ間にある数字・点領域を第３の領域Ｃ１、Ｃ２、…（参照：図１０）として選択する。

【0030】

次に、ステップ９０５にて、第３の領域Ｃ１、Ｃ２、…の数が２つか否かを判別し、第３の領域が所定数たとえば２つのみの場合に、ステップ９０６にて、車両番号候補リストｉとして作成する。
ｉ＝（Ａ、Ｃ１、Ｃ２、Ｂ）

【0031】

ステップ９０７はステップ９０２～９０６のフローをすべての数字・点領域に対して繰返す。

【0032】

ステップ９０８では、車両番号候補リストから可能性の一番高い車両番号候補を選択する。たとえば、車両番号候補の４つの領域は同一背景色を有する、１～３個の点領域は３～１個の数字領域の左側に存在する、数字・点領域間の高さのばらつき等を考慮して選択する。

【0033】

そして、ステップ９０９にて図９のルーチンは終了する。

【0034】

最後に、図３のナンバプレート完成処理ステップ３０６について図１１を用いて説明する。図１１の（Ａ）に示すごとく、車両番号の左上に地名「足立」が存在し、車両番号の右上に分類番号「３３０」が存在し、車両番号の左に平仮名「た」が存在するのは既知である。従って、これらの地名、分類番号及び平仮名も２８×２８ピクセルのテンプレートを用いて認識し、図１１の（Ｂ）に示すごとく、地名「足立」の長方形輪郭領域、分類番号「３３０」の長方形輪郭領域及び平仮名「た」の長方形輪郭領域を抽出する。次いで、図１１の（Ｃ）に示すごとく、各長方形輪郭領域内のノイズを除去した後に、図１１の（Ｄ）に示すごとく、各長方形輪郭領域から地名「足立」、分類番号「３３０」及び平仮名「た」を切り出す。そして、図１１の（Ｅ）に示すごとく、切り出した地名「足立」、分類番号「３３０」及び平仮名「た」で車両番号「３５８２」を修飾してナンバプレートの抽出を完了する。

【0035】

図１２は図１のナンバプレート認識装置をハードウェアで構成したものである。

【0036】

図１２において、画像データ取得処理手段１２０１は、カメラ２より図４の（Ａ）に示す車両のナンバプレートを含むたとえば前方の画像データを取得する。黒白２値化データ変換処理手段１２０２は、画像データ取得手段１２０１が取得した画像データを図４の（Ｂ）に示す黒白２値化データに変換する。長方形輪郭領域抽出処理手段１２０３は、黒白２値化データの輪郭たとえば連結された黒データ又は白データの輪郭を、図４の（Ｃ）に示すごとく、長方形輪郭領域として抽出する。数字・点領域抽出処理手段１２０４は、４つの長方形輪郭領域から４桁の車両番号の数字又は点を表す図５の（Ａ）に示す数字・点領域を抽出する。車両番号抽出処理手段１２０５は、数字・点領域から４桁の図５の（Ｂ）に示す車両番号を抽出する。ナンバプレート完成処理手段１２０６は、車両番号以外の図５の（Ｃ）に示す地名たとえば「足立」、分類番号たとえば「３３０」及び平仮名「た」を抽出して車両番号を修飾してナンバプレートの抽出を完了する。

【0037】

尚、本発明は上述の実施の形態の自明の範囲内でいかなる変更にも適用し得る。

【産業上の利用可能性】

【0038】

本発明に係るナンバプレート認識装置は入出庫トラブルを防止する駐車場管理システム、速度違反車を検出する速度違反検出システム等に利用できる。

【符号の説明】

【0039】

１：ナンバプレート認識装置
２：カメラ
３：インタネット
４：情報端末
１０１：ＣＰＵ
１０２：ＲＯＭ
１０３：ＲＡＭ
１０４：画像インタフェイス
１０５：通信インタフェイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】