IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三菱重工メカトロシステムズ株式会社の特許一覧

特開2023-151196画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法
<>
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図1
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図2
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図3
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図4
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図5
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図6
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図7
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図8
  • 特開-画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023151196
(43)【公開日】2023-10-16
(54)【発明の名称】画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法
(51)【国際特許分類】
   G08G 1/04 20060101AFI20231005BHJP
   G06T 7/60 20170101ALI20231005BHJP
【FI】
G08G1/04 D
G06T7/60 150Z
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2022060672
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】309036221
【氏名又は名称】三菱重工機械システム株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】伊吹 友佑
(72)【発明者】
【氏名】尾張 伸行
(72)【発明者】
【氏名】仲井 啓介
(72)【発明者】
【氏名】山本 哲也
【テーマコード(参考)】
5H181
5L096
【Fターム(参考)】
5H181AA01
5H181CC04
5H181DD10
5L096BA04
5L096FA59
5L096FA69
5L096JA11
(57)【要約】
【課題】車両のナンバープレートのプレートサイズを容易かつ精度良く判別する。
【解決手段】画像処理装置は、走行路を走行し、複数種のうちいずれか一種のプレートサイズのナンバープレートが装着された車両を撮影するカメラと、前記カメラで撮影された画像に基づき、前記車両に装着された前記ナンバープレートのプレートサイズを判別する画像処理装置と、を備えるナンバープレートシステムの前記画像処理装置であって、カメラで撮影された画像から、ナンバープレートに記載された文字の大きさ、及び位置の少なくとも一方を認識する文字認識部と、文字認識部で認識された文字の大きさ、及び位置の少なくとも一方に基づき、ナンバープレートのプレートサイズを判別するサイズ判別部と、を含む。
【選択図】図7
【特許請求の範囲】
【請求項1】
走行路を走行し、複数種のうちいずれか一種のプレートサイズのナンバープレートが装着された車両を撮影するカメラと、前記カメラで撮影された画像に基づき、前記車両に装着された前記ナンバープレートのプレートサイズを判別する画像処理装置と、を備えるナンバープレート認識システムの前記画像処理装置であって、
前記カメラで撮影された画像から、前記ナンバープレートに記載された文字の大きさ、及び位置の少なくとも一方を認識する文字認識部と、
前記文字認識部で認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレートのプレートサイズを判別するサイズ判別部と、を含む
画像処理装置。
【請求項2】
プレートサイズが異なる複数種の前記ナンバープレートは、前記ナンバープレート上における記載位置がプレートサイズに応じて異なる第一の文字情報を有し、
前記文字認識部は、前記ナンバープレートに記載された前記第一の文字情報の位置を認識し、
前記サイズ判別部は、認識された前記第一の文字情報の位置に基づき、前記ナンバープレートのプレートサイズを判別する
請求項1に記載の画像処理装置。
【請求項3】
前記第一の文字情報は、前記車両の用途を示す用途コードである
請求項2に記載の画像処理装置。
【請求項4】
プレートサイズが異なる複数種の前記ナンバープレートは、前記ナンバープレート上における文字の大きさが異なる第二の文字情報を有し、
前記文字認識部は、前記ナンバープレートに記載された前記第二の文字情報の大きさと、前記ナンバープレートの特定部位の大きさとを認識し、
前記サイズ判別部は、認識された前記第二の文字情報の大きさと、前記ナンバープレートの特定部位の大きさと、の比に基づき、前記ナンバープレートのプレートサイズを判別する
請求項1から3の何れか一項に記載の画像処理装置。
【請求項5】
プレートサイズが異なる複数種の前記ナンバープレートは、前記特定部位として、前記ナンバープレート上における文字の大きさが、前記第二の文字情報とは異なる第三の文字情報を有し、
前記文字認識部は、前記ナンバープレートに記載された前記第二の文字情報の大きさと、前記第三の文字情報の大きさとの比を認識し、
前記サイズ判別部は、認識された前記第二の文字情報と前記第三の文字情報との比に基づき、前記ナンバープレートのプレートサイズを判別する
請求項4に記載の画像処理装置。
【請求項6】
前記第二の文字情報は、前記車両の一連番号であり、
前記第三の文字情報は、前記車両の分類番号、用途コード、及び、地名を表示する文字の少なくともいずれか一つである
請求項4又は5に記載の画像処理装置。
【請求項7】
請求項1から6のいずれか一項に記載の画像処理装置と、
前記カメラと、
を備えるナンバープレート認識システム。
【請求項8】
前記カメラは、設定された時間間隔毎に前記走行路を撮影する
請求項7に記載のナンバープレート認識システム。
【請求項9】
走行路を走行し、複数種のうちいずれか一種のプレートサイズのナンバープレートが装着された車両を撮影するカメラから、前記カメラで撮影された画像のデータを受信するステップと、
前記カメラで撮影された画像から、前記ナンバープレートに記載された文字の大きさ、及び位置の少なくとも一方を認識するステップと、
認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレートのプレートサイズを判別するステップと、を含む
ナンバープレートの認識方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法に関する。
【背景技術】
【0002】
高速道路や有料道路、駐車場等において、無線通信を用いて料金の収受を自動的に行う料金ゲートを備えた料金収受システムが用いられている。このような料金収受システムは、例えば、普通車、大型車、自動二輪車といった車両の車種区分に基づき、それぞれの車両の車種区分に応じて設定された料金を、自動的に収受する。車両の車種区分を識別するための手法の一つとして、車両に装着されたナンバープレート情報を用いるものがある。
【0003】
特許文献1には、車両を撮影し、車両のナンバープレートを含んだ画像データを取得するナンバープレート認識装置と、車種判別処理部と、を備えた構成が開示されている。この構成において、ナンバープレート認識装置は、車線方向における所定位置に到達した車両の車体を正面側から撮影する。ナンバープレート認識装置は、取得した画像データに対する画像処理を通じて、ナンバープレート情報(ナンバープレートに表記されている分類番号、及び、色)等を取得する。車種判別処理部は、ナンバープレート認識装置が取得したナンバープレート情報に基づいて車両の車種区分を特定する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2021-47795号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、例えば、普通車と、大型車と、自動二輪車といった車種区分に応じて、異なるプレートサイズ(板面のサイズ)のナンバープレートが与えられることが多い。そこで、車両の車種区分をより正しく識別するにあたっては、車軸数やナンバープレートの文字等の情報に加えて、ナンバープレートのプレートサイズの情報を特定することが考えられる。
特許文献1に記載の構成では、ナンバープレート認識装置は、進入側車両検知器から車両の進入を示す検知信号が出力されたタイミングで、車両を正面側から撮影し、車両のナンバープレートを含んだ画像データを取得する。このため、車両の進入を検知したタイミングで料金所に進入してきた車両を撮影すれば、車両を撮影するカメラと車両のナンバープレートとの位置関係は、ほぼ一定に保たれる。したがって、撮影された画像中からナンバープレートのサイズを認識しやすい。
【0006】
これに対し、例えば1秒間に15フレーム(15fps)の撮影を行うカメラを用い、走行中の車両を一定時間間隔毎に撮影し、撮影された画像中から車両のナンバープレートを認識しようとする場合、カメラと車両のナンバープレートとの距離は、カメラで撮影したタイミングによって異なる。このため、画像中の車両のナンバープレートの大きさを判別することは困難である。
【0007】
また、車両の車体の色と、ナンバープレートの色とが類似している場合等、撮影された画像から画像認識処理によってナンバープレートを抽出する際、ナンバープレートの外縁を特定するのが難しいこともある。このような場合、画像認識処理によって抽出されるナンバープレートの領域が、実際のナンバープレートの外縁と一致せず、ナンバープレートの大きさを正確に判別することが困難となることもある。
【0008】
本開示は、上記課題を解決するためになされたものであって、車両のナンバープレートのプレートサイズを容易かつ精度良く判別することができるナンバープレート認識システム、ナンバープレートの認識方法を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、本開示に係る画像処理装置は、走行路を走行し、複数種のうちいずれか一種のプレートサイズのナンバープレートが装着された車両を撮影するカメラと、前記カメラで撮影された画像に基づき、前記車両に装着された前記ナンバープレートのプレートサイズを判別する画像処理装置と、を備えるナンバープレート認識システムの前記画像処理装置であって、前記カメラで撮影された画像から、前記ナンバープレートに記載された文字の大きさ、及び位置の少なくとも一方を認識する文字認識部と、前記文字認識部で認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレートのプレートサイズを判別するサイズ判別部と、を含む。
【0010】
本開示に係るナンバープレートの認識方法は、走行路を走行し、複数種のうちいずれか一種のプレートサイズのナンバープレートが装着された車両を撮影するカメラから、前記カメラで撮影された画像のデータを受信するステップと、前記カメラで撮影された画像から、前記ナンバープレートに記載された文字の大きさ、及び位置の少なくとも一方を認識するステップと、認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレートのプレートサイズを判別するステップと、を含む。
【発明の効果】
【0011】
本開示の画像処理装置、ナンバープレート認識システム、ナンバープレートの認識方法によれば、車両のナンバープレートのプレートサイズを容易かつ精度良く判別することができる。
【図面の簡単な説明】
【0012】
図1】本開示の実施形態に係るナンバープレート認識システムの概略構成を示す図である。
図2図1のナンバープレート認識システムを、走行路の延伸方向から見た図である。
図3】プレートサイズが異なる複数種のナンバープレートの一例として、小板ナンバープレートを示す図である。
図4】プレートサイズが異なる複数種のナンバープレートの一例として、中板ナンバープレートを示す図である。
図5】プレートサイズが異なる複数種のナンバープレートの一例として、大板ナンバープレートを示す図である。
図6】本開示の実施形態に係るナンバープレート認識システムの画像処理装置のハードウェア構成を示す図である。
図7】本開示の実施形態に係る画像処理装置の機能ブロック図である。
図8】本開示の実施形態に係るナンバープレートの認識方法の全体的な流れを示すフローチャートである。
図9図8のナンバープレートのプレートサイズの判別処理の具体的な流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、添付図面を参照して、本開示によるナンバープレート認識システム、ナンバープレートの認識方法を実施するための形態を説明する。しかし、本開示はこの実施形態のみに限定されるものではない。
(ナンバープレート認識システムの概要)
図1図2に示すように、ナンバープレート認識システム10は、例えば、無線通信を用いて有料道路や駐車場等において、自動的に料金の収受を行う料金収受システムの一部を構成する。料金収受システムは、有料道路や駐車場等の走行路Rを走行する車両100から、車両100の車種区分に応じた料金(課金額)の収受を行う。ナンバープレート認識システム10は、料金収受システムで、車種区分に応じた料金の収受を行うため、走行路Rを走行する車両100の車体101に装着されたナンバープレート120を認識する。ナンバープレート認識システム10は、ナンバープレート120を認識することで車両100の車種区分を判別する。料金収受システムは、ナンバープレート認識システム10で判別した車両100の車種区分に基づき、車両100に対する料金の収受を行う。なお、ここでは、料金収受システムにおける車両100に対する料金の収受を行うための構成は、何ら限定するものではなく、その説明を省略する。
【0014】
ナンバープレート認識システム10は、後述するカメラ20により、走行路Rを走行する車両100のナンバープレート120を撮影する。ナンバープレート認識システム10は、カメラ20で撮影された画像に含まれるナンバープレート120のプレートサイズに基づいて、車両100の車種区分を判別する。
【0015】
(ナンバープレートの構成)
本実施形態において、走行路Rを走行する車両100が装着しているナンバープレート120は、日本で用いられている、図3図5に示すように、小型二輪車、自動二輪車等が装着する小板ナンバープレート121、普通車、中型車等が装着する中板ナンバープレート122、及び大型車、特大車等が装着する大板ナンバープレート123の3種を少なくとも含む。
【0016】
図3に示すように、小板ナンバープレート121は、縦寸法M11=125mm、横寸法M12=230mmの横長の長方形状とされている。小板ナンバープレート121には、車両100を識別するための情報として、地名文字T11と、用途コードT12と、一連番号T13とが記載されている。地名文字T11は、漢字またはひらがなで地名を表すものである。用途コードT12は、自家用、レンタカー用、事業用といった車両100の用途を示すものであり、一文字のひらがなまたはアルファベットにより記載されている。一連番号T13は、1~9999までの数字により記載されている。地名文字T11は、小板ナンバープレート121の上部の横方向中央部に配置されている。小板ナンバープレート121においては、後述する中板ナンバープレート122(図4参照)、及び大板ナンバープレート123(図5参照)とは異なり、用途コードT12は、小板ナンバープレート121の右上に配置されている。一連番号T13は、小板ナンバープレート121の下部に配置されている。
【0017】
図4に示すように、中板ナンバープレート122は、縦寸法M21=165mm、横寸法M22=330mmの横長の長方形状とされている。中板ナンバープレート122には、車両100を識別するための情報として、地名文字T21と、用途コードT22と、分類番号T23と、一連番号T24とが記載されている。地名文字T21は、漢字またはひらがなで地名を表すものである。用途コードT22は、自家用、レンタカー用、事業用といった車両100の用途を示すものであり、一文字のひらがなにより記載されている。分類番号T23は、車両の種別や用途に応じて付される番号(文字列)であり、3桁の数字(または、数字と英字との組み合わせ)で表される。一連番号T24は、用途コードT22や分類番号T23と合わせて車両を特定するための番号であって、4桁の数字で表される。地名文字T21、及び分類番号T23は、中板ナンバープレート122の上部の横方向中央部に並べて配置されている。一連番号T24は、中板ナンバープレート122の下部に配置されている。用途コードT22は、中板ナンバープレート122においては、小板ナンバープレート121と異なり、中板ナンバープレート122の下部において、一連番号T24の左側に配置されている。
また、中板ナンバープレート122では、地名文字T21、及び分類番号T23の高さH21が40mmとされ、一連番号T24の高さH22が80mmとされている。
【0018】
図5に示すように、大板ナンバープレート123は、縦寸法M31=220mm、横寸法M32=440mmの横長の長方形状とされている。大板ナンバープレート123には、車両100を識別するための情報として、中板ナンバープレート122と同様の内容の、地名文字T31と、用途コードT32と、分類番号T33と、一連番号T34とが記載されている。地名文字T31、及び分類番号T33は、大板ナンバープレート123の上部の横方向中央部に並べて配置されている。一連番号T34は、大板ナンバープレート123の下部に配置されている。用途コードT32は、大板ナンバープレート123においては、小板ナンバープレート121と異なり、大板ナンバープレート123の下部において、一連番号T34の左側に配置されている。
また、大板ナンバープレート123では、地名文字T31、及び分類番号T33の高さH31が40mmとされ、一連番号T34の高さH32が120mmとされている。
【0019】
(ナンバープレート認識システムの概要)
図1図2に示すように、ナンバープレート認識システム10は、カメラ20と、画像処理装置60と、を備えている。カメラ20、及び画像処理装置60は、たとえば、走行路Rを跨ぐように配置されたガントリー11上に配置されている。ガントリー11は、走行路Rが延伸する方向から見ると門型をなし、走行路Rの幅方向両側に配置された一対の支柱12と、一対の支柱12上に架設された横架材13と、を有している。ガントリー11は、並設された複数本の走行路Rを跨ぐように設置されていてもよい。
【0020】
カメラ20、及び画像処理装置60は、横架材13上に配置されている。なお、カメラ20、及び画像処理装置60は、ガントリー11以外の支持構造体によって支持されるようにしてもよい。また、画像処理装置60は、カメラ20とは異なる位置に配置されていてもよい。また、画像処理装置60およびカメラ20は、一つの筐体で一体に構成されていてもよい。
【0021】
カメラ20は、走行路Rに向けて設置されている。カメラ20は、定められた時間間隔毎に走行路Rを撮影する。本実施形態において、カメラ20は、例えば、1秒間に15回(15fps)の撮影を行う。カメラ20の撮影範囲内に、走行路Rを走行する車両100が存在する場合、カメラ20は、走行路Rを走行する車両100を撮影する。カメラ20は、プレートサイズが異なる複数種のナンバープレート120(小板ナンバープレート121、中板ナンバープレート122、大板ナンバープレート123)のうち、いずれか一種のプレートサイズのナンバープレート120が装着された車両100を撮影する。本実施形態では、小板ナンバープレート121を装着した小型二輪車、自動二輪車等の車両100を撮影対象としている。小型二輪車、自動二輪車等の車両100は、小板ナンバープレート121を、車両100の走行方向後方にのみ備えている。このため、本実施形態において、カメラ20は、走行路Rを走行する車両100を、車両100の進行方向の後方から撮影するものとする。ただし、カメラ20は、後方から撮影するものに加えて、車両100の進行方向の前方から撮影するものを備えていてもよい。カメラ20は、ガントリー11上に、複数台が設置されていても良い。各カメラ20は、定められた時間間隔毎に撮影した画像のデータを、車両100が映っているか否かに関わらず、全て、画像処理装置60に転送する。カメラ20は、画像のデータを、通信ケーブル(図示せず)や、各種方式の無線通信により、画像処理装置60に転送する。
一方、他の実施形態においては、カメラ20は、車両100の進行方向の前方から撮影するものだけであってもよい。この場合、当該カメラ20には小板ナンバープレートは撮影されないので、画像処理装置60は、専ら、中板ナンバープレートまたは大板ナンバープレートが撮影された画像のみを受信することとなる。
【0022】
画像処理装置60は、カメラ20で撮影された画像に基づき、車両100に装着されたナンバープレート120のプレートサイズを判別する。
【0023】
(ハードウェア構成図)
図6に示すように、画像処理装置60は、CPU61(Central Processing Unit)、ROM62(Read Only Memory)、RAM63(Random Access Memory)、HDD(Hard Disk Drive)或いはSSD(Solid State Drive)などであるストレージ64、信号送受信モジュール65を備えるコンピュータである。信号送受信モジュール65は、各カメラ20からの画像のデータを受信する。
【0024】
(機能ブロック図)
図7に示すように、画像処理装置60のCPU61は予め自装置で記憶するプログラムを実行することにより、画像データ入力部70、領域抽出部71、文字認識部72、サイズ判別部73、結果出力部75の各構成を備える。
画像データ入力部70は、ハードウェア的には信号送受信モジュール65であり、各カメラ20からの撮影画像のデータを受信する。
領域抽出部71は、画像データ入力部70で受信された、カメラ20で撮影された画像から、適宜の画像処理手法により、車両100に装着されたナンバープレート120が含まれる領域を抽出する。領域抽出部71は、画像中における、ナンバープレート120が含まれる領域の位置座標を特定する。
【0025】
文字認識部72は、領域抽出部71で抽出された領域に含まれるナンバープレート120に記載された文字の大きさ、及び位置を、画像処理手段により認識する。文字認識部72は、プレートサイズが異なる複数種のナンバープレート120において、ナンバープレート120上における記載位置がプレートサイズに応じて異なる第一の文字情報TAの位置を認識する。前記したように、小板ナンバープレート121では、用途コードT12は、小板ナンバープレート121の右上に配置されている。これに対し、中板ナンバープレート122、及び大板ナンバープレート123では、用途コードT22、T32は、下部において、一連番号T34の左側に配置されている。文字認識部72は、用途コードT12、T22、T32の位置を第一の文字情報TAとして認識する。
【0026】
また、文字認識部72は、プレートサイズが異なる複数種のナンバープレート120において、ナンバープレート120上における文字の大きさが異なる第二の文字情報TB、第三の文字情報TCを認識する。前記したように、中板ナンバープレート122では、地名文字T21、及び分類番号T23の高さH21が40mm、一連番号T24の高さH22が80mmとされている。つまり、地名文字T21、及び分類番号T23の高さH21と、一連番号T24の高さH22との比が1:2となっている。一方、大板ナンバープレート123では、地名文字T31、及び分類番号T33の高さH31が40mm、一連番号T34の高さH32が120mmとされている。つまり、地名文字T31、及び分類番号T33の高さH31と、一連番号T34の高さH32との比は、1:3となっている。文字認識部72は、一連番号T24、T34の高さH22、H32を、第二の文字情報TBとして認識する。また、文字認識部72は、地名文字T21、T31、及び分類番号T23、T33の高さH21、H31を、第三の文字情報TCとして認識する。
【0027】
サイズ判別部73は、文字認識部72で認識された文字の大きさ、及び位置の少なくとも一方に基づき、ナンバープレート120のプレートサイズを判別する。本実施形態では、サイズ判別部73は、文字認識部72で認識された第一の文字情報TAとしての用途コードT12、T22、T32の位置に基づき、ナンバープレート120のプレートサイズを判別する。すなわち、用途コードを示す第一の文字情報TAが、ナンバープレート120が含まれる領域において、ナンバープレート120の右上(右側)に位置していれば、そのナンバープレート120は、小板ナンバープレート121であると判別する。また、用途コードを示す第一の文字情報TAが、ナンバープレート120が含まれる領域において、ナンバープレート120の右上(右側)に位置していなければ、そのナンバープレート120は、中板ナンバープレート122又は大板ナンバープレート123のいずれかであると判別する。
【0028】
サイズ判別部73は、ナンバープレート120は、中板ナンバープレート122又は大板ナンバープレート123のいずれかであると判別された場合に、文字認識部72で認識された第二の文字情報TBの大きさの、ナンバープレート120の特定部位の大きさとの比に基づき、ナンバープレート120のプレートサイズを判別する。本実施形態では、特定部位として、ナンバープレート120上における文字の大きさが、第二の文字情報TBとは異なる第三の文字情報TC(地名文字T21、T31、及び分類番号T23、T33)を用いる。前記したように、中板ナンバープレート122では、地名文字T21、及び分類番号T23の高さH21と、一連番号T24の高さH22との比が1:2となっている。一方、大板ナンバープレート123では、地名文字T31、及び分類番号T33の高さH31と、一連番号T34の高さH32との比は、1:3となっている。サイズ判別部73では、第二の文字情報TBと第三の文字情報TCとの高さの比に基づき、ナンバープレート120のプレートサイズを判別する。
【0029】
結果出力部75は、サイズ判別部73におけるナンバープレート120のプレートサイズについての判別結果を、外部に出力し、カメラ20で撮影した画像のデータとともに、外部に設けられた外部データベース80(図7参照)に記憶させる。結果出力部75は、ナンバープレート120のプレートサイズについての判別結果を、料金収受システム(図示無し)の上位サーバーに出力する。料金収受システム(図示無し)の上位サーバーでは、結果出力部75から出力されたナンバープレート120のプレートサイズについての判別結果に基づき、車両100に対する車種区分に応じた料金の収受処理等を実行する。
【0030】
(ナンバープレートの認識方法の処理の手順)
図8に示すように、本開示の実施形態に係るナンバープレート120の認識方法S10は、上記ナンバープレート認識システム10において、カメラ20で撮影された画像に基づき、画像処理装置60が、予め設定されたプログラムに基づいた処理を自動的に実行することによって実現される。
ナンバープレート認識システム10では、カメラ20が、定められた時間間隔毎に走行路Rを撮影する。カメラ20は、画像を撮影する毎に、撮影した画像のデータを、画像処理装置60に転送する。画像処理装置60では、カメラ20から転送された画像のデータを受信する毎に、以下に示す処理を実行する。
画像処理装置60では、画像データ入力部70が、カメラ20からの撮影画像のデータを受け取る(ステップS11)。
【0031】
次いで、画像処理装置60では、領域抽出部71が、画像データ入力部70で受け取ったカメラ20で撮影された画像から、適宜の画像処理手法により、ナンバープレート120を検知する(ステップS12)。具体的には、領域抽出部71は、撮影された画像から、車両100に装着されたナンバープレート120が含まれる領域を抽出する。
領域抽出部71では、ナンバープレート120が含まれる領域が抽出されたか否かを判定する(ステップS13)。撮影された画像に、ナンバープレート120が含まれていない場合(ステップS13でNo)、処理を終了する。また、撮影された画像に、ナンバープレート120が含まれている場合(ステップS13でYes)、領域抽出部71は、画像中における、ナンバープレート120が含まれる領域の位置座標を特定し、特定された位置座標と画像と関連付けて文字認識部72に出力する。
【0032】
文字認識部72では、カメラ20で撮影された画像から、領域抽出部71で抽出された領域に含まれるナンバープレート120の画像を切り出す(ステップS14)。続いて、文字認識部72では、切り出された画像のナンバープレート120の領域内において、ナンバープレート120に記載された、各文字情報の大きさ(高さ)、位置を、画像認識処理により認識する(ステップS15)。具体的には、文字認識部72では、第一の文字情報TAとしての用途コードT12、T22、T32の位置座標を認識する。また、文字認識部72では、第二の文字情報TBとして、一連番号T24、T34の高さH22、H32を認識する。また、文字認識部72は、第三の文字情報TCとして、地名文字T21、T31、及び分類番号T23、T33の高さH21、H31を認識する。文字認識部72では、認識された用途コードT12、T22、T32の位置座標、及び地名文字T21、T31、及び分類番号T23、T33の高さH21、H31等の文字情報に関するデータを、サイズ判別部73に出力する。
【0033】
サイズ判別部73は、文字認識部72で認識された文字の大きさ、及び位置の少なくとも一方に基づき、ナンバープレート120のプレートサイズを判別する処理を実行する(ステップS20)。図9に示すように、ステップS20のナンバープレート120のプレートサイズを判別する処理では、まず、サイズ判別部73が、文字情報に関するデータを文字認識部72から受信する(ステップS21)。
【0034】
次いで、サイズ判別部73では、文字認識部72で認識された第一の文字情報TAの位置が、ナンバープレート120の右側であるか否かを判定する(ステップS22)。その結果、文字認識部72で認識された第一の文字情報TAが、ナンバープレート120の右側に位置している場合(ステップS22おいてYes)、サイズ判別部73では、そのナンバープレート120は、小板ナンバープレート121であると判別する(ステップS23)。
また、ステップS22において、第一の文字情報TAが、ナンバープレート120の右側に位置していない場合、ステップS24に進む。
【0035】
ステップS24では、サイズ判別部73が、文字認識部72で認識された第二の文字情報TBの高さと、第三の文字情報TCの高さとの比(TB/TC)が、予め設定された閾値(例えば、2.5)以上であるか否かを判定する。その結果、文字認識部72で認識された第二の文字情報TBの高さと、第三の文字情報TCの高さとの比(TB/TC)が、閾値(例えば2.5)以上である場合(ステップS24においてYes)、サイズ判別部73は、そのナンバープレート120は、大板ナンバープレート123であると判別する(ステップS25)。また、文字認識部72で認識された第二の文字情報TBの高さと、第三の文字情報TCの高さとの比(TB/TC)が、閾値以上ではなかった場合(ステップS24においてNo)、サイズ判別部73は、そのナンバープレート120が中板ナンバープレート122であると判別する(ステップS26)。
このようにして、カメラ20で撮影した画像に基づき、ナンバープレート120のプレートサイズを判別することができる。その後、結果出力部75が、ナンバープレート120のプレートサイズについての判別結果を、料金収受システム(図示無し)の上位サーバーに出力する。
【0036】
(作用効果)
上記構成のナンバープレート認識システム10、ナンバープレート120の認識方法では、カメラ20が、複数種のうちいずれか一種のプレートサイズのナンバープレート120が装着された車両100を撮影する。文字認識部72は、撮影されたナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方を認識する。サイズ判別部73は、認識された文字の大きさ、及び位置の少なくとも一方に基づき、車両100のナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
なお、本実施形態では、文字認識部72が、文字の位置に基づく判別(図9のステップS22)、及び、文字の大きさに基づく判別(図9のステップS24)の両方を行うものとして説明したが、他の実施形態においてはこの態様に限定されない。すなわち、他の実施形態に係る文字認識部72は、例えば、文字の大きさに基づく判別のみを行うものであってもよいし、文字の位置に基づく判別のみを行うものであってもよい。
【0037】
また、ナンバープレート120上における記載位置がプレートサイズに応じて異なる第一の文字情報TAの位置を文字認識部72で認識することで、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0038】
さらに、第一の文字情報TAは、用途コードT12、T22、T32である。
これにより、プレートサイズが異なる複数種のナンバープレート120間で、ナンバープレート120上における記載位置がプレートサイズに応じて異なる用途コードT12、及び用途コードT22、T32の位置を認識することにより、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0039】
また、サイズ判別部73は、認識された第二の文字情報TBの大きさと、ナンバープレート120の特定部位の大きさとの比に基づき、ナンバープレート120のプレートサイズを判別する。
これにより、第二の文字情報TBの大きさと、前記ナンバープレート120の特定部位の大きさとの比に基づいて、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0040】
また、特定部位として、ナンバープレート120上における文字の大きさが、第二の文字情報TBとは異なる第三の文字情報TCを用いるようにした。
これにより、第二の文字情報TBと第三の文字情報TCとの比に基づき、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0041】
さらに、第二の文字情報TBは、一連番号T24、T34であり、第三の文字情報TCは、分類番号T23,T33、及び地名文字T21、T31であるようにした。
これにより、プレートサイズが異なる複数種のナンバープレート120間で、ナンバープレート120上における大きさが異なる、一連番号T24、T34の大きさと、分類番号T23,T33、及び地名文字T21、T31の大きさとの比を認識することにより、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0042】
また、カメラ20は、設定された時間間隔毎に前記走行路Rを撮影する。
これにより、設定された時間間隔毎に走行路Rを撮影するカメラ20では、撮影するタイミングにより、カメラ20で撮影された画像中において、走行路Rが延伸する方向における車両100の位置が異なる。この場合、カメラ20と車両100の距離が、カメラ20における撮影タイミングによって異なることとなる。このような場合においても、抽出されたナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方に基づき、車両100のナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0043】
(その他の実施形態)
以上、本開示の実施の形態について図面を参照して詳述したが、具体的な構成はこの実施の形態に限られるものではなく、本開示の要旨を逸脱しない範囲の設計変更等も含まれる。
なお、ナンバープレート120として、日本で用いられている小板ナンバープレート121、中板ナンバープレート122、及び大板ナンバープレート123の3種を識別するようにしたが、これに限られない。例えば、日本以外の国、地域で用いられているナンバープレートについても、同様に、ナンバープレートに記載された文字の位置、及び大きさの少なくとも一方に基づいて、ナンバープレートのプレートサイズを判別するようにしてもよい。
また、上記実施形態では、中板ナンバープレート122、及び大板ナンバープレート123との判別に、第二の文字情報TB(一連番号T24、T34)の高さと、第三の文字情報TC(分類番号T23,T33、及び地名文字T21、T31)の高さとの比(TB/TC)を用いたが、これに限られない。例えば、第二の文字情報TB(一連番号T24、T34)の高さと、ナンバープレート120の他の特定部分、例えばナンバープレート120の縦寸法M21、M31との比等を用い、中板ナンバープレート122、及び大板ナンバープレート123との判別を行うようにしてもよい。
また、上記実施形態に係る文字認識部72は、第三の文字情報TCとして、地名文字T21、T31、及び分類番号T23、T33の高さH21、H31を認識するものとして説明したがこれに限られない。例えば、他の実施形態に係る文字認識部72は、第三の文字情報TCとして、用途コードT22、T32の高さを認識するものとしてもよい。この場合、サイズ判別部73は、第二の文字情報TBと、用途コードT22、T32の高さである第三の文字情報との比に基づき、ナンバープレートのプレートサイズを判別するものとする。
また、上記実施形態で示した、ナンバープレート120の識別方法S10の処理の流れは、一例に過ぎず、その順序、内容は適宜変更可能である。
【0044】
<付記>
実施形態に記載のナンバープレート認識システム10、ナンバープレート120の認識方法は、例えば以下のように把握される。
【0045】
(1)第1の態様に係る画像処理装置60は、走行路Rを走行し、複数種のうちいずれか一種のプレートサイズのナンバープレート120が装着された車両100を撮影するカメラ20と、前記カメラ20で撮影された画像に基づき、前記車両100に装着された前記ナンバープレート120のプレートサイズを判別する画像処理装置60と、を備えるナンバープレート認識システム10の前記画像処理装置60であって、前記カメラ20で撮影された画像から、前記ナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方を認識する文字認識部72と、前記文字認識部72で認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレート120のプレートサイズを判別するサイズ判別部73と、を含む。
【0046】
このナンバープレート認識システム10では、カメラ20が、走行路Rを走行する車両100を撮影する。カメラ20は、複数種のうちいずれか一種のプレートサイズのナンバープレート120が装着された車両100を撮影する。ここで、走行路Rを走行する車両100は、車両100の種別区分に対応するナンバープレートのプレートサイズ毎に、ナンバープレート120に記載された文字の大きさや位置が異なっている。文字認識部72は、撮影されたナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方を認識する。サイズ判別部73は、認識された文字の大きさ、及び位置の少なくとも一方に基づき、車両100のナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0047】
(2)第2の態様に係る画像処理装置60は、(1)の画像処理装置60であって、プレートサイズが異なる複数種の前記ナンバープレート120は、前記ナンバープレート120上における記載位置がナンバープレートのプレートサイズに応じて異なる第一の文字情報TAを有し、前記文字認識部72は、前記ナンバープレート120に記載された前記第一の文字情報TAの位置を認識し、前記サイズ判別部73は、認識された前記第一の文字情報TAの位置に基づき、前記ナンバープレート120のプレートサイズを判別する。
【0048】
これにより、プレートサイズが異なる複数種のナンバープレート120が、ナンバープレート120上における記載位置がプレートサイズに応じて異なる第一の文字情報TAを有している場合、ナンバープレート120に記載された第一の文字情報TAの位置に基づき、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0049】
(3)第3の態様に係る画像処理装置60は、(2)の画像処理装置60であって、前記第一の文字情報TAは、前記車両100の用途を示す用途コードT12、T22、T32である。
【0050】
これにより、プレートサイズが異なる複数種のナンバープレート120間で、ナンバープレート120上における記載位置がプレートサイズに応じて異なる用途コードT12、及び用途コードT22、T32の位置を認識することにより、用途コードT12、及び用途コードT22、T32の記載位置が異なる複数種のナンバープレート120間で、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0051】
(4)第4の態様に係る画像処理装置60は、(1)から(3)の何れか一つの画像処理装置60であって、プレートサイズが異なる複数種の前記ナンバープレート120は、前記ナンバープレート120上における文字の大きさが異なる第二の文字情報TBを有し、前記文字認識部72は、前記ナンバープレート120に記載された前記第二の文字情報TBの大きさと、前記ナンバープレート120の特定部位の大きさと、を認識し、前記サイズ判別部73は、認識された前記第二の文字情報TBの大きさと、前記ナンバープレート120の特定部位の大きさとの比に基づき、前記ナンバープレート120のプレートサイズを判別する。
【0052】
これにより、プレートサイズが異なる複数種のナンバープレート120が、ナンバープレート120上における大きさが異なる第二の文字情報TBを有している場合、第二の文字情報TBの大きさと、前記ナンバープレート120の特定部位の大きさとの比に基づいて、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0053】
(5)第5の態様に係る画像処理装置60は、(4)の画像処理装置60であって、プレートサイズが異なる複数種の前記ナンバープレート120は、前記特定部位として、前記ナンバープレート120上における文字の大きさが、前記第二の文字情報TBとは異なる第三の文字情報TCを有し、前記文字認識部72は、前記ナンバープレート120に記載された前記第二の文字情報TBの大きさと、前記第三の文字情報TCの大きさとの比を認識し、前記サイズ判別部73は、認識された前記第二の文字情報TBと前記第三の文字情報TCとの比に基づき、前記ナンバープレート120のプレートサイズを判別する。
【0054】
これにより、プレートサイズが異なる複数種のナンバープレート120が、ナンバープレート120上における記載位置が異なる第二の文字情報TBを有している場合、第二の文字情報TBと第三の文字情報TCとの比に基づき、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0055】
(6)第6の態様に係る画像処理装置60は、(4)または(5)の画像処理装置60であって、前記第二の文字情報TBは、前記車両100の一連番号T24、T34であり、前記第三の文字情報TCは、前記車両100の分類番号T23、T33、用途コードT22、T32、及び、地名を表示する文字(地名文字T21、T31)の少なくともいずれか一つである。
【0056】
これにより、プレートサイズが異なる複数種のナンバープレート120間で、ナンバープレート120上における大きさが異なる、車両100の一連番号T24、T34の大きさと、車両100の分類番号T23,T33、及び、漢字またはひらがなで地名を表示する地名文字T21、T31の大きさとの比を認識することにより、ナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0057】
(7)第7の態様に係るナンバープレート認識システム10は、(1)から(6)のいずれか一つの画像処理装置60と、前記カメラとを備える。
【0058】
(8)第8の態様に係るナンバープレート認識システム10は、(7)のナンバープレート認識システム10であって、前記カメラ20は、設定された時間間隔毎に前記走行路Rを撮影する。
【0059】
これにより、設定された時間間隔毎に走行路Rを撮影するカメラ20では、撮影するタイミングにより、カメラ20で撮影された画像中において、走行路Rが延伸する方向における車両100の位置が異なる。この場合、カメラ20と車両100の距離が、カメラ20における撮影タイミングによって異なることとなる。このような場合においても、抽出されたナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方に基づき、車両100のナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【0060】
(9)第9の態様に係るナンバープレート120の認識方法S10は、走行路Rを走行し、複数種のうちいずれか一種のプレートサイズのナンバープレート120が装着された車両100を撮影するカメラ20から、前記カメラ20で撮影された画像のデータを受信するステップと、
前記カメラ20で撮影された画像から、前記ナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方を認識するステップと、
認識された前記文字の大きさ、及び位置の少なくとも一方に基づき、前記ナンバープレート120のプレートサイズを判別するステップと、を含む。
【0061】
このナンバープレート120の認識方法S10は、ナンバープレート120に記載された文字の大きさ、及び位置の少なくとも一方に基づき、車両100のナンバープレート120のプレートサイズを容易かつ精度良く判別することができる。
【符号の説明】
【0062】
10 ナンバープレート認識システム
11 ガントリー
12 支柱
13 横架材
20 カメラ
60 画像処理装置
61 CPU
62 ROM
63 RAM
64 HDD
65 信号送受信モジュール
70 画像データ入力部
71 領域抽出部
72 文字認識部
73 サイズ判別部
75 結果出力部
80 外部データベース
100 車両
101 車体
120 ナンバープレート
121 小板ナンバープレート
122 中板ナンバープレート
123 大板ナンバープレート
R 走行路
T11、T21、T31 地名文字
T12、T22、T32 用途コード
T13、T24、T34 一連番号
T23、T33 分類番号
TA 第一の文字情報
TB 第二の文字情報
TC 第三の文字情報
図1
図2
図3
図4
図5
図6
図7
図8
図9