特開 2024-127101 車種識別装置、車種識別モデル生成装置および車種識別モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024127101

(43)【公開日】2024-09-20

(54)【発明の名称】車種識別装置、車種識別モデル生成装置および車種識別モデル生成方法

(51)【国際特許分類】

   G06V 10/82 20220101AFI20240912BHJP

   G06T 7/00 20170101ALI20240912BHJP

   G06V 10/22 20220101ALI20240912BHJP

   G06V 20/62 20220101ALI20240912BHJP

   G06V 20/54 20220101ALI20240912BHJP

   G06V 10/774 20220101ALI20240912BHJP

   G08G 1/015 20060101ALI20240912BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

G06T7/00 650B

G06V10/22

G06V20/62

G06V20/54

G06V10/774

G08G1/015 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023035991

(22)【出願日】2023-03-08

(71)【出願人】

【識別番号】000003942

【氏名又は名称】日新電機株式会社

(74)【代理人】

【識別番号】110000338

【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ

(72)【発明者】

【氏名】安井 達哉

(72)【発明者】

【氏名】森本 充

(72)【発明者】

【氏名】竹原 輝巳

(72)【発明者】

【氏名】服部 公祐

(72)【発明者】

【氏名】小林 正憲

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB13

5H181BB20

5H181CC04

5H181DD10

5H181EE02

5H181EE07

5H181FF10

5H181FF13

5H181KK01

5H181KK02

5H181KK03

5H181KK04

5H181MC19

5L096BA04

5L096BA18

5L096EA35

5L096FA69

5L096GA59

5L096HA11

5L096KA04

5L096KA15

5L096MA03

(57)【要約】

【課題】自動車の車種を正確に識別することが可能な技術を提供する。
【解決手段】切出し領域サイズ計算部（２１）は、自動車を撮影した撮影画像におけるナンバープレート位置座標に基づいて、切出し領域サイズを計算する。切出し処理部（２３）は、切出し領域サイズ計算部（２１）によって計算された切出し領域サイズに応じて、撮影画像から、自動車の車種を識別するための画像を切出す。そして、識別部（２４）は、自動車の車種を識別するための学習用画像とラベルとの関係を学習した学習モデルを用いて、切出し処理部（２３）によって切出された画像から、自動車の車種を識別する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自動車を撮影した撮影画像におけるナンバープレート位置座標に基づいて、切出し領域サイズを計算する切出し領域サイズ計算部と、
前記切出し領域サイズ計算部によって計算された前記切出し領域サイズに応じて、前記撮影画像から、前記自動車の車種を識別するための画像を切出す切出し処理部と、
前記自動車の車種を識別するための学習用画像とラベルとの関係を学習した学習モデルを用いて、前記切出し処理部によって切出された画像から、前記自動車の車種を識別する識別部と、を備える車種識別装置。

【請求項2】

前記学習用画像は、第１の学習画像と、当該第１の学習画像に対して画像処理を行うことによって得られた第２の学習画像とを含む、請求項１に記載の車種識別装置。

【請求項3】

前記第２の学習画像は、前記第１の学習画像に対して、ホモグラフィ変換行列を用いて変換した画像である、請求項２に記載の車種識別装置。

【請求項4】

前記第２の学習画像は、前記第１の学習画像に対して、画像を左右にシフトするための第１の変換行列、画像を上下にシフトするための第２の変換行列、画像を台形補正するための第３の変換行列、および画像を拡大縮小するための第４の変換行列、の少なくともいずれかを用いて変換した画像である、請求項３に記載の車種識別装置。

【請求項5】

前記学習用画像は、前記第１の学習画像に対して、前記第１の変換行列、前記第２の変換行列、前記第３の変換行列、および前記第４の変換行列のうちの複数の変換行列の順序を並び替えた行列積を用いて変換した複数の前記第２の学習画像を含む、請求項４に記載の車種識別装置。

【請求項6】

前記第２の学習画像は、前記第１の学習画像に対して、明るさ補正を行った画像である、請求項２～５のいずれか１項に記載の車種識別装置。

【請求項7】

前記第２の学習画像は、前記第１の学習画像に対して、色反転を行った画像である、請求項２～５のいずれか１項に記載の車種識別装置。

【請求項8】

前記切出し領域サイズ計算部は、前記ナンバープレート位置座標の高さ方向の座標と、前記切出し処理部が画像を切出すときの基準となる基準ナンバープレート位置座標の高さ方向の座標とが一致するときに、前記切出し領域サイズを計算する、請求項１～５のいずれか１項に記載の車種識別装置。

【請求項9】

前記ナンバープレート位置座標の高さ方向の座標をＹ座標とし、前記撮影画像の縦方向のサイズをα、当該Ｙ座標が最大のときの切出し領域サイズをβ、当該Ｙ座標が最小のときの切出し領域サイズをγとすると、前記切出し領域サイズ計算部は、次式（式１ａ）によって切出し領域サイズＬ×Ｌを計算する、請求項８に記載の車種識別装置。
Ｌ＝（β－γ）×ｙ／α＋γ ・・・（式１ａ）

【請求項10】

自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する画像処理部と、
前記第１の学習画像および前記第２の学習画像とラベルとの関係を学習して学習モデルを生成する学習部と、を備える、車種識別モデル生成装置。

【請求項11】

自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する工程と、
前記第１の学習画像および前記第２の学習画像とラベルとの関係を学習して学習モデルを生成する工程と、を含む、車種識別モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車種識別装置、車種識別モデル生成装置および車種識別モデル生成方法に関する。

【背景技術】

【0002】

例えば、視野内に侵入した走行中の車両をＩＴＶ（Industrial Television）カメラで連続的に撮像し、そのＩＴＶカメラにより撮像された画像情報に基づいて、車両のナンバープレートを映し出した画像をコンピュータ処理で検出し、そのナンバープレート中の文字情報を読み取ることにより車両を識別する車両ナンバー読取装置がある。これに関連する技術として、下記の特許文献１に開示された発明がある。

【0003】

特許文献１には、撮像カメラにより得られたナンバープレートのグレースケール画像を二値化した二値画像からナンバープレート中の記号の水平エッジ位置を特定し、記号の水平エッジ位置を中心としてグレースケール画像上で水平方向左右に所定の画素数オフセットした勾配値計測範囲および基準値計測範囲を設定し、その勾配値計測範囲内でのグレースケール濃度の勾配値を計測値として算出すると共に、基準値計測範囲内でのコントラスト値を基準値として算出し、その基準値に対する計測値の割合をフォーカス評価値として算出するフォーカス評価部が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００９－１４０１６０号公報（２００９年６月２５日公開）

【発明の概要】

【発明が解決しようとする課題】

【0005】

車両ナンバー読取装置は、車両のナンバープレート中の文字情報を読み取ることで、駐車場や構内の入出管理、道路上における不審車両の追跡調査等を行うことができる。ナンバープレート情報は車両を一意に識別できるため、管理を行ううえでは十分であるが、ナンバープレート情報に加えて車種の情報があれば、管理者、監視者が該当の車両を目視で発見しやすくなる。

【0006】

しかしながら、ナンバープレート情報は、車両の種類についての大まかな区別（乗用車、軽自動車等）しか識別することができず、詳細な車種（車名）を識別することはできない。このような問題は、上述の特許文献１を用いたとしても解決することはできない。

【0007】

本発明の一態様は、自動車の車種を正確に識別することが可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記の課題を解決するために、本発明の一態様に係る車種識別装置は、自動車を撮影した撮影画像におけるナンバープレート位置座標に基づいて、切出し領域サイズを計算する切出し領域サイズ計算部と、前記切出し領域サイズ計算部によって計算された前記切出し領域サイズに応じて、前記撮影画像から、前記自動車の車種を識別するための画像を切出す切出し処理部と、前記自動車の車種を識別するための学習用画像とラベルとの関係を学習した学習モデルを用いて、前記切出し処理部によって切出された画像から、前記自動車の車種を識別する識別部と、を備える。

【0009】

上記の課題を解決するために、本発明の一態様に係る車種識別モデル生成装置は、自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する画像処理部と、前記第１の学習画像および前記第２の学習画像と、ラベルとの関係を学習して学習モデルを生成する学習部と、を備える。

【0010】

また、上記の課題を解決するために、本発明の一態様に係る車種識別モデル生成方法は、自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する工程と、前記第１の学習画像および前記第２の学習画像と、ラベルとの関係を学習して学習モデルを生成する工程と、を含む。

【発明の効果】

【0011】

本発明の一態様によれば、自動車の車種を正確に識別することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る車種識別システムの概略構成を示すブロック図である。

【図2】ナンバープレート位置座標を説明するための図である。

【図3】ナンバープレート位置座標のＹ座標と切出し領域サイズとの関係を示すテーブルである。

【図4】切出し領域の一例を示す図である。

【図5】切出し処理部によって切出された画像の一例を示す図である。

【図6】本発明の一実施形態に係る車種識別装置の切出し領域サイズ計算部および切出し処理部の処理手順を説明するためのフローチャートである。

【図7】本発明の一実施形態に係る車種識別装置の識別部の処理手順を説明するためのフローチャートである。

【図8】本発明の一実施形態に係る車種識別モデル生成装置の概略構成を示すブロック図である。

【図9】本発明の一実施形態に係る車種識別モデル生成装置の処理手順を説明するためのフローチャートである。

【図10】図９に示す画像処理の詳細を説明するためのフローチャートである。

【図11】図１０に示す変換行列作成処理の詳細を説明するためのフローチャートである。

【発明を実施するための形態】

【0013】

（車種識別システム１００の構成例）
図１は、本発明の一実施形態に係る車種識別システム１００の概略構成を示すブロック図である。車種識別システム１００は、撮像装置１と、車種識別装置２とを備える。この車種識別システム１００は、道路を走行する自動車を撮影し、車種を識別するための画像を切出すことができる。また、車種識別システム１００は、駐車場を出入りする自動車を撮影し、車種を判別するための画像を切出すようにしてもよい。なお、車種とは、トラック、軽自動車等の車種だけでなく、自動車の車名（通称名）をも意味している。したがって、車種識別装置２は、自動車の車名を識別できるように画像を切出し、予め学習させた学習モデルを用いて切出した画像から車種を識別するものである。

【0014】

撮像装置１は、撮像部１１と、位置座標検出部１２とを含む。撮像部１１は、カメラ等によって構成され、走行する自動車の画像を撮影する。撮像部１１は、例えば、６ｍ程度の高さに設置され、走行する自動車の前面（フロント部）を斜め上から撮影する。なお、撮像部１１は、走行する自動車の背面を撮影するようにしてもよい。

【0015】

位置座標検出部１２は、撮影した自動車の前面の画像から、ナンバープレートの画像部
分を抽出し、ナンバープレート位置座標を検出する。このナンバープレート位置座標の検出を、図２を用いて説明する。

【0016】

図２は、ナンバープレート位置座標を説明するための図である。図２に示すように、ナンバープレートには、地域名「京都」および分類番号「×××」を示す行と、用途「あ」および一連番号「××－××」を示す行とが記載されている。位置座標検出部１２は、地域名および分類番号を示す行と、用途および一連番号を示す行との間であり、かつ、横幅の中央となる点Ｐの座標をナンバープレート位置座標として検出し、車種識別装置２に出力する。なお、ナンバープレート位置座標は、これに限定されるものではなく、ナンバープレートを基準とした他の座標であってもよい。

【0017】

図２に示すように、点Ｐからナンバープレートの左端までの長さをＷ_Ｌ、点Ｐからナンバープレートの右端までの長さをＷ_Ｒとすると、位置座標検出部１２は、Ｗ_Ｌ＝Ｗ_Ｒとなるように点Ｐを定める。撮像部１１によって撮影された画像における点Ｐの座標が、ナンバープレート位置座標となる。以下、ナンバープレート位置座標、すなわち、点Ｐの座標をＰ（ｘ，ｙ）とする。なお、ナンバープレート位置座標Ｐ（ｘ，ｙ）は、撮影画像をＸＹ座標で表した場合におけるナンバープレートの位置座標となる。

【0018】

なお、図示しない画像処理装置が、撮像部１１によって撮影された画像およびナンバープレート位置座標を参照し、車両のナンバープレート中の文字情報を読み取ることで、車両のナンバープレート情報を取得することができる。したがって、撮像部１１によって撮影された画像を、車両のナンバープレート情報の取得と、車両の車種を識別するための画像の切出しとの両方に使用することができる。

【0019】

再び、図１の説明に戻る。車種識別装置２は、切出し領域サイズ計算部２１と、設定ファイル２２と、切出し処理部２３と、識別部２４とを含む。なお、撮像装置１と車種識別装置２との間の情報の入出力は、有線による通信であってもよいし、無線による通信であってもよく、特に限定されるものではない。

【0020】

切出し領域サイズ計算部２１は、位置座標検出部１２から出力されるナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標が、設定ファイル２２に記憶される基準ナンバープレート位置座標のＹ座標と一致するときに、切出し領域サイズを計算する。なお、基準ナンバープレート位置座標は、切出し処理部２３が画像を切出すときの基準となる位置座標であり、予め決められている。

【0021】

上述のように、撮像部１１が高さ６ｍ程度の高さに設置されており、上方から自動車の前面を撮影しているため、自動車が遠くであればナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標（高さ方向の座標）が、撮影画像において上方に位置することになる。自動車が近づくに従ってナンバープレート位置座標Ｐ（ｘ，ｙ）が下方に移動し、自動車と撮像部１１との距離が所定距離となった時点で、ナンバープレート位置座標と、基準ナンバープレート位置座標とが一致することになる。このときの撮影画像（静止画像）を切出し処理対象の画像とする。

【0022】

設定ファイル２２には、撮影画像の大きさ（縦横の画素数）、基準ナンバープレート位置座標、切出し領域サイズを計算する際に使用されるパラメータα、β、γ等の情報が定義されている。

【0023】

αは、処理対象画像（例えば、撮影画像の全部であってもよいし、撮影画像の一部であってもよい。）の縦サイズ（縦方向の画素数）である。βは、ナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標が最大のときの切出し領域サイズである。また、γは、ナンバープ
レート位置座標Ｐ（ｘ，ｙ）のＹ座標が最小のときの切出し領域サイズである。なお、切出し領域サイズは、縦サイズと横サイズとが同じ正方形である場合について説明するが、縦サイズと横サイズとが異なる長方形であってもよく、特に限定されるものではない。以下、処理対象画像が撮影画像の全部である場合について説明するものとする。

【0024】

例えば、処理対象画像のサイズが１０２４×７６８であり、ナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標が最大のときの切出し領域サイズが３００×３００であり、ナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標が最小のときの切出し領域サイズが２００×２００であるとする。この場合、α＝７６８、β＝３００、γ＝２００となる。これらのパラメータが、設定ファイル２２に予め定義されている。なお、対象処理画像の左上を原点とした場合、ナンバープレート位置座標Ｐ（ｘ，ｙ）のＹ座標の最小は「０」であり、最大は「７６７」となる。

【0025】

切出し領域サイズ計算部２１は、パラメータα、β、γを用いて、ナンバープレート位置座標のＹ座標に対応した切出し領域サイズＬ×Ｌを次式（式１）によって計算し、切出し領域サイズテーブルとして設定ファイル２２に定義する。

【0026】

Ｌ＝（β－γ）×ｙ／α＋γ ・・・（式１）
なお、処理対象画像は、左上を原点としている。したがって、処理対象画像の最上部のＹ座標が「０」となり、処理対象画像の最下部のＹ座標が「７６７」となる。

【0027】

また、上記（式１）にパラメータα、β、γの値を代入すると次式（式２）のようになる。切出し領域サイズ計算部２１は、次式（式２）を用いて切出し領域サイズを計算するようにしてもよい。

【0028】

Ｌ＝０．１３×Ｙ＋２００ ・・・（式２）
図３は、ナンバープレート位置座標のＹ座標と切出し領域サイズとの関係を示すテーブルである。図３に示すように、ナンバープレート位置座標のＹ座標が最小「０」のとき、切出し領域サイズは２００×２００であり、Ｙ座標の増加に伴って切出し領域サイズが徐々に大きくなる。そして、ナンバープレート位置座標のＹ座標が最大「７６７」のとき、切出し領域サイズは３００×３００となる。

【0029】

このように、撮像装置１から自動車までの距離が大きい場合に、切出し領域サイズを小さくする。また、撮像装置１から自動車までの距離が小さい場合に、切出し領域サイズを大きくする。これによって、自動車の前面の同じ部分を含むように画像が切出されることになる。なお、基準ナンバープレート位置座標が固定の場合には、切出し領域サイズ計算部２１は、基準ナンバープレート位置座標に対応する切出し領域サイズのみを計算し、この値を設定ファイル２２に定義するようにしてもよい。

【0030】

切出し領域サイズ計算部２１は、ナンバープレート位置座標のＹ座標と基準ナンバープレート位置座標のＹ座標とが一致するときの撮影画像、ナンバープレート位置座標、および切出し領域サイズを切出し処理部２３に出力する。

【0031】

切出し処理部２３は、切出し領域サイズ計算部２１から出力される撮影画像、ナンバープレート位置座標、および切出し領域サイズを用いて、処理対象画像から、車種を識別するための切出し領域の画像を切出して、識別部２４へ出力する。

【0032】

識別部２４は、切出し処理部２３によって切出された画像を、後述の車種識別モデル生成装置により畳み込みニューラルネットワーク（ＣＮＮ）で機械学習させた学習モデルに入力することによって、切出された画像から自動車の車種を識別する。この学習モデルは
、後述のように、自動車の車種を識別するための学習用画像とラベルとの関係を学習させたものである。

【0033】

なお、機械学習はＣＮＮに限定されるものではなく、一般的なＮＮ、ＲＮＮ、ＤＮＮ、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＳｅｇＮｅｔ、Ｕ－Ｎｅｔ、Ｕ－Ｎｅｔ＋＋等であってもよい。

【0034】

図４は、切出し領域の一例を示す図である。図４に示すように、例えば、ナンバープレート位置座標Ｐ（ｘ，ｙ）を基準とし、横方向（ｘ方向）においてＷ_Ｌ’：Ｗ_Ｒ’＝１：１となるように切出し領域を決定する。なお、Ｗ_Ｌ’はナンバープレート位置座標のＸ座標から左端までのサイズ（画素数）であり、Ｗ_Ｒ’はナンバープレート位置座標のＸ座標から右端までのサイズ（画素数）である。なお、Ｗ_Ｌ’とＷ_Ｒ’との比率は、これ以外の値であってもよい。

【0035】

また、縦方向（ｙ方向）においてＨ_Ｕ：Ｈ_Ｌ＝３：１となるように切出し領域を決定する。なお、Ｈ_Ｕはナンバープレート位置座標のＹ座標から上端までのサイズ（画素数）であり、Ｈ_Ｌはナンバープレート位置座標のＹ座標から下端までのサイズ（画素数）である。なお、Ｈ_ＵとＨ_Ｌとの比率は、これ以外の値であってもよい。

【0036】

なお、切出し処理部２３は、切出し領域が、撮影画像の範囲を超えてしまう場合には、撮影画像の範囲を超えてしまう部分を黒色パディングし、正方形を保つようにしてもよい。

【0037】

図５は、切出し処理部２３によって切出された画像の一例を示す図である。図５に示すように、自動車の前面が背景を含まない程度の大きさで切出される。設定ファイル２２が、自動車の背景画像を含まないように、基準ナンバープレート位置座標、α、β、γを定義する。

【0038】

（切出し領域サイズ計算部２１および切出し処理部２３の処理フロー）
図６は、本発明の一実施形態に係る車種識別装置２の切出し領域サイズ計算部２１および切出し処理部２３の処理手順を説明するためのフローチャートである。まず、切出し領域サイズ計算部２１に、撮影画像と、ナンバープレート位置座標とが入力される（Ｓ１）。

【0039】

次に、切出し領域サイズ計算部２１は、ナンバープレート位置座標のＹ座標が、設定ファイルに定義される基準ナンバープレート位置座標のＹ座標と一致するか否かを判定する（Ｓ２）。ナンバープレート位置座標のＹ座標と、基準ナンバープレート位置座標のＹ座標とが一致しなければ（Ｓ２，Ｎｏ）、ステップＳ１に戻って以降の処理を繰り返す。

【0040】

また、ナンバープレート位置座標のＹ座標と、基準ナンバープレート位置座標のＹ座標とが一致すれば（Ｓ２，Ｙｅｓ）、切出し領域サイズ計算部２１は、上述の方法によって、切出し処理対象となる撮影画像（静止画像）を選択し、切出し領域サイズを計算する（Ｓ３）。

【0041】

最後に、切出し処理部２３は、切出し領域サイズ計算部２１から出力される撮影画像、ナンバープレート位置座標、および切出し領域サイズを用いて、処理対象画像から、車種を判別するための切出し領域の画像を切出して、識別部２４へ出力する（Ｓ４）。

【0042】

（識別部２４の処理フロー）
図７は、本発明の一実施形態に係る車種識別装置２の識別部２４の処理手順を説明する
ためのフローチャートである。まず、識別部２４は、切出し処理部２３によって切出された画像を入力する（Ｓ１１）。

【0043】

次に、識別部２４は、後述の車種識別モデル生成装置によって生成された学習モデルを入力する（Ｓ１２）。そして、識別部２４は、切出し処理部２３によって切出された画像を学習モデルに入力することによって、画像から自動車の車種を識別し（Ｓ１３）、識別結果を出力して（Ｓ１４）、処理を終了する。

【0044】

（車種識別装置２の効果）
以上説明したように、本実施形態に係る車種識別装置２によれば、切出し処理部２３が、切出し領域サイズ計算部２１によって計算された切出し領域サイズに応じて、撮影画像から、自動車の車種を識別するための画像を切出す。そして、識別部２４が、自動車の車種を識別するための学習用画像とラベルとの関係を学習した学習モデルを用いて、切出し処理部２３によって切出された画像から、自動車の車種を識別する。したがって、撮像部１１によって撮影された画像を、車両のナンバープレート情報の取得と、車両の車種を識別するための画像の切出しとの両方に使用することができる。

【0045】

また、切出し処理部２３が、ナンバープレート位置座標を基準として、切出し領域サイズ計算部２１によって計算された切出し領域サイズの縦方向および横方向のサイズが所定の比率となるように画像を切出す。したがって、切出し処理部２３が、自動車の前面の同じ部分を含むように画像を切出すことができるため、識別部２４は、自動車の車種を正確に識別することが可能となる。

【0046】

（車種識別モデル生成装置３の構成例）
図８は、本発明の一実施形態に係る車種識別モデル生成装置３の概略構成を示すブロック図である。車種識別モデル生成装置３は、学習画像入力部３１と、画像処理部３２と、学習部３３と、学習モデル出力部３４とを含む。

【0047】

学習画像格納部４は、予め自動車の車種を識別するために使用される学習画像を複数格納しており、例えば、様々な車種の自動車を前面から撮影した画像と、その画像に対応するラベルとの組を学習データとして格納している。

【0048】

学習画像入力部３１は、学習画像格納部４から、１つの学習画像と、その画像に対応するラベルとの組を学習データとして入力し、学習画像とラベルとの組を画像処理部３２へ出力する。

【0049】

機械学習等で車種を識別する場合には学習画像を必要とするが、撮像装置１の設置箇所ごとに、撮像装置１の設置角度などの環境が異なるため、学習画像の準備も困難である。そこで、画像処理部３２は、学習画像に対して、運用上の環境を考慮した画像処理を施して、学習部３３へ出力する。具体的には、撮像装置１の設置箇所ごとに、撮像装置１の設置角度、周囲の明るさ等の環境が異なるため、画像処理部３２は、学習画像に対して、ホモグラフィ変換行列を用いた座標変換、明るさ補正、色補正等の画像処理を行い、１つの学習画像（第１の学習画像）から複数の学習画像（第２の学習画像）を生成する。なお、画像処理部３２は、学習画像格納部４に格納される様々な車種の自動車の学習画像に対して、同様の画像処理を行う。

【0050】

学習部３３は、画像処理部３２によって生成された学習画像（第１の学習画像、第２の学習画像）と、その学習画像に対応するラベルとの関係を、機械学習により学習して学習モデルを生成する。なお、第１の学習画像に付与されているラベルと同じラベルが、画像処理によって生成された第２の学習画像にも付与される。

【0051】

学習モデル出力部３４は、学習部３３によって学習させた学習モデルを学習モデル格納部５へ出力して、学習済の学習モデルを学習モデル格納部５に格納する。この学習モデルは、学習画像格納部４に格納された様々な車種の自動車の学習画像（第１の学習画像）および画像処理によって生成された学習画像（第２の学習画像）と、対応するラベルとの関係を全て学習したものである。

【0052】

（車種識別モデル生成装置３の処理フロー）
図９は、本発明の一実施形態に係る車種識別モデル生成装置３の処理手順を説明するためのフローチャートである。まず、学習画像入力部３１が、学習画像格納部４から、学習画像とその画像に対応するラベルとの組を学習データとして入力する（Ｓ２１）。

【0053】

次に、画像処理部３２が、学習画像に対して、ホモグラフィ変換行列を用いた座標変換、明るさ補正、色補正等の画像処理を行い、１つの学習画像（第１の学習画像）から複数の学習画像（第２の学習画像）を生成する（Ｓ２２）。なお、このステップＳ２２の処理の詳細は、後述する。

【0054】

次に、学習部３３が、第１の学習画像および画像処理部３２によって生成された第２の学習画像と、その第１の画像に対応するラベルとの関係を、機械学習により学習して学習モデルを生成する（Ｓ２３）。

【0055】

最後に、学習モデル出力部３４が、学習部３３によって生成された学習済みの学習モデルを学習モデル格納部５に出力して（Ｓ２４）、処理を終了する。なお、学習画像格納部４に格納された様々な車種の自動車の学習画像の全てに対して、ステップ２１～Ｓ２４の処理が行われる。

【0056】

図１０は、図９に示す画像処理（Ｓ２２）の詳細を説明するためのフローチャートである。まず、画像処理部３２は、入力された学習画像をリサイズすることにより、車種識別装置２の切出し処理部２３によって切出された画像と同じサイズの画像を生成する（Ｓ３１）。例えば、画像処理部３２は、学習画像をリサイズした後の画像の画素数と、切出し処理部２３によって切出された画像の画素数とが同じになるように、学習画像をリサイズする。

【0057】

次に、画像処理部３２は、リサイズした後の学習画像を複製する（Ｓ３２）。画像処理部３２は、複製して２つになった学習画像の一方を色反転し（Ｓ３３）、他方の学習画像を色反転せずにそのままステップＳ３４以降の処理を行う。例えば、学習画像がカラー画像であれば、学習画像の各ピクセルのＲＧＢの値をＲ_ｉ，ｊ、Ｇ_ｉ，ｊ、Ｂ_ｉ，ｊ（但し、学習画像の縦横のサイズをそれぞれＮ、Ｍとすると、ｉ∈Ｎ、ｊ∈Ｍ）と表すことができる。

【0058】

ＲＧＢの値がそれぞれ０～２５５で表現されているとすると、色反転後の各ピクセルのＲＧＢの値（Ｒ’_ｉ，ｊ，Ｇ’_ｉ，ｊ，Ｂ’_ｉ，ｊ）は、次式（式３）で表すことができる。

【0059】

Ｒ’_ｉ，ｊ＝２５５－Ｒ_ｉ，ｊ
Ｇ’_ｉ，ｊ＝２５５－Ｇ_ｉ，ｊ
Ｂ’_ｉ，ｊ＝２５５－Ｂ_ｉ，ｊ ・・・（式３）
なお、この手法によって学習画像を色反転したとしても、任意の色に変換できる訳ではないので、任意の色に変換したい場合には、そのような手法を採用することも可能である。また、カラー画像をグレー画像に変換した後、グレー画像を反転するようにしてもよい
。

【0060】

次に、画像処理部３２は、色反転した学習画像および色反転していない学習画像のそれぞれに対して明るさ補正を行う（Ｓ３４）。この明るさ補正により、撮像対象の車両の撮影時刻（昼夜）による光量の影響を減らすことができる。

【0061】

学習画像の各ピクセルのＲＧＢの値をｉｍｇ_ｉ，ｊ＝（Ｒ_ｉ，ｊ、Ｇ_ｉ，ｊ、Ｂ_ｉ，ｊ）とすると、明るさ補正後の学習画像の各ピクセルのＲＧＢの値ｉｍｇ’_ｉ，ｊ＝（Ｒ’_ｉ，ｊ、Ｇ’_ｉ，ｊ、Ｂ’_ｉ，ｊ）は、次式（式４）の通りである。但し、α’はゲインと呼ばれる画像のコントラストを調整するパラメータであり、β’はバイアスと呼ばれる画像の明るさを調整するパラメータである。また、ｉｎｔ（ｘ）関数は引数を整数型に変換する関数であり、ｃｌｉｐ（ｄｓｔ，ｍｉｎ，ｍａｘ）関数は、ｄｓｔ値がｍｉｎより小さければｍｉｎに値を変更し、ｍａｘより大きければｍａｘに値を変更する関数である。

【0062】

ｉｍｇ’_ｉ，ｊ＝α’×ｉｍｇ_ｉ，ｊ＋β’
ｉｎｔ（ｃｌｉｐ（ｉｍｇ’_ｉ，ｊ，０，２５５）） ・・・（式４）
なお、画像処理部３２は、ノイズ付加や別のアルゴリズムによる明るさ補正等の他の画像処理を行うようにしてもよい。

【0063】

次に、画像処理部３２は、学習画像に対してホモグラフィ変換を行うための変換行列を作成する（Ｓ３５）。なお、このステップＳ３５の処理の詳細は、後述する。

【0064】

最後に、画像処理部３２は、明るさ補正が行われた後の学習画像に対してホモグラフィ変換を行って（Ｓ３６）、処理を終了する。

【0065】

図１１は、図１０に示す変換行列作成処理（Ｓ３５）の詳細を説明するためのフローチャートである。まず、画像処理部３２は、学習画像を左右ランダムにシフトする第１の変換行列を作成する（Ｓ４１）。なお、ホモグラフィ変換行列は、次式（式５）の通りである。（ｘ、ｙ）は、変換前の学習画像の各ピクセルの座標であり、（ｘ’、ｙ’）は、変換後の学習画像の各ピクセルの座標であり、ｓは、比例定数である。

【0066】

【数1】

【0067】

画像処理部３２は、例えば、第１の変換行列を作成する場合、ホモグラフィ変換行列の要素ａ＝ｅ＝１とし、ｂ＝ｄ＝ｆ＝ｇ＝ｈ＝０とし、ｃを所定範囲内の任意の値とする。これによって、画像処理部３２は、学習画像を左右ランダムにシフトする第１の変換行列を作成することができる。なお、後述の第２の変換行列～第４の変換行列についても同様に作成することができる。

【0068】

次に、画像処理部３２は、学習画像を所定範囲内で上下ランダムにシフトする第２の変換行列を作成し（Ｓ４２）、学習画像を所定範囲内でランダムに台形補正する第３の変換行列を作成し（Ｓ４３）、学習画像を所定範囲内でランダムに拡大縮小する第４の変換行列を作成する（Ｓ４４）。なお、ステップＳ４１～Ｓ４４において、ホモグラフィ変換行列の要素をランダムに変更することによって、様々な変換行列を作成することができ、こ
れらを用いることによって様々な学習画像を作成することができる。

【0069】

次に、画像処理部３２は、作成した４つの変換行列（第１の変換行列～第４の変換行列）をランダムな順序で並び替える（Ｓ４５）。最後に、画像処理部３２は、４つの変換行列（第１の変換行列～第４の変換行列）の行列積を計算して（Ｓ４６）、処理を終了する。

【0070】

なお、（式５）に示すホモグラフィ変換行列の８つの要素ａ～ｈは、変換前と変換後の学習画像中の座標のペアを４つ定めることにより８元連立方程式の解として求めることができる。以上説明したホモグラフィ変換行列を用いた画像処理は、指定の画像処理になるように、それぞれの画像処理において変換前と変換後の画像中の座標のペアを４つ定めて変換行列を求めている。このようなホモグラフィ変換によって、撮像装置１の設置場所、設置角度、撮像対象の車両と撮像装置１との間の距離等の影響を減らすことができる。

【0071】

（車種識別モデル生成装置３の効果）
以上説明したように、本実施形態に係る車種識別モデル生成装置３によれば、画像処理部３２が、第１の学習画像に対して画像処理を行うことによって第２の学習画像を生成する。そして、学習部３３が、第１の学習画像および第２の学習画像と、対応するラベルとの関係を学習して学習モデルを生成する。したがって、車種識別装置２の識別部２４は、車種識別モデル生成装置３によって学習させた学習モデルを用いて、切出し処理部２３によって切出された画像から、自動車の車種を識別するので、自動車の車種を正確に識別することが可能となる。

【0072】

また、画像処理部３２は、第１の学習画像に対して、ホモグラフィ変換行列を用いて第２の学習画像を生成するので、学習部３３は、撮像装置１の設置場所、設置角度、撮像対象の車両と撮像装置１との間の距離等の影響を減らすことができるような学習モデルを作成することができる。

【0073】

また、画像処理部３２は、第１の学習画像に対して、明るさ補正を行って第２の学習画像を生成するので、学習部３３は、撮像装置１の設置場所の時間帯等による明るさの影響を減らすことができるような学習モデルを作成することができる。

【0074】

〔ソフトウェアによる実現例〕
車種識別装置２および車種識別モデル生成装置３の制御ブロック（特に、切出し領域サイズ計算部２１、切出し処理部２３、識別部２４、画像処理部３２、学習部３３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

【0075】

後者の場合、車種識別装置２および車種識別モデル生成装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing
Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電
子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0076】

〔まとめ〕
本発明の態様１に係る車種識別装置は、自動車を撮影した撮影画像におけるナンバープレート位置座標に基づいて、切出し領域サイズを計算する切出し領域サイズ計算部と、前記切出し領域サイズ計算部によって計算された前記切出し領域サイズに応じて、前記撮影画像から、前記自動車の車種を識別するための画像を切出す切出し処理部と、前記自動車の車種を識別するための学習用画像とラベルとの関係を学習した学習モデルを用いて、前記切出し処理部によって切出された画像から、前記自動車の車種を識別する識別部と、を備える。

【0077】

本発明の態様２に係る車種識別装置は、上記態様１において、前記学習用画像は、第１の学習画像と、当該第１の学習画像に対して画像処理を行うことによって得られた第２の学習画像とを含む。

【0078】

本発明の態様３に係る車種識別装置は、上記態様２において、前記第２の学習画像は、前記第１の学習画像に対して、ホモグラフィ変換行列を用いて変換した画像である。

【0079】

本発明の態様４に係る車種識別装置は、上記態様３において、前記第２の学習画像は、前記第１の学習画像に対して、画像を左右にシフトするための第１の変換行列、画像を上下にシフトするための第２の変換行列、画像を台形補正するための第３の変換行列、および画像を拡大縮小するための第４の変換行列、の少なくともいずれかを用いて変換した画像である。

【0080】

本発明の態様５に係る車種識別装置は、上記態様４において、前記学習用画像は、前記第１の学習画像に対して、前記第１の変換行列、前記第２の変換行列、前記第３の変換行列、および前記第４の変換行列のうちの複数の変換行列の順序を並び替えた行列積を用いて変換した複数の前記第２の学習画像を含む。

【0081】

本発明の態様６に係る車種識別装置は、上記態様２～５のいずれかにおいて、前記第２の学習画像は、前記第１の学習画像に対して、明るさ補正を行った画像である。

【0082】

本発明の態様７に係る車種識別装置は、上記態様２～６のいずれかにおいて、前記第２の学習画像は、前記第１の学習画像に対して、色反転を行った画像である。

【0083】

本発明の態様８に係る車種識別装置は、上記態様１～７のいずれかにおいて、前記切出し領域サイズ計算部は、前記ナンバープレート位置座標の高さ方向の座標と、前記切出し処理部が画像を切出すときの基準となる基準ナンバープレート位置座標の高さ方向の座標とが一致するときに、前記切出し領域サイズを計算する。

【0084】

本発明の態様９に係る車種識別装置は、上記態様１～８のいずれかにおいて、前記ナンバープレート位置座標の高さ方向の座標をＹ座標とし、前記撮影画像の縦方向のサイズをα、当該Ｙ座標が最大のときの切出し領域サイズをβ、当該Ｙ座標が最小のときの切出し領域サイズをγとすると、前記切出し領域サイズ計算部は、次式（式１ａ）によって切出し領域サイズＬ×Ｌを計算する。

【0085】

Ｌ＝（β－γ）×ｙ／α＋γ ・・・（式１ａ）
本発明の態様１０に係る車種識別モデル生成装置は、自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する画像処理
部と、前記第１の学習画像および前記第２の学習画像とラベルとの関係を学習して学習モデルを生成する学習部と、を備える。

【0086】

本発明の態様１１に係る車種識別モデル生成方法は、自動車の車種を識別するための第１の学習画像に対して、画像処理を行うことによって第２の学習画像を生成する工程と、前記第１の学習画像および前記第２の学習画像とラベルとの関係を学習して学習モデルを生成する工程と、を含む。

【0087】

〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0088】

１ 撮像装置
２ 車種識別装置
３ 車種識別モデル生成装置
４ 学習画像格納部
５ 学習モデル格納部
１１ 撮像部
１２ 位置座標検出部
２１ 切出し領域サイズ計算部
２２ 設定ファイル
２３ 切出し処理部
２４ 識別部
３１ 学習画像入力部
３２ 画像処理部
３３ 学習部
３４ 学習モデル出力部
１００ 車種識別システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】