特許 7505542 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-17

(45)【発行日】2024-06-25

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G08G 1/015 20060101AFI20240618BHJP

   G16Y 40/60 20200101ALI20240618BHJP

   G16Y 10/40 20200101ALI20240618BHJP

   G16Y 20/20 20200101ALI20240618BHJP

【ＦＩ】

G08G1/015 A

G16Y40/60

G16Y10/40

G16Y20/20

【請求項の数】 6

(21)【出願番号】P 2022501459

(86)(22)【出願日】2020-02-19

(86)【国際出願番号】 JP2020006419

(87)【国際公開番号】W WO2021166097

(87)【国際公開日】2021-08-26

【審査請求日】2022-05-20

【前置審査】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】遊佐 道彦

【審査官】武内 俊之

(56)【参考文献】

【文献】特開２０１４－００２５３４（ＪＰ，Ａ）

【文献】特開平０８－２３３５２５（ＪＰ，Ａ）

【文献】中国特許出願公開第１０９６５７５９０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／０１５

Ｇ１６Ｙ ４０／６０

Ｇ１６Ｙ １０／４０

Ｇ１６Ｙ ２０／２０

(57)【特許請求の範囲】

【請求項1】

車両を撮影した画像から前記車両の外観のタイプを、第１のタイプまたは第２のタイプに判別する形状判別手段と、
前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する分類手段と
を備え、
前記分類手段は、
前記車両の外装に顕れている特徴であって、前記車両の外観のタイプにより異なる特徴を用いて、前記車両の車種を分類し、
前記分類手段は、
前記画像から前記車両のナンバープレートを検出するナンバープレート検出手段と、
前記画像から前記車両のホイールを検出するホイール検出手段と、
前記ナンバープレートの検出結果または前記ホイールの検出結果に基づいて、前記車両の車種を識別する識別手段とを備え、
前記車両の外観が前記第１のタイプであると前記形状判別手段が判別した場合、
前記識別手段は、
前記ナンバープレートに示された記号および前記ナンバープレートの色に基づいて、前記車両の車種を識別する
画像処理装置。

【請求項2】

車両を撮影した画像から前記車両の外観のタイプを、第１のタイプまたは第２のタイプに判別する形状判別手段と、
前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する分類手段と
を備え、
前記分類手段は、
前記車両の外装に顕れている特徴であって、前記車両の外観のタイプにより異なる特徴を用いて、前記車両の車種を分類し、
前記分類手段は、
前記画像から前記車両のナンバープレートを検出するナンバープレート検出手段と、
前記画像から前記車両のホイールを検出するホイール検出手段と、
前記ナンバープレートの検出結果または前記ホイールの検出結果に基づいて、前記車両の車種を識別する識別手段とを備え、
前記車両の外観が前記第２のタイプであると前記形状判別手段が判別した場合、
前記識別手段は、
前記ホイールの検出結果から導かれる前記車両の車軸の数および前記車両のタイヤの数に基づいて、前記車両の車種を識別する
画像処理装置。

【請求項3】

前記形状判別手段は、前記車両の車種ごとの大きさおよび形状を機械学習した学習モデルを使用して、前記車両の外観のタイプを判別する
ことを特徴とする請求項１または２に記載の画像処理装置。

【請求項4】

前記識別手段は、
前記車両の外装に顕れている特徴に基づいて、前記車両の車種を識別する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記識別手段は、
前記車両の外装に描かれた模様、色のパターン、文字、記号、図形、符号またはその組み合わせに基づいて、前記車両の車種を識別する
ことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記識別手段は、
前記車両の外装に付着した標識または付帯した物体に基づいて、前記車両の車種を識別する
ことを特徴とする請求項４に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、および記録媒体に関し、特に、車両を撮影した画像から車種を判別する画像処理装置、画像処理方法、および記録媒体に関する。

【背景技術】

【0002】

道路の通行料金を課金したり、通行量を把握したりする目的で、道路を走行する車種の識別（判定）が日常的に行われている。関連する技術では、カメラまたはレーザスキャナによって車両を撮像し、車両の車軸の数や車高、および車幅を計測する。そして、関連する技術では、計測結果に基づいて、撮像した車両の車種を判別する。

【0003】

また、特許文献１に記載の関連する技術では、車両全体の形状を示す１枚の画像である全景画像から車軸を検出し、車軸の数および車軸間の距離をそれぞれ算出する。そして、特許文献１に記載の関連する技術では、車軸の数および車軸間の距離に基づいて、車両の車種を判別する。

【0004】

特許文献２には、一台のカメラで撮影した１枚の画像を使って、車両検知および車番認識する車両検知・車番認識システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－２２００７６号公報

【文献】特開２００４－ ９４４１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の関連する技術では、カメラの向きおよび画角によって、遠近法により全景画像中に車軸が小さく映るため、全景画像に基づいて、車軸の数を正確にカウントできない場合がある。その結果、特許文献１に記載の関連する技術では、車両の車種を判別することに失敗する可能性がある。

【0007】

特許文献２に記載の関連する技術は、画像中のナンバープレートが小さい場合、車番認識に失敗する可能性がある。

【0008】

本発明は上記の課題に鑑みてなされたものであり、その目的は、車両を撮影した画像から車種を判別する精度を向上させることにある。

【課題を解決するための手段】

【0009】

本発明の一態様に係わる画像処理装置は、車両を撮影した画像から前記車両の外観のタイプを判別する形状判別手段と、前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する分類手段とを備えている。

【0010】

本発明の一態様に係わる画像処理方法は、車両を撮影した画像から前記車両の外観のタイプを判別し、前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する。

【0011】

本発明の一態様に係わる記録媒体は、車両を撮影した画像から前記車両の外観のタイプを判別することと、前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類することとをコンピュータに実行させるためのプログラムを格納している。

【発明の効果】

【0012】

本発明の一態様によれば、車両を撮影した画像から車種を判別する精度を向上させることができる。

【図面の簡単な説明】

【0013】

【図1】実施形態１に係わる撮像システムの構成を示す概略図である。

【図2】実施形態１に係わる画像処理装置の構成を示すブロック図である。

【図3】対象車両の車種（Ｃｌａｓｓ）の分類を示す図である。

【図4】実施形態２に係わる画像処理装置の構成を示すブロック図である。

【図5】実施形態２に係わる撮像システムのカメラが撮影した第１画像（具体的には、Ｆｒａｍｅ１）の一例を示す図である。

【図6】実施形態２に係わる撮像システムのカメラが撮影した第２画像（具体的には、Ｆｒａｍｅ２）の一例を示す図である。

【図7】実施形態２に係わる画像処理装置の動作を示すフローチャートの一部である。

【図8】実施形態２に係わる画像処理装置の動作を示すフローチャートの他の一部である。

【図9】実施形態１～２に係わる画像処理装置のハードウェア構成を示す図である。

【発明を実施するための形態】

【0014】

〔実施形態１〕
図１～図３を参照して、実施形態１について以下で説明する。

【0015】

（撮像システム）
図１は、料金所ゲートを上から見下ろす俯瞰図である。図１を参照して、対象車両を撮影するカメラ２０を備えた撮像システムについて説明する。

【0016】

図１に示すように、料金所ゲートのレーンの間には対象車両がある。対象車両は、図１に示す矢印の方向、すなわち図面の下から上に向かって、レーンの間を通行している。料金所ゲートのレーン上には、対象車両と対向する向きに、一台のカメラ２０が設置されている。カメラ２０は、対象車両が走行するレーンの間の領域の少なくとも一部を視野に含むように配置されている。例えば、カメラ２０は、地上高３ｍの位置に、レンズをやや下向きにさせた状態で固定される。カメラ２０は、本実施形態１に係わる画像処理装置１０（図２）と接続されている。

【0017】

対象車両がレーンの間を通過している間、カメラ２０は、対象車両の前方から対象車両を撮影する。カメラ２０は、対象車両を撮影した動画あるいは連続する静止画の画像データを、画像処理装置１０へ送信する。カメラ２０が画像処理装置１０へ送信する画像データは、カメラ２０へ接近中の対象車両を異なる距離から撮影した複数の画像（一例では、動画の複数のフレーム画像）である。以下では、複数の画像を、Ｆｒａｍｅ１～ｎと記載する。“Ｆｒａｍｅ”の後に続く数字が小さいほど、カメラ２０が先に撮影した画像である。カメラ２０が画像処理装置１０へ送信する画像データは、第１画像（図１では“Ｆｒａｍｅ１”）および第２画像（図１では“Ｆｒａｍｅ２”）を少なくとも含む。形状判別部１１は、Ｆｒａｍｅ１～ｎを、Ｆｒａｍｅ１～ｍ－１（ｍ＞１）と、Ｆｒａｍｅ＿ｍ～ｎ（ｎ＞ｍ＞１）とに分ける。形状判別部１１は、Ｆｒａｍｅ１～ｍ－１（ｍ＞１）を用いて、対象車両の車種を判別する。Ｆｒａｍｅ１～ｍ－１（ｍ＞１）のうち、形状判別部１１が対象車両の車種を判別する精度（検出スコアとも呼ぶ）が最も高くなる１枚の画像を、第１画像と呼ぶ。上述したように、第１画像は、対象車両を第１の距離から撮影することによって得られる。また、形状判別部１１は、Ｆｒａｍｅ＿ｍ～ｎ（ｎ＞ｍ＞１）を用いて、対象車両の車種を判別する。Ｆｒａｍｅ＿ｍ～ｎ（ｎ＞ｍ＞１）のうち、形状判別部１１が対象車両の車種を判別する精度が最も高くなる１枚の画像を、第２画像と呼ぶ。第２画像は、対象車両を第２の距離から撮影することによって得られる。そして、第１の距離は第２の距離よりも遠い。なお、第１画像は、Ｆｒａｍｅ１～ｍ－１（ｍ＞１）のいずれかであればよい。第２画像は、Ｆｒａｍｅ＿ｍ～ｎ（ｎ＞ｍ＞１）のいずれかであればよい。

【0018】

カメラ２０は、対象車両を撮影することによって得た第１画像および第２画像を少なくとも含む複数の画像の画像データを、画像処理装置１０へ直接的または間接的に送信する。例えば、カメラ２０は、無線でインターネットに接続し、クラウドサーバ（図示せず）に画像データをアップロードする。画像処理装置１０は、クラウドサーバから、画像データをダウンロードしてから、画像データに対する画像処理をオフラインで行ってもよい。あるいは、画像処理装置１０は、オンラインで画像処理を行ってもよい。この場合、画像処理装置１０は、インターネット上にあるソフトウェアの機能（例えばＷｅｂサービス）として実現される。

【0019】

（画像処理装置１０）
図２は、本実施形態１に係わる画像処理装置１０の構成を示すブロック図である。図２に示すように、画像処理装置１０は、形状判別部１１、および分類部１２を備えている。

【0020】

形状判別部１１は、車両を撮影した画像から車両の外観のタイプを判別する。形状判別部１１は、形状判別手段の一例である。車両の外観のタイプは、バス型、トラック型、およびそれ以外（“ｎｏｒｍａｌ”と呼ぶ）の３つである。

【0021】

具体的には、形状判別部１１は、カメラ２０（図１）の視界から見た車両の見かけ上の変形および伸縮を考慮して、画像内での座標系を、実空間での座標系に変換する。これにより、形状判別部１１は、カメラ２０の視界から見た車両の見かけ上の変形および伸縮を補正し、実際の（変形していない）車両の形状および大きさを算出できる。そして、形状判別部１１は、実際の（変形していない）車両の形状および大きさに基づいて、車両の外観のタイプを判別することができる。

【0022】

次に、形状判別部１１は、図示しない記憶部から、車両の外観のタイプごとの特徴を学習した学習モデル（学習済モデルとも呼ぶ）を取得する。学習モデルは、学習済みパラメータを組み込まれた、プロセッサによって実行されるプログラムである。一例では、学習モデルは、大量の学習用データ（すなわちサンプル画像）を用いた機械学習を識別器が実行することによって生成される。識別器は、料金所ゲートに設置されたカメラ２０によって車両を撮影して得られたサンプル画像データを、学習モデルに入力する。識別器は、サンプル画像データを用いて、車両の外観の特徴を学習モデルに分析させ、車両の外観のタイプを学習モデルに学習させる。車両の外観の特徴とは、具体的には、車両の形状および大きさである。しかしながら、車両の外観の特徴は、それら以外の要素も含んでいてよい。

【0023】

形状判別部１１は、識別器により生成された学習モデルを受信する。あるいは、形状判別部１１は、学習モデルに学習させる識別器の機能を備えていてもよい。

【0024】

その後、形状判別部１１は、ある車両（以下では、対象車両と呼ぶ）を撮影した画像データに対し、上述した座標変換を行った後、座標変換された画像データを学習モデルに入力する。そして、形状判別部１１は、学習モデルの出力に基づいて、対象車両の外観のタイプを識別し、外観のタイプを示す情報を取得する。形状判別部１１は、対象車両の外観のタイプを示す情報を、分類部１２へ送信する。また、形状判別部１１は、カメラ２０から取得した画像データを、分類部１２へ送信する。

【0025】

形状判別部１１が分類部１２へ送信する画像データは、対象物体が撮影された第１画像および第２画像のデータを少なくとも含む。第１画像は、対象車両からカメラ２０が遠く離れているときにカメラ２０で撮影された画像であり、第２画像は、対象車両の近くから同じカメラ２０で撮影された画像である。言い換えれば、カメラ２０が第１画像（Ｆｒａｍｅ１～ｍ－１のいずれか）を撮影したときのカメラ２０と対象車両との第１の距離は、カメラ２０が第２画像（Ｆｒａｍｅ＿ｍ～ｎのいずれか）を撮影したときのカメラ２０と対象車両との第２の距離よりも遠い。なお、ここでの「近い」「遠い」は相対的な概念であって、具体的な距離の幅を示すものではない。

【0026】

分類部１２は、車両（ここでは対象車両）の外観のタイプに応じて、車両を異なる距離から撮影した複数の画像（ここでは動画の複数のフレーム画像）に基づいて、前記車両の車種を分類する。分類部１２は、分類手段の一例である。

【0027】

具体的には、分類部１２は、形状判別部１１から、対象車両の外観のタイプを示す情報を取得する。また、分類部１２は、形状判別部１１から、第１画像および第２画像を少なくとも含む複数の画像のデータを取得する。

【0028】

分類部１２は、対象車両の外観のタイプに応じて、車両を異なる距離から撮影した複数の画像（ここでは動画の複数のフレーム画像）のいずれかに基づいて、対象車両の車種を分類する。本実施形態１では、対象車両の車種は６つのＣｌａｓｓに分類される。

【0029】

図３は、Ｃｌａｓｓ１～６と車両の車種との対応関係を示す。図３に示す例では、Ｃｌａｓｓ１は、乗用車である。Ｃｌａｓｓ２は、小型トラック（２軸以下のトラック）である。Ｃｌａｓｓ３は、大型トラック（３軸以上のトラック）である。Ｃｌａｓｓ４はタクシーである。Ｃｌａｓｓ５は、バスである。Ｃｌａｓｓ６は、消防車およびパトカーなどの緊急車両である。

【0030】

対象車両の外観が「ｎｏｒｍａｌ」タイプである場合、分類部１２は、車両を第１の距離から撮影した第１画像に基づいて、対象車両の車種を分類する。また、対象車両の外観が「トラック型」である場合、分類部１２は、車両を第２の距離から撮影した第２画像に基づいて、対象車両の車種を分類する。一方、対象車両の外観が「バス型」である場合、分類部１２は、対象車両の車種はＣｌａｓｓ５（図３）に属すると分類する。

【0031】

具体的には、対象車両の外観が「ｎｏｒｍａｌ」タイプである場合、分類部１２は、対象車両の遠くから識別できる情報を、第１画像から抽出する。例えば、対象車両の遠くから識別できる情報は、対象車両のバンパーに装着されたナンバープレートに示される記号である。一方、対象車両の外観が「トラック型」である場合、分類部１２は、対象車両の近くから識別できる情報を、第２画像から抽出する。例えば、対象車両の近くから識別できる情報は、対象車両に装着されたホイールの形状である。

【0032】

なお、対象車両の外観が「トラック型」または「ｎｏｒｍａｌ」タイプである場合において、分類部１２が対象車両の車種を識別する手法の具体例を、実施形態２において後述する。しかしながら、分類部１２は、対象車両を第１の距離から撮影した第１画像に基づいて、どのような手法で対象車両の車種を識別してもよい。

【0033】

（本実施形態の効果）
本実施形態の構成によれば、形状判別部１１は、車両を撮影した画像から車両の外観のタイプを判別し、分類部１２は、車両の外観のタイプに応じて、車両を異なる距離から撮影した複数の画像に基づいて、車両の車種を分類する。

【0034】

関連する技術では、１枚の画像を用いて、対象車両を検知し、同じ画像を分析することによって、対象車両の車種を識別している。しかしながら、この方法では、画像中で、対象車両を識別するための情報が小さすぎたり、画像に映っていなかったりする場合がある。一方、本実施形態１に係わる画像処理装置１０は、車両の外観のタイプに応じて、車両を第１の距離から撮影した第１画像と、車両を第２の距離から撮影した第２画像とを使い分けるので、車両を撮影した画像から車種を判別する精度を向上させることができる。

【0035】

加えて、本実施形態に係わる撮像システムは、１台だけのカメラ２０で実現することができる。したがって、複数台のカメラで実現される撮像システムと比較して、カメラの設置に要するコストを削減でき、またメンテナンスコストも削減できるというメリットがある。さらに、撮像システムから画像処理装置１０へ送信される画像のデータ量も、関連する撮像システムよりも少ないので、通信に係るリソースを節約できる。

【0036】

〔実施形態２〕
図４～図８を参照して、実施形態２について以下で説明する。

【0037】

本実施形態２に係わる画像処理装置３０の構成は、前記実施形態１に係わる画像処理装置１０とは異なる。本実施形態２に係わる撮像システムの構成は、前記実施形態１と同様である。

【0038】

（画像処理装置３０）
図４は、本実施形態２に係わる画像処理装置３０の構成を示すブロック図である。図４に示すように、画像処理装置３０は、形状判別部３１および分類部３２を備えている。分類部３２は、ナンバープレート検出部３２１（以下では、ＮＰ（Number Plate）検出部３２１と記載する）、ホイール検出部３２２、および識別部３２３を備えている。

【0039】

形状判別部３１は、車両を撮影した画像から車両の外観のタイプを判別する。形状判別部３１は、形状判別手段の一例である。

【0040】

具体的には、形状判別部３１は、前記実施形態１の形状判別部１１と同様に、学習モデルを用いて、対象車両の外観のタイプを判別する。形状判別部３１は、対象車両を撮影した画像データを学習モデルに入力する。そして、形状判別部３１は、学習モデルの出力から、対象車両の外観のタイプを示す情報を取得する。外観の３つのタイプは、「ｎｏｒｍａｌ」（第１のタイプと呼ぶ）、「トラック型」（第２のタイプと呼ぶ）、および「バス型」（第３のタイプと呼ぶ）である。

【0041】

また、形状判別部３１は、カメラ２０（図１）から、第１画像および第２画像を少なくとも含む複数の画像のデータを取得する。前記実施形態１で説明したように、第１画像は、車両（ここでは対象車両）の遠くからカメラ２０で撮影された画像であり、第２画像は、車両の近くから同じカメラ２０で撮影された画像である。

【0042】

形状判別部３１は、第１画像（図４では、Ｆｒａｍｅ１）を分類部３２のＮＰ検出部３２１へ送信し、第２画像（図４では、Ｆｒａｍｅ２）を分類部３２のホイール検出部３２２へ送信する。なお、第１画像は、Ｆｒａｍｅ１～ｍ－１（ｍ＞１）のいずれかであればよい。第２画像は、Ｆｒａｍｅ＿ｍ～ｎ（ｎ＞ｍ＞１）のいずれかであればよい。

【0043】

図５は、形状判別部３１からＮＰ検出部３２１へ送信される第１画像の一例を示す。図５に例示する第１画像において、対象車両は斜め左下方向へ向かって通行している。第１画像中の枠は、対象車両に装着されたナンバープレートの領域を示す。

【0044】

図６は、形状判別部３１からホイール検出部３２２へ送信される第２画像の一例を示す。図６に例示する第２画像において、枠で囲んで示す領域Ｐ０は、対象車両全体の領域である。領域Ｐ１は、対象車両の側面（特にドアがある部分）の領域である。また領域Ｐ４、Ｐ５は、それぞれ、対象車両の前輪のホイール、後輪のホイールの各領域を示す。

【0045】

ＮＰ検出部３２１は、第１画像から車両（ここでは対象車両）のナンバープレートの領域（図５）を検出する。ＮＰ検出部３２１は、ナンバープレート検出手段の一例である。ナンバープレートは、当局に登録された自動車を識別するための標識である。一般的なナンバープレートには、記号（文字、符号、および数字を含む）が記載されている。ナンバープレートはライセンスプレートと呼ばれる場合もある。

【0046】

ホイール検出部３２２は、第２画像から車両（ここでは対象車両）のホイールの領域を検出する。ホイール検出部３２２は、ホイール検出手段の一例である。一例では、ホイール検出部３２２は、ホイールの特徴（例えば、形状、色、装飾）を学習した学習モデルを用いて、対象車両全体の領域Ｐ０から、前後のホイールの領域Ｐ４、Ｐ５を検出する。

【0047】

識別部３２３は、ナンバープレートの検出結果またはホイールの検出結果に基づいて、車両（ここでは対象車両）の車種を識別する。具体的には、対象車両の外観が第１のタイプである場合、識別部３２３は、ナンバープレートの検出結果に基づいて、対象車両の車種を識別し、対象車両の外観が第２のタイプである場合、識別部３２３は、ホイールの検出結果に基づいて、対象車両の車種を識別する。

【0048】

より詳細には、対象車両の外観が第１のタイプである場合、識別部３２３は、ナンバープレートに示された記号およびナンバープレートの色に基づいて、対象車両の車種を識別する。また、対象車両の外観が第２のタイプである場合、識別部３２３は、対象車両の車軸の数および対象車両のタイヤの数に基づいて、対象車両の車種を識別する。一方、対象車両の外観が第３のタイプである場合、識別部３２３は、対象車両がＣｌａｓｓ５（図３）に属すると識別する。

【0049】

（画像処理装置３０の動作）
図７を参照して、本実施形態２に係わる画像処理装置３０の動作について説明する。図７は、画像処理装置３０の各部が実行する処理の流れを示すフローチャートである。

【0050】

図７に示すように、まず、形状判別部３１は、カメラ２０から、第１画像および第２画像を少なくとも含む複数の画像のデータを取得する（Ｓ１）。

【0051】

形状判別部３１は、対象車両を撮影した画像から車両の外観のタイプを判別する（Ｓ２）。具体的には、形状判別部３１は、対象車両が「ｎｏｒｍａｌ」（第１のタイプ）であるか、「トラック型」（第２のタイプ）であるか、それとも「バス型」（第３のタイプ）であるかを判別する。

【0052】

形状判別部３１は、対象車両の外観のタイプの判別結果を、分類部３２の各部、すなわちＮＰ検出部３２１、ホイール検出部３２２、および識別部３２３へそれぞれ通知する。形状判別部３１は、カメラ２０から取得した画像データに含まれる第１画像のデータを、ＮＰ検出部３２１へ送信する。また、形状判別部３１は、カメラ２０から取得した画像データに含まれる第２画像のデータを、ホイール検出部３２２へ送信する。さらに、形状判別部３１は、第１画像および第２画像を少なくとも含む複数の画像のデータを、識別部３２３へ送信する。

【0053】

ＮＰ検出部３２１は、形状判別部３１から、対象車両の外観のタイプの判別結果を受信する。対象車両の外観が第１のタイプである場合（Ｓ２で“Ｚ”）、ＮＰ検出部３２１は、形状判別部３１から受信した第１画像から、対象車両のナンバープレートを検出する（Ｓ３）。

【0054】

その後、ＮＰ検出部３２１は、第１画像におけるナンバープレートの領域から、ナンバープレートに含まれる各種の記号（文字、符号、および数字を含む）を検出するとともに、ナンバープレートそのものの特徴（具体的には、記号および／または背景の色）を抽出する。ＮＰ検出部３２１は、このようにして取得したナンバープレートに係わる情報（図４では、ＮＰ情報）を識別部３２３へ送信する。ＮＰ情報は、ナンバープレートに示された記号、および、ナンバープレートの色に関する情報を含む。

【0055】

ホイール検出部３２２は、形状判別部３１から、対象車両の外観のタイプの判別結果を受信する。対象車両の外観が第２のタイプである場合（Ｓ２で“Ｘ”）、ホイール検出部３２２は、形状判別部３１から受信した第２画像から、対象車両のホイールの領域を検出する（Ｓ５）。

【0056】

その後、ホイール検出部３２２は、対象車両のホイールの数をカウントする（Ｓ６）。すなわち、ホイール検出部３２２は、第２画像に含まれるホイール領域の数をカウントする。ホイール検出部３２２は、対象車両のホイールの数を示す情報（図４ではホイール情報）を、識別部３２３へ送信する。

【0057】

識別部３２３は、形状判別部３１から、第１画像および第２画像を少なくとも含む複数の画像のデータを受信する。対象車両の外観が第２のタイプである場合（Ｓ２で“Ｘ”）、識別部３２３は、ホイール検出部３２２から、ホイール情報を受信する。識別部３２３は、ホイール情報に基づいて、対象車両の車軸は３つ以上であるかどうかを判定する（Ｓ７）。対象車両の車軸は３つ以上ある場合（Ｓ７でＹｅｓ）、識別部３２３は、対象車両がＣｌａｓｓ３（図３）に属すると識別する。

【0058】

一方、対象車両の車軸は２つ（すなわち３つ未満）である場合（Ｓ７でＮｏ）、識別部３２３は、第２画像のデータを画像分析することによって、対象車両のホイールに装着されたタイヤがダブルかシングルを判定する（Ｓ８）。ここで、ダブルタイヤ（ツインタイヤあるいはデュアルタイヤとも呼ばれる）は、一つのホイールに２つのタイヤが装着されていることを示す。一つあたりのタイヤに係る負荷を低減させるために、車重の大きい車両には、ダブルタイヤが装着される場合が多い。

【0059】

具体的には、ステップＳ８において、識別部３２３は、第２画像のデータから、対象車両のホイールの領域を検出し、ホイールに装着された外側のタイヤを検出する。そして、識別部３２３は、外側のタイヤよりも車体の内側に、外側のタイヤと近接するもう一つのタイヤがあるかどうかを判定する。外側のタイヤよりも車体の内側に、外側のタイヤと近接するもう一つのタイヤがある場合、識別部３２３は、対象車両がダブルタイヤを備えていると判定する。一方、外側のタイヤよりも車体の内側に、外側のタイヤと近接するもう一つのタイヤがない場合、識別部３２３は、対象車両がシングルタイヤを備えていると判定する。

【0060】

なお、外側のタイヤと内側のタイヤとの距離を正確に測定するために、識別部３２３は、前記実施形態１の形状判別部１１と同様に、カメラ２０の視界から見た車両の見かけ上の変形および伸縮を考慮して、第２画像内での座標系を、実空間での座標系に変換する必要があるかもしれない。あるいは、第２画像において、外側のタイヤの領域と内側のタイヤの領域とが部分的に重なっている場合、識別部３２３は、対象車両がダブルタイヤを備えていると判定してもよい。

【0061】

あるいは、ステップＳ８において、識別部３２３は、対象車両のホイールの形状に基づいて、対象車両のホイールに装着されたタイヤがシングルかダブルかを判定してもよい。一般的に、シングルタイヤは、側面が突出した凸形状のホイールに装着されている。一方、ダブルタイヤは、側面の中央部分が窪んだ凹形状のホイールに装着されている場合が多い。そこで、識別部３２３は、第２画像のデータから、ホイールの領域を検出し、検出したホイールの形状に関する特徴を抽出する。識別部３２３は、抽出したホイールの形状に関する特徴に基づいて、ホイールを凸形状または凹形状に分類する。そして、対象車両のホイールが凸形状である場合、識別部３２３は、対象車両がシングルタイヤを備えていると判定する。一方、対象車両のホイールが凹形状である場合、識別部３２３は、対象車両がダブルタイヤを備えていると判定する。

【0062】

ステップＳ８において、対象車両のホイールにダブルタイヤが装着されていると判定された場合（Ｓ８で“Ｄ”）、識別部３２３は、対象車両がＣｌａｓｓ２（図３）に属すると識別する。一方、ステップＳ８において、対象車両のホイールにシングルタイヤが装着されていると判定された場合（Ｓ８で“Ｓ”）、フローは、上述したステップＳ３へ移動する。

【0063】

また、対象車両の外観が第１のタイプである場合（Ｓ２で“Ｚ”）、識別部３２３は、ＮＰ検出部３２１から、ＮＰ情報を受信する。識別部３２３は、ＮＰ情報を参照し、ナンバープレートに示された記号およびナンバープレートの色に基づいて、対象車両の車種を識別する。

【0064】

具体的には、識別部３２３は、ナンバープレートに記号「ｚ」（小文字）が含まれるかどうか、ナンバープレート（背景色）が白色かどうか、をそれぞれ判定する（Ｓ４）。ナンバープレートに記号「ｚ」が含まれる場合（Ｓ４で“Ａ”）、識別部３２３は、対象車両がＣｌａｓｓ６（図３）に属すると識別する。また、ナンバープレート（背景色）が白色である場合（Ｓ４で“Ｂ”）、識別部３２３は、対象車両がＣｌａｓｓ４（図３）に属すると識別する。なお、ナンバープレートに記号「ｚ」が含まれており、かつ、ナンバープレート（背景色）が白色である場合、識別部３２３は、対象車両がＣｌａｓｓ６（図３）に属すると識別する。

【0065】

一例では、識別部３２３は、パターンマッチングの手法（すなわち、登録された図形との比較）により、ナンバープレートに記号「ｚ」が含まれるかどうかを判定する。また、識別部３２３は、第２画像におけるナンバープレートの領域の画素値に基づいて、ナンバープレート（背景色）が白色であるかどうかを判定する。

【0066】

それ以外の場合（Ｓ４で“Ｃ”）、すなわち、ナンバープレートに記号「ｚ」が含まれておらず、またナンバープレート（背景色）が白色でもない場合、図８に示されるフローのステップＳ２０１へ移動する。

【0067】

一方、対象車両の外観が第３のタイプである場合（Ｓ２で“Ｙ”）、識別部３２３は、対象車両がＣｌａｓｓ５（図３）に属すると識別する。

【0068】

図８は、ステップＳ４で“Ｃ”の場合における以降の処理の流れを示す。図８に示すように、識別部３２３は、第２画像から、対象車両の特徴を抽出する（Ｓ２０１）。ここでの特徴とは、対象車両の外装に顕れている特徴である。対象車両の特徴は、例えば、対象車両の外装に描かれた模様、色のパターン、記号またはその組み合わせである。他の例では、対象車両の特徴は、対象車両の外装に付着した標識または付帯した物体である。

【0069】

一例では、図６に示すように、識別部３２３は、第２画像から対象車両の全体領域Ｐ０を抽出する。さらに、識別部３２３は、対象車両の全体領域Ｐ０から、対象車両の側面の領域Ｐ１をさらに抽出する。そして、識別部３２３は、対象車両の側面の領域Ｐ１から、対象車両の特徴を抽出する。対象車両の属性や所属などを示す情報（例えば文字や紋章）は、対象車両の側面に示されている場合が多いからである。あるいは、識別部３２３は、対象車両の側面の領域Ｐ１の代わりに、対象車両のボンネットの領域や、対象車両の屋根の領域から、対象車両の特徴を抽出してもよい。

【0070】

識別部３２３は、ここで例示したような対象車両の外装に顕れている特徴に基づいて、対象車両の車種を識別する。識別部３２３は、まず、対象車両の外装に顕れている特徴に基づいて、対象車両の特徴が「バス」と合致するかどうかを判定する（Ｓ２０２）。例えば、識別部３２３は、あらかじめ登録された“ＢＵＳ”の各文字の標準形と、対象車両の外装に記載されている文字とをそれぞれパターンマッチングし、パターンマッチングの結果から、対象車両の外装に“ＢＵＳ”の文字が記載されているか否かを判定する。対象車両の外装に“ＢＵＳ”の文字が記載されている場合、識別部３２３は、対象車両の特徴が「バス」と合致すると判定する（Ｓ２０２でＹｅｓ）。

【0071】

あるいは、対象車両の外装の色のパターンが特定のカラーリングを示す場合、識別部３２３は、対象車両が「バス」に属すると判定する。この場合、識別部３２３は、公営および／または民営のバスのカラーリングを示す情報を、インターネット上から収集してもよいし、図示しない記憶部から、既知のバスのカラーリングを示す情報を取得してもよい。識別部３２３は、第２画像の画素値データから、対象車両の外装の色のパターンを識別し、対象車両の外装の色のパターンと、既知のバスのカラーリングとをマッチングすることによって、対象車両の外装の色のパターンがバスのカラーリングと一致するかどうかを判定する。そして、マッチングに成功した場合、識別部３２３は、対象車両の特徴が「バス」と合致すると判定する（Ｓ２０２でＹｅｓ）。

【0072】

対象車両の特徴が「バス」と合致する場合（Ｓ２０２でＹｅｓ）、識別部３２３は、対象車両がＣｌａｓｓ５に属すると識別する（図７）。

【0073】

一方、対象車両の特徴が「バス」と合致しない場合（Ｓ２０２でＮｏ）、識別部３２３は、対象車両の外装に顕れている特徴に基づいて、対象車両の特徴が「緊急車両」と合致するかどうかを続いて判定する（Ｓ２０３）。この場合、識別部３２３は、「緊急車両」を示す情報を、インターネット上から収集してもよいし、図示しない記憶部から、既知の「緊急車両」を示す情報を取得してもよい。例えば、識別部３２３は、第２画像における対象車両の側面の領域Ｐ１（図６）から、対象車両の外装に付着した標識または物体を検出し、対象車両の外装に付着した標識または物体の形状（輪郭および造形）と、警察や消防の紋章（対象車両の外装に付着した標識または物体の一例である）の形状とをマッチングする。警察や消防の紋章が対象車両の外装に付着している場合、識別部３２３は、対象車両の特徴が「緊急車両」と合致すると判定する（Ｓ２０３でＹｅｓ）。対象車両の特徴が「緊急車両」と合致する場合（Ｓ２０３でＹｅｓ）、識別部３２３は、対象車両がＣｌａｓｓ６に属すると識別する（図７）。

【0074】

一方、対象車両の特徴が「緊急車両」と合致しない場合（Ｓ２０３でＮｏ）、識別部３２３は、対象車両がＣｌａｓｓ１に属すると識別する。

【0075】

以上で、本実施形態２に係わる画像処理装置３０の動作は終了する。

【0076】

なお、本実施形態２では、タクシーが装着したナンバープレートは白色であると想定した。また、軍用車などの一部の緊急車両のナンバープレートには、記号「ｚ」（小文字）が記載されていると想定した。しかしながら、本実施形態２の構成は、様々な想定のもとで具現化できる。異なる想定の下では、画像処理装置３０の動作は当然に修正され得る。

【0077】

（変形例）
一変形例では、ステップＳ４で“Ｃ”の場合、識別部３２３は、図示しないイリーガルテーブルを参照する。イリーガルテーブルには、対象車両のナンバープレートに示された記号と、その記号と紐付いて登録された車両の車種との対応関係を表すリストが記載されている。識別部３２３は、対象車両のナンバープレートに示された記号がイリーガルテーブルに記載されているかどうかを判定する。対象車両のナンバープレートに示された記号がイリーガルテーブルに記載されている場合、識別部３２３は、イリーガルテーブルに記載された対応関係に基づいて、対象車両の車種を識別する。

【0078】

（本実施形態の効果）
本実施形態の構成によれば、形状判別部３１は、車両を撮影した画像から車両の外観のタイプを判別し、分類部３２は、車両の外観のタイプに応じて、車両を異なる距離から撮影した複数の画像に基づいて、車両の車種を分類する。

【0079】

より詳細には、分類部３２のナンバープレート検出部３２１は、第１画像から車両のナンバープレートを検出し、ホイール検出部３２２は、第２画像から車両のホイールの領域を検出し、識別部３２３は、ナンバープレートの検出結果またはホイールの検出結果に基づいて、車両の車種を識別する。

【0080】

このように、車両の外観のタイプに応じて、車両を第１の距離から撮影した第１画像と、車両を第２の距離から撮影した第２画像とを使い分けるので、車両を撮影した画像から車種を判別する精度を向上させることができる。

【0081】

〔ハードウェア構成について〕
前記実施形態１～２で説明した画像処理装置１０、３０の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図９に示すような情報処理装置９００により実現される。図９は、情報処理装置９００のハードウェア構成の一例を示すブロック図である。

【0082】

図９に示すように、情報処理装置９００は、一例として、以下のような構成を含む。

【0083】

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
前記実施形態１～２で説明した画像処理装置１０、３０の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。

【0084】

（本実施形態の効果）
本実施形態の構成によれば、前記実施形態１～２において説明した画像処理装置１０、３０が、ハードウェアとして実現される。したがって、前記実施形態１～２において説明した効果と同様の効果を奏することができる。

【0085】

〔付記〕
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0086】

（付記１）
車両を撮影した画像から前記車両の外観のタイプを判別する形状判別手段と、
前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する分類手段と
を備えた画像処理装置。

【0087】

（付記２）
前記形状判別手段は、前記車両の車種ごとの大きさおよび形状を機械学習した学習モデルを使用して、前記車両の外観のタイプを判別する
付記１に記載の画像処理装置。

【0088】

（付記３）
前記分類手段は、
前記第１画像から前記車両のナンバープレートを検出するナンバープレート検出手段と
前記第２画像から前記車両のホイールの領域を検出するホイール検出手段と、
前記ナンバープレートの検出結果または前記ホイールの検出結果に基づいて、前記車両の車種を識別する識別手段とを備えた
付記１または２に記載の画像処理装置。

【0089】

（付記４）
前記車両の外観が第１のタイプである場合、
前記識別手段は、
前記ナンバープレートに示された記号および前記ナンバープレートの色に基づいて、前記車両の車種を識別する
付記３に記載の画像処理装置。

【0090】

（付記５）
前記車両の外観が第２のタイプである場合、
前記識別手段は、
前記ホイールの検出結果から導かれる前記車両の車軸の数および前記車両のタイヤの数に基づいて、前記車両の車種を識別する
付記３に記載の画像処理装置。

【0091】

（付記６）
前記識別手段は、
前記車両の外装に顕れている特徴に基づいて、前記車両の車種を識別する
付記５に記載の画像処理装置。

【0092】

（付記７）
前記識別手段は、
前記車両の外装に描かれた模様、色のパターン、文字、記号、図形、符号またはその組み合わせに基づいて、前記車両の車種を識別する
付記６に記載の画像処理装置。

【0093】

（付記８）
前記識別手段は、
前記車両の外装に付着した標識または付帯した物体に基づいて、前記車両の車種を識別する
付記６に記載の画像処理装置。

【0094】

（付記９）
前記第１画像は、前記車両の遠くからカメラで撮影された画像であり、前記第２画像は、前記車両の近くから同じカメラで撮影された画像である
付記１から８のいずれか１項に記載の画像処理装置。

【0095】

（付記１０）
車両を撮影した画像から前記車両の外観のタイプを判別し、
前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類する
画像処理方法。

【0096】

（付記１１）
車両を撮影した画像から前記車両の外観のタイプを判別することと、
前記車両の外観のタイプに応じて、前記車両を異なる距離から撮影した複数の画像に基づいて、前記車両の車種を分類することと
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。

【0097】

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。上記実施形態（及び実施例）の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0098】

１０ 画像処理装置
１１ 形状判別部
１２ 分類部
２０ カメラ
３０ 画像処理装置
３１ 形状判別部
３２１ ナンバープレート検出部
３２２ ホイール検出部
３２３ 識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】