特開 2023-77052 変換装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023077052

(43)【公開日】2023-06-05

(54)【発明の名称】変換装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230529BHJP

   G08G 1/017 20060101ALI20230529BHJP

   G08G 1/04 20060101ALI20230529BHJP

【ＦＩ】

G06T7/00 650B

G08G1/017

G08G1/04 C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021190170

(22)【出願日】2021-11-24

(71)【出願人】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100124811

【弁理士】

【氏名又は名称】馬場 資博

(74)【代理人】

【識別番号】100088959

【弁理士】

【氏名又は名称】境 廣巳

(74)【代理人】

【識別番号】100097157

【弁理士】

【氏名又は名称】桂木 雄二

(74)【代理人】

【識別番号】100187724

【弁理士】

【氏名又は名称】唐鎌 睦

(72)【発明者】

【氏名】石田 州裕

(72)【発明者】

【氏名】山上 辰典

(72)【発明者】

【氏名】外村 彰英

(72)【発明者】

【氏名】栗田 泰智

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC04

5H181DD10

5H181EE07

5L096BA04

5L096DA02

5L096EA13

5L096EA14

5L096FA67

5L096FA69

5L096HA09

5L096JA03

5L096JA11

(57)【要約】

【課題】画像データに基づいて車種を照合することが難しいことがある。
【解決手段】変換装置４００は、車両の画像データに基づいて、車両の種類によらず形状が特定可能な箇所である基準箇所を抽出する抽出部４２１と、抽出部４２１が抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する算出部４２２と、算出部４２２が算出した変換パラメータを用いて車両の画像データを変換する変換部４２３と、を有する。
【選択図】図９

【特許請求の範囲】

【請求項1】

車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出する抽出部と、
前記抽出部が抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する算出部と、
前記算出部が算出した前記変換パラメータを用いて前記車両の画像データを変換する変換部と、
を有する変換装置。

【請求項2】

請求項１に記載の変換装置であって、
前記抽出部は、前記基準箇所として、ナンバープレートまたは後輪のうちの少なくとも一方を抽出する
変換装置。

【請求項3】

請求項１または請求項２に記載の変換装置であって、
前記算出部は、前記抽出部が抽出した前記基準箇所の形状を予め定められた形状に変換する際に必要となるホモグラフィ変換行列を前記変換パラメータとして算出する
変換装置。

【請求項4】

請求項１から請求項３までのうちのいずれか１項に記載の変換装置であって、
前記算出部は、前記抽出部が抽出したナンバープレートの形状を予め定められた矩形に変換する際に必要となる前記変換パラメータを算出する
変換装置。

【請求項5】

請求項４に記載の変換装置であって、
前記変換部は、前記算出部がナンバープレートの形状に基づいて算出した前記変換パラメータを用いて前記車両の画像データを変換することで、前記車両を正面方向から見た形状である正面に変換した正面画像を生成する
変換装置。

【請求項6】

請求項１から請求項５までのうちのいずれか１項に記載の変換装置であって、
前記算出部は、前記抽出部が抽出した後輪の形状である楕円を予め定められた円形に変換する際に必要となる前記変換パラメータを算出する
変換装置。

【請求項7】

請求項６に記載の変換装置であって、
前記変換部は、前記算出部が後輪の形状に基づいて算出した前記変換パラメータを用いて前記車両の画像データを変換することで、前記車両を側面方向から見た形状である側面形状に変換した側面画像を生成する
変換装置。

【請求項8】

請求項１から請求項７までのうちのいずれか１項に記載の変換装置であって、
前記変換部による変換の結果を用いて車種照合を行う照合部を有する
変換装置。

【請求項9】

情報処理装置が、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
変換方法。

【請求項10】

情報処理装置に、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
処理を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変換装置、変換方法、プログラムに関する。

【背景技術】

【0002】

画像データなどを用いて車種を照合する際に用いられる技術が知られている。

【0003】

例えば、特許文献１には、道路を走行する車両を撮影する撮影手段と、車両検知手段と、車幅算出手段と、あらかじめ車高、車長及び車幅で車種を分類した車高・車長算出手段と、車種分類データベースと、車種照合手段と、を有する車種判別装置が記載されている。特許文献１によると、車両検知手段は、車線を横断するラインであって、車両の進行方向に間隔を置いて少なくとも２つ設定される車両検知ラインを画素データとしてあらかじめ保持し、該保持された車両検知ラインデータと、前記撮像手段の画像データのうち車両検知ラインに対応する画素データとにより、車両検知ライン毎に車両を検知して車両検知信号を出力する。また、車幅算出手段は、車両検知手段により車両が検知されると、撮像手段の画像データのうち車両検知ラインに対応する画素データと車両検知ラインデータとに基づいて車幅を求める。同様に、車高・車長算出手段は、車両検知信号に基づいて、車両の高さ及び長さを算出する。そして、車種照合手段は、車高・車長算出手段で算出された車両の高さ及び長さと、車幅算出手段で算出された車幅と、車両分類データベースとを照合して、車種の判別を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００－１６３６９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の技術の場合、車高、車長、車幅のみに基づいて車種の照合を行っている。そのため、車高、車長、車幅などが近い車種を誤って照合してしまうおそれがある。このおそれは、例えば、車線内で車線方向に対して車両が傾いている際などにより顕著となる。

【0006】

また、より詳細な照合を行うためには、特徴量を用いたマッチングを行ったりディープラーニングなどを用いて車種を特定したりすることも考えられる。しかしながら、走行中の車両は、車線内において車線方向に対して傾いていることがある。そのため、例えばディープラーニングを用いて車種を特定するためには精巧な３Ｄモデルなどを用意することが必要となり、非常に手間がかかっていた。例えば、以上のように、画像データに基づいて車種を照合することが難しいことがある、という課題が生じていた。

【0007】

そこで、本発明の目的は、画像データに基づいて車種を照合することが難しいことがある、という課題を解決するための変換装置、変換方法、プログラムを提供することにある。

【課題を解決するための手段】

【0008】

かかる目的を達成するため本開示の一形態である変換装置は、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出する抽出部と、
前記抽出部が抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する算出部と、
前記算出部が算出した前記変換パラメータを用いて前記車両の画像データを変換する変換部と、
を有する
という構成をとる。

【0009】

また、本開示の他の形態である変換方法は、
情報処理装置が、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
という構成をとる。

【0010】

また、本開示の他の形態であるプログラムは、
情報処理装置に、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
処理を実現するためのプログラムである。

【発明の効果】

【0011】

上述したような各構成によると、検画像データに基づいて車種を的確に照合することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本開示の第１の実施形態における車種照合システムの一例を示す図である。

【図2】照合装置の構成例を示すブロック図である。

【図3】基準情報の一例を示す図である。

【図4】照合用情報の一例を示す図である。

【図5】照合装置による変換の一例を示す図である。

【図6】照合装置による変換の他の一例を示す図である。

【図7】照合装置の動作例を示すフローチャートである。

【図8】本開示の第２の実施形態における変換装置のハードウェア構成例を示す図である。

【図9】変換装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0013】

［第１の実施形態］
本開示の第１の実施形態について、図１から図７までを参照して説明する。図１は、車種照合システム１００の一例を示す図である。図２は、照合装置２００の構成例を示すブロック図である。図３は、基準情報２４１の一例を示す図である。図４は、照合用情報２４２の一例を示す図である。図５、図６は、照合装置２００による変換の一例を示す図である。図７は、照合装置２００の動作例を示すフローチャートである。

【0014】

本開示の第１の実施形態においては、図１で示すように、車両の画像データを取得して、取得した画像データを用いて撮像対象となった車両の車種を照合する車種照合システム１００について説明する。後述するように、車種照合システム１００は、画像データを取得すると、変換の基準となる基準箇所を画像データ中から抽出して、抽出した基準箇所を所定の形状に変換する際に必要となるホモグラフィ変換行列などの変換パラメータを算出する。また、車種照合システム１００は、算出した変換パラメータを用いて、画像データを変換する。例えば、車種照合システム１００は、変換パラメータで画像データ全体を行列計算することなどにより、画像データ内における車両の形状を正面から見た形状である正面形状に変換した正面画像や側面から見た形状である側面形状に変換した側面画像などを生成する。その後、車種照合システム１００は、生成した正面画像や側面画像を用いて、車種照合を行う。このように、車種照合システム１００は、基準箇所を用いた正規化処理を前処理として行ったうえで車種照合を行うよう構成されている。

【0015】

なお、後述するように、本実施形態における基準箇所とは、車種によらず形状が一定であると想定可能な車両中の一部の箇所のことを指す。例えば、基準箇所は、ナンバープレートや車輪などである。なお、車輪のうち前輪はハンドルの切り具合で向きが変わる。そのため、基準箇所としては、前輪よりも後輪の方が適している。

【0016】

図１は、車種照合システム１００全体の構成例を示している。図１を参照すると、車種照合システム１００は、例えば、画像データに基づく車種照合を行う照合装置２００と、走行中などの車両を撮像する撮像装置３００と、を含んでいる。図１で示すように、照合装置２００と撮像装置３００とは、例えば、ネットワークなどを介して互いに通信可能なよう接続されている。

【0017】

照合装置２００は、撮像装置３００が取得した画像データに基づいて、画像データ中の車両の種類である車種を照合する情報処理装置である。図２は、照合装置２００の構成例を示している。図２を参照すると、照合装置２００は、主な構成要素として、例えば、画面表示部２１０と、操作入力部２２０と、通信Ｉ／Ｆ部２３０と、記憶部２４０と、演算処理部２５０と、を有している。

【0018】

なお、図２では、１台の情報処理装置を用いて照合装置２００としての機能を実現する場合について例示している。しかしながら、照合装置２００は、例えば、クラウド上に実現されるなど、複数台の情報処理装置を用いて実現されてもよい。例えば、照合装置２００は、基準箇所を用いた車両形状の変換を行う変換装置として機能する情報処理装置と、変換装置が変換した結果を用いた照合を行う照合装置として機能する情報処理装置と、から構成されてもよい。また、照合装置２００は、操作入力部２２０を有さないなど上記例示した構成の一部を有さなくてもよいし、上記例示した以外の構成を有してもよい。

【0019】

画面表示部２１０は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、液晶ディスプレイ）などの画面表示装置からなる。画面表示部２１０は、演算処理部２５０からの指示に応じて、記憶部２４０に格納された各種情報などを画面表示することが出来る。

【0020】

操作入力部２２０は、キーボードやマウスなどの操作入力装置からなる。操作入力部２２０は、照合装置２００を操作するオペレータの操作を検出して演算処理部２５０に出力する。

【0021】

通信Ｉ／Ｆ部２３０は、データ通信回路からなる。通信Ｉ／Ｆ部２３０は、通信回線を介して接続された外部装置などとの間でデータ通信を行う。

【0022】

記憶部２４０は、ハードディスクやメモリなどの記憶装置である。記憶部２４０は、演算処理部２５０における各種処理に必要な処理情報やプログラム２４５を記憶する。プログラム２４５は、演算処理部２５０に読み込まれて実行されることにより各種処理部を実現する。プログラム２４５は、通信Ｉ／Ｆ部２３０などのデータ入出力機能を介して外部装置や記録媒体から予め読み込まれ、記憶部２４０に保存されている。記憶部２４０で記憶される主な情報としては、例えば、基準情報２４１、照合用情報２４２、画像情報２４３、変換後情報２４４などがある。

【0023】

基準情報２４１は、基準箇所の形状を示す情報など、変換の基準となる基準箇所についての情報を含んでいる。例えば、基準情報２４１は、通信Ｉ／Ｆ部２３０などを介して外部装置などから予め取得され、または、操作入力部２２０などを用いて予め入力され、記憶部２４０に格納されている。

【0024】

図３は、基準情報２４１の一例を示している。図３を参照すると、基準情報２４１には、基準箇所であるナンバープレートの形状を示す情報などが含まれている。具体的には、例えば、基準情報２４１には、大板や中板などのナンバープレートの種類を示す種類情報、大板や中板の条件を示す条件情報、矩形である旨や「４４ｃｍ×２２ｃｍ」など矩形の大きさを含む形状を示す形状情報、などが含まれている。なお、基準情報２４１には、上記例示した情報のうちの一部のみが含まれてもよいし、上記例示した情報以外の情報が含まれてもよい。例えば、基準情報２４１には、真円などの円の形状、タイヤの大きさを示す情報など、後輪の形状などナンバープレート以外の基準箇所についての情報が含まれてもよい。

【0025】

照合用情報２４２は、照合処理を行う際に活用可能な情報を含んでいる。例えば、照合用情報２４２は、通信Ｉ／Ｆ部２３０などを介して予め取得され、または、操作入力部２２０などを用いて予め入力され、記憶部２４０に格納されている。

【0026】

図４は、照合用情報２４２の一例を示している。図４を参照すると、照合用情報２４２には、例えば、車種ごとの特徴量を示す情報が含まれている。例えば、特徴量には、車両を正面から見た際の特徴量である正面特徴量や車両を側面から見た際の特徴量である側面特徴量などのうちの少なくとも一方が含まれる。

【0027】

なお、照合用情報２４２に含まれる情報は、後述する車種照合部２５５が行う照合方法に応じたものであってよい。例えば、車種照合部２５５が特徴量マッチングの代わりにテンプレートマッチングを行う場合、照合用情報２４２には特徴量の代わりに、または、特徴量と共に、車種ごとのテンプレート画像などを含むことが出来る。また、車種照合部２５５がディープラーニングなどを用いて予め学習したモデルを用いた照合を行う場合、照合用情報２４２は、車種名をラベル付けした特徴量などを入力として予め教師あり学習を行うことで生成したモデルなどであってよい。照合用情報２４２は、上記例示した以外の照合用の情報などであってもよい。

【0028】

画像情報２４３には、撮像装置３００が取得した車両の画像データが含まれている。例えば、画像情報２４３は、画像データ受信部２５１が撮像装置３００から画像データを受信するごとに更新される。

【0029】

変換後情報２４４は、後述する変換部２５４による変換後の画像データが含まれている。例えば、変換後情報２４４には、車両の正面画像、または、側面画像のうちの少なくとも一方が含まれる。例えば、変換後情報２４４は、変換部２５４による変換が行われるごとに更新される。

【0030】

演算処理部２５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置とその周辺回路を有する。演算処理部２５０は、記憶部２４０からプログラム２４５を読み込んで実行することにより、上記ハードウェアとプログラム２４５とを協働させて各種処理部を実現する。演算処理部２５０で実現される主な処理部としては、例えば、画像データ受信部２５１、基準箇所抽出部２５２、パラメータ算出部２５３、変換部２５４、車種照合部２５５、出力部２５６などがある。

【0031】

画像データ受信部２５１は、撮像装置３００から画像データを受信する。また、画像データ受信部２５１は、受信した画像データを画像情報２４３として記憶部２４０に格納する。

【0032】

基準箇所抽出部２５２は、画像情報２４３に含まれる画像データ内から基準箇所を抽出する。基準箇所抽出部２５２は、既知の手段を用いて、画像データからナンバープレートや後輪などの基準箇所を抽出してよい。

【0033】

例えば、基準箇所抽出部２５２は、ＹＯＬＯ（You Only Look Once）などの物体検出アルゴリズムを用いて、基準箇所であるナンバープレートを抽出する。基準箇所抽出部２５２は、ＯｐｅｎＣＶ（Open Source Computer Vision Library）などを用いて作成した物体検出器を用いてナンバープレートを抽出するなど、そのほか既知の手法を用いて基準箇所であるナンバープレートを抽出してもよい。

【0034】

また、基準箇所抽出部２５２は、ナンバープレートの場合と同様に、ＹＯＬＯやＯｐｅｎＣＶなどを利用して基準箇所である後輪を抽出することが出来る。

【0035】

なお、基準箇所抽出部２５２は、画像情報２４３に含まれる画像データ内からナンバープレートと後輪の両方を抽出するよう構成してもよいし、ナンバープレートと後輪のうちのいずれか一方のみを抽出するよう構成してもよい。例えば、基準箇所抽出部２５２は、画像データ内からナンバープレートを抽出できない場合に後輪を抽出する、または、後輪を抽出できない場合にナンバープレートを抽出するように構成してもよい。

【0036】

パラメータ算出部２５３は、基準箇所抽出部２５２が抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する。例えば、パラメータ算出部２５３は、基準箇所抽出部２５２が抽出したナンバープレートや後輪などの形状を基準情報２４１が示す予め定められた形状に変換する際に必要となる変換パラメータを算出する。換言すると、パラメータ算出部２５３は、基準箇所抽出部２５２が抽出した画像データ内における基準箇所の形状を、基準箇所ごとに予め定められている所定の形状に変換する際に必要となる変換パラメータを算出する。

【0037】

例えば、パラメータ算出部２５３は、画像データ中のナンバープレートの形状を基準情報２４１が示す矩形に変換する際に必要となる変換パラメータを算出する。この際、パラメータ算出部２５３は、大板の形状と中板の形状のうちのいずれを用いるかを任意の手段により決定してよい。また、パラメータ算出部２５３は、画像データ中の後輪の形状である楕円などを基準情報２４１が示す円形（例えば、真円）に変換する際に必要となる変換パラメータを算出する。

【0038】

一例として、パラメータ算出部２５３は、変換パラメータとしてホモグラフィ変換行列を算出する。パラメータ算出部２５３は、既知の手段を用いてホモグラフィ変換行列を算出してよい。例えば、パラメータ算出部２５３は、抽出したナンバープレートなどの基準箇所の座標と、基準情報２４１が示す形状に応じた座標と、を用いた連立方程式を解くことなどにより、ホモグラフィ変換行列を算出することが出来る。

【0039】

なお、基準箇所抽出部２５２がナンバープレートと後輪の両方を抽出していた場合、パラメータ算出部２５３は、それぞれについてホモグラフィ変換行列などの変換パラメータを算出してよい。基準箇所抽出部２５２は、予め定められた条件などに従っていずれか一方のみの変換パラメータを算出してもよい。

【0040】

変換部２５４は、パラメータ算出部２５３が算出した変換パラメータを用いた計算を行うことで、画像データ中の車両の形状を変換する。

【0041】

例えば、変換部２５４は、ナンバープレートの形状に基づいてパラメータ算出部２５３が算出した変換パラメータで画像全体に対して行列計算することで、画像データ中の車両の形状を正面から見た形状である正面形状に変換した正面画像を生成する。そして、変換部２５４は、生成した正面画像を変換後情報２４４として記憶部２４０に格納する。

【0042】

また、例えば、変換部２５４は、後輪の形状に基づいてパラメータ算出部２５３が算出した変換パラメータで画像全体に対して行列計算することで、画像データ中の車両の形状を側面から見た形状である側面形状に変換した側面画像を生成する。そして、変換部２５４は、生成した側面画像を変換後情報２４４として記憶部２４０に格納する。

【0043】

なお、変換部２５４は、画像データ全体に対して行列計算を行ってもよいし、車両全体や車両の前方部分、側面部分など車両全体のうち条件を満たす一部分などを画像データから抽出して抽出した部分について行列計算を行ってもよい。なお、抽出方法は、基準箇所の場合と同様にＹＯＬＯなどの物体検出アルゴリズムを用いるなど、既知の手段を用いてよい。

【0044】

車種照合部２５５は、変換部２５４による変換の結果を用いて車種照合を行う。車種照合部２５５は、既知の手段を用いて照合を行ってよい。

【0045】

例えば、車種照合部２５５は、照合用情報２４２として格納された車種ごとの特徴量を用いて特徴量マッチングを行うことで、車種を照合することが出来る。例えば、車種照合部２５５は、変換部２５４が変換した後の正面画像や側面画像を用いて車両の特徴量を算出する。そして、車種照合部２５５は、算出した特徴量と、照合用情報２４２として格納された車種ごとの特徴量との比較を行うことで、車種を照合する。一例として、車種照合部２５５は、照合用情報２４２として格納された車種ごとの特徴量のうち、画像データに基づいて算出した特徴量と最も類似度が高くなる特徴量を有する車種を画像データ中の車両の種類であるとして特定することが出来る。なお、車種照合部２５５は、照合用情報２４２として格納された車種ごとのテンプレート画像を用いてテンプレートマッチングを行うことで、車種を照合してもよい。また、車種照合部２５５は、事前に学習されたモデルを用いて車種照合を行ってもよい。

【0046】

なお、特徴量マッチングやテンプレートマッチングなどで類似する車種を特定できなかった場合、車種照合部２５５は、新車情報の登録を要求する情報を画面表示部２１０に表示したり通信Ｉ／Ｆ部２３０を介して外部装置へと送信したりすることが出来る。車種照合部２５５は、上記要求に応じて取得した情報などを用いて再度特徴量マッチングやテンプレートマッチングなどの照合処理を行ってもよい。

【0047】

また、変換部２５４が正面画像と側面画像をともに生成している場合、車種照合部２５５は、正面画像に基づく照合と側面画像に基づく照合とを共に行うことが出来る。車種照合部２５５は、正面画像と側面画像とがある場合、それぞれについて照合を行ってもよいし、いずれか一方についてのみ照合を行ってもよい。また、正面画像と側面画像のそれぞれについて照合を行う場合、車種照合部２５５は、任意の手段で最終的に特定する車種を決定してよい。例えば、車種照合部２５５は、正面画像に基づく照合と側面画像に基づく照合とのうちより類似度が高いと判断された照合の結果を採用してもよいし、そのほか任意の手段で最終的な車種を決定してもよい。

【0048】

また、車種照合部２５５は、例えば、輝度などに基づいて画像データ内の車両のエッジを検出するエッジ検出を行うなど画像データ内におけるノイズ除去を行ったうえで照合処理を行ってもよい。車種照合部２５５は、そのほか任意の前処理を行ったうえで照合処理を行ってもよい。

【0049】

出力部２５６は、車種照合部２５５による照合の結果などを出力する。例えば、出力部２５６は、車種照合部２５５が特定した車種を示す情報などを画面表示部２１０上に表示させたり、通信Ｉ／Ｆ部２３０を介して外部装置に対して送信したりする。出力部２５６は、車種照合部２５５による照合の結果とともに、画像情報２４３や変換後情報２４４に含まれる画像データなどを表示・出力してもよい。

【0050】

以上が、照合装置２００の構成例である。例えば、以上説明したように、照合装置２００は、画像データを取得すると、図５で示すように、基準箇所であるナンバープレートを画像データ中から抽出して、抽出したナンバープレートを予め定められた形状に変換する際に必要となるホモグラフィ変換行列を算出する。また、照合装置２００は、算出した変換パラメータを用いて、画像データを変換する。これにより、画像データ中の車両の形状（姿勢）を、正面から見た際の形状に変換する。照合装置２００は、上記例示したような前処理を行ったうえで、照合処理を行うことになる。または、図６で示すように、照合装置２００は、基準箇所である後輪を画像データ中から抽出して、抽出した後輪を予め定められた形状に変換する際に必要となるホモグラフィ変換行列を算出する。また、照合装置２００は、算出した変換パラメータを用いて、画像データを変換する。これにより、画像データ中の車両の形状（姿勢）を、側面から見た際の形状に変換する。照合装置２００は、上記例示したような前処理を行ったうえで、照合処理を行ってもよい。例えば、以上のように、照合装置２００は、図５で例示した処理と図６で例示した処理のうちの少なくとも一方を行うことが出来る。

【0051】

撮像装置３００は、車の画像データを取得する装置である。撮像装置３００は、例えば、監視カメラなどの画像データを取得する装置であり、道路脇などの所定箇所に予め設置されている。撮像装置３００は、取得した画像データを、ネットワークなどを介して照合装置２００に対して送信することが出来る。

【0052】

以上が、車種照合システム１００の構成例である。なお、撮像装置３００が照合装置２００としての機能を有していてもよい。続いて、図７を参照して、照合装置２００の動作例について説明する。

【0053】

図７は、照合装置２００の動作例を示すフローチャートである。図７を参照すると、画像データ受信部２５１は、撮像装置３００から画像データを受信する（ステップＳ１０１）。

【0054】

基準箇所抽出部２５２は、画像データ内から基準箇所を抽出する（ステップＳ１０２）。基準箇所抽出部２５２は、既知の手段を用いて、画像データからナンバープレートや後輪などの基準箇所を抽出してよい。

【0055】

パラメータ算出部２５３は、基準箇所抽出部２５２が抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する（ステップＳ１０３）。換言すると、パラメータ算出部２５３は、基準箇所抽出部２５２が抽出したナンバープレートや後輪などの形状を基準情報２４１が示す予め定められた形状に変換する際に必要となるホモグラフィ変換行列などの変換パラメータを算出する。

【0056】

変換部２５４は、パラメータ算出部２５３が算出した変換パラメータを用いた計算を行うことで、画像データ中の車両の形状を変換する（ステップＳ１０４）。変換部２５４は、画像全体に対して行列計算を行ってもよいし、車両全体、または、車両の前方または側方などの変換後の形状に応じた全体を抽出して行列計算を行ってもよい。

【0057】

車種照合部２５５は、変換部２５４による変換の結果を用いて車種照合を行う（ステップＳ１０５）。車種照合部２５５は、特徴量マッチングやテンプレートマッチングなど既知の手段を用いて照合を行ってよい。

【0058】

以上が、照合装置２００の動作例である。なお、出力部２５６は、ステップＳ１０５の処理の後、車種照合部２５５による照合の結果などを出力することが出来る。

【0059】

このように、照合装置２００は、基準箇所抽出部２５２とパラメータ算出部２５３と変換部２５４と車種照合部２５５とを有している。このような構成によると、変換部２５４は、基準箇所抽出部２５２が抽出した基準箇所の形状に基づいてパラメータ算出部２５３が用いた変換パラメータを用いて画像データを変換することが出来る。その結果、車種照合部２５５は、変換後の画像データに基づいて照合処理を行うことが出来る。これにより、正規化された状態で照合処理を行うことが可能となるため、画像データ中の車両が傾いている状態などであったとしても、当該状態を補完したうえで照合処理を行うことが出来る。その結果、より的確に画像データに基づいて車種を照合することが出来る。つまり、上記構成によると、特徴量マッチングの弱点である３Ｄ垂直回転やテンプレートマッチングの弱点である回転・変形などをある程度補完したうえで車種を照合することが出来るため、より的確な照合を行うことが出来る。

【0060】

［第２の実施形態］
次に、図８、図９を参照して、本開示の第２の実施形態について説明する。本開示の第２の実施形態では、情報処理装置である変換装置４００の構成の概要について説明する。

【0061】

図８は、変換装置４００のハードウェア構成例を示している。図８を参照すると、変換装置４００は、一例として、以下のようなハードウェア構成を有している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０３（記憶装置）
・ＲＡＭ４０３にロードされるプログラム群４０４
・プログラム群４０４を格納する記憶装置４０５
・情報処理装置外部の記録媒体４１０の読み書きを行うドライブ装置４０６
・情報処理装置外部の通信ネットワーク４１１と接続する通信インタフェース４０７
・データの入出力を行う入出力インタフェース４０８
・各構成要素を接続するバス４０９

【0062】

また、変換装置４００は、プログラム群４０４をＣＰＵ４０１が取得して当該ＣＰＵ４０１が実行することで、図９に示す抽出部４２１、算出部４２２、変換部４２３としての機能を実現することが出来る。なお、プログラム群４０４は、例えば、予め記憶装置４０５やＲＯＭ４０２に格納されており、必要に応じてＣＰＵ４０１がＲＡＭ４０３などにロードして実行する。また、プログラム群４０４は、通信ネットワーク４１１を介してＣＰＵ４０１に供給されてもよいし、予め記録媒体４１０に格納されており、ドライブ装置４０６が該プログラムを読み出してＣＰＵ４０１に供給してもよい。

【0063】

なお、図８は、変換装置４００のハードウェア構成例を示している。変換装置４００のハードウェア構成は上述した場合に限定されない。例えば、変換装置４００は、ドライブ装置４０６を有さないなど、上述した構成の一部から構成されてもよい。

【0064】

抽出部４２１は、車両の画像データに基づいて、車両の種類によらず形状が特定可能な箇所である基準箇所を抽出する。

【0065】

算出部４２２は、抽出部４２１が抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する。例えば、算出部４２２は、変換パラメータとしてホモグラフィ変換行列を算出する。

【0066】

変換部４２３は、算出部４２２が算出した変換パラメータを用いて車両の画像データを変換する。例えば、変換部４２３は、変換パラメータを用いた行列計算を行うことで、車両を正面形状に変換した正面画像や車両を側面形状に変換した側面画像を生成する。

【0067】

このように、変換装置４００は、抽出部４２１と算出部４２２と変換部４２３とを有している。このような構成によると、変換部４２３は、抽出部４２１が抽出した基準箇所の形状に基づいて算出部４２２が算出した変換パラメータを用いて車両の画像データを変換することが出来る。その結果、変換後の画像データに基づいて照合処理を行うことが可能となる。これにより、より適切に照合を行うことが可能となる。

【0068】

なお、上述した変換装置４００などの情報処理装置は、当該情報処理装置に所定のプログラムが組み込まれることで実現できる。具体的に、本発明の他の形態であるプログラムは、情報処理装置に、車両の画像データに基づいて、車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、算出した変換パラメータを用いて車両の画像データを変換する、処理を実現するためのプログラムである。

【0069】

また、上述した情報処理装置により実行される変換方法は、情報処理装置が、車両の画像データに基づいて、車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、抽出した基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、算出した変換パラメータを用いて車両の画像データを変換する、というものである。

【0070】

上述した構成を有する、プログラム（又は記録媒体）、又は、変換方法などの発明であっても、上述した変換装置４００と同様の作用・効果を有するために、上述した本発明の目的を達成することが出来る。

【0071】

＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における変換装置などの概略を説明する。但し、本発明は、以下の構成に限定されない。

【0072】

（付記１）
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出する抽出部と、
前記抽出部が抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出する算出部と、
前記算出部が算出した前記変換パラメータを用いて前記車両の画像データを変換する変換部と、
を有する変換装置。
（付記２）
付記１に記載の変換装置であって、
前記抽出部は、前記基準箇所として、ナンバープレートまたは後輪のうちの少なくとも一方を抽出する
変換装置。
（付記３）
付記１または付記２に記載の変換装置であって、
前記算出部は、前記抽出部が抽出した前記基準箇所の形状を予め定められた形状に変換する際に必要となるホモグラフィ変換行列を前記変換パラメータとして算出する
変換装置。
（付記４）
付記１から付記３までのうちのいずれか１項に記載の変換装置であって、
前記算出部は、前記抽出部が抽出したナンバープレートの形状を予め定められた矩形に変換する際に必要となる前記変換パラメータを算出する
変換装置。
（付記５）
付記４に記載の変換装置であって、
前記変換部は、前記算出部がナンバープレートの形状に基づいて算出した前記変換パラメータを用いて前記車両の画像データを変換することで、前記車両を正面方向から見た形状である正面形状に変換した正面画像を生成する
変換装置。
（付記６）
付記１から付記５までのうちのいずれか１項に記載の変換装置であって、
前記算出部は、前記抽出部が抽出した後輪の形状である楕円を予め定められた円形に変換する際に必要となる前記変換パラメータを算出する
変換装置。
（付記７）
付記６に記載の変換装置であって、
前記変換部は、前記算出部が後輪の形状に基づいて算出した前記変換パラメータを用いて前記車両の画像データを変換することで、前記車両を側面方向から見た形状である側面形状に変換した側面画像を生成する
変換装置。
（付記８）
付記１から付記７までのうちのいずれか１項に記載の変換装置であって、
前記変換部による変換の結果を用いて車種照合を行う照合部を有する
変換装置。
（付記９）
情報処理装置が、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
変換方法。
（付記１０）
情報処理装置に、
車両の画像データに基づいて、前記車両の種類によらず形状が特定可能な箇所である基準箇所を抽出し、
抽出した前記基準箇所の形状を所定の形状に変換する際に必要となる変換パラメータを算出し、
算出した前記変換パラメータを用いて前記車両の画像データを変換する
処理を実現するためのプログラム。

【0073】

なお、上記各実施形態及び付記において記載したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されていたりする。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。

【0074】

以上、上記各実施形態を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることが出来る。

【符号の説明】

【0075】

１００ 車種照合システム
２００ 照合装置
２１０ 画面表示部
２２０ 操作入力部
２３０ 通信Ｉ／Ｆ部
２４０ 記憶部
２４１ 基準情報
２４２ 照合用情報
２４３ 画像情報
２４４ 変換後情報
２４５ プログラム
２５０ 演算処理部
２５１ 画像データ受信部
２５２ 基準箇所抽出部
２５３ パラメータ算出部
２５４ 変換部
２５５ 車種照合部
２５６ 出力部
３００ 撮像装置
４００ 変換装置
４０１ ＣＰＵ
４０２ ＲＯＭ
４０３ ＲＡＭ
４０４ プログラム群
４０５ 記憶装置
４０６ ドライブ装置
４０７ 通信インタフェース
４０８ 入出力インタフェース
４０９ バス
４１０ 記録媒体
４１１ 通信ネットワーク
４２１ 抽出部
４２２ 算出部
４２３ 変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】