特許 6829575 画像処理装置、画像処理システム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6829575

(24)【登録日】2021年1月26日

(45)【発行日】2021年2月10日

(54)【発明の名称】画像処理装置、画像処理システム及び画像処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210128BHJP

   G06K 9/32 20060101ALI20210128BHJP

   G06K 9/20 20060101ALI20210128BHJP

   G06K 9/00 20060101ALI20210128BHJP

   G08G 1/017 20060101ALI20210128BHJP

   G08G 1/04 20060101ALI20210128BHJP

   G06N 3/08 20060101ALI20210128BHJP

   G06T 3/00 20060101ALI20210128BHJP

【ＦＩ】

   G06T7/00 350C

   G06K9/32

   G06K9/20 340J

   G06K9/00 S

   G08G1/017

   G08G1/04 C

   G06N3/08

   G06T3/00 700

【請求項の数】8

【全頁数】22

(21)【出願番号】特願2016-195984(P2016-195984)

(22)【出願日】2016年10月3日

(65)【公開番号】特開2018-60296(P2018-60296A)

(43)【公開日】2018年4月12日

【審査請求日】2019年9月12日

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】石田 良介

(72)【発明者】

【氏名】黒岩 素子

(72)【発明者】

【氏名】後藤 雅典

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１６−１５３９８４（ＪＰ，Ａ）

【文献】 特開２０１３−３３４０６（ＪＰ，Ａ）

【文献】 特開２０１２−２１２３４６（ＪＰ，Ａ）

【文献】 特開平１０−１１５７６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０７３１９８（ＷＯ，Ａ１）

【文献】 大場慎平, 外３名，“局所特徴を利用したナンバープレート検出”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，２０１０年 ２月１１日，第１０９巻, 第４１８号，p.1-6

【文献】 藤吉弘亘, 外１名，“ナンバープレートの位置検出法の評価”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，１９９３年 ７月 ９日，第９３巻, 第１３４号，p.45-52

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０６Ｋ ９／００

Ｇ０６Ｋ ９／２０

Ｇ０６Ｋ ９／３２

Ｇ０６Ｎ ３／０８

Ｇ０６Ｔ ３／００

Ｇ０８Ｇ １／０１７

Ｇ０８Ｇ １／０４

(57)【特許請求の範囲】

【請求項1】

表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成部と、
前記学習用画像と該学習用画像における４つの基準点を用いて教師有り学習を行った多層ニューラルネットワークと、
表示板を含む入力画像を取得する入力画像受付部と、
前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定部と、
前記対応点特定部により特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成部と
を備えたことを特徴とする画像処理装置。

【請求項2】

前記正面画像生成部により生成された正面画像に含まれる文字を文字認識する文字認識部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記多層ニューラルネットワークは、所定の撮像装置により前記表示板を撮像した実画像の一部の情報を欠落させた第１の学習用画像を射影変換した学習用画像と、前記学習用画像における４つの基準点とを入力情報として教師有り学習を行うことを特徴とする請求項１又は２に記載の画像処理装置。

【請求項4】

前記表示板の種別を識別する種別識別部をさらに備えたことを特徴とする請求項１〜３のいずれか一つに記載の画像処理装置。

【請求項5】

前記対応点特定部は、前記入力画像受付部により取得された入力画像から生成された濃淡画像である解析用画像を前記多層ニューラルネットワークに投入することを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。

【請求項6】

前記表示板は、車両の登録番号を示すナンバープレート又は道路標識であることを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。

【請求項7】

表示板を含む画像を処理する画像処理システムであって、
前記表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成部と、
前記学習用画像と該学習用画像における４つの基準点を用いて教師有り学習を行った多層ニューラルネットワークと、
表示板を含む入力画像を取得する入力画像受付部と、
前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定部と、
前記対応点特定部により特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成部と
を備えたことを特徴とする画像処理システム。

【請求項8】

表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成ステップと、
前記学習用画像と該学習用画像における４つの基準点を用いて多層ニューラルネットワークに教師有り学習を実行させるステップと、
表示板を含む入力画像を取得する入力画像取得ステップと、
前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定ステップと、
前記対応点特定ステップにより特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成ステップと
を含んだことを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、様々な異なる状況で撮像された表示板の画像を、正面から撮像した場合に相当する画像（以下、「正面画像」と言う）に効率的かつ精度良く変換することができる画像処理装置、画像処理システム及び画像処理方法に関する。

【背景技術】

【0002】

従来、車両に取り付けられたナンバープレートや道路に配設された道路標識等の表示板を撮像して読み取る技術が知られている。例えば、全国的、地域的又は都市内において、骨格的な道路網を形成する道路（以下、「幹線道路」と言う）を通行する車両、有料道路の料金所を通過する車両、駐車場に出入りする車両などの車両番号を読み取るために、車両に付されたナンバープレートを撮像し、撮像されたナンバープレートを含む画像データに表記された車両番号を読み取る装置が設置されている。

【0003】

例えば、特許文献１には、画像中のナンバープレートの位置に応じてあらかじめ座標変換パラメータを記憶しておき、画像中のナンバープレートの位置を検出したならば、その位置に応じた座標変換パラメータでナンバープレート部分の画像の座標変換を行い，ナンバープレートの正面画像を得る技術が開示されている。このようにナンバープレート部分を正面画像に変換してから認識処理を行うことで、認識処理の精度を向上させることができる。

【0004】

また、特許文献２には、撮像装置に対する車両の走行方向に応じて、ナンバープレートを撮像した画像を回転させるとともに、拡大補正を行って、ナンバープレートの番号を認識する技術が開示されている。さらに、特許文献３には、ナンバープレートを撮像した画像から、プレート止め２つ及び最も右側の数字を含む４点を検出し、この４点を用いて座標変換を行って、正面から見たナンバープレートの画像を取得する技術が開示されている。

【0005】

また、特許文献４には、正面から撮像された画像ではない場合や樹木等により道路標識の一部が隠されて図形成分が欠落している場合に、ニューラルネットワークを利用して学習機能を付加し、図形成分の欠落、変形に対して正しく道路標識を抽出できるように学習を行わせる点に言及されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平７−１１４６８８号公報

【特許文献2】特許第４６７０７２１号公報

【特許文献3】特開２０１５−３２０８７号公報

【特許文献4】特許第４７６２０２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記特許文献１のものは、車両の進入方向が限定されており、進入方向が変化する場合に適用することができない。また、上記特許文献２のものは、上記特許文献１と異なり複数の進入方向に対応することができるが、時間間隔を空けて撮影した２枚の画像が必要になるため、高速な処理に不適である。

【0008】

さらに、特許文献３のものは、正面画像に変換するために必要となる４点が画像に含まれない場合には対応することができない。また、特許文献４には、道路標識が斜めに撮影されている場合や、樹木等により道路標識の一部が隠されて図形成分が欠落している場合に、図形成分の変形や欠落があっても正しく道路標識を抽出できるようニューラルネットワークに学習させる点が言及されているが、正面画像に補正するための情報がないため、抽出した道路標識画像を正面画像に変換することができない。

【0009】

これらのことから、上記特許文献１〜４に代表される従来技術は、それぞれ表示板の画像を正面画像に変換できない状況が存在するため、実環境を想定すると適用状況が限られる、或いは認識処理の精度が低下するという問題がある。

【0010】

このため、撮像装置によって撮像されたナンバープレートを含む画像を正面画像に変換する場合に、いかにして様々な異なる状況に効率良く対応するかが重要な課題となっている。係る課題は、ナンバープレートを含む画像のみならず、道路標識を含む画像等の場合にも同様に生ずる課題である。

【0011】

本発明は、上記従来技術の課題を解決するためになされたものであって、様々な異なる状況で撮像された画像を効率的かつ精度良く正面画像に変換することができる画像処理装置、画像処理システム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0012】

上記の課題を解決するため、本発明は、表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成部と、前記学習用画像と該学習用画像における４つの基準点を用いて教師有り学習を行った多層ニューラルネットワークと、表示板を含む入力画像を取得する入力画像受付部と、前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定部と、前記対応点特定部により特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成部とを備えたことを特徴とする。

【0014】

また、本発明は、上記の発明において、前記正面画像生成部により生成された正面画像に含まれる文字を文字認識する文字認識部をさらに備えたことを特徴とする。

【0015】

また、本発明は、上記の発明において、前記多層ニューラルネットワークは、所定の撮像装置により前記表示板を撮像した実画像の一部の情報を欠落させた第１の学習用画像を射影変換した学習用画像と、前記学習用画像における４つの基準点とを入力情報として教師有り学習を行うことを特徴とする。

【0016】

また、本発明は、上記の発明において、前記表示板の種別を識別する種別識別部をさらに備えたことを特徴とする。

【0017】

また、本発明は、上記の発明において、前記対応点特定部は、前記入力画像受付部により取得された入力画像から生成された濃淡画像である解析用画像を前記多層ニューラルネットワークに投入することを特徴とする。

【0018】

また、本発明は、上記の発明において、前記表示板は、車両の登録番号を示すナンバープレート又は道路標識であることを特徴とする。

【0019】

また、本発明は、表示板を含む画像を処理する画像処理システムであって、前記表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成部と、前記学習用画像と該学習用画像における４つの基準点を用いて教師有り学習を行った多層ニューラルネットワークと、表示板を含む入力画像を取得する入力画像受付部と、前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定部と、前記対応点特定部により特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成部とを備えたことを特徴とする。

【0020】

また、本発明は、表示板を含み４つの基準点を有する参照画像から一部の基準点を含む領域を欠落させた学習用画像を生成する学習用画像生成ステップと、前記学習用画像と該学習用画像における４つの基準点を用いて多層ニューラルネットワークに教師有り学習を実行させるステップと、表示板を含む入力画像を取得する入力画像取得ステップと、前記多層ニューラルネットワークに前記入力画像に基づく画像を投入し、前記基準点に対応する前記入力画像に関する４つの対応点に係る情報を特定する対応点特定ステップと、前記対応点特定ステップにより特定された４つの対応点のうちの少なくとも３つの対応点に係る情報に基づく射影変換を行って、前記入力画像に対応する正面画像を生成する正面画像生成ステップとを含んだことを特徴とする。

【発明の効果】

【0021】

本発明によれば、様々な異なる状況で撮像された表示板を含む画像から、表示板の正面画像を得ることが可能となる。

【図面の簡単な説明】

【0022】

【図1】図１は、実施例１に係る画像処理装置の概念を説明するための説明図である。

【図2】図２は、実施例１に係る画像処理システムのシステム構成を示す図である。

【図3】図３は、図２に示した画像処理装置の学習段階の構成を示す機能ブロック図である。

【図4】図４は、学習用画像の作成の説明をするための図である。

【図5】図５は、図２に示した画像処理装置の認識段階の構成を示す機能ブロック図である。

【図6】図６は、図２に示した画像処理装置の学習段階における処理手順を示すフローチャートである。

【図7】図７は、図２に示した画像処理装置の認識段階における処理手順を示すフローチャートである。

【図8】図８は、図７に示したフローチャートで説明される画像の例である。

【図9】図９は実施例２に係る画像処理装置の概念を説明するための説明図である。

【図10】図１０は、実施例２に係る画像処理システムのシステム構成を示す図である。

【図11】図１１は、図１０に示した画像処理装置の学習段階における構成を示す機能ブロック図である。

【図12】図１２は、図１０に示した画像処理装置の処理対象である標識の基準点について説明する図である。

【図13】図１３は、図１０に示した画像処理装置の認識段階における構成を示す機能ブロック図である。

【図14】図１４は、図１０に示した画像処理装置の認識段階における処理手順を示すフローチャートである。

【図15】図１５は、図１４に示したフローチャートで説明される画像の例である。

【発明を実施するための形態】

【実施例1】

【0023】

以下、添付図面を参照して、本実施例１に係る画像処理装置、画像処理システム及び画像処理方法の実施例を説明する。本実施例１では、表示板の１つである、車両の登録番号を表示するナンバープレートの文字及び数字を読み取る場合を中心に説明することとする。

【0024】

＜実施例１に係る画像処理装置の概念＞
まず、本実施例１に係る画像処理装置の概念について説明する。図１は、本実施例１に係る画像処理装置の概念を説明するための説明図である。ここでは、学習に使用するナンバープレートを撮像した多階調（例えば、２５６階調の白黒画像や２４ビットカラー画像など）の画像（以下、「参照画像」と言う）と、この参照画像から生成された学習用画像がすでに取得されているものとする。

【0025】

本実施例１に係る画像処理装置３は、学習段階においてあらかじめ多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７に教師有り学習を行わせ、多層ニューラルネットワーク３６のノード間を接続するシナプスの重み等をネットワークモデルパラメータＧとして記憶する。そして、認識段階では、ネットワークモデルパラメータＧを用いて多層ニューラルネットワーク３６を再構成し、この多層ニューラルネットワーク３６により画像の４隅の位置情報を用いて正面画像Ｆを生成する。その後、ナンバープレートの正面画像Ｆを文字認識して該ナンバープレートに含まれる文字及び数字を出力する。

【0026】

具体的には、本実施例１では、多層ニューラルネットワーク３６からネットワークモデルの更新を行う機能部（ネットワークモデル更新処理部３７）を分離している。あらかじめ教師有り学習を行う際に、このネットワークモデル更新処理部３７によって学習データ（シナプスの重み等）となるネットワークモデルパラメータＧを生成することとしている。このようにすることで、認証段階ではネットワークモデル更新処理部３７が不要になるとともに、ネットワークモデルパラメータＧを用いて異なる多数の多層ニューラルネットワーク３６を再構成することがでる。

【0027】

ここで、多層ニューラルネットワーク３６は、ディープラーニング（深層学習）において用いられる多層化されたニューラルネットワークであり、本実施例では畳み込みニューラルネットワーク（Convolutional Neural Network）を用いている。この畳み込みニューラルネットワークは、順伝播型人工ニューラルネットワークの一種であり、個々のニューロンが視覚野と対応するような形で配置されている。この畳み込みネットワークは、生物学的処理に影響されたものであり、少ない事前処理で済むよう設計された多層パーセプトロンの一種である。なお、この畳み込みニューラルネットワーク自体は公知技術であるため、ここではその詳細な説明を省略する。

【0028】

また、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７には、学習用画像Ｂ及び４つの基準点を用いて教師有り学習を行わせる。具体的には、ネットワークモデル更新処理部３７は、多層ニューラルネットワーク３６から出力された４つの対応点が、４つの基準点の位置座標と一致するようにネットワークモデルパラメータＧを更新（学習）する。更新されたネットワークモデルパラメータＧにより多層ニューラルネットワーク３６を再構成し、該多層ニューラルネットワーク３６から出力される４つの対応点を使って同様に学習を行う。係る学習処理を繰り返して、ネットワークモデルパラメータＧを固定する。例えば、誤差逆伝播法(Backpropagation)アルゴリズム等を用いてネットワークモデルパラメータＧを調整することができる。

【0029】

図１（ａ）に示すように、学習段階においては、学習用画像Ｂを多層ニューラルネットワーク３６に入力し、教師データである４つの基準点といった学習データをネットワークモデル更新処理部３７に入力する（ステップＳ１１）。そして、これらの学習用画像Ｂ及び４つの基準点に基づいて多層ニューラルネットワーク３６に学習を行わせ、ネットワークモデル更新処理部３７によってネットワークモデルパラメータＧの更新処理を行う（ステップＳ１２）。なお、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７による教師有り学習自体は既存技術であるため、ここではその詳細な説明を省略する。

【0030】

学習用画像Ｂは、車両に付されたナンバープレートを撮像した実画像である参照画像から生成された画像データである。具体的には、この学習用画像Ｂは、撮像装置１によりナンバープレートを撮像した実画像である参照画像Ａ、ナンバープレートの一部が隠れていること等を想定し該参照画像Ａの一部の情報を欠落させた画像（第１の学習用画像）、車両と撮像装置１とのなす相対角度を想定し参照画像Ａを射影変換した画像（第２の学習用画像）又は参照画像Ａの一部の情報を欠落させた画像を射影変換した画像（第３の学習用画像）等である。また、学習用画像Ｂは、処理を効率化するためにナンバープレート及びその周囲のみが含まれるように切り出した画像とすることが望ましい。

【0031】

４つの基準点は、ネットワークモデルパラメータＧの更新及び多層ニューラルネットワーク３６に教師有り学習を行わせるための正解データ（教師データ）である。具体的には、学習用画像Ｂに含まれるナンバープレートの４隅の点の位置座標が基準点として指定される。

【0032】

このように、本実施例１に係る多層ニューラルネットワーク３６に学習用画像Ｂ及び４つの基準点を用いて学習を行わせる理由は、実環境下で、撮像方向の違いにより様々な歪みを持つ入力画像Ｃが入力された場合であっても、歪みのない正面画像Ｆを得るためである。この点を具体的に説明すると、撮像装置１で車両のナンバープレートを撮像する場合に、車両と撮像装置１とのなす相対角度によって、入力画像Ｃ中のナンバープレート部分に様々な歪みが生ずる。例えば、矩形形状のナンバープレートを撮像したのにもかかわらず、平行四辺形や台形状にナンバープレートが映り込む場合がある。また、他の車両や樹木等の存在によって、ナンバープレートの一部が隠れてしまう場合もある。その結果、３軸の射影変換に必要となる４つの基準点を特定できない状況が生じ得る。このため、あらかじめ様々な歪みを持つ学習用画像Ｂと、その正解データ（教師データ）となる４つの基準点とを入力して、多層ニューラルネットワーク３６に学習させるとともに、更新されたネットワークモデルパラメータＧを記憶している。なお、この４つの基準点は、操作者が表示部３２に表示させた学習用画像Ｂ上の点を指示入力することによって特定することができ、操作者により指定された４つの基準点を、画像と同様の射影変換により特定することもできる。

【0033】

次に、認識段階の処理について説明する。ここでは、前処理として、車両のナンバープレートを撮像した入力画像Ｃからナンバープレート及びその周辺部が含まれる認識用画像Ｄが生成されているものとする。なお、この前処理において、エッジ検出や平滑化処理などを行うこともできる。

【0034】

図１（ｂ）に示すように、認識用画像Ｄから解析用画像Ｅを生成する。この解析用画像Ｅが多層ニューラルネットワーク３６に入力されると（ステップＳ２１）、多層ニューラルネットワーク３６は、４つの基準点にそれぞれ対応する４つの対応点の位置に係る情報を出力する（ステップＳ２２）。なお、この「対応点の位置に係る情報」とは、対応点の位置座標そのものであってもよいし、対応点を特定するための情報であってもよい。例えば、１つの対応点の位置座標と、この対応点から他の対応点へのベクトルであってもよい。

【0035】

その後、４つの対応点を用いて認識用画像Ｄを射影変換し（ステップＳ２３）、ナンバープレートの正面画像Ｆを取得する。その後、正面画像Ｆに含まれる文字（数字を含む）を文字認識し（ステップＳ２４）、ナンバープレートに含まれる文字を出力する。なお、射影変換及び文字認識を行う際には、周知の技術が用いられる。

【0036】

上記の一連の処理を行うことにより、車両のナンバープレートを様々な角度で撮像した入力画像Ｃが入力された場合であっても、この入力画像Ｃを効率的に正面画像Ｆに変換し、精度良くナンバープレート内の文字を抽出することができる。特に、入力画像Ｃに含まれるナンバープレートに係る一部の情報が喪失され、通常の処理では４つの基準点全ての抽出が難しい場合であっても、この場合に備えた学習処理を行っているため、４つの基準点に対応する対応点を特定し、もって３軸の射影変換を行うことが可能となる。

【0037】

＜画像処理システムのシステム構成＞
次に、実施例１に係る画像処理システムのシステム構成を説明する。図２は、実施例１に係る画像処理システムのシステム構成を示す図である。同図に示すように、この画像処理システムは、撮像装置１と画像処理装置３とをネットワーク２を介して接続した構成となる。

【0038】

撮像装置１は、２５６階調の白黒画像を撮像できるＣＣＤカメラ等の撮像デバイスからなり、ネットワーク２を介して画像データを画像処理装置３に送信する。この撮像装置１は、道路を通行する車両のナンバープレートを撮像する監視カメラ等からなる。なお、ここでは撮像装置１が画像を撮像して画像処理装置３に送信する場合について説明するが、撮像装置１が動画を撮影して画像処理装置３に送信し、画像処理装置３において動画から画像を切り出す場合に適用することもできる。さらに、ここでは説明の便宜上、１台の撮像装置１のみを図示したが、複数の撮像装置１を設けることもできる。また、撮像装置１には、２５６階調の白黒画像ではなく、カラー画像を撮像できる撮像デバイスを用いることもできる。或いは、撮像装置１は可視光による画像ではなく赤外光などによる画像を撮像できる撮像デバイスを用いることもできる。

【0039】

ネットワーク２は、イーサネット（登録商標）等の有線ネットワークにより形成され、画像の受け渡しに利用される。このネットワーク２は、イーサネットに限定されるものではなく、単一の通信ケーブルを用いて直接ケーブル接続し、画像信号を伝送するものであってもよいし、無線ネットワークであってもよい。

【0040】

画像処理装置３は、撮像装置１から受信した入力画像Ｃ内のナンバープレートに含まれる文字を出力する装置である。具体的には、ネットワークモデルパラメータＧを用いて再構成された多層ニューラルネットワーク３６を用いて４つの対応点を特定し、この４つの対応点を用いて認識用画像Ｄの射影変換を行って正面画像Ｆを取得し、この正面画像Ｆを文字認識してナンバープレート内の文字を出力する。この画像処理装置３の詳細な説明については後述する。

【0041】

＜画像処理装置３の学習処理を行う場合の構成＞
次に、図２に示した画像処理装置３の学習処理を行う場合の構成について説明する。図３は、図２に示した画像処理装置３の学習処理を行う場合の構成を示す機能ブロック図である。同図に示すように、この画像処理装置３は、入力部３１、表示部３２、通信インターフェース部３３、記憶部３４及び学習処理制御部３５を有する。

【0042】

入力部３１は、キーボード及びマウス等の入力デバイスであり、表示部３２は、液晶パネル等の表示デバイスである。通信インターフェース部３３は、イーサネット通信等を利用して、撮像装置１により撮像された画像を受信するための通信デバイスである。

【0043】

記憶部３４は、フラッシュメモリ等の不揮発性メモリ又はハードディスクからなる記憶デバイスであり、参照画像Ａ、学習用画像Ｂ及びネットワークモデルパラメータＧなどを記憶する。この参照画像Ａは、多層ニューラルネットワーク３６の学習を行う際に用いる基本となる画像であり、少なくともナンバープレートの４つの基準点（左上、右上、左下、右下の４つの基準点）を特定し得るナンバープレートが正面を向いた正面画像である。

【0044】

学習処理制御部３５は、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７を用いて学習処理を行い、ネットワークモデルパラメータＧを生成するよう制御する制御部であり、参照画像生成部３８、学習用画像生成部３９及び学習処理部４０を有する。

【0045】

参照画像生成部３８は、処理対象となるナンバープレートの正面画像（所定の大きさに正規化されているものとする）と、入力部３１より操作者から入力された４つの基準点とを関連づけた参照画像を生成する処理部である。なお、ここでは通信インターフェース部３３を介して入力された正面画像を用いて参照画像Ａを生成する場合について説明するが、ＵＳＢメモリなどの可搬記録媒体に記憶された正面画像を用いて参照画像Ａを生成することもできる。

【0046】

学習用画像生成部３９は、撮像装置１によって撮像される入力画像Ｃの態様を考慮して、参照画像Ａに対して様々な幾何変換等を行って学習用画像Ｂを生成し、生成した学習用画像Ｂを記憶部３４に格納する処理部である。なお、この学習用画像Ｂは、参照画像Ａに基づいて生成される学習用の画像であり、参照画像Ａに歪みを持たせるように射影変換を行った画像、ナンバープレートの一部の情報（例えば、右上部分）を喪失させた画像等が含まれる。

【0047】

具体的には、学習用画像生成部３９は、参照画像生成部３８から受け付けた参照画像Ａを幾何学的に変形させた歪みを有する一つ又は複数の学習用画像Ｂを生成する処理を行う。例えば、４つの基準点を用いて参照画像Ａ又は学習用画像Ｂの射影変換を行い、新たに学習用画像Ｂを生成する。複数の学習用画像Ｂを生成する場合には、参照画像Ａをそれぞれ異なる態様に幾何変換を行う。その際、４つの基準点も変換された位置に存在するので学習用画像Ｂに含ませておく。ただし、この学習用画像生成部３９は、操作者により手作業で変形された学習用画像Ｂ又は操作者が幾何変換の画像処理を参照画像Ａに適用して生成した学習用画像Ｂを受け付けることもできる。

【0048】

操作者が入力部３１を用いて表示部３２に表示された学習用画像Ｂ上を指示する場合には、指示された位置座標が基準点となる。ここでは、ナンバープレートの四隅の点（左上、右上、左下、右下）の４つの点の指示を受け付け、この４つの点を基準点とするものとする。なお、テンプレートマッチング等の画像処理技術を用いて、ナンバープレートの四隅の点（左上、右上、左下、右下）を自動的に検出することもできる。画像の一部が喪失しており、ナンバープレートの四隅の点の一部（例えば、右上）が自動的に検出できない場合に、操作者が基準点を追加指示することもできる。具体的な学習用画像Ｂについては後述する。

【0049】

学習処理部４０は、画像処理装置３の学習に係る部分の処理を行う処理部であり、対応点学習受付部４１、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７を有する。なお、実際には、係る学習処理部４０に対応するプログラム及びデータをＣＰＵにロードして実行し、対応点学習受付部４１、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７の機能を実行することになる。そして、この学習処理部４０による学習に伴って、記憶部３４のネットワークモデルパラメータＧが更新される。

【0050】

対応点学習受付部４１は、学習対象となる学習用画像Ｂを受け付け、この学習用画像Ｂから解析用画像Ｅを生成して多層ニューラルネットワーク３６に出力するとともに、該学習用画像Ｂの４つの基準点をネットワークモデル更新処理部３７に出力する処理部である。この解析用画像Ｅは、２５６階調の白黒画像等の濃淡画像又はＲＧＢの輝度画像でもよいし、微分画像やＨＳＶなどの画像データであってもよい。

【0051】

多層ニューラルネットワーク３６は、ネットワークモデルパラメータＧによりノード間のシナプスの重みが再構成されつつ、入力される解析用画像Ｅの入力に基づいて動作し４つの対応点を出力する。

【0052】

ネットワークモデル更新処理部３７は、多層ニューラルネットワーク３６から出力された４つの対応点と対応点学習受付部４１から入力された４つの基準点との差を算出し、差が少なくなるようにネットワークモデルパラメータＧを更新する処理部である。更新されたネットワークモデルパラメータＧは、多層ニューラルネットワーク３６に適用されて学習が繰り返される。

【0053】

＜学習用画像Ｂの一例＞
次に、学習用画像Ｂの一例として４種類の学習用画像について説明する。図４は、学習用画像Ｂの一例を示す図である。図４（ａ）に示すように、ナンバープレートを撮像した実画像である参照画像Ａには４つの基準点Ｐ１〜Ｐ４が含まれており、学習用画像Ｂとして使用する。図４（ｂ）に示すように、この参照画像Ａの一部の情報を欠落させた画像が学習用画像Ｂ(第１の学習用画像)となる。なお、図４では個別の車両の特定を防ぐために事業用判別番号であるかな文字を表示していないが、実際の処理ではかな文字を含んだまま処理すればよい。

【0054】

また、図４（ｃ）に示すように、参照画像Ａの４つの基準点Ｐ１〜Ｐ４を利用して射影変換した画像（図中に破線の矢印で示した射影変換後の画像）を学習用画像Ｂ（第２の学習用画像）とする。参照画像Ａの一部の情報を欠落させた学習用画像Ｂ(第１の学習用画像)を射影変換したものを新たな学習用画像Ｂ（第３の学習用画像）とすることもできる。これらの参照画像Ａ及び第１〜３の学習用画像のうち、１種類の画像を学習用画像Ｂとしてもよいし、複数種類の画像を学習用画像Ｂとしてもよい。なお、図示省略したが変換後の基準点Ｐ１’〜Ｐ４’の位置座標を学習用画像Ｂに含ませておけば、学習を自動的に進めることができる。

【0055】

＜画像処理装置３の認識処理を行う場合の構成＞
次に、図２に示した画像処理装置３が認識処理を行う場合の構成について説明する。図５は、図２に示した画像処理装置３が認識処理を行う場合の機能ブロック図である。

【0056】

認識処理制御部４４は、学習済のネットワークモデルパラメータＧを適用した多層ニューラルネットワーク３６を用いて、認識用画像Ｄの４つの基準点に対応する４つの対応点を特定して正面画像Ｆを生成し、この正面画像Ｆを基に文字認識をする制御部である。認識処理制御部４４は、外部の撮像装置１等から通信インターフェース部３３を経由して、背景を含んだ入力画像Ｃを受け付ける入力画像受付部４５と、多層ニューラルネットワーク３６を含む認識処理部４６とから構成される。図５において、図３と符号が同じものについては、図３の説明と重複するので説明を省略する。

【0057】

入力画像受付部４５は、入力画像Ｃを受け付けて、ナンバープレート部分の切り出し、画像に対してノイズ除去及び所定のサイズに揃える拡縮処理等の前処理を行って認識用画像Ｄを生成する処理を行う。ここで、入力画像Ｃは、撮像装置１によって撮像された処理対象となるナンバープレートの画像である。この入力画像Ｃにはナンバープレートのみならず、車体の一部も含まれている。また、認識用画像Ｄと図３で示した学習用画像Ｂと、認識用画像Ｄとは、学習用画像Ｂが４つの基準点の情報を有しているのに対して、認識用画像Ｄは基準点若しくはその対応点の情報を持っていない点で異なっている。

【0058】

認識処理部４６は、学習済みのネットワークモデルパラメータＧを適用した多層ニューラルネットワーク３６を用いて認識用画像Ｄのナンバープレート画像の４つの対応点を出力し、出力された４つの対応点を基に認識用画像Ｄを射影変換し、正面画像Ｆを生成し、文字認識を行ってナンバープレートの文字（数字を含む）を出力する処理部である。対応点特定部４７、多層ニューラルネットワーク３６、正面画像生成部４８及び文字認識部４９を有する。

【0059】

対応点特定部４７は、認識用画像Ｄを受け付けて解析用画像Ｅを生成するとともに、認識用画像Ｄを正面画像生成部４８に出力する処理を行う。解析用画像Ｅは、グレー画像やＲＧＢの輝度画素でもよいし、微分画像やＨＳＶなどの画像であってもよい。対応点特定部４７と対応点学習受付部４１とは、対応点特定部４７が認識用画像Ｄを正面画像生成部４８に出力する点で異なっている。

【0060】

正面画像生成部４８は、多層ニューラルネットワーク３６から出力された４つの対応点を用いて認識用画像Ｄを射影変換して正面画像Ｆを生成する処理を行う。ここで、この射影変換は、ある平面を別の平面に射影する際に用いられる変換であり、斜めから見た認識用画像Ｄを正面画像Ｆに変換する場合に用いられる。なお、この射影変換は周知技術であるため、ここではその詳細な説明を省略する。

【0061】

文字認識部４９は、正面画像Ｆのナンバープレート部分に含まれる文字（数字を含む）を文字認識して出力する処理を行う。例えば、正規化、特徴抽出、マッチング、知識処理によって一般的な文字認識を行うことができるが、この文字認識については周知技術であるため、ここではその詳細な説明を省略する。

【0062】

認識処理時の記憶部５０は、学習時の記憶部３４と同じデバイスで構成されており、入力画像Ｃを一時的に記憶するとともに、学習済のネットワークモデルパラメータＧ及び、文字認識部４９が文字認識時に使用する文字認識用辞書Ｈを記憶している。

【0063】

＜学習処理手順＞
次に、図２に示した画像処理装置３の学習段階における処理手順について説明する。図６は、図２に示した画像処理装置３の学習段階における処理手順を示すフローチャートである。なお、ここでは記憶部３４に参照画像Ａがすでに記憶されているものとする。

【0064】

図６に示すように、画像処理装置３は、参照画像Ａを含む学習用画像Ｂ中の４つの基準点の指定を受け付ける（ステップＳ１０１）。この４つの基準点は、多層ニューラルネットワーク３６に教師有り学習を行わせる際の教師データとなる。

【0065】

その後、参照画像Ａから学習用画像Ｂを生成する（ステップＳ１０２）。具体的には、参照画像Ａを幾何変換し、参照画像Ａを幾何学的に変形させた歪みを有する学習用画像Ｂを生成する。この学習用画像Ｂには、ナンバープレートを正面から撮像した参照画像Ａ、該参照画像Ａの一部の情報を欠落させた画像、参照画像Ａを射影変換した画像及び参照画像Ａの一部の情報を欠落させた画像を射影変換した画像等が含まれる。また、参照画像Ａに対する基準点座標に対しても同様の幾何学的な変形を加え、学習用画像Ｂ中の新たな基準点座標を求める。なお、参照画像Ａ中で基準点の付近の画素情報を欠落させた場合も、学習用画像Ｂ中での基準点の位置座標に画像と同様の幾何学的な変換によって変換された位置座標を用いれば、学習用画像Ｂの生成を自動化することができる。なお、学習用画像Ｂは画像データと４つの基準点の位置座標情報（以下、基準点情報）の両方を有する。

【0066】

次に学習用画像Ｂから、２５６階調の白黒画像又はＲＧＢの輝度画像、若しくは微分画像やＨＳＶなどの画像データに変換することにより解析用画像Ｅを生成する(ステップＳ１０３)。ただし、本ステップでは学習用画像Ｂ中での画像データと基準点情報の関係が保持できなくなる幾何変換は行わない。

【0067】

次に、ネットワークモデルパラメータＧの初期値、複数の解析用画像Ｅと各々の解析用画像Ｅに対応する基準点情報を多層ニューラルネットワーク３６に入力し（ステップＳ１０４）、多層ニューラルネットワーク３６にて４つの対応点を算出する（ステップＳ１０５）。

【0068】

次に、算出された対応点と対応する基準点との差を算出し（ステップＳ１０６）、差が所定値以下であれば（ステップＳ１０７；Ｎｏ）、その時のネットワークモデルパラメータＧを更新完了したものとして記憶部３４に記憶しておく。

【0069】

ステップＳ１０７で、差が所定値を超える場合（ステップＳ１０７；Ｙｅｓ）の場合に、繰り返し回数が所定値以上になっていれば(ステップＳ１０８；Ｎｏ)、終了する。この場合は異常となる。一方、繰り返し回数が所定値未満であれば(ステップＳ１０８；Ｙｅｓ)、差が近くなるようにネットワークモデルパラメータＧを更新し（ステップＳ１０９）、更新されたネットワークモデルパラメータＧを適用した多層ニューラルネットワーク３６を使ってステップＳ１０５以降を繰り返す。

【0070】

＜認識処理手順＞
次に、図２に示した画像処理装置３の認識段階における処理手順について説明する。図７は、図２に示した画像処理装置３の認識段階における処理手順を示すフローチャートである。また、図８（ａ）から図８（ｄ）を参照しつつ説明をする。

【0071】

図７に示すように、画像処理装置３は、入力画像Ｃ（図８（ａ））を受け付け(ステップＳ２０１)、ナンバープレートを含む入力画像Ｃの前処理を行って認識用画像Ｄを生成する（ステップＳ２０２）。そして、２５６階調の白黒画像やＲＧＢの輝度画像等に変換することにより多層ニューラルネットワーク３６へ入力する画像である解析用画像Ｅを生成する(ステップＳ２０３)。

【0072】

学習済のネットワークモデルパラメータＧを記憶部５０から読出し、多層ニューラルネットワーク３６に入力することによって多層ニューラルネットワーク３６を構成させ、これに解析用画像Ｅを入力する（ステップＳ２０４）。多層ニューラルネットワーク３６にて対応点を算出する（ステップＳ２０５）。ここで、図８（ｂ）に示すように対応点が付与された認識用画像Ｄが得られることになる。

【0073】

そして、この４つの対応点を用いて認識用画像Ｄの射影変換を行い（ステップＳ２０６）、図８（ｃ）に示すような正面画像Ｆを取得する。そして、この正面画像Ｆに対して文字認識処理を行って、図８（ｄ）に示すようなナンバープレートの文字を取得して出力する（ステップＳ２０７）。

【0074】

上述してきたように、本実施例１では、学習用画像Ｂと基準点情報を用いて教師有りの学習を行うことによってネットワークモデルパラメータＧの更新を行った多層ニューラルネットワーク３６に、入力画像Ｃを前処理した認識用画像Ｄから所定の処理を行った解析用画像Ｅを入力して４つの基準点に対応する認識用画像Ｄ上の４つの対応点を特定する。この４つの対応点を用いて認識用画像Ｄを射影変換して正面画像Ｆを取得し、この正面画像Ｆに文字認識を行ってナンバープレートの文字を出力するよう構成している。これにより、撮像距離や角度等の撮像条件が様々に異なる状況で撮像された入力画像Ｃを効率的かつ精度良く正面画像Ｆに変換し、ナンバープレートの文字認識結果を出力することができる。従って、画像に含まれる表示板の文字の認識を効率良く行うことができる。

【0075】

なお、本実施例１では、コンピュータである画像処理装置を用いる場合を示したが、本発明はこれに限定されるものではなく、複数台のコンピュータで分散コンピューティングを行う場合に適用することもできる。また、クラウド上で処理を行う場合に適用することもできる。

【実施例2】

【0076】

ところで、上記の実施例１では、本発明をナンバープレートの文字認識に用いる場合を示したが、本発明はこれに限定されるものではなく、車両に搭載された画像処理装置によって、道路標識等の表示板に含まれる文字の文字認識を行う場合に適用することもできる。道路標識等の表示板とは、具体的には、案内標識、警戒標識、規制標識、指示標識、補助標識等のことで、特に文字が表示されている道路標識を処理対象とする。そこで、本実施例２では、車両に搭載された画像処理装置によって道路標識等に含まれる文字の文字認識を行う場合を示すこととする。なお、実施例１と同様の部分については、その詳細な説明を省略する。

【0077】

＜実施例２に係る画像処理装置の概念＞
まず、本実施例２に係る画像処理装置の概念について説明する。図９は、本実施例２に係る画像処理装置の概念を説明するための説明図である。ここでは、実施例１で説明した教師有り学習の学習対象、即ち参照画像Ａがナンバープレートの１種類だったものが、複数の形状の種類を有する道路標識を処理対象としている点が実施例１とは異なっている。実施例２では参照画像Ａの種別識別後の学習処理が、実施例１で説明した学習処理部４０と同様なのでその詳細の多くは省略する。実施例２では、参照画像Ａの種別ごとに学習がなされ、ネットワークモデルパラメータＧは参照画像Ａの種別ごとに作成される。ここで言う参照画像Ａの種別とは、矩形状のナンバープレート、円状或いは、多角形状などと言った道路標識等の形状の種別である。

【0078】

本実施例２に係る画像処理装置４は、学習段階においてあらかじめ多層ニューラルネットワーク３６に学習を行わせておき、認識段階において道路標識の形状の種別に応じて学習済みのネットワークモデルパラメータＧで再構成された多層ニューラルネットワーク３６を用いて４つの対応点を取得する。そして、この４つの対応点を用いて射影変換した正面画像Ｆで文字認識を行う。この多層ニューラルネットワーク３６は、実施例１で使用しているのと同じディープラーニング（深層学習）に用いられる畳み込みニューラルネットワークである。

【0079】

図９（ａ）に示すように、学習段階においては、多層ニューラルネットワーク３６に対して、学習用画像Ｂ及び４つの基準点といった学習データを入力し（ステップＳ３１）、これらの学習用画像Ｂ及び４つの基準点に基づき多層ニューラルネットワーク３６に教師有り学習を行わせ、ネットワークモデル更新処理部３７によりネットワークモデルパラメータＧを更新する（ステップＳ３２）。この学習を道路標識の形状の種別ごとに行い、ネットワークモデルパラメータＧを対象物の種別ごとに生成する（ステップＳ３３）。

【0080】

学習用画像Ｂは、道路標識を撮像した参照画像Ａから生成された画像データである。具体的には、周知の画像処理技術を用いて参照画像を幾何学的に変形させた歪を有する画像データを生成して、生成した画像データを学習用画像Ｂとする。概念は実施例１での説明と同じであり省略する。

【0081】

４つの基準点は、多層ニューラルネットワーク３６に教師有り学習を行わせるための正解データ（教師データ）である。具体的には、学習用画像Ｂに含まれる対象物を特定する４点の位置座標が基準点として指定される。この教師有り学習は道路標識の形状の種別に応じてそれぞれ行い、ネットワークモデルパラメータＧを種別毎に用意する。

【0082】

実施例２では、４つの基準点に関して、手入力で指示する点と真の基準点が必ずしも一致している必要はない。丸い形状や三角形状の道路標識では、ナンバープレートの４隅に相当する４点を目視で入力することが困難なので、手入力で指定する点としてはより特徴的な点を設定しておいて、基準点となる４点を多層ニューラルネットワーク３６により求める。例えば、手入力では三角形の３つの頂点を指示しておき、指示された３点から計算によって三角形の外接矩形の４隅を求め、その４隅を基準点とする、という処理を行う。
これにより、基準点の精度向上や、多様な形状の表示板に対応することができるという効果がある。

【0083】

次に、認識段階の処理について説明する。図９（ｂ）に示すように、道路標識を撮像した入力画像Ｃが入力されると、前処理を行って認識用画像Ｄを出力する（ステップＳ４１）。この認識用画像Ｄを基に道路標識の形状の種別の識別（ステップＳ４２）を行い、それ以降は種別に応じたネットワークモデルパラメータＧを適用した多層ニューラルネットワーク３６に解析用画像Ｅを入力して（ステップＳ４３）、４つの基準点に対応する４つの対応点の位置に係る情報を出力させる（ステップＳ４４）。次に、４つの対応点を用いて認識用画像Ｄを射影変換して（ステップＳ４５）、正面画像Ｆを生成する。そして、正面画像Ｆを文字認識する（ステップＳ４６）。この時、種別に応じた文字認識用辞書Ｈを使う。道路標識の字体がそれぞれ異なっているからである。図９のステップＳ４３〜Ｓ４６の処理内容は図１に示すステップＳ２１〜Ｓ２４の処理内容と同じであるため、重複する説明は省略する。

【0084】

上述の一連の処理を行うことにより、道路標識を様々な角度で撮像した入力画像Ｃが入力された場合であっても、この入力画像Ｃを効率的に正面画像Ｆに変換し、精度良く道路標識の文字を出力することができる。特に、入力画像Ｃに含まれる道路標識に係る一部の情報が喪失され、通常の処理では４つの基準点全ての抽出が難しい場合であっても、この場合に備えた学習処理を行っているため、４つの対応点を特定し、もって３軸の射影変換を行うことが可能となる。そして、さまざまな形状の道路標識の文字の認識ができることになる。

【0085】

＜画像処理システムのシステム構成＞
次に、実施例２に係る画像処理システムのシステム構成を説明する。図１０は、実施例２に係る画像処理システムのシステム構成を示す図である。同図に示すように、この画像処理システムは、車両に搭載された撮像装置１と画像処理装置４とを接続した構成となる。なお、撮像装置１については実施例１に示すものと同様であるので、ここではその説明を省略する。

【0086】

画像処理装置４は、撮像装置１から受信した入力画像Ｃ内の道路標識の形状の種別を識別し、その道路標識に含まれる文字を認識する装置である。具体的には、認識用画像Ｄからその道路標識の形状の種別を識別し、その種別に応じて教師有り学習を行ったネットワークモデルパラメータＧを使う多層ニューラルネットワーク３６により４つの対応点を特定し、この４つの対応点を用いて認識用画像Ｄの射影変換を行って正面画像Ｆを取得し、この正面画像Ｆを種別に応じて用意された文字認識用辞書Ｈを用いて文字認識し、道路標識に含まれる文字を出力する。

【0087】

＜画像処理装置４の構成＞
次に、図１０に示した画像処理装置４の構成について説明する。図１１は、図１０に示した画像処理装置４の学習時の構成を示す機能ブロック図である。同図に示すように、この画像処理装置４は、入力部３１、表示部３２、通信インターフェース部３３、記憶部３４及び学習処理制御部３５を有する。なお、実施例１の画像処理装置３と同様の部位については、同一の符号を付すこととして、その詳細な説明を省略する。入力部３１は、操作者が参照画像の種別を入力するのに使用される。

【0088】

記憶部３４は、フラッシュメモリ等の不揮発性メモリ又はハードディスクからなる記憶デバイスであり、参照画像Ａ、学習用画像Ｂ及びネットワークモデルパラメータＧ（複数セット）などを記憶する。この参照画像Ａは、多層ニューラルネットワーク３６及びネットワークモデル更新処理部３７が教師有り学習を行ってネットワークモデルパラメータＧを更新する際に用いる基本となる画像であり、少なくとも道路標識を特定する４つの基準点を特定し得る正面画像である。

【0089】

学習用画像Ｂは、参照画像Ａに基づいて生成される学習用の画像であり、参照画像Ａに歪みを持たせるように幾何変換を行った画像、道路標識の一部の情報を喪失させた画像等が含まれる。撮像装置１によって撮像され得る入力画像Ｃの態様を考慮して、参照画像Ａに対して様々な幾何変換等を行う。学習用画像Ｂの作り方の原理は実施例１に述べたものと同じである。また、実施例２でも、学習用画像Ｂは４つの基準点の位置情報である基準点情報を有している。

【0090】

ここでは、認識用画像Ｄは撮像装置１によって撮像された画像に対してトリミング、ノイズ除去及びサイズ合わせ等の前処理を行った道路標識部分の画像である。

【0091】

図１１に示す実施例２の学習処理部４０は、図３の第１の実施例の学習処理部４０と同じ構成である。但し、第２の実施例では参照画像Ａの種別が複数あり、全ての参照画像Ａの種別に亘り個々に学習を行う点で異なっている。

【0092】

ここで、図１２の図を用いて、処理対象物が道路標識の場合の基準点について説明する。図１２（ａ）に示すのは、方面及び距離標識であり、形状がナンバープレートと同じ４角形なので、四隅が基準点となる。図１２（ｂ）は、四角形ではない標識で円形のものと多角形のものを示している。この場合には、学習の最初には該当する標識を含む四角形の４点（Ｐ１〜Ｐ４）を基準点として入力して、多層ニューラルネットワーク３６によって、外周上の点或いは外周上の角点Ｐ１’〜Ｐ４’を得る。

【0093】

次に図１０の画像処理装置４が認識処理を行う場合を説明する。図１３は認識処理を行う場合の機能ブロック図である。認識処理制御部５１は入力画像受付部４５と認識処理部４６からなる。この認識処理制御部５１は、撮像装置１から通信インターフェース部３３を経由して、背景を含んだ入力画像Ｃを受け付ける入力画像受付部４５と、道路標識の形状の種別を識別する種別識別部５２と、種別毎に学習したネットワークモデルパラメータＧで再構成された多層ニューラルネットワーク３６を含む認識処理部４６とから構成されている。図１３において、図５と符号が同じものについては、図５の説明と重複するので説明を省略する。

【0094】

入力画像Ｃは、処理対象となる道路標識の画像である。認識処理部４６は、具体的には、対応点特定部４７が４つの基準点に対応する認識用画像Ｄ上の４つの対応点、若しくはおおよその対応点を求め、道路標識の形状の種別に応じて学習済みのネットワークモデルパラメータＧで再構成された教師有り学習済みの多層ニューラルネットワーク３６を用いて認識用画像Ｄの道路標識の４つの対応点を抽出し、この４つの対応点の位置情報をもとに認識用画像Ｄを射影変換して正面画像Ｆを求め、求めた正面画像Ｆを種別に応じて用意された文字認識用辞書Ｈを用いて文字認識し、道路標識の文字を出力する。

【0095】

種別識別部５２は、入力画像受付部４５が生成した認識用画像Ｄを用いて道路標識の形状の種別を識別する処理を行う。このときには、予め識別すべき種別分用意してあるテンプレートを適用し、一番近いテンプレートの種別を処理対象物の形状の種別とする。

【0096】

認識処理部４６は、種別分のハードウェアの形（基板）で構成されており、４６（１）〜４６（ｎ）という符号で示され、種別に応じた認識処理部４６（ｉ）が選ばれることになる（ｉは１〜ｎのうちのいずれかを示す）。この点で実施例２の認識処理制御部５１は、実施例１の認識処理制御部４４と異なっている。

【0097】

＜認識処理手順＞
次に、図１３に示した画像処理装置４の認識段階における処理手順について説明する。図１４は、図１０に示した画像処理装置４の認識段階における処理手順を示すフローチャートである。簡単に説明すると、入力画像受付部４５で入力画像Ｃを受け付け（ステップＳ３０１）、認識用画像Ｄを生成する（ステップＳ３０２）、この認識用画像Ｄを元に種別識別部５２により道路標識の形状の種別を決定する（ステップＳ３０３）。そして、種別に応じた認識処理部４６（ｉ）を選択する（ステップＳ３０４）。次に、実施例１の記載と同様の解析用画像Ｅを生成し（ステップＳ３０５）、生成した解析用画像Ｅを種別識別部５２によって識別された種別のネットワークモデルパラメータＧで再構成された多層ニューラルネットワーク３６へ入力する（ステップＳ３０６）。多層ニューラルネットワーク３６は対応点を算出する（ステップＳ３０７）。

【0098】

求まった対応点位置座標を用いて認識用画像Ｄを射影変換し、正面画像Ｆを生成する（ステップＳ３０８）。そして、求めた正面画像Ｆから種別に応じた文字認識用辞書Ｈを使って文字認識を行い、処理対象の道路標識の文字を得る（ステップＳ３０９）。

【0099】

ここで、実施例２で扱う画像について説明を行う。図１５は、三角形状の国道番号標識を例に示している。図１５（ａ）は入力画像Ｃであり、斜め上方から撮像した画像を示している。図１５（ｂ）は認識用画像Ｄであり、対応点情報を持った画像を示している。図１５（ｃ）は射影変換後の正面画像Ｆを示している。図１５（ｄ）は文字認識された国道番号である。

【0100】

なお、実施例２では、認識処理部４６を処理対象の道路標識の形状の種別に応じて複数用意したが、例えば、ＦＰＧＡ（Field-Programmable Gate Array）を使って、種別の識別の都度ハードウェアを構築するようにすれば、複数枚のハードウェア基板を用意する必要はない。

【0101】

なお、本実施例２では、道路標識の種別を特定する場合を示したが、本発明はこれに限定されるものではなく、看板等の表示板に含まれる文字を出力する場合にも同様に適用することができる。また、実施例１及び２を組み合わせることも可能である。

【0102】

また、上記の実施例１及び２では、４つの基準点に対応する対応点を用いる場合を示したが、５つ以上の基準点に対応する対応点を設定し、そのうちの４点を用いて射影変換を行うこともできる。さらに、上記の入力画像中での表示板の歪みが平行四辺形で近似できる場合には、３つの対応点を出力できるように学習した多層ニューラルネットワーク３６によって３つの対応点を検出し、検出された３つの対応点を用いて３軸の射影変換ではなくアフィン変換により正面画像への変換を行うこともできる。

【0103】

また、上記の実施例１及び２では、認識段階で学習を行わないこととしたが、認識段階において教師無し学習を行うよう構成することもできる。また、上記実施例１及び２では、白黒画像を処理対象とする場合を示したが、カラー画像及び赤外画像を処理対象とすることもできる。赤外画像を用いると夜間に対応することが可能となる。なお、解析用画像Ｅは、Ｓｏｂｅｌオペレータ、Ｒｏｂｅｒｔｓのオペレータ等の微分オペレータを使った微分画像やガボールフィルタなどを適用した他の画像であってもよい。

【産業上の利用可能性】

【0104】

本発明の画像処理装置、画像処理システム及び画像処理方法は、様々な異なる状況で撮像された画像を効率的かつ精度良く正面画像に変換する場合に適している。

【符号の説明】

【0105】

Ａ 参照画像
Ｂ 学習用画像
Ｃ 入力画像
Ｄ 認識用画像
Ｅ 解析用画像
Ｆ 正面画像
Ｇ ネットワークモデルパラメータ
Ｈ 文字認識用辞書
１ 撮像装置
２ ネットワーク
３，４ 画像処理装置
３１ 入力部
３２ 表示部
３３ 通信インターフェース部
３４ 記憶部
３５ 学習処理制御部
３６ 多層ニューラルネットワーク
３７ ネットワークモデル更新処理部
３８ 参照画像生成部
３９ 学習用画像生成部
４０ 学習処理部
４１ 対応点学習受付部
４４ 認識処理制御部
４５ 入力画像受付部
４６ 認識処理部
４７ 対応点特定部
４８ 正面画像生成部
４９ 文字認識部
５０ 記憶部
５１ 認識処理制御部
５２ 種別識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】