特許 7291464 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-06-07

(45)【発行日】2023-06-15

(54)【発明の名称】画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230608BHJP

【ＦＩ】

G06T5/00 710

【請求項の数】 13

(21)【出願番号】P 2018144435

(22)【出願日】2018-07-31

(65)【公開番号】P2020021279

(43)【公開日】2020-02-06

【審査請求日】2021-04-30

(73)【特許権者】

【識別番号】000001432

【氏名又は名称】グローリー株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】中嶋 康博

(72)【発明者】

【氏名】後藤 雅典

(72)【発明者】

【氏名】黒岩 素子

【審査官】鈴木 圭一郎

(56)【参考文献】

【文献】特許第６２８７８５５（ＪＰ，Ｂ２）

【文献】特開２００８－２５１０２９（ＪＰ，Ａ）

【文献】特開２０１７－１５８０６７（ＪＰ，Ａ）

【文献】特開平１１－３０６２８３（ＪＰ，Ａ）

【文献】柴田 剛志，学習型超解像を用いた自動車ナンバープレート画像推定，画像電子学会誌，日本，一般社団法人画像電子学会，2015年，第４４巻、第２号，ｐ．３６３－３６７

【文献】Chunhe Song，Blurred License Plate Recognition based on Single Snapshot from Drive Recorder，2015 IEEE International Conference on Communications，IEEE，2015年09月10日，<URL:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=7249460＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ１／００－１／４０

３／００－５／５０

Ｇ０６Ｖ３０／００－３０／４１６

３０／４２－３０／４２４

(57)【特許請求の範囲】

【請求項1】

劣化画像を取得する画像取得部と、
鮮明化の対象が予め設定された１つ以上の文字、数字、および記号のなかの少なくとも一種であり、前記鮮明化の対象を含むクラス毎に設定された学習モデルを用い、前記画像取得部を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成部と
を備え、
前記画像生成部により生成された前記クラス毎の鮮明化画像を通知部に並列して表示する通知制御部を更に備える
画像処理装置。

【請求項2】

劣化画像を取得する画像取得部と、
鮮明化の対象を含むクラス毎に設定され、前記画像取得部を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成部と
を備え、
前記クラスは、他の鮮明化の対象と比較して類似性の高い鮮明化の対象を含む第１のクラスと、他の鮮明化の対象と比較して類似性の低い鮮明化の対象を含む第２のクラスとを含み、
前記第１のクラスは、鮮明化の対象を１つずつ含み、
前記第２のクラスは、鮮明化の対象を複数含む
画像処理装置。

【請求項3】

前記通知制御部は、前記鮮明化画像の生成過程において鮮明化された画像の尤もらしさを示す信頼度を算出し、当該算出した信頼度に基づき、前記鮮明化画像の通知態様を制御する
請求項１に記載の画像処理装置。

【請求項4】

前記通知制御部は、前記鮮明化画像に対応付けて前記信頼度を通知するように制御する
請求項３に記載の画像処理装置。

【請求項5】

前記通知制御部は、前記信頼度が所定の閾値未満である前記鮮明化画像を通知の対象から除外する
請求項３または４に記載の画像処理装置。

【請求項6】

前記通知制御部は、前記信頼度の順序に応じて、前記鮮明化画像の通知の順序を制御する
請求項３～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記通知制御部は、前記信頼度の順序が所定の順位に含まれる前記鮮明化画像を通知の対象とする
請求項６に記載の画像処理装置。

【請求項8】

前記劣化画像は、ナンバープレートの文字部分を含み、
前記画像生成部は、前記ナンバープレートで使用される文字毎に設定される
請求項１～７のいずれか一項に記載の画像処理装置。

【請求項9】

請求項１～８のいずれか一項に記載の画像処理装置と、
前記画像処理装置により生成される鮮明化画像を通知する通知部と
を備える
画像処理システム。

【請求項10】

劣化画像を取得する画像取得処理と、
鮮明化の対象が予め設定された１つ以上の文字、数字、および記号のなかの少なくとも一種であり、前記鮮明化の対象を含むクラス毎に設定された学習モデルを備える画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理と
を含み、
前記画像生成処理は、前記画像生成部により生成された前記クラス毎の鮮明化画像を通知部に並列して表示する
画像処理方法。

【請求項11】

劣化画像を取得する画像取得処理と、
鮮明化の対象を含むクラス毎に設定された画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理と
を含み、
前記クラスは、他の鮮明化の対象と比較して類似性の高い鮮明化の対象を含む第１のクラスと、他の鮮明化の対象と比較して類似性の低い鮮明化の対象を含む第２のクラスとを含み、
前記第１のクラスは、鮮明化の対象を１つずつ含み、
前記第２のクラスは、鮮明化の対象を複数含む
画像処理方法。

【請求項12】

コンピュータに、
劣化画像を取得する画像取得処理と、
鮮明化の対象が予め設定された１つ以上の文字、数字、および記号のなかの少なくとも一種であり、前記鮮明化の対象を含むクラス毎に設定された学習モデルを備える画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理と
を実行させ、
前記画像生成処理は、前記画像生成部により生成された前記クラス毎の鮮明化画像を通知部に並列して表示する
画像処理プログラム。

【請求項13】

コンピュータに、
劣化画像を取得する画像取得処理と、
鮮明化の対象を含むクラス毎に設定された画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理と
を実行させ、
前記クラスは、他の鮮明化の対象と比較して類似性の高い鮮明化の対象を含む第１のクラスと、他の鮮明化の対象と比較して類似性の低い鮮明化の対象を含む第２のクラスとを含み、
前記第１のクラスは、鮮明化の対象を１つずつ含み、
前記第２のクラスは、鮮明化の対象を複数含む
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムに関する。

【背景技術】

【0002】

近年、劣化画像から鮮明化画像を生成する技術が提案されている。例えば特許文献１に記載の装置では、学習画像と学習画像を劣化させた劣化画像のパッチのペアを格納した辞書を用いて、鮮明化画像を生成する。辞書を作成する過程では、まず、予めあらゆるブレパターンについて学習画像から劣化画像を生成する。次に、ブレが生じている劣化画像を複数のブロックに分割して劣化画像の劣化パッチを生成する。最後に、学習画像及び劣化画像の対応する位置におけるパッチのペアを辞書に登録する。鮮明化画像を生成する過程では、鮮明化の対象となる入力画像を外部から受け付け、受け付けた入力画像を複数のブロックに分割して入力画像の入力パッチを生成する。次に、辞書に登録されている劣化パッチのうち、入力パッチと類似する劣化パッチに対応する学習画像のパッチを復元パッチとして取得する。そして、入力画像のブロック毎に取得した復元パッチに基づき、入力画像の全体を鮮明化した鮮明化画像を生成する。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６２８７８５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記文献に記載の装置では、全種類の文字を学習した辞書で鮮明化するため、複数種類の文字の復元パッチから構成された鮮明化画像が生成される場合がある。例えば「ち」や「ろ」といった類似する文字が混在したような鮮明化画像が生成されることがある。そのため、ユーザが鮮明化画像を目視したとしても、鮮明化画像の文字を適正に判別できないおそれがあった。

【0005】

本発明は、このような実情に鑑みてなされたものであり、その目的は、鮮明化の対象を適正に判別することのできる画像処理装置、画像処理システム、画像処理方法、および画像処理プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を解決する画像処理装置は、劣化画像を取得する画像取得部と、鮮明化の対象を含むクラス毎に設定され、前記画像取得部を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成部とを備える。

【0007】

上記課題を解決する画像処理方法は、劣化画像を取得する画像取得処理と、鮮明化の対象を含むクラス毎に設定された画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理とを含む。

【0008】

上記課題を解決する画像処理プログラムは、コンピュータに、劣化画像を取得する画像取得処理と、鮮明化の対象を含むクラス毎に設定された画像生成部を通じて、前記画像取得処理を通じて取得された前記劣化画像を鮮明化した鮮明化画像を生成する画像生成処理とを実行させる。

【0009】

上記構成によれば、クラス毎に設定された画像生成部を通じて劣化画像から鮮明化画像が生成される。そのため、鮮明化の対象がいずれのクラスに属するかについて適正に判別することができる。

【0010】

上記画像処理装置において、前記クラスは、他の鮮明化の対象と比較して類似性の高い鮮明化の対象を含む第１のクラスと、他の鮮明化の対象と比較して類似性の低い鮮明化の対象を含む第２のクラスとを含み、前記第１のクラスは、鮮明化の対象を１つずつ含み、前記第２のクラスは、鮮明化の対象を複数含むことが好ましい。

【0011】

上記構成によれば、他の鮮明化の対象と比較して類似性の低い鮮明化の対象については共通のクラスを設定しているため、全ての鮮明化の対象に対して個別にクラスを設定する場合と比較して、鮮明化画像の生成に用いられる画像生成部の数が抑えられる。そのため、鮮明化画像を生成するときの処理負荷を低減することができる。

【0012】

上記画像処理装置において、前記画像生成部により生成された鮮明化画像を通知部に通知する通知制御部を更に備えることが好ましい。

【0013】

上記構成によれば、通知部に通知された鮮明化画像に基づき、ユーザが鮮明化の対象を判別することができる。

【0014】

上記画像処理装置において、前記通知制御部は、前記鮮明化画像の生成過程において鮮明化された画像の尤もらしさを示す信頼度を算出し、当該算出した信頼度に基づき、前記鮮明化画像の通知態様を制御することが好ましい。

【0015】

上記構成によれば、信頼度の高い鮮明化画像を優先して通知することも可能となるため、ユーザが鮮明化の対象を判別しやすくなる。

【0016】

上記画像処理装置において、前記通知制御部は、前記鮮明化画像に対応付けて前記信頼度を通知するように制御することが好ましい。

【0017】

上記構成によれば、ユーザは、鮮明化画像の信頼度を基準として鮮明化の対象を判別することができる。

【0018】

上記画像処理装置において、前記通知制御部は、前記信頼度が所定の閾値未満である前記鮮明化画像を通知の対象から除外することが好ましい。

【0019】

上記構成によれば、通知の対象が信頼度の高い鮮明化画像に限定されるため、ユーザが鮮明化の対象を判別しやすくなる。

【0020】

上記画像処理装置において、前記通知制御部は、前記信頼度の順序に応じて、前記鮮明化画像の通知の順序を制御することが好ましい。

【0021】

上記構成によれば、ユーザは、信頼度の高い順に鮮明化画像を確認することもできるため、鮮明化の対象を判別しやすくなる。

【0022】

上記画像処理装置において、前記通知制御部は、前記信頼度の順序が所定の順位に含まれる前記鮮明化画像を通知の対象とすることが好ましい。

【0023】

上記構成によれば、通知の対象が信頼度の高い鮮明化画像に限定されるため、ユーザが鮮明化の対象を判別しやすくなる。

【0024】

上記画像処理装置において、前記劣化画像は、ナンバープレートの文字部分を含み、前記画像生成部は、前記ナンバープレートで使用される文字毎に設定されることが好ましい。

【0025】

上記構成によれば、鮮明化の対象となるナンバープレートの文字が類似する場合であっても、ナンバープレートの文字を適正に判別することができる。

【0026】

上記課題を解決する画像処理システムは、上記構成の画像処理装置と、前記画像処理装置により生成される鮮明化画像を通知する通知部とを備える。

【0027】

上記構成によれば、上記画像処理装置の発明と同様の効果が得られる。

【0028】

上記課題を解決する画像処理装置は、劣化画像を取得する画像取得部と、前記画像取得部を通じて取得した共通の劣化画像から鮮明化の対象を含むクラスに個別に対応する鮮明化画像を生成する画像生成部とを備える。

【0029】

上記構成によれば、共通の劣化画像から鮮明化の対象となるクラスに個別に対応する複数の鮮明化画像を生成するため、ユーザが鮮明化の対象を適正に判別することができる。

【図面の簡単な説明】

【0030】

【図1】画像処理システムの第１の実施の形態の概略構成を示すブロック図。

【図2】劣化画像を鮮明化するときの処理の流れを説明するための模式図。

【図3】鮮明化画像の信頼度を評価するときの処理の流れを説明するための模式図。

【図4】鮮明化画像の通知態様の一例を示す模式図。

【図5】鮮明化画像の通知態様の他の一例を示す模式図。

【図6】同実施の形態の画像処理システムが実行する鮮明化画像の生成処理の流れを示すフローチャート。

【図7】画像処理システムの第２の実施の形態がクラス分類に用いるクラス毎の学習モデルの設定態様の一例を説明するための模式図。

【図8】同実施の形態の画像処理システムが実行する鮮明化画像の生成処理の流れを示すフローチャート。

【発明を実施するための形態】

【0031】

（第１の実施の形態）
以下、画像処理システムの第１の実施の形態について図面を参照して説明する。

【0032】

本実施の形態の画像処理システムは、屋外に設置されたカメラの撮影画像から、道路を走行している車両のナンバープレートの画像を取得する。ナンバープレートの画像はブレなどにより画質が劣化していることが多いため、こうした劣化画像を鮮明化した鮮明化画像を生成する。鮮明化画像の生成過程では、学習モデルを画像鮮明化部に適用した上で、劣化画像の画像情報を画像鮮明化部に入力し、画像鮮明化部から出力された画像情報を鮮明化画像として取得する。学習モデルは、クラス毎に設定される。クラスとは、文字、数字、記号等を含む。本実施の形態では、クラスは、鮮明化の対象となるナンバープレートの文字を含み、学習モデルは、ナンバープレートの文字毎（「あ」～「を」）に設定される。また、劣化画像の画像情報は、鮮明化の対象となる文字毎に設定された複数の学習モデルが適用された画像鮮明化部に入力される。また、各々の学習モデルが適用された画像鮮明化部から出力された画像情報を鮮明化の対象に個別に対応する複数の鮮明化画像として取得する。また、劣化画像から生成された複数の鮮明化画像をユーザに通知する。そして、ユーザは、通知された複数の鮮明化画像を視認することにより、ナンバープレートの劣化画像に含まれる文字を判別する。

【0033】

図１に示すように、画像処理システム１００は、画像処理装置１１０と、通知部１４０とを備える。

【0034】

画像処理装置１１０は、鮮明化画像の生成処理を制御する制御部１２０と、制御部１２０が鮮明化画像の生成処理の際に実行する画像処理プログラムを含めた各種のプログラムや当該プログラムの実行の際に制御部１２０が読み書きする各種のデータを保存する記憶部１３０とを有するコンピュータである。記憶部１３０は、不揮発性のメモリであってもよいし、揮発性のメモリであってもよい。そして、制御部１２０は、記憶部１３０に保存された画像処理プログラムを実行することにより、画像取得部１２１、画像抽出部１２２、画像鮮明化部１２３、信頼度算出部１２４、及び、通知制御部１２５として機能する。

【0035】

画像取得部１２１は、カメラ１０により撮影された動画像から画像フレームを取得する。本実施の形態では、カメラ１０が屋外に設置されており、道路を走行している車両を含む動画像を撮影し、当該動画像から画像フレームを取得する。画像取得部１２１は、動画像の撮影時に、当該動画像から画像フレームを取得してもよいし、動画像の録画後に、録画した動画像から画像フレームを取得してもよい。

【0036】

画像抽出部１２２は、画像取得部１２１により取得された画像フレームの画素値のデータに基づいて、画像フレームに含まれる車両を識別する。次に、画像抽出部１２２は、車両のエリアに含まれる画素値のデータに基づき、車両に取り付けられているナンバープレートを識別する。最後に、画像抽出部１２２は、所定のエリアを設定し、設定した所定のエリアから画像を抽出する。

【0037】

画像鮮明化部１２３は、機械学習のモデルの一種である畳み込みニューラルネットワークを適用したオートエンコーダにより構成されている。画像鮮明化部１２３は、記憶部１３０に保存された学習モデル１３１を取得し、取得した学習モデル１３１を用いて画像抽出部１２２が抽出した画像を鮮明化する。

【0038】

図２に示す例では、画像抽出部１２２は、入力画像Ｇ０からナンバープレートの領域を抽出するとともに、抽出したナンバープレートの文字部分を所定のエリアＳ１として設定する。そして、画像抽出部１２２は、所定のエリアＳ１に含まれる画素値のデータを劣化画像Ｇ２として抽出する。画像鮮明化部１２３は、クラス毎に設定された学習モデル１３１が適用されている。図２の画像鮮明化部１２３の文字は、学習モデル１３１のクラスを表している。本実施の形態では、クラスは、鮮明化の対象となる文字を１つずつ含み、学習モデル１３１は、鮮明化の対象となる各文字（「あ」～「を」）に個別に対応している。また、学習モデル１３１は、高画質画像とその画像を劣化させた劣化画像を教師データとして画像鮮明化部１２３の学習を行ったときに生成されるパラメータである。学習は、鮮明化の対象となる文字毎に行っておく。各学習モデル１３１が適用された画像鮮明化部１２３は、劣化画像Ｇ２を鮮明化した鮮明化画像Ｇ３を出力する。

【0039】

信頼度算出部１２４は、学習モデル１３１が適用された画像鮮明化部１２３により変換された鮮明化画像Ｇ３の信頼度を算出する。信頼度とは、鮮明化画像の生成過程において鮮明化された画像の尤もらしさを示している。信頼度は、例えば、０～１００などの一定の数値範囲で規定される。

【0040】

図３に示す例では、信頼度算出部１２４は、各文字に対応する学習モデル１３１が適用された画像鮮明化部１２３により変換された鮮明化画像Ｇ３と、記憶部１３０に保存された各文字に対応する基準テンプレート１３２とを比較し、鮮明化画像Ｇ３と基準テンプレート１３２との類似度を評価する。そして、信頼度算出部１２４は、各文字に対応する基準テンプレート１３２と鮮明化画像Ｇ３との比較の中で、類似度の最大値を鮮明化画像Ｇ３の信頼度として算出する。

【0041】

通知制御部１２５は、通知部１４０による鮮明化画像Ｇ３の通知を制御する。本実施の形態では、通知部１４０は表示装置であり、通知制御部１２５は、通知の一例として、鮮明化画像Ｇ３を通知部１４０に表示する。また、通知制御部１２５は、信頼度算出部１２４により算出された信頼度の値に基づき、通知部１４０による鮮明化画像Ｇ３の表示を制御する。

【0042】

図４に示す例では、通知制御部１２５は、カメラ１０により撮影された動画像の画像フレームのうちナンバープレートを示す入力画像Ｇ１と、入力画像Ｇ１に含まれるナンバープレートの文字部分を各文字に対応する複数の学習モデル１３１が適用された画像鮮明化部１２３により変換して最も鮮明に変換された鮮明化画像Ｇ４とを上下に並列して通知部１４０に表示する。また、通知制御部１２５は、入力画像Ｇ１に含まれるナンバープレートの文字部分に対応する画像である劣化画像Ｇ２と、当該劣化画像Ｇ２を各文字に対応する複数の学習モデル１３１が適用された画像鮮明化部１２３により変換した複数の鮮明化画像Ｇ３とを、入力画像Ｇ１及び鮮明化画像Ｇ４の下方に、左右に並列して通知部１４０に表示する。また、通知制御部１２５は、信頼度算出部１２４により算出された信頼度の値が所定の閾値未満となる鮮明化画像Ｇ３を通知部１４０による表示の対象から除外する。同図に示す例では、通知制御部１２５は、信頼度算出部１２４により算出された信頼度の値が所定の閾値未満となる鮮明化画像Ｇ３（「い」、「う」に対応する画像）をグレーアウトした変換画像Ｇ５に変換して通知部１４０に表示する。

【0043】

図５に示す例では、通知制御部１２５は、図４に示した例と同様、カメラ１０により撮影された動画像の画像フレームのうちナンバープレートを示す入力画像Ｇ１と、入力画像Ｇ１に含まれるナンバープレートの文字部分を各文字に対応する複数の学習モデル１３１が適用された画像鮮明化部１２３により変換して最も鮮明に変換された鮮明化画像Ｇ４とを上下に並列して通知部１４０に表示する。また、通知制御部１２５は、入力画像Ｇ１のうちナンバープレートの文字部分に対応する画像である劣化画像Ｇ２と、当該劣化画像Ｇ２を各文字に対応する複数の学習モデル１３１が適用された画像鮮明化部１２３により変換した複数の鮮明化画像Ｇ３とを、入力画像Ｇ１及び鮮明化画像Ｇ４の下方に、左右に並列して通知部１４０に表示する。また、通知制御部１２５は、信頼度算出部１２４により算出された信頼度の値が所定の閾値未満となる鮮明化画像Ｇ３（同図に示す例では、「い」、「う」に対応する画像）を、通知部１４０による表示の対象から除外する。なお、表示枠自体を表示することなく通知部１４０による表示の対象から除外してもよい。

【0044】

次に、本実施の形態の画像処理システム１００が実行する鮮明化画像の生成処理について、その具体的な処理内容を説明する。

【0045】

図６に示すように、この鮮明化画像の生成処理ではまず、画像取得部１２１は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ１０）。そして、画像抽出部１２２は、先のステップＳ１０において取得した画像フレームから所定のエリアＳ１（本実施の形態では、ナンバープレートの文字部分）を対象領域として抽出する（ステップＳ１１）。続いて、画像鮮明化部１２３は、各文字に対応する学習モデル１３１を適用した上で、対象領域の画像情報である劣化画像Ｇ２を入力する（ステップＳ１２）。そして次に、画像鮮明化部１２３により変換された対象領域の鮮明化画像Ｇ３を取得する（ステップＳ１３）。また、信頼度算出部１２４は、先のステップＳ１３において取得した対象領域の鮮明化画像Ｇ３を各文字に対応する基準テンプレート１３２と比較することにより、鮮明化画像Ｇ３の信頼度を算出する（ステップＳ１４）。そして、通知制御部１２５は、先のステップＳ１４において算出された信頼度の値に基づき、先のステップＳ１３において取得した鮮明化画像Ｇ３の通知を制御する（ステップＳ１５）。

【0046】

次に、本実施の形態の画像処理システム１００の作用について説明する。

【0047】

従来、ナンバープレートの文字部分を鮮明化した鮮明化画像を生成する際には、鮮明化の対象となる全ての文字についての教師データを事前に用意し、全ての文字を学習して学習モデルを生成していた。そして、ナンバープレートから抽出した文字部分の画像情報を劣化画像として学習モデルを用いて鮮明化していた。この方法では、複数の文字が混在した鮮明化画像が生成され、ユーザが適正に文字を判別できないことがあった。例えば「ち」や「ろ」といった類似する文字が劣化した画像が鮮明化の対象の場合、これらの文字が混在したような鮮明化画像が生成されることがあった。

【0048】

一方、本実施の形態では、鮮明化の対象となる文字毎に教師データを事前に用意し、文字毎に学習して各文字に対応する複数の学習モデル１３１を生成している。そして、ナンバープレートの文字部分の画像情報を劣化画像Ｇ２として各文字に対応する学習モデル１３１が適用された画像鮮明化部１２３に入力することにより、共通の劣化画像Ｇ２から各文字に対応する複数の鮮明化画像Ｇ３が生成される。これにより、鮮明化の対象が類似する文字であったとしても、ユーザが各文字に対応する鮮明化画像Ｇ３を視認することにより、鮮明化の対象を判別することができる。

【0049】

以上説明したように、上記第１の実施の形態によれば、以下に列挙する効果を得ることができる。

【0050】

（１）クラス毎に設定された学習モデル１３１が適用された画像鮮明化部１２３を通じて劣化画像Ｇ２から鮮明化画像Ｇ３が生成される。そのため、鮮明化の対象がいずれのクラスに属するかについて適正に判別することができる。

【0051】

（２）信頼度の高い鮮明化画像Ｇ３を優先して通知することにより、ユーザが鮮明化の対象を判別しやすくなる。

【0052】

（３）通知部１４０による表示の対象が信頼度の高い鮮明化画像Ｇ３に限定されるため、ユーザが鮮明化の対象を判別しやすくなる。

【0053】

（４）鮮明化の対象となるナンバープレートの文字が類似する場合であっても、ナンバープレートの文字を適正に判別することができる。

【0054】

（５）共通の劣化画像Ｇ２から鮮明化の対象となるクラスに個別に対応する複数の鮮明化画像Ｇ３を生成するため、ユーザが鮮明化の対象を適正に判別することができる。

【0055】

（第２の実施の形態）
次に、画像処理システムの第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、他の鮮明化の対象との類似度に応じて、鮮明化の対象が属するクラスの種別が異なる点が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一の又は相当する構成については重複する説明を省略する。

【0056】

本実施の形態の画像処理システムでは、図７に示すように、学習モデル１３１が設定されるクラスとして、第１のクラスＣ１と、第２のクラスＣ２とを含む。第１のクラスＣ１は、他の文字と比較して類似度の高い文字を含む。第１のクラスＣ１は、鮮明化の対象となる文字を１つずつ含む。第２のクラスＣ２は、他の文字と比較して類似度の低い文字を含む。第２のクラスＣ２は、鮮明化の対象となる文字を複数含む。第１のクラスＣ１は、他の文字との類似性の高い文字の一例として、「ち」、「ろ」、「さ」、および、「は」、「ほ」、「け」を含む。第２のクラスＣ２は、他の文字との類似性の低い文字として、第１のクラスＣ１に含まれない文字を含む。学習モデル１３１は、第１のクラスＣ１及び第２のクラスＣ２のクラス毎に設定される。すなわち、第１のクラスＣ１に設定された学習モデル１３１は、鮮明化の対象となる１つの文字に個別に対応しており、事前に用意した各文字に対応する教師データを用いて画像鮮明化部１２３を学習することにより学習モデル１３１を生成する。第２のクラスＣ２に設定された学習モデル１３１は、鮮明化の対象となる複数の文字に対応しており、事前に用意した複数の文字に対応する教師データを用いて画像鮮明化部１２３を学習することにより学習モデル１３１を生成する。

【0057】

次に、本実施の形態の画像処理システム１００が実行する鮮明化画像の生成処理について、その具体的な処理内容を説明する。

【0058】

図８に示すように、この鮮明化画像Ｇ３の生成処理ではまず、画像取得部１２１は、カメラ１０により撮影された動画像の画像フレームを取得する（ステップＳ２０）。そして、画像抽出部１２２は、先のステップＳ２０において取得した画像フレームから所定のエリアＳ１（本実施の形態では、ナンバープレートの文字部分）を対象領域として抽出する（ステップＳ２１）。続いて、画像鮮明化部１２３は、対象領域の画像情報である劣化画像Ｇ２を第１のクラスＣ１に設定された学習モデル１３１、および、第２のクラスＣ２に設定された学習モデル１３１が適用された画像鮮明化部１２３に入力する（ステップＳ２２）。そして次に、信頼度算出部１２４は、画像鮮明化部１２３により変換された対象領域の鮮明化画像Ｇ３を取得する（ステップＳ２３）。また、信頼度算出部１２４は、先のステップＳ２３において取得した対象領域の鮮明化画像Ｇ３を各文字に対応する基準テンプレート１３２と比較することにより、鮮明化画像Ｇ３の信頼度を算出する（ステップＳ２４）。そして、通知制御部１２５は、先のステップＳ２４において算出された信頼度の値に基づき、先のステップＳ２３において取得した鮮明化画像Ｇ３の通知を制御する（ステップＳ２５）。

【0059】

次に、本実施の形態の画像処理システム１００の作用について説明する。

【0060】

本実施の形態の画像処理システム１００では、他の文字と比較して類似度の高い文字については、劣化画像Ｇ２の画像情報を文字毎に設定された複数の学習モデル１３１が適用された画像鮮明化部１２３に入力して鮮明化画像Ｇ３に変換する。そして、ユーザは、複数の鮮明化画像Ｇ３を視認することにより、鮮明化の対象となる文字を特定する。これにより、鮮明化の対象が類似する文字であったとしても、鮮明化の対象となる文字を適正に判別することができる。

【0061】

また、本実施の形態の画像処理システム１００では、他の文字と比較して類似度の低い文字については、劣化画像Ｇ２の画像情報を複数の文字に共通して設定された学習モデル１３１が適用された画像鮮明化部１２３に入力して鮮明化画像Ｇ３に変換する。これにより、類似度の大小に関わらず文字毎に学習モデル１３１を設定する場合と比較して、学習モデル１３１の数が抑えられ、鮮明化画像Ｇ３の生成に際して、システム全体としての処理負荷を低減することができる。

【0062】

以上説明したように、上記第２の実施の形態によれば、上記第１の実施の形態の効果（１）～（５）に加えて、以下に列挙する効果を得ることができる。

【0063】

（６）他の文字と比較して類似性の低い文字については共通のクラスを設定しているため、全ての文字に対して個別にクラスを設定する場合と比較して、鮮明化画像Ｇ３の生成に用いられる学習モデル１３１の数が抑えられる。そのため、鮮明化画像Ｇ３を生成するときの処理負荷を低減することができる。

【0064】

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態においては、鮮明化の対象がナンバープレートの文字（「あ」～「を」）である場合を例に挙げて説明した。ただし、鮮明化の対象としてはその他にも、ナンバープレートの数字（「０～９」）、記号（「‐（ハイフン）」）であってもよい。また、鮮明化の対象となる文字数は必ずしも１つである必要はなく、複数であってもよい。この場合、鮮明化の対象としてナンバープレートの地名を適用することも可能となる。ナンバープレートの地名を鮮明化の対象とするときには、学習モデルは、ナンバープレートの地名を示す複数の文字の組み合わせ毎に設定してもよい。

【0065】

・上記各実施の形態において、通知制御部１２５は、鮮明化画像Ｇ３に対応付けて信頼度を表示するように制御してもよい。この場合、通知制御部１２５は、例えば画像に含まれる文字のフォントや太さ等を変更することにより、信頼度が最も高い鮮明化画像Ｇ３を他の鮮明化画像Ｇ３から区別して表示するように制御してもよい。

【0066】

・上記各実施の形態において、通知制御部１２５は、信頼度の順序に応じて、鮮明化画像Ｇ３の表示の順序を制御してもよい。この場合、通知制御部１２５は、信頼度が高い順に鮮明化画像Ｇ３を並列して表示してもよいし、信頼度が低い順に鮮明化画像Ｇ３を並列して表示してもよい。また、通知制御部１２５は、例えば、信頼度が高い順に並べたときに、信頼度の順序が所定の順位に含まれる鮮明化画像Ｇ３を通知の対象としてもよい。

【0067】

・上記各実施の形態において、通知制御部１２５は、鮮明化した画像の全体を鮮明化画像Ｇ３として表示するように制御してもよい。

【0068】

・上記各実施の形態において、教師データを用いて学習した画像鮮明化部１２３に代えて、ユーザが事前にパラメータを最適化した関数モデルを用いて、劣化画像Ｇ２から鮮明化画像Ｇ３を生成してもよい。

【0069】

・上記各実施の形態においては、鮮明化の対象がナンバープレートである場合を例に挙げて説明した。ただし、鮮明化の対象はナンバープレートに限らず、例えば、スキャナにより読み取った文書データ等、文字、数字、記号等を含む劣化画像であれば、鮮明化の対象として適用することは可能である。

【符号の説明】

【0070】

１０…カメラ、１００…画像処理システム、１１０…画像処理装置、１２０…制御部、１２１…画像取得部、１２２…画像抽出部、１２３…画像鮮明化部、１２４…信頼度算出部、１２５…通知制御部、１３０…記憶部、１３１…学習モデル、１３２…基準テンプレート、１４０…通知部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】