特許 6866495 画像品質の評価方法及び画像品質の評価システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6866495

(24)【登録日】2021年4月9日

(45)【発行日】2021年4月28日

(54)【発明の名称】画像品質の評価方法及び画像品質の評価システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210419BHJP

   G06N 3/04 20060101ALI20210419BHJP

   G06N 3/08 20060101ALI20210419BHJP

【ＦＩ】

   G06T7/00 350C

   G06N3/04

   G06N3/08

【請求項の数】15

【全頁数】24

(21)【出願番号】特願2019-546794(P2019-546794)

(86)(22)【出願日】2018年9月10日

(65)【公表番号】特表2020-508531(P2020-508531A)

(43)【公表日】2020年3月19日

(86)【国際出願番号】CN2018104842

(87)【国際公開番号】WO2019047949

(87)【国際公開日】20190314

【審査請求日】2019年8月27日

(31)【優先権主張番号】201710804804.0

(32)【優先日】2017年9月8日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】518318266

【氏名又は名称】ジョンアン インフォメーション テクノロジー サービシズ カンパニー リミテッド

(74)【代理人】

【識別番号】110002262

【氏名又は名称】ＴＲＹ国際特許業務法人

(72)【発明者】

【氏名】李 宏宇

(72)【発明者】

【氏名】朱 帆

(72)【発明者】

【氏名】李 雪峰

【審査官】 秦野 孝一郎

(56)【参考文献】

【文献】 特開２００４−１７１３２６（ＪＰ，Ａ）

【文献】 特開平８−３２９０３２（ＪＰ，Ａ）

【文献】 特開平８−３１４８７９（ＪＰ，Ａ）

【文献】 特開２０１７−４９９９６（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０８８７０７（ＷＯ，Ａ１）

【文献】 特開２００６−１７８５４３（ＪＰ，Ａ）

【文献】 特開２００１−９４７１１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／０９

Ｇ０６Ｎ ３／００−５／５０

Ｇ０６Ｎ １／００−１／４０

(57)【特許請求の範囲】

【請求項1】

画像品質の評価方法であって、
基準品質指標値がラベリングされた画像サンプルを、トレーニングパラメータによってニューラルネットワークアーキテクチャに入力するステップと、
前記ニューラルネットワークアーキテクチャにおける損失層の出力結果と、前記基準品質指標値との間の誤差データを算出するステップと、
前記誤差データに基づいて、前記ニューラルネットワークアーキテクチャにおける階層パラメータを更新し、さらに更新後の前記ニューラルネットワークアーキテクチャに基づいて新たに前記誤差データを反復計算するステップと、
反復計算により算出される前記誤差データが予め設定された誤差範囲に入ると、前記ニューラルネットワークアーキテクチャに基づいて画像品質評価モデルを生成するステップと、
前記画像品質評価モデルによって、評価対象となる画像に対して評価作業を行うステップと、を含む
ことを特徴とする画像品質の評価方法。

【請求項2】

前記トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のニューラルネットワークアーキテクチャにおける各階層の重みと、バイアスと、バイアス及び初期のニューラルネットワークアーキテクチャにおける各階層の重みの学習率とのうちの少なくとも１つを含む
ことを特徴とする請求項１に記載の画像品質の評価方法。

【請求項3】

前記ニューラルネットワークアーキテクチャは、畳み込み層と、活性化関数層と、損失層と、を含む
ことを特徴とする請求項１又は２に記載の画像品質の評価方法。

【請求項4】

前記活性化関数層は、正規化線形ユニット層と、シグモイド曲線層と、を含む
ことを特徴とする請求項３に記載の画像品質の評価方法。

【請求項5】

前記ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる
ことを特徴とする請求項４に記載の画像品質の評価方法。

【請求項6】

前記ニューラルネットワークアーキテクチャは、プーリング層と、ドロップアウト層と、ＳＰＰ層と、を更に含む
ことを特徴とする請求項４に記載の画像品質の評価方法。

【請求項7】

前記ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる
ことを特徴とする請求項６に記載の画像品質の評価方法。

【請求項8】

画像品質の評価システムであって、
画像品質評価モデル生成モジュールと、評価モジュールと、を備え、
前記画像品質評価モデル生成モジュールは、
基準品質指標値がラベリングされた画像サンプルを、トレーニングパラメータによってニューラルネットワークアーキテクチャに入力し、
前記ニューラルネットワークアーキテクチャにおける損失層の出力結果と、前記基準品質指標値との間の誤差データを算出し、
前記誤差データに基づいて、前記ニューラルネットワークアーキテクチャにおける階層パラメータを更新し、さらに更新後の前記ニューラルネットワークアーキテクチャに基づいて新たに前記誤差データを反復計算し、
反復計算により算出される前記誤差データが予め設定された誤差範囲に入ると、前記ニューラルネットワークアーキテクチャに基づいて前記画像品質評価モデルを生成し、
前記評価モジュールは、
前記画像品質評価モデルによって評価対象となる画像に対して評価作業を行う
ことを特徴とする画像品質の評価システム。

【請求項9】

前記トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のニューラルネットワークアーキテクチャにおける各階層の重みと、バイアスと、バイアス及び初期のニューラルネットワークアーキテクチャにおける各階層の重みの学習率とのうちの少なくとも１つを含む
ことを特徴とする請求項８に記載の画像品質の評価システム。

【請求項10】

前記ニューラルネットワークアーキテクチャは、畳み込み層と、活性化関数層と、損失層と、を含む
ことを特徴とする請求項８又は９に記載の画像品質の評価システム。

【請求項11】

前記活性化関数層は、正規化線形ユニット層と、シグモイド曲線層と、を含む
ことを特徴とする請求項１０に記載の画像品質の評価システム。

【請求項12】

前記ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる
ことを特徴とする請求項１１に記載の画像品質の評価システム。

【請求項13】

前記ニューラルネットワークアーキテクチャは、プーリング層と、ドロップアウト層と、ＳＰＰ層と、を更に含む
ことを特徴とする請求項１１に記載の画像品質の評価システム。

【請求項14】

前記ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる
ことを特徴とする請求項１３に記載の画像品質の評価システム。

【請求項15】

コンピュータ読取可能な記憶媒体であって、
前記コンピュータ読取可能な記憶媒体には、画像品質の評価プログラムが記憶されており、
前記画像品質の評価プログラムがプロセッサにより実行されると、請求項１乃至７のいずれか一項に記載の画像品質の評価方法の作業を実現する
ことを特徴とするコンピュータ読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１７年９月８日に出願された中国特許出願「ＮＯ．２０１７１０８０４８０４．０」の優先権を主張し、そのすべての内容を参照より本願に組み込む。
本発明は、画像処理の技術分野に関し、特に画像品質の評価方法及び画像品質の評価システムに関する。

【背景技術】

【0002】

光学的文字認識（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ，ＯＣＲ）技術の応用が広がるに連れて、ＯＣＲ技術によって採集されるテキスト画像の品質が益々注目されるようになってきた。また、テキスト画像に対する品質評価方法も、学術界と産業界においてより広く興味が持たれている。

【0003】

従来の画像品質の評価方法は、主に２つの大きなカテゴリーに分類することができる。１つは参照画像有りの品質評価であり、他の１つは参照画像無しの品質評価である。なお、参照画像有りの品質評価とは、劣化した画像及び元の画像に対して特徴（例えば、勾配、コントラストなど）の比較を行って、劣化した画像に対する品質評価結果を得ることである。参照画像無しの品質評価とは、劣化した画像の一部の特徴（例えば、エッジの強度、ぼかしの程度など）を直接抽出し、さらに抽出した特徴に基づいて劣化した画像の品質評価結果を導出することである。従来の画像品質の評価方法には、アルゴリズムが複雑であり、計算量が大きいという欠点が存在する。さらに、ほとんどの既存の画像品質の評価方法では、評価対象となる画像に対して予め処理を行う必要があり、評価対象となる画像が処理されなければ評価作業に入ることができず、評価プロセスが複雑である。また、従来の画像品質の評価方法は、ほとんど自然場面の画像を対象としたものであるため、テキスト画像の品質評価には適していない。

【発明の概要】

【発明が解決しようとする課題】

【0004】

以上に鑑みて、本発明の実施例は、画像品質の評価方法及び画像品質の評価システムを提供することによって、従来の画像品質の評価方法、特にテキスト画像に対する評価作業において課題となっている、評価の精度が低く、評価効率が悪いという問題を解決する。

【課題を解決するための手段】

【0005】

第１の態様によると、本発明の実施例は画像品質の評価方法を提供する。当該画像品質の評価方法は、画像サンプルを用いて画像品質評価モデルを生成するステップと、画像品質評価モデルによって評価対象となる画像に対して評価作業を行うステップと、を含む。

【0006】

本発明の一実施例において、画像サンプルを用いて画像品質評価モデルを生成するステップは、画像サンプルの基準品質指標値をラベリングするステップと、画像サンプルに基づいてニューラルネットワークアーキテクチャを生成するステップと、画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成するステップと、を含む。

【0007】

本発明の一実施例において、画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成するステップは、トレーニングパラメータによって画像サンプルをニューラルネットワークアーキテクチャに入力するステップと、ニューラルネットワークアーキテクチャにおける損失層の出力結果と基準品質指標値との間の誤差データを算出するステップと、誤差データによってニューラルネットワークアーキテクチャにおける階層パラメータを更新し、さらに更新後のニューラルネットワークアーキテクチャに基づいて新たに誤差データを反復計算するステップと、反復計算により算出される誤差データが予め設定された誤差範囲に入ると、ニューラルネットワークアーキテクチャに基づいて画像品質評価モデルを生成するステップと、を含む。

【0008】

本発明の一実施例において、トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のニューラルネットワークアーキテクチャにおける各階層の重みと、バイアスと、バイアス及び初期のニューラルネットワークアーキテクチャにおける各階層の重みの学習率とのうちの少なくとも１つを含む。

【0009】

本発明の一実施例において、ニューラルネットワークアーキテクチャは、畳み込み層と、活性化関数層と、損失層と、を含む。

【0010】

本発明の一実施例において、活性化関数層は、正規化線形ユニット層及びシグモイド曲線層を含む。

【0011】

本発明の一実施例において、ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる。

【0012】

本発明の一実施例において、ニューラルネットワークアーキテクチャは、プーリング層と、ドロップアウト層と、ＳＰＰ層と、を更に含む。

【0013】

本発明の一実施例において、ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる。

【0014】

本発明の一実施例において、畳み込み層の階層パラメータは、畳み込み核の数と、畳み込み核の大きさと、畳み込みウィンドウのスライド距離と、パディングエッジの画素値と、を含む。

【0015】

本発明の一実施例において、プーリング層の階層パラメータは、サンプリング規則と、サンプリングウィンドウの大きさと、サンプリングウィンドウのスライド距離と、を含む。
本発明の一実施例において、ドロップアウト層の階層パラメータは、ドロップアウト率を含む。
本発明の一実施例において、ＳＰＰ層の階層パラメータは、サンプリング規則と、ピラミッドの層数と、を含む。

【0016】

本発明の一実施例において、画像はテキスト画像である。

【0017】

第２の態様によると、本発明の実施例は画像品質の評価システムを更に提供する。当該画像品質の評価システムは、画像サンプルを用いて画像品質評価モデルを生成する画像品質評価モデル生成モジュールと、画像品質評価モデルによって評価対象となる画像に対して評価作業を行う評価モジュールと、を備える。

【0018】

本発明の一実施例において、画像品質評価モデル生成モジュールは、画像サンプルの基準品質指標値をラベリングするラベリングユニットと、画像サンプルに基づいてニューラルネットワークアーキテクチャを生成するニューラルネットワークアーキテクチャ生成ユニットと、画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成する反復トレーニングユニットと、を備える。

【0019】

本発明の一実施例において、反復トレーニングユニットはさらに、トレーニングパラメータによって画像サンプルをニューラルネットワークアーキテクチャに入力することと、ニューラルネットワークアーキテクチャにおける損失層の出力結果と基準品質指標値との間の誤差データを算出することと、誤差データによってニューラルネットワークアーキテクチャにおける階層パラメータを更新し、更新後のニューラルネットワークアーキテクチャに基づいて新たに誤差データを反復計算することと、反復計算により算出される誤差データが予め設定された誤差範囲に入る場合にニューラルネットワークアーキテクチャに基づいて画像品質評価モデルを生成することと、を行う。

【0020】

本発明の一実施例において、トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のニューラルネットワークアーキテクチャにおける各階層の重みと、バイアスと、バイアス及び初期のニューラルネットワークアーキテクチャにおける各階層の重みの学習率とのうちの少なくとも１つを含む。

【0021】

本発明の一実施例において、ニューラルネットワークアーキテクチャは、畳み込み層と、活性化関数層と、損失層と、を含む。

【0022】

本発明の一実施例において、活性化関数層は、正規化線形ユニット層及びシグモイド曲線層を含む。

【0023】

本発明の一実施例において、ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる。

【0024】

本発明の一実施例において、ニューラルネットワークアーキテクチャは、プーリング層と、ドロップアウト層と、ＳＰＰ層と、を更に含む。

【0025】

本発明の一実施例において、ニューラルネットワークアーキテクチャにおける階層順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる。

【0026】

本発明の一実施例において、畳み込み層の階層パラメータは、畳み込み核の数と、畳み込み核の大きさと、畳み込みウィンドウのスライド距離と、パディングエッジの画素値と、を含む。

【0027】

本発明の一実施例において、プーリング層の階層パラメータは、サンプリング規則と、サンプリングウィンドウの大きさと、サンプリングウィンドウのスライド距離と、を含む。

【0028】

本発明の一実施例において、ドロップアウト層の階層パラメータは、ドロップアウト率を含む。

【0029】

本発明の一実施例において、ＳＰＰ層の階層パラメータは、サンプリング規則と、ピラミッドの層数と、を含む。

【0030】

本発明の一実施例において、画像はテキスト画像である。

【0031】

第３の態様によると、本発明の実施例はコンピュータ読取可能な記憶媒体を更に提供する。当該コンピュータ読取可能な記憶媒体には画像品質の評価プログラムが記憶されており、当該画像品質の評価プログラムは、プロセッサにより実行されると、上述のいずれかの実施例に係る画像品質の評価方法の作業を実現する。

【0032】

本発明の実施例により提供される画像品質の評価方法は、画像サンプルを用いて画像品質評価モデルを生成し、次に生成した画像品質評価モデルによって評価対象となる画像に対して評価作業を行うというような方式によって、評価対象となる画像に対する品質評価作業を実現する。従来の画像品質の評価方法と比較して、本発明の実施例に係る画像品質の評価方法は、計算量が少なく、評価プロセスが簡単で早くて便利であり、ひいては評価効率を向上させることができる。また、本発明の実施例に係る画像品質の評価方法は、画像サンプルから生成された画像品質評価モデルによって評価作業を実現するため、評価結果の精度が高い。特に画像サンプル及び評価対象となる画像の画像タイプが両方ともテキスト画像である場合、本発明の実施例に係る画像品質の評価方法はテキスト画像に対して、精度が高く且つ効率が良い評価作業を実現することができる。

【0033】

また、本発明の実施例により提供される画像品質の評価システムも同様に、上述の利点と有益な効果を有する。

【図面の簡単な説明】

【0034】

本発明の実施例に係る技術案をより明確に説明するために、以下、実施例の記述において使用する必要のある図面について簡単に説明する。明らかに、ここで説明する図面は本発明の一部の実施例に過ぎず、当業者であれば、創造的な労働を行わなくても、これらの図面に基づいて別の図面を取得することができる。

【図1】本発明の一実施例に係る画像品質の評価方法のフローチャートである。

【図2】本発明の一実施例に係る画像品質の評価方法における画像サンプルを用いて画像品質評価モデルを生成するステップのフローチャートである。

【図3】本発明の他の実施例に係るニューラルネットワークアーキテクチャの階層構造の模式図である。

【図4】本発明の別の実施例に係るニューラルネットワークアーキテクチャの階層構造の模式図である。

【図5】本発明のさらにもう一つの実施例に係る画像品質の評価方法における画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成するステップのフローチャートである。

【図6】本発明のさらにもう一つの実施例に係る画像品質評価モデルを反復トレーニングする方法のフローチャートである。

【図7】本発明のさらにもう一つの実施例に係るトレーニングに用いられるテキスト画像サンプルの模式図である。

【図8】本発明のさらにもう一つの実施例に係るテキスト画像品質評価モデルのテキスト品質ネットワークアーキテクチャの構成模式図である。

【図9】本発明のさらにもう一つの実施例に係るテキスト品質ネットワークアーキテクチャ中の各階層により出力されるＭ×Ｎのグレースケール図のサイズ変化模式図である。

【図10】本発明のさらにもう一つの実施例に係るトレーニングされたテキスト画像品質評価モデルによってテキスト画像品質評価を行うフローチャートである。

【図11】本発明のさらにもう一つの実施例に係る評価対象となる画像の模式図である。

【図12】本発明のさらにもう一つの実施例に係る評価対象となる画像の模式図である。

【図13】本発明の一実施例に係る画像品質の評価システムの構成模式図である。

【図14】本発明の他の実施例に係る画像品質の評価システムの画像品質評価モデル生成モジュールの構成模式図である。

【図15】本発明の別の実施例に係るテキスト画像品質評価デバイスの構成模式図である。

【図16】本発明の一実施例に係る電子デバイスの構成模式図である。

【発明を実施するための形態】

【0035】

本発明の目的、技術案及び利点をより明確にするために、以下、本発明の実施例における図面を参照して本発明の実施例における技術案に対して明確且つ完全な説明を行う。明らかに、ここで説明する実施例は本発明の一部の実施例に過ぎず、すべての実施例ではない。本発明の実施例に基づいて、当業者が創造的な労働をせずに取得し得る他の実施例は、すべて本発明の保護範囲に属する。

【0036】

図１は、本発明の一実施例に係る画像品質の評価方法のフローチャートである。図１に示すように、本発明の実施例に係る画像品質の評価方法は、以下の内容を含む。

【0037】

１０：画像サンプルを用いて画像品質評価モデルを生成する。

【0038】

画像品質評価モデルは、画像サンプルに基づくトレーニングによって生成される画像品質評価モデルである。つまり、画像品質評価モデルにおける階層構造や階層パラメータなどの具体的な情報は、すべて画像サンプルの具体的状況に基づいてトレーニングされて生成される。

【0039】

なお、本発明の実施例に係る画像品質の評価方法の適応性と汎用性をより向上させるために、画像サンプルの画像タイプは、自然場面を含む場面画像であってもよく、テキスト情報を含むテキスト画像であってもよく、本発明の実施例ではそれについて統一した限定をしない。

【0040】

好ましく、評価対象となる画像の画像タイプは、画像サンプルの画像タイプに一致すべきである。例えば、画像サンプルの画像タイプがテキスト画像である場合、評価対象となる画像の画像タイプもテキスト画像であるべきである。なお、画像品質評価モデルは画像サンプルに基づいて生成されるため、評価対象となる画像の画像タイプが画像サンプルの画像タイプと一致する場合、画像品質評価モデルの評価の精度を十分に向上させることができる。

【0041】

本発明の一実施例において、画像サンプル及び評価対象となる画像の画像タイプは両方ともテキスト画像である。

【0042】

２０：画像品質評価モデルによって評価対象となる画像に対して評価作業を行う。

【0043】

実際に応用する場合、最初に画像サンプルを選定し、選定した画像サンプルを用いて画像品質評価モデルを生成する。次に、生成した画像品質評価モデルによって、評価対象となる画像に対して評価作業を行って、評価対象となる画像の評価データを生成する。

【0044】

本発明の実施例に係る画像品質の評価方法は、画像サンプルを用いて画像品質評価モデルを生成し、次に生成した画像品質評価モデルによって評価対象となる画像に対して評価作業を行うというような方式によって、評価対象となる画像に対する品質評価作業を実現することができる。従来の画像品質の評価方法と比較して、本発明の実施例に係る画像品質の評価方法は、計算量が少なく、評価プロセスが簡単で早くて便利であり、ひいては評価効率を向上させることができる。また、本発明の実施例に係る画像品質の評価方法は、画像サンプルから生成される画像品質評価モデルによって評価作業を実現するため、精度が高い評価結果を有する。特に画像サンプル及び評価対象となる画像の画像タイプが両方ともテキスト画像である場合、本発明の実施例に係る画像品質の評価方法はテキスト画像に対して、精度が高く且つ効率が良い評価作業を実現することができる。

【0045】

図２は、本発明の一実施例に係る画像品質の評価方法における画像サンプルを用いて画像品質評価モデルを生成するステップのフローチャートである。図２に示すように、本発明の実施例に係る画像品質の評価方法において、画像サンプルを用いて画像品質評価モデルを生成するステップは、以下の内容を含む。

【0046】

１１：画像サンプルの基準品質指標値をラベリングする。
なお、画像サンプルの基準品質指標値のラベリングは、コンピュータプログラムなどによって実現される自動ラベリングであってもよく、人工による手動ラベリングであってもよく、さらに他のラベリング方式であってもよく、本発明の実施例ではそれについて統一した限定をしない。

【0047】

１２：画像サンプルに基づいてニューラルネットワークアーキテクチャを生成する。
なお、ニューラルネットワークアーキテクチャは、後続の機械学習をサポートするネットワークアーキテクチャであり、入力層、出力層及び中間層を含む。
好ましく、ニューラルネットワークアーキテクチャは、畳み込みニューラルネットワークアーキテクチャである。

【0048】

好ましく、ニューラルネットワークアーキテクチャは、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）層及び損失（Ｌｏｓｓ）層を含むネットワークアーキテクチャである。ここで、畳み込み層は画像サンプルに対して特徴抽出作業を行い、活性化関数層は非線形因子の導入を行い、損失層はトレーニングプロセスにおいて、取得した評価結果と基準品質指標値との間の差によって反復トレーニングを続けるか否かを決定する。

【0049】

好ましく、活性化関数層は、正規化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ，ＲｅＬＵ）層及びシグモイド曲線（Ｓｉｇｍｏｉｄ）層を含む。

【0050】

より好ましく、ニューラルネットワークアーキテクチャは、プーリング（Ｐｏｏｌｉｎｇ）層と、ドロップアウト（Ｄｒｏｐｏｕｔ）層と、ＳＰＰ（Ｓｐａｔｉａｌ Ｐｙｒａｍｉｄ Ｐｏｏｌｉｎｇ，ＳＰＰ）層と、を更に含む。ここで、プーリング層は計算複雑度を低減させて過学習を改善するために特徴の圧縮を行い、ドロップアウト層は過学習を改善し、ＳＰＰ層は抽出された特徴を固定のサイズを有する特徴ベクトルに転換する。

【0051】

１３：画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成する。

【0052】

好ましく、畳み込み層の階層パラメータは、畳み込み核の数、畳み込み核の大きさ、畳み込みウィンドウのスライド距離及びパディングエッジの画素値を含む。

【0053】

好ましく、プーリング層の階層パラメータは、サンプリング規則、サンプリングウィンドウの大きさ及びサンプリングウィンドウのスライド距離を含む。

【0054】

好ましく、ドロップアウト層の階層パラメータはドロップアウト率を含む。

【0055】

好ましく、ＳＰＰ層の階層パラメータは、サンプリング規則及びピラミッドの層数を含む。

【0056】

実際に応用する場合、最初に画像サンプルを選定し、画像サンプルの基準品質指標値をラベリングする。次に、選定した画像サンプルによってニューラルネットワークアーキテクチャを生成し、画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成する。最後に、生成した画像品質評価モデルを用いて評価対象となる画像に対して評価作業を行って，評価対象となる画像の評価データを生成する。

【0057】

本発明の実施例に係る画像品質の評価方法は、画像サンプルによって基礎となるニューラルネットワークアーキテクチャを構築し、さらに画像サンプルによってニューラルネットワークアーキテクチャに対してディープラーニングを行って、画像品質評価モデルを生成するというような方式によって、画像品質評価モデルの評価の精度をより一層向上させることができる。また、ニューラルネットワークアーキテクチャに正規化線形ユニット層、シグモイド曲線層、プーリング層、ドロップアウト層及びＳＰＰ層などの階層構造が含まれる場合には、生成する画像品質評価モデルの評価の精度と評価効率をより一層向上させることができる。

【0058】

図３は、本発明の他の実施例に係るニューラルネットワークアーキテクチャの階層構造の模式図である。図３に示すように、本発明の実施例に係るニューラルネットワークアーキテクチャにおいて、階層順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる。

【0059】

実際に応用する場合、データの伝送順序は、順に畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、畳み込み層、正規化線形ユニット層、シグモイド曲線層、損失層となる。つまり、データは、最初の層である畳み込み層から入力され、最終的に損失層を介して出力される。

【0060】

図４は、本発明の別の実施例に係るニューラルネットワークアーキテクチャの階層構造の模式図である。図４に示すように、本発明の実施例に係るニューラルネットワークアーキテクチャにおいて、階層順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる。

【0061】

実際に応用する場合、データ伝送順序は、順に畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、プーリング層、畳み込み層、正規化線形ユニット層、ドロップアウト層、畳み込み層、ＳＰＰ層、シグモイド曲線層、損失層となる。つまり、データは、最初の層である畳み込み層から入力され、最終的に損失層を介して出力される。

【0062】

図５は、本発明のさらにもう一つの実施例に係る画像品質の評価方法における画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成するステップのフローチャートである。図５に示すように、本発明の実施例に係る画像品質の評価方法において、画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成するステップは、以下の内容を含む。

【0063】

１３１：トレーニングパラメータによって画像サンプルをニューラルネットワークアーキテクチャに入力する。

【0064】

好ましく、トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のニューラルネットワークアーキテクチャにおける各階層の重みと、バイアスと、バイアス及び初期のニューラルネットワークアーキテクチャにおける各階層の重みの学習率と、のうちの少なくとも１つを含む。

【0065】

１３２：ニューラルネットワークアーキテクチャにおける損失層の出力結果と基準品質指標値との間の誤差データを算出する。

【0066】

１３３：誤差データによってニューラルネットワークアーキテクチャにおける階層パラメータを更新し、更新後のニューラルネットワークアーキテクチャに基づいて新たに誤差データを反復計算する。

【0067】

１３４：反復計算により算出される誤差データが予め設定された誤差範囲に入ると、ニューラルネットワークアーキテクチャに基づいて画像品質評価モデルを生成する。

【0068】

なお、本発明の実施例に係る画像品質の評価方法の適応性と汎用性をより向上させるために、予め設定される誤差範囲は実際の状況によって別途設定してもよく、本発明の実施例ではそれについて統一した限定をしない。

【0069】

実際に応用する場合、最初に画像サンプルを選定し、画像サンプルの基準品質指標値をラベリングするとともに、選定した画像サンプルによってニューラルネットワークアーキテクチャを生成する。次にトレーニングパラメータを選定し、生成したニューラルネットワークアーキテクチャへトレーニングパラメータによって画像サンプルを入力し、ニューラルネットワークアーキテクチャにおける損失層の出力結果と基準品質指標値との間の誤差データを算出する。さらに、誤差データによってニューラルネットワークアーキテクチャにおける階層パラメータを更新し、更新後のニューラルネットワークアーキテクチャに基づいて新たに誤差データを反復計算する。反復計算により算出される誤差データが予め設定された誤差範囲に入った場合、当該誤差データに対応するニューラルネットワークアーキテクチャが画像品質評価モデルとなる。最後に、生成した画像品質評価モデルを用いて、評価対象となる画像に対して評価作業を行って、評価対象となる画像の評価データを生成する。

【0070】

図６は、本発明のさらにもう一つの実施例に係る画像品質評価モデルを反復トレーニングする方法のフローチャートである。本発明の実施例において、画像サンプル及び評価対象となる画像の画像タイプは両方ともテキスト画像である。

【0071】

本発明の実施例においては、テキスト画像品質評価モデルによってテキスト画像（すなわち評価対象となる画像）の品質に対して評価を行う前に、当該テキスト画像品質評価モデルを予めトレーニングする必要がある。

【0072】

図６を参照すると、当該テキスト画像品質評価モデルをトレーニングするプロセスは、具体的に以下の内容を含む。

【0073】

１０１：トレーニングに用いられるテキスト画像サンプルを取得し、各テキスト画像サンプルに対して品質指標値をラベリングする。

【0074】

なお、１０１に記載の品質指標値は、上述の実施例において言及した基準品質指標値である。

【0075】

具体的に、トレーニングに用いられる当該テキスト画像サンプルは、公開されたテキスト画像品質データベースから取得したテキスト画像サンプルを含み、さらに合成したテキスト画像サンプルも含む。当該テキスト画像サンプルは、マルチスペクトル画像、一般的なカラー画像又はグレースケール画像であってもよい。テキスト画像サンプル中のテキストは、中国語、英語及び他の音声文字のテキスト画像を含む。

【0076】

各テキスト画像サンプルに対する品質指標値のラベリングには、コンピュータによる自動ラベリングを採用することができ、例えば、ＯＣＲにより認識されたテキスト画像の品質パラメータをテキスト画像の品質指標値とする。又は人工による手動ラベリングを採用し、肉眼でテキスト画像を観察してテキスト画像の品質指標値をラベリングすることもできる。さらに、他の方式を採用してテキスト画像サンプルに対して品質指標値のラベリングを行ってもよい。本発明の実施例では、採用される具体的方式について限定をしない。

【0077】

ここで、テキスト画像の品質指標値は、浮動小数点数で表すことができ、浮動小数点数が大きければ大きいほど、テキスト画像の品質が良い。各テキスト画像サンプルに対して品質指標値のラベリングを行った後、さらにラベリングされたすべてのテキスト画像の品質指標値を浮動小数点数の０−０．１の範囲内に入るように転換する。

【0078】

一例として、図７は、本発明のさらにもう一つの実施例に係るトレーニングに用いられるテキスト画像サンプルの模式図である。図７に示すように、テキスト画像品質評価モデルのトレーニングに用いられるテキスト画像サンプルとして、図７における４つのテキスト画像ａ、ｂ、ｃ、ｄを用いることができる。ここで、当該４つのテキスト画像サンプルａ、ｂ、ｃ、ｄに対してラベリングする品質指標値はそれぞれ、０．９１、０．８６５８、０．２７３３、０．９０６７である。

【0079】

１０２：テキスト画像品質評価モデルのテキスト品質ネットワークを設置する。

【0080】

なお、当該テキスト画像品質評価モデルは、ディープラーニングの畳み込みニューラルネットワークに基づいてトレーニングされるものであるため、ニューラルネットワークアーキテクチャ、すなわちテキスト品質ネットワークを設置する必要がある。

【0081】

まず、テキスト品質ネットワークアーキテクチャの基礎階層構造を構築する。具体的に、テキスト品質ネットワークアーキテクチャは、５つのＣｏｎｖｏｌｕｔｉｏｎ層と、４つのＲｅＬＵ層と、３つのＰｏｏｌｉｎｇ層と、１つのＤｒｏｐｏｕｔ層と、１つのＳＰＰ層と、１つのＳｉｇｍｏｉｄ層と、１つのＬｏｓｓ層とを含み、且つテキスト品質ネットワークアーキテクチャの階層分布順序がＣｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｄｒｏｐｏｕｔ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＳＰＰ／Ｓｉｇｍｏｉｄ／Ｌｏｓｓとなる。

【0082】

一例として、図８は、本発明のさらにもう一つの実施例に係るテキスト画像品質評価モデルのテキスト品質ネットワークアーキテクチャの構成模式図である。具体的に、図８は、テキスト品質ネットワークアーキテクチャにおける階層分布の構成模式図であり、ここで、ＣＯＮＶはＣｏｎｖｏｌｕｔｉｏｎであり、ＰＯＯＬはＰｏｏｌｉｎｇであり、ＤＲＯＰはＤｒｏｐｏｕｔである。

【0083】

次に、テキスト品質ネットワークアーキテクチャにおけるＣｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層及びＳＰＰ層の階層パラメータを設定する。

【0084】

なお、設置したＣｏｎｖｏｌｕｔｉｏｎ層の階層パラメータは、畳み込み核の数、畳み込み核の大きさ、畳み込みウィンドウのスライド距離及びパディングエッジの画素値を含む。Ｐｏｏｌｉｎｇ層の階層パラメータは、サンプリング規則、サンプリングウィンドウの大きさ及びサンプリングウィンドウのスライド距離を含む。Ｄｒｏｐｏｕｔ層の階層パラメータは、ドロップアウト率を含む。ＳＰＰ層の階層パラメータは、サンプリング規則及びピラミッドの層数を含む。

【0085】

好ましく、Ｃｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層及びＳＰＰ層の階層パラメータを以下のように設定する。第１のＣｏｎｖｏｌｕｔｉｏｎ層は、畳み込み核の数が９６であり、畳み込み核の大きさが３×３であり、畳み込みウィンドウのスライド距離が１であり、パディングエッジの画素値が０である。第１のＰｏｏｌｉｎｇ層は、サンプリング規則が最大値サンプリングであり、サンプリングウィンドウの大きさが３であり、サンプリングウィンドウのスライド距離が２である。第２のＣｏｎｖｏｌｕｔｉｏｎ層は、畳み込み核の数が９６であり、畳み込み核の大きさが３×３であり、畳み込みウィンドウのスライド距離が１であり、パディングエッジの画素値が２である。第２のＰｏｏｌｉｎｇ層は、サンプリング規則が最大値サンプリングであり、サンプリングウィンドウの大きさが３×３であり、サンプリングウィンドウのスライド距離が２である。第３のＣｏｎｖｏｌｕｔｉｏｎ層は、畳み込み核の数が１２８であり、畳み込み核の大きさが３×３であり、畳み込みウィンドウのスライド距離が１であり、パディングエッジの画素値が１である。第３層のＰｏｏｌｉｎｇ層は、サンプリング規則が最大値サンプリングであり、サンプリングウィンドウの大きさが３であり、サンプリングウィンドウのスライド距離が２である。第４のＣｏｎｖｏｌｕｔｉｏｎ層は、畳み込み核の数が１９２であり、畳み込み核の大きさが１であり、畳み込みウィンドウのスライド距離が１であり、パディングエッジの画素値が０である。Ｄｒｏｐｏｕｔ層のドロップアウト率は０．３５である。第５のＣｏｎｖｏｌｕｔｉｏｎ層は、畳み込み核の数が１であり、畳み込み核の大きさが１であり、畳み込みウィンドウのスライド距離が１であり、パディングエッジ画素が０である。ＳＰＰ層は、サンプリング規則が最大値サンプリングであり、ピラミッドの層数が１である。

【0086】

なお、ここで示したＣｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層及びＳＰＰ層の階層パラメータの設置値は好ましい値に過ぎず、実際にトレーニングを行うときには、必要に応じて調整してもよい。本発明の実施例では、各階層の具体的な階層パラメータについて限定をしない。

【0087】

１０３：テキスト画像サンプル及びラベリングの品質指標値に基づいて、テキスト品質ネットワークによって初期のテキスト画像品質評価モデルのパラメータに対して反復トレーニングを行って、テキスト画像品質評価モデルを取得する。

【0088】

具体的に、１０３において言及したテキスト画像品質評価モデルを取得するステップは、以下の内容を含む。

【0089】

ａ、トレーニングパラメータを決定する。

【0090】

具体的に、トレーニングパラメータは、反復の総回数と、毎回の反復するサンプル数と、テスト間隔と、学習率と、初期のネットワーク各層の重みと、バイアスと、バイアス及び初期のネットワーク各層の重みの学習率と、のうちの少なくとも１つを含む。
ｂ、トレーニングパラメータによって、テキスト画像サンプルを最初のテキスト画像品質評価モデルに入力する。

【0091】

ｃ、テキスト画像サンプルに対してテキスト品質ネットワークのＣｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層、ＳＰＰ層、Ｓｉｇｍｏｉｄ層により行われた処理の出力結果を取得する。

【0092】

具体的に、トレーニングに用いられるテキスト画像サンプルのデータは、順にＣｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｐｏｏｌｉｎｇ層における作業を受け、さらにＤｒｏｐｏｕｔ層、ＳＰＰ層及びＳｉｇｍｏｉｄ層におけるネットワーク演算が行われ、Ｓｉｇｍｏｉｄ層において最終の出力結果を取得する。

【0093】

ｄ、テキスト品質ネットワークのＬｏｓｓ層において、出力結果とラベリングの品質指標値との間の誤差を算出し、さらに誤差を逆方向にテキスト品質ネットワークアーキテクチャの各層に伝送して、各層の階層パラメータを更新する。誤差が予め設定された範囲に入るまでに反復計算を続ける。

【0094】

具体的に、各層の階層パラメータを更新することは、初期のネットワーク各層の重みを更新することを含む。

【0095】

図９は、本発明のさらにもう一つの実施例に係るテキスト品質ネットワークアーキテクチャにおける各階層により出力されるＭ×Ｎのグレースケール図のサイズ変化模式図である。さらに、当該トレーニングプロセスを説明するために、サイズがＭ×Ｎとなるグレースケール画像を例として挙げる。当該Ｍ×Ｎのグレースケール画像をトレーニング中のテキスト画像品質評価モデルに入力すると、当該テキスト画像品質評価モデルのテキスト品質ネットワークアーキテクチャの各層において出力されるサイズ変化は図９に示すようになり、具体的には以下の通りである。

【0096】

第１層のＣｏｎｖｏｌｕｔｉｏｎ層により返される構成のサイズは１×９６×Ｍ×Ｎである。

【0097】

第１層のＰｏｏｌｉｎｇ層により返される構成のサイズは１×９６×Ｍ／２×Ｎ／２である。

【0098】

第２層のＣｏｎｖｏｌｕｔｉｏｎ層により返される構成のサイズは１×９６×Ｍ／２×Ｎ／２である。

【0099】

第２層のＰｏｏｌｉｎｇ層により返される構成のサイズは１×９６×Ｍ／４×Ｎ／４である。

【0100】

第３層のＣｏｎｖｏｌｕｔｉｏｎ層により返される構成のサイズは１×１２８×Ｍ／４×Ｎ／４である。

【0101】

第３層のＰｏｏｌｉｎｇ層により返される構成のサイズは１×１２８×Ｍ／８×Ｎ／８である。

【0102】

第４層のＣｏｎｖｏｌｕｔｉｏｎ層により返される構成のサイズは１×１９２×Ｍ／８×Ｎ／８である。

【0103】

第５層のＣｏｎｖｏｌｕｔｉｏｎ層により返される構成のサイズは１×１×Ｍ／８×Ｎ／８である。

【0104】

ＳＰＰ層により返される構成のサイズは１×１×１×１である。

【0105】

Ｓｉｇｍｏｉｄ層により返される構成のサイズは１×１×１×１である。

【0106】

さらに、Ｌｏｓｓ層において、Ｓｉｇｍｏｉｄ層の出力結果と当該テキスト画像サンプルラベリングの品質指標値とに対して誤差演算を行い、以上の各層に誤差を返し、各層のネットワークパラメータを更新する。Ｌｏｓｓ層の誤差が予め設定された範囲に入るまでに、大量のテキスト画像サンプルを用いて当該プロセスを反復する。

【0107】

ｅ、最終的に生成されるテキスト画像品質評価モデルを取得する。

【0108】

図１０は、本発明のさらにもう一つの実施例に係るトレーニングされたテキスト画像品質評価モデルによってテキスト画像品質評価を行うフローチャートである。図１０に示すように、トレーニングされて生成されたテキスト画像品質評価モデルによってテキスト画像品質評価を行うプロセスは、具体的に以下の内容を含む。

【0109】

５０１：評価対象となるテキスト画像を取得する。

【0110】

具体的に、当該評価対象となるテキスト画像は、図６に示した１０１におけるテキスト画像サンプルと同様であるので、ここでは説明を省略する。１０１に記載のテキスト画像サンプルの特徴は、いずれも本明細書のテキスト画像に用いられることができる。

【0111】

５０２：テキスト画像を予めトレーニングされたテキスト画像品質評価モデルに入力して処理を行い、テキスト画像品質評価モデルの出力値に基づいて、テキスト画像の品質指標値を決定する。

【0112】

当該品質指標値は、浮動小数点数を含む。

【0113】

一例として、図１１は、本発明のさらにもう一つの実施例に係る評価対象となる画像の模式図である。図１２は、本発明のさらにもう一つの実施例に係る評価対象となる画像の模式図である。図１１及び図１２に示すテキスト画像を予めトレーニングされた当該テキスト画像品質評価モデルに入力して処理を行い、処理によって取得した図１１に示すテキスト画像の品質指標値は０．９７５６であり、取得した図１２に示すテキスト画像の品質指標値は０．９８０５である。

【0114】

本発明の実施例は、テキスト画像品質の評価方法を提供する。当該方法においては、評価対象となるテキスト画像を取得し、当該テキスト画像を予めトレーニングされたテキスト画像品質評価モデルに入力し、テキスト画像品質評価モデルの出力値に基づいて、テキスト画像の品質指標値を決定する。したがって、予めトレーニングされたテキスト画像品質評価モデルは、テキスト画像の品質に対する評価に専用することができる。また、当該評価は、プロセスが簡単のため作業しやすく、ＯＣＲを行う前の前処理作業としてもよく、計算による消耗を削減することができる。さらに、従来技術による画像品質の評価方法と比較して、計算複雑度及び計算量を大幅に低減し、且つ予め画像に対して処理などの作業を行う必要がなく、評価プロセスが早くて便利である。また、当該テキスト画像品質評価モデルはディープラーニングのニューラルネットワークに基づいてトレーニングされて生成されるものであるため、評価において、人間の視覚によるテキスト画像品質評価の過程を模擬することができる。さらに、当該モデルのパラメータは、反復の方式で繰り返してトレーニングを受けるため、このような事前トレーニングを受けたテキスト画像品質評価モデルを用いてテキスト画像の品質を評価すると、より効果的且つ正確な品質評価結果を出し、評価効率を向上させることができる。

【0115】

図１３は、本発明の一実施例に係る画像品質の評価システムの構成模式図である。図１３に示すように、本発明の実施例に係る画像品質の評価システムは以下の部分を備える。

【0116】

画像品質評価モデル生成モジュール１００：画像サンプルを用いて画像品質評価モデルを生成する。

【0117】

評価モジュール２００：画像品質評価モデルによって評価対象となる画像に対して評価作業を行う。

【0118】

なお、画像品質評価モデルは、画像サンプルに基づいてトレーニングされて生成される画像品質評価モデルである。つまり、画像品質評価モデルにおける階層構造や階層パラメータなどの具体的情報は、すべて画像サンプルの具体的状況に基づいてトレーニングされて生成されるものである。

【0119】

また、本発明の実施例に係る画像品質の評価方法の適応性及び汎用性をより向上させるために、画像サンプルの画像タイプは、自然場面を含む場面画像であってもよく、テキスト情報を含むテキスト画像であってもよく、本発明の実施例ではそれについて統一した限定をしない。

【0120】

好ましく、評価対象となる画像の画像タイプは、画像サンプルの画像タイプに一致する。例えば、画像サンプルの画像タイプがテキスト画像であれば、評価対象となる画像の画像タイプもテキスト画像であるべきである。なお、画像品質評価モデルは画像サンプルに基づいて生成されるため、評価対象となる画像の画像タイプと画像サンプルの画像タイプと一致する場合、画像品質評価モデルの評価の精度をより向上させることができる。

【0121】

好ましく、画像サンプル及び評価対象となる画像の画像タイプは、両方ともテキスト画像である。

【0122】

図１４は、本発明の他の実施例に係る画像品質の評価システムの画像品質評価モデル生成モジュールの構成模式図である。図１４に示すように、本発明の実施例において、画像品質評価モデル生成モジュール１００は以下の部分を備える。

【0123】

ラベリングユニット１１０：画像サンプルの基準品質指標値をラベリングする。

【0124】

ニューラルネットワークアーキテクチャ生成ユニット１２０：画像サンプルに基づいてニューラルネットワークアーキテクチャを生成する。

【0125】

反復トレーニングユニット１３０：画像サンプルを用いてニューラルネットワークアーキテクチャの階層パラメータに対して反復トレーニングを行って、画像品質評価モデルを生成する。
なお、ニューラルネットワークアーキテクチャは、後続の機械学習をサポートするネットワークアーキテクチャであり、入力層、出力層及び中間層を含む。

【0126】

好ましく、ニューラルネットワークアーキテクチャは、畳み込みニューラルネットワークアーキテクチャである。

【0127】

好ましく、ニューラルネットワークアーキテクチャは、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ）層、活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）層及び損失（Ｌｏｓｓ）層を含むネットワークアーキテクチャである。ここで、畳み込み層は画像サンプルに対して特徴抽出作業を行い、活性化関数層は非線形因子を導入し、損失層はトレーニングプロセスにおいて、得られた評価結果と基準品質指標値との間の差によって反復トレーニングを続けるか否かを決定する。

【0128】

好ましく、活性化関数層は、正規化線形ユニット（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ，ＲｅＬＵ）層及びシグモイド曲線（Ｓｉｇｍｏｉｄ）層を含む。

【0129】

より好ましく、ニューラルネットワークアーキテクチャは、プーリング（Ｐｏｏｌｉｎｇ）層、ドロップアウト（Ｄｒｏｐｏｕｔ）層、ＳＰＰ（Ｓｐａｔｉａｌ ＰｙｒａＭｉｄ Ｐｏｏｌｉｎｇ，ＳＰＰ）層を更に含む。ここで、プーリング層は計算複雑度を低減させて過学習を改善するために特徴の圧縮を行い、ドロップアウト層は過学習を改善し、ＳＰＰ層は抽出された特徴を固定のサイズを有する特徴ベクトルに転換する。

【0130】

好ましく、畳み込み層の階層パラメータは、畳み込み核の数、畳み込み核の大きさ、畳み込みウィンドウのスライド距離及びパディングエッジの画素値を含む。

【0131】

好ましく、プーリング層の階層パラメータは、サンプリング規則、サンプリングウィンドウの大きさ及びサンプリングウィンドウのスライド距離を含む。

【0132】

好ましく、ドロップアウト層の階層パラメータはドロップアウト率を含む。

【0133】

好ましく、ＳＰＰ層の階層パラメータは、サンプリング規則及びピラミッドの層数を含む。

【0134】

本発明の他の実施例において、反復トレーニングユニット１３０はさらに、トレーニングパラメータによって画像サンプルをニューラルネットワークアーキテクチャに入力し、ニューラルネットワークアーキテクチャにおける損失層の出力結果と基準品質指標値との間の誤差データを算出し、誤差データによってニューラルネットワークアーキテクチャにおける階層パラメータを更新し、更新後のニューラルネットワークアーキテクチャに基づいて新たに誤差データを反復計算する。なお、反復計算により算出される誤差データが予め設定された誤差範囲に入ると、誤差データに対応するニューラルネットワークアーキテクチャが画像品質評価モデルとなる。

【0135】

なお、図１３及び図１４に係る画像品質の評価システム中の画像品質評価モデル生成モジュール１００、評価モジュール２００、ラベリングユニット１１０、ニューラルネットワークアーキテクチャ生成ユニット１２０及び反復トレーニングユニット１３０の作業と機能は、上述の図１、図２及び図５に係る画像品質の評価方法を参照すればよく、重複を避けるためにここでは説明を省略する。

【0136】

図１５は、本発明の別の実施例に係るテキスト画像品質評価デバイスの構成模式図である。図１５に示すように、本発明の実施例に係るテキスト画像品質評価デバイス８は以下の部分を備える。

【0137】

テキスト画像取得モジュール８１：評価対象となるテキスト画像を取得する。

【0138】

評価モジュール８２：予めトレーニングされたテキスト画像品質評価モデルにテキスト画像を入力して処理を行い、テキスト画像品質評価モデルの出力値に基づいてテキスト画像の品質指標値を決定する。品質指標値は、浮動小数点数を含む。

【0139】

さらに、テキスト画像品質評価デバイス８は以下の部分を更に備える。

【0140】

テキスト画像サンプル取得モジュール８３：トレーニングに用いられるテキスト画像サンプルを取得する。

【0141】

品質指標値ラベリングモジュール８４：各テキスト画像サンプルに対して品質指標値ラベリングを行う。
テキスト品質ネットワーク設置モジュール８５：テキスト画像品質評価モデルのテキスト品質ネットワークを設置する。

【0142】

テキスト画像品質評価モデル取得モジュール８６：テキスト画像サンプル及びラベリングされた品質指標値に基づいて、テキスト品質ネットワークによって最初のテキスト画像品質評価モデルのパラメータに対して反復計算トレーニングを行って、テキスト画像品質評価モデルを取得する。

【0143】

さらに、テキスト品質ネットワーク設置モジュール８５は以下の部分を備える。

【0144】

テキスト品質ネットワークアーキテクチャ設置サブモジュール８５１：テキスト品質ネットワークアーキテクチャを設置する。なお、テキスト品質ネットワークアーキテクチャは、５つのＣｏｎｖｏｌｕｔｉｏｎ層、４つのＲｅＬＵ層、３つのＰｏｏｌｉｎｇ層、１つのＤｒｏｐｏｕｔ層、１つのＳＰＰ層、１つのＳｉｇｍｏｉｄ層、１つのＬｏｓｓ層から構成される。

【0145】

また、テキスト品質ネットワークアーキテクチャにおける順序は、Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｐｏｏｌｉｎｇ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＲｅＬＵ／Ｄｒｏｐｏｕｔ／Ｃｏｎｖｏｌｕｔｉｏｎ／ＳＰＰ／Ｓｉｇｍｏｉｄ／Ｌｏｓｓとなる。

【0146】

階層構造パラメータ設置サブモジュール８５２：テキスト品質ネットワークアーキテクチャにおけるＣｏｎｖｏｌｕｔｉｏｎ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層及びＳＰＰ層の階層パラメータを設定する。

【0147】

さらに、設定されるＣｏｎｖｏｌｕｔｉｏｎ層の階層パラメータは、畳み込み核の数、畳み込み核の大きさ、畳み込みウィンドウのスライド距離及びパディングエッジの画素値を含む。Ｐｏｏｌｉｎｇ層の階層パラメータは、サンプリング規則、サンプリングウィンドウの大きさ、サンプリングウィンドウのスライド距離を含む。Ｄｒｏｐｏｕｔ層の階層パラメータはドロップアウト率を含む。ＳＰＰ層の階層パラメータは、サンプリング規則及びピラミッドの層数を含む。

【0148】

さらに、テキスト画像品質評価モデル取得モジュール８６は具体的に以下の部分を備える。

【0149】

トレーニングパラメータ決定サブモジュール８６１：トレーニングパラメータを決定する。

【0150】

入力サブモジュール８６２：トレーニングパラメータによって、テキスト画像サンプルを初期のテキスト画像品質評価モデルに入力する。

【0151】

出力結果取得サブモジュール８６３：テキスト画像サンプルがテキスト品質ネットワークのＣｏｎｖｏｌｕｔｉｏｎ層、ＲｅＬＵ層、Ｐｏｏｌｉｎｇ層、Ｄｒｏｐｏｕｔ層、ＳＰＰ層、Ｓｉｇｍｏｉｄ層により処理された後の出力結果を取得する。

【0152】

誤差計算サブモジュール８６４：テキスト品質ネットワークのＬｏｓｓ層において、出力結果とラベリングの品質指標値との間の誤差を計算する。

【0153】

反復計算モジュール８６５：誤差を逆方向にテキスト品質ネットワークアーキテクチャの各層に伝送して、各層のネットワークパラメータを更新し、誤差が予め設定された範囲に入るまでに反復計算を続ける。
テキスト画像品質評価モデル生成サブモジュール８６６：最終的に生成されるテキスト画像品質評価モデルを取得する。

【0154】

本発明の実施例は、テキスト画像品質評価デバイスを提供する。当該デバイスは、評価対象となるテキスト画像を取得し、当該テキスト画像を予めトレーニングされたテキスト画像品質評価モデルに入力し、テキスト画像品質評価モデルの出力値に基づいてテキスト画像の品質指標値を決定する。したがって、予めトレーニングされたテキスト画像品質評価モデルは、テキスト画像の品質に対する評価に専用することができる。また、当該評価は、プロセスが簡単のため作業しやすく、ＯＣＲを行う前の前処理作業としてもよく、計算による消耗を削減することができる。さらに、従来技術による画像品質の評価方法と比較して、計算複雑度及び計算量を大幅に低減し、且つ予め画像に対して処理などの作業を行う必要がなく、評価プロセスが早くて便利である。また、当該テキスト画像品質評価モデルはディープラーニングのニューラルネットワークに基づいてトレーニングされて生成されるものであるため、評価において、人間の視覚によるテキスト画像品質評価の過程を模擬することができる。さらに、当該モデルのパラメータは、反復の方式で繰り返してトレーニングを受けるため、このような事前トレーニングを受けたテキスト画像品質評価モデルを用いてテキスト画像の品質を評価すると、より効果的且つ正確な品質評価結果を出し、評価効率を向上させることができる。

【0155】

上述のすべての選択可能な技術案は、任意の組み合わせによって、本発明の選択肢となる実施例を形成することができ、ここでは詳しい説明を省略する。

【0156】

なお、上述の実施例に係るテキスト画像品質評価デバイスは、テキスト画像品質の評価方法を実行する場合についての説明では上述の各機能モジュールの分け方を例としたが、実際に応用する場合、必要に応じて上述の機能を異なる機能モジュールに配分して実行させてもよい。つまり、デバイスの内部構成を異なる機能モジュールに分割して、上述のすべて又は一部の機能を実現する。また、上述の実施例に係るテキスト画像品質評価デバイスは、テキスト画像品質の評価方法に係る実施例と同様の発想に基づくものであり、その具体的な実現プロセスについては方法の実施例を参照すればよく、ここでは説明を省略する。

【0157】

当業者であれば理解できる通り、上述の実施例のすべて又は一部のステップは、ハードウェアによって実現されてもよく、プログラムが関連するハードウェアに命令を出して実現されてもよい。当該プログラムは、コンピュータ読取可能な記憶媒体に記憶されることができ、上述の記憶媒体はリードオンリーメモリ、磁気ディスク又はコンパクトディスクなどであってもよい。

【0158】

図１６は、本発明の一実施例に係る電子デバイスの構成模式図である。図１６によるデバイスは、上述の実施例に係る画像品質の評価方法を実行する。図１６に示すように、当該電子デバイスは、プロセッサ１６１、メモリ１６２及びバス１６３を含む。

【0159】

プロセッサ１６１は、バス１６３を介してメモリ１６２に保存されているコードを呼び出して、画像サンプルを用いて画像品質評価モデルを生成し、画像品質評価モデルによって評価対象となる画像に対して評価作業を行う。

【0160】

なお、当該電子デバイスは、携帯電話、タブレットなどの電子デバイスを含むが、これらに限定されない。

【0161】

本発明の一実施例においては、コンピュータ読取可能な記憶媒体を更に提供する。当該コンピュータ読取可能な記憶媒体には、画像品質の評価プログラムが記憶されており、当該画像品質の評価プログラムがプロセッサにより実行されると、上述のいずれかの実施例に係る画像品質の評価方法の作業を実現する。

【0162】

なお、当該コンピュータ読取可能な媒体は、例えば、ＣＤ−ＲＯＭ、ソフトディスク、ハードディスク、デジタルバーサタイルディスク（ＤＶＤ）、ブルーレイディスク又は他の形式を有するメモリである。代替的に、上述の実施例による画像品質の評価方法における一部の作業又はすべての作業は、専用集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、ＥＰＬＤ、個別論理、ハードウェア、ファームウェアなどの任意の組み合わせにより実現されることができる。また、上述の実施例のフローチャートによって当該画像品質の評価方法を説明したが、当該画像品質の評価方法における作業に対する変更、削除又は合併は可能である。

【0163】

上述の通り、コード命令（例えば、コンピュータ読取可能な命令）を用いて上述のいずれかの実施例に係る画像品質の評価方法を実現することができる。当該コード命令は有形のコンピュータ読取可能な媒体、例えば、ハードディスク、フラッシュメモリ、リードオンリーメモリ（ＲＯＭ）、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、キャッシュメモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は任意の他の記憶媒体に記憶されており、当該記憶媒体において情報は任意の期間（例えば、長時間、永久、短時間、一時的なバッファ及び／又は情報のキャッシュ）に亘って記憶されることができる。本明細書で使用される場合、有形のコンピュータ読取可能な媒体という用語は、コンピュータが読取及び記憶することが可能な任意タイプの信号を含むと明確に定義されている。追加的に、又は代替的に、コード命令（例えば、コンピュータ読取可能な命令）によって上述の画像品質の評価方法の実施例に係る例としてのプロセスを実現することができる。当該コード命令は、非一時的なコンピュータ読取可能な媒体、例えば、ハードディスク、フラッシュメモリ、リードオンリーメモリ、コンパクトディスク、デジタルバーサタイルディスク、キャッシュメモリ、ランダムアクセスメモリ及び／又は任意の他の記憶媒体に記憶されており、当該記憶媒体において情報は任意の期間（例えば、長時間、永久、短時間、一時的なバッファ及び／又は情報のキャッシュ）に亘って記憶されることができる。

【0164】

以上の内容は本発明の好適な実施例に過ぎず、本発明を制限するものではない。本発明の精神及び原則の範囲以内で行われる変更、同等の置換、修正などは、すべて本発明の保護範囲に属すべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】