特許 6737997 画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6737997

(24)【登録日】2020年7月21日

(45)【発行日】2020年8月12日

(54)【発明の名称】画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20200730BHJP

【ＦＩ】

   G06T7/00 350C

【請求項の数】9

【全頁数】19

(21)【出願番号】特願2019-47434(P2019-47434)

(22)【出願日】2019年3月14日

【審査請求日】2020年4月14日

【早期審査対象出願】

(73)【特許権者】

【識別番号】519092071

【氏名又は名称】Ｎａｖｉｅｒ株式会社

(74)【代理人】

【識別番号】100180758

【弁理士】

【氏名又は名称】荒木 利之

(72)【発明者】

【氏名】前田 舜太

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１９−０２５０４４（ＪＰ，Ａ）

【文献】 特開２０１９−００８３８３（ＪＰ，Ａ）

【文献】 特開２０１８−１７３９１４（ＪＰ，Ａ）

【文献】 特開２００９−０６４１６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段として機能させるための画像処理学習プログラム。

【請求項2】

前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する請求項１に記載の画像処理学習プログラム。

【請求項3】

コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる請求項１又は２に記載の画像処理学習プログラム。

【請求項4】

コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。

【請求項5】

コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。

【請求項6】

前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する請求項５に記載の画像処理プログラム。

【請求項7】

単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段とを有する情報処理装置。

【請求項8】

画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。

【請求項9】

前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである請求項８に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システムに関する。

【背景技術】

【0002】

従来の技術として、データセットを事前にクラスタリングして超解像の学習を行う画像処理学習プログラムが提案されている（例えば、非特許文献１参照）。

【0003】

非特許文献１に開示された画像処理学習プログラムは、単一の低解像度画像から単一の高解像度画像を復元する単画像超解像において、データセットとして複数の低解像度の画像を用意し、当該データセットをｋ平均法により事前にクラスタリングして分類ドメインに分割するとともに、分類ドメイン数と同数のＣＮＮ（Convolutional Neural Network）モデルを用意し、ＣＮＮモデルに入力される画像とクラスタ中心との距離を用いて学習を行って超解像手段とする。また、超解像手段である学習されたＣＮＮモデルについて、入力される画像とクラスタ中心との距離を用いて推論を行う。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Zhen Li、他５名、“Clustering based multiple branches deep networks for single image super‐resolution”、Multimedia Tools and Applications、Springer Science + Business Media、2018年12月14日

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、上記した非特許文献１の画像処理学習プログラムによると、データセットを事前にクラスタリングするため学習の効率は向上するものの、クラスタリングは例えば画像の色や明暗等の特徴量に基づいて行われることもあるため、必ずしも超解像の精度の向上には結びつかない、という問題がある。

【0006】

従って、本発明の目的は、画像処理の学習に用いるデータセットをラベリング不要でクラスタリングするとともに、各分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行う画像処理学習プログラム及び当該プログラムにより学習された画像処理プログラム、並びに情報処理装置及び画像処理システムを提供することにある。

【課題を解決するための手段】

【0007】

本発明の一態様は、上記目的を達成するため、以下の画像処理学習プログラム、画像処理プログラム、情報処理装置及び画像処理システムを提供する。

【0008】

［１］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段として機能させるための画像処理学習プログラム。
［２］前記学習手段は、前記複数の画像処理手段の全ての画像処理手段が学習済みとなった場合に学習を完了する、又は前記集団の前記最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、前記学習させた単数若しくは複数の画像処理手段又はｋ番目の画像処理手段のいずれかのみになる場合、学習を完了する前記［１］に記載の画像処理学習プログラム。
［３］コンピュータを、
入力される画像を前記分類ラベルのいずれかに分類する分類手段としてさらに機能させ、
前記学習手段は、前記集団の前記分類ラベルが付与された複数の入力画像を用いて前記分類手段を学習させる前記［１］又は［２］に記載の画像処理学習プログラム。
［４］コンピュータを、
単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団から学習済みの前記画像処理手段に入力画像を入力した場合に、当該学習済みの画像処理手段が出力する出力画像の目標画像に対する精度が高くなる当該出力画像の数が最も多い画像処理手段を特定し、当該特定された画像処理手段の画像処理の精度が高くなる入力画像及び目標画像を用いて未学習の画像処理手段を学習させて学習済みとした後、前記学習対象の集団に含まれる入力画像を全ての学習済みの前記画像処理手段に入力し、出力画像の目標画像に対する精度が高くなる画像処理手段を当該入力画像及び当該目標画像を用いてそれぞれ学習させる学習手段として機能させるための画像処理学習プログラム。
［５］コンピュータを、
画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、
前記［１］〜［４］のいずれかに記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段として機能させるための画像処理プログラム。
［６］前記分類手段は、前記画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類する前記［５］に記載の画像処理プログラム。
［７］単一の入力画像を画像処理して単一の出力画像を出力する複数の画像処理手段と、
複数の入力画像及び当該複数の入力画像に対応する目標画像を有する学習対象の集団に含まれる分類ドメインのうち最も多くの入力画像を有するｋ番目の分類ドメインを用いて単数若しくは複数の未学習の画像処理手段を当該分類ドメインに対応する学習済みのｋ番目の画像処理手段と略同一の精度まで学習させ、当該ｋ番目の画像処理手段と、学習させた当該単数若しくは複数の画像処理手段とに前記ｋ番目の分類ドメインが有する入力画像を入力し、当該学習させた単数若しくは複数の画像処理手段又は当該ｋ番目の画像処理手段のうち出力する出力画像の目標画像に対する精度が高い画像処理手段の分類ラベルを入力した入力画像に付与するとともに、当該入力画像で当該学習させた単数若しくは複数の画像処理手段又は／及び当該ｋ番目の画像処理手段を精度に基づいて学習させる学習手段とを有する情報処理装置。
［８］画像処理を行う対象となる画像を、ネットワークを介して配信するサーバ装置と、
前記画像処理を行う対象となる画像を前記サーバ装置から受信し、受信した当該画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段に入力する分類手段と、請求項１〜４のいずれか１項に記載の画像処理学習プログラムを実行することにより学習された複数の画像処理手段であって、前記分類手段から入力された前記画像処理を行う対象となる画像を画像処理する複数の画像処理手段とを有する情報処理装置とを備える画像処理システム。
［９］前記情報処理装置の前記複数の画像処理手段は、前記サーバ装置が配信する画像処理を行う対象となる画像及び当該画像処理を行う対象となる画像に対応する目標画像とを用いて学習されたものである前記［８］に記載の画像処理システム。

【発明の効果】

【0009】

請求項１、４、７、８に係る発明によれば、分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行うことができる。
請求項２に係る発明によれば、複数の画像処理手段の全てが学習済みとなった場合に学習を完了する、又は集団の最も多くの入力画像を有する分類ドメインの入力画像の分類ラベルが、ｉ番目又はｋ番目のいずれかのみになる場合、学習を完了することができる。
請求項３に係る発明によれば、画像処理の学習に用いるデータセットをラベリング不要でクラスタリングすることができる。
請求項５に係る発明によれば、画像処理を行う対象となる画像を予め定めた複数のカテゴリのいずれかに分類し、分類結果のカテゴリに対応付けられた画像処理手段で画像処理を行う対象となる画像を画像処理することができる。
請求項６に係る発明によれば、画像処理を行う対象となる画像に含まれる複数の部分領域を抽出し、複数の部分領域の特徴量を算出し、算出した特徴量の平均をとることで当該画像処理を行う対象となる画像を分類することができる。
請求項９に係る発明によれば、サーバ装置が配信する画像処理を行う対象となる画像に最適化された画像処理を行うことができる。

【図面の簡単な説明】

【0010】

【図1】図１は、第１の実施の形態に係る画像処理システムの構成の一例を示す概略図である。

【図2】図２は、第１の実施の形態に係る端末の構成例を示すブロック図である。

【図3】図３は、端末の超解像動作を説明するための概略図である。

【図4】図４は、第１の実施の形態の端末の超解像動作の一例を示すフローチャートである。

【図5A】図５Ａは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5B】図５Ｂは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5C】図５Ｃは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5D】図５Ｄは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5E】図５Ｅは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5F】図５Ｆは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図5G】図５Ｇは、第１の実施の形態の端末の学習動作を説明するための概略図である。

【図6】図６は、第１の実施の形態の端末の学習動作の一例を示すフローチャートである。

【図7A】図７Ａは、第２の実施の形態の端末の学習動作を説明するための概略図である。

【図7B】図７Ｂは、第２の実施の形態の端末の学習動作を説明するための概略図である。

【図7C】図７Ｃは、第２の実施の形態の端末の学習動作を説明するための概略図である。

【図8】図８は、第２の実施の形態の端末の学習動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0011】

［第１の実施の形態］
（画像処理システムの構成）
図１は、第１の実施の形態に係る画像処理システムの構成の一例を示す概略図である。

【0012】

この画像処理システムの一例としての超解像システム５は、情報処理装置としての端末１と、ウェブサーバ２とをネットワーク３によって互いに通信可能に接続することで構成される。

【0013】

端末１は、例えば、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォン、タブレット端末等の携帯型の情報処理装置であって、本体内に情報を処理するための機能を有するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やフラッシュメモリ等の電子部品を備える。なお、端末１は、携帯型の情報処理装置に限らず据え置き型のＰＣであってもよい。

【0014】

ウェブサーバ２は、サーバ型の情報処理装置であり、端末１の要求に応じて動作するものであって、本体内に情報を処理するための機能を有するＣＰＵやフラッシュメモリ等の電子部品を備える。

【0015】

ネットワーク３は、高速通信が可能な通信ネットワークであり、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の有線又は無線の通信網である。

【0016】

端末１は、一例として、ウェブページを閲覧するためウェブサーバ２に要求を送信する。ウェブサーバ２は要求に応じてウェブページに表示される配信用画像２００を含むウェブページを構成するウェブページ情報２０を端末１に送信する。端末１は、ウェブページ情報２０及び配信用画像２００を受信し、入力画像である配信用画像２００をカテゴリに分類し、画像処理の一例として、当該カテゴリに適した超解像手段を用いて配信用画像２００を高解像度化して（超解像して）ウェブページ情報２０に基づいて表示画像１３０を表示部（１３、図２参照。）に表示する。なお、ここで超解像とは、単一の低解像度画像から単一の高解像度画像を復元する単画像超解像のことを言う（以降、同様。）。端末１は、複数のカテゴリにそれぞれ適した複数の超解像手段を有し、複数の超解像手段を使い分けることで単一の超解像手段で処理する場合に比べて超解像の精度を向上する。なお、配信用画像２００は、表示画像１３０に比べて低解像度の画像情報であり、データ量の少ない情報である。また、複数の超解像手段は、後述する方法で学習され、学習段階で分類するための手段を学習するためのクラスタリングが行われる。

【0017】

（情報処理装置の構成）
図２は、第１の実施の形態に係る端末１の構成例を示すブロック図である。

【0018】

端末１は、ＣＰＵ、ＧＰＵ等から構成され、各部を制御するとともに、各種のプログラムを実行する制御部１０と、フラッシュメモリ等の記憶媒体から構成され情報を記憶する記憶部１１と、ネットワーク３を介して外部と通信する通信部１２と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等から構成され、文字や画像を表示する表示部１３と、表示部１３上に配された接触操作可能なタッチパネルやキーボード、スイッチ等から構成され、利用者の操作を受け付ける操作部１４と備える。

【0019】

制御部１０は、後述するウェブブラウザプログラム１１０を実行することで、ウェブページ情報受信手段１００、ウェブページ表示制御手段１０３等として機能する。また、後述する画像処理プログラムとしての超解像プログラム１１１を実行することで、画像分類手段１０１、複数の超解像手段１０２_０、１０２_１…等として機能する。また、後述する画像処理学習プログラムとしての超解像学習プログラム１１４を実行することで、画像分類手段１０１、複数の超解像手段１０２_０、１０２_１…等を学習するための学習手段１０４等として機能する。

【0020】

ウェブページ情報受信手段１００は、通信部１２を介してウェブサーバ２から配信用画像２００を含むウェブページ情報２０を受信して、記憶部１１にウェブページ情報１１２として格納する。なお、ウェブページ情報１１２の記憶は一時的なものであってもよい。

【0021】

画像分類手段１０１は、ウェブページ情報受信手段１００が受信した配信用画像２００をカテゴリに分類し、複数の超解像手段１０２_０、１０２_１…のうち当該配信用画像２００のカテゴリに適した超解像手段を選択する。なお、画像分類手段１０１は、例えば、ＣＮＮ（Convolutional Neural Network）を学習したものであるが、ロジスティック回帰、サポートベクターマシン、決定木、ランダムフォレスト、ＳＧＤ（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、カーネル密度推定、ｋ近傍法、パーセプトロン等を学習したものであってもよい。

【0022】

画像処理手段としての複数の超解像手段１０２_０、１０２_１…は、それぞれ異なるカテゴリの画像の超解像に特化した超解像手段であり、画像分類手段１０１によって分類された入力画像としての配信用画像２００を超解像し、出力画像としての高解像度の超解像画像情報１１３を生成して記憶部１１に格納する。なお、超解像手段１０２_０、１０２_１…は、例えば、ＣＮＮを学習したものであるが、同等のアルゴリズムを学習したものであってもよい。

【0023】

ウェブページ表示制御手段１０３は、ウェブページ情報１１２に基づいて、配信用画像２００の代わりに超解像画像情報１１３を用いてウェブページの表示画像１３０を表示部１３に表示する。

【0024】

学習手段１０４は、画像分類手段１０１、複数の超解像手段１０２_０、１０２_１…を学習させる。学習方法の詳細は後述する。なお、学習手段１０４及び超解像学習プログラム１１４は、端末１に必須の構成ではなく、異なる装置で実行及び格納することが一般的であり、説明の便宜上構成に含めたものである。つまり、学習手段１０４及び超解像学習プログラム１１４は異なる装置で実行すればよく、異なる装置で学習した結果としての画像分類手段１０１、複数の超解像手段１０２_０、１０２_１…及び超解像プログラム１１１を端末１に備えていればよい。

【0025】

記憶部１１は、制御部１０を上述した各手段１００、１０３として動作させるウェブブラウザプログラム１１０、制御部１０を上述した各手段１０１、１０２_０、１０２_１…として動作させる超解像プログラム１１１、ウェブページ情報１１２、超解像画像情報１１３及び制御部１０を上述した学習手段１０４として動作させる超解像学習プログラム１１４等を記憶する。

【0026】

（超解像システムの動作）
次に、本実施の形態の作用を、（１）超解像動作、（２）学習動作に分けて説明する。「（１）超解像動作」において、「（２）学習動作」によって学習済みの超解像プログラム１１１を実行し、配信用画像２００を超解像する動作を説明する。また、「（２）学習動作」において、超解像学習プログラム１１４を実行することで、画像分類手段１０１、複数の超解像手段１０２_０、１０２_１…を学習させる動作を説明する。

【0027】

（１）超解像動作
図３は、端末１の超解像動作を説明するための概略図である。また、図４は、端末１の超解像動作の一例を示すフローチャートである。

【0028】

まず、端末１のウェブページ情報受信手段１００は、通信部１２を介してウェブサーバ２から配信用画像２００を含むウェブページ情報２０を受信して、記憶部１１にウェブページ情報１１２として格納する（Ｓ１０）。

【0029】

次に、端末１の画像分類手段１０１は、ウェブページ情報受信手段１００が受信したウェブページ情報２０から配信用画像２００を抽出する（Ｓ１１）。

【0030】

次に、画像分類手段１０１は、抽出した配信用画像２００から、複数のパッチ２００_１、２００_２、２００_３…を部分領域として抽出する。画像分類手段１０１は、複数のパッチ２００_１、２００_２、２００_３…をバッチ処理し、複数のパッチ２００_１、２００_２、２００_３…のに対する出力を得る。画像分類手段１０１は、学習結果としての超解像プログラム１１１に基づいて動作し、複数のパッチ２００_１、２００_２、２００_３…に対する出力を平均化して得られた値から当該配信用画像２００をカテゴリに分類し（Ｓ１２）、複数の超解像手段１０２_０、１０２_１…のうち、分類結果のカテゴリに対応した、当該配信用画像２００の超解像に適した超解像手段１０２_１を選択する（Ｓ１３）。

【0031】

次に、画像分類手段１０１が選択した超解像手段１０２_１は、配信用画像２００を超解像し（Ｓ１４）、高解像度の超解像画像情報１１３を生成して記憶部１１に格納する。

【0032】

次に、端末１のウェブページ表示制御手段１０３は、ウェブページ情報１１２に基づいて、配信用画像２００の代わりに超解像画像情報１１３を用いてウェブページの表示画像１３０を表示部１３に表示する（Ｓ１５）。

【0033】

（２）学習動作
図５Ａ〜図５Ｇは、第１の実施の形態の端末１の学習動作を説明するための概略図である。また、図６は、第１の実施の形態の端末１の学習動作の一例を示すフローチャートである。

【0034】

まず、図５Ａに示すように、端末１の学習手段１０４は、未学習の０番目の超解像手段である超解像手段１０２_０で、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を学習する（Ｓ２０）。学習方法を以下に説明する。

【0035】

超解像手段１０２_０は、学習用低解像画像５００ｌ_０〜５００ｌ_７のｊ番目の学習用低解像画像５００ｌ_ｊを超解像し、超解像画像５００ｓｒ_０ｊを得る。次に、学習手段１０４は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７より高解像度である目標画像としての元画像５００ｈ_０〜５００ｈ_７のｊ番目の元画像５００ｈ_ｊと比較し、差分を算出する。差分には、例えば、ＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ ｅｒｒｏｒ）やＭＡＥ（Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ）等を用いるが、差分算出について学習済みのＣＮＮを用いて算出してもよい。学習手段１０４は、当該差分をフィードバックして、当該差分が小さくなるように学習用低解像画像５００ｌ_０〜５００ｌ_７全体について超解像手段１０２_０を学習する。以降、当該差分が小さいことを超解像の「精度が良い」ということがある。

【0036】

次に、図５Ｂに示すように、端末１の学習手段１０４は、未学習の１番目の超解像手段である超解像手段１０２_１で（Ｓ２２）、集団５０全体に含まれる分類ドメインのうち最も大きい分類ドメイン、つまり、図５Ｂの場合はまだ分類されていないので、学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を学習する（Ｓ２３）。学習方法は以下に説明するように０番目の超解像手段の学習と同様である。

【0037】

超解像手段１０２_１は、学習用低解像画像５００ｌ_０〜５００ｌ_７のｊ番目の学習用低解像画像５００ｌ_ｊを超解像し、超解像画像５００ｓｒ_１ｊを得る。次に、学習手段１０４は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７の高解像度の元画像５００ｈ_０〜５００ｈ_７のｊ番目の元画像５００ｈ_ｊと比較し、差分を算出する。学習手段１０４は、当該差分をフィードバックして、当該差分が小さくなるように学習用低解像画像５００ｌ_０〜５００ｌ_７全体について超解像手段１０２_１を学習する。

【0038】

なお、学習手段１０４は、学習済みの超解像手段１０２_０をコピーして超解像手段１０２_１とし、学習に要する時間や処理のコストを抑制してもよい。

【0039】

次に、図５Ｃに示すように、端末１の学習手段１０４は、最も大きい分類ドメインに対応するｋ番目の超解像手段、つまり、図５Ｃの場合はｋ＝０番目の超解像手段である超解像手段１０２_０と、ｉ＝１番目の超解像手段である超解像手段１０２_１とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインである集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の分類ラベルを付与し直して分類ドメインを分割する（Ｓ２４）とともに、当該分類ラベルに基づいて精度の良い一方の超解像手段１０２_０又は超解像手段１０２_１を学習させる（Ｓ２５）。分割方法及び学習方法の詳細を以下に説明する。

【0040】

超解像手段１０２_０及び超解像手段１０２_１は、学習用低解像画像５００ｌ_０〜５００ｌ_７のｊ番目の学習用低解像画像５００ｌ_ｊを超解像し、超解像画像５００ｓｒ_０ｊ及び超解像画像５００ｓｒ_１ｊを得る。次に、学習手段１０４は、高解像度の元画像５００ｈ_ｊとそれぞれ比較し、それぞれ差分を算出する。学習手段１０４は、当該差分の小さい方の超解像画像５００ｓｒ_０ｊ又は超解像画像５００ｓｒ_１ｊを出力した超解像手段１０２_０又は超解像手段１０２_１の分類ラベル（０又は１）を学習用低解像画像５００ｌ_ｊに付与して集団５０をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌ_ｊについて差分が小さい方の超解像手段１０２_０又は超解像手段１０２_１についてフィードバックして学習させる。なお、学習手段１０４は、超解像手段１０２_０及び超解像手段１０２_１について差分が一致した場合、超解像手段１０２_０又は超解像手段１０２_１のいずれか一方を選択し分類ラベル（０又は１）を学習用低解像画像５００ｌ_ｊに付与して集団５０をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌ_ｊについて選択した方の超解像手段１０２_０又は超解像手段１０２_１についてフィードバックして学習させる。また、フィードバックして学習させるのは必ずしも超解像手段１０２_０又は超解像手段１０２_１の一方である必要はなく、それぞれの精度に基づいて重み付けをして学習させるようにしてもよい。つまり、差分の小さい方の超解像手段１０２_０又は超解像手段１０２_１についてフィードバックして学習させる重み付けを大きくし、差分の大きい方の超解像手段１０２_０又は超解像手段１０２_１についてフィードバックして学習させる重み付けを小さくするようにしてもよい。

【0041】

上記クラスタリングの結果、図５Ｄに示すように、集団５０が超解像手段１０２_０のラベル０が付与された集団５０_０と、超解像手段１０２_１のラベル１が付与された集団５０_１とに分割される。また、超解像手段１０２_０及び超解像手段１０２_１は、学習の結果、それぞれ集団５０_０及び集団５０_１について他の超解像手段１０２_１及び超解像手段１０２_０で超解像する場合に比べて精度が良いように学習される、つまり、それぞれ集団５０_０及び集団５０_１について超解像の精度が最適化される。

【0042】

ドメインが分割されれば（Ｓ２６；Ｙｅｓ）、次の未学習の超解像手段についてステップＳ２３〜Ｓ２５を実行する（Ｓ２７；Ｎｏ、Ｓ２８）。

【0043】

次に、図５Ｅに示すように、端末１の学習手段１０４は、未学習の２番目の超解像手段である超解像手段１０２_２で（Ｓ２２）、集団５０全体に含まれる分類ドメインのうち最も大きい分類ドメイン、つまり、図５Ｅの場合は集団５０_０に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_４の全体を学習する（Ｓ２３）。なお、学習手段１０４は、学習済みの超解像手段１０２_０をコピーして超解像手段１０２_２とし、学習に要する時間や処理のコストを抑制してもよい。

【0044】

次に、図５Ｆに示すように、端末１の学習手段１０４は、最も大きい分類ドメインに対応するｋ番目の超解像手段、つまり、図５Ｆの場合はｋ＝０番目の超解像手段である超解像手段１０２_０と、ｉ＝２番目の超解像手段である超解像手段１０２_２とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインである集団５０_０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_４の分類ラベルを付与し直して分類ドメインを分割する（Ｓ２４）とともに、当該分類ラベルに基づいて一方の超解像手段１０２_０又は超解像手段１０２_２を学習させる（Ｓ２５）。

【0045】

超解像手段１０２_０及び超解像手段１０２_２は、学習用低解像画像５００ｌ_０〜５００ｌ_４のｊ番目の学習用低解像画像５００ｌ_ｊを超解像し、超解像画像５００ｓｒ_０ｊ及び超解像画像５００ｓｒ_２ｊを得る。次に、学習手段１０４は、高解像度の元画像５００ｈ_ｊとそれぞれ比較し、それぞれ差分を算出する。学習手段１０４は、当該差分の小さい方の超解像手段１０２_０又は超解像手段１０２_２の分類ラベル（０又は２）を学習用低解像画像５００ｌ_ｊに付与して集団５０_０をクラスタリングするとともに、ｊ番目の学習用低解像画像５００ｌ_ｊについて差分が小さい方の超解像手段１０２_０又は超解像手段１０２_２についてフィードバックして学習させる。また、フィードバックして学習させるのは必ずしも超解像手段１０２_０又は超解像手段１０２_２の一方である必要はなく、それぞれの精度に基づいて重み付けをして学習させるようにしてもよい。

【0046】

また、上記のように最も大きい分類ドメインに対応するｋ番目の超解像手段と、単一のｉ番目の超解像手段とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインを分割するとともに、超解像の精度に基づいて超解像手段の学習を行うようにしたが、最も大きい分類ドメインに対応するｋ番目の超解像手段と、ｉ番目、ｉ＋１番目、ｉ＋２番目…の複数の超解像手段とで超解像を行い、超解像の精度に基づいて、最も大きい分類ドメインを分割するとともに、超解像の精度に基づいて超解像手段の学習を行うようにしてもよい。

【0047】

上記クラスタリングの結果、図５Ｇに示すように、集団５０_０が超解像手段１０２_０のラベル０が付与された集団５０_０と、超解像手段１０２_２のラベル２が付与された集団５０_２とに分割される。また、超解像手段１０２_０、超解像手段１０２_１及び超解像手段１０２_２は、学習の結果、それぞれ集団５０_０、集団５０_１及び集団５０_２について超解像の精度が最適化される。

【0048】

用意したすべての超解像手段についてステップＳ２３〜Ｓ２５を実行し終えたら（Ｓ２７；Ｙｅｓ）、動作を終了する。また、用意したすべての超解像手段について上記動作を実行していない場合であっても、ドメインが分割されなくなったら（Ｓ２６；Ｎｏ）、動作を終了して学習していない超解像手段を使用しないようにする。

【0049】

また、学習手段１０４は、上記ステップが全て終了してすべての超解像手段１０２_０、１０２_１…の学習が完了し、集団５０の分類ドメインが分割されると、当該集団５０の分類ラベルが付与された学習用低解像画像５００ｌ_ｊについて画像分類手段１０１を学習する。なお、画像分類手段１０１の学習は、図３で示した場合と同様に、学習用低解像画像５００ｌ_ｊから複数のパッチを抽出してバッチ処理して学習してもよいし、学習用低解像画像５００ｌ_ｊを１つのパッチとしてそのまま処理して学習してもよい。

【0050】

（第１の実施の形態の効果）
上記した第１の実施の形態によれば、単画像超解像において、複数の超解像手段１０２_０、１０２_１…を学習させる際に、超解像の学習に用いるデータセット（集団５０）のうち大きな分類ドメイン５０_ｋに対応する超解像手段１０２_ｋと新たに学習する超解像手段１０２_ｉとを競合して学習させ、分類ドメイン５０_ｋに含まれる画像の超解像の精度が良い超解像手段１０２_ｋ又は１０２_ｉのラベルを付与してクラスタリングするとともに、精度が良い結果を出す超解像手段１０２_ｋ又は１０２_ｉを当該画像で学習させて分割された分類ドメイン５０_ｋ及び５０_ｉに最適化した超解像手段１０２_ｋ及び１０２_ｉとするようにしたため、超解像の学習に用いるデータセット（集団５０）を予めラベリングする必要なくクラスタリングが可能となり、各分類ドメイン５０_ｋ及び５０_ｉの超解像手段１０２_ｋ及び１０２_ｉの最適化を効率的に行うことができる。また、超解像手段の学習によりデータセットを自発的にクラスタリングすることができるため、ラベリング不要で画像分類手段１０１の学習のためのデータセットを用意でき、画像分類手段１０１を効率的に学習することができる。

【0051】

また、超解像手段１０２_０、１０２_１…を複数用意し、画像のカテゴリに合わせて特化させることで、全体として精度を向上することができるとともに、超解像手段１０２_０、１０２_１…それぞれを軽量なモデルにすることができる。また、端末１において学習済みの複数の超解像手段１０２_０、１０２_１…と画像分類手段１０１とを機能させることにより、配信用画像２００の容量を減少させて、ネットワーク３の通信量を減少させることができる。

【0052】

［第２の実施の形態］
第２の実施の形態は、学習動作におけるクラスタリングにおいて分類ラベルを付与しない点で第１の実施の形態と異なる。なお、構成及び超解像動作については第１の実施の形態と同様であるため説明を省略する。

【0053】

（３）学習動作
図７Ａ〜図７Ｃは、第２の実施の形態の端末１の学習動作を説明するための概略図である。また、図８は、第２の実施の形態の端末１の学習動作の一例を示すフローチャートである。

【0054】

まず、端末１の学習手段１０４は、未学習の０番目及び１番目の超解像手段である超解像手段１０２_０及び超解像手段１０２_１で、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を学習する（Ｓ３０）。なお、学習方法は、第１の実施の形態と同様であるため説明を省略する。

【0055】

次に、変数ｌ＝２とし（Ｓ３１）、図７Ａ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を、学習済みの超解像手段１０２_０及び超解像手段１０２_１に入力し、ｉ番目の学習用低解像画像５００ｌ_ｉを超解像し、超解像画像５００ｓｒ_０ｉ及び５００ｓｒ_１ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７の高解像度の元画像５００ｈ_０〜５００ｈ_７のｉ番目の元画像５００ｈ_ｉと比較し、差分の小さい超解像手段、つまり精度の良い超解像手段を図７Ａ（ｂ）に示すように精度情報１０１ａ_１として記録し、精度の最も良い画像数が最も多いモデルｋ特定する（Ｓ３２）。図７Ａの場合はｋ＝０である。なお、精度情報１０１ａ_１の記録は一時的な記憶であってもよい。この状態において、概念上は集団５０が、超解像手段１０２_０が精度良く超解像する集団５０_０と、超解像手段１０２_１が精度良く超解像する集団５０_１とに分割されることとなる。

【0056】

次に、図７Ｂ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を、学習済みの超解像手段１０２_０及び超解像手段１０２_１に入力し、ｉ番目の学習用低解像画像５００ｌ_ｉを超解像し、超解像画像５００ｓｒ_０ｉ及び５００ｓｒ_１ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７の高解像度の元画像５００ｈ_０〜５００ｈ_７のｉ番目の元画像５００ｈ_ｉと比較し、超解像画像５００ｓｒ_０ｉとの差分が最も小さいｉ番目の学習用低解像画像５００ｌ_ｉ及び元画像５００ｈ_ｉの学習セットを用いて未学習のｌ番目の超解像手段、つまり超解像手段１０２_ｌを学習させる（Ｓ３３）。超解像手段１０２_ｌの学習は、超解像手段１０２_０と同程度の精度となるまで行うものとする。この状態において、図７Ｂ（ｂ）に示すように、概念上は集団５０が、超解像手段１０２_０が精度良く超解像する集団５０_０と、超解像手段１０２_１が精度良く超解像する集団５０_１と、超解像手段１０２_２が精度良く超解像する集団５０_２とに分割されることとなる。つまり、図７Ａ（ｂ）の状態と比較して、超解像手段１０２_１が精度良く超解像する集団が２つに分割された状態となる。

【0057】

次に、図７Ｃ（ａ）に示すように、学習対象である集団５０全体に含まれる学習用低解像画像５００ｌ_０〜５００ｌ_７の全体を、学習済みの超解像手段１０２_０、超解像手段１０２_１及び超解像手段１０２_２に入力し、ｉ番目の学習用低解像画像５００ｌ_ｉを超解像し、超解像画像５００ｓｒ_０ｉ、５００ｓｒ_１ｉ及び５００ｓｒ_２ｉを得る。次に、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７の高解像度の元画像５００ｈ_０〜５００ｈ_７のｉ番目の元画像５００ｈ_ｉと比較し、最も差分の小さい超解像手段、つまり最も精度の良い超解像手段を、ｉ番目の学習用低解像画像５００ｌ_ｉ及び元画像５００ｈ_ｉの学習セットをフィードバックして学習する（Ｓ３４）。

【0058】

この状態において、図７Ｃ（ｂ）に示すように、概念上は集団５０が、超解像手段１０２_０が精度良く超解像する集団５０_０と、超解像手段１０２_１が精度良く超解像する集団５０_１と、超解像手段１０２_２が精度良く超解像する集団５０_２とに分割されることとなる。なお、図７Ｂ（ｂ）の状態と比較して、必ずしも分割結果が一致しないのは、フィードバック学習を行った結果、超解像手段１０２_０、超解像手段１０２_１、超解像手段１０２_２に変化が生じたためである。

【0059】

また、図７Ｃ（ｂ）に示すように、画像分類手段１０１は、予め用意した学習用低解像画像５００ｌ_０〜５００ｌ_７の高解像度の元画像５００ｈ_０〜５００ｈ_７のｉ番目の元画像５００ｈ_ｉと比較し、差分の小さい超解像手段、つまり精度の良い超解像手段を精度情報１０１ａ_２として記録し、精度の最も良い画像数が最も多いモデルｋ特定する（Ｓ３２）。図７Ｃの場合はｋ＝０又は１である。

【0060】

このようにステップＳ３２〜Ｓ３４をすべての未学習モデルについて実行する（Ｓ３５、Ｓ３６）。

【0061】

また、学習手段１０４は、上記ステップが全て終了してすべての超解像手段１０２_０、１０２_１…の学習が完了すると、最終的に得られた精度情報１０１ａ_ｌを用いて当該集団５０について画像分類手段１０１を学習する。

【0062】

（第２の実施の形態の効果）
上記した第２の実施の形態によれば、単画像超解像において、複数の超解像手段１０２_０、１０２_１…を学習させる際に、精度の良い超解像手段をカウントするようにして、超解像の学習に用いるデータセット（集団５０）のうち大きな分類ドメイン５０_ｋに対応する超解像手段１０２_ｋと新たに学習する超解像手段１０２_ｉとを競合して学習させるようにしたため、超解像の学習に用いるデータセット（集団５０）を予めラベリングする必要なく、かつ、学習途中におけるラベリングが不要で、クラスタリングが可能となり、超解像手段１０２_ｋ及び１０２_ｉの最適化を効率的に行うことができる。

【0063】

［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々な変形が可能である。

【0064】

上記実施の形態では、ウェブサーバ２から配信用画像２００を含むウェブページ情報２０を、ネットワーク３を介して配信し、端末１で配信用画像２００を超解像する例を説明したが、低解像画像を配信して端末１で超解像する構成であればよく、ウェブページ情報２０に含めて配信する必要がないのはもちろんである。つまり、ウェブブラウザに限らず、端末１に含まれる任意のアプリケーションプログラムに画像分類手段１０１及び超解像手段１０２_０、１０２_１…を動作させるための超解像プログラム１１１を組み合わせることができる。

【0065】

なお、学習に用いる画像の集団５０と、配信用画像２００は、それぞれ異なるものであってもよいし、同一のものであってもよい。異なる場合は、集団５０から一般的なモデルである超解像手段１０２_０、１０２_１…が作成可能である。また、同一のものである場合は、配信用画像２００に最適な超解像手段１０２_０、１０２_１…が作成可能である。

【0066】

上記実施の形態では、画像処理の例として超解像を挙げて説明したが、その他の例として、画像のノイズ除去、ぼけの除去、鮮明化等の画像処理についての学習についても本願発明を適用可能であり、画像処理の内容については特に限定されない。また、当該学習方法を用いて学習された画像処理についても同様に画像処理の内容は超解像に限定されない。

【0067】

上記実施の形態では制御部１０の各手段１００〜１０４の機能をプログラムで実現したが、各手段の全て又は一部をＡＳＩＣ等のハードウエアによって実現してもよい。また、上記実施の形態で用いたプログラムをＣＤ‐ＲＯＭ等の記録媒体に記憶して提供することもできる。また、上記実施の形態で説明した上記ステップの入れ替え、削除、追加等は本発明の要旨を変更しない範囲内で可能である。

【符号の説明】

【0068】

１ ：端末
２ ：ウェブサーバ
３ ：ネットワーク
５ ：超解像システム
１０ ：制御部
１１ ：記憶部
１２ ：通信部
１３ ：表示部
１４ ：操作部
２０ ：ウェブページ情報
５０ ：集団
１００ ：ウェブページ情報受信手段
１０１ ：画像分類手段
１０２_０、１０２_１…：超解像手段
１０３ ：ウェブページ表示制御手段
１０４ ：学習手段
１１０ ：ウェブブラウザプログラム
１１１ ：超解像プログラム
１１２ ：ウェブページ情報
１１３ ：超解像画像情報
１１４ ：超解像学習プログラム
１３０ ：表示画像
２００ ：配信用画像

【要約】

【課題】画像処理の学習に用いるデータセットをラベリング不要でクラスタリングするとともに、各分類ドメインに対する画像処理の精度が向上するよう画像処理の学習を行う画像処理学習プログラム及び当該プログラムにより学習された画像処理プログラム、並びに情報処理装置及び画像処理システムを提供する。
【解決手段】端末１は、複数の超解像手段１０２_０、１０２_１…と、学習対象の集団に含まれる分類ドメインのうち最も多くの低解像画像を有するｋ番目の分類ドメインに対応するｋ番目の超解像手段１０２_ｋと、ｉ番目の超解像手段１０２_ｉとに前記ｋ番目の分類ドメインが有する低解像画像を入力し、出力する超解像画像の精度が高い超解像手段１０２_ｋ又は超解像手段１０２_ｉの分類ラベルを付与するとともに、当該低解像画像で精度の高い一方の超解像手段１０２_ｋ又は超解像手段１０２_ｉを学習させる学習手段１０４を有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図5E】

【図5F】

【図5G】

【図6】

【図7A】

【図7B】

【図7C】

【図8】