特許 7520479 学習用データ生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-12

(45)【発行日】2024-07-23

(54)【発明の名称】学習用データ生成装置

(51)【国際特許分類】

   G06T 5/60 20240101AFI20240716BHJP

   G06N 20/00 20190101ALI20240716BHJP

   G06T 1/40 20060101ALI20240716BHJP

【ＦＩ】

G06T5/60

G06N20/00 130

G06T1/40

【請求項の数】 8

(21)【出願番号】P 2024081533

(22)【出願日】2024-05-20

【審査請求日】2024-05-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】717001444

【氏名又は名称】奥野 修二

(74)【代理人】

【識別番号】100167818

【弁理士】

【氏名又は名称】蓑和田 登

(72)【発明者】

【氏名】奥野 修二

【審査官】岡本 俊威

(56)【参考文献】

【文献】特開２０２０－１５４６０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ５／６０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成装置であって、
ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力部と、
前記入力部に入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理部と、
前記劣化処理部で生成された劣化後基準画像データを入力として、当該劣化後基準画像データを前記基準画像データに戻すことができるように、学習対象の機械学習モデルにおける設定値を学習する生成器と、
前記生成器における処理を実行するための学習処理実行部と、
前記設定値を記憶する記憶部と、を備えた学習装置で学習した前記機械学習モデルを用いた推論装置を備え、当該推論装置に入力して得られた画像データを前記別の機械学習のための学習用データとして出力する、ことを特徴とする学習用データ生成装置。

【請求項2】

前記学習装置は、さらに、
前記基準画像データを真、劣化後基準画像データ及びその他の基準画像データ以外の画像データを偽と、正しく識別できるように、学習対象の機械学習モデルにおける設定値を学習する識別器を備え、
前記生成器は、さらに、前記基準画像データ以外の教師画像データを入力とした場合、前記識別器が真と認識する偽基準画像データを生成できるように、学習対象の機械学習モデルにおける設定値を学習する、ことを特徴とする請求項１記載の学習用データ生成装置。

【請求項3】

前記学習処理実行部は、前記教師画像データのうち、前記生成器の学習後においても、前記識別器が真と認識できる偽基準画像データが作成できない教師画像データを除去して再学習する、ことを特徴とする請求項２記載の学習用データ生成装置。

【請求項4】

別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成装置であって、
学習済みの請求項２記載の識別器を用いた推論装置を備え、
当該推論装置に入力した画像データから、当該推論装置が偽と判定した画像データを除外した画像データを前記別の機械学習のための学習用データとして出力する、ことを特徴とする学習用データ生成装置。

【請求項5】

請求項１～４の何れか一項に記載の学習用データ生成装置の推論装置に入力して得られた画像を教師画像データとした学習済みの機械学習モデル。

【請求項6】

コンピュータを請求項１～４の何れか１項に記載の学習用データ生成装置として動作させる、ことを特徴とするコンピュータプログラム。

【請求項7】

コンピュータを請求項５に記載の機械学習モデルとして動作させる、ことを特徴とするコンピュータプログラム。

【請求項8】

別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成方法であって、
ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力ステップと、
前記入力ステップにおいて入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理ステップと、
前記劣化処理ステップにおいて生成された劣化後基準画像データを入力として、当該劣化後基準画像データを前記基準画像データに戻すことができるように、学習対象の機械学習モデルにおける設定値を学習する生成ステップと、
前記生成ステップにおける処理を実行する学習処理実行ステップと、
前記設定値を記憶する記憶ステップと、を含む学習方法で学習した前記機械学習モデルを用いた推論方法を含み、当該推論方法に入力して得られた画像データを前記別の機械学習のための学習用データとして出力する、ことを特徴とする学習用データ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルを用いた学習用データ生成装置に関し、特に、画像処理用の機械学習モデルを用いた学習用データ生成装置に関する。

【背景技術】

【0002】

従来より、機械学習によるデータ処理方法で、コンピュータのプログラムに対して、教師データとなるデータセットを与えて、プログラムのパラメータを学習することで、任意のデータに対してデータ処理を行うことができる学習済みモデルを生成する方法が知られている。

【0003】

例えば、機械学習を用いた「入力画像（教師データ）→学習用プログラム→出力画像（教師データ）」という処理において、入力画像と出力画像の誤差が一番小さくなるように学習用プログラムのパラメータを計算して「学習済みモデル」を生成する。そして、この「学習済モデル」を用いることで、「入力画像（任意のデータ：例えば低解像度画像）→学習済みモデル→出力画像（推論データ：例えば高解像度画像）」という、入力画像から出力画像を推論することで出力画像を生成することができる。

【0004】

近年、機械学習のうちニューラルネットワークを用いた機械学習が多くの分野に適用されている。特に画像認識、音声認識の分野にて、ニューラルネットワークを多層構造で使用したディープラーニング（Deep Learning；深層学習） が高い認識精度を発揮している。多層化したディープラーニングでも、入力の特徴を抽出する畳み込み層及びプーリング層を複数回使用した畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像処理が行なわれている。

【0005】

そして、ニューラルネットワークを用いた画像処理としては、信号を高解像度化させる超解像装置（例えば、特許文献１参照）や疾患領域の違いを把握することを容易にして精度の高い診断支援を行う診断支援装置（例えば、特許文献２参照）などがある。

【先行技術文献】

【特許文献】

【0006】

【文献】特開2020-27557号公報

【文献】特開2018-38789号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

機械学習において、教師データの質と量は、そのまま機械学習モデルの性能に直結する。大量の高品質の学習用データセットを準備することは非常なる労力を有し、時として、教師データの質が劣ったり、性質が違うデータが混ざってしまうことがある。教師データとして不適なデータが混ざったときにそれを見つけ出して除去するのも手間がかかる。

【0008】

本発明は、上記課題に鑑みてなされたものであり、機械学習によるデータ処理において、教師データを用いて学習を行う際にも、機械学習モデルの学習効率を向上できるように、より高品質の教師データを均一に準備できる学習用データ生成装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために本発明は、 別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成装置であって、ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力部と、前記入力部に入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理部と、前記劣化処理部で生成された劣化後基準画像データを入力として、当該劣化後基準画像データを前記基準画像データに戻すことができるように、学習対象の機械学習モデルにおける設定値を学習する生成器と、前記生成器における処理を実行するための学習処理実行部と、前記設定値を記憶する記憶部と、を備えた学習装置で学習した前記機械学習モデルを用いた推論装置を備え、当該推論装置に入力して得られた画像データを前記別の機械学習のための学習用データとして出力することを特徴とするものである。

【0010】

この学習用データ生成装置において、前記学習装置は、さらに、前記基準画像データを真、劣化後基準画像データ及びその他の基準画像データ以外の画像データを偽と、正しく識別できるように、学習対象の機械学習モデルにおける設定値を学習する識別器を備え、前記生成器は、さらに、前記基準画像データ以外の教師画像データを入力とした場合、前記識別器が真と認識する偽基準画像データを生成できるように、学習対象の機械学習モデルにおける設定値を学習することが好ましい。

【0011】

この学習用データ生成装置において、前記学習処理実行部は、前記教師画像データのうち、前記生成器の学習後においても、前記識別器が真と認識できる偽基準画像データが作成できない教師画像データを除去して再学習することが好ましい。

【0012】

上記目的を達成するために本発明は、別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成装置であって、学習済みの上記識別器を用いた推論装置を備え、当該推論装置に入力した画像データから、当該推論装置が偽と判定した画像データを除外した画像データを前記別の機械学習のための学習用データとして出力することを特徴とする。

【0013】

また、上記目的を達成するために本発明は、上記記載の学習用データ生成装置の推論装置に入力して得られた画像を教師画像データとした学習済みの機械学習モデルである。

【0014】

また、本発明は、コンピュータを上記記載の学習用データ生成装置、機械学習モデルとして動作させることを特徴とするコンピュータプログラムである。

【0015】

また、上記目的を達成するために本発明は、別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成方法であって、ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力ステップと、前記入力ステップにおいて入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理ステップと、前記劣化処理ステップにおいて生成された劣化後基準画像データを入力として、当該劣化後基準画像データを前記基準画像データに戻すことができるように、学習対象の機械学習モデルにおける設定値を学習する生成ステップと、前記生成ステップにおける処理を実行する学習処理実行ステップと、前記設定値を記憶する記憶ステップと、を含む学習方法で学習した前記機械学習モデルを用いた推論方法を含み、当該推論方法に入力して得られた画像データを前記別の機械学習のための学習用データとして出力することを特徴とするものである。

【発明の効果】

【0016】

本発明は、別の機械学習に用いられる学習用データを生成するための推論装置を備えた学習用データ生成装置であって、ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力部と、前記入力部に入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理部と、前記劣化処理部で生成された劣化後基準画像データを入力として、当該劣化後基準画像データを前記基準画像データに戻すことができるように、学習対象の機械学習モデルにおける設定値を学習する生成器と、前記生成器における処理を実行するための学習処理実行部と、前記設定値を記憶する記憶部と、を備えた学習装置で学習した前記機械学習モデルを用いた推論装置を備え、当該推論装置に入力して得られた画像データを前記別の機械学習のための学習用データとして出力する。この構成により、本願発明に係る学習用データ生成装置では、機械学習によるデータ処理において、教師データを用いて学習を行う際にも、機械学習モデルの学習効率を向上できるように、より高品質の教師データを均一に準備できる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施の形態に係る学習用データ生成装置の構成を示すブロック図である。

【図2】同上学習用データ生成装置の機能ブロック図である。

【図3】上記実施の形態の変形例に係る学習用データ生成装置の機能ブロック図である。

【発明を実施するための形態】

【0018】

（実施の形態）
本発明の実施の形態に係る学習用データ生成装置について図１及び図２を参照して説明する。本実施の形態において、機械学習に用いられる学習用データ（教師データ）を生成する学習用データ生成装置は、所定の学習用画像データ（教師データ）に基づいて機械学習モデルにおける設定値を学習する学習装置、又は機械学習モデルを用いて対象画像データに対して所定の推論処理を実行する推論装置の少なくとも一方としての機能を発揮する。

【0019】

最初に、学習用データ生成装置１に備わる各処理部に関して図１を参照しながら説明する。学習用データ生成装置１は、図１に示すように、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５及び読取部１６を備える。なお、学習用データ生成装置１及び学習用データ生成装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

【0020】

制御部１０は、ＣＰＵなどのプロセッサやメモリを用いて、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ，ＧＰＵ等のプロセッサ、メモリ、さらには記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

【0021】

記憶部１２は、ハードディスクやフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習モデル（例えばＣＮＮ）としての機能を発揮させる機械学習ライブラリ１Ｌが記憶されている。また、記憶部１２には、機械学習モデルを定義する定義データ、学習済み機械学習モデルにおける設定値等を含むパラメータなどが記憶される。

【0022】

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

【0023】

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

【0024】

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。操作部１５はまた表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

【0025】

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、機械学習ライブラリ２Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ、機械学習ライブラリ１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ、機械学習ライブラリ２Ｌを制御部１０が記憶部１２に複製したものであってもよい。

【0026】

次に、学習用データ生成装置１の画像処理の機能に関して図２を参照しながら説明する。学習用データ生成装置１の制御部１０は学習処理実行部１０１及び推論処理実行部１０２を備える。

【0027】

学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１Ｌ、定義データ、パラメータ情報に基づき機械学習モデル（機械学習エンジン）として機能する。すなわち、学習処理実行部１０１は、学習対象の機械学習モデルを用いて、学習用画像データ又は学習用テキストデータに基づいて、学習対象の機械学習モデルにおける設定値（パラメータ等）を学習する処理を実行する。この設定値の学習は、例えばパラメータをミニバッチ勾配降下法で更新するなど入力データと解答データとの差分を最小化する処理である。

【0028】

推論処理実行部１０２は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、画像処理を行う。すなわち、推論処理実行部１０２は、機械学習モデルを用いて、入力される対象データ（対象画像データや推論対象テキストデータ）に対して所定の推論処理を実行する。また、推論処理実行部１０２は、ユーザの操作部１５を用いた操作に基づき、入力データである画像データを入力部１１０に入力する画像処理実行部としての機能をも発揮する。

【0029】

画像処理部１１は、入力部１１０、劣化処理部１１１、機械学習モデル１１２、機械学習モデル１１２としての生成器１１２ａと識別器１１２ｂ、及び出力部１１３を備える。例えば、機械学習モデル１１２は与えられた教師データを用いて学習し、生成器１１２ａとして機能する定義データ及びパラメータ情報、識別器１１２ｂとして機能する定義データ及びパラメータ情報が記憶部１２に記憶されてモデルが作成される。

【0030】

入力部１１０は、ノイズ成分を低減するように作成された基準画像データ又は推論対象となる基準画像データ以外の教師画像データの入力を受け付ける。また、これらのデータは記憶部１２に記録・保持される。

【0031】

ここで、ノイズ成分を低減するように作成された基準画像データとは、画像の劣化が積極的に低減された画像データであり、例えば、縮小した画像データ、ベクタデータから作成された画像データ、及び光学ズームで撮影した画像データを縮小した画像データである。その作成には、例えば、ある程度状態の良い大きい画像を８分の１程度に縮小をかけるという方法、アニメ・イラスト画像ではベクタデータから画像を生成する方法、実写画像では光学ズームで撮影した画像を縮小したものを複数枚使用する方法などが用いられる。なお、ベクタデータは、点や線を数値化して計算して表示しているため、いくら拡大しても常に計算して表示するため、画像が劣化しないという特性を有する。このため、積極的にベクタベータから作成された画像データを使用することでノイズ成分を低減できる。

【0032】

また、基準画像データは、例えば、撮影デバイスの物理的特性もしくは信号処理特性、ブレの情報などに基づいて逆フィルタリングや機械学習処理を行ったり、複数の画像を合成することによっても生成できる。

【0033】

劣化処理部１１１は、入力部１１０から入力される基準画像データに対してノイズを加えて劣化後基準画像データを生成する。なお、劣化処理部１１１におけるノイズを加える方法としては、基準画像データに対して、実際の画像劣化に沿ったノイズやボケを加えることが好ましい。

【0034】

例えば、カメラのブレ、センサーノイズ、シャープネス処理、JPEG圧縮、SNSに上げた時のリサイズやノイズ、それらをダウンロードして再アップロードしたときの同様の連鎖的な劣化などである。このため、劣化処理部１１１は、単に劣化処理をさせるといっても、劣化画像を作成するためのプロセスを、より現実世界の画像劣化を模倣するようにして、劣化後基準画像データを作成することが好ましい。なお、劣化処理部１１１において、加工される画像データの想定されるボケやノイズの強度に合わせて劣化の強度を調整しても良い。

【0035】

劣化処理部１１１の劣化の手法は、例えば、基準画像データに対して「ぼかし→リサイズ→ノイズ→ＪＰＥＧ」というプロセスを適用する。ここで「ぼかし」は、例えば一般のガウシアンぼかしである。「リサイズ」は例えば単にリサイズのモードを選択するだけであり、最初に０．８倍にダウンサンプリングをして、元の解像度にアップサンプリングなどをする。「ノイズ」は例えばガウス分布によるノイズ、ポアソン分布によるノイズである。「ＪＰＥＧ」は、例えばＪＰＥＧ圧縮をある一定の強度で行う。例えばこのようなプロセスを複数のパラメータで適用することで、劣化処理部１１１は、ノイズ成分が低減された基準画像データから劣化後基準画像データを作成する。この結果、学習時の劣化画像データと、現実世界の劣化画像データの間の乖離を防止して、機械学習モデル１１２における学習効率を向上させることができる。

【0036】

また、劣化画像データは、例えば、想定される複数の撮影デバイスの物理的特性、信号処理特性、又はブレなどを模しても生成できる。

【0037】

劣化処理部１１１で生成された劣化後基準画像データは、機械学習モデル１１２に入力される。そして、本実施の形態における機械学習モデル１１２はGAN（Generative Adversarial Networks：敵対的生成ネットワーク）の手法を用いている。なお、GANとは、２つのモデル（ここでは生成器１１２ａ及び識別器１１２ｂ）を互いに競わせるようにして訓練・学習して、生成を行う生成モデルの一例である。

【0038】

機械学習モデル１１２の生成器１１２ａは、劣化処理部１１１で生成された劣化後基準画像データを入力として、劣化後基準画像データを基準画像データに戻すことができるように、学習対象の機械学習モデル１１２における設定値（定義データ／パラメータ等）を学習する。すなわち、基準画像データに対して、劣化処理部１１１でノイズやボケを加えた画像（劣化後基準画像データ）を生成し、そこから元の画像（ノイズ成分の低減された基準画像データ）に戻せるような生成器１１２ａを作成する。

【0039】

一方、識別器１１２ｂは、基準画像データを真、劣化後基準画像データ及び、その他の基準画像データ以外の劣化を含む画像データを偽と、正しく識別できるように、学習対象の機械学習モデル１１２における設定値（定義データ／パラメータ等）を学習する。

【0040】

さらにここから、生成器１１２ａは、入力部１１０から基準画像データ以外の教師画像データを入力とした場合、識別器１１２ｂが真と認識する偽基準画像データを生成できるように、学習対象の機械学習モデル１１２における設定値（定義データ／パラメータ等）を追加的に学習する。なお、設定値は記憶部１２に記憶される。

【0041】

すなわち、ここでは、劣化後基準画像データを基準画像データに戻すことができるよう作成した生成器１１２ａに対して、今度は基準画像データ以外の、劣化を含む教師画像データを加えて、基準画像データが真、それ以外の教師画像データを生成器１１２ａに通して得られた画像を偽として（偽基準画像データとして）GANのモデルを作成し、生成器１１２ａから得られた画像が真（すなわち基準画像データ）に近づくように生成器１１２ａを追加学習している。なお、生成器１１２ａは、偽基準画像データを生成するものではあるが当然に基準画像データを入力しても同じ基準画像データが返ってくるようにも学習されている。

【0042】

なお、学習処理実行部１０１は、教師画像データのうち、生成器１１２ａの学習後においても、識別器１１２ｂが真と認識できる偽基準画像データが作成できない教師画像データを除去して再学習しても良い。すなわち、基準画像データ以外の教師画像データのうち、生成器１１２ａの学習が進んでも偽に近い（識別器１１２ｂの出力が０に近い）教師画像データは、元から画質が悪いということになるので、排除して学習するほうが学習効率を向上できる。

【0043】

次に、GANモデルにおける識別器１１２ｂの一般的な学習手順を説明する。識別器１１２ｂは出力層のニューロン数が１で、出力の範囲を０～１とし、本物のデータ、すなわち基準画像データを識別器１１２ｂに入力する際には正解ラベルを１とし、基準画像データに近いほど出力は１に近くなるようにする。一方、基準画像データ以外、例えば生成器１１２ａが生成した偽物のデータ（偽基準画像データ）を入力する際には、正解ラベルを０とする。そして、識別結果（０～１）と正解との誤差を逆伝播させてパラメータを更新することによって識別器１１２ｂの学習を行うことができる。なお、ニューラルネットワークでは、出力と正解の誤差が小さくなるように重み、バイアスなどを調整することで学習する。識別器１１２ｂの学習時に用いるアルゴリズムであるバックプロパゲーション（誤差逆伝播法）は一層ずつ遡るように誤差を伝播させて重みとバイアスを更新する。

【0044】

次に、GANモデルにおける生成器１１２ａの一般的な学習手順に関して説明する。生成器１１２ａは、基準画像データ以外の教師画像データを入力として、画像データを出力とする。生成器１１２ａと識別器１１２ｂとは繋がっており生成器１１２ａで生成された画像データを識別器１１２ｂに順伝播して、識別器１１２ｂの出力と正解との間で誤差を計算する。ここでは、識別器１１２ｂを誤認させるように学習を行いたいので、正解ラベルを１とする。次に、逆伝播を行って、識別器１１２ｂのパラメータは更新せず、生成器１１２ａのパラメータのみを更新する。この結果、生成器１１２ａにおいて識別器１１２ｂに真と誤認させる偽基準画像データの作成の学習が行える。

【0045】

次に、学習用データ生成装置１が推論装置として機能する場合に関して説明する。機械学習モデル１１２を用いて「基準画像データ以外の教師画像データ」に対して所定の推論処理を実行する推論装置であって、「基準画像データ以外の教師画像データ」の入力を受け付ける入力部１１０と、入力部１１０から「基準画像データ以外の教師画像データ」が入力される機械学習モデル１１２と、推論処理を実行する機械学習モデル１１２を用いて「基準画像データ以外の教師画像データ」に対して所定の推論処理（基準画像に近づける処理）を実行する推論処理実行部１０２と、を備え、機械学習モデル１１２は上述した学習装置の学習処理実行部１０１において設定値を学習された機械学習モデル１１２である。

【0046】

機械学習モデル１１２は、学習済みモデル使用時にはそれぞれ既に学習済のパラメータに基づいて画像データの最適化処理（例えばノイズ除去された偽基準画像データの生成）を行う。推論時の機械学習モデル１１２がＣＮＮとなる場合には、定義データにより定義される複数段の畳み込み層及びプーリング層と、全結合層とを含んでもよく、画像データの特徴量を取り出し、取り出された特徴量に基づいて画像加工処理を行う。

【0047】

具体的には、機械学習モデル１１２の推論時においては、機械学習モデル１１２に推論対象画像データ（すなわち、基準画像データ以外の教師画像データ）を入力し、出力部１１３からの出力として推論後画像データ、すなわち、「（Ａ）偽基準画像データ＝識別器１１２ｂにおいて基準画像データと識別される程に画質が向上した教師画像データ」を得ることができる。すなわち、学習用データ生成装置１は、別の機械学習に用いられる学習用データ（教師画像データ）を生成するための推論装置を備えていることとなる。ここでの画像データは、YCbCrやRGBを用いて表現される画像データである。出力部１１３は、画像データを記憶部１２に出力する。なお、出力データを画像処理部１１において画像として描画し、表示部１４へ出力してもよい。

【0048】

以上の説明のように、学習用データ生成装置１が教師データに基づいて機械学習モデル１１２における設定値を学習する学習装置をして機能する場合、学習装置は、ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力部１１０と、入力部１１０に入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理部１１１と、劣化処理部１１１で生成された劣化後基準画像データを入力として、劣化後基準画像データを基準画像データに戻すことができるように、学習対象の機械学習モデル１１２における設定値を学習する生成器１１２ａと、生成器１１２ａにおける処理を実行するための学習処理実行部１０１と、設定値を記憶する記憶部１２と、を備える。また、学習用データ生成装置１が推論装置をして機能する場合、学習装置で学習した機械学習モデル１１２を用いて、当該推論装置に入力して得られた画像データを別の機械学習のための学習用データ（教師画像データ）として出力する。

【0049】

また、学習装置は、基準画像データを真、劣化後基準画像データ及びその他の基準画像データ以外の画像データを偽と、正しく識別できるように、学習対象の機械学習モデル１１２における設定値を学習する識別器１１２ｂを備え、生成器１１２ａは、さらに、基準画像データ以外の教師画像データを入力とした場合、識別器１１２ｂが真と認識する偽基準画像データを生成できるように、学習対象の機械学習モデル１１２における設定値を学習する。

【0050】

このように、本実施の形態に係る学習用データ生成装置１においては、劣化処理部１１１及び生成器１１２ａと識別器１１２ｂとを有するGANモデルを採用した機械学習モデル１１２を備えている。この構成により、教師画像データをデータ学習に使用する前に、劣化処理部１１１で実際の状態に近い別の画像データ（すなわち、実際の画像劣化に沿ったノイズ成分を含む教師画像データ）を用意して、教師画像データを基準データの特性（すなわち、ノイズ成分が低減された教師画像データ）に近づけるように変換することができる別の機械学習モデル１１２（GANモデル）を予め作成している。この結果、教師画像データをデータ学習に使用する前に、機械学習モデル１１２は教師画像データの補正をして、教師データを用いて学習を行う際にも、より高品質の教師データを均一に準備して、機械学習モデルの学習効率を向上できる。

【0051】

（変形例）
本発明の実施の形態に係る学習用データ生成装置１の変形例に関して図３を参照して説明する。なお、上記実施の形態と同様な構成には同様な符号を付し、その詳細な説明を省略する。

【0052】

本変形例に係る学習用データ生成装置は、上記実施の形態の学習用データ生成装置１の推論装置に入力して得られた画像、すなわち上述の「（Ａ）偽基準画像データ＝識別器１１２ｂにおいて基準画像データと識別される程に画質が向上した教師画像データ」を教師画像データとした機械学習モデル１１４を備える。

【0053】

学習処理実行部１０１は、学習対象の機械学習モデル１１４（例えば高解像度化モデル）を用いて、入力部１１０より入力された偽基準画像データに基づいて、学習対象の機械学習モデル１１４における設定値を学習する処理を実行する。この設定値は記憶部１２に記憶される。なお、機械学習モデルの学習例としては、典型的には、分類タスク（入力側の教師画像データ→機械学習モデル→出力ラベル⇔教師ラベル）、画像変換（入力側の教師画像データ→機械学習モデル→出力画像データ⇔出力側教師画像データ）、画像生成（入力側の教師テキストデータ→機械学習モデル→出力画像データ⇔出力側教師画像データ）が挙げられる。なお、ここでの→はデータの流れ、⇔は学習時の比較を示す。なお、機械学習モデル１１４に入力される教師データは画像データに限定されるものではなく、テキスト（文章）から画像を生成してもよい。

【0054】

このように、本変形例では、機械学習モデル１１４の前処理において、推論装置で推論後の画質が向上された教師画像データの生成（すなわちGANモデル１１２で生成した画質が向上された偽基準画像データの生成）を行う。このことで、全ての学習用（教師）データを均一に、状態の良いものにして、機械学習モデル１１４の本来の目的の学習精度を飛躍的に向上できる。

【0055】

なお、本変形例に係る学習装置は、図３に示すように、さらに識別器１１４ａを備え、偽と認識する画像データを教師画像データに含まないようにしても良い。これは、学習用データ生成装置で加工しても尚画質が悪いということになるので、排除して学習するほうが学習効率を向上できるためである。すなわち、識別器１１４ａを用いた推論装置を備え、当該推論装置に入力した画像データから、当該推論装置が偽と判定した画像データを除外した画像データを別の機械学習のための学習用データとして出力することができる。

【0056】

なお、本実施の形態に係る学習用データ生成装置１のハードウェア構成の内、通信部１３、表示部１４、及び読取部１６は必須ではない。通信部１３については、例えば記憶部１２に記憶される画像処理プログラム１Ｐ、及び機械学習ライブラリ１Ｌを外部サーバ装置から取得する場合に一旦使用された後は使用しない場合がある。読取部１６も同様に、画像処理プログラム１Ｐ、機械学習ライブラリ１Ｌを記憶媒体から読み出して取得した後は使用されない可能性がある。そして通信部１３及び読取部１６は、ＵＳＢ等のシリアル通信を用いた同一のデバイスであってもよい。

【0057】

学習用データ生成装置１がＷｅｂサーバとして、上述の機械学習モデル１１２としての機能を、表示部及び通信部を備えるＷｅｂクライアント装置へ提供する構成としてもよい。この場合、通信部１３は、Ｗｅｂクライアント装置からのリクエストを受信し、処理結果を送信するために使用される。

【0058】

学習時に用いる誤差は、二乗誤差、絶対値誤差、又は交差エントロピー誤差等、入出力されるデータ、学習目的に応じて適切な関数を用いるとよい。例えば、出力が分類である場合、交差エントロピー誤差を用いる。誤差関数を用いることに拘わらずその他の基準を用いるなど柔軟な運用が適用できる。この誤差関数自体に外部の機械学習モデルを用いて評価を行なってもよい。

【0059】

なお、本発明は、上記実施の形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。また、本発明の目的を達成するために、本発明は、学習用データ生成装置（学習装置及び推論装置）に含まれる特徴的な構成手段をステップとする学習用データ生成方法（学習方法及び推論方法）としたり、それらの特徴的なステップを含むプログラムとして実現することもできる。そして、そのプログラムは、ＲＯＭ等に格納しておくだけでなく、ＵＳＢメモリ等の記録媒体や通信ネットワークを介して流通させることもできる。

【0060】

また、本発明は、学習用データ生成装置又はコンピュータプログラムに向けて入力データを送信し、学習用データ生成装置又はコンピュータプログラムからの出力データを受信して利用するコンピュータシステムとしても実現できる。このシステムは、上述の処理により学習済みの機械学習モデルから得られるデータを利用した処理システムで、種々のサービスを提供できる。本システムに用いる装置は、表示部及び通信部を備えた学習用データ生成装置又はコンピュータと情報を送受信できる情報処理装置などであり、例えば所謂ＰＣ、スマートフォン、携帯端末、ゲーム機器などである。

【符号の説明】

【0061】

１ 学習用データ生成装置（学習装置及び推論装置）
１０ 制御部
１１ 画像処理部
１２ 記憶部（学習結果記憶部）
１０１ 学習処理実行部
１０２ 推論処理実行部
１１０ 入力部
１１１ 劣化処理部
１１２，１１４ 機械学習モデル
１１２ａ 生成器
１１２ｂ，１１４ａ 識別器
１１３ 出力部

【要約】

【課題】機械学習によるデータ処理において、教師データを用いて学習を行う際にも、機械学習モデルの学習効率を向上できるように、より高品質の教師データを均一に準備できる学習用データ生成装置を提供する。
【解決手段】学習装置は、ノイズ成分を低減するように作成された基準画像データの入力を受け付ける入力部１１０と、入力部１１０に入力された基準画像データに対してノイズを加えて劣化後基準画像データを作成する劣化処理部１１１と、劣化処理部１１１で生成された劣化後基準画像データを入力として、劣化後基準画像データを基準画像データに戻すことができるように、学習対象の機械学習モデル１１２における設定値を学習する生成器１１２ａと、生成器１１２ａにおける処理を実行するための学習処理実行部１０１と、を備える。推論装置は、機械学習モデル１１２を用いて、当該推論装置に入力して得られた画像データを別の機械学習のための教師画像データとして出力する。この構成により、教師データを用いて学習を行う際にも、機械学習モデルの学習効率を向上できるように、より高品質の教師データを均一に準備できる。
【選択図】図２

【図1】

【図2】

【図3】