特開 2022-2027 学習装置、推論装置、コンピュータプログラム、コンピュータシステム、推論方法及び学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2022-2027(P2022-2027A)

(43)【公開日】2022年1月6日

(54)【発明の名称】学習装置、推論装置、コンピュータプログラム、コンピュータシステム、推論方法及び学習方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20211210BHJP

   G06N 20/00 20190101ALI20211210BHJP

【ＦＩ】

   G06T7/00 350C

   G06N20/00

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

【全頁数】24

(21)【出願番号】特願2020-106917(P2020-106917)

(22)【出願日】2020年6月22日

(71)【出願人】

【識別番号】398034168

【氏名又は名称】株式会社アクセル

(74)【代理人】

【識別番号】100085660

【弁理士】

【氏名又は名称】鈴木 均

(74)【代理人】

【識別番号】100149892

【弁理士】

【氏名又は名称】小川 弥生

(74)【代理人】

【識別番号】100185672

【弁理士】

【氏名又は名称】池田 雅人

(72)【発明者】

【氏名】奥野 修二

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096DA01

5L096KA04

(57)【要約】

【課題】演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題が抑制できる学習装置及び推論装置を提供する。
【解決手段】対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定部を具備し、予測可能領域とされたデータ領域に所定のデータ処理を実行するとともに、予測可能領域ではない領域を推論するのに必要なデータを機械学習モデルに出力し、推論処理よりデータ処理の平均時間が短いことを特徴とする。
【選択図】図２

【特許請求の範囲】

【請求項1】

機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置であって、
対象データの入力を受け付ける入力部と、
前記入力部に入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定部と、
前記入力部からデータが入力される機械学習モデルと、
前記機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行部と、
前記予測可能領域とされたデータ領域に所定のデータ処理を行う予測データ生成部と、を備え、
前記推論処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、
前記推論処理より前記データ処理の平均時間が短いことを特徴とする推論装置。

【請求項2】

前記推論装置は、さらに、
前記機械学習モデルにおいて処理された対象データと、前記予測データ生成部において生成されたデータを結合するデータ結合部と、
前記データ結合部において結合されたデータを出力する出力部と、を備えることを特徴とする請求項１に記載の推論装置。

【請求項3】

前記予測可能領域判定部は、対象データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する、ことを特徴とする請求項１又は２に記載の推論装置。

【請求項4】

前記予測可能領域判定部は、対象データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部を有する、ことを特徴とする請求項１又は２に記載の推論装置。

【請求項5】

前記推論装置は、さらに、
前記入力部に入力された対象データを領域分割するブロック分割部を備え、
前記予測可能領域判定部は、前記ブロック分割部で分割されたブロック単位で予測可能領域の判定を行う、ことを特徴とする請求項１乃至４の何れか一項に記載の推論装置。

【請求項6】

前記推論処理実行部は、予測可能領域の全て又は少なくとも一部の領域をスキップさせたデータを前記機械学習モデルに出力する、ことを特徴とする請求項１乃至５の何れか一項に記載の推論装置。

【請求項7】

前記予測可能領域判定部は、予測可能領域の判定に所定範囲の誤差を有する領域を含ませる、ことを特徴とする請求項１乃至６の何れか一項に記載の推論装置。

【請求項8】

前記対象データは画像データである、ことを特徴する請求項１乃至７の何れか一項に記載の推論装置。

【請求項9】

一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、
学習用データの入力を受け付ける入力部と、
前記入力部に入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定部と、
前記入力部からデータが入力される機械学習モデルと、
学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、
前記設定値を記憶する学習結果記憶部と、を備え、
前記学習処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、前記予測可能領域を推論するのに必要なデータの少なくとも一部を前記機械学習モデルに出力しないことを特徴とする学習装置。

【請求項10】

一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、
学習用データの入力を受け付ける入力部と、
前記入力部に入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定部と、
前記入力部からデータが入力される機械学習モデルと、
学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、
前記設定値を記憶する学習結果記憶部と、
前記予測可能領域とされたデータ領域に所定のデータ処理を行うデータ処理部と、を備え、
前記学習処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力することを特徴とする学習装置。

【請求項11】

前記予測可能領域判定部は、学習用データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する、ことを特徴とする請求項９または１０に記載の学習装置。

【請求項12】

前記予測可能領域判定部は、学習用データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部を有する、ことを特徴とする請求項９または１０に記載の学習装置。

【請求項13】

前記学習用データは画像データである、ことを特徴する請求項９乃至１２の何れか一項に記載の学習装置。

【請求項14】

コンピュータを請求項１乃至１３の何れか一項に記載の学習装置又は推論装置として動作させる、ことを特徴とするコンピュータプログラム。

【請求項15】

請求項１乃至１３の何れか一項に記載の学習装置もしくは推論装置又は請求項１４に記載のコンピュータプログラムに向けて入力データを送信し、これら学習装置もしくは推論装置又はコンピュータプログラムからの出力データを受信して利用する、ことを特徴とするコンピュータシステム。

【請求項16】

機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置又はコンピュータプログラムを機能させるための推論方法であって、
対象データの入力を受け付ける入力ステップと、
前記入力ステップにおいて入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定ステップと、
データが入力される機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行ステップと、
前記予測可能領域とされたデータ領域に所定のデータ処理を行う予測データ生成ステップと、を含み、
前記推論処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、
前記推論処理より前記データ処理の平均時間が短い、ことを特徴とする推論方法。

【請求項17】

一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置又はコンピュータプログラムを機能させるための学習方法であって、
学習用データの入力を受け付ける入力ステップと、
前記入力ステップにおいて入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定ステップと、
学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、
前記設定値を記憶する学習結果記憶ステップと、を含み、
前記学習処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、前記予測可能領域を推論するのに必要なデータの少なくとも一部を前記機械学習モデルに出力しないことを特徴とする学習方法。

【請求項18】

一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置又はコンピュータプログラムを機能させるための学習方法であって、
学習用データの入力を受け付ける入力ステップと、
前記入力ステップにおいて入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定ステップと、
学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、
前記設定値を記憶する学習結果記憶ステップと、
前記予測可能領域とされたデータ領域に所定のデータ処理を行うデータ処理ステップと、を含み、
前記学習処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力する、ことを特徴とする学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習モデルを用いた学習装置及び推論装置に関し、特に、画像処理用の機械学習モデルを用いた学習装置及び推論装置に関する。

【背景技術】

【0002】

従来より、機械学習によるデータ処理方法で、コンピュータのプログラムに対して、教師データとなるデータセットを与えて、プログラムのパラメータを学習することで、任意のデータに対してデータ処理を行うことができる学習済みモデルを生成する方法が知られている。

【0003】

例えば、機械学習を用いた「入力画像（教師データ）→学習用プログラム→出力画像（教師データ）」という処理において、入力画像と出力画像の誤差が一番小さくなるように学習用プログラムのパラメータを計算して「学習済みモデル」を生成する。そして、この「学習済モデル」を用いることで、「入力画像（任意のデータ：例えば低解像度画像）→学習済みモデル→出力画像（推論データ：例えば高解像度画像）」という、入力画像から出力画像を推論することで出力画像を生成することができる。

【0004】

近年、機械学習のうちニューラルネットワークを用いた機械学習が多くの分野に適用されている。特に画像認識、音声認識の分野にて、ニューラルネットワークを多層構造で使用したディープラーニング（Deep Learning；深層学習） が高い認識精度を発揮している。多層化したディープラーニングでも、入力の特徴を抽出する畳み込み層及びプーリング層を複数回使用した畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像処理が行なわれている。

【0005】

そして、ニューラルネットワークを用いた画像処理としては、信号を高解像度化させる超解像装置（例えば、特許文献１参照）や疾患領域の違いを把握することを容易にして精度の高い診断支援を行う診断支援装置（例えば、特許文献２参照）などがある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０２０−２７５５７公報

【特許文献2】特開２０１８−３８７８９公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ニューラルネットワークを用いるデータ処理においては、機械学習モデルに対象となるデータが入力される。例えば画像処理において、機械学習モデルに使用される画像データは、座標ごとに区画されたピクセル(画素)の集まりとして表現され、各ピクセルにはピクセル値（例えば色情報RGBの３つの値）が付与される。機械学習モデルでは、対象となる画像データの有する全てのピクセル値が入力ニューロンに入力されて機械学習が実行されている。

【0008】

ところで、画像データには例えば単色領域やエッジ成分のほとんどない（変化の少ない）領域など機械学習用の推論処理の前後で変化の生じなかったり、単純な処理で生成が可能な、すなわち推論結果を容易に予測できる領域（以下、予測可能領域と記載）が含まれているものがある。仮に、画像データの特性を無視して、上述のような予測可能領域を含む画像データを一律に全て機械学習モデルに入力することで、演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題が生じる。

【0009】

そして、上記特許文献に示される画像処理方法においても、入力される画像データの予測可能領域を配慮した演算処理は開示されていない。

【0010】

本発明は、上記課題に鑑みてなされたものであり、畳み込みニューラルネットワークなどの機械学習によるデータ処理において、演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題の何れかが抑制できる学習装置及び推論装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記目的を達成するために本発明は、機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置であって、対象データの入力を受け付ける入力部と、前記入力部に入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定部と、前記入力部からデータが入力される機械学習モデルと、前記機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行部と、前記予測可能領域とされたデータ領域に所定のデータ処理を行う予測データ生成部と、を備え、前記推論処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、前記推論処理より前記データ処理の平均時間が短いことを特徴とするものである。

【発明の効果】

【0012】

本発明に係る推論装置は、機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置であって、対象データの入力を受け付ける入力部と、入力部に入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定部と、入力部からデータが入力される機械学習モデルと、機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行部と、を備え、推論処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力する。この構成により、本願発明に係る推論装置では、機械学習によるデータ処理において、演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題を抑制できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】同上画像処理装置の機能ブロック図である。

【図3】同上画像処理装置の推論動作時の動作手順を示すフローチャートである。

【図4】同上画像処理装置の推論動作時の動作手順の他の具体例を示すフローチャートである。

【図5】同上画像処理装置の学習動作時の動作手順を示すフローチャートである。

【図6】同上画像処理装置の学習動作時の動作手順の他の具体例を示すフローチャートである。

【図7】同上画像処理装置における推論動作時の画像の遷移を示すイメージ図である。

【図8】本発明の実施の形態２に係る画像処理装置の機能ブロック図である。

【図9】同上画像処理装置の推論動作時の動作手順を示すフローチャートである。

【図10】本発明の実施の形態３に係る画像処理装置の機能ブロック図である。

【図11】同上画像処理装置の推論動作時の動作手順を示すフローチャートである。

【図12】本発明の実施の形態４に係る画像処理装置の機能ブロック図である。

【図13】同上画像処理装置の推論動作時の動作手順を示すフローチャートである。

【発明を実施するための形態】

【0014】

（実施の形態１）
本発明の実施の形態１に係る画像処理装置について図１乃至図５を参照して説明する。なお、本発明の対象データは、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータであり、画像データに限定されるものではないが、以下の実施の形態では典型例としての画像データを用いて説明する。本実施の形態１に係る画像処理装置は、画像データなどの所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習装置、及び機械学習モデルを用いて対象画像データに対して所定の推論処理を実行する推論装置の少なくとも一方としての機能を発揮する。

【0015】

最初に、画像処理装置１に備わる各処理部に関して図１を参照しながら説明する。画像処理装置１は、図１に示すように、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５及び読取部１６を備える。なお、画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

【0016】

制御部１０は、ＣＰＵなどのプロセッサやメモリを用いて、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ、ＧＰＵ等のプロセッサ、メモリ、さらには記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

【0017】

記憶部１２は、ハードディスクやフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習モデル（例えばＣＮＮ）としての機能を発揮させる機械学習ライブラリ１Ｌが記憶されている。また、記憶部１２には、機械学習モデルを定義する定義データ、学習済み機械学習モデルにおける設定値等を含むパラメータなどが記憶される。

【0018】

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

【0019】

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

【0020】

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

【0021】

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、及び機械学習ライブラリ３Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ及び機械学習ライブラリ１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ及び機械学習ライブラリ３Ｌを制御部１０が記憶部１２に複製したものであってもよい。

【0022】

次に、画像処理装置１の画像処理の機能に関して図２を参照しながら説明する。画像処理装置１の制御部１０は学習処理実行部１０１及び推論処理実行部１０２を備える。学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１Ｌ、定義データ、パラメータ情報に基づき機械学習モデル（機械学習エンジン）として機能する。すなわち、学習処理実行部１０１は、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、学習対象の機械学習モデルにおける設定値（パラメータ等）を学習する処理を実行する。

【0023】

推論処理実行部１０２は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、画像処理を行う。すなわち、推論処理実行部１０２は、機械学習モデルを用いて、入力される対象画像データ（対象データ）に対して所定の推論処理を実行する。また、推論処理実行部１０２は、ユーザの操作部１５を用いた操作に基づき、入力データである画像データを入力部１１１に入力する画像処理実行部としての機能を発揮する。

【0024】

本実施の形態１において、画像処理部１１の入力部１１１は学習用画像データ又は推論対象となる対象画像データの入力を受け付ける。入力部１１１に備わる予測可能領域判定部１１１ａは、入力部１１１に入力された対象画像データ（すなわち学習用画像データ又は推論対象となる対象画像データ）が推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する。推論処理実行部１０２（及び学習処理実行部１０１）は、予測可能領域判定部１１１ａにおいて対象画像データが予測可能領域を有していると判定される場合には、予測可能領域ではない領域を推論（学習）するのに必要なデータを機械学習モデル１１２に出力する。具体的には、推論処理実行部１０２は、予測可能領域の全て又は少なくとも一部の領域をスキップさせた画像データを機械学習モデル１１２に、予測可能領域の画像データ（機械学習モデル１１２に入力された画像データ以外の画像データ）を出力部１１３に振り分けて出力する。

【0025】

本実施の形態において、予測可能領域判定部１１１ａは、対象データ（画像データ）における連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定し、単色領域判定部１１１ｂ及びブロック分割部１１１ｃを有する。単色領域判定部１１１ｂは、対象画像データにおける連続した単色の領域の全部又はその内側の少なくとも一部の領域を予測可能領域と判定する。例えば、単色領域判定部１１１ｂは、対象画像データの有する画素の色情報（RGBの値など）に基づいて、同じサンプル値で連続した領域を予測可能領域とする。８ビット表現の場合にRGBで（０、０、０）の完全黒や（２５５、２５５、２５５）の完全白が連続する領域など、特定の色のみを対象として予測可能領域としても良い。また、連続した領域のうち、例えばその数ピクセル内側のみを予測可能領域としてもよい。領域の範囲に関しても所定数以上同じ値が連続（隣接）する領域を縦横任意のサイズのブロック単位で判定しても良いし、対象画像データがブロック分割される場合には１ブロック単位で判定しても構わない。

【0026】

特に、機械学習モデルがＣＮＮとなる場合には、畳み込みの処理過程において処理対象ピクセルの周囲のピクセルも参照する場合もある。このため、単色領域判定部１１１ｂは、対象画像データにおける連続した単色領域の内側の少なくとも一部の領域を予測可能領域と判定する。すなわち、処理対象ピクセルをＣＮＮで畳み込み処理する際に参照する単色領域のピクセルを除き、単色領域の内側を予測可能領域と判定する。これにより、予測可能領域の予測値と機械学習モデルの出力との間に誤差が発生して判定領域の境界でノイズが出ることを防止できる。ここで内側とは、例えば、境界の全てのピクセルから任意の縦横ピクセル分以上離れた単色領域側の領域である。また同様に、予測可能領域以外の領域についても、機械学習モデルにおいて予測可能領域を参照してもよい。また、これに限らず、予測可能領域の境界部は、畳み込みの参照範囲などを考慮して適宜調整しても良い。

【0027】

ブロック分割部１１１ｃは、入力部１１１に入力された画像データを領域分割する。ブロック分割部１１１ｃは、画像データが例えば１９２０×１０８０ピクセルの色情報で表現される場合、１２８×１２８ピクセル（１ブロック）などに領域分割してもよい（割り切れないピクセルは１ブロックのサイズを超えない最大限のブロックで分割してもよい）。ブロック分割はブロックが重なってもよいし、画像の周辺を画像の境界のピクセルと同じ画素で任意のピクセル分拡張（パディング）を行ってからブロック分割してもよい。予測可能領域判定部１１１ａは、ブロック分割部１１１ｃで分割されたブロック単位で予測可能領域の判定を行ってもよい。ブロック単位での判定は、前記のとおり畳み込みで参照する範囲を考慮して行っても良い。また、予測可能領域を自由な形で設定し、機械学習モデルに出力する画像データのみをブロック単位で出力することで、ブロック中の一部のみに予測可能領域を含むブロックが混在してもよい。

【0028】

機械学習モデル１１２は、学習済みモデル使用時にはそれぞれ既に学習済のパラメータに基づいて画像データの最適化処理（例えば高解像度化やノイズ除去）を行う。推論時の機械学習モデル１１２がＣＮＮとなる場合には、定義データにより定義される複数段の畳み込み層及びプーリング層と、全結合層とを含んでもよく、画像データの特徴量を取り出し、取り出された特徴量に基づいて画像加工処理を行う。

【0029】

機械学習モデル１１２で処理された画像データ、及び予測可能領域判定部１１１ａにおいて予測可能領域と判定された画像データは、出力部１１３に入力される。出力部１１３は、設定画像生成部（予測データ生成部）１１３ａ及び画像結合部（データ結合部）１１３ｂを有する。設定画像生成部１１３ａは、予測可能領域とされた画像データ（データ領域）に所定の画像処理（データ処理）を行う。例えば推論処理が高解像度化であれば、予測可能領域を設定に応じて拡大した画像を生成する。前記の畳み込みの参照範囲による境界部の調整はここで行ってもよい。画像結合部１１３ｂは、機械学習モデル１１２において処理された対象データと、予測データ生成部１１３ａにおいて生成されたデータを結合する。ここでは、画像データのピクセル毎に付与された座標情報を用いて機械学習モデル１１２において処理された画像データと、設定画像生成部１１３ａにおいて生成された画像を再結合させる。なお、機械学習モデル１１２において処理された画像データと、設定画像生成部１１３ａにおいて生成された画像の両方が存在するピクセルは、どちらのピクセルを使用してもよいし、合成してもよい。出力部１１３は、画像結合部１１３ｂにおいて結合された画像データを記憶部１２に出力する。なお、出力データを画像処理部１１において画像として描画し、表示部１４へ出力してもよい。

【0030】

出力部１１３から出力される画像データは、例えば拡大、ノイズ除去、カラー化などの特定の画像処理を施すことができ、また、出力は画像データに限られずクラス分けの場合は特定されたクラスを出力する。

【0031】

次に、本実施の形態１に係る画像処理装置１が推論装置として動作する際の動作手順に関して図３を参照しながら説明する。なお、図３は画像データ全体としての処理に関するフローである。最初に、入力部１１１において画像データの入力がある場合（Ｓ３０１でＹｅｓ）、予測可能領域判定部１１１ａは画像データが予測可能領域（例えば完全単色の領域）を有するか否かを判定する（Ｓ３０２）。そして、予測可能領域を含む場合（Ｓ３０２でＹｅｓ）、入力部１１１は、予測可能領域の少なくとも一部の領域スキップさせた画像データを機械学習モデル１１２、予測可能領域を出力部１１３に出力する（Ｓ３０３）。次に、機械学習モデル１１２は、入力された画像データに対してＣＮＮなどによる推論処理を行い、推論画像を生成する（Ｓ３０４）。そして、設定画像生成部１１３ａは予測可能領域に所定の画像処理（例えば拡大処理）を行うことで設定画像を生成し、画像結合部１１３ｂにおいてこの設定画像と推論画像が結合され（Ｓ３０５）、結果を記憶部１２に格納する（Ｓ３０６）。

【0032】

一方、予測可能領域判定部１１１ａにおいて入力部１１１に入力された対象画像データが予測可能領域を含まないと判定する場合（Ｓ３０２でＮｏ）、入力部１１１は、対象画像データの全てを機械学習モデル１１２に出力する（Ｓ３０７）。次に、機械学習モデル１１２は、推論処理を行い画像を生成する（Ｓ３０８）。

【0033】

次に、画像データをブロック分割部１１１ｃで分割して処理する場合の詳細フローについて図４を用いて説明する。

【0034】

先ず、入力部１１１において画像データの入力がある場合（Ｓ４０１でＹｅｓ）、入力した画像データをブロック分割部１１１ｃで所望の大きさにブロック分割し（Ｓ４０２）、予測可能領域判定部１１１ａはブロックの出力に対応する領域が予測可能領域（例えば完全単色の領域）ではない領域を含むか否かを判定する（Ｓ４０３）。そして、ブロックの出力に対応する領域が予測可能領域でない領域を含まない場合（Ｓ４０３でNo）、入力部１１１は、当該ブロックの画像情報を出力部１１３に出力する（Ｓ４０４）。なお、前述したように予測可能領域とそれ以外の領域との境界部分のデータをパディングするタイミングはステップＳ４０２に示したブロック分割処理の前に行っても良い。その場合、ステップＳ４０１で予測可能領域を含む画像であるか否かについても判断し、パディングした後のデータをブロック分割することとなる。また画像データをブロック分割した後にパディングする場合には、ステップＳ４０３の予測可能領域の判定処理の際に、分割されたブロックに対してパディングすればよい。

【0035】

予測可能領域の画像データの場合（Ｓ４０３でＮｏ）、当該ブロックの情報を出力部１１３に出力し（Ｓ４０４）、出力部１１３の設定画像生成部１１３ａでは入力したデータに基づき画像生成し（Ｓ４０５）、生成した画像はメモリ等に一時記憶する（Ｓ４０６）。
一方、ステップＳ４０３において、ブロックの出力に対応する領域が予測可能領域でない領域を含む（Ｓ４０３でＹｅｓ）と判断されたブロックの画像データは機械学習モデル１１２に出力され（Ｓ４０７）、該機械学習モデル１１２でＣＮＮなどによる推論処理を行い、推論画像を生成し（Ｓ４０８）、生成した画像はメモリ等に一時記憶する（Ｓ４０９）。
次に全てのブロックの処理が終了したか否か判断し（ステップＳ４１０）、全てのブロックの推論処理が終了していない場合（Ｓ４１０でＮｏ）、ステップＳ４０３に戻り、次のブロックについての処理を行う。一方、全てのブロックの処理が終了した場合（Ｓ４１０でＹｅｓ）、メモリ等に一時記憶された機械学習モデル１１２の出力と、設定画像生成部１１３ａの出力とを画像結合部１１３ｂで結合し（Ｓ４１１）、画像データ出力を記憶部１２に格納する（Ｓ４１２）。

【0036】

機械学習モデルにおける処理が入力画像データの超解像処理である場合、設定画像生成部１１３ａでは拡大処理が行われる。すなわち、単色領域からなるブロックのピクセル数を単純に増加させる等の処理が行われる。さらにＣＮＮの方法によってはブロック処理が必須ではなく、また、ピクセル単位でスキップした任意の形状の画像データを機械学習モデルに出力しても良い。

【0037】

次に、本実施の形態１に係る画像処理装置１が学習装置として動作する際の動作手順に関して図５を参照しながら説明する。なお、図５は画像データ全体としての処理に関するフローである。

【0038】

最初に、入力部１１１において学習用データ（画像データ）の入力がある場合（Ｓ５０１でＹｅｓ）、予測可能領域判定部１１１ａは画像データが設定値を学習する必要性が低い予測可能領域、を有しているか否かを判定する（Ｓ５０２）。ここでは学習用データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する。予測可能領域判定部１１１ａは、学習用データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部として機能しても良い。そして、予測可能領域を含む場合（Ｓ５０２でＹｅｓ）、入力部１１１は、予測可能領域をスキップさせた画像データを機械学習モデル１１２に出力する（Ｓ５０３）。次に、機械学習モデル１１２は、機械学習モデルのパラメータ生成又は更新処理（設定値の更新処理）を行う（Ｓ５０４）。この設定値の更新は、例えばパラメータをミニバッチ勾配降下法で更新するなど入力データと解答データとの差分を最小化する処理である。次に、更新された設定値を記憶部１２に格納する（Ｓ５０５）。

【0039】

一方、予測可能領域判定部１１１ａにおいて入力部１１１に入力された学習用データが予測可能領域を含まないと判定する場合（Ｓ５０２でＮｏ）、入力部１１１は、全画像データを機械学習モデル１１２に出力する（Ｓ５０６）。次に、機械学習モデル１１２は、学習時には機械学習モデルのパラメータ更新（設定値の更新処理）を行い、結果を記憶部１２に格納する（Ｓ５０７）。

【0040】

このように、本実施の形態１に係る画像処理装置１は、予測可能領域を分けて、予測可能領域以外の領域専用に学習した機械学習モデル１１２を用意する。この構成により、学習用データから予測可能領域を分離して、予測可能領域を除く画像データに機械学習モデルを設定することができる。なお、機械学習モデルの学習に必要な部分が予測可能領域と被る場合には機械学習モデル１１２に予測可能領域を含む学習用データを入力し、学習させても良い。

【0041】

次に画像データをブロック分割部１１１ｃで分割して学習処理する場合の詳細フローについて図６を用いて説明する。

【0042】

先ず、入力部１１１において学習用データ（画像データ）の入力がある場合（Ｓ６０１でＹｅｓ）、予測可能領域判定部１１１ａのブロック分割部１１１ｃは入力した画像データを所定の大きさのブロックに分割する（Ｓ６０２）。その後予測可能領域判定部１１１ａの単色領域判定部１１１ｂにて、分割されたブロックの出力に対応する領域が予測可能領域でない領域を含むか否か判定し（Ｓ６０３）、予測可能領域でない領域を含まない場合には（Ｓ６０３でＮｏ）、全てのブロックの学習処理が終了したかを判断し（Ｓ６０４）、全てのブロックの学習処理が終了していない場合（Ｓ６０４でＮｏ）にはステップＳ６０３に戻り、次のブロックについての判定処理を行う。

【0043】

一方、分割されたブロックの出力に対応する領域が予測可能領域でない領域を含む場合には（Ｓ６０３でＹｅｓ）、ブロックの画像データを機械学習モデル１１２に出力し（Ｓ６０５）、機械学習モデル１１２にて機械学習が行われ（Ｓ６０６）、パラメータを記憶部に記憶（設定値の変更）する（Ｓ６０７）。この設定値の更新は、例えばパラメータをミニバッチ勾配降下法で更新するなど入力データと解答データとの差分を最小化する処理である。次に、全てのブロックの学習処理が終了したか否かが判断され（Ｓ６０４）、全てのブロックの学習処理が終了していない場合には（Ｓ６０４でＮｏ）ステップＳ６０３に戻り、次のブロックについての判定処理を行う。

【0044】

本実施の形態１に係る画像処理装置１における推論画像生成（高解像度画像生成）の場合の遷移イメージ図を図７に示す。図７（ａ）に示すように、画像データには完全単色または高周波成分を含まない一定範囲の予測可能領域（斜線領域）が含まれており、図７（ｂ）に示すように予測可能領域を除く画像データを機械学習モデル１１２に通して推論処理をする。そして、図７（ｃ）に示す機械学習モデル１１２において生成された推論画像と、設定画像生成部１１３ａで生成された予測可能領域の画像データの設定画像を結合することで図７（ｄ）に示す最終的な推論画像が生成される。

【0045】

以上の説明のように、本実施の形態１に係る画像処理装置（推論装置）１は、学習済みモデルを用いた推論装置として機能する場合には、記憶部１２に記憶してある定義データ及びパラメータを用いて、予測可能領域の少なくとも一部を除いた画像データ専用の機械学習モデル１１２を用いて画像生成を行う。そして、推論処理実行部１０２は、画像結合部１１３ｂにおいて結合された出力画像を出力する。

【0046】

この構成により、画像処理装置１では、畳み込みニューラルネットワークなどの機械学習において、予測可能領域に対した入力を省く（スキップする）ことで演算量を減らして処理の軽量化を図り、画像データを用いた機械学習の効率・精度を向上できる。すなわち、推論処理での表現力（精度）を保ち・向上させながらパラメータ数や演算量を抑えることで、より高精度なモデルを実現できる。

【0047】

一方、予測可能領域の少なくとも一部を除いた画像データを用いて機械学習モデル１１２を用いて学習を行なうことができ、機械学習による画像処理において、より効率的な処理を実現できる。より具体的には、学習処理実行部１０１は、予測可能領域を除いた学習データを機械学習モデル１１２に入力して得られる出力データと、既知の学習用画像データとの誤差を最小にする処理を実行し、パラメータ（重み）を更新できる。この学習処理により得られるパラメータは記憶部１２に記憶される。この際、記憶部１２は学習結果記憶部として機能している。

【0048】

なお、上述のように、本発明の適用対象データは、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータであり、画像データに限定されるものではない。例えば、音響データは時間の一次元の空間に対する音圧値である。また、動画データは縦方向、横方向及び時間の３次元に対するピクセル値である。これらのデータは、いずれも、本実施の形態の予測可能領域判定部１１１ａにおける予測領域判定の対象データとなり得て、入力部１１１への入力データとなり、本願に係る推論方法及び学習方法を適用することが可能である。この場合も、予測可能領域判定部は、対象データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する。その他、機械学習モデルにおける中間層の出力データに対して用いてもよい。

【0049】

また、本実施の形態１に係る画像処理装置１のハードウェア構成の内、通信部１３、表示部１４、操作部１５、及び読取部１６は必須ではない。通信部１３については、例えば記憶部１２に記憶される画像処理プログラム１Ｐ、及び機械学習ライブラリ１Ｌを外部サーバ装置から取得する場合に一旦使用された後は使用しない場合がある。読取部１６も同様に、画像処理プログラム１Ｐ、機械学習ライブラリ１Ｌを記憶媒体から読み出して取得した後は使用されない可能性がある。そして通信部１３及び読取部１６は、ＵＳＢ等のシリアル通信を用いた同一のデバイスであってもよい。

【0050】

画像処理装置１がＷｅｂサーバとして、上述の予測可能領域判定部１１１ａ、機械学習モデル１１２としての機能を、表示部及び通信部を備えるＷｅｂクライアント装置へ提供する構成としてもよい。この場合、通信部１３は、Ｗｅｂクライアント装置からのリクエストを受信し、処理結果を送信するために使用される。

【0051】

そして、推論時や学習時に用いる誤差は、二乗誤差、絶対値誤差、又は交差エントロピー誤差等、入出力されるデータ、学習目的に応じて適切な関数を用いるとよい。例えば、出力が分類である場合、交差エントロピー誤差を用いる。誤差関数を用いることに拘わらずその他の基準を用いるなど柔軟な運用が適用できる。この誤差関数自体に外部の機械学習モデルを用いて評価を行なってもよい。例えば予測可能領域判定部１１１ａは、予測可能領域の判定に所定範囲の誤差を有する領域を含ませることができる。この誤差は、例えば二乗平均誤差を用いてこの値が一定値以下の範囲を誤差の範囲としたり、ハイパスフィルタ通過後の係数が一定値以下の範囲を誤差の範囲とする

【0052】

（変形例）
本発明の実施の形態１に係る画像処理装置１の変形例に関して説明する。本変形例では、学習処理の際に、学習処理実行部１０１は、予測可能領域を含む画像データを機械学習モデル１１２に出力する。更には、予測可能領域を含む画像データを複数追加し、または予測可能領域における誤差に重みを付ける。これにより、機械学習モデル１１２は、学習における演算量が増え、予測可能領域以外の精度が下がる可能性はあるが、逆に予測可能領域においては、より精度よく学習することが出来る。そうすることで、推論処理においては、予測可能領域の機械学習モデル１１２への入力をスキップした場合、例えばスキップしたブロックと、スキップしていないブロックで誤差が発生してブロックノイズが出る可能性を抑えることが出来る。
機械学習モデルとして例えばＣＮＮを利用した場合、単色領域を機械学習すると、バイアスがかかったり、高周波ノイズが重畳したりして、必ずしも同じ色が出力されないことがある。そのため、予測可能領域を含む画像データを機械学習モデルで学習させることで機械学習モデルに出力される画像データのうち、予測可能領域に隣接する部分、あるいは予測可能領域を一部含む部分の学習結果がより高精度になる。

【0053】

（実施の形態２）
本発明の実施の形態２に係る画像処理装置に関して図８及び図９を参照しながら説明する。なお、上記実施の形態１に係る画像処理装置１と同様の構成については同様の符号を付し、その詳細な説明は省略する。

【0054】

通常、画像データは種類に応じて、例えばイラスト画像などはエッジ成分を多く含むために高周波成分を多く含み、風景画像などは画像に変化量が少なく高周波成分が少ない。本実施の形態２に係る画像処理装置１の予測可能領域判定部１１１ａは、対象画像データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部１１１ｄを有する。ここで、高周波成分判定部１１１ｄはハイパスフィルタを用いて高周波成分を判定する。なお、予測可能領域を判定する際は入力する画像データをブロック分割部１１１ｃで任意の大きさのブロックに分割し、ブロック単位で高周波成分判定を行っても良いし、ブロックに分割することなく高周波成分判定を行っても良い。

【0055】

次に、本実施の形態２に係る画像処理装置１が推論装置として動作する際の動作手順に関して図９を参照しながら説明する。なお、図９は画像データ全体としての処理に関するフローである。最初に、入力部１１１において画像データの入力がある場合（Ｓ９０１でＹｅｓ）、予測可能領域判定部１１１ａは画像データが予測可能領域（例えば高周波領域）を有するか否かを判定する（Ｓ９０２）。そして、予測可能領域を含む場合（Ｓ９０２でＹｅｓ）、入力部１１１は、予測可能領域の少なくとも一部の領域をスキップさせた画像データを機械学習モデル１１２、予測可能領域を出力部１１３に出力する（Ｓ９０３）。次に、機械学習モデル１１２は、入力された画像データに対してＣＮＮなどによる推論処理を行い、推論画像を生成する（Ｓ９０４）。そして、設定画像生成部１１３ａは予測可能領域に所定の画像処理（例えば拡大処理）を行うことで設定画像を生成し、画像結合部１１３ｂにおいて設定画像と推論画像が結合され（Ｓ９０５）、結果を記憶部１２に格納する（Ｓ９０６）。

【0056】

一方、予測可能領域判定部１１１ａにおいて入力部１１１に入力された対象画像データが予測可能領域を含まないと判定する場合（Ｓ９０２でＮｏ）、入力部１１１は、対象画像データの全てを機械学習モデル１１２に出力する（Ｓ９０７）。次に、機械学習モデル１１２は、推論処理を行い画像を生成する（Ｓ９０８）。

【0057】

以上の説明のように、本実施の形態２に係る画像処理装置１では、学習済みモデルを用いた推論装置として機能する場合には、記憶部１２に記憶してある定義データ及びパラメータを用いて、高周波成分の有無に基づいて予測可能領域の少なくとも一部を除いた画像データ専用の機械学習モデル１１２を用いて画像生成を行う。そして、推論処理実行部１０２は、画像結合部１１３ｂにおいて結合された出力画像を出力する。この構成により、画像処理装置１では、上記実施の形態１と同様の作用効果を奏することができる。なお、予測可能領域の抽出にはローパスフィルタやバンドパスフィルタの構成部を用いて抽出されたデータを用いても良い。また、予測可能領域判定部１１１ａは、本実施の形態１における単色領域判定部１１１ｂと形態２における高周波判定部１１１ｄの両方を含んでいても良いし、その他の判定を行う装置を含んでいても良い。そして、それらの判定に機械学習モデルを用いても良く、形態１、２と同じくピクセル単位で判定しても良いし、ブロック単位で判定しても良い。

【0058】

（実施の形態３）
本発明の実施の形態３に係る画像処理装置に関して図１０及び図１１を参照しながら説明する。なお、上記実施の形態１、２に係る画像処理装置１と同様の構成については同様の符号を付し、その詳細な説明は省略する。

【0059】

実施の形態３に係る画像処理装置は、機械学習モデルを用いて画像データの超解像処理を行う場合、処理が重たい（処理に時間がかかる）機械学習モデルと、処理が軽い（処理に時間がかからない）機械学習モデルとを併用することで、画像データの超解像を高精度かつ高速に行うものである。

【0060】

本実施形態の画像処理装置は入力部１１１の予測可能領域判定部１１１ａに複雑度判定部１１１ｅを備え、ブロック分割された画像が複雑な画像の場合には機械学習モデル１１２（第一機械学習モデル）にデータを出力し、ブロック内のピクセルの相当数が同じデータを有す単色領域であったり、例えばブロック内を直線が横切っているような単純な画像の場合には当該ブロックのデータを出力部１１３の設定画像生成部１１３ａに出力する。また、複雑度判定はブロック内のピクセルの輝度勾配や輝度勾配の統計量から判定するようにしても良い。設定画像生成部１１３ａでは最近傍補間処理やバイリニア補間処理等の第二機械学習モデル１１３ｃでデータを処理し、第一機械学習モデル１１２の出力と第二機械学習モデル１１３ｃの出力とを画像結合部１１３ｂで結合することで、推論結果である画像データを得る。

【0061】

図１１は図１０に示した実施形態の推論時の処理フローを示す図である。先ず、入力部１１１において画像データの入力がある場合（Ｓ１１０１でＹｅｓ）、予測可能領域判定部１１１ａのブロック分割部１１１ｃは入力した画像データを所定の大きさのブロックに分割する（Ｓ１１０２）。その後予測可能領域判定部１１１ａの複雑度判定部１１１ｅにて分割されたブロックの画像が複雑なデータであるか否か判定し（Ｓ１１０３）、複雑なデータである場合には（Ｓ１１０３でＹｅｓ）、ブロックの画像データを第一機械学習モデル１１２に出力する（Ｓ１１０４）。データが入力した第一機械学習モデル１１２で推論処理が行われ（Ｓ１１０５）、その結果はメモリ等に記憶される（Ｓ１１０６）。

【0062】

一方、処理対象のブロックが複雑でないデータ、例えば、単色領域であったり、直線がブロック内を横切っている等のデータである場合（Ｓ１１０３でＮｏ）、当該ブロック情報を出力部１１３に出力する。出力部１１３では設定画像生成部１１３ａの第二機械学習モデル１１３ｃでバイリニア補間等の超解像処理が行われ画像が生成され（Ｓ１１０８）、生成された画像をメモリ等に記憶する（Ｓ１１０９）。

【0063】

その後、全てのブロックの推論処理が終了したかを判断し（Ｓ１１１０）、全てのブロックの推論処理が終了していない場合（Ｓ１１１０でＮｏ）にはステップＳ１１０２に戻り、次のブロックについての処理を行う。
一方、全てのブロックの推論処理が終了した場合（Ｓ１１１０でＹｅｓ）、記憶された第一機械学習モデル１１２の出力と第二機械学習モデル１１３ｃの出力とを画像結合部１３ｂで結合し（Ｓ１１１１）、画像データとして出力する（Ｓ１１１２）。

【0064】

なお、上記実施形態では処理に時間のかからない軽い処理を便宜上、第二機械学習モデルと称すが、従来から超解像処理で用いられているようなＣＮＮ以外の機械学習モデルや、パターン認識と単層のＣＮＮによる組み合わせからなる機械学習モデルなども利用可能である。なお、最近傍補間やバイリニア補間などもResize Layerのみを持つ機械学習モデルということができる。さらに、第二機械学習モデルと記載しているが、機械学習に拠らない超解像処理を第二機械学習モデルの機能として利用しても良い。

【0065】

このように処理が軽い機械学習モデル（上述したように、必ずしも機械学習モデルのカテゴリに含まれる処理には限定しない）と処理が重い機械学習モデルとを併用し、例えば単色領域等、画像が単純な箇所のデータについては処理が軽い機械学習モデルを用いて推論し、画像が複雑な領域のデータについては処理が重い機械学習モデルを用いることで、処理を高速化すると共に、推論結果である超解像の精度を上げることができる。

【0066】

実施の形態３の画像処理装置１が学習装置として動作する場合、第一機械学習モデルと第二機械学習モデルとが学習される。具体的には、実施の形態３の画像処理装置１は、学習装置として動作する場合、実施の形態１の画像処理装置１と同様に、学習用データにおける予測可能領域の有無を判定する。学習用データが予測可能領域を含む場合、予測可能領域をスキップさせた学習用データが第一機械学習モデルに出力され、第一機械学習モデルのパラメータ生成又は更新処理が実行される。また、第二機械学習モデルに予測可能領域が出力され、第二機械学習モデルのパラメータ生成又は更新処理が実行される。一方、予測可能領域を含まない場合、学習用データの全体（全画像データ）が第一機械学習モデルに入力される。

【0067】

（実施の形態４）
次に本発明の実施の形態４に係る画像処理装置に関して図１２及び図１３を参照しながら説明する。なお、上記実施の形態１、２、３に係る画像処理装置１と同様の構成については同様の符号を付し、その詳細な説明は省略する。

【0068】

前述した実施の形態１乃至３は処理の重い機械学習を利用する場合に如何にして処理を簡略化するかという点を課題とし、それを解決したものであるが、実施の形態４は推論結果である超解像の画像の画質を高めることを目的とするものである。したがって、予測可能領域ではない領域を推論するにあたり、予測可能領域を含む全てのデータを機械学習モデルに利用するものである。

【0069】

本発明の実施形態４に係る画像処理装置は図２に示した画像処理装置と比較し、出力部１１３に境界データ生成部１１３ｄを含む点、並びに予測可能領域のデータであるか否かに関わらず全てのデータを機械学習モデルに出力する点で相違する。以下、実施の形態４に係る画像処理装置の動作について図１３に基づき説明する。

【0070】

先ず、入力部１１１において学習用データ（画像データ）の入力がある場合（Ｓ１３０１でＹｅｓ）、予測可能領域判定部１１１ａのブロック分割部１１１ｃは入力した画像データを所定の大きさのブロックに分割する（Ｓ１３０２）。その後予測可能領域判定部１１１ａの単色領域判定部１１１ｂにて分割されたブロックの出力に対応する領域が全て予測可能領域か否か判定し（Ｓ１３０３）、予測可能領域である場合には（Ｓ１３０３でＹｅｓ）、当該ブロック情報を出力部１１３に出力する（Ｓ１３０４）。出力部１１３では設定画像生成部１１３ａで画像が生成され（Ｓ１３０５）、生成された画像をメモリ等に記憶する（Ｓ１３０６）。全てのブロックの処理が終了したかを判断し（Ｓ１３１０）、全てのブロックの処理が終了していない場合（Ｓ１３１０でＮｏ）にはステップＳ１３０２に戻り、次のブロックについての判定処理を行う。

【0071】

一方、分割されたブロックの出力に対応する領域が全て予測可能領域でない場合には（Ｓ１３０３でＮｏ）、ステップＳ１３１０に移り、全てのブロックの処理が終了したか否かを判定する。また分割されたブロックのデータは予測可能領域を含むか否かに関わらず機械学習モデル１１２に出力され（Ｓ１３０７）、機械学習モデル１１２で推論処理が実行される（Ｓ１３０８）。機械学習モデル１１２の出力はメモリ等の記憶部に記憶される。（Ｓ１３０９）

【0072】

出力部１１３の境界データ生成部１１３ｄではメモリ等に格納された設定画像生成部１１３ａの出力と機械学習モデル１１２の出力とから境界領域、すなわち、単色領域と認定され、設定画像生成部で生成された画像と、単色領域に隣接し機械学習モデル１１２で生成された画像とを用いて境界領域のデータを生成し（Ｓ１３１１）、生成した境界領域データ、設定画像生成部出力及び機械学習モデル出力とを結合して出力画像を得（Ｓ１３１２）、出力画像データは記憶部に格納される（Ｓ１３１３）。境界データ生成部１１３ｄは単色領域のいくらか内側（単色側）のみを単色扱いとしたり、設定画像生成部１１３ａ出力の単色の境界をスムージングし、元の色のまま解像度が上がった状態で機械学習モデル１１２の出力と合成したり、設定画像生成部１１３ａで処理する領域と機械学習モデル１１２で処理する領域を重複させ、境界部分を含む重複したデータから好ましい結果が得られるよう境界部分の画素を調整すれば良い。

【0073】

前述したように、機械学習モデルとしてＣＮＮを利用した場合、単色領域のデータを機械学習モデルに入力し推論しても必ずしも同色が出力されない場合があるが、機械学習モデル出力と設定画像生成部出力とを用い、境界データを生成することで高画質な超解像画像を得ることができる。例えば、機械学習モデルの処理で発生しやすいノイズ（モスキートノイズやリンギングのようなもの）をキャンセルすることも可能となる。ただし、境界付近で画像データが不連続になってしまうような場合もありうるが、境界付近のデータを機械学習モデルの出力を利用するのか、あるいは設定画像生成部の出力を利用するのかの閾値を超解像データの利用目的に応じて最適に設定することで高品質なデータを得ることができる。

【0074】

なお、上記実施形態は画像を超解像処理する例を挙げて説明したが、これに限るものではなく、機械学習モデルにデータを入力し、推論した際にその推論結果が予測可能なデータについては機械学習モデルに入力せず、予測に基づいて結果を得ると共に、予測可能でないデータについては機械学習モデルに入力し推論結果を得、前記予測に基づく結果と推論結果とを結合することでデータ全体の推論処理を高精度かつ高速に行うものである。
したがって、例えばベルトコンベア上の製品の欠陥を機械学習を用いて判断する場合等、画像データを推論する必要のない領域（ベルトや撮像領域に含まれる固定された被写体等）について、機械学習モデルによる推論を省略することができる。
また、上述した各実施の形態において、予測可能領域判定部１１１ａに含まれる単色領域判定部１１１ｂ、高周波成分判定部１１１ｄ、複雑度判定部１１１ｅの各判定処理において、機械学習モデル１１２とは異なる機械学習モデル、好ましくは、軽い処理の機械学習モデルを利用し、画像データの判定を行うように構成しても良い。

【0075】

本発明は、上記実施の形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。また、本発明の目的を達成するために、本発明は、画像処理装置（学習装置及び推論装置）に含まれる特徴的な構成手段をステップとする画像処理方法（学習方法及び推論方法）としたり、それらの特徴的なステップを含むプログラムとして実現することもできる。そして、そのプログラムは、ＲＯＭ等に格納しておくだけでなく、ＵＳＢメモリ等の記録媒体や通信ネットワークを介して流通させることもできる。

【0076】

また、本発明は、画像処理装置又はコンピュータプログラムに向けて入力データを送信し、画像処理装置又はコンピュータプログラムからの出力データを受信して利用するコンピュータシステムとしても実現できる。このシステムは、上述の処理により学習済みの機械学習モデルから得られるデータを利用した処理システムで、種々のサービスを提供できる。本システムに用いる装置は、表示部及び通信部を備えた画像処理装置又はコンピュータと情報を送受信できる情報処理装置などであり、例えば所謂ＰＣ、スマートフォン、携帯端末、ゲーム機器などである。

【0077】

＜本実施形態の態様例の作用、効果のまとめ＞
＜第１態様＞
本態様の推論装置は、機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置であって、対象データの入力を受け付ける入力部（１１１）と、前記入力部に入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域（単色領域、高周波成分のない領域、複雑ではない領域）を有しているか否かを判定する予測可能領域判定部（１１１ａ）と、前記入力部からデータが入力される機械学習モデル（１１２）と、前記機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行部（１０２）と、前記予測可能領域とされたデータ領域に所定のデータ処理（拡大処理、または、実施の形態２の第二機械学習モデルによる推論処理）を行う予測データ生成部（設定画像生成部１１３ａ）と、を備え、前記推論処理実行部は、予測可能領域ではない領域を推論するのに必要なデータ（実施の形態１から形態３の画像データにおける予測可能領域外のデータ、実施の形態４の全画像データ）を前記機械学習モデルに出力し、前記推論処理より前記データ処理の平均時間が短いことを特徴とするものである（実施の形態１から形態４参照）。本態様によれば、演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題が抑制できる。

【0078】

＜第２態様＞
本態様の推論装置は、前記機械学習モデルにおいて処理された対象データと、前記予測データ生成部において生成されたデータを結合するデータ結合部（１１３ｂ）と、前記データ結合部において結合されたデータを出力する出力部（１１３）と、を備える。本態様では、対象データが示す画像の全体が表示できるデータが得られる。

【0079】

＜第３態様＞
本態様の推論装置は、前記予測可能領域判定部は、対象データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する。本態様では、例えば単色領域を予測可能領域として判定可能になる。

【0080】

＜第４態様＞
本態様の推論装置は、前記予測可能領域判定部は、対象データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部（１１１ｄ）を有する。本態様では、高周波成分のない領域を予測可能領域として判定可能になる。

【0081】

＜第５態様＞
本態様の推論装置は、前記入力部に入力された対象データを領域分割するブロック分割部（１１１ｃ）を備え、前記予測可能領域判定部は、前記ブロック分割部で分割されたブロック単位で予測可能領域の判定を行う。本態様でも、第１態様と同様な効果が奏せられる。

【0082】

＜第６態様＞
本態様の推論装置は、前記推論処理実行部は、予測可能領域の全て又は少なくとも一部の領域をスキップさせたデータを前記機械学習モデルに出力する（実施の形態１から形態３）。本態様によれば、機械学習モデルに全画像データが一律に出力される構成と比較して、演算量が抑制できるという効果は格別に顕著である。

【0083】

＜第７態様＞
本態様の推論装置は、前記予測可能領域判定部は、予測可能領域の判定に所定範囲の誤差を有する領域を含ませる、ことを特徴とする。なお、本態様において、例えば二乗平均誤差を用いてこの値が一定値以下の範囲を誤差の範囲としたり、ハイパスフィルタ通過後の係数が一定値以下の範囲を誤差の範囲とすることができる。

【0084】

＜第８態様＞
本態様の推論装置は、前記対象データは画像データである。本態様によれば、画像データを対象データとした推論処理において、演算量が増加したり、学習の処理効率が落ちたり、推論結果が高精度にならないなどの問題が抑制できる。

【0085】

＜第９態様＞
本態様の学習装置は、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、学習用データの入力を受け付ける入力部（１１１）と、前記入力部に入力された学習用データが前記設定値を学習する必要性が低い予測可能領域（単色領域、高周波成分のない領域、複雑ではない領域）を有しているか否かを判定する予測可能領域判定部（１１１ａ）と、前記入力部からデータが入力される機械学習モデル（１１２）と、学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部（１０１）と、前記設定値を記憶する学習結果記憶部（記憶部１２）と、を備え、前記学習処理実行部は、予測可能領域ではない領域を推論するのに必要なデータ（実施の形態１から形態３の画像データにおける予測可能領域外のデータ、実施の形態４の全画像データ）を前記機械学習モデルに出力し、前記予測可能領域を推論するのに必要なデータの少なくとも一部を前記機械学習モデルに出力しないことを特徴とする。本態様によれば、機械学習モデルに全画像データが一律に出力される構成と比較して、演算量が抑制できるという利点がある。

【0086】

＜第１０態様＞
本態様の学習装置は、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置であって、学習用データの入力を受け付ける入力部（１１１）と、前記入力部に入力された学習用データが前記設定値を学習する必要性が低い予測可能領域（単色領域、高周波成分のない領域、複雑ではない領域）を有しているか否かを判定する予測可能領域判定部（１１１ａ）と、前記入力部からデータが入力される機械学習モデル（１１２）と、学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部（１０１）と、前記設定値を記憶する学習結果記憶部（記憶部１２）と、前記予測可能領域とされたデータ領域に所定のデータ処理を行うデータ処理部（実施の形態２の設定画像生成部１１３ａ）と、を備え、前記学習処理実行部は、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力することを特徴とする。例えば、所定のデータ処理として、予測可能領域の拡大処理、または、実施の形態３に記載の第二機械学習モデルによる時間のかからない軽い処理が採用できる。以上の構成によれば、機械学習モデル（実施の形態３では第二機械学習モデル）に全画像データが一律に出力される構成と比較して、演算量が抑制できるという利点がある。

【0087】

＜第１１態様＞
本態様の学習装置は、前記予測可能領域判定部は、学習用データにおける連続した同じサンプル値の領域の少なくとも一部の領域を予測可能領域と判定する。本態様では、単色領域を予測可能領域として判定可能になる。

【0088】

＜第１２態様＞
本態様の学習装置は、前記予測可能領域判定部は、学習用データにおける高周波成分に基づいて、高周波成分のない領域を予測可能領域と判定する高周波成分判定部を有する。本態様では、高周波成分のない領域を予測可能領域として判定可能になる。なお、前記学習処理実行部は、さらに、予測可能領域を含む学習用データを前記機械学習モデルに出力する構成としてもよい。当該構成によれば、予測可能領域を含む学習用データにより機械学習モデルを学習できる。

【0089】

＜第１３態様＞
本態様の学習装置は、前記学習用データは画像データである。本態様によれば、画像データを対象データとした学習処理において、演算量が増加したり、学習の処理効率が落ちるなどの問題が抑制できる。

【0090】

＜第１４態様＞
本態様のコンピュータプログラムは、コンピュータを上記記載の学習装置又は推論装置として動作させることを特徴とする。本態様によれば、上記記載の学習装置又は推論装置と同様な効果が奏せられる。

【0091】

＜第１５態様＞
本態様のコンピュータシステムは、上記に記載の学習装置もしくは推論装置又は上記記載のコンピュータプログラムに向けて前記入力データを送信し、前記出力データを受信して利用することを特徴とする。本態様によれば、上記記載の学習装置又は推論装置と同様な効果が奏せられる。

【0092】

＜第１６態様＞
本態様の推論方法は、機械学習モデルを用いて一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現したデータに対して所定の推論処理を実行する推論装置又はコンピュータプログラムを機能させるための推論方法であって、対象データの入力を受け付ける入力ステップ（図３のＳ３０１、図４のＳ４０１、図９のＳ９０１、図１１のＳ１１０１、図１３のＳ１３０１）と、前記入力ステップにおいて入力された対象データが推論処理の推論結果を容易に予測できる予測可能領域を有しているか否かを判定する予測可能領域判定ステップ（図３のＳ３０２、図４のＳ４０３、図９のＳ９０２、図１１のＳ１１０３、図１３のＳ１３０３）と、データが入力される機械学習モデルを用いて、前記対象データに対して所定の推論処理を実行する推論処理実行ステップ（図３のＳ３０４、図４のＳ４０８、図９のＳ９０４、図１１のＳ１１０５、図１３のＳ１３０８）と、前記予測可能領域とされたデータ領域に所定のデータ処理を行う予測データ生成ステップ（図４のＳ４０５、図１１のＳ１１０８、図１３のＳ１３０５）と、を含み、前記推論処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し、前記推論処理より前記データ処理の平均時間が短い、ことを特徴とする。本態様によれば、第１態様と同様な効果が奏せられる。

【0093】

＜第１７態様＞
本態様の学習方法は、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置又はコンピュータプログラムを機能させるための学習方法であって、学習用データの入力を受け付ける入力ステップ（図５のＳ５０１、図６のＳ６０１）と、前記入力ステップにおいて入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定ステップ（図５のＳ５０２、図６のＳ６０３）と、学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップ（図５のＳ５０２、図６のＳ６０３）と、前記設定値を記憶する学習結果記憶ステップ（図５のＳ５０２、図６のＳ６０３）と、を含み、前記学習処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力し（図５のＳ５０３、図６のＳ６０５）、前記予測可能領域を推論するのに必要なデータの少なくとも一部を前記機械学習モデルに出力しないことを特徴とする。本態様によれば、第９態様と同様な効果が奏せられる。

【0094】

＜第１８態様＞
本態様の学習方法は、一次元又は二次元以上の空間に対する値を前記空間のサンプル点における離散値として表現した学習用データに基づいて機械学習モデルにおける設定値を学習する学習装置又はコンピュータプログラムを機能させるための学習方法であって、学習用データの入力を受け付ける入力ステップと、前記入力ステップにおいて入力された学習用データが前記設定値を学習する必要性が低い予測可能領域を有しているか否かを判定する予測可能領域判定ステップと、学習対象の機械学習モデルを用いて、学習用データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップ（実施の形態３において、第一機械学習モデル１１２へ学習用データを入力するステップ）と、前記設定値を記憶する学習結果記憶ステップと、前記予測可能領域とされたデータ領域に所定のデータ処理を行うデータ処理ステップ（実施の形態３において、設定画像生成部１１３ａへ学習用データの予測可能領域を入力するステップ）と、を含み、前記学習処理実行ステップにおいては、予測可能領域ではない領域を推論するのに必要なデータを前記機械学習モデルに出力する、ことを特徴とする。本態様によれば、第１０態様と同様な効果が奏せられる。

【符号の説明】

【0095】

１画像処理装置（学習装置及び推論装置）
１２記憶部（学習結果記憶部）
１０１学習処理実行部
１０２推論処理実行部
１１１入力部
１１１ａ予測可能領域判定部
１１１ｂ単色領域判定部
１１１ｃブロック分割部
１１１ｄ高周波成分判定部
１１１ｅ複雑度判定部
１１２機械学習モデル（第一機械学習モデル）
１１３出力部
１１３ａ設定画像生成部（予測データ生成部）
１１３ｂ画像結合部（データ結合部）
１１３ｃ超解像処理（最近傍補間・バイリニア補間等）（第二機械学習モデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】