特開 2024-15497 学習装置及び推論装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024015497

(43)【公開日】2024-02-02

(54)【発明の名称】学習装置及び推論装置

(51)【国際特許分類】

   G06T 5/60 20240101AFI20240126BHJP

   G06T 7/00 20170101ALI20240126BHJP

   G06T 1/00 20060101ALI20240126BHJP

【ＦＩ】

G06T5/60

G06T7/00 350B

G06T1/00 510

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023204343

(22)【出願日】2023-12-04

(62)【分割の表示】P 2022086318の分割

【原出願日】2022-05-26

(71)【出願人】

【識別番号】398034168

【氏名又は名称】株式会社アクセル

(74)【代理人】

【識別番号】100167818

【弁理士】

【氏名又は名称】蓑和田 登

(72)【発明者】

【氏名】奥野 修二

(57)【要約】

【課題】機械学習による画像データ処理において、人の視覚特性に基づいた成分を用いることで、演算量を抑え、効率よく視覚上より良い画像データを生成するための学習装置を提供する。
【解決手段】学習装置は、学習用画像データの入力を受け付ける入力部１１０と、学習用画像データが入力される機械学習モデル１１１と、機械学習モデル１１１における設定値を学習する処理を実行するための学習処理実行部１０１と、設定値を記憶する学習結果記憶部と、を備え、機械学習モデルは少なくとも第一区画及び第二区画を有し、第一区画では明るさ成分の学習を行い、第二区画では色味成分の学習を行う。第一区画で人の視覚において敏感な明るさ成分を重点的に学習、推論し、明るさ成分のヒントデータを第二区画で利用するので、機械学習による画像処理において、効率よく視覚上より良い画像データを生成するための学習を実行できる。
【選択図】図２

【特許請求の範囲】

【請求項1】

所定の学習用画像データを入力し、機械学習モデルで推論処理して出力用の画像データを生成するために利用する機械学習モデルの設定値を学習する学習装置であって、
学習用画像データの入力を受け付ける入力部と、
前記入力部から学習用画像データが入力される機械学習モデルと、
学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、
前記設定値を記憶する学習結果記憶部と、を備え、
前記機械学習モデルは、少なくとも第一区画及び第二区画を有し、
前記学習処理実行部は、前記入力部から明るさ成分のみの加工前画像データまたは明るさ成分及び色味成分からなる加工前画像データが前記機械学習モデルに入力した際に前記第一区画で推論処理を行い、該第一区画から出力される明るさ成分の推論画像データと明るさ成分の教師データである加工後画像データとを対比すると共に、
前記学習処理実行部は、前記入力部からの色味成分のみの加工前画像データおよび前記第一区画からの出力である明るさ成分の推論画像データを前記機械学習モデルの前記第二区画に入力し、該入力したデータを用いて推論処理を行い、該第二区画から出力される色味成分の推論画像データと色味成分の教師データである加工後画像データとを対比、または、前記第二区画から出力される明るさ成分及び色味成分の推論画像データと明るさ成分及び色味成分の教師データである加工後画像データとを対比し、
前記各対比により機械学習モデルのパラメータ設定値を学習した ことを特徴とする学習装置。

【請求項2】

前記学習処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力し、機械学習モデルのパラメータ設定値を学習した ことを特徴とする請求項１記載の学習装置。

【請求項3】

前記学習処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力し、該第二区画は前記第一区画から出力されたデータのみで推論処理を行い、機械学習モデルのパラメータ設定値を学習した ことを特徴とする請求項１記載の学習装置。

【請求項4】

機械学習モデルを用いて対象画像データに対して所定の推論処理を実行し、出力用の画像データを生成するための推論装置であって、
対象画像データの入力を受け付ける入力部と、
前記入力部から対象画像データが入力される機械学習モデルと、
推論処理を実行する機械学習モデルを用いて、対象画像データに対して所定の推論処理を実行する推論処理実行部と、を備え、
前記機械学習モデルは、少なくとも第一区画と第二区画とを有し、
前記推論処理実行部は、前記入力部から明るさ成分のみの対象画像データまたは明るさ成分及び色味成分からなる対象画像データが入力した際に前記第一区画で推論処理を行い、明るさ成分の推論画像データを前記第一区画から前記第二区画に出力すると共に、
前記推論処理実行部は、前記入力部からの色味成分のみの対象画像データおよび前記第一区画から出力された明るさ成分の推論画像データを用いて前記第二区画で推論処理を行い、色味成分の推論画像データまたは明るさ成分及び色味成分の推論画像データを第二区画から出力したことを特徴とする推論装置。

【請求項5】

前記推論処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力すると共に、該第二区画は前記第一区画から出力されたデータで推論処理を行う ことを特徴とする請求項４記載の推論装置。

【請求項6】

前記推論処理実行部は、前記第二区画から明るさ成分及び色味成分を含む推論画像データを出力したことを特徴とする請求項５記載の推論装置。

【請求項7】

前記第一区画から出力される明るさ成分の推論画像データと、前記第二区画から出力される色味成分の推論画像データを結合する画像結合部を備えることを特徴とする、請求項４記載の推論装置。

【請求項8】

コンピュータを請求項１～７の何れか１項に記載の学習装置又は推論装置として動作させる、ことを特徴とするコンピュータプログラム。

【請求項9】

所定の学習用画像データに基づいて出力用の画像データを生成するために利用する機械学習モデルにおける設定値を学習する学習方法であって、
学習用画像データの入力を受け付ける入力ステップと、
前記入力ステップから学習用画像データが入力される機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、
前記設定値を記憶する学習結果記憶ステップと、を含み、
前記機械学習モデルは、少なくとも第一区画と第二区画と、を備え、
前記学習処理実行ステップにおいては、入力した学習用画像データの明るさ成分のみについて前記第一区画で学習処理し、前記第二区画では前記第一区画で処理された明るさ成分の推論画像データおよび入力した学習用画像データの色味成分を入力して学習を処理したことを特徴とする学習方法。

【請求項10】

機械学習モデルを用いて対象画像データに対して所定の推論処理を実行し、出力用の画像データを生成するための推論方法であって、
対象画像データの入力を受け付ける入力ステップと、
前記入力ステップから対象画像データが入力され、推論処理を実行する機械学習モデルを用いて、対象画像データに対して所定の推論処理を実行する推論処理実行ステップと、を含み、
前記機械学習モデルは、少なくとも第一区画と第二区画と、を備え、
前記推論処理実行ステップにおいては、入力した対象画像データの明るさ成分のみについて前記第一区画で推論処理し、前記第二区画では前記第一区画で処理された明るさ成分の推論画像データおよび入力した対象画像データの色味成分を入力して出力用の画像データを推論処理したことを特徴とする推論方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理用の機械学習モデルを用いた学習装置及び推論装置に関する。

【背景技術】

【0002】

従来より、機械学習によるデータ処理方法で、コンピュータプログラムに対して、教師データとなるデータセットを与えて、プログラムのパラメータを学習することで、任意のデータに対してデータ処理を行うことができる学習済みモデルを生成する方法が知られている。

【0003】

例えば、機械学習を用いた「入力画像（教師データ）→学習用プログラム→出力画像（教師データ）」という処理において、入力画像と出力画像の誤差が一番小さくなるように学習用プログラムのパラメータを計算して「学習済みモデル」を生成する。そして、この「学習済モデル」を用いることで、「入力画像（任意のデータ：例えば低解像度画像）→学習済みモデル→出力画像（推論データ：例えば高解像度画像）」という、入力画像から出力画像を推論することで出力画像を生成することができる。

【0004】

近年、機械学習のうちニューラルネットワークを用いた機械学習が多くの分野に適用されている。特に画像認識、音声認識の分野にて、ニューラルネットワークを多層構造で使用したディープラーニング（Deep Learning；深層学習） が高い認識精度を発揮している。多層化したディープラーニングでも、入力の特徴を抽出する畳み込み層及びプーリング層を複数回使用した畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いた画像処理が行なわれている。

【0005】

そして、ニューラルネットワークを用いた画像処理としては、信号を高解像度化させる超解像装置（例えば、特許文献１参照）や疾患領域の違いを把握することを容易にして精度の高い診断支援を行う診断支援装置（例えば、特許文献２参照）などがある。また、露光補正やノイズを加えたデータセットを用い、例えば暗い画像を明るくする場合に用いることができるAGGLLNetと呼ばれる機械学習モデル（例えば、非特許文献１参照）がある。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開2020-27557号公報

【特許文献2】特開2018-38789号公報

【非特許文献】

【0007】

【非特許文献1】“AGLLNet：暗い画像を明るくする機械学習モデル、Kazuki Kyakuno”[令和４年５月１８日検索]、＜ＵＲＬ：https://medium.com/axinc/agllnet-%E6%9A%97%E3%81%84%E7%94%BB%E5%83%8F%E3%82%92%E6%98%8E%E3%82%8B%E3%81%8F%E3%81%99%E3%82%8B%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%83%A2%E3%83%87%E3%83%AB-d59181ad89a9＞

【発明の概要】

【発明が解決しようとする課題】

【0008】

ニューラルネットワークを用いる画像データ処理においては、機械学習モデルに対象となる画像データが入力される。例えば、機械学習モデルに使用される画像データは、座標ごとに区画されたピクセル(画素)の集まりとして表現され、各ピクセルにはピクセル値（例えば色情報RGBの３つの値）が付与される。機械学習モデルでは、対象となる画像データの有する全てのピクセル値が入力ニューロンに入力されて機械学習が実行されている。

【0009】

通常、機械学習用の学習／推論用データとしてRGBやYCbCr色空間を用いて表現された画像データを使用する際には、図１２に示すように機械学習モデルの入力及び出力側に同数のチャンネルを設定して機械学習を実行する。具体的には、RGBの画像データはＲチャンネル、Ｇチャンネル、Ｂチャンネル、YCbCrの画像データではYチャンネル、Cbチャンネル、Crチャンネルの３入力及び３出力が設定される。

【0010】

しかしながら、人の視覚は色の変化よりも明るさの変化に非常に敏感であり、色味成分を減らしても人は特に不自然だと感じにくいという視覚特性を有する。従って、このような人の視覚特性を無視して、上述のように複数チャンネルで構成される画像データを全て機械学習モデルに一律に入力／出力することで、学習の処理効率が落ち、演算量が増加していると考えられる。

【0011】

さらに、上記特許文献に示される画像処理方法においても、画像データに対する上述のような人の視覚特性を配慮した演算処理は開示されていない。またさらに、上記非特許文献に示される機械学習モデルも明るさ成分と色味成分の視覚特性の違いを反映したものでは無い。

【0012】

本発明は、上記課題に鑑みてなされたものであり、機械学習による画像データ処理において、人の視覚特性に基づいた成分を用いることで、演算量を抑え、効率よく視覚上より良い画像データを生成できる学習装置及び推論装置を提供することを目的とする。

【課題を解決するための手段】

【0013】

上記目的を達成するために本発明は、所定の学習用画像データを入力し、機械学習モデルで推論処理して出力用の画像データを生成するために利用する機械学習モデルの設定値を学習する学習装置であって、学習用画像データの入力を受け付ける入力部と、前記入力部から学習用画像データが入力される機械学習モデルと、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、前記設定値を記憶する学習結果記憶部と、を備え、前記機械学習モデルは、少なくとも第一区画及び第二区画を有し、前記学習処理実行部は、前記入力部から明るさ成分のみの加工前画像データまたは明るさ成分及び色味成分からなる加工前画像データが前記機械学習モデルに入力した際に前記第一区画で推論処理を行い、該第一区画から出力される明るさ成分の推論画像データと明るさ成分の教師データである加工後画像データとを対比すると共に、前記学習処理実行部は、前記入力部からの色味成分のみの加工前画像データおよび前記第一区画からの出力である明るさ成分の推論画像データを前記機械学習モデルの前記第二区画に入力し、該入力したデータを用いて推論処理を行い、該第二区画から出力される色味成分の推論画像データと色味成分の教師データである加工後画像データとを対比、または、前記第二区画から出力される明るさ成分及び色味成分の推論画像データと明るさ成分及び色味成分の教師データである加工後画像データとを対比し、前記各対比により機械学習モデルのパラメータ設定値を学習したことを特徴とするものである。

【0014】

この学習装置において、前記学習処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力し、機械学習モデルのパラメータ設定値を学習したことが好ましい。

【0015】

この学習装置において、前記学習処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力し、該第二区画は前記第一区画から出力されたデータのみで推論処理を行い、機械学習モデルのパラメータ設定値を学習したことが好ましい。

【0016】

また、上記目的を達成するために本発明は、機械学習モデルを用いて対象画像データに対して所定の推論処理を実行し、出力用の画像データを生成するための推論装置であって、対象画像データの入力を受け付ける入力部と、前記入力部から対象画像データが入力される機械学習モデルと、推論処理を実行する機械学習モデルを用いて、対象画像データに対して所定の推論処理を実行する推論処理実行部と、を備え、前記機械学習モデルは、少なくとも第一区画と第二区画とを有し、前記推論処理実行部は、前記入力部から明るさ成分のみの対象画像データまたは明るさ成分及び色味成分からなる対象画像データが入力した際に前記第一区画で推論処理を行い、明るさ成分の推論画像データを前記第一区画から前記第二区画に出力すると共に、前記推論処理実行部は、前記入力部からの色味成分のみの対象画像データおよび前記第一区画から出力された明るさ成分の推論画像データを用いて前記第二区画で推論処理を行い、色味成分の推論画像データまたは明るさ成分及び色味成分の推論画像データを第二区画から出力したことを特徴とするものである。

【0017】

この推論装置において、前記推論処理実行部は、明るさ成分以外の成分を含む推論画像データを前記第一区画から第二区画に出力すると共に、該第二区画は前記第一区画から出力されたデータで推論処理を行うことが好ましい。

【0018】

この推論装置において、前記推論処理実行部は、前記第二区画から明るさ成分及び色味成分を含む推論画像データを出力したことが好ましい。

【0019】

この推論装置において、前記第一区画から出力される明るさ成分の推論画像データと、前記第二区画から出力される色味成分の推論画像データを結合する画像結合部を備えることを特徴とすることが好ましい。

【0020】

また、本発明は、コンピュータを上記記載の学習装置又は推論装置として動作させることを特徴とするコンピュータプログラムである。

【0021】

また、本発明は、所定の学習用画像データに基づいて出力用の画像データを生成するために利用する機械学習モデルにおける設定値を学習する学習方法であって、学習用画像データの入力を受け付ける入力ステップと、前記入力ステップから学習用画像データが入力される機械学習モデルを用いて、学習用画像データに基づいて、前記学習対象の機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行ステップと、前記設定値を記憶する学習結果記憶ステップと、を含み、前記機械学習モデルは、少なくとも第一区画と第二区画と、を備え、前記学習処理実行ステップにおいては、入力した学習用画像データの明るさ成分のみについて前記第一区画で学習処理し、前記第二区画では前記第一区画で処理された明るさ成分の推論画像データおよび入力した学習用画像データの色味成分を入力して学習を処理したことを特徴とする。

【0022】

また、本発明は、機械学習モデルを用いて対象画像データに対して所定の推論処理を実行し、出力用の画像データを生成するための推論方法であって、対象画像データの入力を受け付ける入力ステップと、前記入力ステップから対象画像データが入力され、推論処理を実行する機械学習モデルを用いて、対象画像データに対して所定の推論処理を実行する推論処理実行ステップと、を含み、前記機械学習モデルは、少なくとも第一区画と第二区画と、を備え、前記推論処理実行ステップにおいては、入力した対象画像データの明るさ成分のみについて前記第一区画で推論処理し、前記第二区画では前記第一区画で処理された明るさ成分の推論画像データおよび入力した対象画像データの色味成分を入力して出力用の画像データを推論処理したことを特徴とする。

【発明の効果】

【0023】

本発明に係る学習装置は、学習用画像データの入力を受け付ける入力部と、学習用画像データが入力される機械学習モデルと、機械学習モデルにおける設定値を学習する処理を実行するための学習処理実行部と、設定値を記憶する学習結果記憶部と、を備え、前記機械学習モデルは、少なくとも第一区画及び第二区画を有し、第一区画では明るさ成分の学習、推論を行い、第二区画では色味成分の学習、推論を行う。この構成により、本願発明に係る学習装置では、画像データは基本的に明るさ成分に多くの情報を含むという特性を利用し、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させても視覚上良い画像データを生成できる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。

【図2】同上画像処理装置の機能ブロック図である。

【図3】同上画像処理装置に備わる機械学習モデルにおける学習／推論処理のイメージ図である。

【図4】同上画像処理装置の学習動作時の動作手順を示すフローチャートである。

【図5】同上画像処理装置の推論動作時の動作手順を示すフローチャートである。

【図6】本発明の実施の形態２に係る画像処理装置に備わる機械学習モデルにおける学習／推論処理のイメージ図である。

【図7】本発明の実施の形態３に係る画像処理装置に備わる機械学習モデルにおける推論処理のバリエーションを示すイメージ図である。

【図8】本発明の実施の形態４に係る画像処理装置に備わる機械学習モデルにおける推論処理の他のバリエーションを示すイメージ図である。

【図9】本発明の実施の形態５に係る画像処理装置に備わる機械学習モデルにおける学習／推論処理のイメージ図である。

【図10】本発明の実施の形態６に係る画像処理装置に備わる機械学習モデルにおける推論処理のバリエーションを示すイメージ図である。

【図11】本発明の実施の形態７に係る画像処理装置に備わる機械学習モデルにおける学習／推論処理のイメージ図である。

【図12】従来の機械学習用の学習／推論用データのイメージ図である。

【発明を実施するための形態】

【0025】

（実施の形態１）
本発明の実施の形態１に係る画像処理装置について図１乃至図５を参照して説明する。本実施の形態１において、画像処理装置は、所定の学習用画像データに基づいて機械学習モデルにおける設定値を学習する学習装置、または機械学習モデルを用いて対象画像データに対して所定の推論処理を実行する推論装置の少なくとも一方としての機能を発揮する。

【0026】

最初に、画像処理装置１に備わる各処理部に関して図１を参照しながら説明する。画像処理装置１は、図１に示すように、制御部１０、画像処理部１１、記憶部１２、通信部１３、表示部１４、操作部１５及び読取部１６を備える。なお、画像処理装置１及び画像処理装置１における動作について以下では、１台のサーバコンピュータとして説明するが、複数のコンピュータによって処理を分散するようにして構成されてもよい。

【0027】

制御部１０は、ＣＰＵなどのプロセッサやメモリを用いて、装置の構成部を制御して各種機能を実現する。画像処理部１１は、ＧＰＵ又は専用回路等のプロセッサ及びメモリを用い、制御部１０からの制御指示に応じて画像処理を実行する。なお、制御部１０及び画像処理部１１は、ＣＰＵ，ＧＰＵ等のプロセッサ、メモリ、さらには記憶部１２及び通信部１３を集積した１つのハードウェア（ＳｏＣ：System on a Chip）として構成されていてもよい。

【0028】

記憶部１２は、ハードディスクやフラッシュメモリを用いる。記憶部１２には、画像処理プログラム１Ｐ、機械学習モデル（例えばＣＮＮ）としての機能を発揮させる機械学習ライブラリ１Ｌが記憶されている。また、記憶部１２には、機械学習モデルを定義する定義データ、学習済み機械学習モデルにおける設定値等を含むパラメータなどが記憶される。

【0029】

通信部１３は、インターネット等の通信網への通信接続を実現する通信モジュールである。通信部１３は、ネットワークカード、無線通信デバイス又はキャリア通信用モジュールを用いる。

【0030】

表示部１４は、液晶パネル又は有機ＥＬ（Electro Luminescence）ディプレイ等を用いる。表示部１４は、制御部１０の指示による画像処理部１１での処理によって画像を表示することが可能である。

【0031】

操作部１５は、キーボード又はマウス等のユーザインタフェースを含む。筐体に設けられた物理的ボタンを用いてもよい。及び表示部１４に表示されるソフトウェアボタン等を用いてもよい。操作部１５は、ユーザによる操作情報を制御部１０へ通知する。

【0032】

読取部１６は、例えばディスクドライブを用い、光ディスク等を用いた記録媒体２に記憶してある画像処理プログラム２Ｐ、及び機械学習ライブラリ３Ｌを読み取ることが可能である。記憶部１２に記憶してある画像処理プログラム１Ｐ及び機械学習ライブラリ１Ｌは、記録媒体２から読取部１６が読み取った画像処理プログラム２Ｐ及び機械学習ライブラリ３Ｌを制御部１０が記憶部１２に複製したものであってもよい。

【0033】

次に、画像処理装置１の画像処理の機能に関して図２を参照しながら説明する。画像処理装置１の制御部１０は学習処理実行部１０１及び推論処理実行部１０２を備える。学習処理実行部１０１は、記憶部１２に記憶してある機械学習ライブラリ１Ｌ、定義データ、パラメータ情報に基づき機械学習モデル（機械学習エンジン）として機能する。すなわち、学習処理実行部１０１は、学習対象の機械学習モデルを用いて、学習用画像データに基づいて、学習対象の機械学習モデルにおける設定値（パラメータ等）を学習する処理を実行する。

【0034】

推論処理実行部１０２は、記憶部１２に記憶してある画像処理プログラム１Ｐに基づき、画像処理を行う。すなわち、推論処理実行部１０２は、機械学習モデルを用いて、入力される対象画像データに対して所定の推論処理を実行する。また、推論処理実行部１０２は、ユーザの操作部１５を用いた操作に基づき、入力データである画像データを入力部１１０に入力する画像処理実行部としての機能を発揮する。

【0035】

本実施の形態１において、画像処理部１１の入力部１１０は学習用画像データ又は推論対象となる対象画像データの入力を受け付ける。学習処理実行部１０１は、学習用画像データを入力部１１０から機械学習モデル１１１に出力する。そして、機械学習モデル１１１は、明るさ成分（Y成分）を処理する第一区画１１１ａと、色味成分(CbCr成分)を処理する第二区画１１１ｂと、を備える。この構成において、単一の機械学習モデル内で別の区画（別のノード）から、推論後の明るさ成分と推論後の色味成分をそれぞれ別々に出力できる。

【0036】

学習処理実行部１０１は、入力部１１０から入力した学習用画像データを機械学習モデル１１１の第一区画１１１ａ及び第二区画１１１ｂに出力する。また、推論処理を行う場合には、推論処理実行部１０２は、推論対象画像データを機械学習モデル１１１の第一区画１１１ａ及び第二区画１１１ｂに出力する。各画像データの種類は、例えば画像データのヘッダ部の情報や識別子を読み込むことにより判定できる。機械学習モデル１１１は、推論時の機械学習モデルがＣＮＮとなる場合には、定義データにより定義される複数段の畳み込み層及びプーリング層と、全結合層とを含んでもよく、画像データの特徴量を取り出し、取り出された特徴量に基づいて画像加工処理を行う。

【0037】

機械学習モデル１１１で処理された画像データは、出力部１１２に出力される。出力部１１２は、画像結合部１１２ａを備え、機械学習モデル１１１から出力されたデータを、画像結合部１１２ａに入力して画像結合処理を実行することができる。また、機械学習モデル１１１で処理された出力データがYCbCrやYUVの場合にRGBに変換する処理も行うことができる。なお、出力データを画像として描画して、表示部１４に出力しても良い。

【0038】

機械学習モデル１１１は、推論処理時にはそれぞれ既に学習済のパラメータに基づいて画像データの最適化処理（例えば画像の高解像度化やノイズ除去などの処理）を行う。画像結合部１１２ａは、機械学習モデル１１１で生成された画像データを重ね合わせ処理などで結合して、出力データを記憶部１２に出力できる。

【0039】

次に、第一機械学習モデル１１１における学習／推論処理の具体例に関して図３を参照しながら説明する。なお、以下の説明において、加工前画像データとは学習の際に機械学習モデル１１１に入力されるデータ、加工後画像データとは学習の際に機械学習モデル１１１の出力と対比されるデータ（教師データ）、対象画像データとは推論の際に機械学習モデル１１１に入力されるデータ、推論画像データとは学習の際或いは推論の際に機械学習モデル１１１から出力されるデータをいう。

【0040】

本実施の形態１において、機械学習モデル１１１に入力される学習用画像データは、加工前画像データ３０１（３０１ａ、３０１ｂ、３０１ｃ）及び教師データである加工後画像データ３０２（３０２ａ、３０２ｂ、３０２ｃ）から構成される。加工前画像データ３０１は、明るさ成分及び色味成分を有する画像データ３０１ａ（本図においてはY成分、及びCb，Crの色差成分を有する画像データ）、色味成分のみを有する画像データ３０１ｂ（本図においてはCb，Crの色差成分のみを有する画像データ）、及び明るさ成分のみを有する画像データ３０１ｃ（本図においてはY成分のみを有する画像データ）の少なくとも１つから成る。加工後画像データ３０２は、機械学習モデル１１１に加工前画像データを入力して推論された推論画像データと対比する教師データであり、推論画像データが教師データに近づくよう機械学習モデル１１１の各種パラメータが調整される。例えば、機械学習モデル１１１を低解像度の画像データから高解像度の画像データを生成するために利用する場合には、加工前画像データは低解像度の画像データ、推論画像データは機械学習モデル１１１により推論された高解像度の画像データ、加工後画像データは教師データである高解像度の画像データとなる。したがって、加工後画像データは機械学習モデル１１１で推論されるデータと同じく、明るさ成分のみを有する画像データ３０２ａ、色味成分のみを有する画像データ３０２ｂ、及び明るさ成分及び色味成分を有する画像データ３０２ｃから成る。

【0041】

なお、本実施の形態１の説明における明るさ成分とは画像データの輝度や明度、濃度などに関する成分であって、典型的にはYCbCrにおける輝度成分Yであり、YCbCrのY以外に、Lab色空間のL、HSV色空間のV、HLS色空間のLなどがある。YCbCrの代わりに、YUVやYPbPrを用いても良い。また、色味成分とは、典型的にはYCbCrにおける色差成分やHSVにおける色相、彩度である。その他、RGB画像等は明るさ成分及び色味成分が混合しているが、学習及び推論用画像データとして用いる場合は、一旦YCbCr等に変換してからその全部もしくは一部の成分を用いてもよい。この場合、当然にRGB画像からYCbCrやYUV等に色変換するための機能や処理部が画像処理装置１に備わっているものとする。

【0042】

機械学習モデル１１１の学習時には、学習処理実行部１０１は、図３に示すように、加工前画像データ３０１及び加工後画像データ３０２に基づいて、機械学習モデル１１１における設定値を学習する処理を実行する。この機械学習モデル１１１においては、明るさ成分及び色味成分を有する加工前画像データ３０１ａ（Yチャンネル、Cbチャンネル、Crチャンネルの３チャンネル入力）と、色味成分のみを有する加工前画像データ３０１ｂ（Cbチャンネル、Crチャンネルの２チャンネル入力）と、明るさ成分のみを有する加工前画像データ３０１ｃ（Yチャンネルの１チャンネル入力）が設定されている。なお、加工前画像データ３０１ａのうち、色味成分（CbCr）は機械学習モデル１１１の第一区画１１１ａに入力すると共に、色味成分（CbCr）のみスキップコネクトを用いて直接第二区画に入力するよう構成しても良い。

【0043】

一方、機械学習モデル１１１の出力は、明るさ成分及び色味成分を有する推論画像データ３０４ｃ（Yチャンネル、Cbチャンネル、Crチャンネルの３チャンネル出力）、色味成分のみを有する推論画像データ３０４ｂ（Cbチャンネル、Crチャンネルの２チャンネル出力）、及び明るさチャンネルのみを有する推論画像データ３０４ａ（Yチャンネルの１チャンネル出力）が設定されている。

【0044】

このように、機械学習モデル１１１においては、明るさ成分及び色味成分、色味成分のみ、又は明るさ成分のみを有する画像データが入力される少なくとも１チャンネル以上の入力と、明るさ成分及び色味成分、色味成分のみ、明るさチャンネルのみを有する画像データが出力される少なくとも１チャンネル以上の出力とが設定される。そして、機械学習モデル１１１の学習時には、学習処理実行部１０１は、機械学習モデル１１１に加工前画像データ３０１ｃまたは加工前画像データ３０１ａを入力し、第一区画１１１ａからの出力である推論画像データ３０４ａと教師データである加工後画像データ３０２ａとの比較結果や、第二区画１１１ｂの出力である推論画像データ３０４ｂまたは３０４ｃと教師データである加工後画像データ３０２ｂまたは３０２ｃとの比較結果に基づいて、機械学習モデル１１１における設定値を学習する処理を実行する。

【0045】

このように、一の機械学習モデル１１１内に２つの区画１１１ａ，１１１ｂを設け、第一区画１１１ａでは専ら明るさ成分（Ｙ成分）を学習し、第二区画１１１ｂでは専ら色味成分（CbCr）を学習することで、色味成分の変化より明るさの変化に敏感な人の視覚特性を反映した学習を行うことができる。

【0046】

一方、機械学習モデル１１１の推論時においては、機械学習モデル１１１に対象画像データ３０３ａ（YCbCr）、または３０３ｂ（CbCr）、または３０３ｃ（Y）を入力し、第一区画１１１ａから推論画像データ３０４ａ（Y）を得たり、第二区画１１１ｂの出力として推論画像データ３０４ｂ（CbCr）または３０４ｃ（YCbCr）を得たりすることができる。この対象画像データ３０３は、YCbCrを用いて表現される画像データ、色味成分(CbCr)のみを用いて表現される画像データ、又は明るさ成分(Y)のみを用いて表現される画像データ以外にRGBを用いて表現される画像データをYCbCrに変換したものであっても良い。

【0047】

次に、本実施の形態１に係る画像処理装置１が学習装置として動作する際の動作手順に関して図４を参照しながら説明する。最初に、入力部１１０において画像データの入力がある場合（Ｓ４０１でＹｅｓ）、入力部１１０は、学習用画像データを機械学習モデル１１１に出力する（Ｓ４０２）。次に、入力された学習用画像データ（加工前画像データ）は機械学習モデル１１１で処理が行われ、推論画像データ３０４ａ、３０４ｂ、３０４ｃが生成され、これら推論画像データと教師データである加工後画像データ３０２ａ、３０２ｂ、３０２ｃと対比し、機械学習モデル１１１の各種パラメータが更新（設定値の更新処理）される（Ｓ４０３）。この設定値の更新は、例えばパラメータをミニバッチ勾配降下法で更新するなど入力データと解答データとの差分を最小化する処理である。次に、更新された設定値を記憶部１２に格納する（Ｓ４０４）。

【0048】

なお、機械学習モデル１１１の第一区画１１１ａのパラメータは、推論画像データ３０４ａと加工後画像データ３０２ａの対比のみで更新を行っても良いし、あるいは推論画像データ３０４ａと加工後画像データ３０２ａの対比に加え、推論画像データ３０４ｂと加工後画像データ３０２ｂの対比や推論画像データ３０４ｃと加工後画像データ３０２ｃの対比に基づいて更新を行っても良い。また、第二区画１１１ｂのパラメータも推論画像データ３０４ｂと加工後画像データ３０２ｂの対比や推論画像データ３０４ｃと加工後画像データ３０２ｃの対比に基づいて更新しても良いし、さらに、これらの対比に加えて推論画像データ３０４ａと加工後画像データ３０２ａの対比に基づき更新を行っても良い。

【0049】

次に、本実施の形態１に係る画像処理装置１が推論装置として動作する際の動作手順に関して図５を参照しながら説明する。最初に、入力部１１０において対象画像データの入力がある場合（Ｓ５０１でＹｅｓ）、入力部１１０は、対象画像データを機械学習モデル１１１に入力する（Ｓ５０２）。次に、機械学習モデル１１１は、入力された対象画像データに対してＣＮＮなどによる推論処理を行い、推論画像データを生成する（Ｓ５０３）。そして、推論結果を記憶部１２に格納する（Ｓ５０４）。

【0050】

以上の説明のように、本実施の形態１に係る画像処理装置１では、機械学習モデル１１１の処理の前段に専ら明るさ成分を処理する第一区画１１１ａを設定し、第一区画１１１ａの処理層の、何れか層のノードから明るさ成分（Y成分）を出力させ、機械学習モデル１１１の処理の後段に専ら色味成分を処理する第二区画１１１ｂをを設定する。具体的には、学習処理実行部１０１は、加工前画像データを機械学習モデル１１１に入力して得られる推論画像データと、既知の加工後画像データとの誤差を最小にする処理を実行し、パラメータ（重み）を更新できる。この学習処理により得られるパラメータは記憶部１２に記憶される。この際、記憶部１２は学習結果記憶部として機能している。一方、推論装置として機能する場合には、記憶部１２に記憶してある定義データ及びパラメータを用いて、機械学習モデル１１１を用いて推論画像データの生成を行う。

【0051】

このため、画像処理装置１では、機械学習において、画像データは基本的に明るさ成分に多くの情報を含むという特性を利用し、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させても視覚上良い画像データを生成できる。ここで明るさ成分を重点的に学習、推論する とは、明るさ成分を学習、推論する第一区間１１１ａの処理量を第二区間１１１ｂの処理量より多く設定したり、第一区間１１１ａに明るさ成分を入力することで、先ずは明るさ成分の処理が重点的におこなわれることを意味する。

【0052】

すなわち、明るさ成分と色味成分を分けて機械学習モデル１１１に入力／出力することができ、チャンネルごとに処理量を変えて精度の差を付けたり、第一区画１１１ａで処理したチャンネルからのデータを後の第二区画１１１ｂの処理のヒントデータにすることで、演算量を抑えながら最適な推論画像データを得ることができる。このように、先に第一区画１１１ａにおいて明るさ成分を処理してヒントデータを作ることで、明るさ成分及び色味成分からなる画像データ（YCbCr）をまとめて機械学習モデルで処理した場合と比較し、明るさ成分の画像データ（Y）を先に処理してヒントデータを作った場合、同じ計算量で比較した場合に後者の方が精度が良く、結果的に、出力画像の品質を上げることが可能になる。

【0053】

（実施の形態２）
以下、本発明に係る画像処理装置１の実施の形態２に関して図６を参照して説明する。なお、以下の本実施の形態に係る画像処理装置１の構成において、上記実施の形態１に係る画像処理装置１と同様の構成には同じ符号を付して、その詳細な説明を省略する。
図６に示す画像処理装置１では機械学習モデル１１１の第一区画１１１ａから第二区画１１１ｂに引き渡されるデータとして、第一区画１１１ａで生成される推論画像データ３０４ａ以外の画像データ３０４ｄが用いられる。この画像データ３０４ｄは推論画像データ３０４ａが生成される第一区画１１１ａのノードの前後のノード（直前または直後のノードに限らない）から抽出することができる。

【0054】

そして、第一区画１１１ａの学習時は上記実施の形態１と同様に行い、第一区画１１１ａから抽出される明るさ成分のみを有する推論画像データ３０４ａと教師データである加工後画像データ３０２ａとを対比する。一方、第二区画１１１ｂの学習時は、色味成分のみを有する加工前画像データ３０１ｂと第一区画１１１ａから引き渡された画像データ３０４ｄで推論し、第二区画１１１ｂの出力である推論画像データ３０４ｂや３０４ｃと教師画像である加工後画像データ３０２ｂ、３０２ｃとを対比して、機械学習モデル１１１の各区画におけるパラメータの設定値を学習する処理を実行する。

【0055】

また、推論時は機械学習モデル１１１の第一区画１１１ａに対象画像データ３０３ａ（Y,CbCr）または３０３ｃ（Y）を入力し、第一区画１１１ａから推論画像データ３０４ａを生成し、また第二区画１１１ｂに第一区画１１１ａから引き渡される画像データ３０４ｄ（推論画像データ３０４ａ以外の画像データ）と対象画像データ３０３ｂ（CbCr）とを入力し、明るさ成分及び色味成分を有する推論画像データ３０４ｃ、又は色味成分のみを有する推論画像データ３０４ｂを生成する。そして、第二区画１１１ｂからの出力が色味成分のみを有する推論画像データ３０４ｂ（CbCr）の場合には、第一区画１１１ａから抽出した推論画像データ３０４ａ（Y）と出力部１１２の画像結合部１１２ａにてデータを結合し、YCbCrのデータを生成する。

【0056】

すなわち、上記実施の形態１においては第一区画１１１ａから第二区画１１１ｂに引き渡されるデータが明るさ成分のみを有する推論画像データ３０４ａ（Y）であるのに対し、本実施の形態２においては、第一区画１１１ａにおいて推論画像データ３０４ａが生成される層（ノード）の前方の層から分岐して得られるデータ（Y以外）や、推論画像データ３０４ａが生成される層（ノード）の出力をさらに処理して得られる画像データ３０４ｄ（Y以外）を用いている。この画像データ３０４ｄはＹ成分以外のＹ‘成分からなる１チャンネルのデータや、Ｙ成分を含む複数チャンネルのデータである。つまり、本実施の形態２においては、機械学習モデル１１１内の途中に明るさ成分のみを有する推論画像データ３０４ａの出力が設定され、第二区画１１１ｂでは推論画像データ３０４ａ以外の画像データ３０４ｄを用いて推論が行われる。

【0057】

この構成により、上記実施の形態１の作用効果に加えて、第一区画１１１ａで処理されたヒントデータとして、明るさ成分のみから成る推論画像データ３０４ａそのもの以外（例えば推論画像データ３０４ａとして出力されるより前段階の処理のデータや、推論画像データ３０４ａにさらに処理を加えたデータ）を第二区画１１１ｂに入力し、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させて視覚上良い画像データを生成できる。なお、第二区画１１１ｂに入力する加工前画像データ３０１ｂまたは対象画像データ３０３ｂは第一区画１１１ａに入力する加工前画像データ３０１ａまたは対象画像３０３ａのうち、色味成分を有するCbCrのデータをスキップコネクトで供給するように構成しても良い。

【0058】

（実施の形態３）
以下、本発明に係る画像処理装置１の実施の形態３に関して図７を参照して説明する。本実施の形態３は図３に示した実施の形態１における推論時の一形態である。すなわち、学習時には図３に示した実施の形態１と同様に第一区画１１１ａからの推論画像データ３０４ａと加工後画像データ３０２ａとを用いて学習し、推論時には明るさ成分及び色味成分からなる対象画像データ３０３ａを機械学習モデル１１１に入力し、第一区画１１１ａにおいて推論された明るさ成分のみから成る推論画像データ３０４ａ（Y）を第二区画１１１ｂに対して出力し、第二区画１１１ｂでは推論画像データ３０４ａ（Y）と対象画像データ３０３ｂ（CbCr）を用いて推論画像データ３０４ｃ（YCbCr）を推論する。すなわち、本実施の形態３では、第一区画１１１ａの推論時に生成された明るさ成分のみを有する推論画像データ３０４ａの出力の一の分岐を省略する。この結果、明るさ成分及び色味成分を有する推論画像データ３０４ｃ（YCbCr画像）を機械学習モデル１１１の推論結果として出力できる。

【0059】

また、明るさ成分のみを有する推論画像データ３０４ａを分岐出力しないことから、第二区画からの出力は明るさ成分及び色味成分を有する推論画像データ３０４ｃである必要がある。この実施の形態３においても、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させて視覚上良い画像データを生成できる。なお、第二区画１１１ｂに入力す対象画像データ３０３ｂは第一区画１１１ａに入力する対象画像３０３ａのうち、色味成分を有するCbCrのデータをスキップコネクトで供給するように構成しても良い。

【0060】

（実施の形態４）
以下、本発明に係る画像処理装置１の実施の形態４に関して図８を参照して説明する。
本実施の形態３は図３に示した実施の形態１における推論時の他の形態である。すなわち、学習時には図３に示した実施の形態１と同様に第一区画１１１ａからの推論画像データ３０４ａと加工後画像データ３０２ａとを用いて学習し、推論時には第一区画１１１ａにおいて推論された明るさ成分のみから成る推論画像データ３０４ａ（Y）を第二区画１１１ｂに対して出力し、第二区画１１１ｂでは推論画像データ３０４ａ（Y）と対象画像データ３０３ｂ（CbCr）を用いて推論画像データ３０４ｃ（YCbCr）を推論する。すなわち、本実施の形態３では、機械学習モデル１１１の第一区画１１１あには明るさ成分のみの対象画像データ３０３ｃを入力し、推論画像データ３０４ｃを得る。この際、第一区画１１１ａの推論時に生成された明るさ成分のみを有する推論画像データ３０４ａの出力の一の分岐を省略する。この結果、明るさ成分及び色味成分を有する推論画像データ３０４ｃ（YCbCr画像）を機械学習モデル１１１の推論結果として出力できる。また、明るさ成分のみを有する推論画像データ３０４ａを分岐出力しないことから、第二区画からの出力は明るさ成分及び色味成分を有する推論画像データ３０４ｃである必要がある。この実施の形態３においても、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させて視覚上良い画像データを生成できる。

【0061】

（実施の形態５）
以下、本発明に係る画像処理装置１の実施の形態５に関して図９を参照して説明する。実施の形態５は図６に示した実施の形態２において、機械学習モデル１１１の第一区画１１１ａへの入力が明るさ成分及び色味成分を有する画像データ（YCbCr）である場合の実施形態である。

【0062】

本実施の形態５において、学習処理実行部１０１は、学習時において第一区画１１１ａに明るさ成分及び色味成分を有する加工前画像データ３０１ａを入力し、第一区画１１１ａで明るさ成分の推論画像データ３０４ａを生成する。この推論画像データ３０４ａと加工後画像データ３０２ａとを対比し、機械学習モデル１１１の各区画のパラメータ設定値を設定する。また、第一区画１１１ａから第二区画１１１ｂに引き渡されるデータは推論画像データ３０４ａ以外の画像データ３０４ｄである。この画像データ３０４ｄはＹ成分を含む複数チャンネルのデータである。この画像データ３０４ｄを第二区画１１１ｂに入力し、色味成分のみを有する推論画像データ３０４ｂまたは明るさ成分及び色味成分を有する推論画像データ３０４ｃを得、これら推論画像データ３０４ｂまたは３０４ｃと加工後画像データ３０２ｂまたは３０２ｃとを対比し、機械学習モデル１１１の各区画のパラメータ設定値を設定する。

【0063】

また、この実施の形態において、推論時は機械学習モデル１１１の第一区画１１１ａに対象画像データ３０３ａ（Y,CbCr）を入力し、第一区画１１１ａから推論画像データ３０４ａを生成し、また第二区画１１１ｂに第一区画１１１ａから引き渡される画像データ３０４ｄ（推論画像データ３０４ａ以外の画像データ）を入力し、明るさ成分及び色味成分を有する推論画像データ３０４ｃ、又は色味成分のみを有する推論画像データ３０４ｂを生成する。そして、第二区画１１１ｂからの出力が色味成分のみを有する推論画像データ３０４ｂ（CbCr）の場合には、第一区画１１１ａから抽出した推論画像データ３０４ａ（Y）と出力部１１２の画像結合部１１２ａにてデータを結合し、YCbCrのデータを生成する。この実施の形態においては、第一区画１１１ａ及び第二区画１１１ｂのいずれでも明るさ成分Ｙが学習され、人の視覚において敏感な明るさ成分を重点的に学習、推論し、人の視覚に影響を及ぼしにくい色味成分の学習、推論に用いる演算量を相対的に低減させて視覚上良い画像データを生成できる。

【0064】

（実施の形態６）
以下、本発明に係る画像処理装置１の実施の形態６に関して図１０を参照して説明する。本実施の形態５は図９に示した実施の形態４の推論時の処理を示す図である。推論時において、推論処理実行部１０２は、機械学習モデル１１１への明るさ成分及び色味成分を有する対象画像データ３０３ａの入力がある場合、専ら明るさ成分について重点的に学習した第一区画１１１ａから明るさ成分を含む複数チャンネルのデータである画像データ３０４ｄを第二区画１１１ｂに引渡し、第二区画１１１ｂで更に明るさ成分及び色味成分を推論し、推論画像データ３０４ｃを得る。この実施の形態のように第一区画１１１ａで推論される明るさ成分の推論画像データ３０４ａを利用せず、明るさ成分を第一区画１１１ａ及び１１１ｂの両方の区画で推論することにより、人の視覚において敏感な明るさ成分を重点的に推論し、視覚上良い画像データを生成することができる。

【0065】

（実施の形態７）
以下、本発明に係る画像処理装置１の実施の形態７に関して図１１を参照して説明する。本実施の形態６においては、上記実施の形態１～５とは異なり、明るさ成分を処理する第一区画１１１ａを優先にするのではなく、色味成分を処理する第二区画１１１ｂを優先した機械学習モデル１１１となる。

【0066】

具体的には、この機械学習モデル１１１の学習時に学習処理実行部１０１は、機械学習モデル１１１の第二区画１１１ｂを用いて、明るさ成分及び色味成分を有する加工前画像データ３０１ａを処理し、第二区画１１１ｂから出力される色味成分からなる推論画像データ３０４ｅ（CbCr）と、色味成分の教師データである加工後画像データ３０２ｂとを対比し、機械学習モデル１１１の第二区画１１１ｂ及び第一区画１１１ａのパラメータの設定値を学習する。また、第二区画１１１ｂから第一区画１１１ａには推論画像データ３０４ｅが引き渡され、第一区画１１１ａにおいて推論画像データ３０４ｅ及び明るさ成分のみの画像データである加工前画像データ３０１ｃを処理する。第一区画１１１ａからは明るさ成分及び色味成分からなる推論画像データ３０４ｃが出力され、この推論画像データ３０４ｃと明るさ成分及び色味成分の教師データである加工後画像データ３０２ｃと対比し、機械学習モデル１１１の第二区画１１１ｂ及び第一区画１１１ａのパラメータの設定値を学習する。この実施の形態においては、第一区画１１１ａにおける明るさ成分の学習、推論に寄与する演算量を増やすことで人の視覚において敏感な明るさ成分を重点的に学習、推論する。なお、明るさ成分のみを有する加工前画像データ３０１ｃの第一区画１１１ａへの入力は加工前画像データ３０１ａから明るさ成分のみをスキップコネクトで供給するようにしても良い。

【0067】

そして、機械学習モデル１１１の推論時は、第二区画１１１ｂに対象画像データ３０３ａを入力し、第二区画１１１ｂから出力される色味成分からなる推論画像データ３０４ｅと、明るさ成分のみの対象画像データ３０３ｃを第一区画１１１ａに入力し、処理を行うことで明るさ成分及び色味成分からなる推論画像データ３０４ｃを生成する。

【0068】

このように、本実施の形態６においては、色味成分を先に第二区画１１１ｂにおいて処理してヒントデータとなる色味成分を有する推論画像データ３０４ｅを第一区画１１１ａに入力できる。この場合も明るさ成分の学習、推論が行われる第一区画１１１ａの明るさ成分の学習、推論に寄与する演算量を増やすことで人の視覚において敏感な明るさ成分を重点的に学習、推論する。

【0069】

なお、本実施の形態に係る画像処理装置１のハードウェア構成の内、通信部１３、表示部１４、操作部１５、及び読取部１６は必須ではない。通信部１３については、例えば記憶部１２に記憶される画像処理プログラム１Ｐ、及び機械学習ライブラリ１Ｌを外部サーバ装置から取得する場合に一旦使用された後は使用しない場合がある。読取部１６も同様に、画像処理プログラム１Ｐ、機械学習ライブラリ１Ｌを記憶媒体から読み出して取得した後は使用されない可能性がある。そして通信部１３及び読取部１６は、ＵＳＢ等のシリアル通信を用いた同一のデバイスであってもよい。

【0070】

画像処理装置１がＷｅｂサーバとして、上述の機械学習モデル１１１としての機能を、表示部及び通信部を備えるＷｅｂクライアント装置へ提供する構成としてもよい。この場合、通信部１３は、Ｗｅｂクライアント装置からのリクエストを受信し、処理結果を送信するために使用される。

【0071】

学習時に用いる誤差は、二乗誤差、絶対値誤差、又は交差エントロピー誤差等、入出力されるデータ、学習目的に応じて適切な関数を用いるとよい。例えば、出力が分類である場合、交差エントロピー誤差を用いる。誤差関数を用いることに拘わらずその他の基準を用いるなど柔軟な運用が適用できる。この誤差関数自体に外部の機械学習モデルを用いて評価を行なってもよい。

【0072】

なお、本発明は、上記実施の形態の構成に限られず、発明の趣旨を変更しない範囲で種々の変形が可能である。また、本発明の目的を達成するために、本発明は、画像処理装置（学習装置及び推論装置）に含まれる特徴的な構成手段をステップとする画像処理方法（学習方法及び推論方法）としたり、それらの特徴的なステップを含むプログラムとして実現することもできる。そして、そのプログラムは、ＲＯＭ等に格納しておくだけでなく、ＵＳＢメモリ等の記録媒体や通信ネットワークを介して流通させることもできる。

【0073】

また、本発明は、画像処理装置又はコンピュータプログラムに向けて入力データを送信し、画像処理装置又はコンピュータプログラムからの出力データを受信して利用するコンピュータシステムとしても実現できる。このシステムは、上述の処理により学習済みの機械学習モデルから得られるデータを利用した処理システムで、種々のサービスを提供できる。本システムに用いる装置は、表示部及び通信部を備えた画像処理装置又はコンピュータと情報を送受信できる情報処理装置などであり、例えば所謂ＰＣ、スマートフォン、携帯端末、ゲーム機器などである。

【符号の説明】

【0074】

１ 画像処理装置（学習装置及び推論装置）
１２ 記憶部（学習結果記憶部）
１０１ 学習処理実行部
１０２ 推論処理実行部
１１０ 入力部
１１１ 機械学習モデル
１１１ａ 第一区画
１１１ｂ 第二区画
１１２ 出力部
１１２ａ 画像結合部
３０１ 加工前画像データ
３０１ａ 明るさ成分及び色味成分を有する加工前画像データ
３０１ｂ 色味成分のみを有する加工前画像データ
３０１ｃ 明るさ成分のみを有する加工前画像データ
３０２ 加工後画像データ（教師データ）
３０２ａ 明るさ成分のみを有する加工後画像データ
３０２ｂ 色味成分のみを有する加工後画像データ
３０２ｃ 明るさ成分及び色味成分を有する加工後画像データ
３０３ 対象画像データ
３０３ａ 明るさ成分及び色味成分を有する対象画像データ
３０３ｂ 色味成分のみを有する対象画像データ
３０３ｃ 明るさ成分のみを有する対象画像データ
３０４ 推論画像データ
３０４ａ 明るさ成分のみを有する推論画像データ
３０４ｂ 色味成分のみを有する推論画像データ
３０４ｃ 明るさ成分及び色味成分を有する推論画像データ
３０４ｄ 第一区画で推論された明るさ成分のみを有する推論画像データ以外の推論画像データ
３０４ｅ 第二区画で推論された色味成分のみを有する推論画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】