特許 7521259 学習済みの機械学習モデル、画像処理装置、および、機械学習モデルのトレーニング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】学習済みの機械学習モデル、画像処理装置、および、機械学習モデルのトレーニング方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   G06T 5/00 20240101ALI20240717BHJP

【ＦＩ】

G06T7/00 350B

G06T5/00 700

【請求項の数】 6

(21)【出願番号】P 2020092072

(22)【出願日】2020-05-27

(65)【公開番号】P2021189582

(43)【公開日】2021-12-13

【審査請求日】2023-04-18

(73)【特許権者】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】近藤 真樹

【審査官】吉田 千裕

(56)【参考文献】

【文献】特表２０２３－５２５７０２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１１１６４６４７（ＣＮ，Ａ）

【文献】特開２００７－０２６４４４（ＪＰ，Ａ）

【文献】特開２０２０－０５８８００（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

コンピュータプログラムであって、
入力画像を示す入力画像データに対して演算処理を実行して、前記入力画像データに対応する出力画像データを生成する機能をコンピュータに実現させる学習済みの機械学習モデルであって、第１画像処理を実行することが好ましい前記入力画像内の領域である第１領域を示す第１領域データと、前記第１画像処理とは異なる第２画像処理を実行することが好ましい前記入力画像内の領域である第２領域を示す第２領域データと、を含む前記出力画像データが生成されるようにトレーニングされている、前記学習済みの機械学習モデルと、
前記第１領域データと前記第２領域データとを用いて、調整済み領域データを生成する生成機能をコンピュータに実現させる生成プログラムと、
を含み、
前記調整済み領域データは、前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる場合に、互いに重ならないように調整された調整済みの前記第１領域と調整済みの前記第２領域とを示すデータであり、
前記第１領域データは、前記第１領域に対応する複数個の画素の値のそれぞれが前記第１画像処理の第１パラメータを示す画像データであり、
前記第２領域データは、前記第２領域に対応する複数個の画素の値のそれぞれが前記第２画像処理の第２パラメータを示す画像データであり、
前記生成機能は、
前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる重複領域について、前記第１パラメータと前記第２パラメータとに基づいて、実行すべき画像処理と、用いるべきパラメータと、を決定し、
前記実行すべき画像処理と、前記用いるべきパラメータと、を示す前記調整済み領域データを生成する、コンピュータプログラム。

【請求項2】

請求項１に記載のコンピュータプログラムであって、
前記第１画像処理は、前記入力画像の特定の特徴量を増加させる処理であり、
前記第２画像処理は、前記入力画像の前記特定の特徴量を減少させる処理である、コンピュータプログラム。

【請求項3】

請求項２に記載のコンピュータプログラムであって、
前記第１画像処理は、前記入力画像のエッジ量を増加させるエッジ強調処理であり、
前記第２画像処理は、前記入力画像のエッジ量を減少させる平滑化処理である、コンピュータプログラム。

【請求項4】

請求項１～３のいずれかに記載のコンピュータプログラムであって、
前記機械学習モデルは、複数組の第１種のデータペアを用いてトレーニングされている第１の機械学習モデルと、複数組の第２種のデータペアを用いてトレーニングされている第２の機械学習モデルと、を含み、
前記複数組の第１種のデータペアのそれぞれは、第１種のオブジェクトを示す第１種の前記入力画像データと、前記第１種の入力画像データが前記第１の機械学習モデルに入力される場合に出力されるべき前記出力画像データである第１種の教師画像データと、を含み、
前記複数組の第２種のデータペアのそれぞれは、第２種のオブジェクトを示す第２種の前記入力画像データと、前記第１種の入力画像データが前記第２の機械学習モデルに入力される場合に出力されるべき前記出力画像データである第２種の教師画像データと、を含む、コンピュータプログラム。

【請求項5】

画像処理装置であって、
入力画像を示す入力画像データを学習済みの機械学習モデルに入力して前記機械学習モデルに前記入力画像データに対応する出力画像データを生成させる生成部であって、前記機械学習モデルは、第１画像処理を実行することが好ましい前記入力画像内の領域である第１領域を示す第１領域データと、前記第１画像処理とは異なる第２画像処理を実行することが好ましい前記入力画像内の領域である第２領域を示す第２領域データと、を含む前記出力画像データを生成するようにトレーニングされている、前記生成部と、
前記第１領域データと前記第２領域データとを用いて、調整済み領域データを生成する調整部であって、前記調整済み領域データは、前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる場合に、互いに重ならないように調整された調整済みの前記第１領域と調整済みの前記第２領域とを示すデータである、前記調整部と、
前記入力画像データのうち、前記調整済み領域データを用いて特定される前記第１領域を示すデータに対して前記第１画像処理を実行し、前記入力画像データのうち、前記調整済み領域データを用いて特定される前記第２領域を示すデータに対して前記第２画像処理を実行する画像処理部と、
を備え、
前記第１領域データは、前記第１領域に対応する複数個の画素の値のそれぞれが前記第１画像処理の第１パラメータを示す画像データであり、
前記第２領域データは、前記第２領域に対応する複数個の画素の値のそれぞれが前記第２画像処理の第２パラメータを示す画像データであり、
前記調整部は、
前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる重複領域について、前記第１パラメータと前記第２パラメータとに基づいて、実行すべき画像処理と、用いるべきパラメータと、を決定し、
前記実行すべき画像処理と、前記用いるべきパラメータと、を示す前記調整済み領域データを生成する、画像処理装置。

【請求項6】

請求項５に記載の画像処理装置であって、
前記第１画像処理は、前記入力画像のエッジ量を増加させるエッジ強調処理であり、
前記第２画像処理は、前記入力画像のエッジ量を減少させる平滑化処理であり、
前記画像処理部は、前記第２領域を示すデータに対して前記平滑化処理を実行した後に、前記第１領域を示すデータに対して前記エッジ強調処理を実行する、画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像処理を実行することが好ましい領域の特定に関する。

【背景技術】

【0002】

特許文献１に開示された画像処理装置は、画像内の各画素のエッジ量を検出し、エッジ量の大きさに応じてパラメータが異なる先鋭化処理を各画素に対して実行する。これによって、画像内のエッジ部分の画素と非エッジ部分の画素とに異なる先鋭化処理が実行される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２５８６２号公報

【発明の概要】

【0004】

しかしながら、上記技術では、エッジ量に応じてパラメータを切り替えているに過ぎないので、画像において先鋭化処理などの画像処理を実行することが好ましい領域を適切に特定できない場合があった。このために、例えば、画像内の適切な領域に画像処理を実行することができない場合があった。

【0005】

本明細書は、画像処理を実行することが好ましい領域を適切に特定できる新たな技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］入力画像を示す入力画像データに対して演算処理を実行して、前記入力画像データに対応する出力画像データを生成する機能をコンピュータに実現させる学習済みの機械学習モデルであって、第１画像処理を実行することが好ましい前記入力画像内の領域である第１領域と、前記第１画像処理とは異なる第２画像処理を実行することが好ましい前記入力画像内の領域である第２領域と、を示す前記出力画像データが生成されるようにトレーニングされている機械学習モデル。

【0008】

上記構成によれば、学習済みの機械学習モデルは、第１画像処理を実行することが好ましい第１領域と、第２画像処理を実行することが好ましい前記第２領域と、を示す出力画像データを生成する機能をコンピュータに実現させる。この結果、学習済みの機械学習モデルに出力画像データを生成させることで、入力画像内の第１画像処理を実行することが好ましい第１領域と、入力画像内の第２画像処理を実行することが好ましい第２領域と、を適切に特定できる。したがって、例えば、第１画像処理と第２画像処理とを入力画像内の好ましい領域に対してそれぞれ実行することができる。
［適用例２]
適用例１に記載の機械学習モデルであって、
前記出力画像データは、前記第１領域に対応する複数個の画素の値のそれぞれが前記第１画像処理のパラメータを示す画像データを含む、機械学習モデル。
［適用例３]
適用例１または２に記載の機械学習モデルであって、
前記出力画像データは、前記第１領域を示す第１領域データと、前記第１領域データとは異なる第２領域データであって前記第２領域を示す前記第２領域データと、を含む、機械学習モデル。
［適用例４]
適用例３に記載の機械学習モデルであって、
前記第１領域データと前記第２領域データとを用いて、調整済み領域データを生成し、
前記調整済み領域データは、前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる場合に、互いに重ならないように調整された調整済みの前記第１領域と調整済みの前記第２領域とを示すデータである、機械学習モデル。
［適用例５]
適用例４に記載の機械学習モデルであって、
前記第１領域データは、前記第１領域に対応する複数個の画素の値のそれぞれが前記第１画像処理の第１パラメータを示す画像データであり、
前記第２領域データは、前記第２領域に対応する複数個の画素の値のそれぞれが前記第２画像処理の第２パラメータを示す画像データであり、
前記機械学習モデルは、
前記第１領域データによって示される前記第１領域と前記第２領域データによって示される前記第２領域とが重なる重複領域について、前記第１パラメータと前記第２パラメータとに基づいて、実行すべき画像処理と、用いるべきパラメータと、を決定し、
前記実行すべき画像処理と、前記用いるべきパラメータと、を示す前記調整済み領域データを生成する、機械学習モデル。
［適用例６]
適用例１～５のいずれかに記載の機械学習モデルであって、
前記第１画像処理は、前記入力画像の特定の特徴量を増加させる処理であり、
前記第２画像処理は、前記入力画像の前記特定の特徴量を減少させる処理である、機械学習モデル。
［適用例７]
適用例６に記載の機械学習モデルであって、
前記第１画像処理は、前記入力画像のエッジ量を増加させるエッジ強調処理であり、
前記第２画像処理は、前記入力画像のエッジ量を減少させる平滑化処理である、機械学習モデル。
［適用例８]
適用例１～７のいずれかに記載の機械学習モデルであって、
複数組の第１種のデータペアを用いてトレーニングされている第１の機械学習モデルと、複数組の第２種のデータペアを用いてトレーニングされている第２の機械学習モデルと、を含み、
前記複数組の第１種のデータペアのそれぞれは、第１種のオブジェクトを示す第１種の前記入力画像データと、前記第１種の入力画像データが前記第１の機械学習モデルに入力される場合に出力されるべき前記出力画像データである第１種の教師画像データと、を含み、
前記複数組の第２種のデータペアのそれぞれは、第２種のオブジェクトを示す第２種の前記入力画像データと、前記第１種の入力画像データが前記第２の機械学習モデルに入力される場合に出力されるべき前記出力画像データである第２種の教師画像データと、を含む、機械学習モデル。

【0009】

［適用例９］画像処理装置であって、入力画像を示す入力画像データを学習済みの機械学習モデルに入力して前記機械学習モデルに前記入力画像データに対応する出力画像データを生成させる生成部であって、前記機械学習モデルは、第１画像処理を実行することが好ましい前記入力画像内の領域である第１領域と、前記第１画像処理とは異なる第２画像処理を実行することが好ましい前記入力画像内の領域である第２領域と、を示す前記出力画像データを生成するようにトレーニングされている、前記生成部と、前記入力画像データのうち、前記出力画像データを用いて特定される前記第１領域を示すデータに対して前記第１画像処理を実行し、前記入力画像データのうち、前記出力画像データを用いて特定される前記第２領域を示すデータに対して前記第２画像処理を実行する画像処理部と、を備える、画像処理装置。

【0010】

上記構成によれば、画像処理装置は、学習済みの機械学習モデルに出力画像データを生成させることで、入力画像内の第１画像処理を実行することが好ましい第１領域と、入力画像内の第２画像処理を実行することが好ましい第２領域と、を適切に特定できる。したがって、例えば、画像処理装置は、第１画像処理と第２画像処理とを入力画像内の好ましい領域に対してそれぞれ実行することができる。
［適用例１０]
適用例９に記載の画像処理装置であって、
前記第１画像処理は、前記入力画像のエッジ量を増加させるエッジ強調処理であり、
前記第２画像処理は、前記入力画像のエッジ量を減少させる平滑化処理であり、
前記画像処理部は、前記第２領域を示すデータに対して前記平滑化処理を実行した後に、前記第１領域を示すデータに対して前記エッジ強調処理を実行する、画像処理装置。

【0011】

［適用例１１］入力画像を示す入力画像データに対して演算処理を実行して、前記入力画像に対応する出力画像データを生成する機械学習モデルのトレーニング方法であって、複数個の学習用の前記入力画像データを取得する第１取得工程と、前記複数個の学習用の入力画像データに対応する複数個の教師画像データを取得する第２取得工程であって、前記複数個の教師画像データのそれぞれは、対応する前記学習用の入力画像データによって示される前記入力画像内の第１領域と第２領域とを示す画像データであり、前記第１領域は、第１画像処理を実行することが好ましい領域であり、前記第２領域は、前記第１画像処理とは異なる第２画像処理を実行することが好ましい領域である、前記第２取得工程と、それぞれが前記学習用の入力画像データと前記学習用の入力画像データに対応する前記教師画像データとを含む複数組のデータペアを用いて、前記機械学習モデルの演算に用いられる複数個のパラメータを調整する調整工程と、を備えるトレーニング方法。

【0012】

上記構成によれば、第１画像処理を実行することが好ましい入力画像内の領域である第１領域と、第２画像処理を実行することが好ましい入力画像内の領域である第２領域と、を示す前記出力画像データを生成するように、機械学習モデルをトレーニングできる。

【0013】

なお、本明細書に開示された技術は、種々の形態で実現可能であり、例えば、機械学習モデルのトレーニング装置、画像処理方法、これらの方法を実現するための装置、コンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、等の形態で実現することができる。

【図面の簡単な説明】

【0014】

【図1】トレーニング装置１００の構成を示すブロック図。

【図2】機械学習モデルの構成を示すブロック図。

【図3】入力画像と出力画像の一例を示す図。

【図4】機械学習モデルのトレーニングの工程を示すフローチャート。

【図5】トレーニング処理のフローチャート。

【図6】画像処理装置２００の構成を示すブロック図。

【図7】第１実施例の印刷処理のフローチャート。

【図8】第２実施例の印刷処理のフローチャート。

【図9】領域調整処理のフローチャート。

【図10】領域調整処理の説明図。

【0015】

Ａ．第１実施例
Ａ－１．トレーニング装置の構成
次に、実施の形態を実施例に基づき説明する。図１は、トレーニング装置１００の構成を示すブロック図である。

【0016】

トレーニング装置１００は、パーソナルコンピュータなどの計算機である。トレーニング装置１００は、トレーニング装置１００のコントローラとしてのＣＰＵ１１０と、ＲＡＭなどの揮発性記憶装置１２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置１３０と、操作部１４０と、表示部１５０と、通信インタフェース（ＩＦ）１７０と、を備えている。操作部１４０は、ユーザの操作を受け取る装置であり、例えば、キーボードやマウスである。表示部１５０は、画像を表示する装置であり、例えば、液晶ディスプレイである。通信インタフェース１７０は、外部機器と接続するためのインタフェースである。

【0017】

揮発性記憶装置１２０は、ＣＰＵ１１０が処理を行う際に生成される種々の中間データを一時的に格納するバッファ領域を提供する。不揮発性記憶装置１３０には、コンピュータプログラムＰＧと、学習用入力画像データ群ＩＧｔと、教師画像データ群ＴＧと、が格納されている。学習用入力画像データ群ＩＧｔは、後述するトレーニング処理のために用いられる複数個の入力画像データＩＤ（後述）を含む。

【0018】

コンピュータプログラムＰＧは、例えば、後述するプリンタ（後述）の製造者によって提供され、トレーニング装置１００にインストールされる。コンピュータプログラムＰＧは、所定のサーバからダウンロードされる形態や、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどに格納された形態で提供されても良い。ＣＰＵ１１０は、コンピュータプログラムＰＧを実行することにより、後述する人物用機械学習モデルＮＡおよび風景用機械学習モデルＮＢのトレーニング処理を実行する。

【0019】

コンピュータプログラムＰＧは、後述する機械学習モデルＮＡ、ＮＢの機能をＣＰＵ１１０に実現させるコンピュータプログラムをモジュールとして含んでいる。以下では、「機械学習モデル」と言うとき、機械学習モデルＮＡ、ＮＢの機能、もしくは、該機能を実現するコンピュータプログラム（モジュール）を意味する。

【0020】

Ａ－２．機械学習モデルの構成
図２は、機械学習モデルの構成を示すブロック図である。第１実施例で用いられる機械学習モデルＮＡ、ＮＢは、生成ネットワークＧＮである。後述する第２実施例で用いられる機械学習モデルＮＡ、ＮＢは、生成ネットワークＧＮに加えて、調整処理部ＡＭを備えている。調整処理部ＡＭについては、第２実施例にて説明する。

【0021】

生成ネットワークＧＮは、入力画像データＩＤが入力されると、入力画像データＩＤに対して複数個の演算パラメータを用いた演算を実行して、入力画像データＩＤに対応する出力画像データＯＤを生成し、出力する。

【0022】

図３は、入力画像と出力画像の一例を示す図である。入力画像データＩＤは、例えば、デジタルカメラを用いて被写体（例えば、人物や風景）を撮影することによって生成されるビットマップデータである。本実施例では、入力画像データは、ＲＧＢ値によって画素ごとの色を表すＲＧＢ画像データである。ＲＧＢ値は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３個の色成分の階調値（例えば、２５６階調の階調値）であるＲ値、Ｇ値、Ｂ値を含むＲＧＢ表色系の色値である。図３（Ａ）の例では、入力画像データＩＤによって示される入力画像ＩＩは、オブジェクトとして、人物の顔ＦＣを含んでいる。入力画像ＩＩのサイズ（縦横の画素数）は、拡大処理や縮小処理によって生成ネットワークＧＮの入力画像データＩＤとして想定されるサイズに調整されている。本実施例では、入力画像ＩＩは、縦２５７画素×横２５７画素の矩形の画像である。

【0023】

出力画像データＯＤは、２個の領域データＡＤ１、ＡＤ２を含んでいる（図２）。エッジ強調領域データＡＤ１は、エッジ強調領域画像ＥＩ（図３（Ｂ））を示す画像データである。平滑化領域データＡＤ２は、平滑化領域画像ＳＩ（図３（Ｃ））を示す画像データである。領域データＡＤ１、ＡＤ２によって示される領域画像ＥＩ、ＳＩは、入力画像ＩＩと同じサイズ（縦および横の画素数）を有する矩形の画像である。したがって、入力画像ＩＩの複数個の画素と、エッジ強調領域画像ＥＩの複数個の画素と、平滑化領域画像ＳＩの複数個の画素とは、一対一で対応している。領域画像ＥＩ、ＳＩの各画素の値は、本実施例では、０～２５５の２５６階調の階調値である。

【0024】

エッジ強調領域画像ＥＩは、エッジ強調処理を実行することが好ましい入力画像ＩＩ内の領域であるエッジ強調領域ＥＡを示す画像である。図３（Ｂ）のエッジ強調領域画像ＥＩのハッチングされた領域は、エッジ強調領域ＥＡであり、ハッチングされていない領域はエッジ強調領域ＥＡとは異なる領域（非エッジ強調領域ＮＥＡとも呼ぶ）である。エッジ強調領域画像ＥＩにおいて、非エッジ強調領域ＮＥＡは、０の値を有する画素で構成される領域である。エッジ強調領域画像ＥＩにおいて、エッジ強調領域ＥＡは、１以上の値（本実施例では１～２５５の範囲の値）を有する画素で構成される領域である。

【0025】

エッジ強調領域ＥＡを構成する画素ＰＸ１の値は、エッジ強調処理のパラメータ（強調パラメータＰ１とも呼ぶ）である。図３（Ｂ）には、エッジ強調領域画像ＥＩの下方に、エッジ強調領域ＥＡの一部分ＥＡｐの拡大図が示されている。拡大図の升目は、画素ＰＸ１を示し、画素ＰＸ１内に示す値は、強調パラメータＰ１である。

【0026】

平滑化領域画像ＳＩは、平滑化処理を実行することが好ましい入力画像ＩＩ内の領域である平滑化領域ＳＡを示す画像である。図３（Ｃ）の平滑化領域画像ＳＩのハッチングされた領域は、平滑化領域ＳＡであり、ハッチングされていない領域は平滑化領域ＳＡとは異なる領域（非平滑化領域ＮＳＡとも呼ぶ）である。平滑化領域画像ＳＩにおいて、非平滑化領域ＮＳＡは、０の値を有する画素で構成される領域である。平滑化領域画像ＳＩにおいて、平滑化領域ＳＡは、１以上の値（本実施例では１～２５５の範囲の値）を有する画素で構成される領域である。

【0027】

平滑化領域ＳＡを構成する画素ＰＸ２の値は、平滑化処理のパラメータ（平滑化パラメータＰ２とも呼ぶ）である。図３（Ｃ）には、平滑化領域画像ＳＩの下方に、平滑化領域ＳＡの一部分ＳＡｐの拡大図が示されている。拡大図の升目は、画素ＰＸ２を示し、画素ＰＸ２内に示す値は、平滑化パラメータＰ２である。

【0028】

パラメータＰ１、Ｐ２は、上述のように、１～２５５の範囲の値である。強調パラメータＰ１の大きさは、エッジ強調処理によるエッジ強調のレベルを示し、平滑化パラメータＰ２の大きさは、平滑化処理における平滑化の程度を示す。エッジ強調領域ＥＡのうち、強調パラメータＰ１が値Ｐ１ａに設定されている部分は、強調パラメータＰ１が値Ｐ１ａより小さな値Ｐ１ｂに設定されている部分と比較して高いレベルのエッジ強調処理が実行されることが好ましい部分である。平滑化領域ＳＡのうち、平滑化パラメータＰ２が値Ｐ２ａに設定されている部分は、平滑化パラメータＰ２が値Ｐ２ａより小さな値Ｐ２ｂに設定されている部分と比較して高いレベルの平滑化処理が実行されることが好ましい部分である。

【0029】

図２に示すように、生成ネットワークＧＮは、エンコーダＥＣとデコーダＤＣとを含んでいる。

【0030】

エンコーダＥＣは、入力画像データＩＤに対して、複数個の演算パラメータＰｅを用いて、次元削減処理を実行して、入力画像データＩＤの特徴（すなわち、入力画像ＩＩの特徴）を示す特徴データＣＤを生成する。本実施例では、入力画像データＩＤは、（２５７×２５７）個の画素のそれぞれの３個の成分値（Ｒ値、Ｇ値、Ｂ値）を含むので、（２５７×２５７×３）個の値を含むデータ、すなわち、（２５７×２５７×３）次元のデータである。特徴データＣＤは、本実施例では、（６５×６５×３２）次元のデータである。

【0031】

図２には、エンコーダＥＣの構成が示されている。エンコーダＥＣは、入力層ＥＬ＿０と、複数個の畳込層ＥＬ＿１、ＥＬ＿２を有するニューラルネットワークである。

【0032】

入力層ＥＬ＿０は、入力画像データＩＤが入力される層である。１番目の畳込層ＥＬ＿１には、入力層ＥＬ＿０に入力された入力画像データＩＤがそのまま入力される。２番目の畳込層ＥＬ＿２には、入力層ＥＬ＿１から出力されたデータが入力される。

【0033】

畳込層ＥＬ＿ｋ（ｋは、１または２）は、入力されるデータに対して、後述する演算処理を実行して、例えば、（Ａ_ｋ×Ｂ_ｋ×Ｃ_ｋ）次元のデータを出力する。（Ａ_ｋ、Ｂ_ｋ、Ｃ_ｋは、正の整数であり、本実施例では、（Ａ_１×Ｂ_１×Ｃ_１）＝（１２９×１２９×１６）、（Ａ_２×Ｂ_２×Ｃ_２）＝（６５×６５×３２）である。畳込層ＥＬ＿２によって出力されるデータは、上述した特徴データＣＤである。

【0034】

畳込層ＥＬ＿ｋが実行する演算処理は、畳込処理(convolution)とバイアスの加算処理とを含む。畳込処理は、入力されたデータに対して、（ｐ×ｑ×ｒ）次元のｓ個のフィルタを順次に適用して入力されたデータとフィルタとの相関を示す相関値を算出する処理である。各フィルタを適用する処理では、フィルタをスライドさせながら複数個の相関値が順次に算出される。１個のフィルタは、（ｐ×ｑ×ｒ）個の重みを含んでいる。バイアスの加算処理は、算出された相関値に、１個のフィルタに対して１個ずつ準備されたバイアスを加算する処理である。ｓ個のフィルタに含まれる（ｐ×ｑ×ｒ×ｓ）個の重みと、ｓ個のフィルタに対応するｓ個のバイアスと、は、上述した複数個の演算パラメータＰｅであり、後述するトレーニング処理において調整される値である。

【0035】

畳込層ＥＬ＿ｋによって出力されるデータの各値は、上述した相関値にバイアスを加えた値に、所定の後処理を実行して得られる値である。畳込層ＥＬ＿ｋによって出力されるデータに含まれる値の個数（例えば、畳込層ＥＬ＿１の場合は（Ａ_１×Ｂ_１×Ｃ_１））は、畳込処理におけるストライド（フィルタをスライドさせる量）と、フィルタの個数ｓと、によって決定される。

【0036】

所定の後処理は、データの各値を活性化関数に入力して変換する処理を含む。本実施例では、活性化関数には、例えば、いわゆるReLU（Rectified Linear Unit）が用いられる。なお、所定の後処理では、バッチノーマライゼーション（Batch Normalization）やドロップアウトなどの公知の処理が適宜に実行されても良い。

【0037】

デコーダＤＣは、エンコーダＥＣによって生成された特徴データＣＤに対して、複数個の演算パラメータＰｄを用いて、次元復元処理を実行して、上述した出力画像データＯＤを生成する。本実施例では、特徴データＣＤは、上述したように（６５×６５×３２）次元のデータである。本実施例では、出力画像データＯＤは、（２５７×２５７×１）個の値を含むエッジ強調領域データＡＤ１と、（２５７×２５７×１）個の値を含む平滑化領域データＡＤ２と、を含む。このために、出力画像データＯＤは、（２５７×２５７×２）次元のデータである。

【0038】

図２には、デコーダＤＣの構成が示されている。デコーダＤＣは、複数個の転置畳込層ＤＬ＿１、ＤＬ＿２を有するニューラルネットワークである。

【0039】

１番目の転置畳込層ＤＬ＿１には、特徴データＣＤが入力される。２番目の転置畳込層ＤＬ＿２には、転置畳込層ＤＬ＿１から出力されたデータが入力される。

【0040】

転置畳込層ＤＬ＿ｍ（ｍは、１または２）には、入力されるデータに対して、後述する演算処理を実行して、例えば、（Ｄ_ｍ×Ｅ_ｍ×Ｆ_ｍ）次元のデータを生成する。（Ｄ_ｍ、Ｅ_ｍ、Ｆ_ｍ）は、正の整数であり、本実施例では、（Ｄ_１×Ｅ_１×Ｆ_１）＝（１２９×１２９×１６）、（Ｄ_２×Ｅ_２×Ｆ_２）＝（２５７×２５７×２）である。転置畳込層ＤＬ＿２によって出力されるデータは、上述した出力画像データＯＤである。

【0041】

転置畳込層ＤＬ＿ｍが実行する演算処理は、転置畳込処理（transposed convolution）とバイアスの加算処理とを含む。転置畳込処理は、入力されたデータに対して、ストライドに応じて適宜に値（例えばゼロの値）を追加して次元数を増加させた後に、上述した畳込処理と同様に（ｐ×ｑ×ｒ）次元のフィルタを用いた畳み込み演算を行う処理である。バイアスの加算処理は、転置畳込演算で算出された相関値に、１個のフィルタに対して１個ずつ準備されたバイアスを加算する処理である。ｓ個のフィルタに含まれる（ｐ×ｑ×ｒ×ｓ）個の重みと、ｓ個のフィルタに対応するｓ個のバイアスと、は、上述した複数個の演算パラメータＰｄであり、後述するトレーニング処理において調整される値である。

【0042】

転置畳込層ＤＬ＿ｍによって出力されるデータの各値は、上述した相関値にバイアスを加えた値に、所定の後処理を実行して得られる値である。各転置畳込層ＤＬ＿ｍによって生成されるデータに含まれる値の個数（例えば、転置畳込層ＤＬ＿１の場合は（Ｄ_１×Ｅ_１×Ｆ_１））は、転置畳込処理におけるストライド（ゼロ等の値を追加する量）と、フィルタの個数ｓと、によって決定される。

【0043】

所定の後処理は、エンコーダＥＣにおける後処理と同様に、データの各値を活性化関数に入力して変換する処理を含む。例えば、転置畳込層ＤＬ＿１の後処理では、活性化関数として上述したReLUが用いられ、転置畳込層ＤＬ＿２の後処理では、活性化関数として、いわゆるシグモイドが用いられる。所定の後処理では、バッチノーマライゼーション（Batch Normalization）やドロップアウトなどの公知の処理が適宜に実行されても良い。

【0044】

なお、人物用機械学習モデルＮＡとしての生成ネットワークＧＮと、風景用機械学習モデルＮＢとしての生成ネットワークＧＮとは、いずれも図２の構成を備えている。人物用機械学習モデルＮＡとしての生成ネットワークＧＮと、風景用機械学習モデルＮＢとしての生成ネットワークＧＮとでは、後述するトレーニング処理にて用いられる画像群が異なるために、トレーニング処理後の状態（学習済みの状態）において、エンコーダＥＣおよびデコーダＤＣの演算パラメータＰｄ、Ｐｅの値が異なる。

【0045】

Ａ－３．機械学習モデルのトレーニング
図４は、機械学習モデルＮＡ、ＮＢのトレーニングの工程を示すフローチャートである。人物用機械学習モデルＮＡは、人物の顔ＦＣを示す入力画像データＩＤが入力された場合に、適切にエッジ強調領域ＥＡと平滑化領域ＳＡとを示す出力画像データＯＤを生成するように、トレーニングされる。風景用機械学習モデルＮＢは、風景（図示省略）を示す入力画像データＩＤが入力された場合に、適切にエッジ強調領域ＥＡと平滑化領域ＳＡとを示す出力画像データＯＤを生成するように、トレーニングされる。機械学習モデルＮＡ、ＮＢのトレーニングは、例えば、後述するプリンタ３００の製造者によって行われる。

【0046】

Ｓ１０では、学習用の複数個の入力画像データＩＤの生成が行われる。具体的には、作業者が、所定のカテゴリ（本実施例では、人物と風景）に属する被写体をデジタルカメラで撮影することによって、該被写体を示す入力画像データＩＤを生成する。例えば、カテゴリごとに１００個以上の異なる被写体をそれぞれ示す複数個の入力画像データＩＤが生成される。本ステップで生成された複数個の入力画像データＩＤは、生成ネットワークＧＮの入力画像データＩＤとして想定されるサイズになるように拡大処理または縮小処理が実行され、学習用入力画像データ群ＩＧｔ（図１）として、トレーニング装置１００の不揮発性記憶装置１３０に格納される。

【0047】

Ｓ２０では、学習用の複数個の入力画像データＩＤと一対一で対応する複数個の教師画像データＴＤが生成される。教師画像データＴＤは、対応する入力画像データＩＤが機械学習モデルに入力される場合に、機械学習モデルによって出力されるべき出力画像データＯＤである。このために、教師画像データＴＤは、上述した出力画像データＯＤと同様に、エッジ強調領域データＡＤ１と、平滑化領域データＡＤ２と、を含む。

【0048】

各教師画像データＴＤに含まれるエッジ強調領域データＡＤ１と平滑化領域データＡＤ２とは、作業者によって作成される。例えば、経験豊かな作業者が、画像加工プログラム（フォトレタッチソフトとも呼ばれる）を用いて、対応する入力画像データＩＤに対してエッジ強調処理と平滑化処理とを実行して、入力画像ＩＩの見栄えを向上させる。作業者によってエッジ強調処理が実行された領域をエッジ強調領域ＥＡとして示し、かつ、作業者によって該領域に実行されたエッジ強調処理のレベルを強調パラメータＰ１として示すエッジ強調領域データＡＤ１が生成される。作業者によって平滑化処理が実行された領域を平滑化領域ＳＡとして示し、かつ、作業者によって該領域に実行された平滑化処理のレベルを平滑化パラメータＰ２として示す平滑化領域データＡＤ２が生成される。

【0049】

例えば、図３（Ｂ）の例のように、人物用の入力画像データＩＤに対応する教師画像データＴＤのエッジ強調領域データＡＤ１では、人物の顔ＦＣのうち、髪の毛、目、鼻、口の領域が、エッジ強調領域ＥＡとして指定される。図３（Ｃ）の例のように、人物用の入力画像データＩＤに対応する教師画像データＴＤの平滑化領域データＡＤ２では、人物の顔ＦＣのうち、頬、額、首周りなどの平坦な肌の領域が、平滑化領域ＳＡとして指定される。本ステップで生成された複数個の教師画像データＴＤは、教師画像データ群ＴＧ（図１）として、トレーニング装置１００の不揮発性記憶装置１３０に格納される。複数個の教師画像データＴＤのそれぞれは、学習用入力画像データ群ＩＧｔに含まれる１個の入力画像データＩＤと対応付けられる。

【0050】

Ｓ１０とＳ２０の処理によって、カテゴリごとに複数組（例えば、数百組）のデータペアが生成される。例えば、人物用の１個のデータペアは、人物の顔を示す入力画像データＩＤと、該入力画像データＩＤに対応する教師画像データＴＤ（領域データＡＤ１、ＡＤ２）と、を含む。

【0051】

Ｓ３０では、トレーニング装置１００のＣＰＵ１１０（図１）がコンピュータプログラムＰＧを実行することによって、トレーニング処理を実行する。図５は、トレーニング処理のフローチャートである。

【0052】

Ｓ１００では、ＣＰＵ１１０は、処理すべき画像の複数個のカテゴリ（本実施例では、人物と風景）から、１つの注目カテゴリ（例えば、人物）を選択する。

【0053】

Ｓ１０５では、ＣＰＵ１１０は、注目カテゴリ用の機械学習モデルの生成ネットワークＧＮの演算パラメータＰｅ、Ｐｄを初期化する。例えば、これらの演算パラメータの初期値は、同一の分布（例えば、正規分布）から独立に取得された乱数に設定される。

【0054】

Ｓ１１０では、ＣＰＵ１１０は、図４のＳ１０、Ｓ２０にて生成された注目カテゴリの複数組のデータペアの中から、バッチサイズ分のデータペアを選択する。例えば、複数個のデータペアは、Ｖ組（Ｖは２以上の整数、例えば、数１０）ずつのデータペアをそれぞれ含む複数個のグループ（バッチ）に分割される。ＣＰＵ１１０は、これらの複数個のグループから１個のグループを順次に選択することによって、Ｖ組の使用すべきデータペアを選択する。これに代えて、Ｖ組ずつのデータペアは、複数組のデータペアから、毎回、ランダムに選択されても良い。

【0055】

Ｓ１２０では、選択されたＶ組のデータペアの入力画像データＩＤを、注目カテゴリ用の機械学習モデルの生成ネットワークＧＮに入力して、Ｖ個のデータペアに対応するＶ個の出力画像データＯＤを生成する。

【0056】

Ｓ１２５では、ＣＰＵ１１０は、Ｖ個の出力画像データＯＤのそれぞれについて、出力画像データＯＤと、対応する教師画像データＴＤと、の間の誤差値ＥＶを算出する。出力画像データＯＤに対応する教師画像データＴＤは、該出力画像データＯＤを生成する際に生成ネットワークＧＮに入力された入力画像データＩＤと対応する教師画像データＴＤである。誤差値ＥＶは、所定の損失関数に基づいて算出される。例えば、以下の式（１）に基づいて算出される。

【0057】

【0058】

式（１）において、ｘは画素のｘ座標、ｙは画素のｙ座標を意味し、１以上２５７以下の整数値を取る。ｉは、出力画像データＯＤおよび教師画像データＴＤに含まれるエッジ強調領域データＡＤ１、平滑化領域データＡＤ２を示す識別子であり、１または２である。ｉ＝１はエッジ強調領域データＡＤ１を示し、ｉ＝２は平滑化領域データＡＤ２を示す。例えば、Ｏ（ｘ、ｙ、１）は、出力画像データＯＤのエッジ強調領域データＡＤ１における座標（ｘ、ｙ）の画素の値であり、Ｏ（ｘ、ｙ、２）は、出力画像データＯＤの平滑化領域データＡＤ２における座標（ｘ、ｙ）の画素の値である。Ｔ（ｘ、ｙ、１）は、教師画像データＴＤのエッジ強調領域データＡＤ１における座標（ｘ、ｙ）の画素の値であり、Ｔ（ｘ、ｙ、２）は、教師画像データＴＤの平滑化領域データＡＤ２における座標（ｘ、ｙ）の画素の値である。誤差値ＥＶは、出力画像データＯＤと教師画像データＴＤの差分が小さくなるほど小さくなる。

【0059】

Ｓ１３０では、ＣＰＵ１１０は、Ｖ組の出力画像データＯＤのそれぞれについて算出されたＶ個の誤差値ＥＶを用いて、生成ネットワークＧＮの複数個の演算パラメータＰｅ、Ｐｄを調整する。具体的には、ＣＰＵ１１０は、誤差値ＥＶが小さくなるように、所定のアルゴリズムに従って演算パラメータを調整する。所定のアルゴリズムには、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズム（例えば、ａｄａｍ）が用いられる。

【0060】

Ｓ１３５では、ＣＰＵ１１０は、トレーニングが完了したか否かを判断する。本実施例では、作業者からの完了指示が入力された場合にはトレーニングが完了したと判断し、トレーニングの継続指示が入力された場合にはトレーニングが完了していないと判断する。例えば、ＣＰＵ１１０は、学習用の入力画像データＩＤとは別の複数個のテスト用の入力画像データＩＤを、生成ネットワークＧＮに入力して、複数個の出力画像データＯＤを生成する。作業者は、出力画像データＯＤを評価して、トレーニングを終了するか否かを判断する。作業者は、評価結果に応じて、操作部１４０を介して、トレーニングの完了指示または継続指示を入力する。変形例では、例えば、Ｓ１１０～Ｓ１３０の処理が所定回数だけ繰り返された場合に、トレーニングが完了されたと判断されても良い。

【0061】

トレーニングが完了していないと判断される場合には（Ｓ１３５：ＮＯ）、ＣＰＵ１１０は、Ｓ１１０に処理を戻す。トレーニングが完了したと判断される場合には（Ｓ１３５：ＹＥＳ）、ＣＰＵ１１０は、注目カテゴリ用の機械学習モデルの生成ネットワークＧＮのトレーニングを終了し、Ｓ１４０にて調整済みの複数個の演算パラメータＰｅ、Ｐｄを保存する。この時点で、注目カテゴリ用の機械学習モデルは、演算パラメータＰｅ、Ｐｄが調整された学習済みモデルになっている。したがって、このトレーニングは、学習済みの機械学習モデルを生成（製造）する処理である、と言うことができる。

【0062】

Ｓ１４５では、ＣＰＵ１１０は、処理すべき全てのカテゴリ（本実施例では人物と風景）について処理したか否かを判断する。未処理のカテゴリがある場合には（Ｓ１４５：ＮＯ）、ＣＰＵ１１０は、Ｓ１００に処理を戻す。全てのカテゴリについて処理された場合には（Ｓ１４５：ＹＥＳ）、ＣＰＵ１１０は、トレーニング処理を終了する。以上のトレーニング処理によって、カテゴリごとに、調整済みの演算パラメータＰｅ、Ｐｄが生成される。すなわち、カテゴリごとに、学習済みの機械学習モデルが生成される。

【0063】

Ａ－４．印刷処理
上述したトレーニング処理を用いてトレーニングされた学習済みの機械学習モデルＮＡ、ＮＢを用いて実行される印刷処理について説明する。図６は、本実施例の印刷処理を実行する画像処理装置２００の構成を示すブロック図である。

【0064】

画像処理装置２００は、例えば、プリンタ３００のユーザが利用するパーソナルコンピュータやスマートフォンなどの計算機である。画像処理装置２００は、トレーニング装置１００と同様に、画像処理装置２００のコントローラとしてのＣＰＵ２１０と、ＲＡＭなどの揮発性記憶装置２２０と、ハードディスクドライブやフラッシュメモリなどの不揮発性記憶装置２３０と、キーボードやマウスなどの操作部２４０と、液晶ディスプレイなどの表示部２５０と、通信インタフェース（ＩＦ）２７０と、を備えている。通信インタフェース２７０は、外部機器、例えば、プリンタ３００と接続するためのインタフェースである。

【0065】

不揮発性記憶装置２３０には、コンピュータプログラムＰＧｓと、撮影画像データ群ＩＩＧと、が格納されている。撮影画像データ群ＩＩＧは、複数個の撮影画像データを含む。撮影画像データは、ユーザが所有する画像データであり、例えば、デジタルカメラを用いて被写体を撮影することによって生成されるＲＧＢ画像データである。本実施例では、被写体は、人物と風景とのいずれかである。

【0066】

コンピュータプログラムＰＧｓは、例えば、プリンタ３００の製造者によって提供されるアプリケーションプログラムであり、画像処理装置２００にインストールされる。コンピュータプログラムＰＧｓは、所定のサーバからダウンロードされる形態や、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭなどに格納された形態で提供される。ＣＰＵ２１０は、コンピュータプログラムＰＧｓを実行することにより、印刷処理を実行する。

【0067】

コンピュータプログラムＰＧｓは、学習済みの機械学習モデルＮＡ、ＮＢを含んでいる。コンピュータプログラムＰＧｓは、機械学習モデルＮＡ、ＮＢとは別に、画像識別用の機械学習モデルＤＮを含んでいる。

【0068】

画像識別用の機械学習モデルＤＮは、畳込層とプーリング層とを含む複数の層（図示省略）を有するいわゆる畳み込みニューラルネットワーク（Convolutional Neural Network）である。機械学習モデルＤＮは、所定サイズの画像データが入力されると、該画像データに対して演算を実行して、画像データＩＤによって示される画像のカテゴリを示す識別データを出力する。入力される画像データの所定のサイズは、例えば、上述した入力画像データＩＤと同様のサイズである。本実施例では、入力される画像データによって示される画像は、人物と風景とのいずれかであるので、該画像は、人物と風景とのいずれかに分類される。

【0069】

画像識別用の機械学習モデルＤＮには、例えば、ＶＧＧ１６、ＶＧＧ１９などの１９層の公知の畳込ニューラルネットワーク（Convolution Neural Network）が用いられる。ＶＧＧ１６やＶＧＧ１９は、ＩｍａｇｅＮｅｔと呼ばれる画像データベースに登録された画像データを用いてトレーニングされた学習済みのニューラルネットワークであり、その学習済みの演算パラメータは一般公開されている。

【0070】

図７は、印刷処理のフローチャートである。Ｓ３００では、ＣＰＵ２１０は、入力画像データを取得する。例えば、不揮発性記憶装置２３０に格納された撮影画像データ群ＩＩＧの中から、ユーザによって指定された１個の撮影画像データが入力画像データＩＤとして取得される。

【0071】

Ｓ３０５では、ＣＰＵ２１０は、画像識別用の機械学習モデルＤＮに入力画像データＩＤを入力して、入力画像データＩＤによって示される入力画像ＩＩのカテゴリを特定する。入力画像データＩＤのサイズは、画像識別用の機械学習モデルＤＮに入力される画像データとして想定される所定のサイズとは、一般的には異なる。このために、ＣＰＵ２１０は、入力画像データＩＤに対して、サイズ調整処理（拡大処理または縮小処理）を実行して、入力画像データＩＤのサイズを、機械学習モデルＤＮに入力される画像データとして想定される所定のサイズに調整する。ＣＰＵ２１０は、サイズが調整された入力画像データＩＤを機械学習モデルＤＮに入力して、機械学習モデルＤＮに識別データを出力させる。ＣＰＵ２１０は、該識別データに基づいて、入力画像ＩＩのカテゴリを特定する。以下では、入力画像ＩＩは人物の顔を示す画像であり、入力画像ＩＩのカテゴリは「人物」であると特定されるものとして説明する。

【0072】

Ｓ３１０では、ＣＰＵ２１０は、機械学習モデルＮＡ、ＮＢのうち、特定されたカテゴリに対応する機械学習モデルに入力画像データＩＤを入力して、出力画像データＯＤを生成する。具体的には、入力画像データＩＤに対して、サイズ調整処理（拡大処理または縮小処理）を実行して、入力画像データＩＤのサイズを、機械学習モデルＮＡ、ＮＢの入力画像データＩＤとして想定されるサイズ（本実施例では、縦２５７画素×横２５７画素）に調整する。ＣＰＵ２１０は、Ｓ３０５にて入力画像ＩＩのカテゴリが「人物」であると特定されている場合には、サイズが調整された入力画像データＩＤを、人物用機械学習モデルＮＡに入力して、機械学習モデルＮＡに出力画像データＯＤを生成させる。出力画像データＯＤは、上述したように、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とを含む。

【0073】

上述したトレーニングで用いられる学習用の入力画像データＩＤと、印刷処理における入力画像データＩＤとは異なるデータであるが、両方とも人物の顔を示す画像データである。このために、説明の便宜上、印刷処理の説明では、図３（Ａ）は、印刷処理における入力画像データＩＤによって示される入力画像データによって示される入力画像ＩＩを示すものとする。同様に、印刷処理の説明では、図３（Ｂ）は、Ｓ３１０にて生成されるエッジ強調領域データＡＤ１によって示されるエッジ強調領域画像ＥＩを示し、図３（Ｃ）は、Ｓ３１０にて生成される平滑化領域データＡＤ２によって示される平滑化領域画像ＳＩを示すものとする。

【0074】

Ｓ３２０では、ＣＰＵ２１０は、Ｓ３１０にて生成された平滑化領域データＡＤ２を参照して、サイズ調整前の入力画像データＩＤに対して平滑化処理を実行する。具体的には、ＣＰＵ２１０は、入力画像ＩＩ（図３（Ａ））内の全ての画素を注目画素として以下の処理を実行する。ＣＰＵ２１０は、入力画像ＩＩ内の注目画素に対応する平滑化領域画像ＳＩ（図３（Ｃ））内の対応画素を特定する。ＣＰＵ２１０は、対応画素の値が０である場合には、注目画素を平滑化処理の対象としないと判断し、対応画素の値が１以上である場合には、注目画素を平滑化処理の対象とすると判断する。ＣＰＵ２１０は、注目画素を平滑化処理の対象とする場合には、注目画素に対して平滑化処理を実行する。

【0075】

平滑化処理は、例えば、ガウシアンフィルタを用いた処理が実行される。具体的には、注目画素の座標を（ｘ、ｙ）とし、本実施例の平滑化処理済みの注目画素の値をＳ（ｘ、ｙ）とすると、Ｓ（ｘ、ｙ）は、以下の式（２－１）、（２－２）を用いて算出される。

【0076】

式（２－１）はガウシアンフィルタの係数Ｇ（ｉ、ｊ）の算出式である。式（２－２）は、係数Ｇ（ｉ、ｊ）を用いた畳込演算を行ってＳ（ｘ、ｙ）を算出する式である。Ｇ（ｉ、ｊ）は、座標（ｘ＋ｉ、ｘ＋ｊ）におけるガウシアンフィルタの係数である。式（２－２）のＰ（ｘ＋ｉ、ｘ＋ｊ）は、座標（ｘ＋ｉ、ｘ＋ｊ）における平滑化処理前の注目画素の値である。式（２－１）のσおよび式（２－２）におけるｒは、平滑化処理のレベルを示す値であり、ｒ、σが大きいほど平滑化処理のレベルが高くなる。平滑化処理のレベルが高いほど、平滑化処理によってエッジ量が減少する程度が大きくなる。本実施例では、σは固定値（本実施例では１）に設定される。ｒは、注目画素に対応する平滑化領域データＡＤ２の対応画素の値、すなわち、対応画素について規定された平滑化パラメータＰ２（図３（Ｃ））に応じて、以下の式（３）を用いて決定される。

【0077】

式（３）から解るように、対応画素について規定された平滑化パラメータＰ２が大きいほど、ｒが大きくなるので、注目画素に対する平滑化処理のレベルが高くなる。

【0078】

ＣＰＵ２１０は、ガウシアンフィルタの係数Ｇを重みとして用いて、注目画素を中心とする所定範囲（例えば、縦５画素×横５画素）内の画素の値の重み付き平均値を算出し、該重み付き平均値を、平滑化処理後の注目画素の値とする。

【0079】

平滑化処理後の入力画像ＩＩのエッジ量は、平滑化処理前の入力画像ＩＩのエッジ量よりも減少している。このために、平滑化処理は、画像のエッジ量を減少させる画像処理である、と言うことができる。画像のエッジ量は、例えば、画素ごとにエッジ検出フィルタ（例えば、ソーベルフィルタ）を適用して算出される各画素のエッジ量の合計値である。

【0080】

Ｓ３２５では、ＣＰＵ２１０は、Ｓ３１０にて生成されたエッジ強調領域データＡＤ１を参照して、平滑化処理済みの入力画像データＩＤに対してエッジ強調処理を実行する。具体的には、ＣＰＵ２１０は、平滑化処理済みの入力画像ＩＩ内の全ての画素を注目画素として以下の処理を実行する。ＣＰＵ２１０は、平滑化処理済みの入力画像ＩＩ内の注目画素に対応するエッジ強調領域画像ＥＩ（図３（Ｂ））内の対応画素を特定する。ＣＰＵ２１０は、対応画素の値が０である場合には、注目画素をエッジ強調処理の対象としないと判断し、対応画素の値が１以上である場合には、注目画素をエッジ強調処理の対象とすると判断する。ＣＰＵ２１０は、注目画素をエッジ強調処理の対象とする場合には、注目画素に対してエッジ強調処理を実行する。

【0081】

エッジ強調処理として、例えば、アンシャープマスク処理が実行される。具体的には、注目画素の座標を（ｘ、ｙ）とし、本実施例のエッジ強調処理済みの注目画素の値をＥ（ｘ、ｙ）とすると、Ｅ（ｘ、ｙ）は、以下の式（４）を用いて算出される。

【0082】

式（４）におけるＰ（ｘ、ｙ）は、エッジ強調処理前の注目画素の値、本実施例では、平滑処理済みの部分画像ＰＩ内の注目画素の値である。式（４）におけるＳ（ｘ、ｙ）は、エッジ強調処理前の注目画素に対して、平滑化処理を実行して得られる値である。ここで、エッジ強調処理の一部として行われる平滑化処理は、Ｓ３２０にて実行される平滑化処理とは別に実行される。本実施例では、上述した式（２－１）、（２－２）においてｒ＝３、σ＝１に設定してＳ（ｘ、ｙ）が算出される。

【0083】

式（４）におけるａは、エッジ強調処理のレベルを示す係数であり、ａが大きいほどエッジ強調処理のレベルが高くなる。エッジ強調処理のレベルが高いほど、エッジ強調処理によってエッジ量が増加する程度が大きくなる。本実施例では、ａは、注目画素に対応するエッジ強調領域データＡＤ１の対応画素の値、すなわち、対応画素について規定された強調パラメータＰ１（図３（Ｂ））に応じて、以下の式（５）を用いて決定される。

【0084】

式（５）から解るように、対応画素について規定された強調パラメータＰ１が大きいほど、ａが大きくなるので、注目画素に対するエッジ強調処理のレベルが高くなる。

【0085】

エッジ強調処理後の入力画像ＩＩのエッジ量は、エッジ強調処理前の入力画像ＩＩのエッジ量よりも増加している。このために、エッジ強調処理は、画像のエッジ量を増加させる画像処理である、と言うことができる。

【0086】

Ｓ３３０では、ＣＰＵ２１０は、Ｓ３２５にてエッジ強調処理が実行された後の入力画像データＩＤ（以下、処理済画像データとも呼ぶ）を用いて、印刷データを生成する。例えば、ＣＰＵ２１０は、処理済入力画像データＩＤ（ＲＧＢ画像データ）に対して、色変換処理とハーフトーン処理を実行して、ドットの形成状態を画素ごとに示す印刷データを生成する。ドットの形成状態は、例えば、「ドット無し」と「ドット有り」の２階調、あるいは、「ドット無し」「小」「中」「大」の４階調である。Ｓ３４０では、ＣＰＵ２１０は、印刷データをプリンタ３００に送信する。プリンタ３００は、印刷データを受信すると、該印刷データを用いて、画像を印刷する。これによって、平滑化処理とエッジ強調処理とが適切な領域に実行されていることで、見栄えが向上した画像が印刷される。

【0087】

以上説明した第１実施例によれば、学習済みの機械学習モデルＮＡ、ＮＢは、エッジ強調処理を実行することが好ましい入力画像ＩＩ内の領域であるエッジ強調領域ＥＡと、平滑化処理を実行することが好ましい入力画像ＩＩ内の領域である平滑化領域ＳＡと、を示す出力画像データＯＤを生成するようにトレーニングされている（図３、図５）。この結果、例えば、印刷処理（図７）などにおいて学習済みの機械学習モデルＮＡ、ＮＢに出力画像データＯＤを生成させる（図７のＳ３１０）ことで、エッジ強調領域ＥＡと平滑化領域ＳＡとを適切に特定できる。したがって、例えば、印刷処理などにおいてエッジ強調処理と平滑化処理と入力画像ＩＩ内の好ましい領域に対してそれぞれ実行することができる。この結果、例えば、入力画像ＩＩの見栄えを適切に向上できる。

【0088】

例えば、入力画像ＩＩが人物を示す場合には、入力画像ＩＩに含まれる人物の顔の大きさ、向き、位置などは、様々であることなどから、エッジ強調処理を実行することが好ましいエッジ強調領域ＥＡや平滑化処理を実行することが好ましい平滑化領域ＳＡを、例えば、エッジ抽出処理などの比較的単純な処理に基づいて特定することは、容易ではない。例えば、不自然な見栄えになることを避けつつ、エッジ強調処理と平滑化処理を行うために、エッジ強調領域ＥＡや平滑化領域ＳＡを設定することは、例えば、経験豊かな作業者の感覚やノウハウに基づいて行われることも多い。このために、エッジ強調領域ＥＡや平滑化領域ＳＡを設定する方法を、人間が言語で説明することや数式で表現することは困難である。しかしながら、このような感覚やノウハウに基づく設定方法の特徴は、実際に作業者が設定を行った結果に基づく教師画像データＴＤには現れている。このために、本実施例では、教師画像データＴＤを含む複数組のデータペアを用いて、エッジ強調領域ＥＡや平滑化領域ＳＡを設定する手法の特徴を機械学習モデルに学習させることで、適切なエッジ強調領域ＥＡと平滑化領域ＳＡとを示す出力画像データＯＤを出力できるように機械学習モデルＮＡ、ＮＢをトレーニングしている。

【0089】

さらに、本実施例によれば、出力画像データＯＤは、エッジ強調領域ＥＡに対応する複数個の画素の値のそれぞれがエッジ強調処理のための強調パラメータＰ１を示すエッジ強調領域データＡＤ１を含む。この結果、学習済みの機械学習モデルＮＡ、ＮＢに出力画像データＯＤを生成させる（図７のＳ３１０）ことで、エッジ強調領域ＥＡに加えて、エッジ強調領域ＥＡに対して実行すべきエッジ強調処理のパラメータＰ１を適切に特定できる。同様に、出力画像データＯＤは、平滑化領域ＳＡに対応する複数個の画素の値のそれぞれが平滑化処理のための平滑化パラメータＰ２を示す平滑化領域データＡＤ２を含む。この結果、学習済みの機械学習モデルＮＡ、ＮＢに出力画像データＯＤを生成させる（図７のＳ３１０）ことで、平滑化領域ＳＡに加えて、平滑化領域ＳＡに対して実行すべき平滑化処理の平滑化パラメータＰ２を適切に特定できる。

【0090】

例えば、エッジ強調処理と平滑化処理を行うために、強調パラメータＰ１や平滑化パラメータＰ２を設定することは、エッジ強調領域ＥＡや平滑化領域ＳＡの設定と同様に、作業者の感覚やノウハウに基づいて行われることが多い。従って、強調パラメータＰ１や平滑化パラメータＰ２の大きさの設定や変化のさせ方の設定の方法は、人間が言語で説明することや数式で説明することは困難である。しかしながら、このような感覚やノウハウに基づく設定方法の特徴は、実際に作業者が設定を行った結果に基づく教師画像データＴＤには現れている。このために、本実施例では、教師画像データＴＤを含む複数組のデータペアを用いて、強調パラメータＰ１や平滑化パラメータＰ２を設定する手法の特徴を機械学習モデルに学習させることで、適切な強調パラメータＰ１や平滑化パラメータＰ２を示す出力画像データＯＤを出力できるように機械学習モデルＮＡ、ＮＢをトレーニングしている。

【0091】

さらに、本実施例によれば、出力画像データＯＤは、エッジ強調領域ＥＡを示すエッジ強調領域データＡＤ１と、平滑化領域ＳＡを示す平滑化領域データＡＤ２と、を含む。この結果、例えば、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とが別々のデータであることで、平滑化領域ＳＡとエッジ強調領域ＥＡとが重なるように設定されることも許容される。例えば、図３の例では、人物の顔の鼻の上側部分ＮＳは、平滑化領域ＳＡにもエッジ強調領域ＥＡにも設定されている（図３（Ａ）～（Ｃ））。この結果、出力画像データＯＤを用いて柔軟な画像処理を実現できる。また、教師画像データＴＤにおいても、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とが別々のデータが用意されるので、教師画像データＴＤにおいても平滑化領域ＳＡとエッジ強調領域ＥＡの設定手法をより柔軟に表現することができる。エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とが別々の作業者によって生成される場合でも、特別な調整を行うことなく、該エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とを使用することができる。

【0092】

さらに、本実施例において、エッジ強調処理は、画像の特徴量の一種であるエッジ量を増加させる画像処理であり、平滑化処理は、該エッジ量を減少させる画像処理である。このように、入力画像ＩＩに対して、互いに相反する効果を有する複数個の画像処理を実行することが好ましい場合がある。本実施例によれば、互いに相反する画像処理を実行することが好ましい領域を画像処理ごとに適切に特定することができる。

【0093】

さらに、本実施例では、学習済みの機械学習モデルは、複数組の人物用のデータペアを用いてトレーニングされている人物用機械学習モデルＮＡと、複数組の風景用のデータペアを用いてトレーニングされている風景用機械学習モデルＮＢと、を含む。入力画像ＩＩのオブジェクトのカテゴリによって、平滑化領域ＳＡやエッジ強調領域ＥＡの設定手法やパラメータＰ１、Ｐ２の設定手法が異なる場合がある。人物を示す入力画像ＩＩ部では、例えば、主として髪の毛、目、鼻、口などを含む領域がエッジ強調領域ＥＡに設定され、主として平坦な肌を含む領域が平滑化領域ＳＡに設定される。例えば、風景を示す入力画像ＩＩでは、例えば、前景のうち、比較的エッジ量が多い部分がエッジ強調領域ＥＡに設定され、背景のうち、比較的エッジ量が少ない部分が平滑化領域ＳＡに設定されることが好ましい場合がある。このような場合には、特定のカテゴリに特化した学習済みの機械学習モデルをカテゴリごとに用意することが好ましい。特定のカテゴリのオブジェクトのための設定手法の特徴のみを、特定のカテゴリのデータペアを用いて学習させることで、特定のカテゴリの入力画像データＩＤが入力される場合に、精度良く平滑化領域ＳＡやエッジ強調領域ＥＡを特定できるように、機械学習モデルをトレーニングできるためである。例えば、本実施例によれば、人物用機械学習モデルＮＡと風景用機械学習モデルＮＢとが用意されているために、人物を示す入力画像データと風景を示す入力画像データとについて、それぞれ、精度良く平滑化領域ＳＡやエッジ強調領域ＥＡを特定できる。

【0094】

さらに、本実施例の画像処理装置２００において、入力画像データＩＤを学習済みの機械学習モデルＮＡ、ＮＢに入力して機械学習モデルＮＡ、ＮＢに入力画像データＩＤに対応する出力画像データＯＤを生成させる（図７のＳ３１０）ＣＰＵ２１０は、生成部の例である。入力画像データＩＤのうち、出力画像データＯＤを用いて特定されるエッジ強調領域ＥＡを示すデータに対してエッジ強調処理を実行し（図７のＳ３２５）、入力画像データＩＤのうち、出力画像データＯＤを用いて特定される平滑化領域ＳＡを示すデータに対して平滑化処理を実行する（図７のＳ３２０）ＣＰＵ２１０は、画像処理部の例である。この結果、画像処理装置２００は、学習済みの人物用機械学習モデルＮＡ、ＮＢに出力画像データＯＤを生成させることで、入力画像ＩＩ内のエッジ強調領域ＥＡと平滑化領域ＳＡとを適切に特定できる。したがって、例えば、画像処理装置２００は、エッジ強調処理と平滑化処理とを入力画像ＩＩ内の好ましい領域に対してそれぞれ実行することができる。これによって、例えば、入力画像ＩＩの見栄えを向上することができる。

【0095】

エッジ強調領域ＥＡと平滑化領域ＳＡとが重なる部分がある場合には、当該部分において、平滑化処理とエッジ強調処理とのうち、先に実行される処理の効果が後に実行される処理によって弱められる。平滑化処理とエッジ強調処理とを比較すると、エッジ強調処理の効果は、平滑化処理の効果よりも目立ちやすく、画像の見栄えを向上させる効果が大きい。このために、エッジ強調領域ＥＡと平滑化領域ＳＡとが重なる部分がある場合には、平滑化処理の後にエッジ強調処理を実行することが、画像の見栄えを向上させる観点から好ましい。本実施例の画像処理装置２００は、入力画像データＩＤに対して、平滑化処理（図７のＳ３２０）を実行した後にエッジ強調処理（図７のＳ３２５）を実行する。したがって、エッジ強調領域ＥＡと平滑化領域ＳＡとが重なる場合があっても適切に平滑化処理とエッジ強調処理とを実行することができるので、入力画像ＩＩの見栄えをより効果的に向上することができる。

【0096】

さらに、本実施例の機械学習モデルのトレーニング（図４）において、複数個の学習用の入力画像データＩＤを生成することによって取得する工程（図４のＳ１０）は、第１取得工程の例である。複数個の学習用の入力画像データＩＤに対応する複数個の教師画像データＴＤを生成することによって取得する工程（図４のＳ２０）は、第２取得工程の例である。それぞれが学習用の入力画像データＩＤと教師画像データＴＤとを含む複数組のデータペアを用いて、機械学習モデルＮＡ、ＮＢの演算に用いられる複数個の演算パラメータＰｅ、Ｐｄを調整する工程（図４のＳ３０、図５のＳ１１０～Ｓ１３０）は、調整工程の例である。本実施例の機械学習モデルのトレーニングによれば、エッジ強調領域ＥＡと、平滑化領域ＳＡと、を示す出力画像データＯＤを生成するように、機械学習モデルＮＡ、ＮＢをトレーニングできる。したがって、例えば、印刷処理（図７）などにおいて学習済みの機械学習モデルＮＡ、ＮＢに出力画像データＯＤを生成させる（図７のＳ３１０）ことで、エッジ強調領域ＥＡと平滑化領域ＳＡとを適切に特定できる。

【0097】

Ｂ．第２実施例
第２実施例では、図１に示すように、機械学習モデルＮＡ、ＮＢは、出力画像データＯＤに対して領域調整処理を実行して、調整済み出力画像データＯＤｂを生成する調整処理部ＡＭを備える。具体的には、調整処理部ＡＭとして機能するＣＰＵ２１０は、次に説明する第２実施例の印刷処理において、領域調整処理を実行する。図８は、第２実施例の印刷処理のフローチャートである。

【0098】

第２実施例の図８の印刷処理では、ＣＰＵ２１０は、第１実施例の図７の印刷処理のＳ３１０とＳ３２０との間に、Ｓ３１５Ｂの領域調整処理を実行する。領域調整処理は、エッジ強調領域ＥＡと平滑化領域ＳＡとが重ならないように、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とを調整する処理である。図８の印刷処理の他の処理は、図７の同一符号の処理と同一であるので説明を省略する。

【0099】

図９は、図８のＳ３１５Ｂの領域調整処理のフローチャートである。Ｓ４００では、ＣＰＵ２１０は、Ｓ３１０にて生成された出力画像データＯＤのエッジ強調領域データＡＤ１によって示されるエッジ強調領域画像ＥＩ（図３（Ｂ））内の複数個の画素の中から、１個の注目画素を選択する。

【0100】

Ｓ４０５では、ＣＰＵ２１０は、注目画素が重複画素であるか否かを判断する。ＣＰＵ２１０は、エッジ強調領域画像ＥＩ内の注目画素がエッジ強調領域ＥＡを構成する画素であり、かつ、注目画素に対応する平滑化領域画像ＳＩ内の対応画素が平滑化領域ＳＡを構成する画素である場合に、注目画素が重複画素であると判断する。ＣＰＵ２１０は、エッジ強調領域画像ＥＩ内の注目画素がエッジ強調領域ＥＡを構成する画素でない場合、または、注目画素に対応する平滑化領域画像ＳＩ内の対応画素が平滑化領域ＳＡを構成する画素でない場合に、注目画素が重複画素でないと判断する。

【0101】

注目画素が重複画素である場合には（Ｓ４０５：ＹＥＳ）、Ｓ４１０にて、ＣＰＵ２１０は、平滑化領域データＡＤ２にて規定された対応画素の平滑化パラメータＰ２は、エッジ強調領域データＡＤ１にて規定された注目画素の強調パラメータＰ１以上であるか否かを判断する。

【0102】

対応画素の平滑化パラメータＰ２が注目画素の強調パラメータＰ１以上である場合には（Ｓ４１０：ＹＥＳ）、エッジ強調処理よりも平滑化処理を実行することが好ましいと考えられるために、ＣＰＵ２１０は、Ｓ４１５とＳ４２０とを実行する。

【0103】

Ｓ４１５では、ＣＰＵ２１０は、対応画素の平滑化パラメータＰ２を、対応画素の平滑化パラメータＰ２と注目画素の強調パラメータＰ１との差分値（Ｐ２－Ｐ１）に変更する。すなわち、ＣＰＵ２１０は、平滑化領域データＡＤ２の対応画素の値を差分値（Ｐ２－Ｐ１）に変更する。これによって、注目画素および対応画素に対応する入力画像ＩＩの画素に対して、差分値（Ｐ２－Ｐ１）をパラメータとして用いる平滑化処理を実行することが決定される。

【0104】

Ｓ４２０では、ＣＰＵ２１０は、注目画素の強調パラメータＰ１を０に変更する。すなわち、ＣＰＵ２１０は、エッジ強調領域データＡＤ１の注目画素の値を０に変更する。これによって、注目画素および対応画素に対応する入力画像ＩＩの画素に対して、エッジ強調処理を実行しないことが決定される。

【0105】

対応画素の平滑化パラメータＰ２が注目画素の強調パラメータＰ１未満である場合には（Ｓ４１０：ＮＯ）、平滑化処理よりもエッジ強調処理を実行することが好ましいと考えられるために、ＣＰＵ２１０は、Ｓ４２５とＳ４３０とを実行する。

【0106】

Ｓ４２５では、ＣＰＵ２１０は、対応画素の平滑化パラメータＰ２を０に変更する。すなわち、ＣＰＵ２１０は、平滑化領域データＡＤ２の対応画素の値を０に変更する。これによって、注目画素および対応画素に対応する入力画像ＩＩの画素に対して、平滑化強調処理を実行しないことが決定される。

【0107】

Ｓ４３０では、ＣＰＵ２１０は、注目画素の強調パラメータＰ１を差分値（Ｐ１－Ｐ２）に変更する。すなわち、ＣＰＵ２１０は、エッジ強調領域データＡＤ１の注目画素の値を差分値（Ｐ１－Ｐ２）に変更する。これによって、注目画素および対応画素に対応する入力画像ＩＩの画素に対して、差分値（Ｐ１－Ｐ２）をパラメータとして用いるエッジ強調処理を実行することが決定される。

【0108】

注目画素が重複画素でない場合には（Ｓ４０５：ＮＯ）、ＣＰＵ２１０は、Ｓ４１０～Ｓ４３０をスキップして、Ｓ４４０に処理を進める。

【0109】

Ｓ４４０では、ＣＰＵ２１０は、エッジ強調領域画像ＥＩ内の全画素について処理したか否かを判断する。未処理の画素がある場合には（Ｓ４４０：ＮＯ）、ＣＰＵ２１０は、Ｓ４００に処理を戻す。エッジ強調領域画像ＥＩ内の全画素について処理した場合には（Ｓ４４０：ＹＥＳ）、ＣＰＵ２１０は、領域調整処理を終了する。

【0110】

図１０は、領域調整処理の説明図である。図１０（Ａ）には、領域調整処理によって調整される前のエッジ強調領域画像ＥＩの一部と、平滑化領域画像ＳＩの一部と、が例示されている。図１０（Ｂ）には、領域調整処理によって調整された後のエッジ強調領域画像ＥＩｂの一部と、平滑化領域画像ＳＩｂの一部と、が例示されている。図１０（Ａ）、（Ｂ）に示されたエッジ強調領域画像ＥＩ、ＥＩｂの一部と、平滑化領域画像ＳＩ、ＳＩｂの一部とは、互いに対応している。

【0111】

図１０（Ａ）において、調整前のエッジ強調領域画像ＥＩの上から１行目の画素の値（強調パラメータＰ１）は、２５０であり、調整前の平滑化領域画像ＳＩの上から１行目の画素の値（平滑化パラメータＰ２）は、２００である。これらの画素が注目画素である場合には、平滑化パラメータＰ２（２００）は強調パラメータＰ１（２５０）未満であると判断される（Ｓ４１０にてＮＯ）。このために、図１０（Ｂ）に示すように、調整後のエッジ強調領域画像ＥＩｂの上から１行目の画素の値（強調パラメータＰ１）は、差分値５０に設定され（Ｓ４３０）、調整後の平滑化領域画像ＳＩｂの上から１行目の画素の値（平滑化パラメータＰ２）は、０に設定される（Ｓ４２５）。

【0112】

図１０（Ａ）において、調整前のエッジ強調領域画像ＥＩの上から２行目の画素の値（強調パラメータＰ１）は、２００であり、調整前の平滑化領域画像ＳＩの上から２行目の画素の値（平滑化パラメータＰ２）は、２００である。これらの画素が注目画素である場合には、平滑化パラメータＰ２（２００）と強調パラメータＰ１（２００）とが等しいため、平滑化パラメータＰ２は強調パラメータＰ１以上であると判断される（Ｓ４１０にてＹＥＳ）。そして、平滑化パラメータＰ２と強調パラメータＰ１との差分値は０である。このために、図１０（Ｂ）に示すように、調整後のエッジ強調領域画像ＥＩｂの上から２行目の画素の値（強調パラメータＰ１）と、調整後の平滑化領域画像ＳＩｂの上から２行目の画素の値（平滑化パラメータＰ２）と、は、両方とも０に設定される。

【0113】

図１０（Ａ）において、調整前のエッジ強調領域画像ＥＩの上から３、４行目の画素の値（強調パラメータＰ１）は、それぞれ、１００、５０であり、調整前の平滑化領域画像ＳＩの上から３、４行目の画素の値（平滑化パラメータＰ２）は、２００である。これらの画素が注目画素である場合には、平滑化パラメータＰ２（２００）は強調パラメータＰ１（１００、５０）以上であると判断される（Ｓ４１０にてＹＥＳ）。このために、図１０（Ｂ）に示すように、調整後のエッジ強調領域画像ＥＩｂの上から３、４行目の画素の値（強調パラメータＰ１）は、０に設定され（Ｓ４２０）、調整後の平滑化領域画像ＳＩｂの上から３、４行目の画素の値（平滑化パラメータＰ２）は、それぞれ、１００、１５０に設定される（Ｓ４１５）。

【0114】

以上説明した第２実施例によれば、学習済みの機械学習モデルＮＡ、ＮＢの調整処理部ＡＭとして機能するＣＰＵ２１０は、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とを用いて、調整済み出力画像データＯＤｂ（調整済みの領域データＡＤ１、ＡＤ２）を生成する（図８の３１５Ｂ、図９、図１０）。調整済み出力画像データＯＤｂ（調整済みの領域データＡＤ１、ＡＤ２）は、エッジ強調領域ＥＡと平滑化領域ＳＡとが重なる場合に（図９のＳ４０５にてＹＥＳ）、互いに重ならないように調整されたエッジ強調領域ＥＡと平滑化領域ＳＡとを示すデータである（図１０）。この結果、調整済み出力画像データＯＤｂを用いてエッジ強調処理と平滑化処理とが実行される際に（図８のＳ３２０、Ｓ３２５）、特定の領域にエッジ強調処理と平滑化処理とが重複して実行されることを抑制できるので、エッジ強調処理と平滑化処理とのトータルの処理量を低減して、処理を高速化することができる。また、第２実施例では、特定の領域にエッジ強調処理と平滑化処理とが重複して実行されることを抑制できるので、平滑化処理とエッジ強調処理との実行順序は、逆であっても良い。

【0115】

さらに、第２実施例によれば、調整前のエッジ強調領域データＡＤ１によって示されるエッジ強調領域ＥＡと、調整前の平滑化領域データＡＤ２によって示される平滑化領域ＳＡと、が重なる重複領域（上述した重複画素で構成される領域）について、強調パラメータＰ１と平滑化パラメータＰ２とに基づいて、実行すべき画像処理（エッジ強調処理または平滑化処理）と、用いるべきパラメータ（Ｐ１とＰ２の差分値）と、が決定される（図９のＳ４１０～Ｓ４３０）。そして、実行すべき画像処理と、用いるべきパラメータと、を示す調整済み出力画像データＯＤｂ（調整済みの領域データＡＤ１、ＡＤ２）が生成される（図１０）。この結果、重複領域について、実行すべき画像処理と、用いるべきパラメータと、を適切に示す調整済み出力画像データＯＤｂを生成することができる。

【0116】

重複領域について、実行すべき画像処理は、エッジ強調処理と平滑化処理のうち、より高いレベルで実行されるべき処理であると考えられる。これを考慮して、本実施例では、エッジ強調処理と平滑化処理のうち、調整前の出力画像データＯＤにおいて規定されたパラメータが大きい方の処理が実行すべき画像処理として決定される（図９のＳ４１０～Ｓ４３０）。したがって、重複領域について、実行すべき画像処理を適切に決定できる。

【0117】

また、エッジ強調処理と平滑化処理とは互いに相反する処理であるので、重複領域について実行すべき一方の画像処理は、他方の画像処理が実行されない分だけ低いレベルで実行されるべきであると考えられる。これを考慮して、本実施例では、実行すべき一方の画像処理のためのパラメータは、強調パラメータＰ１と平滑化パラメータＰ２との差分値に決定される（図９のＳ４３０、Ｓ４１５）。この結果、重複領域について、実行すべき画像処理のパラメータを適切に決定できる。

【0118】

Ｃ．変形例
（１）上記各実施例では、出力画像データＯＤは、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２との２個の領域データを含む。これに代えて、例えば、出力画像データＯＤは、１個の領域データで、エッジ強調領域ＥＡと平滑化領域ＳＡとを示すデータであっても良い。この場合には、１個の領域データにおいて、正の値（パラメータ）を有する画素で構成される領域がエッジ強調領域ＥＡを示し、負の値を有する画素で構成される領域が平滑化領域ＳＡを示しても良い。

【0119】

（２）上記各実施例では、エッジ強調領域データＡＤ１は、エッジ強調領域ＥＡを示すとともに、強調パラメータＰ１を示している。これに代えて、エッジ強調領域データＡＤ１は、エッジ強調領域ＥＡを示し、強調パラメータＰ１を示さないデータ、例えば、二値データであっても良い。平滑化領域データＡＤ２についても同様である。

【0120】

（３）上記各実施例では、出力画像データＯＤは、エッジ強調領域ＥＡと平滑化領域ＳＡとを示すデータである。これに代えて、あるいは、これに加えて、出力画像データＯＤは、他の画像処理を実行することが好ましい領域を示しても良い。例えば、出力画像データＯＤは、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とに加えて、彩度を高くする補正処理を実行することが好ましい領域を示す領域データを含んでも良い。また、出力画像データＯＤは、エッジ強調領域データＡＤ１と平滑化領域データＡＤ２とに代えて、画像を明るくする補正処理を実行すべき領域を示す領域データと、画像を暗くする補正処理を実行すべき領域を示す領域データと、を含んでも良い。画像を明るくする補正処理は、画像の特徴量の一種である明度を増加させる画像処理である、と言うことができ、画像を暗くする補正処理は、画像の特徴量の一種である明度を減少させる画像処理である、と言うことができる。

【0121】

また、上記各実施例のエッジ強調処理および平滑化処理の具体的な手法は一例であり、これに限られない。例えば、平滑化処理は、ガウシアンフィルタに代えて、注目画素を中心とした所定範囲内の平均値を算出する平均化フィルタを用いて実行されても良い。

【0122】

（４）上記各実施例では、出力画像データＯＤによって、実行することが好ましい領域が示される２個の画像処理（具体的にはエッジ強調処理と平滑化処理）は、特定の特徴量（具体的にはエッジ量）を増加させる処理と特定の特徴量を減少させる処理である。これに代えて、実行することが好ましい領域が示される２個の画像処理は、互いに異なる特徴量を変更する処理であっても良い。例えば、該２個の画像処理は、エッジ量を増加させるエッジ強調処理と、彩度を増加させる処理と、であっても良い。

【0123】

（５）上記実施例では、出力画像データＯＤによって、実行することが好ましい領域が示される２個の画像処理（具体的にはエッジ強調処理と平滑化処理）は、互いに異なる式（上述の式（２）～（５）参照）を用いて、実行されている。これに代えて、２個の画像処理は、１個の式を用いて実行されても良い。例えば、２個の画像処理が、画像を明るくする補正処理と、画像を暗くする補正処理である場合には、パラメータで指定された量または割合だけ明度を変動させる１つの式を用いて実行されても良い。この場合には、例えば、パラメータが正の値である場合には、画像を明るくする補正処理となり、パラメータが負の値である場合には、画像を明るくする補正処理となる。

【0124】

（６）上記各実施例では、人物用機械学習モデルＮＡと、風景用機械学習モデルＮＢと、の２種類の機械学習モデルが用いられている。これに代えて、人物、昼の風景、夜景、動物など３種類以上のカテゴリに対応する３種類以上の機械学習モデルが用いられても良い。また、画像のカテゴリに拘わらずに用いられる汎用的な１つの機械学習モデルのみが用いられても良い。また、印刷処理において、画像のカテゴリの特定は、画像識別用の機械学習モデルＤＮを用いて実行されているが、これに代えて、ユーザによるカテゴリの指定に基づいて、画像のカテゴリが特定されても良い。

【0125】

（７）上記各実施例では、エッジ強調処理や平滑化処理は、印刷のために実行されているが、これに限らず、ディスプレイに表示するために実行されても良いし、保存用の画像ファイルの作成のために実行されても良い。

【0126】

（８）上記各実施例の機械学習モデル（生成ネットワークＧＮ）の構成は一例であり、これに限られない。例えば、生成ネットワークＧＮにおいて、畳込層や転置畳込層などの層数は、適宜に変更されて良い。また、各層で出力された値に対して実行される後処理も適宜に変更され得る。例えば、後処理に用いられる活性化関数は、任意の関数、例えば、ＲｅＬＵ、ＬｅａｋｙＲｅＬＵ、ＰＲｅＬＵ、ソフトマックス、シグモイドが用いられ得る。また、バッチノーマリゼイション、ドロップアウトなどの処理が後処理として適宜に追加や省略がされ得る。

【0127】

（９）上記実施例の機械学習モデルのトレーニングにおける損失関数の具体的な構成も適宜に変更され得る。例えば、誤差値ＥＶの算出には、クロスエントロピー誤差や平均絶対誤差や平均二乗誤差が用いられても良い。

【0128】

（１０）図１のトレーニング装置１００や画像処理装置２００のハードウェア構成は、一例であり、これに限られない。例えば、トレーニング装置１００のプロセッサは、ＣＰＵに限らず、ＧＰＵ（Graphics Processing Unit）やＡＳＩＣ（application specific integrated circuit）、あるいは、これらとＣＰＵとの組み合わせであっても良い。また、トレーニング装置１００や画像処理装置２００は、ネットワークを介して互いに通信可能な複数個の計算機（例えば、いわゆるクラウドサーバ）であっても良い。また、画像処理装置２００が実行する印刷処理の全部または一部は、プリンタ３００のプロセッサ（図示省略）によって実行されても良い。

【0129】

（１１）上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、生成ネットワークＧＮは、プログラムモジュールに代えて、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実現されてよい。

【0130】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨並びに特許請求の範囲を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0131】

１００…トレーニング装置,１１０…ＣＰＵ,１２０…揮発性記憶装置,１３０…不揮発性記憶装置,１４０…操作部,１５０…表示部,１７０…通信インタフェース,２００…画像処理装置,２１０…ＣＰＵ,２２０…揮発性記憶装置,２３０…不揮発性記憶装置,２４０…操作部,２５０…表示部,２７０…通信インタフェース,３００…プリンタ,ＡＤ１…エッジ強調領域データ,ＡＤ２…平滑化領域データ,ＡＭ…調整処理部,ＧＮ…生成ネットワーク,ＩＤ…入力画像データ,ＩＩＧ…撮影画像データ群,ＮＡ…人物用機械学習モデル,ＮＢ…風景用機械学習モデル,ＯＤ…出力画像データ,ＰＧ,ＰＧｓ…コンピュータプログラム,ＴＤ…教師画像データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】