特許 7335545 学習画像データの生成方法、予測モデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-22

(45)【発行日】2023-08-30

(54)【発明の名称】学習画像データの生成方法、予測モデル

(51)【国際特許分類】

   H04N 1/62 20060101AFI20230823BHJP

   G06T 1/00 20060101ALI20230823BHJP

   G06T 1/40 20060101ALI20230823BHJP

   G06N 20/00 20190101ALI20230823BHJP

【ＦＩ】

H04N1/62

G06T1/00 510

G06T1/40

G06N20/00 130

【請求項の数】 9

(21)【出願番号】P 2019180576

(22)【出願日】2019-09-30

(65)【公開番号】P2021057820

(43)【公開日】2021-04-08

【審査請求日】2022-08-30

(73)【特許権者】

【識別番号】000005267

【氏名又は名称】ブラザー工業株式会社

(74)【代理人】

【識別番号】110001058

【氏名又は名称】鳳国際弁理士法人

(72)【発明者】

【氏名】近藤 真樹

【審査官】豊田 好一

(56)【参考文献】

【文献】特開２０１９－１０９５６３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０２５９０９（ＷＯ，Ａ１）

【文献】特開２０１９－００８５９９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／４６－６２

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

予測モデルのトレーニングのための学習画像データの生成方法であって、
印刷用のシートを光学的に読み取って得られるシート画像の少なくとも一部である第１種背景画像と、オブジェクトの画像であるオブジェクト画像と、を用いて、前記第１種背景画像上に前記オブジェクトが配置された画像である第１種学習画像の第１種学習画像データを生成する第１生成工程と、
生成された第１種学習画像データを記憶装置に格納する第１格納工程と、
を備え、
前記第１生成工程は、
前記第１種学習画像上の前記オブジェクトを示す第１オブジェクト画素の色値を決定する工程であって、前記第１オブジェクト画素の色値を、前記オブジェクト画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種オブジェクト係数を乗じて得られる値と、前記第１種背景画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、
前記第１種学習画像上の前記オブジェクトが配置されない部分を示す第１背景画素の色値を決定する工程であって、前記第１背景画素の色値を、前記第１種背景画像上の前記第１背景画素の位置に対応付けられた画素の色値に前記第１種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、を含む、
生成方法。

【請求項2】

請求項１に記載の生成方法であって、
前記第１種背景画像上の複数の位置に対応付けられた複数の色値を代表する代表色値を特定する代表色値特定工程と、
前記代表色値によって表される第２種背景画像と、前記オブジェクト画像と、を用いて、前記第２種背景画像上に前記オブジェクトが配置された画像である第２種学習画像の第２種学習画像データを生成する第２生成工程と、
生成された第２種学習画像データを前記記憶装置に格納する第２格納工程と、
を備え、
前記第２生成工程は、
前記第２種学習画像上の前記オブジェクトを示す第２オブジェクト画素の色値を決定する工程であって、前記第２オブジェクト画素の色値を、前記オブジェクト画像上の前記第２オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第２種オブジェクト係数を乗じて得られる値と、前記第２種背景画像上の前記第２オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第２種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、
前記第２種学習画像上の前記オブジェクトが配置されない部分を示す第２背景画素の色値を決定する工程であって、前記第２背景画素の色値を、前記第２種背景画像上の前記第２背景画素の位置に対応付けられた画素の色値に前記第２種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、を含む、
生成方法。

【請求項3】

請求項２に記載の生成方法であって、
前記代表色値は、前記第１種背景画像上の前記複数の位置に対応付けられた前記複数の色値の平均値である、
生成方法。

【請求項4】

請求項１から３のいずれかに記載の生成方法であって、
前記オブジェクトは、第１方向に平行なＭ本（Ｍは２以上の整数）の線であって、前記第１方向に垂直な第２方向に並ぶＭ本の線を含む、
生成方法。

【請求項5】

請求項４に記載の生成方法であって、
前記第１生成工程をＱ回（Ｑは２以上の整数）行うことによって、Ｑ個の第１種学習画像のＱ個の第１種学習画像データを生成する工程を備え、
前記Ｑ個の第１種学習画像のそれぞれは、前記第１種学習画像に対応付けられた基準輝度とは異なる輝度と、前記第１種学習画像と前記線の前記第２方向の順番とに対応付けられた前記第２方向の基準位置とは異なる前記第２方向の位置と、前記第１種学習画像に対応付けられた基準幅とは異なる幅と、の３個のパラメータ値のうちの１個以上のパラメータ値を有する線である１以上の非基準線を含む、
生成方法。

【請求項6】

請求項５に記載の生成方法であって、
前記Ｑ個の第１種学習画像は、
前記基準輝度とは異なる前記輝度を有する１以上の非基準線を含む１以上の第１種学習画像と、
前記第２方向の前記基準位置とは異なる前記第２方向の前記位置に配置された１以上の非基準線を含む１以上の第１種学習画像と、
前記基準幅とは異なる前記幅を有する１以上の非基準線を含む１以上の第１種学習画像と、
を含む、生成方法。

【請求項7】

請求項５または６に記載の生成方法であって、
前記Ｑ個の第１種学習画像は、前記第１種学習画像に含まれる前記非基準線の総数が互いに異なる複数の第１種学習画像を含む、
生成方法。

【請求項8】

請求項１から７のいずれかに記載の生成方法であって、
前記オブジェクトは、文字を含む、
生成方法。

【請求項9】

オブジェクトが印刷されたシートを光学的に読み取って得られる画像である印刷シート画像の画像データの入力に対して、前記シートに印刷された前記オブジェクトに関連する情報である関連情報を生成するようにコンピュータを機能させるための予測モデルであって、
印刷用のシートを光学的に読み取って得られるシート画像の少なくとも一部である第１種背景画像と、オブジェクトの画像であるオブジェクト画像と、を用いて生成される画像データであって、前記第１種背景画像上に前記オブジェクトが配置された画像である第１種学習画像の第１種学習画像データを用いてトレーニングされており、
前記第１種学習画像データは、
前記第１種学習画像上の前記オブジェクトを示す第１オブジェクト画素の色値を決定する工程であって、前記第１オブジェクト画素の色値を、前記オブジェクト画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種オブジェクト係数を乗じて得られる値と、前記第１種背景画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、
前記第１種学習画像上の前記オブジェクトが配置されない部分を示す第１背景画素の色値を決定する工程であって、前記第１背景画素の色値を、前記第１種背景画像上の前記第１背景画素の位置に対応付けられた画素の色値に前記第１種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、
を含む生成方法によって生成されており、
前記第１種学習画像データは、不具合を有していないオブジェクトが配置された画像である基準画像のデータと、不具合を有するオブジェクトが配置された画像である非基準画像のデータと、を含み、
前記予測モデルは、
前記基準画像のデータの入力に対して、前記不具合を有していないオブジェクトに関連する関連情報を生成し、
前記非基準画像のデータの入力に対して、前記不具合を有するオブジェクトに関連する関連情報であって、前記基準画像のデータの入力に対して生成される関連情報とは異なる関連情報を生成する、
ようにトレーニングされており、
前記予測モデルは、前記印刷シート画像の前記画像データの入力に対して前記予測モデルの演算を行うことによって、
前記シートに印刷されたオブジェクトが不具合を有していない場合には、前記シートに印刷された前記不具合を有していないオブジェクトに関連する関連情報を生成し、
前記シートに印刷されたオブジェクトが不具合を有する場合には、前記シートに印刷された前記不具合を有するオブジェクトに関連する関連情報であって、前記シートに印刷されたオブジェクトが不具合を有していない場合に生成される関連情報とは異なる関連情報を生成する、
ようにコンピュータを機能させる、
予測モデル。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書は、画像データを処理する予測モデルに関する。

【背景技術】

【0002】

従来から種々の画像処理が行われている。例えば、スキャナ等の画像読取り装置によって取得した画像データの地肌色の色情報を判定し、判定結果に応じて地肌除去を行う技術が提案されている（特許文献１）。この技術では、さらに、彩度が所定の値以下となる領域に対し彩度をより低下させる補正を行うことにより、読取り時の色ずれに起因する画像の色付きを抑制している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１５２６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

近年、ニューラルネットワークやサポートベクタマシンなどの予測モデルを用いて画像データを処理する技術が開発されている。適切な処理を行うために、予測モデルは、学習画像データを用いてトレーニングされる。ところが、適切なトレーニングのための学習画像データを準備することは容易ではなかった。

【0005】

本明細書は、光学的な読取りによって得られる画像データを処理する予測モデルのトレーニングのための学習画像データを、適切に、生成する技術を開示する。

【課題を解決するための手段】

【0006】

本明細書に開示された技術は、以下の適用例として実現することが可能である。

【0007】

［適用例１］予測モデルのトレーニングのための学習画像データの生成方法であって、印刷用のシートを光学的に読み取って得られるシート画像の少なくとも一部である第１種背景画像と、オブジェクトの画像であるオブジェクト画像と、を用いて、前記第１種背景画像上に前記オブジェクトが配置された画像である第１種学習画像の第１種学習画像データを生成する第１生成工程と、生成された第１種学習画像データを記憶装置に格納する第１格納工程と、を備え、前記第１生成工程は、前記第１種学習画像上の前記オブジェクトを示す第１オブジェクト画素の色値を決定する工程であって、前記第１オブジェクト画素の色値を、前記オブジェクト画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種オブジェクト係数を乗じて得られる値と、前記第１種背景画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、前記第１種学習画像上の前記オブジェクトが配置されない部分を示す第１背景画素の色値を決定する工程であって、前記第１背景画素の色値を、前記第１種背景画像上の前記第１背景画素の位置に対応付けられた画素の色値に前記第１種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、を含む、生成方法。

【0008】

この構成によれば、第１種学習画像は、オブジェクトが印刷されたシートを光学的に読み取って得られる画像を適切に表現できるので、オブジェクトが印刷されたシートを実際に光学的に読み取って得られる画像データを処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0009】

［適用例２］適用例１に記載の生成方法であって、前記第１種背景画像上の複数の位置に対応付けられた複数の色値を代表する代表色値を特定する代表色値特定工程と、前記代表色値によって表される第２種背景画像と、前記オブジェクト画像と、を用いて、前記第２種背景画像上に前記オブジェクトが配置された画像である第２種学習画像の第２種学習画像データを生成する第２生成工程と、生成された第２種学習画像データを前記記憶装置に格納する第２格納工程と、を備え、前記第２生成工程は、前記第２種学習画像上の前記オブジェクトを示す第２オブジェクト画素の色値を決定する工程であって、前記第２オブジェクト画素の色値を、前記オブジェクト画像上の前記第２オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第２種オブジェクト係数を乗じて得られる値と、前記第２種背景画像上の前記第２オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第２種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、前記第２種学習画像上の前記オブジェクトが配置されない部分を示す第２背景画素の色値を決定する工程であって、前記第２背景画素の色値を、前記第２種背景画像上の前記第２背景画素の位置に対応付けられた画素の色値に前記第２種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、を含む、生成方法。

【0010】

この構成によれば、第２種学習画像は、第１種学習画像のノイズを低減して得られる画像を適切に表現できるので、ノイズを含む第１種学習画像とノイズが低減された第２種学習画像とを用いるトレーニングのための学習画像データを、適切に、生成できる。

【0011】

［適用例３］適用例２に記載の生成方法であって、前記代表色値は、前記第１種背景画像上の前記複数の位置に対応付けられた前記複数の色値の平均値である、生成方法。

【0012】

この構成によれば、第２種背景画像は、第１種背景画像と比べてノイズが低減された背景画像を適切に表すことができるので、適切な第２種学習画像データを生成できる。

【0013】

［適用例４］適用例１から３のいずれかに記載の生成方法であって、前記オブジェクトは、第１方向に平行なＭ本（Ｍは２以上の整数）の線であって、前記第１方向に垂直な第２方向に並ぶＭ本の線を含む、生成方法。

【0014】

この構成によれば、平行なＭ本の線を含むオブジェクトの画像を処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0015】

［適用例５］適用例４に記載の生成方法であって、前記第１生成工程をＱ回（Ｑは２以上の整数）行うことによって、Ｑ個の第１種学習画像のＱ個の第１種学習画像データを生成する工程を備え、前記Ｑ個の第１種学習画像のそれぞれは、前記第１種学習画像に対応付けられた基準輝度とは異なる輝度と、前記第１種学習画像と前記線の前記第２方向の順番とに対応付けられた前記第２方向の基準位置とは異なる前記第２方向の位置と、前記第１種学習画像に対応付けられた基準幅とは異なる幅と、の３個のパラメータ値のうちの１個以上のパラメータ値を有する線である１以上の非基準線を含む、生成方法。

【0016】

この構成によれば、１以上の非基準線を含むオブジェクトの画像を処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0017】

［適用例６］適用例５に記載の生成方法であって、前記Ｑ個の第１種学習画像は、前記基準輝度とは異なる前記輝度を有する１以上の非基準線を含む１以上の第１種学習画像と、前記第２方向の前記基準位置とは異なる前記第２方向の前記位置に配置された１以上の非基準線を含む１以上の第１種学習画像と、前記基準幅とは異なる前記幅を有する１以上の非基準線を含む１以上の第１種学習画像と、を含む、生成方法。

【0018】

この構成によれば、輝度と第２方向の位置と幅とのそれぞれが変化し得る場合に、オブジェクトの画像を処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0019】

［適用例７］適用例５または６に記載の生成方法であって、前記Ｑ個の第１種学習画像は、前記第１種学習画像に含まれる前記非基準線の総数が互いに異なる複数の第１種学習画像を含む、生成方法。

【0020】

この構成によれば、非基準線の総数が変化し得る場合に、オブジェクトの画像を処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0021】

［適用例８］適用例１から７のいずれかに記載の生成方法であって、前記オブジェクトは、文字を含む、生成方法。

【0022】

この構成によれば、文字を含むオブジェクトの画像を処理する予測モデルのトレーニングのための学習画像データを、適切に、生成できる。

【0023】

［適用例９］オブジェクトが印刷されたシートを光学的に読み取って得られる画像である印刷シート画像の画像データに基づいて、前記シートに印刷された前記オブジェクトに関連する情報である関連情報を生成するようにコンピュータを機能させるための予測モデルであって、印刷用のシートを光学的に読み取って得られるシート画像の少なくとも一部である第１種背景画像と、オブジェクトの画像であるオブジェクト画像と、を用いて生成される画像データであって、前記第１種背景画像上に前記オブジェクトが配置された画像である第１種学習画像の第１種学習画像データを用いてトレーニングされており、前記第１種学習画像データは、前記第１種学習画像上の前記オブジェクトを示す第１オブジェクト画素の色値を決定する工程であって、前記第１オブジェクト画素の色値を、前記オブジェクト画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種オブジェクト係数を乗じて得られる値と、前記第１種背景画像上の前記第１オブジェクト画素の位置に対応付けられた画素の色値にゼロよりも大きい第１種背景係数を乗じて得られる値と、の合計値を用いて決定する工程と、前記第１種学習画像上の前記オブジェクトが配置されない部分を示す第１背景画素の色値を決定する工程であって、前記第１背景画素の色値を、前記第１種背景画像上の前記第１背景画素の位置に対応付けられた画素の色値に前記第１種背景係数よりも大きい係数を乗じて得られる値を用いて決定する工程と、を含む生成方法によって生成されている、予測モデル。

【0024】

なお、本明細書に開示の技術は、種々の態様で実現することが可能であり、例えば、予測モデルのトレーニング方法およびトレーニングを実行するトレーニング装置、学習済の予測モデルを用いる画像データの処理方法および処理装置、画像データを用いる判断方法および判断装置、それらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体（例えば、一時的ではない記録媒体）、等の形態で実現することができる。

【図面の簡単な説明】

【0025】

【図1】実施例のデータ処理装置を示す説明図である。

【図2】（Ａ）、（Ｂ）は、ノズルパターンＮＰの例を示す説明図である。

【図3】学習モデル２３５の説明図である。

【図4】学習データの生成処理の例を示すフローチャートである。

【図5】（Ａ）は、基準ベースパターン画像生成処理の例を示すフローチャートである。（Ｂ）は、基準ベースパターン画像の例を示す説明図である。

【図6】（Ａ）は、非基準ベースパターン画像生成処理の例を示すフローチャートである。（Ｂ）は、非基準ベースパターン画像の例を示す説明図である。

【図7】（Ａ）は、背景画像生成処理の例を示すフローチャートである。（Ｂ）は、第１種背景画像の例を示す説明図である。

【図8】（Ａ）－（Ｄ）は、ノイズ含有パターン画像の説明図である。

【図9】（Ａ）－（Ｄ）は、ノイズ低減パターン画像の説明図である。（Ｅ）は、コントラスト強調処理の例を示すグラフである。

【図10】（Ａ）－（Ｃ）は、トレーニング処理の説明図である。

【図11】（Ａ）－（Ｄ）は、線ＰＬの位置の説明図である。

【図12】画像処理の例を示すフローチャートである。

【図13】学習モデルの別の実施例の説明図である。

【図14】学習データの生成処理の別の実施例を示すフローチャートである。

【図15】（Ａ）－（Ｄ）は、学習データの説明図である。

【図16】学習モデルの別の実施例の説明図である。

【発明を実施するための形態】

【0026】

Ａ．第１実施例：
Ａ１．装置構成：
図１は、実施例のデータ処理装置を示す説明図である。本実施例では、複合機２００が、データ処理に利用される。複合機２００は、制御部２０５と、印刷部２６０と、読取部３００と、を有している。制御部２０５は、プロセッサ２１０と、記憶装置２１５と、表示部２４０と、操作部２５０と、通信インタフェース２７０と、を有している。これらの要素は、バスを介して互いに接続されている。記憶装置２１５は、揮発性記憶装置２２０と、不揮発性記憶装置２３０と、を含んでいる。

【0027】

プロセッサ２１０は、データ処理を行う装置であり、例えば、ＣＰＵである。揮発性記憶装置２２０は、例えば、ＤＲＡＭであり、不揮発性記憶装置２３０は、例えば、フラッシュメモリである。

【0028】

不揮発性記憶装置２３０は、第１プログラム２３１と、第２プログラム２３２と、第３プログラム２３３と、学習モデル２３５と、フィルタデータＦＬＤと、を格納している。本実施例では、学習モデル２３５は、人工ニューラルネットワークの予測モデルであり、後述するトレーニング処理によってトレーニングされる機械学習モデルである。本実施例では、学習モデル２３５は、プログラムモジュールである。学習モデル２３５の詳細については、後述する。

【0029】

プロセッサ２１０は、第１プログラム２３１と、第２プログラム２３２と、第３プログラム２３３と、学習モデル２３５と、の実行に利用される種々の中間データを、記憶装置２１５（例えば、揮発性記憶装置２２０、不揮発性記憶装置２３０のいずれか）に、一時的に格納する。

【0030】

表示部２４０は、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイなどの、画像を表示する装置である。操作部２５０は、ボタン、レバー、表示部２４０上に重ねて配置されたタッチパネルなどの、ユーザによる操作を受け取る装置である。通信インタフェース２７０は、他の装置と通信するためのインタフェースである（例えば、ＵＳＢインタフェース、有線ＬＡＮインタフェース、IEEE802.11の無線インタフェース）。

【0031】

印刷部２６０は、所定の方式（例えば、レーザ方式や、インクジェット方式）で、用紙（印刷媒体の一例）上に画像を印刷する装置である。

【0032】

読取部３００は、ＣＣＤやＣＭＯＳなどの光電変換素子を用いて光学的に原稿等の対象物を読み取る読取装置である。読取部３００は、読み取った画像（「読取画像」と呼ぶ）を表す読取データを生成する。本実施例では、読取データは、読取画像を表すグレースケールのビットマップデータである。本実施例では、ビットマップデータの輝度値は、０から２５５までの２５６階調で表されることとする。

【0033】

図中には、複合機２００とは別の印刷装置１００が示されている。印刷装置１００は、用紙上に画像を印刷するインクジェット方式の印刷装置である。本実施例では、印刷装置１００は、シアン、マゼンタ、イエロ、ブラックの４種類のインクを利用する。印刷装置１００は、インク滴を吐出するための複数のノズルを有する印刷ヘッド１１０を備えている。印刷ヘッド１１０は、ノズルに関する種々の不具合を有し得る。不具合を特定するために、印刷装置１００によってシートＳＨ２上にノズルパターンＮＰが印刷される。本実施例では、シートＳＨ２は、紙のシートである。ただし、布、フィルムなどの他の種類のシートが用いられてもよい。

【0034】

図２（Ａ）、図２（Ｂ）は、ノズルパターンＮＰの例を示す説明図である。図２（Ａ）は、印刷ヘッド１１０が不具合を有していない場合を示し、図２（Ｂ）は、印刷ヘッド１１０が不具合を有している場合を示している。各図中には、シートＳＨ２上に印刷されたノズルパターンＮＰと、印刷ヘッド１１０と、印刷ヘッド１１０に設けられた複数のノズルＮｚと、互いに垂直な方向Ｄ１、Ｄ２と、が示されている。図中には、１種類のインクを吐出するためのＭ個（Ｍは２以上の整数）のノズルＮｚが示されている。ノズルパターンＮＰは、処理対象の１種類のインクのＭ個のノズルＮｚを用いて、印刷される。

【0035】

第１方向Ｄ１は、印刷ヘッド１１０の走査方向である。印刷装置１００は、印刷ヘッド１１０を第１方向Ｄ１に平行な方向に移動させる移動装置を備えている（図示せず）。印刷ヘッド１１０は、シートに対して第１方向Ｄ１に平行な方向に移動しつつ、ノズルＮｚからインク滴を吐出することによってシート上にインクドットを形成する。第２方向Ｄ２は、シートの搬送方向である。印刷装置１００は、シートを第２方向Ｄ２に移動させる搬送装置を備えている（図示省略）。印刷装置１００は、印刷ヘッド１１０を移動させつつインクドットを形成する走査処理と、シートを搬送する搬送処理と、を繰り返すことによって、シート上に画像を印刷する。

【0036】

Ｍ個のノズルＮｚの間では、第２方向Ｄ２の位置が互いに異なっている。Ｍ個のノズルＮｚの第２方向Ｄ２の位置は、第２方向Ｄ２に等間隔で並んでいる。ノズルパターンＮＰは、第１方向Ｄ１に平行なＭ本の線ＰＬで構成されている。Ｍ本の線ＰＬは、第１方向Ｄ１に垂直な第２方向Ｄ２に並んでいる。１本の線ＰＬは、１個のノズルＮｚによって、１回の走査処理で印刷される。図中には、各線ＰＬの中心軸ＡｘＰが示されている。各線ＰＬは、中心軸ＡｘＰに対して線対称な形状を有している。

【0037】

Ｍ個のノズルが不具合を有していない場合（図２（Ａ））、Ｍ本の線ＰＬの間では、第２方向Ｄ２の線ＰＬの幅と線ＰＬの色とは同じである。また、Ｍ本の線ＰＬは、第２方向Ｄ２に等間隔で並んでいる。以下、不具合の無いノズルＮｚによって印刷される線ＰＬを、基準線とも呼ぶ。

【0038】

図２（Ｂ）の例では、３個のノズルＮｚａ、Ｎｚｂ、Ｎｚｃが、不具合を有している。第１ノズルＮｚａによって印刷される第１線ＰＬａは、第２方向Ｄ２とは反対の方向にずれた位置に印刷されている。このようなインクドットの位置ずれは、ノズルＮｚの加工の不具合などの種々の原因に起因して生じ得る。第２ノズルＮｚｂによって印刷される第２線ＰＬｂの幅は、通常の線ＰＬの幅よりも細い（すなわち、インクドットのサイズが小さい）。このようなインクドットのサイズのずれは、インク滴を吐出するためのノズルの駆動装置（ピエゾ素子やヒータなど）の不具合などの種々の原因に起因して生じ得る。第３ノズルＮｚｃによって印刷される第３線ＰＬｃの色は、通常の線ＰＬの色よりも薄い。このような色のずれは、印刷ヘッド１１０内でのインクの浸透による２種類のインクの混合などの種々の原因に起因して生じ得る。このように、線ＰＬの構成（位置、幅、濃さ、等）が基準線の構成と異なる場合、その線ＰＬを印刷したノズルＮｚは不具合を有している。以下、基準線の構成とは異なる構成を有する線ＰＬを、非基準線とも呼ぶ。

【0039】

複数の線ＰＬのそれぞれの構成（位置、幅、濃さ、等）を特定するために、ノズルパターンＮＰが印刷されたシートＳＨ２は、読取部３００（図１）によって読み取られる。例えば、印刷装置１００の製造時に、作業者は、ノズルパターンＮＰの読取画像を観察することによって、複数の線ＰＬのそれぞれの構成を特定でき、ノズルＮｚの不具合を検出できる。ここで、薄いインクを用いてノズルパターンＮＰを印刷すれば、ノズルパターンＮＰの印刷のためのインクのコストを低減できる。この場合も、読取画像の明度補正（例えば、コントラスト強調処理）を行うことによって、ノズルパターンＮＰの視認性を向上できる。しかし、単純な明度補正（例えば、トーンカーブを調整する明度補正）は、ノズルパターンＮＰに加えてノイズも強調し得る。例えば、紙のシートＳＨ２の繊維のパターンや、デジタルの画像処理に起因するノイズが、強調され得る。学習モデル２３５（図１）は、ノズルパターンＮＰの読取データから、ノイズが低減されたノズルパターンＮＰの画像データを生成するためのモデルである。

【0040】

図３は、学習モデル２３５の説明図である。学習モデル２３５には、ノズルパターンＮＰの入力画像９５０ｉを表す入力データ９５０が入力される。入力データ９５０は、シートＳＨ２（図１）の読取データからノズルパターンＮＰを示す部分を切り出すクロップ処理を実行することによって得られるデータである（切り出される部分は、予め決められている）。後述するように、学習モデル２３５は、入力データ９５０を用いて、同じノズルパターンＮＰの出力画像９７０ｉを表す出力データ９７０を生成する。

【0041】

入力画像９５０ｉと出力画像９７０ｉとは、横方向Ｄｘに平行な２辺と、横方向Ｄｘに垂直な縦方向Ｄｙに平行な２辺と、を有する矩形状の画像である。これらの画像９５０ｉ、９７０ｉは、横方向Ｄｘと縦方向Ｄｙとに沿ってマトリクス状に並ぶ複数の画素のそれぞれの色値（本実施例では、輝度値）によって、表されている。入力画像９５０ｉのサイズ（横方向Ｄｘの画素数ＩＷと縦方向Ｄｙの画素数ＩＨ）は、予め決められている。出力画像９７０ｉのサイズは、入力画像９５０ｉのサイズと同じである。図中の方向Ｄ１、Ｄ２は、ノズルパターンＮＰに対する印刷装置１００の方向Ｄ１、Ｄ２を示している。以下、第１方向Ｄ１が縦方向Ｄｙとおおよそ同じであり、第２方向Ｄ２が横方向Ｄｘとおおよそ同じであるように、入力データ９５０が生成されることとする。

【0042】

本実施例では、学習モデル２３５は、１個の畳込層３１０で構成されている。畳込層３１０には、入力データ９５０が入力される。畳込層３１０は、１個の畳込フィルタＦＬを用いる畳込処理(convolution)を実行する（以下、畳込フィルタＦＬを、単に「フィルタＦＬ」とも呼ぶ）。畳込層３１０による畳込処理は、入力されたデータとフィルタＦＬとの相関を示す相関値を算出する処理である。図中の横サイズＦｘは、フィルタＦＬの横方向Ｄｘのサイズ（画素数）を示し、縦サイズＦｙは、フィルタＦＬの縦方向Ｄｙのサイズ（画素数）を示している。本実施例では、Ｆｘ＝５、Ｆｙ＝５である。フィルタＦＬは、Ｆｘ×Ｆｙ個の重みＷを含んでいる。図中の各重みＷに付された括弧内の番号（ｉ，ｊ）は、フィルタＦＬ内の横方向Ｄｘの位置ｉと縦方向Ｄｙの位置ｊとを示している。

【0043】

畳込層３１０は、入力データ９５０からフィルタＦＬの位置に対応する部分の「Ｆｘ×Ｆｙ」個の画素の「Ｆｘ×Ｆｙ」個の輝度値のリストを取得する。畳込層３１０は、取得されたリストと、フィルタＦＬの「Ｆｘ×Ｆｙ」個の重みのリストと、の内積を算出する。本実施例では、バイアスの加算処理は、省略される。畳込層３１０は、内積を活性化関数に入力する。活性化関数の算出値が、相関値を示している。本実施例では、活性化関数は、恒等関数である。相関値の算出は、フィルタＦＬをスライドさせながら、フィルタＦＬの複数の位置のそれぞれにおいて、行われる。畳込層３１０は、フィルタＦＬの複数の位置のそれぞれにおける相関値を示すビットマップデータを生成する。生成されるビットマップデータが、出力データ９７０である。出力画像９７０ｉの画素の位置は、フィルタＦＬの位置を示している。本実施例では、出力画像９７０ｉのサイズ（すなわち、横方向Ｄｘの画素数と縦方向Ｄｙの画素数）が、入力画像９５０ｉのサイズと同じとなるように、畳込処理が行われる。従って、ストライド（フィルタをスライドさせる量）は、１である。また、入力画像９５０ｉの周囲では、ゼロパディングによって、画素が補われる。

【0044】

Ａ２．学習画像データの生成処理：
図４は、学習モデル２３５のトレーニングに利用される学習データの生成処理の例を示すフローチャートである。本実施例では、ノイズを含むノズルパターンＮＰの画像データであるノイズ含有データと、ノイズが低減された同じノズルパターンＮＰの画像データであるノイズ低減データとが、生成される。後述するトレーニングでは、ノイズ含有データが学習モデル２３５に入力されることによって、学習モデル２３５は、出力データを生成する。この出力データとノイズ低減データとの間の差が小さくなるように、フィルタＦＬの重みが調整される。トレーニングされた学習モデル２３５は、ノイズを含むノズルパターンＮＰの画像データを用いて、ノイズが低減された同じノズルパターンＮＰの画像データを生成できる。本実施例では、プロセッサ２１０（図１）は、第１プログラム２３１に従って、学習画像データを生成する。

【0045】

Ｓ１０５では、プロセッサ２１０（図１）は、読取部３００にシートＳＨ１を読み取らせることによって、シートＳＨ１の読取データを取得する。シートＳＨ１としては、ノズルパターンＮＰの印刷に利用され得るシートであって、ノズルパターンＮＰが印刷されていない空白のシートが用いられる。なお、ノズルパターンＮＰは、普通紙、再生紙などの種々の種類のシートに印刷され得る。また、同じ種類の複数枚のシートの間で、特性が異なり得る。例えば、複数枚の普通紙の間で、明るさが異なり得る。Ｓ１０５では、互いに異なる特性を有する複数枚のシートを読み取ることによって、複数個の読取データが取得される（以下、読取データの読取画像を、シート画像とも呼ぶ）。読取データは、後述する背景画像の画像データとして、利用される。プロセッサ２１０は、取得した読取データを、不揮発性記憶装置２３０に格納する。

【0046】

Ｓ１１０では、プロセッサ２１０は、ノズルパターンＮＰの種類を、基準と非基準とから選択する。基準は、基準線のみで構成されるノズルパターンＮＰを示し、非基準は、１以上の非基準線を含むノズルパターンＮＰを示している。プロセッサ２１０は、未完了の種類を選択する。Ｓ１２０では、プロセッサ２１０は、選択された種類を特定する。基準が選択された場合、プロセッサ２１０は、Ｓ１３０で、基準ベースパターン画像生成処理を実行し、Ｓ１５０へ移行する。非基準が選択された場合、プロセッサ２１０は、Ｓ１４０で、非基準ベースパターン画像生成処理を実行し、Ｓ１５０へ移行する。

【0047】

図５（Ａ）は、図４のＳ１３０の基準ベースパターン画像生成処理の例を示すフローチャートである。図５（Ｂ）は、基準ベースパターン画像の例を示す説明図である。基準ベースパターン画像８１０は、基準線のみで構成されるノズルパターンＮＰの画像であり、入力画像９５０ｉ（図３）と同じサイズの画像である。図５（Ｂ）の例では、基準ベースパターン画像８１０は、Ｍ本の線ＰＬ０－ＰＬｋを示している。線の符号の「ＰＬ」に続く番号は、個々の線ＰＬを識別する番号であり、横方向Ｄｘに向かって昇順に並ぶように、ゼロから順番に割り当てられている（なお、ｋ＝Ｍ－１）。中心軸Ａｘ０－Ａｘｋは、それぞれ、線ＰＬ０－ＰＬｋの中心軸である。中心軸Ａｘ０－Ａｘｋは、縦方向Ｄｙに平行である。線ＰＬ０－ＰＬｋの形状は、中心軸Ａｘ０－Ａｘｋを中心とする矩形状であり、中心軸Ａｘ０－Ａｘｋを対称軸とする線対称である。

【0048】

Ｓ２１０（図５（Ａ））では、プロセッサ２１０は、基準ベースパターン画像８１０の全ての画素の輝度値を白（２５５）に初期化し、注目番号ｎをゼロに初期化する。

【0049】

Ｓ２１５では、プロセッサ２１０は、予め決められた基準幅範囲内から、ランダムに（例えば、乱数に従って）、基準線幅ｎＷを決定する。基準幅範囲は、基準線の幅の許容範囲であり、ゼロよりも大きい下限幅以上、上限幅以下の範囲である。基準幅範囲は、例えば、現実の複数の入力画像９５０ｉ（図３）上の複数の基準線の幅の分布範囲に設定されてよい。

【0050】

Ｓ２２０では、プロセッサ２１０は、予め決められた基準色範囲内から、ランダムに、基準線色ｎＤを決定する。基準色範囲は、基準線の色（ここでは、輝度値）の許容範囲であり、ゼロ以上、上限輝度値以下の範囲である。基準色範囲は、例えば、現実の複数の入力画像９５０ｉ上の複数の基準線の色の分布範囲に設定されてよい。

【0051】

Ｓ２２５では、プロセッサ２１０は、左端線の横方向Ｄｘの基準位置ｎＳを決定する。左端線は、基準ベースパターン画像８１０（図５（Ｂ））内の左側（すなわち、横方向Ｄｘとは反対方向側）の端の線ＰＬ０である。本実施例では、予め決められた基準位置範囲内から、ランダムに、基準位置ｎＳが選択される。基準位置範囲は、基準線の位置の許容範囲であり、第１位置以上、第２位置以下の範囲である。基準位置範囲は、例えば、現実の複数の入力画像９５０ｉ上の複数の左端線の位置の分布範囲に設定されてよい。

【0052】

Ｓ２６０では、プロセッサ２１０は、注目番号ｎによって特定される注目線ＰＬｎの左端位置ｎＬと右端位置ｎＲとを算出する。図５（Ｂ）には、線ＰＬ０の左端位置ｎＬと右端位置ｎＲとが示されている。左端位置ｎＬは、横方向Ｄｘとは反対方向側の端の位置であり、右端位置ｎＲは、横方向Ｄｘの端の位置である。本実施例では、基準線幅ｎＷを有するＭ本の線ＰＬは、横方向Ｄｘに向かって等間隔で並べて配置される。隣り合う２本の線ＰＬの間の横方向Ｄｘの位置の差ｎＰは、予め決められている。以上により、ｎＬ＝ｎＳ＋ｎＰ×ｎであり、ｎＲ＝ｎＳ＋ｎＰ×ｎ＋ｎＷである。

【0053】

Ｓ２６５では、プロセッサ２１０は、基準ベースパターン画像８１０上において、注目線ＰＬｎの内部を基準線色ｎＤで塗りつぶす。具体的には、左端位置ｎＬから右端位置ｎＲまでの範囲に含まれる複数の画素の輝度値が、基準線色ｎＤに設定される。

【0054】

Ｓ２９０では、プロセッサ２１０は、注目番号ｎに１を加算する。Ｓ２９５では、プロセッサ２１０は、Ｍ本の全ての線ＰＬの処理が完了したか否かを判断する。未処理の線ＰＬが残っている場合（Ｓ２９５：Ｎｏ）、プロセッサ２１０は、Ｓ２６０へ移行する。Ｍ本の線ＰＬの処理が完了した場合（Ｓ２９５：Ｙｅｓ）、プロセッサ２１０は、Ｓ２９７で、基準ベースパターン画像を表す基準ベースパターン画像データを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図５（Ａ）の処理、すなわち、図４のＳ１３０の処理を終了する。

【0055】

図６（Ａ）は、図４のＳ１４０の非基準ベースパターン画像生成処理の例を示すフローチャートである。図６（Ｂ）は、非基準ベースパターン画像の例を示す説明図である。非基準ベースパターン画像８２０は、非基準線を含むノズルパターンＮＰの画像であり、入力画像９５０ｉ（図３）と同じサイズの画像である。図６（Ｂ）では、図５（Ｂ）と同様に、複数の線に符号ＰＬ０－ＰＬｋが付されている。図６（Ｂ）の例では、３本の線ＰＬ１、ＰＬ２、ＰＬ３が、非基準線である（詳細は後述）。

【0056】

図６（Ａ）のＳ２１０、Ｓ２１５、Ｓ２２０、Ｓ２２５は、図５（Ａ）のＳ２１０、Ｓ２１５、Ｓ２２０、Ｓ２２５と、それぞれ同じである。Ｓ２４０では、プロセッサ２１０は、Ｍ本の線ＰＬのそれぞれの線幅ｐＷを決定する。本実施例では、プロセッサ２１０は、Ｍ本の線ＰＬから、ランダムに、第１非基準線を選択する。第１非基準線として選択されなかった線の線幅ｐＷは、基準線幅ｎＷに設定される。第１非基準線の線幅は、予め決められた非基準幅範囲内から、ランダムに選択される。非基準幅範囲は、ゼロ以上、非基準上限幅以下の範囲である。ゼロの幅は、線が無いことを示している。非基準上限幅は、図５（Ａ）のＳ２１５で説明した基準幅範囲の上限幅と同じであってよい。図６（Ｂ）では、第１非基準線ＰＬ２の幅ｐＷが、基準線幅ｎＷと異なっている。

【0057】

Ｓ２４５では、プロセッサ２１０は、Ｍ本の線のそれぞれの色ｐＤ（ここでは、輝度値）を決定する。本実施例では、プロセッサ２１０は、Ｍ本の線から、ランダムに、第２非基準線を選択する。第２非基準線として選択されなかった線の色ｐＤは、基準線色ｎＤに設定される。第２非基準線の色ｐＤは、予め決められた非基準色範囲内から、ランダムに選択される。非基準色範囲は、ゼロ以上、非基準上限輝度値以下の範囲である。非基準上限輝度値は、図５（Ａ）のＳ２２０で説明した基準色範囲の上限輝度値と同じであってよく、上限輝度値よりも大きくてもよい。図６（Ｂ）では、第２非基準線ＰＬ３の色ｐＤが、基準線色ｎＤと異なっている。

【0058】

Ｓ２５０では、プロセッサ２１０は、Ｍ本の線のそれぞれの横方向Ｄｘの位置ずれ量ｐＺを決定する。本実施例では、プロセッサ２１０は、Ｍ本の線から、ランダムに、第３非基準線を選択する。第３非基準線として選択されなかった線の位置ずれ量ｐＺは、ゼロに設定される。第３非基準線の位置ずれ量ｐＺは、予め決められたずれ量範囲内から、ランダムに選択される。ずれ量範囲は、－ＸＢ以上、＋ＸＢ以下の範囲である。値ＸＢは、予め実験的に決定される。図６（Ｂ）では、第３非基準線ＰＬ１の位置ずれ量ｐＺが、ゼロではない。

【0059】

Ｓ２６０ａでは、プロセッサ２１０は、注目番号ｎによって特定される注目線ＰＬｎの左端位置ｎＬと右端位置ｎＲとを算出する。図５（Ａ）のＳ２６０との差異は、注目番号ｎの線幅ｐＷ（ｎ）と位置ずれ量ｐＺ（ｎ）とが考慮される点である。具体的には、ｎＬ＝ｎＳ＋ｎＰ×ｎ＋ｐＺ（ｎ）であり、ｎＲ＝ｎＳ＋ｎＰ×ｎ＋ｐＷ（ｎ）＋ｐＺ（ｎ）である。図６（Ｂ）の例では、第３非基準線ＰＬ１の横方向Ｄｘの位置が、位置ずれ量ｐＺに従ってずれている。また、第１非基準線ＰＬ２の幅が、基準線幅ｎＷとは異なる幅ｐＷに設定されている。

【0060】

Ｓ２６５ａでは、プロセッサ２１０は、非基準ベースパターン画像８２０上において、注目線ＰＬｎの内部を注目線ＰＬｎの色ｐＤ（ｎ）で塗りつぶす。具体的には、左端位置ｎＬから右端位置ｎＲまでの範囲に含まれる複数の画素の輝度値が、注目線ＰＬｎの色ｐＤ（ｎ）に設定される。

【0061】

なお、Ｓ２４０、Ｓ２４５、Ｓ２５０では、非基準線の選択は、独立に行われる。従って、１本の非基準線に関して、幅ｐＷと色ｐＤと位置ずれ量ｐＺとの３個のパラメータのうちの２個以上のパラメータが、基準線の対応するパラメータの値と異なり得る。

【0062】

続くＳ２９０、Ｓ２９５は、図５（Ａ）のＳ２９０、Ｓ２９５と、それぞれ同じである。未処理の線ＰＬが残っている場合（Ｓ２９５：Ｎｏ）、プロセッサ２１０は、Ｓ２６０ａへ移行する。Ｍ本の線ＰＬの処理が完了した場合（Ｓ２９５：Ｙｅｓ）、プロセッサ２１０は、Ｓ２９７ａで、非基準ベースパターン画像を表す非基準ベースパターン画像データを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。そして、プロセッサ２１０は、図６（Ａ）の処理、すなわち、図４のＳ１４０の処理を終了する。

【0063】

Ｓ１５０（図４）では、プロセッサ２１０は、Ｓ１３０またはＳ１４０で生成されたベースパターン画像データの平滑化処理を実行し、平滑ベースパターン画像データを生成する。平滑化処理は、ぼかし処理とも呼ばれる。現実のノズルパターンＮＰの読取画像では、ノズルパターンＮＰの輪郭がぼやけている。Ｓ１５０は、ベースパターン画像を、現実の読取画像に近づけるための処理である。本実施例では、平均値フィルタを用いる平滑化処理が行われる。平滑化処理は、他の種々の処理であってよい（例えば、中央値フィルタ、ガウシアンフィルタなどの他の平滑化フィルタが用いられてよい）。

【0064】

Ｓ１５５では、プロセッサ２１０は、背景画像生成処理を実行する。図７（Ａ）は、背景画像生成処理の例を示すフローチャートである。Ｓ３１０では、プロセッサ２１０は、複数枚のシートの複数枚の読取画像（図４：Ｓ１０５）から、ランダムに、１枚の対象読取画像を選択する。Ｓ３１５では、プロセッサ２１０は、対象読取画像から、入力画像９５０ｉ（図３）と同じサイズの部分である背景画像を抽出する。対象読取画像内の背景画像の位置は、ランダムに決定される。以下、読取画像から抽出された背景画像を、第１種背景画像とも呼び、第１種背景画像の画像データを、第１種背景画像データとも呼ぶ。

【0065】

図７（Ｂ）は、第１種背景画像の例を示す説明図である。図中には、２枚の読取画像ＳＨＲ１、ＳＨＲ２が示されている。これらの読取画像ＳＨＲ１、ＳＨＲ２から、背景画像ＢＧ１－ＢＧ４が抽出されている。なお、１回の図７の処理では、１個の背景画像が抽出される。

【0066】

Ｓ１６０（図４）では、プロセッサ２１０は、ノイズ含有パターン画像のノイズ含有パターン画像データを生成する。ノイズ含有パターン画像は、Ｓ１３０またはＳ１４０で生成されたベースパターン画像と第１種背景画像とを用いて、生成される。図８（Ａ）－図８（Ｄ）は、ノイズ含有パターン画像の説明図である。図８（Ａ）は、基準ベースパターン画像８１０ａと第１種背景画像８３０ａから生成されるノイズ含有基準パターン画像８５０ａを示している。図８（Ｂ）、図８（Ｃ）は、非基準ベースパターン画像８２０ｂ、８２０ｃと第１種背景画像８３０ｂ、８３０ｃから生成されるノイズ含有非基準パターン画像８５０ｂ、８５０ｃを、それぞれ、示している。図中の輝度値Ｐｔ（ｘ，ｙ）は、ベースパターン画像８１０ａ－８１０ｃの画素（ｘ，ｙ）の輝度値である（ベースパターン輝度値Ｐｔと呼ぶ）。値ｘは、画像内の横方向Ｄｘの画素位置であり、値ｙは、画像内の縦方向Ｄｙの画素位置である。他の画像の輝度値Ｐｕ、Ｐｎについても、（ｘ，ｙ）は、画像内の画素位置を示している。輝度値Ｐｕは、第１種背景画像８３０ａ－８３０ｃの輝度値である（第１種背景輝度値Ｐｕと呼ぶ）。輝度値Ｐｎは、ノイズ含有基準パターン画像８５０ａ－８５０ｃの輝度値である（第１種対象輝度値Ｐｎと呼ぶ）。

【0067】

図８（Ｄ）には、第１種対象輝度値Ｐｎの算出式が示されている。ベースパターン輝度値Ｐｔ（ｘ，ｙ）が２５５である場合、すなわち、画素（ｘ，ｙ）が線ＰＬではなく背景を示す場合、第１種対象輝度値Ｐｎ（ｘ，ｙ）は、背景輝度値Ｐｕ（ｘ，ｙ）と同じ値に設定される。すなわち、背景輝度値Ｐｕの重みが１であり、ベースパターン輝度値Ｐｔの重みがゼロである。

【0068】

ベースパターン輝度値Ｐｔ（ｘ，ｙ）が２５５よりも小さい場合、すなわち、画素（ｘ，ｙ）が背景ではなく線ＰＬを示す場合、Ｐｎ（ｘ，ｙ）は、ｋ１×Ｐｕ（ｘ，ｙ）＋ｋ２×Ｐｔ（ｘ，ｙ）に設定される。重みｋ１、ｋ２は、いずれも、ゼロよりも大きい。本実施例では、ｋ１＋ｋ２＝１である。例えば、ｋ１＝０．７５、ｋ２＝０．２５であってよい。

【0069】

プロセッサ２１０は、図８（Ｄ）の算出式に従って、ノイズ含有パターン画像の各画素の輝度値を決定する。線ＰＬを示す画素の第１種対象輝度値Ｐｎの算出に、ベースパターン輝度値Ｐｔに加えて、背景輝度値Ｐｕが用いられる。従って、ノイズ含有パターン画像は、ベースパターン画像が印刷されたシートの読取画像を、適切に再現できる。

【0070】

Ｓ１６５（図４）では、プロセッサ２１０は、生成したノイズ含有パターン画像データを、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。

【0071】

Ｓ１７０では、プロセッサ２１０は、Ｓ１５５で生成された第１種背景画像の代表色値を特定する。本実施例では、プロセッサ２１０は、第１種背景画像に含まれる全ての画素の平均輝度値を、代表値として算出する。

【0072】

Ｓ１７５では、プロセッサ２１０は、ノイズ低減パターン画像のノイズ低減パターン画像データを生成する。ノイズ低減パターン画像は、Ｓ１３０またはＳ１４０で生成されたベースパターン画像と、Ｓ１７０で特定された代表色値によって表される第２種背景画像と、を用いて生成される。図９（Ａ）－図９（Ｄ）は、ノイズ低減パターン画像の説明図である。図９（Ａ）は、基準ベースパターン画像８１０ａと第２種背景画像８３０ａｍから生成されるノイズ低減パターン画像８５１ａを示している。図９（Ｂ）、図９（Ｃ）は、非基準ベースパターン画像８２０ｂ、８２０ｃと第２種背景画像８３０ｂｍ、８３０ｃｍから生成されるノイズ低減非基準パターン画像８５１ｂ、８５１ｃを、それぞれ、示している。第２種背景画像８３０ａｍ－８３０ｃｍの全ての画素の色値は、代表色値に設定されている。第２種背景輝度値Ｐｕｍ（ｘ，ｙ）は、第２種背景画像８３０ａｍ－８３０ｃｍの画素（ｘ，ｙ）の輝度値であり、代表色値と同じである。輝度値Ｐｃ（ｘ，ｙ）は、ノイズ低減基準パターン画像８５１ａ－８５１ｃの画素（ｘ，ｙ）の輝度値である（第２種対象輝度値Ｐｃと呼ぶ）。

【0073】

図９（Ｄ）には、第２種対象輝度値Ｐｃの算出式が示されている。ベースパターン輝度値Ｐｔ（ｘ，ｙ）が２５５である場合（画素（ｘ，ｙ）は背景を示す）、第２種対象輝度値Ｐｃ（ｘ，ｙ）は、第２種背景輝度値Ｐｕｍ（ｘ，ｙ）、すなわち、代表色値（本実施例では、背景輝度値Ｐｕの平均値）に設定される。このように、第２種背景輝度値Ｐｕｍの重みが１であり、ベースパターン輝度値Ｐｔの重みはゼロである。

【0074】

ベースパターン輝度値Ｐｔ（ｘ，ｙ）が２５５よりも小さい場合（画素（ｘ，ｙ）は線ＰＬを示す）、Ｐｃ（ｘ，ｙ）は、ｋ１×Ｐｕｍ（ｘ，ｙ）＋ｋ２×Ｐｔ（ｘ，ｙ）に設定される。第２種背景輝度値Ｐｕｍの重みｋ１は、図８（Ｄ）の第１種背景輝度値Ｐｕの重みｋ１と同じである。ベースパターン輝度値Ｐｔの重みｋ２は、図８（Ｄ）のベースパターン輝度値Ｐｔの重みｋ２と同じである。

【0075】

プロセッサ２１０は、図９（Ｄ）の算出式に従って、ノイズ低減パターン画像の各画素の輝度値を決定する。線ＰＬを示す画素の第２種対象輝度値Ｐｃの算出に、ベースパターン輝度値Ｐｔに加えて、第２種背景輝度値Ｐｕｍ（すなわち、代表色値）が用いられる。従って、ノイズ低減パターン画像は、ベースパターン画像が印刷されたシートの読取画像からノイズ（例えば、シートの繊維のパターン）を低減した画像を、適切に表すことができる。

【0076】

Ｓ１８０（図４）では、プロセッサ２１０は、ノイズ低減パターン画像データのコントラスト強調処理を実行する。図９（Ｅ）は、コントラスト強調処理の例を示すグラフである。横軸は、調整前の第２種対象輝度値Ｐｃを示し、縦軸は、調整済の第２種対象輝度値Ｐｃｃを示している。この対応関係は、未調整の輝度値Ｐｃが第１閾値Ｖａから第２閾値Ｖｂに変化する場合に、調整済の輝度値Ｐｃｃがゼロから２５５に変化するように、構成されている（ゼロ＜Ｖａ＜Ｖｂ＜２５５）。Ｐｃ＜Ｖａの場合、調整済の輝度値Ｐｃｃは、ゼロに設定される。Ｖｂ＜Ｐｃの場合、調整済の輝度値Ｐｃｃは２５５に設定される。なお、図９（Ｅ）の対応関係を用いる処理に限らず、コントラストを強調する種々の処理が実行されてよい。

【0077】

図９（Ａ）－図９（Ｃ）には、コントラストが強調されたノイズ低減パターン画像８６０ａ－８６０ｃが示されている。コントラストが強調されているので、線ＰＬと背景との識別は、容易である。

【0078】

Ｓ１８５（図４）では、プロセッサ２１０は、コントラストが調整された調整済ノイズ低減パターン画像データを、ノイズ含有パターン画像データと対応付けて、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。

【0079】

Ｓ１９０では、プロセッサ２１０は、画像データの生成が完了したか否かを判断する。本実施例では、完了の条件は、基準のノズルパターンＮＰの画像データの生成回数が、予め決められた基準回数Ｐ（Ｐは２以上の整数）以上であり、かつ、非基準のノズルパターンＮＰの画像データの生成回数が、予め決められた非基準回数Ｑ（Ｑは２以上の整数）以上であることである。なお、完了の条件は、他の種々の条件であってよい。

【0080】

画像データの生成が完了していないと判断される場合（Ｓ１９０：Ｎｏ）、プロセッサ２１０は、Ｓ１１０へ移行する。画像データの生成が完了したと判断される場合（Ｓ１９０：Ｙｅｓ）、プロセッサ２１０は、図４の処理を終了する。不揮発性記憶装置２３０には、ノイズ含有パターン画像データと調整済ノイズ低減パターン画像データとの複数のセットが、格納される。

【0081】

以上のように、本実施例の学習画像データの生成処理では、図４のＳ１５５、Ｓ１６０で、ノイズ含有パターン画像データが生成される。図８（Ａ）－図８（Ｃ）で説明したように、ノイズ含有パターン画像８５０ａ－８５０ｃは、第１種背景画像８３０ａ－８３０ｃ上に、ノズルパターンＮＰ（複数の線ＰＬ）が配置された画像である。Ｓ１６０で説明したように、ノイズ含有パターン画像は、第１種背景画像とベースパターン画像とを用いて生成される。Ｓ１０５、Ｓ１５５で説明したように、第１種背景画像は、印刷用のシートＳＨ１を光学的に読み取って得られる読取画像（すなわち、シート画像）の少なくとも一部である。Ｓ１３０、Ｓ１４０で説明したように、ベースパターン画像は、ノズルパターンＮＰの画像である。Ｓ１６５では、ノイズ含有パターン画像データは、記憶装置２１５に格納される。

【0082】

図８（Ｄ）で説明したように、ノイズ含有パターン画像の画素の色値（ここでは、輝度値）を決定する処理は、２つの処理を含んでいる。第１の処理は、対象画素が、ノズルパターンＮＰを示す場合の処理である（図８（Ｄ）の下段）。第１の処理では、対象画素の輝度値Ｐｎ（ｘ，ｙ）は、第１種背景輝度値Ｐｕ（ｘ，ｙ）とベースパターン輝度値Ｐｔ（ｘ，ｙ）との重み付き合計値に設定される。第１種背景輝度値Ｐｕに乗じられる重みｋ１は、ゼロよりも大きく、ベースパターン輝度値Ｐｔに乗じられる重みｋ２は、ゼロよりも大きい。第２の処理は、対象画素が、ノズルパターンＮＰが配置されていない部分を示す場合の処理である（図８（Ｄ）の上段）。第２の処理では、対象画素の輝度値Ｐｎ（ｘ，ｙ）は、第１種背景輝度値Ｐｕ（ｘ，ｙ）に、第１の処理における第１種背景輝度値Ｐｕの重みｋ１よりも大きい重み（本実施例では、１）を乗じて得られる値に設定される。以上により、ノイズ含有パターン画像は、ノズルパターンＮＰが印刷されたシートを光学的に読み取って得られる画像を適切に表現できる。学習モデル２３５は、ノズルパターンＮＰが印刷されたシートを実際に光学的に読み取って得られる画像データを処理するモデルである。図４の実施例では、このような学習モデル２３５のトレーニングのための学習画像データを、適切に、生成できる。

【0083】

また、Ｓ１７０では、Ｓ１５５で生成された背景画像上の複数の位置に対応付けられた複数の輝度値を代表する代表色値が特定される。Ｓ１７５では、ノイズ低減パターン画像データが生成され、Ｓ１８０では、ノイズ低減パターン画像データのコントラストが調整される。図９（Ａ）－図９（Ｃ）で説明したように、ノイズ低減パターン画像８５１ａ－８５１ｃは、第２種背景画像８３０ａｍ－８３０ｃｍ上に、ノズルパターンＮＰ（複数のＰＬ）が配置された画像である。Ｓ１７５で説明したように、ノイズ低減パターン画像は、第２種背景画像とベースパターン画像とを用いて生成される。Ｓ１７０、Ｓ１７５で説明したように、第２種背景画像は、代表色値によって表される画像である。Ｓ１８５では、Ｓ１８０で調整されたノイズ低減パターン画像データは、記憶装置２１５に格納される。

【0084】

図９（Ｄ）で説明したように、ノイズ低減パターン画像の画素の色値（ここでは、輝度値）を決定する処理は、２つの処理を含んでいる。第１の処理は、対象画素が、ノズルパターンＮＰを示す場合の処理である（図９（Ｄ）の下段）。第１の処理では、対象画素の輝度値Ｐｃ（ｘ，ｙ）は、第２種背景輝度値Ｐｕｍ（ｘ，ｙ）とベースパターン輝度値Ｐｔ（ｘ，ｙ）との重み付き合計値に設定される。第２種背景輝度値Ｐｕｍに乗じられる重みｋ１は、ゼロよりも大きく、ベースパターン輝度値Ｐｔに乗じられる重みｋ２は、ゼロよりも大きい。第２の処理は、対象画素が、ノズルパターンＮＰが配置されていない部分を示す場合の処理である（図９（Ｄ）の上段）。第２の処理では、対象画素の輝度値Ｐｃ（ｘ，ｙ）は、第２種背景輝度値Ｐｕｍ（ｘ，ｙ）に、第１の処理における第２種背景輝度値Ｐｕｍの重みｋ１よりも大きい重み（本実施例では、１）を乗じて得られる値に設定される。以上により、ノイズ低減パターン画像は、ノイズ含有パターン画像のノイズを低減して得られる画像を適切に表現できる。図４の実施例では、ノイズを含む画像とノイズが低減された画像とを用いるトレーニングのための学習画像データを、適切に、生成できる。

【0085】

また、Ｓ１７０で説明したように、本実施例では、代表色値は、第１種背景画像上の複数の画素の複数の色値の平均値である。従って、第２種背景画像は、第１種背景画像と比べてノイズが低減された背景画像を適切に表すことができるので、適切なノイズ低減パターン画像データを生成できる。なお、代表色値は、平均値に限らず、中央値、最頻値などの複数の色値を用いて特定される種々の値であってよい。また、代表色値は、第１種背景画像の全ての画素ではなく、第１種背景画像から均等に選択された一部の複数の画素を用いて、特定されてよい。

【0086】

また、図５（Ｂ）等で説明したように、ノズルパターンＮＰは、第１方向Ｄ１に平行なＮ本（Ｎは２以上の整数）の線ＰＬであって、第１方向Ｄ１に垂直な第２方向Ｄ２に並ぶＮ本の線ＰＬを含んでいる。本実施例では、このようなノズルパターンＮＰの学習画像データを、適切に、生成できる。

【0087】

また、Ｓ１９０で説明したように、非基準のノズルパターンＮＰのノイズ含有パターン画像とノイズ低減パターン画像との生成は、Ｑ回行われる（Ｑは２以上の整数）。図６（Ａ）で説明したように、ノイズ含有パターン画像に含まれる基準線には、基準線幅ｎＷと基準線色ｎＤと基準位置ｎＳとゼロの位置ずれ量ｐＺとが対応付けられている。基準線幅ｎＷと基準線色ｎＤと基準位置ｎＳとは、ノイズ含有パターン画像に対応付けられており、ノイズ含有パターン画像毎に決定される。基準線の横方向Ｄｘの位置は、図６（Ａ）のＳ２６０ａに示すように、基準位置ｎＳと注目番号ｎ（すなわち、横方向Ｄｘの線ＰＬの番号）とに基づいて、決定される。図６（Ａ）、図６（Ｂ）等で説明したように、Ｑ枚のノイズ含有パターン画像のそれぞれは、１以上の非基準線を含んでいる。非基準線は、以下の３個のパラメータ値のうちの１個以上のパラメータ値を有している。
（１）基準線色ｎＤとは異なる色ｐＤ（ここでは、輝度）
（２）基準位置ｎＳと注目番号ｎとに対応付けられた横方向Ｄｘの基準位置とは異なる位置
（３）基準線幅ｎＷとは異なる幅ｐＷ
従って、本実施例は、図２（Ａ）のような不具合を有するノズルパターンの画像を処理する学習モデル２３５のトレーニングのための学習画像データを、適切に、生成できる。

【0088】

また、図６（Ａ）の処理により、Ｑ枚のノイズ含有非基準パターン画像は、以下の３種類のノイズ含有パターン画像を含んでいる。
（１）基準線色ｎＤとは異なる色ｐＤ（ここでは、輝度）を有する１以上の非基準線を含むノイズ含有パターン画像
（２）横方向Ｄｘの基準位置とは異なる位置に配置された１以上の非基準線を含むノイズ含有パターン画像
（３）基準線幅ｎＷとは異なる幅ｐＷを有する１以上の非基準線を含むノイズ含有パターン画像
従って、輝度と横方向Ｄｘの位置と幅とのそれぞれが変化し得る場合に、トレーニングのための学習画像データを、適切に、生成できる。例えば、図８（Ｂ）のノイズ含有非基準パターン画像８５０ｂは、基準線色ｎＤとは異なる色ｐＤを有する１以上の非基準線と、横方向Ｄｘの基準位置とは異なる位置に配置された１以上の非基準線と、を含み得る。そして、図８（Ｃ）のノイズ含有非基準パターン画像８５０ｃは、基準線幅ｎＷとは異なる幅ｐＷを有する１以上の非基準線を含み得る。このように、１枚のノイズ含有パターン画像が、複数の種類の非基準線を含んでよい。

【0089】

また、図６（Ａ）の処理では、非基準線は、ノイズ含有パターン画像毎に、ランダムに選択される。従って、複数枚のノイズ含有非基準パターン画像の間で、非基準線の総数は互いに異なり得る。従って、ノズルパターンＮＰに含まれる非基準線の総数が変化し得る場合に、トレーニングのための学習画像データを、適切に、生成できる。例えば、図８（Ｂ）のノイズ含有非基準パターン画像８５０ｂと図８（Ｃ）のノイズ含有非基準パターン画像８５０ｃとの間では、非基準線の総数が異なり得る。

【0090】

Ａ３．トレーニング処理：
図１０（Ａ）－図１０（Ｃ）は、学習モデル２３５のトレーニング処理の説明図である。図１０（Ａ）は、学習モデル２３５のトレーニング処理の例を示すフローチャートである。本実施例では、学習モデル２３５は、ノズルパターンＮＰの画像データが入力された場合に、ノイズが低減された同じノズルパターンＮＰの画像データが生成されるように、トレーニングされる。トレーニングによって、フィルタＦＬ（図３）の「Ｆｘ×Ｆｙ」個の重みが、調整される。以下、複合機２００（図１）が、トレーニングを実行することとして、説明する。プロセッサ２１０は、第２プログラム２３２に従って、トレーニングを行う。なお、トレーニングは、高い演算能力を有する他のデータ処理装置によって、実行されてよい。

【0091】

Ｓ３１０では、プロセッサ２１０は、学習モデル２３５の複数個の演算パラメータ（ここでは、フィルタＦＬの「Ｆｘ×Ｆｙ」個の重み）を初期化する。例えば、各演算パラメータは、乱数値に設定される。

【0092】

Ｓ３１５では、プロセッサ２１０は、複数のノイズ含有パターン画像データからＶ個（Ｖは１以上の整数）のノイズ含有パターン画像データを選択し、Ｖ個のノイズ含有パターン画像データを学習モデル２３５に入力し、Ｖ個の出力画像データを生成する。なお、Ｖ個のノイズ含有パターン画像データとしては、複数のノイズ含有パターン画像データのうちの未使用のノイズ含有パターン画像データが選択されてよい。また、複数のノイズ含有パターン画像データからランダムにＶ個のノイズ含有パターン画像データが選択されてもよい。

【0093】

Ｓ３２０では、プロセッサ２１０は、学習モデル２３５に入力されたＶ個のノイズ含有パターン画像データのそれぞれについて、調整済ノイズ低減パターン画像データと出力画像データとの間の差分の評価値である誤差値を算出する。誤差値は、予め決められた損失関数に基づいて算出される。図１０（Ｂ）は、損失関数の例を示す説明図である。本実施例では、損失関数ＬＦは、第１項Ｌｉｍｇと第２項Ｌｆｉｌｔｅｒとの合計値である。

【0094】

第１項Ｌｉｍｇは、調整済ノイズ低減パターン画像と、出力画像データの出力画像と、の間の差分を示している。本実施例では、第１項Ｌｉｍｇは、２５５で正規化された二乗誤差の平方根の平均値である。図中の第１項Ｌｉｍｇの画素数ＩＷは、各画像の横方向Ｄｘの画素数であり、画素数ＩＨは、各画像の縦方向Ｄｙの画素数である（図３参照）。画素値Ｐｏ（ｘ，ｙ）は、出力画像の画素（ｘ，ｙ）の画素値である。値ｘは、画像内の横方向Ｄｘの画素位置であり、値ｙは、画像内の縦方向Ｄｙの画素位置である。画素値Ｐｃｃ（ｘ，ｙ）は、調整済ノイズ低減パターン画像の画素（ｘ，ｙ）の画素値である（図９（Ａ）－図９（Ｃ）参照）。第１項Ｌｉｍｇは、調整済ノイズ低減パターン画像と出力画像との差分が小さくなるほど小さくなる。なお、第１項Ｌｉｍｇは、２枚の画像の間の差分が小さいほど小さい値を算出する種々の関数で表されてよい。

【0095】

第２項Ｌｆｉｌｔｅｒは、フィルタＦＬの重みＷの対称性の高さを示す評価値である。図１０（Ｃ）は、第２項Ｌｆｉｌｔｅｒの説明図である。図中には、フィルタＦＬと、フィルタ対称軸ＡｘＦとが示されている。フィルタ対称軸ＡｘＦは、ノズルパターンＮＰ（図２（Ａ）、図５（Ｂ）等）の各線ＰＬの対称軸（例えば、対称軸ＡｘＰ、Ａｘ０－Ａｘｋ）に平行な軸である。本実施例では、フィルタ対称軸ＡｘＦは、第１方向Ｄ１（すなわち、縦方向Ｄｙ）に平行である。また、フィルタ対称軸ＡｘＦは、フィルタＦＬの中心を通っている。本実施例では、フィルタＦＬの横サイズＦｘが５であるので、フィルタ対称軸ＡｘＦは、第３列の重みＷ（３，１）－Ｗ（３，５）に重なっている。

【0096】

第２項Ｌｆｉｌｔｅｒは、フィルタ対称軸ＡｘＦを対称軸とする線対称な位置に配置された２個の重みＷの差分の絶対値の平均値である。図１０（Ｃ）の対称ペアＰＷ１、ＰＷ２は、それぞれ、線対称な位置に配置された２個の重みＷの例を示している。第１ペアＰＷ１は、重みＷ（１，２）と重みＷ（５，２）とで構成されている。第２ペアＰＷ２は、重みＷ（２，４）と重みＷ（４，５）とで構成されている。

【0097】

図１０（Ｂ）の第２項Ｌｆｉｌｔｅｒの算出式では、総和記号のインデックスｉ、ｊのそれぞれの下限と上限とは、フィルタ対称軸ＡｘＦの左側の複数の重みの全てを選択するように、設定されている。本実施例では、Ｗ（１，１）－Ｗ（１，５）、Ｗ（２，１）－Ｗ（２，５）の１０個の重みが、選択される。総和記号によって加算される変数は、インデックスｉ、ｊによって特定される対称な重みペア（Ｗ（ｉ，ｊ）とＷ（Ｆｘ＋１－ｉ，ｊ））の差分の絶対値である。

【0098】

第２項Ｌｆｉｌｔｅｒは、フィルタ対称軸ＡｘＦに対する複数の重みＷの対称性が高いほど小さくなる。損失関数ＬＦがこのような第２項Ｌｆｉｌｔｅｒを含む理由は、フィルタＦＬを用いる画像処理に起因する線ＰＬの変形（例えば、位置ずれ）を抑制するためである。

【0099】

図１１（Ａ）－図１１（Ｄ）は、線ＰＬの位置の説明図である。図１１（Ａ）は、ノズルパターンＮＰの画像上の輝度値を示すグラフである。横軸は、横方向Ｄｘの位置Ｐｘを示し、縦軸は、輝度値Ｖを示している。このグラフは、横方向Ｄｘに延びる１本の画素ライン上での輝度値Ｖの分布を示している。なお、縦軸の向きは、下向きである。従って、グラフの上部では、輝度値Ｖが小さく、グラフの下部では、輝度値Ｖが大きい。グラフの１個の山は、１個の線ＰＬを示し、グラフの谷は、背景部分ＢＧを示している。縦軸の変数と横軸の変数とは、図１１（Ａ）－図１１（Ｄ）の各グラフに共通である。

【0100】

図１１（Ｂ）は、１個の線ＰＬを示す輝度値のグラフである。点線のグラフは、学習モデル２３５によって生成される出力画像の輝度値Ｐｏを示し、実線のグラフは、ノイズ低減パターン画像の輝度値Ｐｃを示している。図１１（Ｂ）は、トレーニングが完了する前の学習モデル２３５によって出力される輝度値Ｐｏを示している。輝度値Ｐｏは、図１０（Ｂ）で説明した出力画像の画素値Ｐｏ（ｘ，ｙ）と同様に、出力画像上の各画素位置における輝度値を示している。輝度値Ｐｃは、図９（Ａ）等で説明した輝度値Ｐｃ（ｘ，ｙ）と同様に、ノイズ低減パターン画像上の各画素位置での輝度値を示している。図示するように、これらの輝度値Ｐｏ、Ｐｃの間には、差が生じている。実施例のトレーニングでは、輝度値Ｐｏ、Ｐｃの差ではなく、輝度値Ｐｏ、Ｐｃｃの差が小さくなる（輝度値Ｐｃｃは、図１０（Ｂ）等で説明した画素値Ｐｃｃ（ｘ，ｙ）と同様に、調整済ノイズ低減パターン画像上の各画素位置での輝度値を示している）。ただし、ここでは、説明を簡略化するために、トレーニングにより輝度値Ｐｏ、Ｐｃの差が小さくなることとする。

【0101】

図１１（Ｃ）は、参考例の説明図である。このグラフは、損失関数ＬＦが第１項Ｌｉｍｇのみで構成される仮の場合の輝度値Ｐｏ、Ｐｃを示している。輝度値Ｐｏは、トレーニング済の学習モデル２３５によって出力される輝度値である。図中の第１ピーク位置ＰｘＣは、ノイズ低減パターン画像の輝度値Ｐｃによって示される線ＰＬのピークの位置である。このピーク位置ＰｘＣは、線ＰＬの対称軸の位置と同じであり、学習モデル２３５に入力されるノイズ含有パターン画像上の線ＰＬのピーク位置と同じである。以下、第１ピーク位置ＰｘＣを、対称軸ＡｘＣとも呼ぶ。

【0102】

図中の第２ピーク位置ＰｘＯは、出力画像の輝度値Ｐｏによって示される線ＰＬのピークの位置である。第２ピーク位置ＰｘＯは、第１ピーク位置ＰｘＣからずれている。この理由は、以下の通りである。第１項Ｌｉｍｇを用いるトレーニングでは、線ＰＬと背景部分ＢＧとを区別せずに、第１項Ｌｉｍｇに従って算出される誤差値が小さくなるように、フィルタＦＬが調整される。この結果、調整済のフィルタＦＬは、背景部分ＧＢ（図１１（Ｂ））の大きな差を小さくするために、線ＰＬ（図１１（Ｃ））を示す部分の輝度値Ｐｏ、Ｐｃの差を、線ＰＬの対称軸ＡｘＣに対して非対称に調整し得る。この結果、出力画像上の線ＰＬが変形し得る。例えば、出力画像上の線ＰＬの第２ピーク位置ＰｘＯは、元のピーク位置ＰｘＣから、ずれ得る。このような出力画像が利用される場合、出力画像上での線ＰＬの位置の特定の誤差が大きくなる。

【0103】

図１１（Ｄ）は、本実施例の説明図である。輝度値Ｐｏは、トレーニング済の学習モデル２３５によって出力される輝度値である。図示するように、出力画像の輝度値Ｐｏによって示される線ＰＬのピーク位置ＰｘＯは、元のピーク位置ＰｘＣとおおよそ同じである。この理由は、以下の通りである。損失関数ＬＦ（図１０（Ｂ））は、第１項Ｌｉｍｇに加えて、第２項Ｌｆｉｌｔｅｒを含んでいる。第２項Ｌｆｉｌｔｅｒの値は、フィルタＦＬの重みＷの対称性が低くなるほど、大きくなる。畳込層３１０（図３）による演算では、フィルタＦＬは、入力画像上で均等に配置された複数の位置（本実施例では、入力画像の全ての画素位置）に、適用される。すなわち、フィルタＦＬは、１本の線ＰＬに重なる複数の位置であって、線ＰＬの対称軸ＡｘＣに対する線対称な複数の位置に、適用される。従って、仮に、図１１（Ｃ）のように、フィルタＦＬが、輝度値Ｐｏ、Ｐｃの差を、線ＰＬの対称軸ＡｘＣに対して非対称に調整する場合には、フィルタ対称軸ＡｘＦ（図１０（Ｃ））に対する重みＷの対称性は低い。この結果、第１項Ｌｉｍｇの値は小さくなり得るものの、第２項Ｌｆｉｌｔｅｒの値が大きくなるので、損失関数ＬＦに基づく誤差値は大きくなる。

【0104】

損失関数ＬＦ（図１０（Ｂ））に基づく誤差値が小さくなるようにフィルタＦＬの重みＷが調整される場合、フィルタ対称軸ＡｘＦ（図１０（Ｃ））に対する重みＷの対称性が高くなる。従って、調整済のフィルタＦＬは、輝度値Ｐｏ、Ｐｃの差を、線ＰＬの対称軸ＡｘＣに対して対称に調整する。この結果、出力画像上の線ＰＬの第２ピーク位置ＰｘＯと元のピーク位置ＰｘＣとの間のずれは、抑制される。

【0105】

Ｓ３２５（図１０（Ａ））では、プロセッサ２１０は、このような損失関数ＬＦに基づくＶ個の誤差値を用いて、学習モデル２３５の複数の演算パラメータ（本実施例では、フィルタＦＬの重みＷ）を調整する。具体的には、プロセッサ２１０は、誤差値が小さくなるように、予め決められたアルゴリズムに従って、複数の演算パラメータを調整する。アルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。

【0106】

Ｓ３３０では、プロセッサ２１０は、トレーニングが完了したか否かを判断する。トレーニング完了の条件は、例えば、Ｓ３２０で算出された全ての誤差値が予め決められた誤差閾値よりも小さいことであってよい。これに代えて、トレーニング完了の条件は、Ｓ３１５－Ｓ３２５の処理が実行された回数が予め決められた回数閾値以上であることであってよい。

【0107】

トレーニングが完了していないと判断される場合（Ｓ３３０：Ｎｏ）、プロセッサ２１０は、Ｓ３１５へ移行する。トレーニングが完了したと判断される場合（Ｓ３３０：Ｙｅｓ）、Ｓ３３５で、プロセッサ２１０は、学習モデル２３５からフィルタＦＬのデータ（すなわち、Ｆｘ×Ｆｙ個の重みＷのデータ）を抽出する。Ｓ３４０では、プロセッサ２１０は、フィルタＦＬのデータであるフィルタデータＦＬＤを、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。そして、図１０（Ａ）の処理は、終了する。

【0108】

Ａ４．画像処理：
図１２は、フィルタデータＦＬＤ（図１）を用いる画像処理の例を示すフローチャートである。この画像処理では、ノズルパターンＮＰが印刷されたシートＳＨ２の読取データに対して、フィルタＦＬを用いるフィルタ処理が行われる。この画像処理は、印刷ヘッド１１０のノズルＮｚの不具合の確認のために行われる。例えば、印刷装置１００の製造時に、図１２の処理が行われる。本実施例では、複合機２００のプロセッサ２１０は、第３プログラム２３３に従って、画像処理を実行する。

【0109】

Ｓ４１０では、印刷装置１００は、シートＳＨ２上に、ノズルパターンＮＰを印刷する。例えば、作業者が印刷装置１００を操作することによって、印刷装置１００にノズルパターンＮＰを印刷させる。これに代えて、印刷装置１００が複合機２００に接続され、プロセッサ２１０が、印刷装置１００に印刷指示を供給してもよい。

【0110】

Ｓ４２０では、ノズルパターンＮＰが印刷されたシートＳＨ２が、読取部３００によって読み取られ、読取データが生成される。Ｓ４３０では、プロセッサ２１０は、読取部３００から読取データを取得し、読取データからノズルパターンＮＰを示す部分を切り出すクロップ処理を実行することによって、対象データを取得する。読取画像中の切り出される部分は、予め決められている。なお、クロップ処理が省略されて、読取データが、そのまま、対象データとして用いられてもよい。

【0111】

Ｓ４４０では、プロセッサ２１０は、対象データに対してフィルタＦＬを用いるフィルタ処理を実行することによって、処理済画像データを生成する。フィルタ処理は、畳込層３１０（図３）による畳込処理と同じである。処理済画像データの処理済画像は、対象データのノズルパターンＮＰと同じ変形していないノズルパターンＮＰを示している。そして、処理済画像では、ノイズが低減され、コントラストが強調されている。

【0112】

Ｓ４５０では、プロセッサ２１０は、処理済画像データを、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。Ｓ４６０では、プロセッサ２１０は、処理済画像データを解析することによって、処理済画像のノズルパターンＮＰが不具合を有しているか否かを判断する。例えば、プロセッサ２１０は、公知の直線検出方法（例えば、エッジ抽出とハフ変換）に従って、処理済画像内の複数の線ＰＬを検出する。そして、プロセッサ２１０は、検出された複数の線ＰＬを解析することによって、各線ＰＬの横方向Ｄｘの位置と幅と輝度値とを特定する。１本の注目線の位置と幅と輝度値との少なくとも１つのパラメータ値が、パラメータ値に対応する許容範囲外である場合に、プロセッサ２１０は、その注目線が不具合を有していると判断する。注目線の位置と幅と輝度値との全てが、対応する許容範囲内である場合には、プロセッサ２１０は、その注目線に不具合は無いと判断する。Ｓ４７０では、プロセッサ２１０は、判断結果を示す結果データを、記憶装置２１５（例えば、不揮発性記憶装置２３０）に格納する。そして、図１２の処理は、終了する。

【0113】

以上のように、図１０（Ａ）の処理では、画像処理用の畳込フィルタＦＬが生成される。Ｓ３１５では、プロセッサ２１０は、学習モデル２３５にノイズ含有パターン画像データを入力することによって、出力画像データを生成する。図３で説明したように、学習モデル２３５は、１個の畳込層３１０で構成されるニューラルネットワークのモデルである。畳込フィルタＦＬは、入力された画像上の畳込フィルタＦＬに対応する領域であるフィルタ領域内の複数の画素のそれぞれの重みＷを示している。畳込層３１０は、畳込フィルタＦＬを用いる畳込演算を行う。Ｓ３２０（図１０（Ａ））では、プロセッサ２１０は、出力画像データと、ノイズ低減パターン画像データと、を用いて、損失関数ＬＦに基づく誤差値を算出する。Ｓ３２５では、プロセッサ２１０は、誤差値が小さくなるように、畳込フィルタＦＬの複数の重みＷを調整する。Ｓ３３５では、プロセッサ２１０は、調整された複数の重みＷを示す畳込フィルタＦＬのフィルタデータＦＬＤを、画像処理フィルタのデータとして抽出する。ここで、図８（Ａ）－図８（Ｃ）に示すように、ノイズ含有パターン画像８５０ａ－８５０ｃは、線ＰＬを含むノズルパターンＮＰの画像であって、ノイズを含む画像である。図５（Ｂ）で説明したように、線ＰＬ０－ＰＬｋは、それぞれの対称軸Ａｘ０－Ａｘｋに対して線対称な形状を有している。図９（Ａ）－図９（Ｃ）で説明したように、ノイズ低減パターン画像８６０ａ－８６０ｃは、ノズルパターンＮＰの画像であって、ノイズ含有パターン画像８５０ａ－８５０ｃと比べてノイズが低減された画像である。また、ノイズ低減パターン画像８６０ａ－８６０ｃは、ノイズ含有パターン画像８５０ａ－８５０ｃのノズルパターンＮＰと同じノズルパターンＮＰを、それぞれ示している。そして、図１０（Ｂ）に示すように、損失関数ＬＦは、第１項Ｌｉｍｇと、第２項Ｌｆｉｌｔｅｒと、を含んでいる。第１項Ｌｉｍｇは、出力画像データとノイズ低減パターン画像データとの間の差の大きさを示している。第２項Ｌｆｉｌｔｅｒは、畳込フィルタＦＬ（図１０（Ｃ））内のフィルタ対称軸ＡｘＦに対する複数の重みＷの対称性が高いほど小さくなる。フィルタ対称軸ＡｘＦは、線ＰＬ０－ＰＬｋの対称軸Ａｘ０－Ａｘｋに平行である。従って、ノズルパターンＮＰの画像に対してフィルタＦＬを用いる画像処理が行われる場合に、ノイズを低減でき、さらに、画像処理に起因するノズルパターンＮＰの変形を抑制できる。具体的には、図１１（Ａ）－図１１（Ｄ）で説明したように、線ＰＬの位置の変化が、抑制される。

【0114】

また、トレーニングには、基準のノズルパターンＮＰの画像データと、非基準のノズルパターンＮＰの画像データと、の両方が用いられる。従って、学習モデル２３５（ひいては、フィルタＦＬ）は、読取画像のノズルパターンＮＰが非基準線を含むか否かに拘わらず、変形していない同じノズルパターンＮＰの出力画像を生成できる。

【0115】

また、図４のＳ１８０、Ｓ１８５、図９（Ａ）－図９（Ｃ）で説明したように、誤差値の算出に用いられるノイズ低減パターン画像８６０ａ－８６０ｃは、ノイズ含有パターン画像８５０ａ－８５０ｃ（図８（Ａ）－図８（Ｃ））と比べてコントラストが強調された画像である。従って、フィルタＦＬを用いる画像処理によって、コントラストを強調できる。

【0116】

また、図１０（Ｂ）、図１０（Ｃ）で説明したように、第２項Ｌｆｉｌｔｅｒは、フィルタＦＬ内のフィルタ対称軸ＡｘＦを挟んで線対称な位置に配置される２個の重みの間の差が小さいほど、小さい。従って、フィルタＦＬを用いる画像処理に起因する線ＰＬの変形（例えば、位置ずれ）を適切に抑制できる。

【0117】

また、図１２のＳ４１０では、印刷装置１００（図１）が、シートＳＨ２上にノズルパターンＮＰを印刷する。印刷装置１００は、印刷ヘッド１１０を備えている。印刷ヘッド１１０（図２（Ａ）、図２（Ｂ））は、インクを吐出するように構成された複数のノズルＮｚを有している。ノズルパターンＮＰは、複数の平行な線ＰＬを含んでいる。複数の線ＰＬのそれぞれは、中心軸ＡｘＰに対して線対称な形状を有している。１本の線ＰＬは、１個のノズルＮｚによって印刷されている。Ｓ４２０（図１２）では、読取部３００は、ノズルパターンＮＰを光学的に読み取ることによって、ノズルパターンＮＰの画像の読取データを生成する。Ｓ４３０では、プロセッサ２１０は、読取データを用いて、ノズルパターンＮＰの画像データである対象データを取得する。Ｓ４４０では、プロセッサ２１０は、対象データに対してフィルタＦＬを用いる画像処理を実行することによって、処理済画像データを生成する。Ｓ４５０では、プロセッサ２１０は、処理済画像データを記憶装置２１５に格納する。処理済画像データの画像上では、ノイズが低減され、ノズルパターンＮＰの複数の線ＰＬの変形が抑制されている。従って、処理済画像データを用いることによって、複数のノズルＮｚの状態を適切に特定できる。このように、フィルタＦＬを用いる画像処理は、読取部３００によって生成された読取データの画質、特に、印刷装置１００によって印刷されたノズルパターンＮＰの読取画像の画質を向上できる。図２（Ａ）、図２（Ｂ）で説明したように、ノズルパターンＮＰは、複数のノズルＮｚ（図２（Ａ））の品質の確認に利用可能である。例えば、印刷装置１００の製造時に、ノズルパターンＮＰの印刷と目視による確認とが行われ得る。ここで、製造コストを低減する方法として、低濃度で安価なインクを用いてノズルパターンＮＰを印刷し、印刷されたノズルパターンＮＰを読取部３００で読取り、読取画像の画像処理によってノズルパターンＮＰの良否（すなわち、ノズルＮｚの良否）を判定する方法が、採用され得る。しかし、ノズルパターンＮＰが低濃度のインクで印刷される場合、ノズルパターンＮＰの色が薄いので、読取画像上でノズルパターンＮＰと背景との区別が容易ではない。読取画像の明度補正を行うことによって、ノズルパターンＮＰを強調できる。しかし、シートの模様（例えば、紙の繊維のパターン）やデジタルノイズも強調されてしまい、画像処理によるノズルＮｚの良否の判定が困難となり得る。本実施例のフィルタＦＬは、シートの模様（例えば、紙の繊維のパターン）やデジタルノイズを低減できるので、画像処理によるノズルＮｚの良否の判定の精度を、向上できる。以上により、低濃度で安価なインクを利用できるので、製造コストを大幅に低減できる。なお、図１２のＳ４６０、Ｓ４７０は、省略されてよい。Ｓ４５０で記憶装置に格納された処理済画像データは、Ｓ４６０、Ｓ４７０の処理に代えて、他の種々の処理で利用可能である。例えば、プロセッサ２１０は、処理済画像データの処理済画像を表示部２４０に表示してよい。作業者は、処理済画像を観察することによって、線ＰＬの不具合（ひいては、ノズルＮｚの不具合）を容易に特定できる。

【0118】

また、本実施例では、学習モデル２３５に代えて、フィルタＦＬを用いて画像処理が行われる。従って、画像処理の計算量を大幅に低減できる。

【0119】

Ｂ．第２実施例：
図１３は、学習モデルの別の実施例の説明図である。本実施例の学習モデル２３５ｄは、オートエンコーダとも呼ばれる人工ニューラルネットワークのモデルである。本実施例では、学習モデル２３５ｄは、入力された画像データを用いて、ノイズが低減された画像データを生成する。学習モデル２３５ｄは、上記の学習モデル２３５の代わりに利用可能である。

【0120】

学習モデル２３５ｄは、例えば、第１エンコーダ４１１と、第２エンコーダ４１２と、第３エンコーダ４１３と、第３デコーダ４１５と、第２デコーダ４１６と、第１デコーダ４１７と、を備えている。これらの処理部４１１－４１３、４１５－４１７は、この順番に接続されている。エンコーダ４１１－４１３は、画像の特徴を抽出することによって、抽出された特徴を示す潜在変数４１４を生成する。各エンコーダ４１１－４１３は、例えば、畳込層と畳込層からのデータを処理するプーリング層とで構成されている。デコーダ４１５－４１７は、潜在変数４１４によって示される特徴を復元して画像データを生成する。各デコーダ４１５－４１７は、例えば、畳込層と畳込層からのデータを処理するアップサンプリング層とで構成されている。

【0121】

学習モデル２３５ｄのトレーニングには、図４の実施例で生成されたノイズ含有パターン画像とノイズ低減パターン画像とが用いられる。トレーニングは、図１０（Ａ）の実施例と同様に、行われる。以下、複合機２００（図１）が、トレーニングを実行することとして、説明する。なお、トレーニングは、高い演算能力を有する他のデータ処理装置によって、実行されてよい。

【0122】

Ｓ３５２（図１３）では、プロセッサ２１０は、ノイズ含有パターン画像データ８５０ｄを学習モデル２３５ｄに入力する。Ｓ３５４では、プロセッサ２１０は、学習モデル２３５ｄの演算を行うことによって、出力画像データ８７０ｄを生成する。Ｓ３５６では、プロセッサ２１０は、ノイズ低減パターン画像データ８６０ｄと出力画像データ８７０ｄとから損失関数ＬＦ（図１０（Ｂ））に従って誤差値８９０ｄを算出する。なお、ノイズ低減パターン画像データ８６０ｄは、ノイズ含有パターン画像データ８５０ｄに対応付けられたデータである。Ｓ３５８では、プロセッサ２１０は、誤差値８９０ｄが小さくなるように、予め決められたアルゴリズムに従って、学習モデル２３５ｄの演算パラメータを調整する。調整される演算パラメータは、処理部４１１－４１３、４１５－４１７の畳込フィルタの重みとバイアスとを含んでいる。アルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。プロセッサ２１０は、以上のＳ３５２－Ｓ３５８を、繰り返す。そして、トレーニング完了の条件が満たされたことに応じて、Ｓ３６０で、プロセッサ２１０は、学習済の学習モデル２３５ｄを、不揮発性記憶装置２３０に格納する。

【0123】

学習済の学習モデル２３５ｄは、画像データのノイズ低減処理に利用される。プロセッサ２１０は、ノズルパターンＮＰの読取データ７５０ｄ（図１３）を学習モデル２３５ｄに入力する。そして、プロセッサ２１０は、学習モデル２３５ｄの演算を行うことによって、ノイズが低減された画像の出力データ７７０ｄを生成できる。

【0124】

Ｃ．第３実施例：
図１４は、学習データの生成処理の別の実施例を示すフローチャートである。図４の実施例との差異は、ノズルパターンＮＰの画像の代わりに文字の画像が生成される点である。Ｓ１０５は、図４のＳ１０５と同じである。Ｓ１１０ａでは、プロセッサ２１０は、処理対象の文字である対象文字を選択する。本実施例では、対象文字は、文字と書体との組み合わせによって特定される。文字は、予め決められた文字セット（例えば、アルファベットと数字のセット）から選択される。書体は、予め決められた複数の書体（例えば、標準、太字、斜体）から選択される。Ｓ１３５ａでは、プロセッサ２１０は、対象文字の画像である文字画像の文字画像データを生成する。文字を示す画素の輝度値はゼロに設定され、背景を示す画素の輝度値は２５５に設定される。Ｓ１５０ａでは、プロセッサ２１０は、Ｓ１５０（図４）と同様に、文字画像データの平滑化処理を実行する。図１５（Ａ）－図１５（Ｄ）は、学習データの説明図である。図１５（Ａ）、図１５（Ｂ）には、文字画像８１０ｅ、８１０ｆが示されている。本実施例では、文字画像８１０ｅ、８１０ｆは、１個の文字の画像である。文字画像８１０ｅ、８１０ｆのサイズは、予め決められている。

【0125】

Ｓ１５５ａ（図１４）では、プロセッサ２１０は、Ｓ１５５（図４）と同様に、第１種背景画像データを生成する。第１種背景画像のサイズは、文字画像のサイズと同じである。図１５（Ａ）、図１５（Ｂ）には、第１種背景画像８３０ｅ、８３０ｆが示されている。Ｓ１６０ａでは、プロセッサ２１０は、Ｓ１６０（図４）と同様に、ノイズ含有文字画像データを生成する。図１５（Ａ）、図１５（Ｂ）には、ノイズ含有文字画像８５０ｅ、８５０ｆが示されている。ノイズ含有文字画像８５０ｅ、８５０ｆの輝度値Ｐｎ（ｘ，ｙ）は、文字画像８１０ｅ、８１０ｆの輝度値Ｐｔ（ｘ，ｙ）と第１種背景画像８３０ｅ、８３０ｆの輝度値Ｐｕ（ｘ，ｙ）とを用いて、図８（Ｄ）の関係式に従って算出される。Ｓ１６５ａでは、プロセッサ２１０は、生成したノイズ含有文字画像データを、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。

【0126】

Ｓ１７０ａでは、プロセッサ２１０は、Ｓ１７０（図４）と同様に、第１種背景画像の代表色値を特定する。Ｓ１７５ａでは、プロセッサ２１０は、Ｓ１７５（図４）と同様に、ノイズ低減文字画像データを生成する。図１５（Ｃ）、図１５（Ｄ）には、文字画像８１０ｅ、８１０ｆと、代表色値によって表される第２種背景画像８３０ｅｍ、８３０ｆｍと、ノイズ低減文字画像８５１ｅ、８５１ｆと、が示されている。ノイズ低減文字画像８５１ｅ、８５１ｆの輝度値Ｐｃ（ｘ，ｙ）は、文字画像８１０ｅ、８１０ｆの輝度値Ｐｔ（ｘ，ｙ）と第２種背景画像８３０ｅｍ、８３０ｆｍの輝度値Ｐｕｍ（ｘ，ｙ）とを用いて、図９（Ｄ）の関係式に従って算出される。

【0127】

Ｓ１８０ａでは、プロセッサ２１０は、Ｓ１８０（図４）と同様に、ノイズ低減文字画像データのコントラスト強調処理を実行する。図１５（Ｃ）、図１５（Ｄ）には、コントラストが強調されたノイズ低減文字画像８６０ｅ－８６０ｆが示されている。Ｓ１８５ａでは、プロセッサ２１０は、コントラストが調整された調整済ノイズ低減文字画像データを、ノイズ含有文字画像データと対応付けて、記憶装置２１５（本実施例では、不揮発性記憶装置２３０）に格納する。

【0128】

Ｓ１９０ａでは、プロセッサ２１０は、画像データの生成が完了したか否かを判断する。本実施例では、完了の条件は、複数の文字と複数の書体との全ての組み合わせの画像データが生成されたことである。Ｓ１１０ａでは、未処理の組み合わせが選択される。なお、完了の条件は、他の種々の条件であってよい。

【0129】

本実施例で生成されるノイズ含有文字画像データと調整済ノイズ低減文字画像データとは、学習モデル２３５、２３５ｄ（図３、図１３）などの種々の予測モデルのトレーニングに利用できる。ここで、文字画像データは、線対称ではない文字を表し得る（例えば、「Ｆ」の文字は線対称ではない）。従って、損失関数ＬＦ（図１０（Ｂ））からは、第２項Ｌｆｉｌｔｅｒは省略される。

【0130】

Ｄ．第４実施例：
図１６は、学習モデルの別の実施例の説明図である。本実施例の学習モデル２３５ｇは、畳み込みニューラルネットワークとも呼ばれる人工ニューラルネットワークのモデルである。本実施例では、学習モデル２３５ｇは、画像を複数のカテゴリに分類する。具体的には、学習モデル２３５ｇは、ノズルパターンＮＰの画像を、基準のノズルパターンＮＰと非基準のノズルパターンＮＰとに分類する。

【0131】

学習モデル２３５ｇは、例えば、第１畳込層４２１と、第１プーリング層４２２と、第２畳込層４２３と、第２プーリング層４２４と、第１全結合層４２５と、第２全結合層４２６と、第３全結合層４２７と、を備えている。これらの処理部４２１－４２７は、この順番に接続されている。この学習モデル２３５ｇは、典型的な畳み込みニューラルネットワークのモデルである。学習モデル２３５ｇは、入力された画像データを用いて、基準のノズルパターンＮＰの確率ＰＡと、非基準のノズルパターンＮＰの確率ＰＢと、を示す出力データＯＤを生成する。

【0132】

学習モデル２３５ｇのトレーニングには、図４の実施例で生成されたノイズ含有パターン画像が用いられる。上述したように、複数のノイズ含有パターン画像は、基準のノズルパターンＮＰを表す画像と、非基準のノズルパターンＮＰを表す画像と、を含んでいる。各ノイズ含有パターン画像には、「基準」または「非基準」を示すラベルデータが対応付けられる。このラベルデータは、出力データの目標値である教師データとして、利用される。本実施例では、調整済ノイズ低減パターン画像データは利用されない。従って、調整済ノイズ低減パターン画像データの生成は、省略されてよい。以下、複合機２００（図１）が、トレーニングを実行することとして、説明する。なお、トレーニングは、高い演算能力を有する他のデータ処理装置によって、実行されてよい。

【0133】

Ｓ３７２（図１６）では、プロセッサ２１０は、ノイズ含有パターン画像データ８５０ｇを学習モデル２３５ｇに入力する。Ｓ３７４では、プロセッサ２１０は、学習モデル２３５ｇの演算を行うことによって、出力データＯＤを生成する。Ｓ３７６では、プロセッサ２１０は、出力データＯＤと教師データ８８０ｇとを用いて、予め決められた損失関数に従って、誤差値８９０ｇを算出する。損失関数は、分類に適した種々の関数であってよく、例えば、クロスエントロピー誤差であってよい。教師データ８８０ｇは、ノイズ含有パターン画像データ８５０ｇに対応付けられたラベルデータである。Ｓ３７８では、プロセッサ２１０は、誤差値８９０ｇが小さくなるように、予め決められたアルゴリズムに従って、学習モデル２３５ｇの演算パラメータを調整する。調整される演算パラメータは、畳込層４２１、４２３の畳込フィルタの重みとバイアスと、全結合層４２５、４２６、４２７の重みとバイアスと、を含んでいる。アルゴリズムとしては、例えば、誤差逆伝播法と勾配降下法とを用いたアルゴリズムが用いられる。プロセッサ２１０は、以上のＳ３７２－Ｓ３７８を、繰り返す。そして、トレーニング完了の条件が満たされたことに応じて、Ｓ３８０で、プロセッサ２１０は、学習済の学習モデル２３５ｇを、不揮発性記憶装置２３０に格納する。

【0134】

学習済の学習モデル２３５ｇは、ノズルパターンＮＰの分類に利用される。プロセッサ２１０は、ノズルパターンＮＰの読取データ７５０ｇ（図１６）を学習モデル２３５ｇに入力する。そして、プロセッサ２１０は、学習モデル２３５ｇの演算を行うことによって、出力データＯＤを生成する。プロセッサ２１０は、出力データＯＤの確率ＰＡ、ＰＢを参照し、入力画像のノズルパターンＮＰを、最も高い確率のカテゴリに分類する。

【0135】

Ｅ．変形例：
（１）学習画像データの生成処理は、上記の処理に代えて、他の種々の処理であってよい。例えば、図４、図１４のＳ１０５では、１枚のシートの１個の読取データが取得されてよい。そして、Ｓ１５５、Ｓ１５５ａでは、１個の読取データから、第１種背景画像データが生成されてよい。また、１個の第１種背景画像データは、複数の学習画像データに共通に用いられてもよい。また、図９（Ｄ）の重みｋ１は、図８（Ｄ）の重みｋ１と異なっていてよい。また、図９（Ｄ）の重みｋ２は、図８（Ｄ）の重みｋ２と異なっていてよい。いずれの場合も、図９（Ｄ）の重みｋ１、ｋ２は、それぞれ、ゼロよりも大きいことが好ましい。また、図６（Ａ）の処理で、幅と輝度値と位置との３個のパラメータのうち、基準の値から変更され得るパラメータは、１個、または、２個のパラメータであってよい。すなわち、３個のパラメータのうち、１個、または、２個のパラメータは、基準の値に固定されてよい。

【0136】

また、図４、図１４の処理において、平滑化を行うＳ１５０、Ｓ１５０ａは、省略されてよい。また、コントラストを調整するＳ１８０、Ｓ１８０ａは、省略されてよい。

【0137】

（２）損失関数ＬＦ（図１０（Ｂ））の第２項Ｌｆｉｌｔｅｒは、線対称な位置の２個の重みの差が大きいほど大きい値を算出する種々の関数で表されてよい。例えば、第２項Ｌｆｉｌｔｅｒは、２個の重みの差分の二乗の平均値であってよい。

【0138】

（３）フィルタＦＬ（図１０（Ｃ））のサイズは、種々のサイズであってよい。例えば、Ｆｘ＝７、Ｆｙ＝７であってよい。また、横サイズＦｘは、縦サイズＦｙと異なっていてもよい。また、フィルタ対称軸ＡｘＦに対する重みＷの対称性を向上するためには、フィルタ対称軸ＡｘＦに垂直な方向のサイズ（ここでは、横サイズＦｘ）は、奇数であることが好ましい。

【0139】

（４）印刷装置１００によって印刷されるテストパターンは、複数の線ＰＬ（図２（Ａ））を含むノズルパターンＮＰに代えて、他の種々のパターンであってよい。例えば、テストパターンは、複数の縦線と複数の横線とを含む格子パターンであってよい。テストパターンは、円、楕円、三角形、矩形などの種々の形状のパターンを含んでよい。テストパターンは、線、円、楕円、三角形、矩形のように、対称軸に対して線対称な形状を有する特定部分を含んでよい。損失関数ＬＦが、フィルタＦＬの重みＷの対称性を向上する第２項を含む場合には、フィルタＦＬを用いる画像処理に起因する特定部分の変形（例えば、位置ずれ）を抑制できる。また、フィルタＦＬのフィルタ対称軸ＡｘＦに垂直な方向のサイズ（図１０（Ｃ）の例では、横サイズＦｘ）は、特定部分の対称軸に垂直な方向の大きさ（例えば、線ＰＬの幅）と同程度、または、それよりも小さくてよい。テストパターンは、上記の特定部分（例えば、ノズルパターンＮＰ）と、文字と、の両方を含んでよい。テストパターンは、図形と文字との両方を含んでよい。なお、テストパターンからは、上記の特定部分が省略されてもよい。この場合、損失関数ＬＦからは、第２項が省略されてよい。

【0140】

（５）画像データは、複数の色成分で表されてよい（例えば、ＲＧＢ、ＣＭＹＫ、ＹＣｂＣｒ等）。上記の読取データ、入力データ、出力データ、学習画像データ（ノイズ含有パターン画像データ、ノイズ低減パターン画像データなど）、対象データは、それぞれ、ＲＧＢのビットマップデータであってよい。画像データの各画素の色値がｕ個（ｕは１以上の整数）の色成分のｕ個の階調値で表される場合、図３、図１０（Ｃ）の畳込フィルタＦＬは、Ｆｘ×Ｆｙ×ｕ個の重みを含む。この１個の畳込フィルタＦＬは、ｕ個の色成分に対応するｕ枚のサブフィルタに分解可能である。１枚のサブフィルタは、Ｆｘ×Ｆｙ個の重みで構成され、そのサブフィルタに対応付けられた色成分の階調値に適用される。ここで、損失関数ＬＦ（図１０（Ｂ））の第２項Ｌｆｉｌｔｅｒは、ｕ枚のサブフィルタのそれぞれの対称性の高さを示す総合的な評価値であることが好ましい。例えば、図１０（Ｂ）に示す第２項Ｌｆｉｌｔｅｒの算出式は、１枚のサブフィルタの評価値の算出式として利用可能である。ｕ枚のサブフィルタの総合的な評価値としては、ｕ枚のサブフィルタのｕ個の評価値を用いて特定される種々の値（例えば、平均値、中央値などの代表値や、合計値）が、用いられてよい。

【0141】

（６）予測モデルの構成は、図３、図１３、図１６の学習モデル２３５、２３５ｄ、２３５ｇの構成に代えて、他の種々の構成であってよい。予測モデルは、画像データのノイズ低減、または、画像データの分類を行うモデルに限らず、他の種々の処理を行うモデルであってよい。予測モデルは、例えば、人工ニューラルネットワークと、隠れマルコフモデルと、推論エンジンと、のグループから任意に選択された１以上のモデルを含んでよい。

【0142】

（７）光学的な読み取りに用いられる装置は、読取部３００に代えて、デジタルカメラなどの種々の読取装置であってよい。

【0143】

（８）学習画像データの生成と、予測モデルのトレーニングと、フィルタを用いる画像処理とのそれぞれのデータ処理は、互いに異なるデータ処理装置によって、実行されてよい。データ処理装置は、複合機２００とは異なる種類の装置（例えば、パーソナルコンピュータ、デジタルカメラ、スキャナ、スマートフォン）であってよい。また、ネットワークを介して互いに通信可能な複数の装置（例えば、コンピュータ）が、データ処理装置によるデータ処理の機能を一部ずつ分担して、全体として、データ処理の機能を提供してもよい（これらの装置を備えるシステムがデータ処理装置に対応する）。

【0144】

上記各実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部あるいは全部をハードウェアに置き換えるようにしてもよい。例えば、学習モデル２３５、２３５ｄ、２３５ｇ（図３、図１３、図１６）は、プログラムモジュールに代えて、ASIC（Application Specific Integrated Circuit）等のハードウェア回路によって実現されてよい。

【0145】

また、本発明の機能の一部または全部がコンピュータプログラムで実現される場合には、そのプログラムは、コンピュータ読み取り可能な記録媒体（例えば、一時的ではない記録媒体）に格納された形で提供することができる。プログラムは、提供時と同一または異なる記録媒体（コンピュータ読み取り可能な記録媒体）に格納された状態で、使用され得る。「コンピュータ読み取り可能な記録媒体」は、メモリーカードやＣＤ－ＲＯＭのような携帯型の記録媒体に限らず、各種ＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスクドライブ等のコンピュータに接続されている外部記憶装置も含み得る。

【0146】

以上、実施例、変形例に基づき本発明について説明してきたが、上記した発明の実施の形態は、本発明の理解を容易にするためのものであり、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれる。

【符号の説明】

【0147】

１００…印刷装置、１１０…印刷ヘッド、２００…複合機、２０５…制御部、２１０…プロセッサ、２１５…記憶装置、２２０…揮発性記憶装置、２３０…不揮発性記憶装置、２３１…第１プログラム、２３２…第２プログラム、２３３…第３プログラム、２３５、２３５ｄ、２３５ｇ…学習モデル、２４０…表示部、２５０…操作部、２６０…印刷部、２７０…通信インタフェース、３００…読取部、３１０…畳込層、４１１…第１エンコーダ、４１２…第２エンコーダ、４１３…第３エンコーダ、４１５…第３デコーダ、４１６…第２デコーダ、４１７…第１デコーダ、４２１…第１畳込層、４２２…第１プーリング層、４２３…第２畳込層、４２４…第２プーリング層、４２５…第１全結合層、４２６…第２全結合層、４２７…第３全結合層、Ｄ１…第１方向、Ｄ２…第２方向、ＦＬ…畳込フィルタ、Ｄｘ…横方向、Ｄｙ…縦方向、Ｎｚ…ノズル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】