(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-02
(45)【発行日】2023-02-10
(54)【発明の名称】画像判別モデル構築方法、画像判別装置、および画像判別方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20230203BHJP
H04N 1/387 20060101ALI20230203BHJP
G06T 7/00 20170101ALI20230203BHJP
【ＦＩ】
G06T1/00 310A
H04N1/387 110
G06T7/00 350C
【請求項の数】
14
(21)【出願番号】P 2019119420
(22)【出願日】2019-06-27
(65)【公開番号】P2021005266
(43)【公開日】2021-01-14
【審査請求日】2021-12-23
(73)【特許権者】
【識別番号】000207551
【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス
(74)【代理人】
【識別番号】100104695
【弁理士】
【氏名又は名称】島田 明宏
(74)【代理人】
【識別番号】100121348
【弁理士】
【氏名又は名称】川原 健児
(74)【代理人】
【識別番号】100114247
【氏名又は名称】奥田 邦廣
(74)【代理人】
【識別番号】100148459
【弁理士】
【氏名又は名称】河本 悟
(72)【発明者】
【氏名】今村 淳志
(72)【発明者】
【氏名】北村 一博
【審査官】橋爪 正樹
(56)【参考文献】
【文献】特開２０１９－０８７０４４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００
Ｇ０６Ｔ ７／００－ ７／９０
Ｈ０４Ｎ １／３８－ １／３９３
(57)【特許請求の範囲】
【請求項1】
印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別モデルを構築する方法であって、前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用いられ、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成されることを特徴とする、画像判別モデル構築方法。
【請求項2】
前記疑似不良データは、過去に前記印刷装置から出力された印刷画像から抽出された画像データであることを特徴とする、請求項１に記載の画像判別モデル構築方法。
【請求項3】
前記疑似不良データは、図形生成手段を用いてランダムに生成された画像データであることを特徴とする、請求項１に記載の画像判別モデル構築方法。
【請求項4】
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される属性を有する高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする、請求項３に記載の画像判別モデル構築方法。
【請求項5】
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される態様のグラデーションを有する画像を表す高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする、請求項４に記載の画像判別モデル構築方法。
【請求項6】
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、前記高濃度疑似不良データの画像が乱数によって決定される位置に配置されるように前記高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする、請求項３に記載の画像判別モデル構築方法。
【請求項7】
前記印刷装置は、Ｃ色、Ｍ色、Ｙ色、およびＫ色のインクを用いて印刷を行い、前記教師データ作成ステップにおいて、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、ＣＭＹＫ色空間において前記被合成画像データに含まれているインク色のうちの少なくとも１つのインク色の成分を当該被合成画像データから除去することによって、前記第１教師データが作成されることを特徴とする、請求項１から６までのいずれか１項に記載の画像判別モデル構築方法。
【請求項8】
前記第１教師データの作成元となる印刷画像が作業者によって選択された後、前記濃度判定ステップの処理と前記教師データ作成ステップの処理とが作業者の操作を介することなく行われることにより前記第１教師データが自動的に作成されることを特徴とする、請求項１から７までのいずれか１項に記載の画像判別モデル構築方法。
【請求項9】
前記教師データ作成ステップでは、前記被合成画像データに前記疑似不良データを合成する処理を繰り返すことによって、１つの前記被合成画像データから複数の前記第１教師データが作成されることを特徴とする、請求項８に記載の画像判別モデル構築方法。
【請求項10】
前記教師データ作成ステップと前記学習ステップとの間に、前記第１教師データおよび前記第２教師データに前記原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップを含むことを特徴とする、請求項１から９までのいずれか１項に記載の画像判別モデル構築方法。
【請求項11】
印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別モデルを構築する方法であって、前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとに前記印刷画像の原画像を表す原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップと、
前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第１教師データと前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第２教師データとを用いて機械学習を行う学習ステップと
を含むことを特徴とする、画像判別モデル構築方法。
【請求項12】
印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別装置であって、前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとを用いた機械学習によって定められたパラメータを保持するニューラルネットワークを用いて、前記印刷画像が前記良好画像であるのか前記不良画像であるのかを判別するための判別データを取得する判別データ取得手段と、
前記判別データに基づいて前記印刷画像が前記良好画像であるのか前記不良画像であるのかの判別結果を出力する結果出力手段と
を備え、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像は低濃度の印刷画像と高濃度の印刷画像とに分類され、
前記第１教師データは、前記撮像画像データまたは前記原画像データを被合成画像データとして、前記低濃度の印刷画像に対応する被合成画像データにインクの汚れを表す画像データである高濃度疑似不良データを合成することによって作成されたデータと、前記高濃度の印刷画像に対応する被合成画像データに前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データを合成することによって作成されたデータとを含むことを特徴とする、画像判別装置。
【請求項13】
印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する方法であって、機械学習によって定められるパラメータを保持するニューラルネットワーク部を含む画像判別モデルを構築するモデル構築ステップと、
前記画像判別モデルを用いて、判別対象の印刷画像である対象画像が前記良好画像であるのか前記不良画像であるのかの判別結果を得る判別ステップと
を含み、
前記モデル構築ステップは、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用意され、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成され、
前記ニューラルネットワーク部には、前記学習ステップで得られたパラメータが保持されることを特徴とする、画像判別方法。
【請求項14】
前記印刷媒体上の前記印刷画像を撮像することによって前記撮像画像データを取得する撮像ステップと、前記撮像画像データと前記原画像データとを比較することによって前記印刷画像に不良部分があるか否かの検査を行う検査ステップと
を含み、
前記教師データ作成ステップでは、前記検査ステップでの検査によって不良部分がある旨の判定がなされた印刷画像のうちの実際には不良画像ではない印刷画像に対応する、撮像画像データまたは原画像データが、前記被合成画像データとされることを特徴とする、請求項１３に記載の画像判別方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印刷装置（典型的にはインクジェット印刷装置）から印刷媒体に出力された印刷画像が良好画像であるのか不良画像であるのかを判別する画像判別モデルを構築する方法に関する。
【背景技術】
【0002】
近年、印刷物の品質向上が強く求められており、それに伴い、印刷物の検査の重要性が高まっている。そこで、印刷状態を検査する検査装置を備えたインクジェット印刷装置の普及が進んでいる。検査装置は、印刷後の用紙をカメラで撮像することによって得られる撮像画像と印刷元のデータに相当する原画像とを比較照合することにより、インク汚れ（例えば、図２０で符号９１を付した部分に示すような汚れ）や白スジなどの印刷不良をリアルタイムで検出する。なお、白スジとは、印刷時のインクの抜けに起因するスジ状の画像である。図２１において、符号９２を付した矢印の部分に白スジの一例を示している。検査装置による検査で上述のような印刷不良が検出されると、当該検査装置から検査結果として不良情報（例えば、不良種別、不良箇所の切り取り画像）が出力される。
【0003】
ところが、従来の検査装置によれば、検査精度が不充分であり、検査結果に多数の虚報（実際には印刷不良ではないものに対してなされた印刷不良である旨の提示）が含まれている。このため、検査装置によって印刷不良である旨の判断がなされた全ての印刷画像に対して、実際に印刷不良が生じているか否かの判別を作業者が目視によって行っている。しかしながら、このような目視による検査は作業者にとって負担が大きいので、作業者の負担を軽減することが強く望まれている。なお、以下においては、虚報を生じた印刷画像の状態を「偽不良」といい、実際に印刷不良が生じている印刷画像の状態を「真不良」という。
【0004】
作業者の目視検査の負担の軽減を図るため、近年、検査装置から出力された検査結果を人工知能（ＡＩ）の技術を用いて真不良と偽不良とに分類する試みがなされている。これによれば、ニューラルネットワーク等で構成された人工知能モデル９５で予め真不良の印刷画像９３と偽不良の印刷画像９４とを用いた機械学習が行われる（図２２参照）。そして、学習済みの人工知能モデルに、検査装置から出力された不良箇所の切り取り画像のデータが入力される。これにより、該当の印刷画像（切り取り画像）の状態が真不良であるのか偽不良であるのかの判別が行われる。以上のようにして真不良の結果のみをユーザーに提示することが提案されている。
【0005】
なお、本発明に関連して以下の先行技術文献が知られている。特開２００５－１５６３３４号公報には、ニューラルネットワークでの学習に必要な不良画像を自動的かつ大量に作成する技術が開示されている。国際公開２０１７／１５４６３０号パンフレットには、合成画像と背景画像との差分である差分画像を学習データとすることにより画像中に色彩あるいは明度が背景と類似する物体が含まれていても当該物体を識別できるようにする技術が開示されている。特開２０１８－１９５１１９号公報には、検査対象データと特徴抽出データとの差に基づく判定用データに基づいて検査対象データの異変の有無を判定する技術が開示されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００５－１５６３３４号公報
【文献】国際公開２０１７／１５４６３０号パンフレット
【文献】特開２０１８－１９５１１９号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところが、人工知能の技術を活用した従来の手法によれば、インクジェット印刷装置ではインク汚れや白スジなどの印刷不良が発生する頻度が低いために真不良データ（真不良の印刷画像のデータ）に関して充分な数の学習データを確保することが困難である。特開２００５－１５６３３４号公報に不良画像を大量に作成する技術が開示されているが、必ずしも実際に生じるような不良画像のみが作成されるわけではない。このため、充分な精度で判別を行うことは困難であると考えられる。
【0008】
また、インクジェット印刷装置ではバリアブルなデータ（ページ毎に画像や文字などが異なるデータ）の印刷が行われることが多い。それ故、通常、印刷不良となった印刷画像毎に背景（原画像）が異なる。例えば、インク汚れが複数の用紙で発生している場合に、風景画像上にインク汚れが発生している用紙もあれば、文字上にインク汚れが発生している用紙もある。また、インク汚れの形状についても様々である。人であれば背景とインク汚れを区別することは容易であるが、人工知能モデルにとっては背景とインク汚れを区別することは困難である。このように、人工知能の技術を活用した従来の手法によれば、背景が学習結果に及ぼす影響が大きく、充分な判別精度が得られない。これに関し、国際公開２０１７／１５４６３０号パンフレットに開示された技術および特開２０１８－１９５１１９号公報に開示された技術では、差分画像を学習データとしている。これらの技術を真不良と偽不良との判別に適用すると、例えば汚れ画像（インク汚れを表す画像）と背景画像とを合成した合成画像が生成され、当該合成画像と背景画像との差分画像が機械学習に用いる学習データとなる。但し、この場合、学習の際、例えば汚れ画像がどのような濃度の背景画像上に位置しているのかという情報が除去される。このため、真不良と偽不良との判別を背景を考慮して行うことはできない。これについては、図２３～図２６を参照しつつ、以下にさらに説明する。
【0009】
ここでは、図２３で符号９６１を付した背景画像と図２３で符号９６２を付した汚れ画像とに着目する。背景画像９６１については、上半分の画像は高濃度であって下半分の画像は低濃度であると仮定する。図２４に示すように背景画像上の高濃度の部分に汚れ画像が存在する場合には、汚れ画像は目立たないため、人工知能モデルによって該当の印刷画像は偽不良である旨の判別結果が得られることが好ましい。一方、図２５に示すように背景画像上の低濃度の部分に汚れ画像が存在する場合には、汚れ画像は目立つため、人工知能モデルによって該当の印刷画像は真不良である旨の判別結果が得られることが好ましい。図２４に示したケースでは、合成画像と背景画像との差分画像は図２６で符号９７１を付した画像となる。図２５に示したケースでは、合成画像と背景画像との差分画像は図２６で符号９７２を付した画像となる。画像９７１と画像９７２とは、汚れ画像の位置が異なるだけであって、それ以外の要素は同じである。従って、図２４に示したケースの判別結果と図２５に示したケースの判別結果とは同じになる。このように、人工知能の技術を活用した従来の手法では、真不良と偽不良との判別の際に背景が考慮されないので、所望の判別結果が得られない。
【0010】
以上の点に鑑み、本発明は、印刷装置（典型的にはインクジェット印刷装置）から印刷媒体に出力された印刷画像が不良画像（真不良の画像）であるか否かを充分な精度で判別できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
第１の発明は、印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別モデルを構築する方法であって、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用いられ、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成されることを特徴とする。
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用いられ、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成されることを特徴とする。
【0013】
第２の発明は、第１の発明において、
前記疑似不良データは、過去に前記印刷装置から出力された印刷画像から抽出された画像データであることを特徴とする。
前記疑似不良データは、過去に前記印刷装置から出力された印刷画像から抽出された画像データであることを特徴とする。
【0014】
第３の発明は、第１の発明において、
前記疑似不良データは、図形生成手段を用いてランダムに生成された画像データであることを特徴とする。
前記疑似不良データは、図形生成手段を用いてランダムに生成された画像データであることを特徴とする。
【0015】
第４の発明は、第３の発明において、
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される属性を有する高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される属性を有する高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
【0016】
第５の発明は、第４の発明において、
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される態様のグラデーションを有する画像を表す高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、乱数によって決定される態様のグラデーションを有する画像を表す高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
【0017】
第６の発明は、第３の発明において、
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、前記高濃度疑似不良データの画像が乱数によって決定される位置に配置されるように前記高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像に対応する第１教師データの作成が行われる際、前記高濃度疑似不良データの画像が乱数によって決定される位置に配置されるように前記高濃度疑似不良データが前記被合成画像データに合成されることを特徴とする。
【0018】
第７の発明は、第１から第６までのいずれかの発明において、
前記印刷装置は、Ｃ色、Ｍ色、Ｙ色、およびＫ色のインクを用いて印刷を行い、
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、ＣＭＹＫ色空間において前記被合成画像データに含まれているインク色のうちの少なくとも１つのインク色の成分を当該被合成画像データから除去することによって、前記第１教師データが作成されることを特徴とする。
前記印刷装置は、Ｃ色、Ｍ色、Ｙ色、およびＫ色のインクを用いて印刷を行い、
前記教師データ作成ステップにおいて、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、ＣＭＹＫ色空間において前記被合成画像データに含まれているインク色のうちの少なくとも１つのインク色の成分を当該被合成画像データから除去することによって、前記第１教師データが作成されることを特徴とする。
【0019】
第８の発明は、第１から第７までのいずれかの発明において、
前記第１教師データの作成元となる印刷画像が作業者によって選択された後、前記濃度判定ステップの処理と前記教師データ作成ステップの処理とが作業者の操作を介することなく行われることにより前記第１教師データが自動的に作成されることを特徴とする。
前記第１教師データの作成元となる印刷画像が作業者によって選択された後、前記濃度判定ステップの処理と前記教師データ作成ステップの処理とが作業者の操作を介することなく行われることにより前記第１教師データが自動的に作成されることを特徴とする。
【0020】
第９の発明は、第８の発明において、
前記教師データ作成ステップでは、前記被合成画像データに前記疑似不良データを合成する処理を繰り返すことによって、１つの前記被合成画像データから複数の前記第１教師データが作成されることを特徴とする。
前記教師データ作成ステップでは、前記被合成画像データに前記疑似不良データを合成する処理を繰り返すことによって、１つの前記被合成画像データから複数の前記第１教師データが作成されることを特徴とする。
【0021】
第１０の発明は、第１から第９までのいずれかの発明において、
前記教師データ作成ステップと前記学習ステップとの間に、前記第１教師データおよび前記第２教師データに前記原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップを含むことを特徴とする。
前記教師データ作成ステップと前記学習ステップとの間に、前記第１教師データおよび前記第２教師データに前記原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップを含むことを特徴とする。
【0022】
第１１の発明は、印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別モデルを構築する方法であって、
前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとに前記印刷画像の原画像を表す原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップと、
前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第１教師データと前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第２教師データとを用いて機械学習を行う学習ステップと
を含むことを特徴とする。
前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとに前記印刷画像の原画像を表す原画像データまたは前記原画像データに相当するデータを付加する原画像付加ステップと、
前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第１教師データと前記原画像付加ステップで前記原画像データまたは前記原画像データに相当するデータが付加された第２教師データとを用いて機械学習を行う学習ステップと
を含むことを特徴とする。
【0023】
第１２の発明は、印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する画像判別装置であって、
前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとを用いた機械学習によって定められたパラメータを保持するニューラルネットワークを用いて、前記印刷画像が前記良好画像であるのか前記不良画像であるのかを判別するための判別データを取得する判別データ取得手段と、
前記判別データに基づいて前記印刷画像が前記良好画像であるのか前記不良画像であるのかの判別結果を出力する結果出力手段と
を備え、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像は低濃度の印刷画像と高濃度の印刷画像とに分類され、
前記第１教師データは、前記撮像画像データまたは前記原画像データを被合成画像データとして、前記低濃度の印刷画像に対応する被合成画像データにインクの汚れを表す画像データである高濃度疑似不良データを合成することによって作成されたデータと、前記高濃度の印刷画像に対応する被合成画像データに前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データを合成することによって作成されたデータとを含むことを特徴とする。
前記不良画像に対応する教師データである第１教師データと前記良好画像に対応する教師データである第２教師データとを用いた機械学習によって定められたパラメータを保持するニューラルネットワークを用いて、前記印刷画像が前記良好画像であるのか前記不良画像であるのかを判別するための判別データを取得する判別データ取得手段と、
前記判別データに基づいて前記印刷画像が前記良好画像であるのか前記不良画像であるのかの判別結果を出力する結果出力手段と
を備え、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像は低濃度の印刷画像と高濃度の印刷画像とに分類され、
前記第１教師データは、前記撮像画像データまたは前記原画像データを被合成画像データとして、前記低濃度の印刷画像に対応する被合成画像データにインクの汚れを表す画像データである高濃度疑似不良データを合成することによって作成されたデータと、前記高濃度の印刷画像に対応する被合成画像データに前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データを合成することによって作成されたデータとを含むことを特徴とする。
【0024】
第１３の発明は、印刷装置から印刷媒体に出力された印刷画像がインク汚れも白スジも発生させない良好画像であるのかインク汚れまたは白スジを発生させる不良画像であるのかを判別する方法であって、
機械学習によって定められるパラメータを保持するニューラルネットワーク部を含む画像判別モデルを構築するモデル構築ステップと、
前記画像判別モデルを用いて、判別対象の印刷画像である対象画像が前記良好画像であるのか前記不良画像であるのかの判別結果を得る判別ステップと
を含み、
前記モデル構築ステップは、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用意され、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成され、
前記ニューラルネットワーク部には、前記学習ステップで得られたパラメータが保持されることを特徴とする。
機械学習によって定められるパラメータを保持するニューラルネットワーク部を含む画像判別モデルを構築するモデル構築ステップと、
前記画像判別モデルを用いて、判別対象の印刷画像である対象画像が前記良好画像であるのか前記不良画像であるのかの判別結果を得る判別ステップと
を含み、
前記モデル構築ステップは、
前記印刷媒体上の前記印刷画像を撮像することによって得られた撮像画像データまたは前記印刷画像の原画像を表す原画像データのデータ値の平均値を所定の閾値と比較することによって得られる結果に基づいて前記印刷画像が高濃度画像であるのか低濃度画像であるのかを判定する濃度判定ステップと、
前記撮像画像データまたは前記原画像データを被合成画像データとして、前記濃度判定ステップでの判定結果に応じて前記被合成画像データに疑似不良データを合成することによって、前記不良画像に対応する教師データである第１教師データを作成する教師データ作成ステップと、
前記第１教師データと前記良好画像に対応する教師データである第２教師データとを用いて機械学習を行う学習ステップと
を含み、
前記疑似不良データとして、インクの汚れを表す画像データである高濃度疑似不良データと前記印刷装置による印刷時のインクの抜けに起因するスジ状の画像を表す画像データである低濃度疑似不良データとが用意され、
前記教師データ作成ステップでは、前記濃度判定ステップで前記高濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記低濃度疑似不良データを合成することによって前記第１教師データが作成され、前記濃度判定ステップで前記低濃度画像である旨の判定が行われた印刷画像については、対応する被合成画像データに前記高濃度疑似不良データを合成することによって前記第１教師データが作成され、
前記ニューラルネットワーク部には、前記学習ステップで得られたパラメータが保持されることを特徴とする。
【0025】
第１４の発明は、第１３の発明において、
前記印刷媒体上の前記印刷画像を撮像することによって前記撮像画像データを取得する撮像ステップと、
前記撮像画像データと前記原画像データとを比較することによって前記印刷画像に不良部分があるか否かの検査を行う検査ステップと
を含み、
前記教師データ作成ステップでは、前記検査ステップでの検査によって不良部分がある旨の判定がなされた印刷画像のうちの実際には不良画像ではない印刷画像に対応する、撮像画像データまたは原画像データが、前記被合成画像データとされることを特徴とする。
前記印刷媒体上の前記印刷画像を撮像することによって前記撮像画像データを取得する撮像ステップと、
前記撮像画像データと前記原画像データとを比較することによって前記印刷画像に不良部分があるか否かの検査を行う検査ステップと
を含み、
前記教師データ作成ステップでは、前記検査ステップでの検査によって不良部分がある旨の判定がなされた印刷画像のうちの実際には不良画像ではない印刷画像に対応する、撮像画像データまたは原画像データが、前記被合成画像データとされることを特徴とする。
【発明の効果】
【0026】
上記第１の発明によれば、撮像画像データまたは原画像データを被合成画像データとして被合成画像データに疑似不良データを合成することによって、不良画像に対応する教師データである第１教師データが作成される。これにより、印刷装置で印刷不良が発生する頻度が低くても、充分な数の第１教師データを学習データとして用意することが可能となる。従って、印刷画像が不良画像（真不良の画像）であるか否かを精度良く判別できるようになる。具体的には、印刷画像中のインク汚れの有無および印刷画像中の白スジの有無を精度良く判別することが可能となる。
【0028】
上記第２の発明によれば、過去の実際の不良画像（真不良の画像）に基づいて第１教師データが作成されることになるので、判別精度が高くなる。
【0029】
上記第３の発明によれば、疑似不良データの用意に関する作業者の負担が軽減される。
【0030】
上記第４から第６までの発明によれば、様々な態様の高濃度疑似不良データが付加された第１教師データが作成されるので、様々な態様の不良画像に対して正確な判別を行うことが可能となる。
【0031】
上記第７の発明によれば、実際には生じ得ないような不良画像のデータを含む第１教師データ（すなわち、学習の際にノイズとなるような第１教師データ）が作成されることが防止される。
【0032】
上記第８の発明によれば、学習に必要な第１教師データが効率的に作成される。
【0033】
上記第９の発明によれば、より効率的に第１教師データが作成される。
【0034】
上記第１０の発明によれば、学習に先立って教師データに原画像データ（もしくは原画像データに相当するデータ）が付加されるので、画像判別モデルにとって背景画像と不良画像とを区別することが容易となり、判別の際に背景が考慮される。すなわち、背景が学習結果に大きな影響を及ぼすことが防止される。また、上述したように、充分な数の第１教師データを学習データとして用意することが可能となる。以上より、印刷画像が不良画像（真不良の画像）であるか否かを充分な精度で判別することが可能となる。
【0035】
上記第１１の発明によれば、学習に先立って教師データに原画像データ（もしくは原画像データに相当するデータ）が付加されるので、画像判別モデルにとって背景画像と不良画像とを区別することが容易となり、判別の際に背景が考慮される。すなわち、背景が学習結果に大きな影響を及ぼすことが防止され、印刷画像が不良画像（真不良の画像）であるか否かを従来と比較して精度良く判別することが可能となる。
【0036】
上記第１２の発明によれば、上記第１の発明と同様の効果が得られる。
【0037】
上記第１３の発明によれば、上記第１の発明と同様の効果が得られる。
【0038】
上記第１４の発明によれば、偽不良のデータに基づいて第１教師データが作成されるので、真不良と偽不良との判別をより精度良く行うことが可能となる。
【図面の簡単な説明】
【0039】
【図1】本発明の一実施形態における印刷システムの全体構成図である。
【図2】上記実施形態におけるインクジェット印刷装置の一構成例を示す模式図である。
【図3】上記実施形態における印刷データ生成装置のハードウェア構成図である。
【図4】上記実施形態における全体の処理手順を示すフローチャートである。
【図5】上記実施形態において、検査装置の動作について説明するための図である。
【図6】上記実施形態における画像判別モデルの概略構成図である。
【図7】上記実施形態において、学習時の処理について説明するための図である。
【図8】上記実施形態において、画像判別モデル内のニューラルネットワーク部の詳細な構成の一例を示す図である。
【図9】上記実施形態において、画像判別モデルを構築する手順を示すフローチャートである。
【図10】上記実施形態において、撮像画像データへの白スジデータの合成について説明するための図である。
【図11】上記実施形態において、撮像画像データへの汚れデータの合成について説明するための図である。
【図12】上記実施形態において、汚れデータの合成位置を乱数で決定することについて説明するための図である。
【図13】上記実施形態において、合成する汚れデータの色を乱数で決定することについて説明するための図である。
【図14】上記実施形態において、合成する汚れデータのグラデーションの態様を乱数で決定することについて説明するための図である。
【図15】上記実施形態において、教師データへの原画像データの付加について説明するための図である。
【図16】上記実施形態において、撮像ベースデータに原画像データが付加された入力データ（画像判別モデルへの入力データ）について説明するための図である。
【図17】従来の手法における判別について説明するための図である。
【図18】撮像画像データに疑似不良データを合成することによって第１教師データを作成するという構成が採用された場合の判別について説明するための図である。
【図19】上記実施形態における判別について説明するための図である。
【図20】インク汚れについて説明するための図である。
【図21】白スジについて説明するための図である。
【図22】人工知能の技術を活用した従来の手法について説明するための図である。
【図23】従来技術に関し、真不良と偽不良との判別の際に背景が考慮されないことについて説明するための図である。
【図24】従来技術に関し、真不良と偽不良との判別の際に背景が考慮されないことについて説明するための図である。
【図25】従来技術に関し、真不良と偽不良との判別の際に背景が考慮されないことについて説明するための図である。
【図26】従来技術に関し、真不良と偽不良との判別の際に背景が考慮されないことについて説明するための図である。
【発明を実施するための形態】
【0040】
以下、添付図面を参照しつつ、本発明の一実施形態について説明する。
【0041】
＜１．印刷システムの全体構成＞
図１は、本発明の一実施形態における印刷システムの全体構成図である。この印刷システムは、インクジェット印刷装置１００と印刷データ生成装置２００とによって構成されている。インクジェット印刷装置１００と印刷データ生成装置２００とは通信回線３００によって互いに接続されている。インクジェット印刷装置１００は、印刷版を用いることなくデジタルデータである印刷データに基づいて印刷媒体である印刷用紙１２２に印刷画像を出力する。インクジェット印刷装置１００は、印刷機本体１２０とそれを制御する印刷制御装置１１０とによって構成されている。本実施形態においては、印刷状態を検査する検査装置１２７が印刷機本体１２０に内蔵されている。印刷データ生成装置２００は、ＰＤＦファイルなどの入稿データに対して各種処理を施して印刷データを生成する。また、印刷データ生成装置２００は、検査装置１２７が印刷不良であると判定した印刷画像に対して、真不良の画像であるのか偽不良の画像であるのかを判別する。以下、真不良の画像のことを単に「不良画像」といい、偽不良の画像および検査装置１２７によって印刷不良であるとは判定されない画像のことを「良好画像」という。
図１は、本発明の一実施形態における印刷システムの全体構成図である。この印刷システムは、インクジェット印刷装置１００と印刷データ生成装置２００とによって構成されている。インクジェット印刷装置１００と印刷データ生成装置２００とは通信回線３００によって互いに接続されている。インクジェット印刷装置１００は、印刷版を用いることなくデジタルデータである印刷データに基づいて印刷媒体である印刷用紙１２２に印刷画像を出力する。インクジェット印刷装置１００は、印刷機本体１２０とそれを制御する印刷制御装置１１０とによって構成されている。本実施形態においては、印刷状態を検査する検査装置１２７が印刷機本体１２０に内蔵されている。印刷データ生成装置２００は、ＰＤＦファイルなどの入稿データに対して各種処理を施して印刷データを生成する。また、印刷データ生成装置２００は、検査装置１２７が印刷不良であると判定した印刷画像に対して、真不良の画像であるのか偽不良の画像であるのかを判別する。以下、真不良の画像のことを単に「不良画像」といい、偽不良の画像および検査装置１２７によって印刷不良であるとは判定されない画像のことを「良好画像」という。
【0042】
なお、本実施形態においては検査装置１２７が印刷機本体１２０に内蔵されているが、これには限定されない。例えば、検査装置１２７が印刷機本体１２０の外部にあっても良いし、検査装置１２７がインクジェット印刷装置１００とは独立した１つの装置であっても良い。
【0043】
＜２．インクジェット印刷装置の構成＞
図２は、本実施形態におけるインクジェット印刷装置１００の一構成例を示す模式図である。上述したように、このインクジェット印刷装置１００は、印刷機本体１２０とそれを制御する印刷制御装置１１０とによって構成されている。
図２は、本実施形態におけるインクジェット印刷装置１００の一構成例を示す模式図である。上述したように、このインクジェット印刷装置１００は、印刷機本体１２０とそれを制御する印刷制御装置１１０とによって構成されている。
【0044】
印刷機本体１２０は、印刷媒体である印刷用紙（例えばロール紙）１２２を供給する用紙送出部１２１と、印刷用紙１２２を印刷機構内部へと搬送するための第１の駆動ローラ１２３と、印刷機構内部で印刷用紙１２２を搬送するための複数個の支持ローラ１２４と、印刷用紙１２２にインクを吐出して印刷を行う印字部１２５と、印刷後の印刷用紙１２２を乾燥させる乾燥部１２６と、印刷用紙１２２への印刷の状態を検査する検査装置１２７と、印刷用紙１２２を印刷機構内部から出力するための第２の駆動ローラ１２８と、印刷後の印刷用紙１２２を巻き取る用紙巻取部１２９とを備えている。このように第１の駆動ローラ１２３と第２の駆動ローラ１２８とにより印刷用紙１２２は用紙送出部１２１から用紙巻取部１２９に向けて一定の搬送方向で搬送される。印字部１２５には、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），およびＫ（ブラック）のインクをそれぞれ吐出するＣ用インクジェットヘッド１２５ｃ，Ｍ用インクジェットヘッド１２５ｍ，Ｙ用インクジェットヘッド１２５ｙ，およびＫ用インクジェットヘッド１２５ｋが含まれている。
【0045】
印刷制御装置１１０は、以上のような構成の印刷機本体１２０の動作を制御する。印刷制御装置１１０に印刷出力の指示コマンドが与えられると、印刷制御装置１１０は、印刷用紙１２２が用紙送出部１２１から用紙巻取部１２９へと搬送されるよう、印刷機本体１２０の動作を制御する。そして、印刷用紙１２２の搬送過程において、まず印字部１２５内の各インクジェットヘッド１２５ｃ，１２５ｍ，１２５ｙ，および１２５ｋからのインクの吐出による印字が行われ、次に乾燥部１２６によって印刷用紙１２２の乾燥が行われ、最後に検査装置１２７によって印刷状態の検査が行われる。
【0046】
検査装置１２７にはカメラが内蔵されており、検査の際には、カメラで印刷用紙１２２に出力された印刷画像を撮像することによって得られた撮像画像と印刷データ生成装置２００から送られる印刷元のデータに相当する原画像との比較照合が行われる。その比較照合によって印刷不良（この印刷不良には真不良と偽不良とが含まれている）が検出されると、上述した不良情報が検査装置１２７から印刷データ生成装置２００に送られる。
【0047】
なお、ここではカラー印刷を行うインクジェット印刷装置１００の構成を例示したが、モノクロ印刷を行うインクジェット印刷装置が採用されている場合にも本発明を適用することができる。また、ここでは水性インクを用いるインクジェット印刷装置１００の構成を例示したが、例えばラベル印刷向けインクジェット印刷装置のようにＵＶインク（紫外線硬化インク）を用いるインクジェット印刷装置が採用されている場合にも本発明を適用することができる。
【0048】
＜３．印刷データ生成装置の構成＞
図３は、本実施形態における印刷データ生成装置２００のハードウェア構成図である。この印刷データ生成装置２００は、パソコンによって実現されており、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、補助記憶装置２４と、キーボード等の入力操作部２５と、表示部２６と、光学ディスクドライブ２７と、ネットワークインタフェース部２８とを有している。通信回線３００経由で送られてくるデータ（入稿データ、不良情報など）は、ネットワークインタフェース部２８を介して印刷データ生成装置２００の内部へと入力される。印刷データ生成装置２００で生成された印刷データは、ネットワークインタフェース部２８を介して通信回線３００経由でインクジェット印刷装置１００に送られる。
図３は、本実施形態における印刷データ生成装置２００のハードウェア構成図である。この印刷データ生成装置２００は、パソコンによって実現されており、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、補助記憶装置２４と、キーボード等の入力操作部２５と、表示部２６と、光学ディスクドライブ２７と、ネットワークインタフェース部２８とを有している。通信回線３００経由で送られてくるデータ（入稿データ、不良情報など）は、ネットワークインタフェース部２８を介して印刷データ生成装置２００の内部へと入力される。印刷データ生成装置２００で生成された印刷データは、ネットワークインタフェース部２８を介して通信回線３００経由でインクジェット印刷装置１００に送られる。
【0049】
本実施形態においては、この印刷データ生成装置２００で、印刷画像が良好画像であるのか不良画像であるのかを判別するための画像判別モデルの構築が行われる。また、この印刷データ生成装置２００で、構築後の画像判別モデル（学習済みの画像判別モデル）を用いて、印刷画像（典型的には、検査装置１２７によって印刷不良である旨の判定がなされた印刷画像）が良好画像であるのか不良画像であるのかの判別が行われる。画像判別モデルを構築するためのプログラム（画像判別モデル構築プログラム）２４１は補助記憶装置２４に格納されている。画像判別モデル構築プログラム２４１は、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納されて提供される。すなわちユーザは、例えば、画像判別モデル構築プログラム２４１の記録媒体としての光学ディスク（ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等）２７０を購入して光学ディスクドライブ２７に装着し、その光学ディスク２７０から画像判別モデル構築プログラム２４１を読み出して補助記憶装置２４にインストールする。また、これに代えて、通信回線３００を介して送られる画像判別モデル構築プログラム２４１をネットワークインタフェース部２８で受信して、それを補助記憶装置２４にインストールするようにしてもよい。
【0050】
＜４．全体の処理の流れ＞
＜４．１ 概要＞
本実施形態においては、インクジェット印刷装置１００から印刷用紙１２２に出力された印刷画像が良好画像であるのか不良画像であるのかを判別する画像判別モデルが、機械学習を行う畳み込みニューラルネットワークによって実現される。画像判別モデルでの学習は、不良画像に対応する教師データと良好画像に対応する教師データとを用いて行われる。なお、説明の便宜上、不良画像に対応する教師データを「第１教師データ」といい、良好画像に対応する教師データを「第２教師データ」という。
＜４．１ 概要＞
本実施形態においては、インクジェット印刷装置１００から印刷用紙１２２に出力された印刷画像が良好画像であるのか不良画像であるのかを判別する画像判別モデルが、機械学習を行う畳み込みニューラルネットワークによって実現される。画像判別モデルでの学習は、不良画像に対応する教師データと良好画像に対応する教師データとを用いて行われる。なお、説明の便宜上、不良画像に対応する教師データを「第１教師データ」といい、良好画像に対応する教師データを「第２教師データ」という。
【0051】
ところで、上述したようにインク汚れや白スジなどの印刷不良の発生頻度は低いので、第１教師データについては、充分な数の学習データを確保することが困難である。そこで、本実施形態においては、インク汚れや白スジなどを表す疑似不良データが用意され、良好画像である印刷画像の撮像で得られた撮像画像データに様々な態様で疑似不良データを合成することによって多数の第１教師データが作成される。なお、疑似不良データとしては、高濃度疑似不良データと低濃度疑似不良データとが用意される。例えば、インク汚れを表す疑似不良データが高濃度疑似不良データに相当し、白スジを表す疑似不良データが低濃度疑似不良データに相当する。
【0052】
また、本実施形態においては、画像判別モデルによる判別の際に画像中の不良部分が着目されるようにするために、画像判別モデルには入力データとして判別対象画像（良好画像であるのか不良画像であるのかの判別の対象となっている印刷画像）に相当するデータが与えられるだけでなく当該判別対象画像の原画像に相当するデータも与えられる。なお、本明細書では、判別時に画像判別モデルに与える画像だけでなく学習時に画像判別モデルに与える画像についても「判別対象画像」という語を用いる。
【0053】
以上のようにして、印刷画像が良好画像であるのか不良画像であるのかを精度良く判別することのできる画像判別モデルが構築される。そして、構築済み（学習済み）の画像判別モデルを用いて、判別対象画像が良好画像であるのか不良画像であるのかの判別が行われる。
【0054】
＜４．２ 処理手順＞
図４は、本実施形態における全体の処理手順を示すフローチャートである。まず、インクジェット印刷装置１００で印刷を実行するための印刷データが準備される（ステップＳ１０）。このステップＳ１０では、例えば、印刷データ生成装置２００がＰＤＦファイルなどの入稿データに対してＲＩＰ処理を施すことによってビットマップ形式のデータである印刷データが生成される。
図４は、本実施形態における全体の処理手順を示すフローチャートである。まず、インクジェット印刷装置１００で印刷を実行するための印刷データが準備される（ステップＳ１０）。このステップＳ１０では、例えば、印刷データ生成装置２００がＰＤＦファイルなどの入稿データに対してＲＩＰ処理を施すことによってビットマップ形式のデータである印刷データが生成される。
【0055】
次に、ステップＳ１０で準備された印刷データに基づいて、インクジェット印刷装置１００で印刷出力が実行される（ステップＳ２０）。そして、印刷出力の結果である印刷画像に対して、検査装置１２７による検査が行われる（ステップＳ３０およびステップＳ４０）。ステップＳ３０では、検査装置１２７に含まれるカメラによって印刷画像の撮像（読み取り）が行われる。これにより、ＲＧＢ形式のデータである撮像画像データが得られる。ステップＳ４０では、検査装置１２７において撮像画像データ４１と印刷データをＲＧＢ形式に変換したデータ（以下、ビットマップ形式の印刷データとそれをＲＧＢ形式に変換したデータとを総称して「原画像データ」という。）４２との比較照合が行われ、検査結果として不良情報４３が当該検査装置１２７から出力される（図５参照）。この不良情報４３には、真不良である画像のデータ（真不良データ）４３１と偽不良である画像のデータ（偽不良データ）４３２とが含まれている。なお、多数の偽不良データ４３２が得られるよう（換言すれば、本来的には印刷不良と判断されないデータの一部が印刷不良と判断されるよう）、検査装置１２７による判定条件を本来とは異なる条件に変更しておいても良い。不良情報４３や原画像データは必要に応じて検査装置１２７から印刷データ生成装置２００に送られる。
【0056】
上記ステップＳ１０～Ｓ４０の処理は、典型的には複数の印刷データに対して行われる。すなわち、ステップＳ１０～Ｓ４０の処理が繰り返されることによって、多数の印刷画像に基づく不良情報４３が得られる
【0057】
検査結果の出力後、後述するステップＳ７０で疑似不良データの合成先のデータとする被合成画像データの収集が行われる（ステップＳ５０）。このステップＳ５０では、検査装置１２７による検査で印刷不良とは判定されなかった印刷画像のデータや上記不良情報４３に含まれる偽不良データが被合成画像データとして収集される。上記不良情報４３に含まれているデータについての真不良と偽不良との判別は作業者による目視によって行われる。なお、被合成画像データとして収集されるデータは、印刷画像全体（ページ全体）のうちの一部の範囲の画像データである。
【0058】
次に、印刷データ生成装置２００において、上記不良情報４３に含まれる真不良データに基づいて、疑似不良データの収集が行われる（ステップＳ６０）。疑似不良データの収集は、例えば、印刷データ生成装置２００で画像編集ソフトを使用して真不良データの画像の中からインク汚れ部分のみを抽出することによって行われる。なお、抽出される部分の汚れの色は、汚れの原因となっているインクの色と背景（原画像）の色とが混ざった色となっている。ところで、真不良データの元となる画像は、インクジェット印刷装置１００から出力された印刷画像である。すなわち、本実施形態においては、インク汚れを表す疑似不良データ（汚れデータ）は、過去にインクジェット印刷装置１００から出力された印刷画像から抽出された画像データである。なお、図形生成手段（図形の自動生成を行うプログラムなど）を用いてランダムに生成された画像データを疑似不良データとして使用するようにしても良い。
【0059】
その後、ステップＳ５０で収集された被合成画像データやステップＳ６０で収集された疑似不良データなどを用いて画像判別モデルの構築が行われる（ステップＳ７０）。このステップＳ７０の詳細については後述する。
【0060】
最後に、ステップＳ７０で構築された画像判別モデルを用いて、判別対象画像が良好画像であるのか不良画像であるのかの判別が行われる（ステップＳ８０）。このとき、画像判別モデルには判別対象画像の撮像で得られた撮像画像データと判別対象画像の原画像を表す原画像データとが入力データとして与えられ、判別結果が画像判別モデルから出力される。
【0061】
なお、本実施形態においては、ステップＳ３０によって撮像ステップが実現され、ステップＳ４０によって検査ステップが実現され、ステップＳ７０によってモデル構築ステップが実現され、ステップＳ８０によって判別ステップが実現されている。
【0062】
＜５．画像判別モデル構築方法＞
本実施形態に係る画像判別モデル構築方法について説明する。なお、ここで説明する処理は、印刷データ生成装置２００で画像判別モデル構築プログラム２４１が実行されることによって行われる。
本実施形態に係る画像判別モデル構築方法について説明する。なお、ここで説明する処理は、印刷データ生成装置２００で画像判別モデル構築プログラム２４１が実行されることによって行われる。
【0063】
＜５．１ 画像判別モデルの構造＞
画像判別モデルを構築する手順について説明する前に、画像判別モデルの構造について説明する。なお、ここで説明する構造は一例であって、本発明はこれに限定されない。
画像判別モデルを構築する手順について説明する前に、画像判別モデルの構造について説明する。なお、ここで説明する構造は一例であって、本発明はこれに限定されない。
【0064】
図６は、画像判別モデル５００の概略構成図である。図６に示すように、画像判別モデル５００は、機械学習を行うニューラルネットワーク部５０と、判別対象画像が良好画像であるのか不良画像であるのかの判別結果７を出力する結果出力部５９とからなる。本実施形態においては、ニューラルネットワーク部５０は畳み込みニューラルネットワークによって実現される。
【0065】
ニューラルネットワーク部５０には、「撮像画像データと原画像データとを組み合わせたデータ」もしくは「撮像画像データに疑似不良データを合成することによって得られたデータと原画像データとを組み合わせたデータ」が入力データとして与えられる。なお、以下、「撮像画像データ」と「撮像画像データに疑似不良データを合成することによって得られたデータ」を総称して「撮像ベースデータ」という。入力データはＲＧＢ形式のデータであって、各色の入力データは撮像ベースデータと原画像データとからなる。従って、詳細には、図６に示すように、ニューラルネットワーク部５０には、入力データとして、赤色撮像ベースデータ６＿Ｒ１、赤色原画像データ６＿Ｒ２、緑色撮像ベースデータ６＿Ｇ１、緑色原画像データ６＿Ｇ２、青色撮像ベースデータ６＿Ｂ１、および青色原画像データ６＿Ｂ２が与えられる。
【0066】
以上のように、６チャンネルのデータがニューラルネットワーク部５０に入力される。各チャンネルのデータは、ｎ個（ｎは複数）の画素値データで構成されている。例えば、赤色撮像ベースデータ６＿Ｒ１は、図６に示すようにｎ個の画素値データ６＿Ｒ１（１）～６＿Ｒ１（ｎ）で構成されている。以上より、ニューラルネットワーク部５０には、（６×ｎ）個の画素値データが入力される。
【0067】
この例では１枚の６チャンネル画像のデータが画像判別モデル５００に与えられているが、２枚の３チャンネル画像のデータを画像判別モデル５００に与えて、それを画像判別モデル５００の内部で１枚の６チャンネル画像のデータに変換して得られたデータをニューラルネットワーク部５０に入力するようにしても良い。
【0068】
なお、入力データの元となる切り取り画像のサイズは、このニューラルネットワーク部５０の各チャンネルのデータのサイズとは必ずしも一致しない。従って、サイズの不一致が生じている場合には、入力データの元データに対してサイズ変換を施しサイズを一致させたデータがニューラルネットワーク部５０への入力データとなる。
【0069】
ニューラルネットワーク部５０からは、撮像ベースデータの画像が良好画像であるのか不良画像であるのかを判別するための判別データ６８が出力される。判別データ６８は、０以上１以下の数値データである。学習時には、判別データ６８の値と正解データ６９の値（例えば、不良画像に対応する正解データの値を１とし、良好画像に対応する正解データの値を０とする）との差（典型的には、２乗誤差）（図７参照）に基づく誤差逆伝播法の処理によって、ニューラルネットワーク部５０（畳み込みニューラルネットワーク）で用いられているパラメータの値が更新される。判別時には、例えば、判別データ６８の値が０．５以上であれば判別対象画像は不良画像である旨の判別結果が結果出力部５９から出力され、判別データ６８の値が０．５未満であれば判別対象画像は良好画像である旨の判別結果７が結果出力部５９から出力される。
【0070】
図８は、画像判別モデル５００内のニューラルネットワーク部５０の詳細な構成の一例を示す図である。このニューラルネットワーク部５０に上述した６チャンネルのデータ（赤色撮像ベースデータ６＿Ｒ１、赤色原画像データ６＿Ｒ２、緑色撮像ベースデータ６＿Ｇ１、緑色原画像データ６＿Ｇ２、青色撮像ベースデータ６＿Ｂ１、および青色原画像データ６＿Ｂ２）が入力されると、入力データに対して１組または複数組の畳み込みフィルタ５１に基づく畳み込み演算が施される。なお、１組の畳み込みフィルタ５１には６個のフィルタが含まれており、１組の畳み込みフィルタ５１に基づく畳み込み演算によって１枚の特徴マップ５２が得られる。例えば、３組の畳み込みフィルタ５１が使用される場合、畳み込み演算によって３枚の特徴マップ５２が得られる。そして、各特徴マップ５２に対してプーリング演算が施されることによって、次元が削減されたプーリングデータ５３が得られる。このようにして得られたプーリングデータ５３が全結合層５４に与えられ、当該全結合層５４から上述した判別データ６８が出力される。この判別データ６８の値に基づいて、上述したように、学習時にはパラメータの更新が行われ、判別時には判別対象画像についての判別結果７が出力される。
【0071】
＜５．２ 手順＞
図９は、画像判別モデル５００を構築する手順（図４のステップＳ７０の処理の手順）を示すフローチャートである。上述したように、本実施形態においては、不良画像に対応する教師データ（第１教師データ）を作成する処理が行われる。この処理は、被合成画像データとしての撮像画像データに疑似不良データを合成することによって行われる。これに関し、第１教師データは、実際に検査装置１２７で検出すべき不良画像に近いデータであることが望ましい。例えば、検査装置１２７は、薄くインクが塗られている背景上にインク汚れが付着している部分や濃くインクが塗られている背景中のインクの抜けが生じている部分を不良部分と判断している。
図９は、画像判別モデル５００を構築する手順（図４のステップＳ７０の処理の手順）を示すフローチャートである。上述したように、本実施形態においては、不良画像に対応する教師データ（第１教師データ）を作成する処理が行われる。この処理は、被合成画像データとしての撮像画像データに疑似不良データを合成することによって行われる。これに関し、第１教師データは、実際に検査装置１２７で検出すべき不良画像に近いデータであることが望ましい。例えば、検査装置１２７は、薄くインクが塗られている背景上にインク汚れが付着している部分や濃くインクが塗られている背景中のインクの抜けが生じている部分を不良部分と判断している。
【0072】
そこで、背景のインクの濃度に応じて撮像画像データに合成する疑似不良データを異ならせるために、まず、学習に用いる印刷画像における疑似不良データを合成する部分画像（判別対象画像）が高濃度画像であるのか低濃度画像であるのかの判定が行われる（ステップＳ７１０）。このステップＳ７１０では、判別対象画像が高濃度画像であるのか低濃度画像であるのかの判定が、当該判別対象画像に対応する撮像画像データに基づいて行われる。但し、この判定が判別対象画像に対応する原画像データに基づいて行われても良い。撮像画像データはＲＧＢ形式のデータであるので、ＲＧＢの各色について、撮像画像データを構成する画素値の平均値が求められる。すなわち、３つの平均値（赤色の平均値ＡＶＥ＿Ｒ、緑色の平均値ＡＶＥ＿Ｇ、青色の平均値ＡＶＥ＿Ｂ）が求められる。そして、３つの平均値のそれぞれが予め定められた閾値と比較され、所定の条件を満たすか否かによって判別対象画像が高濃度画像であるのか低濃度画像であるのかの判定が行われる。例えば、上記３の平均値にそれぞれ対応するように３つの閾値（赤色用閾値ＴＨ＿Ｒ、緑色用閾値ＴＨ＿Ｇ、青色用閾値ＴＨ＿Ｂ）が用意され、以下の式（１）～（３）の全てを満たせば判別対象画像は高濃度画像であると判定され、そうでなければ判別対象画像は低濃度画像であると判定される。
ＡＶＥ＿Ｒ＜ＴＨ＿Ｒ ・・・（１）
ＡＶＥ＿Ｇ＜ＴＨ＿Ｇ ・・・（２）
ＡＶＥ＿Ｂ＜ＴＨ＿Ｂ ・・・（３）
ＡＶＥ＿Ｒ＜ＴＨ＿Ｒ ・・・（１）
ＡＶＥ＿Ｇ＜ＴＨ＿Ｇ ・・・（２）
ＡＶＥ＿Ｂ＜ＴＨ＿Ｂ ・・・（３）
【0073】
但し、判別対象画像が高濃度画像であるのか低濃度画像であるのかを判定する手法は上述の手法には限定されず、他の手法で判定が行われても良い。例えば、判別対象画像を印刷する際に使用した印刷画像データに基づいて当該画像が高濃度画像であるのか低濃度画像であるのかを判定しても良い。
【0074】
ステップＳ７１０で判別対象画像は高濃度画像であると判定されると、処理はステップＳ７２１に進む。一方、ステップＳ７１０で判別対象画像は低濃度画像であると判定されると、処理はステップＳ７２２に進む。
【0075】
ステップＳ７２１では、疑似不良データとしての白スジデータを撮像画像データに合成することによって、第１教師データが作成される。このステップＳ７２１では、例えば、図１０に示すように、撮像画像データ６１１に白スジデータが合成され、白スジデータ６１３を含む第１教師データ６１２が作成される。ところで、上述したように、白スジは印刷時のインクの抜けに起因するものである。また、図２に示したように、本実施形態に係るインクジェット印刷装置１００の印字部１２５は、Ｃ用インクジェットヘッド１２５ｃとＭ用インクジェットヘッド１２５ｍとＹ用インクジェットヘッド１２５ｙとＫ用インクジェットヘッド１２５ｋとによって構成されている。従って、白スジデータの合成は、ＣＭＹＫのうちの少なくとも１つの色の成分（典型的には、１つの色の成分）を撮像画像データから除去することによって行われる。しかしながら、撮像画像データはＲＧＢ形式のデータである。それ故、ステップＳ７２１では、データの合成に先立って、撮像画像データのＲＧＢ値をＣＭＹＫ値に変換することによって、撮像画像データにどのインク色の成分が含まれているのかが推定される。そして、撮像画像データに含まれているインク色の成分のみが当該撮像画像データからの除去対象とされる。なお、ＣＭＹＫのうちのどのインク色の成分が撮像画像データに含まれているのかをＲＧＢ値から直接的に推定するようにしても良い。これに関し、一例を挙げると、Ｃ（シアン）とＲ（赤）は補色（反対色）の関係にあるので、Ｒが少なければＣのインクが多く使用されていると推定することができる。
【0076】
白スジデータの合成を上述のように行うことによって、実際には生じ得ないような白スジデータ（不良画像のデータ）を含む第１教師データが作成されることが防止される。すなわち、学習の際にノイズとなるような第１教師データの作成が防止される。
【0077】
ステップＳ７２２では、疑似不良データとしての汚れデータを撮像画像データに合成することによって、第１教師データが作成される。汚れデータについては、予め図４のステップＳ６０によって用意されている。このステップＳ７２２では、例えば、図１１に示すように、撮像画像データ６２１に汚れデータが合成され、汚れデータ６２３を含む第１教師データ６２２が作成される。
【0078】
なお、本実施形態においては、撮像画像データに疑似不良データを合成することによって第１教師データが作成されるが、これには限定されない。原画像データに疑似不良データを合成することによって第１教師データを作成することもできる。すなわち、撮像画像データまたは原画像データを被合成画像データとして、被合成画像データに疑似不良データを合成することによって第１教師データの作成が行われる。また、第２教師データとしては、例えば、ステップＳ７２１，Ｓ７２２で疑似不良データとの合成が行われる前の撮像画像データを用いることができる。
【0079】
ところで、第１教師データの作成元となる印刷画像（学習に用いる印刷画像における疑似不良データを合成する部分画像）は作業者によって選択される。その選択された印刷画像に基づいて、ステップＳ７１０，Ｓ７２１，およびＳ７２２の処理は作業者の操作を介することなく行われる。すなわち、第１教師データは自動的に作成される。
【0080】
ステップＳ７３０では、後述するステップＳ７５０での学習に使用する教師データ（第１教師データおよび第２教師データ）に原画像データを付加する処理が行われる。このような処理が行われる理由は、上述したように、画像判別モデル５００による判別の際に画像中の不良部分が着目されるようにするためである。
【0081】
次に、教師データに対してデータ拡張と呼ばれる処理が施される（ステップＳ７４０）。詳しくは、このステップＳ７４０の開始時点に存在する教師データの画像に対して反転・拡大・縮小などの変換処理を施すことによって、教師データの数の増大が行われる。なお、このステップＳ７４０の処理は必ずしも必要ではないが、このようにして教師データの数を増やすことによってロバスト性が向上するという効果が得られる。
【0082】
典型的には、ステップＳ７１０～Ｓ７４０の処理は、図４のステップＳ５０で収集された被合成画像データの数だけ繰り返される。これにより、学習に用いる第１教師データが多数作成される。
【0083】
その後、ニューラルネットワーク部５０に教師データ（第１教師データおよび第２教師データ）を順次に与えることによって、学習（機械学習）が行われる（ステップＳ７５０）。これにより、ニューラルネットワーク部５０のパラメータが最適化され、画像判別モデル５００が構築される。
【0084】
なお、本実施形態においては、ステップＳ７１０によって濃度判定ステップが実現され、ステップＳ７２１およびステップＳ７２２によって教師データ作成ステップが実現され、ステップＳ７３０によって原画像付加ステップが実現され、ステップＳ７５０によって学習ステップが実現されている。
【0085】
＜５．３ 疑似不良データの合成＞
＜５．３．１ 乱数を用いた合成＞
撮像画像データへの疑似不良データの合成について説明する。本実施形態においては、撮像画像データへの高濃度疑似不良データの合成に関しては、乱数を用いた様々な態様での合成が繰り返し行われる。例えば、高濃度疑似不良データである汚れデータの合成に関し、合成位置、合成する汚れデータの色、合成する汚れデータのグラデーションの態様などが乱数によって決定される。
＜５．３．１ 乱数を用いた合成＞
撮像画像データへの疑似不良データの合成について説明する。本実施形態においては、撮像画像データへの高濃度疑似不良データの合成に関しては、乱数を用いた様々な態様での合成が繰り返し行われる。例えば、高濃度疑似不良データである汚れデータの合成に関し、合成位置、合成する汚れデータの色、合成する汚れデータのグラデーションの態様などが乱数によって決定される。
【0086】
汚れデータの合成位置を乱数で決定することによって、例えば、図１２で符号６３１を付した位置に汚れデータが付加された第１教師データ、図１２で符号６３２を付した位置に汚れデータが付加された第１教師データ、図１２で符号６３３を付した位置に汚れデータが付加された第１教師データなどが作成される。
【0087】
合成する汚れデータの色を乱数で決定することによって、Ｃ色の汚れデータが付加された第１教師データ、Ｍ色の汚れデータが付加された第１教師データ、Ｙ色の汚れデータが付加された第１教師データ、およびＫ色の汚れデータが付加された第１教師データが作成される（図１３参照）。
【0088】
合成する汚れデータのグラデーションの態様を乱数で決定することによって、図１４で符号６４１を付した矢印で示すようなグラデーションを有する汚れデータが付加された第１教師データ、図１４で符号６４２を付した矢印で示すようなグラデーションを有する汚れデータが付加された第１教師データ、図１４で符号６４３を付した矢印で示すようなグラデーションを有する汚れデータが付加された第１教師データなどが作成される。なお、汚れデータのグラデーションについては、通常、中心に近いほど濃度が高くされ、中心から離れるにつれて徐々に濃度が低くされるので、汚れデータの中心に近いほど高濃度の汚れ画像が高い確率で出現するように汚れデータの出現確率を設定しておくことが望ましい。
【0089】
上述したように、図９のステップＳ７１０～Ｓ７４０の処理は被合成画像データの数だけ繰り返される。従って、乱数によって決定される属性を有する高濃度疑似不良データ（汚れデータ）を被合成画像データとしての撮像画像データに合成するという処理が繰り返され、様々な「背景画像と不良画像との組み合わせ」からなる多数の第１教師データが作成される。
【0090】
なお、１回の上記ステップＳ７２１の処理あるいは１回の上記ステップＳ７２２の処理で、乱数によって決定される属性を有する疑似不良データを被合成画像データ（本実施形態では撮像画像データ）に合成する処理を繰り返すことによって、１つの被合成画像データから複数の第１教師データが作成されるようにしても良い。
【0091】
＜５．３．２ 合成ロジックの具体例＞
ここで、撮像画像データに疑似不良データを合成するロジックの一具体例について説明する。ここでは、撮像画像データにＣ色の汚れデータを合成するケースに着目する。なお、各状態のＲＧＢ値が以下のようになっていると仮定する。
Ｒｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｇｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｂｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｒｐａｐｅｒ＿ｗｈｉｔｅ，Ｇｐａｐｅｒ＿ｗｈｉｔｅ，Ｂｐａｐｅｒ＿ｗｈｉｔｅは、それぞれ、紙白（全くインクが塗られていない状態の印刷用紙）のＲ値，Ｇ値，Ｂ値である。
Ｒｃｙａｎ＝３０
Ｇｃｙａｎ＝６０
Ｂｃｙａｎ＝１４０
Ｒｃｙａｎ，Ｇｃｙａｎ，Ｂｃｙａｎは、それぞれ、紙白にＣ色のインクが網点パーセント１００％で塗られた状態のＲ値，Ｇ値，Ｂ値である。
ここで、撮像画像データに疑似不良データを合成するロジックの一具体例について説明する。ここでは、撮像画像データにＣ色の汚れデータを合成するケースに着目する。なお、各状態のＲＧＢ値が以下のようになっていると仮定する。
Ｒｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｇｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｂｐａｐｅｒ＿ｗｈｉｔｅ＝２００
Ｒｐａｐｅｒ＿ｗｈｉｔｅ，Ｇｐａｐｅｒ＿ｗｈｉｔｅ，Ｂｐａｐｅｒ＿ｗｈｉｔｅは、それぞれ、紙白（全くインクが塗られていない状態の印刷用紙）のＲ値，Ｇ値，Ｂ値である。
Ｒｃｙａｎ＝３０
Ｇｃｙａｎ＝６０
Ｂｃｙａｎ＝１４０
Ｒｃｙａｎ，Ｇｃｙａｎ，Ｂｃｙａｎは、それぞれ、紙白にＣ色のインクが網点パーセント１００％で塗られた状態のＲ値，Ｇ値，Ｂ値である。
【0092】
「紙白のＲ値」に対する「紙白にＣ色のインクが網点パーセント１００％で塗られたときのＲ値」の比率Ｒｉｎｋ＿ｒａｔｅ＿１００は、次式（４）で求められる。
Ｒｉｎｋ＿ｒａｔｅ＿１００＝Ｒｃｙａｎ／Ｒｐａｐｅｒ＿ｗｈｉｔｅ
＝３０／２００
＝０．１５ ・・・（４）
「紙白のＧ値」に対する「紙白にＣ色のインクが網点パーセント１００％で塗られたときのＧ値」の比率Ｇｉｎｋ＿ｒａｔｅ＿１００は、次式（５）で求められる。
Ｇｉｎｋ＿ｒａｔｅ＿１００＝Ｇｃｙａｎ／Ｇｐａｐｅｒ＿ｗｈｉｔｅ
＝６０／２００
＝０．３ ・・・（５）
「紙白のＢ値」に対する「紙白にＣ色のインクが網点パーセント１００％で塗られたときのＢ値」の比率Ｂｉｎｋ＿ｒａｔｅ＿１００は、次式（６）で求められる。
Ｂｉｎｋ＿ｒａｔｅ＿１００＝Ｂｃｙａｎ／Ｂｐａｐｅｒ＿ｗｈｉｔｅ
＝１４０／２００
＝０．７ ・・・（６）
Ｒｉｎｋ＿ｒａｔｅ＿１００＝Ｒｃｙａｎ／Ｒｐａｐｅｒ＿ｗｈｉｔｅ
＝３０／２００
＝０．１５ ・・・（４）
「紙白のＧ値」に対する「紙白にＣ色のインクが網点パーセント１００％で塗られたときのＧ値」の比率Ｇｉｎｋ＿ｒａｔｅ＿１００は、次式（５）で求められる。
Ｇｉｎｋ＿ｒａｔｅ＿１００＝Ｇｃｙａｎ／Ｇｐａｐｅｒ＿ｗｈｉｔｅ
＝６０／２００
＝０．３ ・・・（５）
「紙白のＢ値」に対する「紙白にＣ色のインクが網点パーセント１００％で塗られたときのＢ値」の比率Ｂｉｎｋ＿ｒａｔｅ＿１００は、次式（６）で求められる。
Ｂｉｎｋ＿ｒａｔｅ＿１００＝Ｂｃｙａｎ／Ｂｐａｐｅｒ＿ｗｈｉｔｅ
＝１４０／２００
＝０．７ ・・・（６）
【0093】
「紙白のＲ値」に対する「紙白にＣ色のインクが網点パーセント０％で塗られたと考えたときのＲ値」の比率Ｒｉｎｋ＿ｒａｔｅ＿０は１．０であり、「紙白のＧ値」に対する「紙白にＣ色のインクが網点パーセント０％で塗られたと考えたときのＧ値」の比率Ｇｉｎｋ＿ｒａｔｅ＿０は１．０であり、「紙白のＢ値」に対する「紙白にＣ色のインクが網点パーセント０％で塗られたと考えたときのＢ値」の比率Ｂｉｎｋ＿ｒａｔｅ＿０は１．０である。
【0094】
以上の前提下、撮像画像データの各画素のデータに対して、以下の式（７）～（１３）の計算が行われる。換言すれば、汚れデータを構成する画素の数だけ以下の式（７）～（１３）の計算が繰り返される。
【0095】
まず、次式（７）によって、乱数によるインク濃度ＲＧＢｉｎｋ＿ｄｅｎｓｉｔｙの決定が行われる。なお、ｒａｎｄｏｍ．ｒａｎｄｒａｎｇｅ（ａｒｇ１，ａｒｇ２，ａｒｇ３）は、ａｒｇ１以上ａｒｇ２以下の範囲でａｒｇ３刻みの乱数を返す関数である。
【数1】
【0096】
次に、次式（８）～（１０）によって、Ｒのインク濃度Ｒｉｎｋ＿ｄｅｎｓｉｔｙ、Ｇのインク濃度Ｇｉｎｋ＿ｄｅｎｓｉｔｙ、およびＢのインク濃度Ｂｉｎｋ＿ｄｅｎｓｉｔｙが求められる。
【数2】
【数3】
【数4】
【0097】
最後に、次式（１１）～（１３）によって、合成後のＲ値Ｒｐｉｘｅｌ＿ｎｅｗ、合成後のＧ値Ｇｐｉｘｅｌ＿ｎｅｗ、および合成後のＢ値Ｂｐｉｘｅｌ＿ｎｅｗが求められる。なお、Ｒｐｉｘｅｌ，Ｇｐｉｘｅｌ，Ｂｐｉｘｅｌは、それぞれ、撮像画像データ中の処理対象の画素のＲ値，Ｇ値，Ｂ値である。
Ｒｐｉｘｅｌ＿ｎｅｗ＝Ｒｐｉｘｅｌ×Ｒｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１１）
Ｇｐｉｘｅｌ＿ｎｅｗ＝Ｇｐｉｘｅｌ×Ｇｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１２）
Ｂｐｉｘｅｌ＿ｎｅｗ＝Ｂｐｉｘｅｌ×Ｂｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１３）
Ｒｐｉｘｅｌ＿ｎｅｗ＝Ｒｐｉｘｅｌ×Ｒｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１１）
Ｇｐｉｘｅｌ＿ｎｅｗ＝Ｇｐｉｘｅｌ×Ｇｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１２）
Ｂｐｉｘｅｌ＿ｎｅｗ＝Ｂｐｉｘｅｌ×Ｂｉｎｋ＿ｄｅｎｓｉｔｙ ・・・（１３）
【0098】
ここではＣ色の汚れデータを撮像画像データに合成するケースを例に挙げて説明したが、Ｃ色以外の色（Ｍ色、Ｙ色、Ｋ色）の汚れデータを撮像画像データに合成する場合にも同様のロジックを用いることができる。
【0099】
＜５．４ 教師データへの原画像データの付加＞
次に、教師データ（第１教師データおよび第２教師データ）に原画像データを付加する処理（図９のステップＳ７３０の処理）について詳しく説明する。
次に、教師データ（第１教師データおよび第２教師データ）に原画像データを付加する処理（図９のステップＳ７３０の処理）について詳しく説明する。
【0100】
本実施形態における画像判別モデル５００のような人工知能モデルに画像を学習させる場合、インクジェット印刷装置で印刷されるデータがバリアブルなデータであることが問題となる。バリアブルなデータが使用されるので、複数の用紙でインク汚れが発生しても、通常、背景は用紙毎に異なる。また、インク汚れについても汚れの形状や色は様々である。以上より、人工知能モデルに画像を学習させても、学習がインク汚れに着目して行われないことがある。例えば、背景中の特定のデザインに着目がなされて真不良ではないにもかかわらず真不良である旨の判定がなされることがある。従来の手法によれば、このように、背景が学習結果に大きな影響を及ぼし、真不良であるインク汚れや白スジと真不良ではない画像との判別が精度良く行われない。
【0101】
そこで、本実施形態においては、上述したように、画像判別モデル５００が画像中の不良部分に着目して判別を行うよう、画像判別モデル５００には入力データとして判別対象画像に相当するデータが与えられるだけでなく当該判別対象画像についての原画像データも与えられる。すなわち、学習に先立って、判別対象画像に原画像を付加する処理が行われる。この処理は、第１教師データについても第２教師データについても行われる。本実施形態においては、第１教師データは、撮像画像データに疑似不良データを合成することによって作成される。従って、第１教師データへの原画像データの付加は、図１５に示すように、撮像画像データに疑似不良データ６５９を合成することによって得られたデータである撮像ベースデータ６５１に原画像データ６５２を付加することによって行われる。このようにして、画像判別モデル５００への入力データ６５３が得られる。なお、第２教師データへの原画像データの付加は、撮像画像データそのものである撮像ベースデータに原画像データを付加することによって行われる。以上のようにして、背景が学習結果に影響を及ぼすことが防止される。
【0102】
撮像ベースデータ６６１に原画像データ６６２を付加することによって得られた入力データ６６３は、図１６に示すように、赤色撮像ベースデータ６＿Ｒ１、赤色原画像データ６＿Ｒ２、緑色撮像ベースデータ６＿Ｇ１、緑色原画像データ６＿Ｇ２、青色撮像ベースデータ６＿Ｂ１、および青色原画像データ６＿Ｂ２からなる６チャンネルのデータとして画像判別モデル５００内のニューラルネットワーク部５０に与えられる。
【0103】
以上のように実際に得られるべき印刷画像に相当する原画像データを教師データに付加することによって、判別対象画像と原画像との差分に着目しつつ学習（画像判別モデル５００での学習）が行われるようになる。
【0104】
なお、本実施形態においては判別対象画像についての原画像データが教師データに付加されるが、原画像データそのものではなく原画像データに相当するデータを教師データに付加するようにしても良い。バリアブルなデータを用いた印刷に関し、特定の背景中の一部の領域のみにバリアブルなデータを配置したものの印刷が行われることがある。このような場合、教師データの元となる判別対象画像とは異なる印刷画像についての原画像データを教師データに付加しても、画像中の不良部分に着目して学習が行われるものと考えられる。従って、教師データに付加するデータは、判別対象画像についての原画像データそのものには限定されない。
【0105】
＜６．効果＞
＜６．１ 従来の手法との対比など＞
人工知能の技術を活用した従来の手法によれば、図１７に示すように、教師データとされる真不良データ７１１と教師データとされる偽不良データ７１２との間に何ら関連性はなかった。すなわち、真不良データ７１１と偽不良データ７１２との差異には、不良部分（インク汚れや白スジなど）の有無だけでなく背景の違いも含まれていた。このため、人工知能モデルにとっては、画像中の不良部分を特定しつつ学習を行うことが困難であった。そのため、判別の際に不良部分に着目がなされずに誤判別の結果が得られる頻度が大きかった。
＜６．１ 従来の手法との対比など＞
人工知能の技術を活用した従来の手法によれば、図１７に示すように、教師データとされる真不良データ７１１と教師データとされる偽不良データ７１２との間に何ら関連性はなかった。すなわち、真不良データ７１１と偽不良データ７１２との差異には、不良部分（インク汚れや白スジなど）の有無だけでなく背景の違いも含まれていた。このため、人工知能モデルにとっては、画像中の不良部分を特定しつつ学習を行うことが困難であった。そのため、判別の際に不良部分に着目がなされずに誤判別の結果が得られる頻度が大きかった。
【0106】
撮像画像データに疑似不良データを合成することによって第１教師データを作成するという構成が採用されると、充分の数の真不良データ（第１教師データ）を用意することが可能になるとともに、図１８に示すように真不良データ７２１と偽不良データ７２２との差異を不良部分の有無だけにすることが可能となる。これにより、従来の手法に比べて、判別の精度が向上する。但し、学習に先立って教師データへの原画像データの付加が行われなければ、人工知能モデルにとっては未知の不良画像に対して正しい判別結果を得ることは難しい。
【0107】
本実施形態によれば、撮像画像データに疑似不良データを合成することによって第１教師データを作成するという構成および学習に先立って教師データに原画像データを付加するという構成が採用される。これにより、図１９に示すように真不良データ７３１と偽不良データ７３２との差異を不良部分の有無だけにすることが可能となる。また、学習の際に判別対象画像と原画像との差分に着目がなされ、画像中の不良部分を特定しつつ学習を行うことが可能となる。このため、未知の不良画像の判別（真不良と偽不良との判別）に関してロバスト性が向上する。
【0108】
＜６．２ まとめ＞
以下、本実施形態で得られる効果についてまとめる。まず、撮像画像データに疑似不良データを合成することによって、不良画像に対応する教師データである第１教師データが作成される。これにより、実際の印刷不良の発生頻度が低くても、充分な数の第１教師データを用意することが可能となる。従って、従来の手法と比較して、真不良と偽不良との判別を精度良く行うことが可能となる。また、上述のように第１教師データを作成することにより、真不良データを含む印刷画像と偽不良データを含む印刷画像との差異を不良部分の有無だけにすることが可能となるので、不良部分に着目しつつ学習が行われ、判別の精度が向上する。さらに、学習に先立って教師データに原画像データが付加されるので、真不良と偽不良との判別の際に背景が考慮される。換言すれば、背景が学習結果に大きな影響を及ぼすことが防止される。その結果、充分な精度で真不良と偽不良との判別を行うことが可能となる。以上より、本実施形態によれば、インクジェット印刷装置１００から出力された印刷画像が不良画像（真不良の画像）であるか否かを充分な精度で判別することが可能となる。
以下、本実施形態で得られる効果についてまとめる。まず、撮像画像データに疑似不良データを合成することによって、不良画像に対応する教師データである第１教師データが作成される。これにより、実際の印刷不良の発生頻度が低くても、充分な数の第１教師データを用意することが可能となる。従って、従来の手法と比較して、真不良と偽不良との判別を精度良く行うことが可能となる。また、上述のように第１教師データを作成することにより、真不良データを含む印刷画像と偽不良データを含む印刷画像との差異を不良部分の有無だけにすることが可能となるので、不良部分に着目しつつ学習が行われ、判別の精度が向上する。さらに、学習に先立って教師データに原画像データが付加されるので、真不良と偽不良との判別の際に背景が考慮される。換言すれば、背景が学習結果に大きな影響を及ぼすことが防止される。その結果、充分な精度で真不良と偽不良との判別を行うことが可能となる。以上より、本実施形態によれば、インクジェット印刷装置１００から出力された印刷画像が不良画像（真不良の画像）であるか否かを充分な精度で判別することが可能となる。
【0109】
＜７．その他＞
本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。例えば、上記実施形態においては、真不良と偽不良との判別が印刷データの生成を行う印刷データ生成装置２００で行われるが、本発明はこれに限定されない。真不良と偽不良との判別は、印刷データ生成装置２００以外の装置で行われても良い。
本発明は、上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。例えば、上記実施形態においては、真不良と偽不良との判別が印刷データの生成を行う印刷データ生成装置２００で行われるが、本発明はこれに限定されない。真不良と偽不良との判別は、印刷データ生成装置２００以外の装置で行われても良い。
【0110】
また、上記実施形態においては、教師データ（第１教師データおよび第２教師データ）に原画像データを付加する処理（図９のステップＳ７３０の処理）が行われて画像判別モデル５００に撮像ベースデータと原画像データとが与えられるが、本発明はこれに限定されない。上記実施形態に比べて判別精度が低下するが、原画像データを付加する処理を行うことなく画像判別モデル５００に撮像ベースデータのみを与えるようにすることもできる。この場合にも、撮像画像データに疑似不良データを合成して第１教師データを作成するという処理を行うことによって充分な数の第１教師データを用意することが可能となるので、従来の手法と比較して、真不良と偽不良との判別の精度が向上する。
【符号の説明】
【0111】
６＿Ｒ１…赤色撮像ベースデータ
６＿Ｒ２…赤色原画像データ
６＿Ｇ１…緑色撮像ベースデータ
６＿Ｇ２…緑色原画像データ
６＿Ｂ１…青色撮像ベースデータ
６＿Ｂ２…青色原画像データ
５０…ニューラルネットワーク部
５９…結果出力部
６８…判別データ
１００…インクジェット印刷装置
１１０…印刷制御装置
１２０…印刷機本体
１２５…印字部
１２７…検査装置
２００…印刷データ生成装置
２４１…画像判別モデル構築プログラム
５００…画像判別モデル
６＿Ｒ２…赤色原画像データ
６＿Ｇ１…緑色撮像ベースデータ
６＿Ｇ２…緑色原画像データ
６＿Ｂ１…青色撮像ベースデータ
６＿Ｂ２…青色原画像データ
５０…ニューラルネットワーク部
５９…結果出力部
６８…判別データ
１００…インクジェット印刷装置
１１０…印刷制御装置
１２０…印刷機本体
１２５…印字部
１２７…検査装置
２００…印刷データ生成装置
２４１…画像判別モデル構築プログラム
５００…画像判別モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】