(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024137554
(43)【公開日】2024-10-07
(54)【発明の名称】印刷装置、吐出不良検出方法、および吐出不良検出プログラム
(51)【国際特許分類】
B41J 2/01 20060101AFI20240930BHJP
【FI】
B41J2/01 207
B41J2/01 209
B41J2/01 205
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2023049113
(22)【出願日】2023-03-25
(71)【出願人】
【識別番号】000207551
【氏名又は名称】株式会社SCREENホールディングス
(74)【代理人】
【識別番号】100104695
【弁理士】
【氏名又は名称】島田 明宏
(74)【代理人】
【識別番号】100148459
【弁理士】
【氏名又は名称】河本 悟
(72)【発明者】
【氏名】横内 健一
【テーマコード(参考)】
2C056
【Fターム(参考)】
2C056EB27
2C056EB40
2C056EC69
2C056FA13
(57)【要約】
【課題】インクジェット印刷装置に関し、学習データの生成・収集やパラメータの設定のために多大な手間を要することなくノズルの吐出不良を精度良く検出できるようにする。
【解決手段】良好な吐出状態を表す画像のみを用いてオートエンコーダによる教師なし学習を行うことにより、ノズルの吐出不良を検出するための学習済みモデルを生成する(S20)。テストパターンの印刷画像の撮像画像から複数の部分画像を切り出す(S50)。学習済みモデルを構成するオートエンコーダに入力データとして部分画像を与え(S60)、当該入力データと出力データとの平均2乗誤差を算出する(S70)。平均2乗誤差と閾値との比較結果に基づき、入力データに対応する1個以上のノズルの中に吐出不良ノズルが含まれているか否かを判定する(S80)。
【選択図】
図16
【特許請求の範囲】
【請求項1】
所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットを備えた印刷装置におけるノズルの吐出不良を検出する吐出不良検出方法であって、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像を用意する学習用画像準備ステップと、
前記複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成ステップと、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンを前記印刷装置に印刷させるテストパターン印刷ステップと、
前記テストパターン印刷ステップで得られた印刷画像を撮像する撮像ステップと、
前記撮像ステップで得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出しステップと、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する吐出不良判定ステップと
を含み、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする、吐出不良検出方法。
【請求項2】
前記モデル生成ステップでは、印刷条件毎に教師なし学習が行われることによって印刷条件毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときの印刷条件に対応する前記学習済みモデルが使用されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項3】
前記モデル生成ステップでは、1または2以上の印刷条件を印刷条件グループとして、印刷条件グループ毎に教師なし学習が行われることによって印刷条件グループ毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときの印刷条件を含む印刷条件グループに対応する前記学習済みモデルが使用されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項4】
前記モデル生成ステップでは、インクの種類毎に教師なし学習が行われることによってインクの種類毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときに使用されたインクの種類に対応する前記学習済みモデルが使用されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項5】
前記画像切り出しステップでは、前記テストパターンの設計情報に基づき各ノズルからインクが吐出されることが想定される位置を暫定吐出位置として、前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記暫定吐出位置を基準にして前記撮像画像から切り出されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項6】
前記画像切り出しステップでは、
前記撮像画像に含まれる2つの位置マークの位置と当該2つの位置マークの間に相当する領域にインクを吐出すべきノズルの数とに基づいて前記搬送方向とは直交する方向についての隣接する2つのノズル間の距離であるノズルピッチが求められ、
各ノズルについての前記暫定吐出位置が前記ノズルピッチを用いて求められることを特徴とする、請求項5に記載の吐出不良検出方法。
【請求項7】
前記画像切り出しステップでは、
前記撮像画像に基づいて各ノズルから実際にインクが吐出されている実吐出位置が求められ、
前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記実吐出位置を基準にして前記撮像画像から切り出されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項8】
前記画像切り出しステップは、
Kを2以上の整数として、各分割画像が前記搬送方向に関して1個のノズルに対応するよう、前記撮像画像を前記搬送方向にK個に分割する撮像画像分割ステップと、
前記撮像画像分割ステップで得られたK個の分割画像のそれぞれについて、前記搬送方向に含まれる複数の画素のデータの平均値を算出する平均値算出ステップと、
前記平均値算出ステップで算出された平均値に基づいて各ノズルについての前記実吐出位置を求める実吐出位置特定ステップと
を含むことを特徴とする、請求項7に記載の吐出不良検出方法。
【請求項9】
前記画像切り出しステップでは、各ノズルからインクが吐出される理想的な位置を理想吐出位置として、前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記理想吐出位置を基準にして前記撮像画像から切り出されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項10】
前記複数のノズルのうち前記理想吐出位置を求める対象のノズルを着目ノズルとして、前記画像切り出しステップは、
前記テストパターンの設計情報に基づき前記着目ノズルおよび前記着目ノズルの近傍の所定数のノズルからインクが吐出されることが想定される位置を暫定吐出位置として求める暫定吐出位置算出ステップと、
前記撮像画像に基づいて、前記着目ノズルの近傍の前記所定数のノズルから実際にインクが吐出されている実吐出位置を求める実吐出位置算出ステップと、
前記着目ノズルの近傍の前記所定数のノズルのそれぞれについて前記暫定吐出位置と前記実吐出位置との差分を算出する差分算出ステップと、
前記差分算出ステップで算出された差分の平均値を算出する差分平均算出ステップと、
前記着目ノズルについての前記暫定吐出位置に前記差分平均算出ステップで算出された平均値を加算することによって前記着目ノズルについての前記理想吐出位置を求める理想吐出位置特定ステップと
を含むことを特徴とする、請求項9に記載の吐出不良検出方法。
【請求項11】
前記学習用画像準備ステップは、
前記テストパターンと前記複数のノズルからインクが吐出されることによって形成されるべき全体が一定濃度であるチントパターンとを前記印刷装置に印刷させる学習前印刷ステップと、
前記チントパターンに対応する撮像画像である第1の部分撮像画像と前記テストパターンに対応する撮像画像である第2の部分撮像画像とが得られるよう、前記学習前印刷ステップで得られた印刷画像を撮像する学習前撮像ステップと、
前記学習前撮像ステップで得られた前記第1の部分撮像画像のうちの異常部分を除く部分をチント正常部として、前記第2の部分撮像画像のうちの前記チント正常部に対応する部分から前記複数の学習用画像を抽出する学習用画像抽出ステップと
を含むことを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項12】
前記入力データおよび前記出力データは、複数の画素のデータによって構成され、
前記吐出不良判定ステップは、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを前記入力データとして与えて前記出力データを得る自己符号化ステップと、
前記入力データと前記出力データとの平均2乗誤差を算出する誤差算出ステップと、
前記平均2乗誤差と前記閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する比較判定ステップと
を含み、
前記比較判定ステップでは、前記平均2乗誤差が前記閾値よりも大きければ、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれていると判定されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項13】
前記学習用画像準備ステップでは、それぞれが1個のノズルからインクが吐出されることによって形成される前記複数の学習用画像が用意され、
前記画像切り出しステップでは、それぞれが1個のノズルに対応する前記複数の部分画像が前記撮像画像から切り出されることを特徴とする、請求項1に記載の吐出不良検出方法。
【請求項14】
前記複数のノズルからのインクの吐出を制御するための印刷データを前記吐出不良判定ステップで得られた結果に基づきノズルの吐出不良が補償されるように補正する印刷データ補正ステップを更に含むことを特徴とする、請求項1から13までのいずれか1項に記載の吐出不良検出方法。
【請求項15】
所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットと、印刷画像を撮像する撮像装置と、前記複数のノズルからのインクの吐出および前記撮像装置による前記印刷画像の撮像を制御する制御部とを備えた印刷装置であって、
前記制御部は、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成部と、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンの印刷画像を前記撮像装置が撮像することによって得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出し部と、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かの判定を行う吐出不良判定部と
を含み、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする、印刷装置。
【請求項16】
前記ヘッドユニットは、前記搬送方向の上流側に配置された上流側インク吐出ヘッドと前記搬送方向の下流側に配置された下流側インク吐出ヘッドとを含み、
前記モデル生成部は、前記上流側インク吐出ヘッドに含まれるノズルに対応する画像と前記下流側インク吐出ヘッドに含まれるノズルに対応する画像とで別々に教師なし学習を行うことによって、前記上流側インク吐出ヘッドに対応する学習済みモデルと前記下流側インク吐出ヘッドに対応する学習済みモデルとを生成し、
前記画像切り出し部によって切り出される前記複数の部分画像のそれぞれは、1個のノズルに対応し、
前記吐出不良判定部は、
前記入力データに対応するノズルが前記上流側インク吐出ヘッドに含まれていれば、前記上流側インク吐出ヘッドに対応する前記学習済みモデルを構成する前記オートエンコーダに前記入力データを与え、
前記入力データに対応するノズルが前記下流側インク吐出ヘッドに含まれていれば、前記下流側インク吐出ヘッドに対応する前記学習済みモデルを構成する前記オートエンコーダに前記入力データを与えることを特徴とする、請求項15に記載の印刷装置。
【請求項17】
前記制御部は、更に、前記複数の学習用画像を生成する学習用画像生成部を含み、
前記テストパターンの印刷画像と前記複数のノズルからインクが吐出されることによって形成されるべき全体が一定濃度であるチントパターンの印刷画像とを前記撮像装置が撮像することにより、前記チントパターンに対応する撮像画像である第1の部分撮像画像と前記テストパターンに対応する撮像画像である第2の部分撮像画像とが得られ、
前記学習用画像生成部は、前記第1の部分撮像画像のうちの異常部分を除く部分をチント正常部として、前記第2の部分撮像画像のうちの前記チント正常部に対応する部分から前記複数の学習用画像を抽出することを特徴とする、請求項15に記載の印刷装置。
【請求項18】
前記入力データおよび前記出力データは、複数の画素のデータによって構成され、
前記吐出不良判定部は、
前記複数の部分画像のそれぞれを前記入力データとして受け取って前記出力データを出力する、前記オートエンコーダからなる自己符号化部と、
前記入力データと前記出力データとの平均2乗誤差を算出する誤差算出部と、
前記平均2乗誤差と前記閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する比較判定部と
を含み、
前記比較判定部は、前記平均2乗誤差が前記閾値よりも大きければ、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれていると判定することを特徴とする、請求項15に記載の印刷装置。
【請求項19】
前記制御部は、更に、前記複数のノズルからのインクの吐出を制御するための印刷データを前記吐出不良判定部によって行われた判定の結果に基づきノズルの吐出不良が補償されるように補正する印刷データ補正部を含むことを特徴とする、請求項15から18までのいずれか1項に記載の印刷装置。
【請求項20】
所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットと印刷画像を撮像する撮像装置とを備えた印刷装置におけるノズルの吐出不良を検出する吐出不良検出プログラムであって、
前記印刷装置に含まれるコンピュータに、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成ステップと、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンを前記印刷装置に印刷させるテストパターン印刷ステップと、
前記テストパターン印刷ステップで得られた印刷画像を前記撮像装置に撮像させる撮像ステップと、
前記撮像ステップで得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出しステップと、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する吐出不良判定ステップと
を実行させ、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする、吐出不良検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、インクを吐出する多数のノズルが設けられたインク吐出ヘッド(印刷ヘッド)を有する印刷装置に関し、より詳しくは、そのような印刷装置において吐出不良状態のノズル(以下、「吐出不良ノズル」という。)を検出するための技術に関する。
【背景技術】
【0002】
印刷用紙などの印刷媒体にインクを吐出することにより印刷を行うインクジェット印刷装置が広く知られている。インクジェット印刷装置では、吐出間隔が長くなると、印刷が行われている期間中に、ノズル近傍における溶媒の蒸発によるインクの乾燥、ノズル内部への気泡の混入、ノズルへの塵埃の付着などが生じることがある。すなわち、ノズルの吐出不良が生じることがある。吐出不良が生じると、印刷画像において、吐出不良ノズルに対応するドットの欠落すなわちドット抜けが生じる。この場合、吐出不良ノズルの機能を回復させるための動作(クリーニングやフラッシング)や、吐出不良ノズルが吐出すべきインク滴を他のノズルに吐出させる代替打滴が行われる。
【0003】
ノズルの吐出不良に関しては大まかには3つの種類に分類することができ、これについて
図41~
図43を参照しつつ説明する。なお、
図41~
図43は階段状の規則的なパターン(テストパターン)を印刷することによって得られる印刷画像の一部を表しており、黒色の網掛け部分が、インクが塗られている部分である。
図41において符号91を付した点線部分については、インクが塗られるべき部分にインクが全く塗られていない。以下、このような吐出不良を「不吐出」という。
図42において符号92を付した点線部分については、インクが塗られている部分の形状が本来の形状とは異なっている。以下、このような吐出不良を「形状不良」という。濃度不足によりかすれた状態の吐出不良やインクが塗られている部分が主走査方向(印刷用紙の搬送方向とは直交する方向)に広がっている状態の吐出不良も形状不良に含まれる。
図43において符号93を付した点線部分については、インクが本来塗られるべき部分から主走査方向にずれた部分にインクが塗られている。以下、このような吐出不良を「横飛び」という。
【0004】
横飛びについて更に説明する。
図44において符号94を付した点線部分に着目すると、W2の長さはW1の長さよりも長くなっている。すなわち、主走査方向に関して、インク吐出部分の間隔が一定とはなっていない。このような横飛びを「寸法的な横飛び」という。また、
図45において符号95を付した部分に着目すると、インク吐出部分952の位置は、インク吐出部分951およびインク吐出部分953の位置との関係で明らかに異常である。このような横飛びを「品質に影響を与える横飛び」という。
【0005】
従来のインクジェット印刷装置においては、上記のような吐出不良は、所定のテストパターンを印刷した画像を撮像装置で撮像することによって得られる撮像データに基づいて数値的解析を行うことによって検出されている。これに関し、例えば特開2011-194734号公報には、インクの実際の着弾位置を上記撮像データに基づいて求めて当該着弾位置から基準位置までの距離に応じて判定対象のノズルが吐出不良ノズルであるか否かを判定することが記載されている。
【0006】
ノズルの吐出不良の検出に関し、近年では、機械学習を利用した技術も提案されている。例えば、特開2019-137048号公報には、テストパターンを印刷した画像の撮像データを評価することによって得られる位相(目標位置からの偏差)および振幅(印刷の一貫性)の情報と良否を表すラベルとに基づき教師あり学習が行われたサポートベクターマシンを用いて良好なノズルと吐出不良ノズルとの分類を行う技術が開示されている。また、特開2021-094853号公報には、不良情報に基づき教師あり学習が行われた畳み込みニューラルネットワークなどのディープニューラルネットワーク(DNN)にテストチャートを印刷した画像の撮像データを入力することによってノズルを吐出不良の種類で分類する技術が開示されている。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2011-194734号公報
【特許文献2】特開2019-137048号公報
【特許文献3】特開2021-094853号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
ところが、数値的解析を用いる従来の手法によれば、様々なパラメータを設定する必要がある。例えば、不吐出や形状不良の検出に用いる濃度の閾値や横飛びの検出に用いる距離の閾値などを印刷条件を考慮して設定する必要がある。印刷条件によって印刷媒体へのインクの着弾や浸透の状態が変化するので、印刷条件を考慮して様々なパラメータを適宜に設定することは困難であり多大な手間を要する。また、教師あり学習を用いる手法によれば、吐出不良が生じている状態の画像の撮像データ(以下、「不良データ」という。)を多数用意する必要があるが、吐出不良はまれにしか生じないため、学習データとして十分な数の不良データを収集することは極めて困難である。
【0009】
そこで、本発明は、インクジェット印刷装置に関し、学習データの生成・収集やパラメータの設定のために多大な手間を要することなくノズルの吐出不良を精度良く検出できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
第1の発明は、所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットを備えた印刷装置におけるノズルの吐出不良を検出する吐出不良検出方法であって、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像を用意する学習用画像準備ステップと、
前記複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成ステップと、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンを前記印刷装置に印刷させるテストパターン印刷ステップと、
前記テストパターン印刷ステップで得られた印刷画像を撮像する撮像ステップと、
前記撮像ステップで得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出しステップと、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する吐出不良判定ステップと
を含み、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする。
【0011】
第2の発明は、第1の発明において、
前記モデル生成ステップでは、印刷条件毎に教師なし学習が行われることによって印刷条件毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときの印刷条件に対応する前記学習済みモデルが使用されることを特徴とする。
【0012】
第3の発明は、第1の発明において、
前記モデル生成ステップでは、1または2以上の印刷条件を印刷条件グループとして、印刷条件グループ毎に教師なし学習が行われることによって印刷条件グループ毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときの印刷条件を含む印刷条件グループに対応する前記学習済みモデルが使用されることを特徴とする。
【0013】
第4の発明は、第1の発明において、
前記モデル生成ステップでは、インクの種類毎に教師なし学習が行われることによってインクの種類毎に前記学習済みモデルが生成され、
前記吐出不良判定ステップでは、前記テストパターン印刷ステップで前記テストパターンが印刷されたときに使用されたインクの種類に対応する前記学習済みモデルが使用されることを特徴とする。
【0014】
第5の発明は、第1の発明において、
前記画像切り出しステップでは、前記テストパターンの設計情報に基づき各ノズルからインクが吐出されることが想定される位置を暫定吐出位置として、前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記暫定吐出位置を基準にして前記撮像画像から切り出されることを特徴とする。
【0015】
第6の発明は、第5の発明において、
前記画像切り出しステップでは、
前記撮像画像に含まれる2つの位置マークの位置と当該2つの位置マークの間に相当する領域にインクを吐出すべきノズルの数とに基づいて前記搬送方向とは直交する方向についての隣接する2つのノズル間の距離であるノズルピッチが求められ、
各ノズルについての前記暫定吐出位置が前記ノズルピッチを用いて求められることを特徴とする。
【0016】
第7の発明は、第1の発明において、
前記画像切り出しステップでは、
前記撮像画像に基づいて各ノズルから実際にインクが吐出されている実吐出位置が求められ、
前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記実吐出位置を基準にして前記撮像画像から切り出されることを特徴とする。
【0017】
第8の発明は、第7の発明において、
前記画像切り出しステップは、
Kを2以上の整数として、各分割画像が前記搬送方向に関して1個のノズルに対応するよう、前記撮像画像を前記搬送方向にK個に分割する撮像画像分割ステップと、
前記撮像画像分割ステップで得られたK個の分割画像のそれぞれについて、前記搬送方向に含まれる複数の画素のデータの平均値を算出する平均値算出ステップと、
前記平均値算出ステップで算出された平均値に基づいて各ノズルについての前記実吐出位置を求める実吐出位置特定ステップと
を含むことを特徴とする。
【0018】
第9の発明は、第1の発明において、
前記画像切り出しステップでは、各ノズルからインクが吐出される理想的な位置を理想吐出位置として、前記複数の部分画像のそれぞれが、対応するN個のノズルのうちの所定の1つについての前記理想吐出位置を基準にして前記撮像画像から切り出されることを特徴とする。
【0019】
第10の発明は、第9の発明において、
前記複数のノズルのうち前記理想吐出位置を求める対象のノズルを着目ノズルとして、前記画像切り出しステップは、
前記テストパターンの設計情報に基づき前記着目ノズルおよび前記着目ノズルの近傍の所定数のノズルからインクが吐出されることが想定される位置を暫定吐出位置として求める暫定吐出位置算出ステップと、
前記撮像画像に基づいて、前記着目ノズルの近傍の前記所定数のノズルから実際にインクが吐出されている実吐出位置を求める実吐出位置算出ステップと、
前記着目ノズルの近傍の前記所定数のノズルのそれぞれについて前記暫定吐出位置と前記実吐出位置との差分を算出する差分算出ステップと、
前記差分算出ステップで算出された差分の平均値を算出する差分平均算出ステップと、
前記着目ノズルについての前記暫定吐出位置に前記差分平均算出ステップで算出された平均値を加算することによって前記着目ノズルについての前記理想吐出位置を求める理想吐出位置特定ステップと
を含むことを特徴とする。
【0020】
第11の発明は、第1の発明において、
前記学習用画像準備ステップは、
前記テストパターンと前記複数のノズルからインクが吐出されることによって形成されるべき全体が一定濃度であるチントパターンとを前記印刷装置に印刷させる学習前印刷ステップと、
前記チントパターンに対応する撮像画像である第1の部分撮像画像と前記テストパターンに対応する撮像画像である第2の部分撮像画像とが得られるよう、前記学習前印刷ステップで得られた印刷画像を撮像する学習前撮像ステップと、
前記学習前撮像ステップで得られた前記第1の部分撮像画像のうちの異常部分を除く部分をチント正常部として、前記第2の部分撮像画像のうちの前記チント正常部に対応する部分から前記複数の学習用画像を抽出する学習用画像抽出ステップと
を含むことを特徴とする。
【0021】
第12の発明は、第1の発明において、
前記入力データおよび前記出力データは、複数の画素のデータによって構成され、
前記吐出不良判定ステップは、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを前記入力データとして与えて前記出力データを得る自己符号化ステップと、
前記入力データと前記出力データとの平均2乗誤差を算出する誤差算出ステップと、
前記平均2乗誤差と前記閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する比較判定ステップと
を含み、
前記比較判定ステップでは、前記平均2乗誤差が前記閾値よりも大きければ、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれていると判定されることを特徴とする。
【0022】
第13の発明は、第1の発明において、
前記学習用画像準備ステップでは、それぞれが1個のノズルからインクが吐出されることによって形成される前記複数の学習用画像が用意され、
前記画像切り出しステップでは、それぞれが1個のノズルに対応する前記複数の部分画像が前記撮像画像から切り出されることを特徴とする。
【0023】
第14の発明は、第1から第13までのいずれかの発明において、
前記吐出不良検出方法は、前記複数のノズルからのインクの吐出を制御するための印刷データを前記吐出不良判定ステップで得られた結果に基づきノズルの吐出不良が補償されるように補正する印刷データ補正ステップを更に含むことを特徴とする。
【0024】
第15の発明は、所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットと、印刷画像を撮像する撮像装置と、前記複数のノズルからのインクの吐出および前記撮像装置による前記印刷画像の撮像を制御する制御部とを備えた印刷装置であって、
前記制御部は、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成部と、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンの印刷画像を前記撮像装置が撮像することによって得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出し部と、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かの判定を行う吐出不良判定部と
を含み、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする。
【0025】
第16の発明は、第15の発明において、
前記ヘッドユニットは、前記搬送方向の上流側に配置された上流側インク吐出ヘッドと前記搬送方向の下流側に配置された下流側インク吐出ヘッドとを含み、
前記モデル生成部は、前記上流側インク吐出ヘッドに含まれるノズルに対応する画像と前記下流側インク吐出ヘッドに含まれるノズルに対応する画像とで別々に教師なし学習を行うことによって、前記上流側インク吐出ヘッドに対応する学習済みモデルと前記下流側インク吐出ヘッドに対応する学習済みモデルとを生成し、
前記画像切り出し部によって切り出される前記複数の部分画像のそれぞれは、1個のノズルに対応し、
前記吐出不良判定部は、
前記入力データに対応するノズルが前記上流側インク吐出ヘッドに含まれていれば、前記上流側インク吐出ヘッドに対応する前記学習済みモデルを構成する前記オートエンコーダに前記入力データを与え、
前記入力データに対応するノズルが前記下流側インク吐出ヘッドに含まれていれば、前記下流側インク吐出ヘッドに対応する前記学習済みモデルを構成する前記オートエンコーダに前記入力データを与えることを特徴とする。
【0026】
第17の発明は、第15の発明において、
前記制御部は、更に、前記複数の学習用画像を生成する学習用画像生成部を含み、
前記テストパターンの印刷画像と前記複数のノズルからインクが吐出されることによって形成されるべき全体が一定濃度であるチントパターンの印刷画像とを前記撮像装置が撮像することにより、前記チントパターンに対応する撮像画像である第1の部分撮像画像と前記テストパターンに対応する撮像画像である第2の部分撮像画像とが得られ、
前記学習用画像生成部は、前記第1の部分撮像画像のうちの異常部分を除く部分をチント正常部として、前記第2の部分撮像画像のうちの前記チント正常部に対応する部分から前記複数の学習用画像を抽出することを特徴とする。
【0027】
第18の発明は、第15の発明において、
前記入力データおよび前記出力データは、複数の画素のデータによって構成され、
前記吐出不良判定部は、
前記複数の部分画像のそれぞれを前記入力データとして受け取って前記出力データを出力する、前記オートエンコーダからなる自己符号化部と、
前記入力データと前記出力データとの平均2乗誤差を算出する誤差算出部と、
前記平均2乗誤差と前記閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する比較判定部と
を含み、
前記比較判定部は、前記平均2乗誤差が前記閾値よりも大きければ、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれていると判定することを特徴とする。
【0028】
第19の発明は、第15から第18までのいずれかの発明において、
前記制御部は、更に、前記複数のノズルからのインクの吐出を制御するための印刷データを前記吐出不良判定部によって行われた判定の結果に基づきノズルの吐出不良が補償されるように補正する印刷データ補正部を含むことを特徴とする。
【0029】
第20の発明は、所定の搬送方向に搬送される印刷媒体にインクを吐出する複数のノズルを含むヘッドユニットと印刷画像を撮像する撮像装置とを備えた印刷装置におけるノズルの吐出不良を検出する吐出不良検出プログラムであって、
前記印刷装置に含まれるコンピュータに、
Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像をオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、前記オートエンコーダにより構成された学習済みモデルを生成するモデル生成ステップと、
前記複数のノズルからインクが吐出されることによって形成されるべきテストパターンを前記印刷装置に印刷させるテストパターン印刷ステップと、
前記テストパターン印刷ステップで得られた印刷画像を前記撮像装置に撮像させる撮像ステップと、
前記撮像ステップで得られた撮像画像からそれぞれがN個のノズルに対応する複数の部分画像を切り出す画像切り出しステップと、
前記学習済みモデルを構成する前記オートエンコーダに前記複数の部分画像のそれぞれを入力データとして与え、前記オートエンコーダからの出力データと前記入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、前記入力データに対応するN個のノズルの中に吐出不良状態のノズルが含まれているか否かを判定する吐出不良判定ステップと
を実行させ、
前記複数の学習用画像には、ノズルの吐出不良を表す画像が含まれていないことを特徴とする。
【発明の効果】
【0030】
上記第1の発明によれば、良好な吐出状態を表す画像のみを用いてオートエンコーダによる教師なし学習を行うことによって、ノズルの吐出不良を検出するための学習済みモデルが生成される。これにより、学習済みモデルを構成するオートエンコーダに与える入力データが吐出不良が生じていない画像であれば入力データと出力データとの誤差(入力データと出力データとに基づき求められる値)は小さくなり、学習済みモデルを構成するオートエンコーダに与える入力データが吐出不良が生じている画像であれば入力データと出力データとの誤差は大きくなる。従って、誤差と比較するための閾値をパラメータとして設定すれば、他のパラメータの設定を要することなく、オートエンコーダに入力データとして与えられた各部分画像に対応するN個のノズル(1個以上のノズル)の中に吐出不良状態のノズルが含まれているか否かを判定することができる。また、吐出不良はまれにしか生じないが、学習データ(学習用画像)として必要とされるのは良好な吐出状態を表す画像のみである(複数の学習用画像には、ノズルの吐出不良を表す画像は含まれない)ので、十分な数の学習データを容易に収集することができる。以上より、インクを吐出する複数のノズルを含むヘッドユニットを備えた印刷装置に関し、学習データの生成・収集やパラメータの設定のために多大な手間を要することなくノズルの吐出不良を精度良く検出することが可能となる。また、パラメータの設定の不十分さに起因して吐出不良の検出漏れが生じるということが抑制されるので、再印刷による印刷媒体やインクの無駄な消費が抑制される。このように、SDGs(持続可能な開発目標)の達成に貢献することができる。
【0031】
上記第2の発明によれば、ノズルの吐出不良の有無の判断の際に印刷条件が考慮されるので、より精度良くノズルの吐出不良を検出することが可能となる。
【0032】
上記第3の発明によれば、上記第2の発明と同様の効果が得られる。
【0033】
上記第4の発明によれば、ノズルの吐出不良の有無の判断の際にインクの種類が考慮されるので、より精度良くノズルの吐出不良を検出することが可能となる。
【0034】
上記第5の発明によれば、撮像画像から部分画像を切り出す際に基準とする位置を比較的容易に設定することができる。
【0035】
上記第6の発明によれば、上記第5の発明と同様の効果が得られる。
【0036】
上記第7の発明によれば、比較的少ない数の学習データで吐出不良のうちの形状不良を精度良く検出することが可能となる。
【0037】
上記第8の発明によれば、上記第7の発明と同様の効果が得られる。
【0038】
上記第9の発明によれば、撮像画像から部分画像を切り出す際の切り出し範囲に関わらず、吐出不良としての不吐出、形状不良、および横飛びを検出することが可能となる。
【0039】
上記第10の発明によれば、上記第9の発明と同様の効果が得られる。
【0040】
上記第11の発明によれば、学習データを効率的に収集することが可能となる。
【0041】
上記第12の発明によれば、例えば過去の検査等で得られた平均2乗誤差のデータを参照して閾値を設定しておけば、ノズルの吐出不良が精度良く検出される。
【0042】
上記第13の発明によれば、複数のノズルに対応する画像を学習用画像として用いる場合に比べて、オートエンコーダの入出力データのサイズ(画像サイズ)が小さくなるので、処理負荷が小さくなる。また、撮像画像から部分画像を切り出す際に基準とする位置が定められていなくても、ノズルの吐出不良を比較的精度良く検出することが可能となる。
【0043】
上記第14の発明によれば、たとえ吐出不良状態のノズルが存在していても、吐出不良が補償されるように印刷データが補正されるので、高品質の印刷物が得られる。
【0044】
上記第15の発明によれば、上記第1の発明と同様の効果が得られる。
【0045】
上記第16の発明によれば、上流側インク吐出ヘッドと下流側インク吐出ヘッドとを含むヘッドユニットを備えた印刷装置において、ノズルの吐出不良の有無の判断の際に上流側インク吐出ヘッドと下流側インク吐出ヘッドとの状態の違いが考慮されるので、より精度良くノズルの吐出不良を検出することが可能となる。
【0046】
上記第17の発明によれば、学習データを効率的に収集することが可能となる。
【0047】
上記第18の発明によれば、例えば過去の検査等で得られた平均2乗誤差のデータを参照して閾値を設定しておけば、ノズルの吐出不良が精度良く検出される。
【0048】
上記第19の発明によれば、たとえ吐出不良状態のノズルが存在していても、吐出不良が補償されるように印刷データが補正されるので、高品質の印刷物が得られる。
【0049】
上記第20の発明によれば、上記第1の発明と同様の効果が得られる。
【図面の簡単な説明】
【0050】
【
図1】本発明の考え方について説明するための図である。
【
図2】本発明の考え方について説明するための図である。
【
図3】本発明の考え方について説明するための図である。
【
図4】本発明の一実施形態に係る印刷システムの全体構成図である。
【
図5】上記実施形態におけるインクジェット印刷装置の一構成例を示す模式図である。
【
図6】上記実施形態における記録部の一構成例を示す平面図である。
【
図7】上記実施形態において、インク吐出ヘッドにおけるノズルの配置について説明するための図である。
【
図8】上記実施形態における印刷制御装置のハードウェア構成を示すブロック図である。
【
図9】上記実施形態において、印刷制御装置で印刷制御プログラムが実行されることによって実現される制御部の機能的構成を示すブロック図である。
【
図10】上記実施形態において、学習処理時に印刷される検査チャートの一例を示す図である。
【
図11】上記実施形態において、推論処理時に印刷される検査チャートの一例を示す図である。
【
図12】上記実施形態における吐出不良検出部の詳細な構成を示すブロック図である(各部分画像が1個のノズルに対応するケース)。
【
図13】上記実施形態において、吐出不良ノズルが存在している場合の検査チャートの印刷画像の一例を示す図である。
【
図14】上記実施形態における吐出不良検出部の詳細な構成を示すブロック図である(各部分画像が2個以上のノズルに対応するケース)。
【
図15】上記実施形態におけるオートエンコーダの構造の一例を示す図である。
【
図16】上記実施形態において、吐出不良ノズルを検出する一連の処理の手順を示すフローチャートである。
【
図17】上記実施形態において、学習データ(学習用画像)の準備についての詳細な手順を示すフローチャートである。
【
図18】上記実施形態において、パラメータとしての閾値の設定について説明するための図である。
【
図19】上記実施形態において、パラメータとしての閾値の設定について説明するための図である。
【
図20】上記実施形態において、主走査方向に連続する複数のノズルに対応する範囲の画像を切り出す例について説明するための図である。
【
図21】上記実施形態において、副走査方向に連続する複数のノズルに対応する範囲の画像を切り出す例について説明するための図である。
【
図22】上記実施形態において、主走査方向および副走査方向の双方について連続する複数のノズルに対応する範囲の画像を切り出す例について説明するための図である。
【
図23】上記実施形態において、暫定吐出位置の求め方について説明するための図である。
【
図24】上記実施形態において、実吐出位置を求める手順を示すフローチャートである。
【
図25】上記実施形態において、撮像画像の分割について説明するための図である。
【
図26】上記実施形態において、撮像画像を分割する際のトリミングについて説明するための図である。
【
図27】上記実施形態において、分割画像のそれぞれについての複数の画素のデータの平均値の算出について説明するための図である。
【
図28】上記実施形態において、不吐出ノズルが存在する場合における実吐出位置の求め方について説明するための図である。
【
図29】上記実施形態において、不吐出ノズルが存在する場合における実吐出位置の求め方について説明するための図である。
【
図30】上記実施形態において、理想吐出位置を求める手順を示すフローチャートである。
【
図31】上記実施形態において、テストチャートの撮像画像のうちの最上段および最下段の画像の複写について説明するための図である。
【
図32】上記実施形態において、処理時間優先切り出し手法について説明するための図である。
【
図33】上記実施形態において、部分画像を複数のノズル単位画像に分割することについて説明するための図である。
【
図34】上記実施形態において、精度優先切り出し手法について説明するための図である。
【
図35】上記実施形態において、精度優先切り出し手法が採用されている場合の吐出不良ノズルの特定について説明するための図である。
【
図36】上記実施形態において、精度優先切り出し手法が採用されている場合の吐出不良ノズルの特定について説明するための図である。
【
図37】上記実施形態において、画像の切り出し範囲と切り出し基準位置との組み合わせと検出可能な吐出不良の種類との関係について説明するための図である。
【
図38】上記実施形態の第3の変形例における記録部の一構成例を示す平面図である。
【
図39】上記第3の変形例におけるヘッドユニットの詳細な構成を示す図である。
【
図40】上記第3の変形例における教師なし学習の実行について説明するための図である。
【
図42】形状不良について説明するための図である。
【
図44】寸法的な横飛びについて説明するための図である。
【
図45】品質に影響を与える横飛びについて説明するための図である。
【発明を実施するための形態】
【0051】
<1.本発明の考え方>
本発明の実施形態について説明する前に、本発明の考え方について説明する。機械学習に用いるニューラルネットワークの1つとしてオートエンコーダが知られている。オートエンコーダを用いた学習は、出力データができるだけ入力データに近づくように行われる。ここで、正常なデータと異常なデータとが存在する場合において多数の正常なデータのみを用いてオートエンコーダの学習が行われると、学習済みのオートエンコーダからは次のように出力データが出力される。正常なデータが入力データとしてオートエンコーダに与えられると、オートエンコーダからは正常なデータが出力データとして出力される。このとき、入力データと出力データとの誤差は極めて小さい。これに対して、異常なデータが入力データとしてオートエンコーダに与えられると、オートエンコーダからは異常なデータを正常なデータに近づけたデータが出力データとして出力される。このとき、入力データと出力データとの誤差は大きい。このような誤差の違いを考慮すると、異常なデータの検出にオートエンコーダを利用することができる。
【0052】
ここで、例えば、1ノズル分のテストパターンの正常な印刷画像が
図1で符号170を付した矩形部分に示すような画像であると仮定する。なお、
図1において黒色の網掛け部分がインクで塗られた部分である。
図2で符号181を付した矩形部分に示すような画像(吐出不良が生じていない画像)が入力データとして学習済みのオートエンコーダに与えられると、当該学習済みのオートエンコーダからは
図2で符号182を付した矩形部分に示すような画像に相当する出力データが出力される。このとき、入力データと出力データとの誤差は極めて小さい。これに対して、
図3で符号191を付した矩形部分に示すような画像(吐出不良が生じている画像)が入力データとして学習済みのオートエンコーダに与えられると、当該学習済みのオートエンコーダからは例えば
図3で符号192を付した矩形部分に示すような画像に相当する出力データが出力される。このとき、入力データと出力データとの誤差は大きい。以上のように、吐出不良が生じているときには入力データと出力データとの誤差が大きくなる。これを利用して、吐出不良ノズルを検出することができる。
【0053】
そこで、以下の実施形態では、各ノズルからのインクの吐出状態を検査するためのテストパターンの印刷画像を撮像装置で撮像することによって得られた撮像画像のうち正常な画像(吐出不良が生じていない画像)のみを用いてオートエンコーダの学習を行い、その後、学習済みのオートエンコーダに検査対象の画像を入力データとして与える。そして、学習済みのオートエンコーダへの入力データと当該学習済みのオートエンコーダからの出力データとの誤差に基づいて、検査対象の画像に対応する1個以上のノズルの中に吐出不良ノズルが含まれているか否かを判断する。
【0054】
上記を踏まえ、以下、添付図面を参照しつつ本発明の一実施形態について説明する。
【0055】
<2.印刷システムの全体構成>
図4は、本発明の一実施形態に係る印刷システムの全体構成図である。この印刷システムは、インクジェット印刷装置10と印刷データ生成装置30とによって構成されている。インクジェット印刷装置10と印刷データ生成装置30とはLAN4によって互いに接続されている。印刷データ生成装置30は、PDFファイルなどの入稿データに対してRIP処理等を施して印刷データを生成する。印刷データ生成装置30で生成された印刷データは、LAN4を介してインクジェット印刷装置10に送信される。インクジェット印刷装置10は、印刷機本体200と、印刷機本体200の動作を制御する印刷制御装置100とによって構成されている。インクジェット印刷装置10は、印刷版を用いることなく、印刷データ生成装置30から送信された印刷データに基づいて、印刷媒体としての印刷用紙に印刷画像を出力する。なお、印刷用紙以外の印刷媒体(例えば、フィルム)が使用される場合にも本発明を適用することができる。
【0056】
<3.インクジェット印刷装置の印刷機本体の構成>
図5は、インクジェット印刷装置10の一構成例を示す模式図である。上述したように、このインクジェット印刷装置10は、印刷制御装置100と印刷機本体200とによって構成されている。
【0057】
印刷機本体200は、印刷用紙(この例では、ロール状の印刷用紙)5を印刷機構201に供給する用紙送出部202と、印刷用紙5への印刷を行う印刷機構201と、印刷後の印刷用紙5をロール状に巻き取る用紙巻取部208とを備えている。
【0058】
印刷機構201は、印刷用紙5を内部へと搬送するための第1の駆動ローラ203と、印刷機構201の内部で印刷用紙5を搬送するための複数個の支持ローラ204と、印刷用紙5に印刷画像を記録する記録部205と、印刷画像が記録された印刷用紙5を乾燥させる乾燥機構206と、印刷用紙5を印刷機構201の内部から出力するための第2の駆動ローラ207とを備えている。記録部205は、K色(黒色)のインクを吐出するK色用ヘッドユニット25Kと、C色(シアン色)のインクを吐出するC色用ヘッドユニット25Cと、M色(マゼンタ色)のインクを吐出するM色用ヘッドユニット25Mと、Y色(黄色)のインクを吐出するY色用ヘッドユニット25Yとによって構成されている。また、印刷機構201の内部には、記録部205により印刷用紙5に記録された印刷画像を撮像する撮像装置としてのインラインスキャナ40が含まれている。インラインスキャナ40により得られた撮像データは、印刷制御装置100に送られる。なお、以下においては、ヘッドユニットから吐出されるインクの色を区別しない場合、ヘッドユニットには符号25を付す。
【0059】
図6は、記録部205の一構成例を示す平面図である。
図6に示すように、記録部205は、印刷用紙5の搬送方向(副走査方向)に列置されたK色用ヘッドユニット25K、C色用ヘッドユニット25C、M色用ヘッドユニット25M、およびY色用ヘッドユニット25Yから構成されている。各ヘッドユニット25は、千鳥状に配置された複数個のインク吐出ヘッド(印刷ヘッド)251により構成されている。各インク吐出ヘッド251には、インクを吐出する多数のノズル(
図6では不図示)が含まれている。K色用ヘッドユニット25Kに含まれるインク吐出ヘッド251の各ノズルはK色のインクを吐出し、C色用ヘッドユニット25Cに含まれるインク吐出ヘッド251の各ノズルはC色のインクを吐出し、M色用ヘッドユニット25Mに含まれるインク吐出ヘッド251の各ノズルはM色のインクを吐出し、Y色用ヘッドユニット25Yに含まれるインク吐出ヘッド251の各ノズルはY色のインクを吐出する。
【0060】
図7は、インク吐出ヘッド251におけるノズルの配置について説明するための図である。典型的には、インク吐出ヘッド251には、それぞれが主走査方向(印刷用紙5の搬送方向とは直交する方向)に並べて配置された複数のノズルからなる複数列のノズル群が含まれている。
図7に示す例では、4列のノズル群がインク吐出ヘッド251に含まれている。
図7において符号41を付した部分には、各ノズルから吐出されたインクの印刷用紙5上における着弾位置を模式的に示している。1列目のノズル群に含まれるノズルから吐出されるインクの着弾位置と2列目のノズル群に含まれるノズルから吐出されるインクの着弾位置と3列目のノズル群に含まれるノズルから吐出されるインクの着弾位置と4列目のノズル群に含まれるノズルから吐出されるインクの着弾位置とは互いに異なる位置となるように、インク吐出ヘッド251内の複数のノズルは配置されている。例えば、1列目のノズル群に含まれる各ノズルから吐出されるインクの着弾位置は、3列目のノズル群に含まれるノズルから吐出されるインクの着弾位置と4列目のノズル群に含まれるノズルから吐出されるインクの着弾位置との間の位置である。
図7に示す例では、符号252(p)を付したノズルから吐出されるインクの着弾位置42は、符号252(q)を付したノズルから吐出されるインクの着弾位置43と符号252(r)を付したノズルから吐出されるインクの着弾位置44との間の位置である。
【0061】
<4.印刷制御装置の構成>
<4.1 ハードウェア構成>
図8は、印刷制御装置100のハードウェア構成を示すブロック図である。
図8に示すように、印刷制御装置100は、本体110、補助記憶装置121、光ディスクドライブ122、表示部123、キーボード124、およびマウス125などを備えている。本体110は、CPU111、メモリ112、第1ディスクインタフェース部113、第2ディスクインタフェース部114、表示制御部115、入力インタフェース部116、および通信インタフェース部117を含んでいる。CPU111、メモリ112、第1ディスクインタフェース部113、第2ディスクインタフェース部114、表示制御部115、入力インタフェース部116、および通信インタフェース部117は、システムバスを介して互いに接続されている。第1ディスクインタフェース部113には補助記憶装置121が接続されている。第2ディスクインタフェース部114には光ディスクドライブ122が接続されている。表示制御部115には、表示部(表示装置)123が接続されている。入力インタフェース部116には、キーボード124およびマウス125が接続されている。通信インタフェース部117には、通信ケーブルを介して印刷機本体200が接続されている。また、通信インタフェース部117はLAN4に接続されている。補助記憶装置121は磁気ディスク装置などである。光ディスクドライブ122には、CD-ROMやDVD-ROMなどのコンピュータ読み取り可能な記録媒体としての光ディスク19が挿入される。表示部123は液晶ディスプレイなどである。表示部123は、オペレータが所望する情報を表示するために使用される。キーボード124およびマウス125は、この印刷制御装置100に対して作業者が指示を入力するために使用される。
【0062】
補助記憶装置121には、印刷制御プログラム(印刷機本体200による印刷処理の実行を制御するためのプログラム)13が格納されている。本実施形態における印刷制御プログラム13には、サブプログラムとして、ノズルの吐出不良を検出するための吐出不良検出プログラムが含まれている。CPU111は、補助記憶装置121に格納された印刷制御プログラム13をメモリ112に読み出して実行することにより、印刷制御装置100の各種機能を実現する。メモリ112は、RAM(Random Access Memory)およびROM(Read Only Memory)を含んでいる。メモリ112は、補助記憶装置121に格納された印刷制御プログラム13をCPU111が実行するためのワークエリアとして機能する。なお、印刷制御プログラム13は、上記コンピュータ読み取り可能な記録媒体(非一過性の記録媒体)に格納されて提供される。すなわち、ユーザーは、例えば、印刷制御プログラム13の記録媒体としての光ディスク19を購入して光ディスクドライブ122に挿入し、光ディスク19から印刷制御プログラム13を読み出して補助記憶装置121にインストールする。
【0063】
<4.2 機能的構成>
図9は、印刷制御装置100で印刷制御プログラム13が実行されることによって実現される制御部150の機能的構成を示すブロック図である。制御部150は、搬送制御部151とインク吐出制御部152と乾燥制御部153と撮像制御部154とデータ保持部155と吐出不良検出部156と印刷データ補正部157とを含んでいる。
【0064】
搬送制御部151は、搬送機構29が印刷用紙5を搬送する速度(搬送速度)を制御する。なお、搬送機構29は、用紙送出部202と第1の駆動ローラ203と複数個の支持ローラ204と第2の駆動ローラ207と用紙巻取部208とによって実現される(
図5参照)。乾燥制御部153は、乾燥機構206が印刷後の印刷用紙5を乾燥させる際の温度(乾燥温度)を制御する。撮像制御部154は、インラインスキャナ40による印刷画像の撮像タイミングを制御する。
【0065】
データ保持部155は、印刷データ生成装置30から送信されたRIP処理後の印刷データ(印刷ジョブに基づく印刷データ)50を一時的に保持する。なお、印刷データ50は、各ヘッドユニット25に含まれている複数のノズルからのインクの吐出を制御するためのデータである。データ保持部155は、また、吐出不良ノズルを検出するための検査チャートを表す検査チャートデータを保持する。本実施形態においては、検査チャートデータとして、1つのヘッドユニット25内の全てのノズルからインクが吐出されることによって形成されるべき階段状のパターンであるテストパターンを表すテストパターンデータ51aと、1つのヘッドユニット25内の全てのノズルからインクが吐出されることによって形成されるべき全体が一定濃度のチントパターンを表すチントパターンデータ51bとがデータ保持部155に保持される。
【0066】
吐出不良検出部156は、検査チャートの印刷画像をインラインスキャナ40で撮像することによって得られる撮像データ(撮像画像)に基づいて、吐出不良ノズルを検出する。そして、吐出不良ノズルを特定する吐出不良情報52が吐出不良検出部156から出力される。吐出不良検出部156による吐出不良ノズルの検出には、オートエンコーダが用いられる。吐出不良検出部156の処理は、概略的には、学習データを準備して当該学習データを用いてオートエンコーダの学習を行う処理(以下、単に「学習処理」という。)と、学習済みのオートエンコーダを用いて吐出不良ノズルの存在の有無や吐出不良ノズルの位置の推論を行う処理(以下、単に「推論処理」という。)とに分けられる。なお、吐出不良検出部156についての詳しい説明は後述する。
【0067】
印刷データ補正部157は、吐出不良情報52に基づいて、データ保持部155に保持されているRIP処理後の印刷データ50をノズルの吐出不良が補償されるように補正する。詳しくは、印刷データ補正部157は、吐出不良情報52に基づいて、吐出不良検出部156によって吐出不良状態であると判定されたノズルの吐出不良が補償されるように、各ヘッドユニット25に含まれている複数のノズルからのインクの吐出を制御するための印刷データ50を補正する。より具体的には、例えば、吐出不良状態であると判定されたノズルの周辺のノズルからのインクの吐出量が増加するように印刷データ50が補正される。そして、補正後の印刷データ53が印刷データ補正部157から出力される。
【0068】
インク吐出制御部152は、データ保持部155に保持されている検査チャートデータ(テストパターンデータ51a、チントパターンデータ51b)あるいは印刷データ補正部157による補正が施された後の印刷データ53に基づいて、記録部205を構成する4つのヘッドユニット25K,25C,25M,および25Yに含まれている各ノズルからのインクの吐出を制御する。例えば、インクの吐出タイミングやインクの吐出量の制御が行われる。検査チャートデータに基づき各ノズルからのインクの吐出が制御されることによって検査チャートが印刷用紙5に印刷され、印刷データ53に基づき各ノズルからのインクの吐出が制御されることによって印刷ジョブに基づく画像が印刷用紙5に印刷される。
【0069】
ところで、本実施形態においては、学習処理時および推論処理時に検査チャートが印刷されるが、学習処理時と推論処理時とで異なる検査チャートが印刷される。具体的には、学習処理時にはチントパターン72とテストパターン(階段状のパターン)73とからなる模式的には
図10に示すような検査チャート71が印刷されるのに対して、推論処理時にはテストパターン(階段状のパターン)73のみからなる模式的には
図11に示すような検査チャート71が印刷される。すなわち、学習処理時にはインク吐出制御部152はチントパターンデータ51bおよびテストパターンデータ51aに基づいて各ノズルからのインクの吐出を制御し、推論処理時にはインク吐出制御部152はテストパターンデータ51aに基づいて各ノズルからのインクの吐出を制御する。なお、規則性のあるパターンであれば、階段状のパターン以外のパターンをテストパターンとして採用することもできる。
【0070】
検査チャート71に関し、チントパターン72は上述したように全体が一定濃度のパターンであって、テストパターン73は複数の線状パターン731によって構成されている。各線状パターン731は、対応する1つのノズルからインクが吐出されることによって形成されるパターンである。なお、実際にはテストパターン73は
図10や
図11に示したものよりも多くの線状パターン731によって構成されている。例えば、1つのヘッドユニット25に24,000個のノズルが含まれていれば、1色分のテストパターン73は24,000個の線状パターン731によって構成される。
【0071】
テストパターン73に関し、以下において、主走査方向に一列に並ぶ一群の線状パターン731のことを「段」という。
図10に示す例では、テストパターン73は5つの段によって構成されている。
【0072】
図12は、吐出不良検出部156の詳細な構成を示すブロック図である。吐出不良検出部156は、学習用画像生成部610とモデル生成部620と画像切り出し部630と吐出不良判定部640と吐出不良情報出力部650とを含んでいる。吐出不良判定部640には、自己符号化部641と誤差算出部642と比較判定部643とが含まれている。
【0073】
学習用画像生成部610は、オートエンコーダの学習に用いる学習データとしての複数の学習用画像54を生成する。ところで、吐出不良ノズルが存在していなければ、検査チャート71の印刷画像は
図10に示したようなものとなる。これに対して、吐出不良ノズルが存在している場合、検査チャート71の印刷画像は例えば
図13に示すようなものとなる。
図13に示す例では、符号741を付した部分および符号751を付した部分において線状パターンが正常に印刷されていない。また、符号741を付した部分の吐出不良に対応して符号742を付した部分でチントパターン72が正常に印刷されておらず、符号751を付した部分の吐出不良に対応して符号752を付した部分でチントパターン72が正常に印刷されていない。このように、吐出不良ノズルが存在している場合、当該吐出不良ノズルに対応する部分においてチントパターン72が正常に印刷されない。そこで、本実施形態における学習用画像生成部610は、チントパターン72の印刷画像をインラインスキャナ40が撮像することによって得られた撮像画像のうちの異常部分(吐出不良が生じている部分)を除く部分をチント正常部として、テストパターン73の印刷画像をインラインスキャナ40が撮像することによって得られた撮像画像のうちのチント正常部に対応する部分から学習用画像とする複数の画像を切り出して抽出する。これにより、オートエンコーダの学習に用いる学習データとしての複数の学習用画像54が生成される。学習用画像54は、1個のノズルからインクが吐出されることによって形成されている画像であっても良いし、2個以上のノズルからインクが吐出されることによって形成されている画像であっても良い。以下、Nを1以上の整数として、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像54が学習用画像生成部610によって生成されるものとする。なお、チントパターン72の印刷画像をインラインスキャナ40が撮像することによって得られた撮像画像が第1の部分撮像画像に相当し、テストパターン73の印刷画像をインラインスキャナ40が撮像することによって得られた撮像画像が第2の部分撮像画像に相当する。
【0074】
モデル生成部620は、学習用画像生成部610によって生成された複数の学習用画像54を入力データとしてオートエンコーダに与えて機械学習としての教師なし学習を行うことによって、オートエンコーダにより構成された学習済みモデル55を生成する。この学習済みモデル55は、吐出不良判定部640に含まれる自己符号化部641として使用される。
【0075】
画像切り出し部630は、推論処理時に、テストパターン73の印刷画像をインラインスキャナ40が撮像することによって得られた撮像画像56から、それぞれがN個のノズル(1個以上のノズル)に対応する複数の部分画像57を切り出す。
【0076】
吐出不良判定部640は、モデル生成部620によって生成された学習済みモデル55を構成するオートエンコーダに画像切り出し部630によって切り出された複数の部分画像57のそれぞれを入力データとして与え、オートエンコーダからの出力データと入力データとに基づき求められる値とパラメータとして設定される閾値とを比較した結果に基づいて、入力データ(部分画像57)に対応するN個のノズルの中に吐出不良ノズルが含まれているか否かの判定を行う。そして、判定結果60が吐出不良判定部640から出力される。
【0077】
自己符号化部641は、モデル生成部620によって生成された学習済みモデル55であって、画像切り出し部630によって切り出された複数の部分画像57のそれぞれを入力データとして受け取り、オートエンコーダ内での順伝播の処理で得られる出力データ58を出力する。誤差算出部642は、自己符号化部641への入力データ(画像切り出し部630によって切り出された部分画像57)と自己符号化部641からの出力データ58との平均2乗誤差59を算出する。比較判定部643は、平均2乗誤差59と上述した閾値とを比較した結果に基づいて、自己符号化部641への入力データに対応するN個のノズルの中に吐出不良ノズルが含まれているか否かを判定する。これに関し、平均2乗誤差59が閾値よりも大きければ、比較判定部643は、入力データに対応するN個のノズルの中に吐出不良ノズルが含まれていると判定する。なお、本実施形態においては、自己符号化部641の処理によって自己符号化ステップが実現され、誤差算出部642の処理によって誤差算出ステップが実現され、比較判定部643の処理によって比較判定ステップが実現される。
【0078】
吐出不良情報出力部650は、吐出不良判定部640から出力された判定結果60に基づいて、吐出不良ノズルを特定する吐出不良情報52を出力する。ところで、各部分画像57が1個のノズルに対応する場合には、結局のところ、吐出不良判定部640から出力される判定結果60は、各部分画像57に対応するノズルが吐出不良状態であるか否かを表している。従って、吐出不良判定部640から出力される判定結果60に基づいて、吐出不良ノズルが特定される。しかしながら、各部分画像57が2個以上のノズルに対応する場合には、各部分画像57に対応する判定結果60は、対応する2個以上のノズルの中に吐出不良ノズルが含まれているか否かを表しているにすぎない。そこで、各部分画像57が2個以上のノズルに対応する場合には、
図14に示すように、複数の部分画像57のそれぞれについての判定結果60(吐出不良判定部640から出力された判定結果60)を考慮して吐出不良ノズルを特定する吐出不良ノズル特定部651が吐出不良情報出力部650内に設けられる。なお、吐出不良ノズル特定部651がどのようにして吐出不良ノズルを特定するのかについては後述する。
【0079】
<4.3 オートエンコーダ>
図15は、本実施形態で用いられるオートエンコーダAEの構造の一例を示す図である。このオートエンコーダAEは、入力層と隠れ層(中間層)と出力層とによって構成されている。入力層は、入力データとされる検査対象の画像を構成する画素の数に等しい数のユニット(ニューロン)によって構成されている。隠れ層は、入力層を構成するユニットの数よりも少ない数のユニットによって構成されている。出力層は、入力層を構成するユニットの数に等しい数のユニットによって構成されている。入力層-隠れ層間の結合および隠れ層-出力層間の結合は、全結合である。隠れ層および出力層の活性化関数には例えばシグモイド関数が採用される。以上のような構造により、
図15で符号7を付した部分(入力層と隠れ層とからなる部分)はエンコーダとして機能し、
図15で符号8を付した部分(隠れ層と出力層とからなる部分)はデコーダとして機能する。また、入力層および出力層は検査対象の画像を構成する画素の数に等しい数のユニットによって構成されることから、オートエンコーダAEへの入力データおよびオートエンコーダAEからの出力データは複数の画素のデータによって構成されることが把握される。
【0080】
このオートエンコーダAEを用いた学習は、例えば次のように行われる。オートエンコーダAEに入力データが与えられると、オートエンコーダAE内で順伝播の処理が行われる。その後、入力データとオートエンコーダAEから出力された出力データとの2乗誤差の総和が求められる。そして、誤差の逆伝播の処理で得られる結果に基づいて勾配降下法を用いることによって、オートエンコーダAEのパラメータ(重み係数、バイアス)が更新される。以上のようにして学習が繰り返されることによって、上記パラメータが最適化される。以上より、このオートエンコーダAEを用いた学習は、出力データができるだけ入力データに近づくように行われる。すなわち、入力データと出力データとの誤差が最小化されるように学習が行われる。
【0081】
ところで、上記のように、学習処理時にオートエンコーダAEから出力された出力データと比較されるのは当該オートエンコーダAEへの入力データである。すなわち、教師データは用いられない。このように、本実施形態においては、オートエンコーダAEを用いて、機械学習としての教師なし学習が行われる。
【0082】
<5.吐出不良ノズル検出の処理手順(吐出不良検出方法)>
図16に示すフローチャートを参照しつつ、吐出不良ノズルを検出する一連の処理の手順について説明する。まず、上述したオートエンコーダAEを用いた学習に使用する学習データの準備が行われる(ステップS10)。このステップS10では、それぞれがN個のノズルからインクが吐出されることによって形成される複数の学習用画像54が学習データとして用意される。
【0083】
ここで、
図17に示すフローチャートを参照しつつ、学習データの準備についての詳細な手順を説明する。まず、検査チャート71の印刷が行われる(ステップS110)。詳しくは、データ保持部155に保持されている検査チャートデータ(テストパターンデータ51a、チントパターンデータ51b)に基づいてインク吐出制御部152が各ノズルからのインクの吐出を制御することによって、チントパターン72とテストパターン(階段状のパターン)73とからなる模式的には
図10に示したような検査チャート71が印刷される。検査チャート71の印刷後、撮像制御部154による制御に基づきインラインスキャナ40が検査チャート71の印刷画像(ステップS110で得られた印刷画像)を撮像する(ステップS120)。次に、ステップS120で得られた撮像画像のうちのチントパターン72についての撮像画像の検査が行われる(ステップS130)。そして、ステップS130での検査の結果に基づき、ステップS120で得られた撮像画像のうちのテストパターン73についての撮像画像から学習データとする複数の学習用画像54が抽出される(ステップS140)。なお、ステップS140では、テストパターン73についての撮像画像のうちの上述したチント正常部に対応する部分から複数の学習用画像54が抽出される。従って、学習データとして抽出される複数の学習用画像54には、ノズルの吐出不良を表す画像は含まれない。ステップS140の終了後、処理は
図16のステップS20に進む。
【0084】
学習データの準備後、オートエンコーダAEを用いた教師なし学習が行われる(ステップS20)。このステップS20では、ステップS10で学習データとして用意された複数の学習用画像54を順次にオートエンコーダAEに与えることによって、機械学習としての教師なし学習が行われる。多数の学習用画像54を用いて教師なし学習が行われることにより、オートエンコーダAEのパラメータ(重み係数、バイアス)が最適化される。このようにして、オートエンコーダAEにより構成された学習済みモデル55が生成される。
【0085】
ところで、ノズルからインクが吐出されることによって印刷用紙5上に形成される画像の形状は、印刷条件によって変わり得る。そこで、本実施形態においては、オートエンコーダAEを用いた教師なし学習は、印刷条件毎に行われる。これに関し、例えば、印刷媒体の種類と印刷速度と印刷解像度との組み合わせによって1つの印刷条件が規定される。仮に或る印刷会社における印刷システムで10個の印刷条件が使用されるのであれば、それら10個の印刷条件のそれぞれについてオートエンコーダAEを用いた教師なし学習が行われる。この場合、ステップS20では、10個の印刷条件に対応する10個の学習済みモデル55が生成される。
【0086】
学習済みモデル55が生成された後、データ保持部155に保持されているテストパターンデータ51aに基づいてインク吐出制御部152が各ノズルからのインクの吐出を制御することによって、テストパターン(階段状のパターン)73のみからなる模式的には
図11に示したような検査チャート71の印刷が行われる(ステップS30)。そして、撮像制御部154による制御に基づきインラインスキャナ40がテストパターン73の印刷画像(ステップS30で得られた印刷画像)を撮像する(ステップS40)。次に、画像切り出し部630が、ステップS40で得られた撮像画像56から、それぞれがN個のノズルに対応する複数の部分画像57を切り出す(ステップS50)。
【0087】
撮像画像56から複数の部分画像57が切り出された後、当該複数の部分画像57のそれぞれが検査対象の画像として、学習済みモデル55を構成するオートエンコーダAEに入力データとして与えられる(ステップS60)。これにより、各部分画像57に対応する出力データがオートエンコーダAEから出力される。なお、このステップS60では、ステップS30でテストパターン73が印刷されたときの印刷条件に対応する学習済みモデル55が使用される。
【0088】
その後、誤差算出部642によって、複数の部分画像57のそれぞれについて、オートエンコーダAEへの入力データとオートエンコーダAEからの出力データ58との平均2乗誤差59が算出される(ステップS70)。
【0089】
最後に、比較判定部643によって、ステップS70で算出された平均2乗誤差59とパラメータとして予め設定されている上述した閾値とが比較され、比較結果に基づいて各部分画像57(各入力データ)に対応するN個のノズルの中に吐出不良ノズルが含まれているか否かが判定される(ステップS80)。このステップS80では、平均2乗誤差59が閾値よりも大きければ、部分画像57(入力データ)に対応するN個のノズルの中に吐出不良ノズルが含まれていると判定される。なお、各部分画像57が1個のノズルに対応する場合には、このステップS80の処理によって吐出不良ノズルが特定されることになる。これに対して、各部分画像57が2個以上のノズルに対応する場合には、ステップS80の後に、ステップS80の処理で得られた結果を考慮して吐出不良ノズルを特定する処理が吐出不良ノズル特定部651によって行われる(
図16では不図示)。
【0090】
上記の手順で吐出不良ノズルを検出する処理が行われた後、吐出不良ノズルとして特定されたノズルの吐出不良が補償されるように、印刷データが補正される(印刷データ補正ステップ)。これにより、たとえ吐出不良ノズルが存在していても、高品質の印刷物が得られる。
【0091】
図16に示した手順で行われる一連の処理に関し、ステップS10~S20の処理は学習処理であって、ステップS30~S80の処理は推論処理である。学習処理が終了して学習済みモデル55が生成されると、推論処理のみを繰り返すこともできる。また、一旦学習済みモデル55が生成されても、学習処理を更に繰り返すことによって、ノズルの吐出不良の検出精度を高めることができる。
【0092】
なお、本実施形態においては、ステップS10によって学習用画像準備ステップが実現され、ステップS20によってモデル生成ステップが実現され、ステップS30によってテストパターン印刷ステップが実現され、ステップS40によって撮像ステップが実現され、ステップS50によって画像切り出しステップが実現され、ステップS60~S80によって吐出不良判定ステップが実現されている。また、ステップS110によって学習前印刷ステップが実現され、ステップS120によって学習前撮像ステップが実現され、ステップS130,S140によって学習用画像抽出ステップが実現されている。
【0093】
ここで、
図18および
図19を参照しつつ、パラメータとしての閾値の設定について説明する。一定の数値範囲毎の平均2乗誤差の出現回数(度数)を
図18に示し、
図18で符号46を付した部分の詳細を
図19に示している。
図18において符号49を付した点線部分に存在するデータは、吐出不良ノズルに対応するデータである。
図18において符号47を付した点線は、(正常なデータの)平均2乗誤差の平均値を表している。正規分布において、各データが平均値から4σ(σ:標準偏差)の範囲(但し、片側)を超える確率は30,000分の1である。これは、20インチのヘッドユニットにおいて吐出不良ノズルが1本存在するというレベルである。例えば、これを考慮して、平均2乗誤差の平均値に4σを加算することによって得られる値(
図18において符号48を付した実線で表される値)を閾値に設定することができる。なお、ここで示したのは一例であって、閾値をどのように設定するのかについては特に限定されない。
【0094】
<6.画像の切り出し>
本実施形態においては、学習処理の際および推論処理の際に、撮像画像からの画像(学習用画像54、部分画像57)の切り出しが行われる。これに関し、オートエンコーダAEの学習が効率的に行われ、かつ、オートエンコーダAEを用いて吐出不良ノズルが精度良く検出されるようにするためには、切り出した画像内に含める線状パターンの数や撮像画像から画像を切り出すときの基準位置(例えば、中心位置)を予め定めておくことが好ましい。そこで、以下、撮像画像から切り出す1つの画像の範囲(画像の切り出し範囲)および画像を切り出すときの基準位置(以下、「切り出し基準位置」という。)などについて説明する。
【0095】
<6.1 画像の切り出し範囲>
画像の切り出し範囲に関しては、大まかには、例えば
図1に示したように1ノズル分の範囲の画像を切り出すという手法と、複数ノズル分の範囲の画像を切り出すという手法とが考えられる。換言すれば、切り出した画像内に線状パターンが1本だけ含まれるように画像を切り出すという手法と、切り出した画像内に複数本の線状パターンが含まれるように画像を切り出すという手法とが考えられる。1ノズル分の範囲の画像を切り出すという手法が採用された場合には、学習処理の際にも推論処理の際にも、それぞれが1個のノズルに対応する複数の画像(学習用画像54、部分画像57)がテストパターン73の撮像画像から切り出される。複数ノズル分の範囲の画像を切り出すという手法が採用された場合には、学習処理の際にも推論処理の際にも、それぞれが2個以上のノズルに対応する複数の画像(学習用画像54、部分画像57)がテストパターン73の撮像画像から切り出される。
【0096】
1ノズル分の範囲の画像を切り出すという手法によれば、複数ノズル分の範囲の画像を切り出すという手法に比べてオートエンコーダAEの入出力データのサイズ(画像サイズ)が小さくなるので、モデル生成部620や吐出不良判定部640の処理負荷が小さくなる。また、たとえ切り出し基準位置が定められていなくても(すなわち、入力データ毎に検査対象の画像内における線状パターンの位置が異なっていても)、オートエンコーダAEへの入力データに対応するノズルが吐出不良状態であるか否かを比較的精度良く判定することができる。但し、切り出し基準位置として後述する理想吐出位置を採用しなければ、横飛びを検出することはできない。
【0097】
複数ノズル分の範囲の画像を切り出すという手法によれば、複数の線状パターン間の位置関係が学習されるので、切り出し基準位置として後述する3つの位置のいずれを採用した場合にも横飛びを検出することが可能となる。また、不吐出および形状不良についても検出することができるので、ノズルの吐出不良をその種類に関わらず検出することが可能となる。
【0098】
複数ノズル分の範囲の画像を切り出すことに関し、主走査方向に連続する複数のノズルに対応する範囲の画像を切り出すようにしても良いし、副走査方向に連続する複数のノズルに対応する範囲の画像を切り出すようにしても良いし、主走査方向および副走査方向の双方について連続する複数のノズルに対応する範囲の画像を切り出すようにしても良い。例えば、切り出した画像に主走査方向に連続する3つの線状パターン(
図20で符号76を付した太点線部分を参照)が含まれるように撮像画像からの画像の切り出しが行われても良い。画像の切り出しがこのように行われた場合、
図44から把握されるように、寸法的な横飛びを検出することが可能となる。また、例えば、切り出した画像に副走査方向に連続する3つの線状パターン(
図21で符号77を付した太点線部分を参照)が含まれるように撮像画像からの画像の切り出しが行われても良い。画像の切り出しがこのように行われた場合、
図45から把握されるように、品質に影響を与える横飛びを検出することが可能となる。また、例えば、切り出した画像に3行×3列の9個の線状パターン(
図22で符号78を付した太点線部分を参照)が含まれるように撮像画像からの画像の切り出しが行われても良い。画像の切り出しがこのように行われた場合、複合的な観点から横飛びを検出することが可能となる。
【0099】
<6.2 切り出し基準位置>
切り出し基準位置としては、3つの位置が考えられる。以下、その3つの位置に対応する3つの切り出し手法(第1~第3の切り出し手法)について説明する。なお、1ノズル分の範囲の画像を切り出すという手法を採用した場合(すなわち、上記N個のノズルが1個のノズルである場合)には、
図16のステップS50や
図17のステップS140において、この切り出し基準位置を中心として所定範囲の画像(学習用画像54、部分画像57)が撮像画像から切り出される。一方、複数ノズル分の範囲の画像を切り出すという手法を採用した場合(すなわち、上記N個のノズルが2個以上のノズルである場合)には、
図16のステップS50や
図17のステップS140において、対応する2個以上のノズルのうちの所定の1つについてのこの切り出し基準位置を中心として所定範囲の画像(学習用画像54、部分画像57)が撮像画像から切り出される。
【0100】
第1の切り出し手法は、テストパターン73の設計情報に基づき各ノズルからインクが吐出されることが想定される位置(以下、「暫定吐出位置」という。)を基準にして撮像画像から画像を切り出すという手法である。これに関し、暫定吐出位置は、例えば次のようにして求められる。まず、テストパターン73の印刷の際に、例えば
図23に示すように、暫定吐出位置を求めるための位置マーク791,792も印刷される。そして、印刷画像の撮像画像に基づき、2つの位置マーク791,792の間に相当する領域に存在する線状パターンの数がカウントされる。これによって得られたカウント値(すなわち、2つの位置マーク791,792の間に相当する領域にインクを吐出すべきノズルの数)と2つの位置マーク791,792の位置(座標)とに基づいて、ノズルピッチ(主走査方向に隣接する2つのノズル間の距離)が求められる。そして、一方の位置マーク791の位置(座標)とノズルピッチとに基づいて、2つの位置マーク791,792の間に相当する領域にインクを吐出する各ノズルについての暫定吐出位置が求められる。
【0101】
第2の切り出し手法は、テストパターン73の印刷画像の撮像画像に基づいて求められる実際に各ノズルからインクが吐出されている位置(以下、「実吐出位置」という。)を基準にして撮像画像から画像を切り出すという手法である。第2の切り出し手法に関し、
図24に示すフローチャートを参照しつつ、実吐出位置を求める手順について以下に説明する。
【0102】
まず、Kを2以上の整数として撮像画像が副走査方向にK個の部分(分割画像)に分割される(ステップS210)。ステップS210では、テストパターン73の設計情報あるいは撮像画像の画素値に基づいて段と段との境界が求められ、分割画像が1つの段に対応するように(換言すれば、分割画像が副走査方向に関して1個のノズルに対応するように)撮像画像が分割される。例えば、
図25のA部に示すような撮像画像80が得られていれば、当該撮像画像80は
図25のB部に示すような4つの分割画像801~804に分割される。なお、或る段と次の段との境界部分にはノイズが多く含まれている。例えば、
図26で符号81を付した部分に示すように、インク吐出ヘッド251の調整に起因する隙間が生じることがある。そこで、分割画像の上端部分および下端部分(すなわち、段と段との境界部分)をトリミングによって取り除くことが好ましい。
【0103】
次に、ステップS210で得られたK個の分割画像のそれぞれについて、副走査方向に含まれる複数の画素のデータ(画素値)の平均値が算出される(ステップS220)。これは、例えば
図27のA部に示すような撮像画像を模式的には
図27のB部に示すような1次元化したデータに変換することに相当する。なお、ステップS220で得られた平均値のデータに対して例えば紙白部分を0かつ最大濃度部分を255とする正規化が施されることが好ましい。
【0104】
最後に、ステップS220で算出された平均値(好ましくは、正規化が施された後の平均値)に基づいて、各ノズルについての実吐出位置が求められる(ステップS230)。これについては、平均値のピークが得られているピクセル(例えば、
図27のB部で符号PE1~PE5を付したピクセル)の値およびその近傍ピクセルの値に基づき(例えば、合計3つのピクセルの値に基づき)重心算出、等角直線フィッティング、スプライン補間、ガウシアンフィッティングなどの手法を用いて実数でピーク位置が算出され、当該ピーク位置が実吐出位置に定められる。
【0105】
なお、本実施形態においては、ステップS210によって撮像画像分割ステップが実現され、ステップS220によって平均値算出ステップが実現され、ステップS230によって実吐出位置特定ステップが実現されている。
【0106】
ここで、不吐出ノズル(不吐出を生じているノズル)が存在する場合における実吐出位置の求め方について説明する。不吐出ノズルが存在する場合には、例えば
図13に示したような“テストパターン73の印刷画像”が得られる。このテストパターン73の印刷画像を撮像することによって得られた撮像画像について
図24のステップS210の処理(撮像画像の分割処理)を実行することにより、分割画像を取得する。不吐出ノズルが存在する部分については、
図28に示すように線状パターンが著しく狭い幅で印刷された異常部分741aを含む分割画像805、または、
図29に示すように線状パターンが全く印刷されていない異常部分741bを含む分割画像806が得られる。
【0107】
分割画像805および分割画像806について
図24のステップS220の処理(副走査方向についての平均値の算出処理)を実行した場合、異常部分741a,741bを除く正常部分については平均値のピークが検出される。一方、異常部分741a,741bについては、平均値のピークは検出されない。このように平均値のピークが検出されない部分については、不吐出ノズルが存在すると判断し、
図24のステップS230の処理(実吐出位置の特定処理)の対象外とする。その結果、異常部分741a,741bに対応するノズルの位置を切り出し基準位置として部分画像の切り出し(
図16のステップS50)を実行することはできず、不吐出ノズルが存在することが確定する。
【0108】
第3の切り出し手法は、各ノズルからインクが吐出される理想的な位置(以下、「理想吐出位置」という。)を基準にして撮像画像から画像を切り出すという手法である。第3の切り出し手法に関し、
図30に示すフローチャートを参照しつつ、或る1つのノズル(以下、「着目ノズル」という。)の理想吐出位置を求める手順について以下に説明する。
【0109】
まず、テストパターン73の設計情報に基づき、着目ノズルおよび当該着目ノズルの近傍の所定数のノズルのそれぞれについての暫定吐出位置(インクが吐出されることが想定される位置)が上述したような手順で求められる(ステップS310)。以下、着目ノズルの近傍の所定数のノズルを「近傍ノズル群」という。主走査方向のことを「左右方向」と言うと、例えば、着目ノズルを基準にして左方向に5つ先までのノズルおよび着目ノズルを基準にして右方向に5つ先までのノズルが近傍ノズル群とされる。但し、着目ノズルが左端部に位置している場合には、着目ノズルを基準にして右方向に例えば5つ先までのノズルが近傍ノズル群とされ、着目ノズルが右端部に位置している場合には、着目ノズルを基準にして例えば左方向に5つ先までのノズルが近傍ノズル群とされる。暫定吐出位置が求められた後、撮像画像に基づいて、近傍ノズル群に含まれる複数個のノズルのそれぞれの実吐出位置(実際にインクが吐出されている位置)が上述したような手順で求められる(ステップS320)。次に、近傍ノズル群に含まれる複数個のノズルのそれぞれについて、暫定吐出位置と実吐出位置との差分が算出される(ステップS330)。その後、ステップS330で算出された差分の平均値が算出される(ステップS340)。最後に、着目ノズルについての暫定吐出位置にステップS340で算出された平均値を加算することによって着目ノズルについての理想吐出位置が求められる(ステップS350)。
【0110】
なお、本実施形態においては、ステップS310によって暫定吐出位置算出ステップが実現され、ステップS320によって実吐出位置算出ステップが実現され、ステップS330によって差分算出ステップが実現され、ステップS340によって差分平均算出ステップが実現され、ステップS350によって理想吐出位置特定ステップが実現されている。
【0111】
ここで、不吐出ノズルが存在する場合における理想吐出位置の求め方について説明する。不吐出ノズルは、
図30のステップS320の処理(実吐出位置の算出処理)で検出される。このケースでは、近傍ノズル群に含まれる複数個のノズルの例えば1つが不吐出ノズルとして検出される。そして、近傍ノズル群から当該不吐出ノズルを除外して、
図30のステップS330の処理(差分の算出処理)が実行される。これにより、近傍ノズル群から不吐出ノズルを除外した例えば9個のノズルのそれぞれについて、暫定吐出位置と実吐出位置との差分が算出される。これ以降のステップS340,S350の処理については、不吐出ノズルが検出されない場合と同じである。以上のようにして、上述した着目ノズルについての理想吐出位置が決定される。
【0112】
<6.3 副走査方向に複数ノズル分の範囲を切り出すケースについて>
例えば
図21や
図22に示したように副走査方向に連続する複数のノズルに対応する範囲を画像の切り出し範囲とする場合、画像の切り出しに先立って以下のようにして撮像画像の再構成を行うようにしても良い。
【0113】
まず、複数の段を含む撮像画像を段ごとの複数の分割画像に分割する。次に、上述したように或る段と次の段との境界部分にはノイズが多く含まれているので、トリミングによって境界部分を取り除く。詳しくは、複数の分割画像のそれぞれについて、副走査方向の上流側および下流側の端部をトリミングによって削除する。最後に、上記のようにして境界部分が取り除かれた複数の分割画像(すなわち、副走査方向の上流側および下流側の端部が削除された後の複数の分割画像)を結合する。以上のようにして、撮像画像が再構成される。
【0114】
ところで、副走査方向に連続する3つのノズルに対応する範囲を画像の切り出し範囲とする場合、最上段に対応するノズルあるいは最下段に対応するノズルを中心として所望の切り出しを行うことはできない。そこで、最上段の画像(
図31において符号82aを付した位置の画像)を最下段の画像の下方の位置(
図31において符号82bを付した位置)に複写するとともに最下段の画像(
図31において符号83aを付した位置の画像)を最上段の画像の上方の位置(
図31において符号83bを付した位置)に複写すれば良い。換言すれば、撮像画像からの画像(学習用画像54、部分画像57)の切り出しが行われる前に、撮像画像において副走査方向の最上流側に位置する段の画像が副走査方向の最下流側に位置する段の更に下流側に複写されるとともに、撮像画像において副走査方向の最下流側に位置する段の画像が副走査方向の最上流側に位置する段の更に上流側に複写されると良い。なお、このような複写後の画像に相当する印刷画像が得られるよう、テストパターン73の印刷の際に最上段に対応するノズルおよび最下段に対応するノズルのそれぞれからインクの吐出が行われるようにしても良い。
【0115】
<6.4 撮像画像のエッジ部分について>
複数ノズル分の範囲の画像を切り出すという手法を採用した場合において、撮像画像のエッジ部分については他の部分に比べて吐出不良の検出精度が低くなることが考えられる。そこで、エッジ部分については次のような処理を行うようにしても良い。学習処理時には、例えば撮像画像の4隅のそれぞれを切り出し基準位置として撮像画像からの学習用画像54の切り出しを行い、当該学習用画像54を用いてオートエンコーダAEによる教師なし学習を実行することによりエッジ部分用の学習済みモデル55を生成する。推論処理時には、学習処理時と同様にして撮像画像からの部分画像57の切り出しを行い、当該部分画像57を入力データとしてエッジ部分用の学習済みモデル55を構成するオートエンコーダAEに与えることによって吐出不良ノズルの検出を行う。
【0116】
<6.5 推論処理時の画像(部分画像)の切り出し方および吐出不良ノズルの特定>
複数ノズル分の範囲の画像を切り出すケース(すなわち、上記N個のノズルが2個以上のノズルであるケース)に関する推論処理時の撮像画像56からの部分画像57の切り出し方および吐出不良ノズルの特定について説明する。複数ノズル分の範囲の画像を切り出すケースに関しては、各ノズルに対応する画像が1回だけ切り出されるように撮像画像56から複数の部分画像57を切り出す(換言すれば、各ノズルに対応する線状パターンがいずれか1つだけの部分画像57に含まれるように撮像画像56から複数の部分画像57を切り出す)という手法(以下、便宜上「処理時間優先切り出し手法」という。)を採用しても良いし、全てのノズル(但し、撮像画像56の端部に位置する線状パターンに対応するノズルを除く)のそれぞれに対応する画像が1回ずつ中心(切り出し後の画像の中心)に位置するように撮像画像56から複数の部分画像57を切り出すという手法(以下、便宜上「精度優先切り出し手法」という。)を採用しても良い。精度優先切り出し手法によれば、撮像画像56において副走査方向の最上流側に位置する段に含まれる線状パターンに対応するノズル、撮像画像56において副走査方向の最下流側に位置する段に含まれる線状パターンに対応するノズル、および各段の両端に位置する線状パターンに対応するノズルを端部ノズルとして、撮像画像56からの複数の部分画像57の切り出しが行われる際に、ヘッドユニット25に含まれる複数のノズルのうちの端部ノズルを除く全てのノズルのそれぞれに対応する位置が1回ずつ基準とされる。
【0117】
処理時間優先切り出し手法を採用した場合には、例えば、
図32で符号851を付した点線部分の部分画像が切り出された後、
図32で符号852を付した点線部分の部分画像が切り出される。この手法によれば、撮像画像56からの複数の部分画像57の切り出しに要する処理時間が短くなる。この手法により部分画像57の切り出しが行われる場合、推論処理における吐出不良ノズルの検出・特定は次のように行われる。まず、吐出不良判定部640が、部分画像全体でオートエンコーダAEへの入力データとオートエンコーダAEからの出力データとの平均2乗誤差に基づいて、吐出不良ノズルの存在の有無を判定する。その結果、吐出不良ノズルが存在する旨の判定が行われると(換言すれば、平均2乗誤差が所定の閾値よりも大きければ)、吐出不良ノズル特定部651が、入力データおよび出力データの双方について該当の部分画像全体を1ノズル毎のN個の画像(以下、「ノズル単位画像」という。)に分割し、ノズル単位画像毎に入力データと出力データとの平均2乗誤差を求め、当該平均2乗誤差と閾値(ノズル単位画像毎の比較用の閾値)(この閾値もパラメータとして設定される。)とを比較した結果に基づいて吐出不良ノズルを特定する。その際、平均2乗誤差が閾値よりも大きいという結果が得られたノズル単位画像に対応するノズルが吐出不良ノズルとして特定される。例えば、
図33で符号70を付した太実線部分の画像が部分画像として切り出されていた場合、まず、部分画像全体に基づいて、吐出不良ノズルの存在の有無が判定される。その結果、吐出不良ノズルが存在する旨の判定が行われると、入力データおよび出力データの双方について部分画像70が9個のノズル単位画像701~709に分割される。そして、9個のノズル単位画像701~709のそれぞれについて、入力データと出力データとの平均2乗誤差と閾値とが比較される。平均2乗誤差と閾値との比較の結果、仮にノズル単位画像706について平均2乗誤差が閾値よりも大きいという結果が得られた場合、ノズル単位画像706に対応するノズルが吐出不良ノズルとして特定される。また、仮にノズル単位画像701およびノズル単位画像709について平均2乗誤差が閾値よりも大きいという結果が得られた場合、ノズル単位画像701に対応するノズルとノズル単位画像709に対応するノズルとが吐出不良ノズルとして特定される。
【0118】
精度優先切り出し手法を採用した場合には、例えば、
図34で符号861を付した太実線部分の部分画像が切り出されていても
図34で符号862を付した点線部分の部分画像も切り出され、
図34で符号863を付した太点線部分の部分画像が切り出されていても
図34で符号864を付した実線部分の部分画像も切り出される。この手法によれば、吐出不良ノズルの位置を精度良く特定することが可能となる。例えば、推論処理時に主走査方向に連続する5つのノズルに対応する範囲の部分画像の切り出しが行われた場合において
図35で符号87を付した点線部分に示すような吐出不良が生じていると、5回の検査結果において、吐出不良が生じている部分が
図35に示すように徐々に移動する。このとき、平均2乗誤差が閾値よりも大きいという結果が5回連続で得られる。これに基づいて、吐出不良ノズル特定部651によって、吐出不良ノズルが特定される。また、推論処理時に3行×3列の9個の線状パターンを含む部分画像の切り出しが行われた場合において、9個の線状パターンを含む部分画像毎の検査結果を各部分画像の中心に位置する線状パターンに対応付けて表したときに
図36に示すような結果が得られたと仮定する。なお、
図36に関し、「〇」は吐出不良が検出されなかった旨を表し、「×」は吐出不良が検出された旨を表している。このとき、吐出不良ノズル特定部651は、
図36で符号88を付した結果に対応する線状パターンを記録したノズルが吐出不良状態であると判定することができる。以上のことから、
図16のステップS80で対応するN個のノズルの中に吐出不良ノズルが含まれていると判定された2以上の部分画像の相互の重なり状態に基づいて吐出不良ノズルが特定されることが把握される。
【0119】
<6.6 画像の切り出し範囲と切り出し基準位置との組み合わせ毎の検出可能な吐出不良の種類>
画像の切り出し範囲と切り出し基準位置との組み合わせと検出可能な吐出不良の種類との関係を
図37に示す。形状不良については、いずれの組み合わせでも検出可能である。実吐出位置を切り出し基準位置に採用した場合、不吐出は条件付きで検出可能となる。これに関し、詳しくは、
図24のステップS230で平均値のピークが得られなかったときに
図16のステップS60~S80の処理によることなく該当のノズルは不吐出であるとの判断をできるようにすれば、不吐出の検出は可能である。横飛びについては、画像の切り出し範囲が複数ノズル分の範囲であれば、オートエンコーダAEによって複数の線状パターン間の位置関係が学習されるので、いずれの切り出し基準位置を採用した場合にも検出可能である。しかしながら、画像の切り出し範囲が1ノズル分の範囲であれば、横飛びは、理想吐出位置を切り出し基準位置に採用した場合にのみ検出可能である。これに関し、理想吐出位置を切り出し基準位置に採用している場合には、或るノズルについて横飛びが生じていても、当該ノズルに対応する部分画像を撮像画像から切り出す際の切り出し位置にずれ(横飛びに起因するずれ)が生じることはない。それ故、画像の切り出し範囲が1ノズル分の範囲であっても、横飛びの検出が可能である。
【0120】
<7.効果>
本実施形態によれば、良好な吐出状態を表す画像のみを用いてオートエンコーダAEによる教師なし学習を行うことによって、ノズルの吐出不良を検出するための学習済みモデル55が生成される。これにより、学習済みモデル55を構成するオートエンコーダAEに与える入力データが吐出不良が生じていない画像であれば入力データと出力データとの誤差は小さくなり、学習済みモデル55を構成するオートエンコーダAEに与える入力データが吐出不良が生じている画像であれば入力データと出力データとの誤差は大きくなる。従って、誤差と比較するための閾値をパラメータとして設定すれば、他のパラメータの設定を要することなく、オートエンコーダAEに入力データとして与えられた各部分画像57に対応するN個のノズル(1個以上のノズル)の中に吐出不良ノズルが含まれているか否かを判定することができる。また、インクジェット印刷装置10においては吐出不良はまれにしか生じないが、学習データ(学習用画像54)として必要とされるのは良好な吐出状態を表す画像のみである(換言すれば、不良データを収集する必要がない)ので、十分な数の学習データを容易に収集することができる。以上より、本実施形態によれば、インクジェット印刷装置10に関し、学習データの生成・収集やパラメータの設定のために多大な手間を要することなくノズルの吐出不良を精度良く検出することが可能となる。また、パラメータの設定の不十分さに起因して吐出不良の検出漏れが生じるということが抑制されるので、再印刷による印刷用紙5やインクの無駄な消費が抑制される。このように、SDGs(持続可能な開発目標)の達成に貢献することができる。
【0121】
<8.変形例>
上記実施形態においては印刷条件毎にオートエンコーダAEを用いた教師なし学習が実行されていたが、本発明はこれに限定されない。そこで、教師なし学習の実行に関する4つの変形例(第1~第4の変形例)について以下に説明する。
【0122】
<8.1 第1の変形例>
上記実施形態のように全ての印刷条件のそれぞれについて教師なし学習が行われると、処理の負荷が過大となることが考えられる。そこで、互いに類似する複数の印刷条件を1つにまとめて教師なし学習を行うようにしても良い。すなわち、本変形例においては、1または2以上の印刷条件を印刷条件グループとして、オートエンコーダAEを用いた教師なし学習が印刷条件グループ毎に行われる。これにより、
図16のステップS20では、印刷条件グループ毎に学習済みモデル55が生成される。そして、
図16のステップS60では、
図16のステップS30でテストパターン73が印刷されたときの印刷条件を含む印刷条件グループに対応する学習済みモデル55が使用される。
【0123】
<8.2 第2の変形例>
ノズルからインクが吐出されることによって印刷用紙5上に形成される画像の形状は、インクの種類によって変わり得る。そこで、本変形例においては、オートエンコーダAEを用いた教師なし学習がインクの種類毎に行われる。これにより、
図16のステップS20では、インクの種類毎に学習済みモデル55が生成される。そして、
図16のステップS60では、
図16のステップS30でテストパターン73が印刷されたときに使用されたインクの種類に対応する学習済みモデル55が使用される。
【0124】
<8.3 第3の変形例>
図38は、本変形例における記録部205の一構成例を示す平面図である。上記実施形態とは異なり、各色用のヘッドユニット25は、副走査方向の上流側に配置された第1ヘッド群と副走査方向の下流側に配置された第2ヘッド群とによって構成されている。例えば、K色用ヘッドユニット25Kは、副走査方向の上流側に配置されたK色用第1ヘッド群25K(1)と副走査方向の下流側に配置されたK色用第2ヘッド群25K(2)とによって構成されている。
図38に示す例では、第1ヘッド群についても第2ヘッド群についても、千鳥状に配置された5個のインク吐出ヘッド251により構成されている。例えば、第1ヘッド群に含まれているインク吐出ヘッド251も第2ヘッド群に含まれているインク吐出ヘッド251も600dpiの印字が可能であって、両者によって1200dpiの印字が可能である。なお、第1ヘッド群に含まれているインク吐出ヘッド251が上流側インク吐出ヘッドに相当し、第2ヘッド群に含まれているインク吐出ヘッド251が下流側インク吐出ヘッドに相当する。
【0125】
図39は、本変形例におけるヘッドユニット25の詳細な構成を示す図である。
図39に示されている部分に関し、インク吐出ヘッド251(1)とインク吐出ヘッド251(3)とは第1ヘッド群に含まれ、インク吐出ヘッド251(2)とインク吐出ヘッド251(4)とは第2ヘッド群に含まれている。
図39から、第1ヘッド群に含まれているノズルから吐出されたインクの着弾位置と第2ヘッド群に含まれているノズルから吐出されたインクの着弾位置とが主走査方向に交互に並ぶことが把握される。印刷が行われる際には、印刷用紙5上の各領域に対して、まず、第1ヘッド群に含まれているノズルからインクが吐出され、その後、第2ヘッド群に含まれているノズルからインクが吐出される。そこで、以下においては、第1ヘッド群に含まれているノズルを「先打ちノズル」といい、第2ヘッド群に含まれているノズルを「後打ちノズル」という。
【0126】
本変形例においては、以上のような構成のヘッドユニット25を用いて、
図40に示すようなテストパターン73が印刷される。
図40に関し、符号891,893,895,および897を付した部分の線状パターンは先打ちノズルに対応し、符号892,894,896,および898を付した部分の線状パターンは後打ちノズルに対応している。なお、ここでは、撮像画像から画像(学習用画像54、部分画像57)を切り出す際の切り出し範囲は1ノズル分の範囲であると仮定する。
【0127】
以上のような前提下、先打ちノズルに対応する画像(
図40において符号891,893,895,および897を付した部分に含まれている画像)と後打ちノズルに対応する画像(
図40において符号892,894,896,および898を付した部分に含まれている画像)とで、別々に、オートエンコーダAEを用いた教師なし学習が行われる。これにより、
図16のステップS20では、第1ヘッド群に対応する学習済みモデル55と第2ヘッド群に対応する学習済みモデル55とが生成される。そして、
図16のステップS60では、入力データに対応するノズルが第1ヘッド群に含まれていれば(すなわち、入力データに対応するノズルが先打ちノズルであれば)、第1ヘッド群に対応する学習済みモデル55を構成するオートエンコーダAEに当該入力データが与えられ、入力データに対応するノズルが第2ヘッド群に含まれていれば(すなわち、入力データに対応するノズルが後打ちノズルであれば)、第2ヘッド群に対応する学習済みモデル55を構成するオートエンコーダAEに当該入力データが与えられる。
【0128】
なお、切り出した画像に主走査方向に連続する複数の線状パターンが含まれるように撮像画像からの画像の切り出しが行われる場合(
図20で符号76を付した太点線部分を参照)にも、上記のようにして先打ちノズルに対応する画像と後打ちに対応する画像とで別々に教師なし学習が行われるようにしても良い。
【0129】
<8.4 第4の変形例>
本変形例においては、上記第3の変形例と同様の構成のヘッドユニット25(
図38および
図39を参照)が採用される。また、本変形例においては、切り出しによって得られる画像(切り出し画像)に3行×3列の9個の線状パターンが含まれるように撮像画像からの画像(学習用画像54、部分画像57)の切り出しが行われる(
図22で符号78を付した太点線部分を参照)。
【0130】
以上の前提下、先打ちノズルに対応する画像が中心に位置する切り出し画像(以下、「第1タイプの切り出し画像」という。)と後打ちノズルに対応する画像が中心に位置する切り出し画像(以下、「第2タイプの切り出し画像」という。)とで、別々に、オートエンコーダAEを用いた教師なし学習が行われる。これにより、
図16のステップS20では、第1タイプの切り出し画像に対応する学習済みモデル55と第2タイプの切り出し画像に対応する学習済みモデル55とが生成される。そして、
図16のステップS60では、入力データとしての部分画像57が第1タイプの切り出し画像または第2タイプの切り出し画像のいずれであるのかに応じて、使用する学習済みモデル55が選択される。
【0131】
<9.その他>
上記実施形態(変形例を含む)においては、カラー印刷を行うインクジェット印刷装置10が採用されていた。しかしながら、本発明はこれに限定されず、モノクロ印刷を行うインクジェット印刷装置が採用されていても良い。
【0132】
また、上記実施形態(変形例を含む)においては水性インクを用いるインクジェット印刷装置10が採用されていた。しかしながら、本発明はこれに限定されず、例えばラベル印刷向けインクジェット印刷装置のようにUVインク(紫外線硬化インク)を用いるインクジェット印刷装置が採用されていても良い。この場合、印刷機構201の内部(
図5参照)には、乾燥機構206に代えて、印刷用紙5上のUVインクを紫外線照射により硬化させる紫外線照射機構が設けられる。
【符号の説明】
【0133】
10…インクジェット印刷装置
13…印刷制御プログラム
40…インラインスキャナ
55…学習済みモデル
71…検査チャート
72…チントパターン
73…テストパターン
100…印刷制御装置
156…吐出不良検出部
157…印刷データ補正部
200…印刷機本体
201…印刷機構
205…記録部
251…インク吐出ヘッド
610…学習用画像生成部
620…モデル生成部
630…画像切り出し部
640…吐出不良判定部
641…自己符号化部
642…誤差算出部
643…比較判定部
650…吐出不良情報出力部
651…吐出不良ノズル特定部
AE…オートエンコーダ