IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社マイクロ・テクニカの特許一覧

特許7457425印刷物の検査システム、当該検査システムにおいて用いられる処理装置、および検査方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-03-19
(45)【発行日】2024-03-28
(54)【発明の名称】印刷物の検査システム、当該検査システムにおいて用いられる処理装置、および検査方法
(51)【国際特許分類】
   G01N 21/892 20060101AFI20240321BHJP
【FI】
G01N21/892 A
【請求項の数】 18
(21)【出願番号】P 2023178648
(22)【出願日】2023-10-17
【審査請求日】2023-10-18
【早期審査対象出願】
(73)【特許権者】
【識別番号】592056687
【氏名又は名称】株式会社マイクロ・テクニカ
(74)【代理人】
【識別番号】100101683
【弁理士】
【氏名又は名称】奥田 誠司
(74)【代理人】
【識別番号】100188813
【弁理士】
【氏名又は名称】川喜田 徹
(72)【発明者】
【氏名】千田 貴憲
(72)【発明者】
【氏名】鈴木 貴士
【審査官】比嘉 翔一
(56)【参考文献】
【文献】特開2015-078848(JP,A)
【文献】特開2023-125203(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N21/84-G01N21/958
B41J 29/393
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される検査システムであって、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備え、
前記処理装置は、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、および(c)前記印刷元データに前記第1フィルタを用いた前記第1空間フィルタリング処理を行って生成した前記第1フィルタ画像と、前記ヘッドデータに前記第2フィルタを用いた前記第2空間フィルタリング処理を行って生成した前記第2フィルタ画像との照合を行うことによって前記印刷コントローラの正常性を判定する第3処理を実行することが可能であり、
前記第1処理、前記第2処理、および前記第3処理のいずれを実行するかを、前記識別情報に基づいて選択し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定する、検査システム。
【請求項2】
前記パラメータは、フィルタのサイズおよび係数の少なくとも一方を決定する値である、請求項1に記載の検査システム。
【請求項3】
前記識別情報は、前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む、請求項1に記載の検査システム。
【請求項4】
前記処理装置は、
前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取る、
請求項に記載の検査システム。
【請求項5】
前記処理装置は、
前記機種情報に基づいて、前記第1処理および前記第2処理のいずれかを選択し、
前記モード情報に基づいて、前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを決定する、
請求項またはに記載の検査システム。
【請求項6】
前記印刷機のモード情報は、印刷が行われる対象物の種類、前記印刷ヘッドから吐出されるインクの濃さ、印刷速度、色設定、および印刷画質の少なくとも1つに関する情報を含む、請求項またはに記載の検査システム。
【請求項7】
前記処理装置は、前記印刷機のそれぞれの機種およびそれぞれのモードに適合する前記第1フィルタおよび前記第2フィルタのそれぞれのパラメータを、機械学習を用いて学習する、請求項1からのいずれかに記載の検査システム。
【請求項8】
前記処理装置は、前記第1フィルタ画像または前記第2フィルタ画像と、前記カメラ画像に空間フィルタリング処理を行って生成した画像とを比較することにより、前記第1フィルタ画像または前記第2フィルタ画像と前記カメラ画像との照合を行う、請求項1からのいずれかに記載の検査システム。
【請求項9】
前記処理装置は、前記カメラ画像に対して行う前記空間フィルタリング処理において用いるフィルタのパラメータを、前記識別情報に基づいて決定する、請求項に記載の検査システム。
【請求項10】
前記処理装置は、
前記第1処理において、前記印刷元データに、前記第1空間フィルタリング処理および第1色変換処理を行うことにより、前記第1フィルタ画像を生成し、
前記第2処理において、前記ヘッドデータに、前記第2空間フィルタリング処理および第2色変換処理を行うことにより、前記第2フィルタ画像を生成し、
前記第1色変換処理および前記第2色変換処理のパラメータを、前記識別情報に基づいて決定する、
請求項1からのいずれかに記載の検査システム。
【請求項11】
前記処理装置は、
前記第1フィルタ画像または前記第2フィルタ画像と、前記カメラ画像に空間フィルタリング処理および色変換処理を行って生成した画像とを比較することにより、前記第1フィルタ画像または前記第2フィルタ画像と前記カメラ画像との照合を行い、
前記カメラ画像に対して行う前記空間フィルタリング処理において用いるフィルタおよびカメラ画像に対して行う前記色変換処理のパラメータを、前記識別情報に基づいて決定する、
請求項1からのいずれかに記載の検査システム。
【請求項12】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられる処理装置であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、
前記識別情報に基づいて、(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、および(c)前記印刷元データに前記第1フィルタを用いた前記第1空間フィルタリング処理を行って生成した前記第1フィルタ画像と、前記ヘッドデータに前記第2フィルタを用いた前記第2空間フィルタリング処理を行って生成した前記第2フィルタ画像との照合を行うことによって前記印刷コントローラの正常性を判定する第3処理を実行することが可能であり
前記第1処理、前記第2処理、および前記第3処理のいずれを実行するかを、前記識別情報に基づいて選択し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定する、
処理装置。
【請求項13】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおける前記処理装置によって実行される検査方法であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、および(c)前記印刷元データに前記第1フィルタを用いた前記第1空間フィルタリング処理を行って生成した前記第1フィルタ画像と、前記ヘッドデータに前記第2フィルタを用いた前記第2空間フィルタリング処理を行って生成した前記第2フィルタ画像との照合を行うことによって前記印刷コントローラの正常性を判定する第3処理のいずれかを、前記識別情報に基づいて選択して実行することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
を含む検査方法。
【請求項14】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられるプログラムであって、前記処理装置に、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、および(c)前記印刷元データに前記第1フィルタを用いた前記第1空間フィルタリング処理を行って生成した前記第1フィルタ画像と、前記ヘッドデータに前記第2フィルタを用いた前記第2空間フィルタリング処理を行って生成した前記第2フィルタ画像との照合を行うことによって前記印刷コントローラの正常性を判定する第3処理のいずれかを、前記識別情報に基づいて選択して実行することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
を実行させるプログラム。
【請求項15】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される検査システムであって、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備え、
前記処理装置は、
前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む識別情報を取得し、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定し、
前記識別情報における前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取る、
検査システム。
【請求項16】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられる処理装置であって、
前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む識別情報を取得し、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定し、
前記識別情報における前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取る、
処理装置。
【請求項17】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおける前記処理装置によって実行される検査方法であって、
前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む識別情報を取得することと、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
前記識別情報における前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取ることと、
を含む検査方法。
【請求項18】
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられるプログラムであって、前記処理装置に、
前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む識別情報を取得することと、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
前記識別情報における前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取ることと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、印刷物の検査システム、当該検査システムにおいて用いられる処理装置、および検査方法に関する。
【背景技術】
【0002】
印刷物をカメラで撮影して取得した画像データと、印刷元のデータとを比較することによって印刷の良否または品質を検査する種々の検査装置が開発および使用されている。
【0003】
例えば特許文献1は、印刷データから生成されたマスター画像と、印刷物を読取装置で読み取ることによって生成した読取画像との差分に基づいて検査を行う検査装置を開示している。印刷データからマスター画像を生成することにより、例えばバリアブル印刷(Variable Data Printing: VDP)による印刷物の検査を効率的に行うことができる旨が記載されている。
【0004】
特許文献2は、印刷物を撮影して取得した被検査画像と、予め生成した基準画像とを、印刷物の単位毎に読み出して比較し、不一致が認められた場合に印刷にエラーが生じたと判定する検査方法を開示している。
【0005】
特許文献3は、ページ単位に異なるデータが印刷されるカラー印刷物の印刷内容および印刷状態を検査する検査装置を開示している。この検査装置は、印刷物に共通の背景絵柄と、印刷物ごとに異なる可変データのそれぞれについて、基準画像と比較照合することによって印刷内容および印刷状態を検査する。
【0006】
特許文献4は、印刷物の条件に応じて基準データを変換して生成した比較用基準データと、印刷物を撮像して取得した撮像データに基づく比較用撮像データとを比較することによって印刷物の良否を判定する検査方法を開示している。比較用基準データは、深層学習を適用して生成された学習モデルを用いて、基準データから変換される。これにより、印刷物の条件に応じた基準データを用いた印刷物の良否判定を実施することができることが記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2015-174307号公報
【文献】特開2019-132661号公報
【文献】特開2003-54096号公報
【文献】特開2020-186938号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の印刷物検査方法では、印刷物を撮影して取得した画像データと印刷の元となったデータとの形式の違いや、印刷時のインクのにじみ、用紙の変形等に起因して、検査の精度が低下する場合があった。また、機種の異なる複数の印刷機が混在する環境や、印刷機が印刷対象に応じた複数のモードで動作する場合において、複数の印刷機または複数のモードのそれぞれについて適切に検査を行うことが難しかった。
【0009】
本開示は、機種の異なる複数の印刷機が混在する環境や、印刷機が印刷対象に応じた複数のモードで動作する場合において、印刷物の画像検査の精度を向上させることが可能な新規な検査技術を提供する。
【課題を解決するための手段】
【0010】
本発明の一態様に係る検査システムは、入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドとを備えた印刷機と組み合せて使用される。前記検査システムは、前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、処理装置とを備える。前記処理装置は、前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、前記識別情報に基づいて、(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行する。前記処理装置は、前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定する。
【0011】
本発明の他の態様に係る処理装置は、入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される。前記処理装置は、前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、前記印刷元データに適用する第1空間フィルタリング処理に用いられる第1フィルタのパラメータと、前記ヘッドデータに適用する第2空間フィルタリング処理に用いられる第2フィルタのパラメータとを、前記識別情報に基づいて決定する。前記処理装置は、前記印刷元データに前記第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記ヘッドデータに前記第2空間フィルタリング処理を行って生成した第2フィルタ画像とを照合し、照合結果を出力する。
【0012】
本発明の包括的または具体的な態様は、装置、システム、集積回路、コンピュータプログラム、記録媒体、またはこれらの任意の組み合わせによって実現され得る。
【発明の効果】
【0013】
本発明によれば、印刷物の画像検査の精度を向上させることができる。
【図面の簡単な説明】
【0014】
図1】従来の検査システムの一例を模式的に示す図である。
図2】印刷によって用紙および印刷された部分が変形することを模式的に示す図である。
図3】本発明の例示的な実施形態による検査システムの構成を模式的に示す図である。
図4】処理装置による判定処理の概要を説明するための模式図である。
図5】複数の印刷機を含むシステムの例を示す模式図である。
図6A】検査システムの他の例を説明するための図である。
図6B】検査システムのさらに他の例を説明するための図である。
図7A】印刷およびフィルタリング処理を施した画像に基づく検査の流れを模式的に示す図である。
図7B】色変換処理の概要を模式的に示す図である。
図8】処理装置が実行する処理の例を示すフローチャートである。
図9A】印刷機と出力データ形式等との関係を示すテーブルの一例を示す図である。
図9B】印刷機のモードと使用されるフィルタとの関係を示すテーブルの一例を示す図である。
図10】処理装置が実行する処理の他の例を示すフローチャートである。
図11】ヘッドデータを第1フィルタ画像に変換する処理の流れを示す図である。
図12A】ガウシアンフィルタおよび平均化フィルタの例を示す図である。
図12B】色変換テーブルの一例を示す図である。
図13】空間フィルタの一例と、空間フィルタのパラメータの調整方法を模式的に示す図である。
図14】色変換テーブルの一例と、そのパラメータの調整方法の例を示す図である。
図15】第1フィルタ画像とカメラ画像との照合処理の一例を示す図である。
図16】学習済みモデルの生成方法の流れを示すフローチャートである。
図17A】テストチャートの一例を示す図である。
図17B】テストチャートの他の例を示す図である。
図17C】テストチャートのさらに他の例を示す図である。
【発明を実施するための形態】
【0015】
本発明の実施形態を説明する前に、本発明の基礎となった知見を説明する。
【0016】
バリアブル印刷を行うデジタル印刷機は、ページごとに異なる内容を印刷する。そのような印刷機は、例えば、あて名印刷、請求書印刷、および明細書印刷などの種々の用途に広く利用されている。
【0017】
バリアブル印刷では、ページごとに異なる内容が印刷されるため、事前に用意された1つの画像と比較するといった単純な方法では検査ができない。このため、印刷元の画像データと、印刷物を撮像して得られる画像データとを比較照合することで検査を行う方法が考えられる。
【0018】
しかし、2つの画像を照合する方法には、例えば以下の課題がある。
・一般的に、印刷は減色系(YMCK)、カメラは加色系(RGB)のデータを処理するため、両者のデータを直接比較することができない。
・印刷機内で展開されるイメージと、検査装置内で展開されるイメージとは必ずしも一致せず、相違点が生じる。
・用紙またはインクなどの特性に起因して、インクのにじみや用紙の変形等が生じ、印刷しようとする画像と実際に印刷された画像との間に相違点が生じる。
【0019】
このような課題のため、従来の検査装置では、カラーの印刷物を高い精度で検査することが難しかった。そのため、従来は、例えば文字などの重要な部分の色に重点を置いて照合を行う検査システムが用いられることが多かった。
【0020】
図1は、従来の検査システムの一例を模式的に示す図である。図1に示す検査システムは、印刷コントローラ110および印刷ヘッド120を有する印刷機100(プリンタ)と、処理装置210と、カメラ220(撮像装置)とを備える。印刷ヘッド120は、シアン(C)、マゼンタ(M)、黄(Y)、および黒(K)の4色に対応する4種類のヘッドを含む。印刷コントローラ110は、外部のコンピュータ300から入力された印刷元データ(例えばPDFファイル等)を、ヘッドデータに変換して各印刷ヘッド120に出力する。ヘッドデータは、例えば、CMYKの各色の網点(ハーフトーン)画像のデータである。各印刷ヘッド120は、ヘッドデータに従い、搬送される用紙10に印刷を実行する。印刷された用紙10は、カメラ220によって撮影される。カメラ220は、印刷された用紙10を撮影してカメラ画像データ(以下、「カメラ画像」とも称する。)を生成する。処理装置210は、ヘッドデータおよびカメラ画像のそれぞれから特定の色(例えば文字等の重要な部分の色)のデータを抽出し、それらを照合して印刷の良否を判定する。
【0021】
このようなシステムにおいては、検査の対象が印刷物の特定の色の成分に限定され、他の色の成分については検査することができない。また、印刷時のインクのにじみや用紙の変形に起因する印刷物の欠陥を高い精度で検出することが難しい。
【0022】
一般に、印刷に使用される用紙は、水分や油分を吸収することによって伸縮する。水分や油分を含むインクを用紙上に噴射または塗布する場合、用紙の伸縮が発生し、印刷物は元のデジタルデータに対して変形する場合がある。例えば、A4サイズで1mm程度変形する場合がある。
【0023】
図2は、印刷によって用紙および印刷された部分が変形することを模式的に示す図である。図2に示すように、インク量の多い部分は収縮が大きく、インク量の少ない部分は収縮が小さい。変形の程度と変形の形態は印刷内容によって変化するため、事前に変形を予測することは困難である。特に、ページ毎に異なる内容が印刷される可変印刷においては、ページ毎にインク量が異なることから、収縮の仕方がページ毎に不規則に変化し得る。その結果、カメラ画像と元データとの照合が困難になる場合がある。他にも、カメラ内のレンズの光学的特性(主に歪曲収差)の影響で、撮影した画像が変形する場合もある。この場合の変形は規則的であるが、同様に元データとの照合が困難になり得る。
【0024】
また、図1に示すシステムでは、ヘッドデータが示す画像とカメラ画像との照合によって検査が行われるが、印刷機によっては、ヘッドデータではなく印刷元データを出力する機種も存在する。印刷元データを出力する印刷機と、ヘッドデータを出力する印刷機とが混在する環境においては、印刷機の機種によらず適切に検査を実施できることが求められる。さらに、印刷ヘッド120から吐出されるインクの特性(吐出量や濃さ等)は、印刷機の機種やモードによって異なり得る。例えば、印刷が行われる対象物(例えば、紙、フィルム等)の種類に応じて複数のモードの中から1つのモードを選択して印刷を行う印刷機においては、モードが変わると、印刷コントローラ110によって生成されるヘッドデータが変化する。結果として、印刷される画像の色合いやにじみ具合等もモードによって変化し得る。したがって、印刷機の機種やモードによらず、正確な検査を実施できることが求められる。
【0025】
本発明者らは、上記の課題を解決するため、以下に説明する本発明の実施形態の構成に想到した。以下、本発明の例示的な実施形態を説明する。ただし、必要以上に詳細な説明は省略することがある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になることを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。本明細書においては、同一のまたは類似する構成要素には、同一の参照符号を付している。
【0026】
(実施形態1)
図3は、本発明の例示的な実施形態による検査システムの構成を模式的に示す図である。この検査システムは、印刷機100と、検査装置200とを備える。図3には、印刷機100および検査装置200に接続されるコンピュータ300も示されている。コンピュータ300は、例えばサーバコンピュータ、パーソナルコンピュータ(PC)、または携帯端末などの任意の情報処理装置である。コンピュータ300は、検査システムに含まれていてもよいし、検査システムの外部の要素であってもよい。また、印刷機100は、検査システムの外部の要素であってもよい。
【0027】
図3に示す印刷機100は、印刷コントローラ110と、印刷ヘッド120と、搬送機130とを備える。搬送機130は、ロール状の用紙10を搬送する。印刷コントローラ110は、印刷機100の全体の動作を制御する装置である。印刷コントローラ110は、例えばマイクロコントローラユニットなどの、プロセッサおよびメモリを含む集積回路を含む。印刷コントローラ110は、コンピュータ300から入力された、印刷元データを含む印刷指示を受けて、搬送機130および印刷ヘッド120を駆動する。これにより、印刷機100は、用紙10を搬送しながら印刷を実行する。印刷コントローラ110、印刷ヘッド120、および搬送機130は、1つの装置として一体化されていなくてもよく、それぞれ独立した装置として構成されていてもよい。
【0028】
印刷機100は、例えばインクジェット方式または電子写真方式等の公知の方式で印刷を行うデジタル印刷機である。印刷機100は、コンピュータ300から入力された印刷元データに基づいて用紙10に印刷を行う。印刷は、カラー印刷であってもよいしモノクロ印刷であってもよい。以下の説明では、一例として、シアン(C)、マゼンタ(M)、黄(Y)、黒(K)の4色のインクを用いたカラー印刷を行うものとする。印刷機100は、CMYKに限らず、他の色のインクを用いて印刷を行ってもよい。
【0029】
本実施形態における印刷機100は、バリアブル印刷(可変印刷)を実行することができる。バリアブル印刷では、用紙10のページごとに異なる文字、図形、または画像などが連続的に印刷される。本実施形態における用紙10はロール紙であるが、フィルムなどの他の印刷媒体に印刷が行われてもよい。
【0030】
印刷コントローラ110は、入力された印刷元データをヘッドデータに変換して印刷ヘッド120に出力する。印刷元データは、例えばPDF(Portable Document Format)等の画像や文字の情報を含むベクタ形式のデータであり得る。ヘッドデータは、例えば各画素1色あたり2~4階調程度の少数の階調で表現された網点(ハーフトーン)画像を示すビットマップ(ラスタ)のデータであり得る。印刷コントローラ110は、例えばベクタ形式の印刷元データを、より少数の階調の点の集合として表現されたラスタ画像を表すヘッドデータに変換するRIP(Raster Image Processor)の機能を有する。RIP処理は、PDF等の印刷元データをラスタデータに変換する処理、RGB(赤、緑、青)からCMYK(シアン、マゼンタ、黄、黒)への変換処理、および各色の濃淡を網点(ハーフトーン)で表現するハーフトーン処理等の種々の処理を含み得る。なお、RIPの機能の少なくとも一部は、印刷コントローラ110とは異なる装置(例えばコンピュータ300)が実行してもよい。印刷元データは、PDFに限らず、例えばJPEG(Joint Photographic Experts Group)またはPNG(Portable Network Graphics)等の画像データであってもよい。
【0031】
印刷ヘッド120は、入力されたヘッドデータに基づいて印刷を実行するための部品およびそれらの部品を制御する回路を含む装置である。図3には1つの印刷ヘッド120が例示されているが、カラー印刷が行われる場合、複数の色のインクに対応する複数種類の印刷ヘッドが設けられ得る。例えば、シアン(C)、マゼンタ(M)、黄(Y)、黒(K)の4色のインクにそれぞれ対応する4つの印刷ヘッドが設けられ得る。印刷機100がインクジェットプリンタである場合、各色の印刷ヘッドは、用紙10の表面に沿って搬送方向(図1に示す矢印の方向)に垂直な方向に並ぶ複数のインクジェットヘッドを含み得る。各インクジェットヘッドは、例えばインクを加圧または加熱して噴射するノズルを含む。なお、印刷機100が電子写真方式のプリンタである場合、印刷ヘッド120は、レーザまたはLED等の光源、ポリゴンミラー等の光学系、感光ドラム等の部品、光源および光学系を制御する回路を含み得る。
【0032】
検査装置200は、印刷機100と連動して動作し、印刷された用紙10を検査し、検査結果を出力する。検査装置200は、印刷機100およびコンピュータ300に接続されている。検査装置200は、カメラ220と、処理装置210とを備える。
【0033】
カメラ220は、印刷された用紙10の搬送経路上に配置される。カメラ220は、印刷後の用紙10を撮影して画像データ(「カメラ画像」と呼ぶ。)を生成する。カメラ220は、例えばページごとにカメラ画像を出力するように構成され得る。
【0034】
カメラ220は、例えばCCDまたはCMOSなどのイメージセンサと、レンズ等の光学系とを備える。カメラ220は、2次元のイメージセンサを備えていてもよいし、コンタクトイメージセンサ(CIS)などのリニアイメージセンサ(ラインセンサ)を備えていてもよい。カメラ220がリニアイメージセンサを備える場合、カメラ220は、搬送された用紙10をラインごとに撮影し、複数ラインのデータをページごとにまとめてカメラ画像として出力してもよい。あるいは、カメラ220は、ラインごとにデータを出力し、処理装置210が複数ラインのデータをページごとにまとめて2次元のカメラ画像のデータを生成してもよい。カメラ220は、用紙10の表面側だけでなく裏面側にも設けられていてもよい。用紙10の両面側に2つのカメラ220を設けることにより、用紙10の両面の印刷状態を検査することができる。
【0035】
処理装置210は、プロセッサ212と、RAM214およびROM216等の記憶媒体(メモリ)と、入出力インターフェース(I/F)218とを備える。プロセッサ212は、例えばCPU(Central Processing Unit)またはGPU(Graphics Processing Unit)などの演算処理回路を含む。ROM216は、プロセッサ212によって実行されるコンピュータプログラムを格納する。当該プログラムは、後述する処理をプロセッサ212に実行させるための命令群を含む。RAM214は、プロセッサ212がプログラムを実行するにあたって、当該プログラムを展開するためのワークメモリである。プロセッサ212は、インターフェース218を介して、コンピュータ300、印刷コントローラ110、およびカメラ220に接続される。
【0036】
処理装置210のプロセッサ212は、印刷元データまたはヘッドデータと、カメラ画像データとに基づく照合処理を行い、印刷物の良否を判定する。また、処理装置210のプロセッサ212は、印刷元データとヘッドデータとに基づく照合処理を行い、印刷コントローラ110の正常性を判定することもできる。処理装置210は、照合の対象である照合データを、印刷元データとカメラ画像のペア、ヘッドデータとカメラ画像とのペア、印刷元データとヘッドデータとのペアから任意に選択することができる。以下、図4から図6Bを参照しながら、この判定処理の詳細を説明する。
【0037】
図4は、処理装置210による判定処理の一例を説明するための模式図である。この例における処理装置210は、印刷元データおよびヘッドデータの少なくとも一方を取得し、取得した印刷元データまたはヘッドデータに、空間フィルタリング処理および色変換処理等の必要な変換処理を行い、照合用の画像データ(以下、「印刷機フィルタ画像」と呼ぶことがある。)を生成する。処理装置210はまた、カメラ220からカメラ画像を取得し、当該カメラ画像に空間フィルタリング処理および色変換処理等の必要な変換処理を行い、照合用のカメラ画像(以下、「カメラフィルタ画像」と呼ぶことがある。)を生成する。処理装置210は、印刷機フィルタ画像とカメラフィルタ画像とを照合し、照合結果を出力する。例えば、処理装置210は、印刷機フィルタ画像とカメラフィルタ画像とを、比較的小さい領域ごとに比較する処理を画像全体にわたって実行し、両者の一致度に基づいて、印刷の良否を判定する。処理装置210は、判定結果を、例えば処理装置210に接続されたディスプレイもしくはスピーカなどの出力装置または記憶装置に出力する。
【0038】
図4に示す例では、処理装置210は、印刷元データおよびヘッドデータのいずれに基づいて照合するかを選択することができる。処理装置210は、例えばユーザによって指定されたモードの設定に基づいて、印刷元データおよびヘッドデータのいずれを照合に使用するかを選択するように構成され得る。その場合、ユーザは、処理装置210に接続された入力装置を用いて、印刷元データを用いる第1モードとヘッドデータを用いる第2モードとを切り替えることができる。あるいは、処理装置210は、コンピュータ300または印刷コントローラ100などの装置から、印刷機100の機種情報を取得し、当該機種情報に応じて、印刷元データおよびヘッドデータのいずれを照合に使用するかを選択するように構成されていてもよい。そのような機能により、印刷機100の機種に応じた適切な検査が可能である。
【0039】
印刷コントローラ110がヘッドデータを出力する場合、そのヘッドデータの内容は、印刷機100の機種や印刷モードによって異なり得る。例えば、印刷機100が、用紙10の種類、使用するインクの濃さもしくは色の設定、印刷速度、または画質等に応じた複数の印刷モードで印刷を行うことができる機種である場合、印刷モードによってヘッドデータが異なり得る。これは、用紙10の種類や印刷機100が使用するインクの種類などの種々の要因により、最適な網点処理が異なるからである。そのような印刷機100では、用紙10の種類、使用するインクの濃さもしくは色の設定、印刷速度、または画質等に応じて、複数の印刷モードから最適なモードが選択されて印刷が行われる。
【0040】
そこで、本実施形態における処理装置210は、印刷機100の機種およびモードの少なくとも一方を特定する識別情報を取得し、当該識別情報に応じて、印刷元データまたはヘッドデータに適用するフィルタのパラメータ(例えば、フィルタのサイズおよび係数等を決定する値)を切り替えるように構成される。これにより、識別情報に応じて、フィルタのパラメータが最適値に調整される。処理装置210は、例えばコンピュータ300、印刷コントローラ110、またはユーザが使用する入力装置などの外部の装置から、印刷機100の識別情報を取得する。識別情報は、印刷機100の機種を特定する機種情報と、印刷機100のモードを特定するモード情報の少なくとも一方を含み得る。
【0041】
処理装置210は、さらに、カメラ画像に適用する空間フィルタリング処理において用いるフィルタのパラメータを、識別情報に応じて変更するように構成されてもよい。また、処理装置210は、印刷元データまたはヘッドデータに適用する色変換処理のパラメータを、識別情報に応じて変更するように構成されてもよい。さらに、処理装置210は、カメラ画像に適用する色変換処理のパラメータを、識別情報に応じて変更するように構成されてもよい。
【0042】
識別情報は、印刷機100の機種を特定する機種情報と、印刷機100のモードを特定するモード情報の両方を含み得る。モード情報は、印刷機100の機種ごとに異なるデータフォーマットを有する。処理装置210は、機種情報に基づいて、印刷機100の機種ごとに異なるデータフォーマットを有するモード情報を読み取ることができる。処理装置210は、機種情報に基づいて、照合データを選択し、モード情報に基づいて、各空間フィルタリング処理において用いるフィルタのパラメータを決定するように構成され得る。
【0043】
図4に示す例では、印刷ヘッド120は、シアン(C)、マゼンタ(M)、黄(Y)、黒(K)の4色に対応する4種類の印刷ヘッドを含む。これにより、カラー印刷が可能である。印刷ヘッド120は、モノクロ印刷を行うように構成されていてもよい。モノクロ印刷が行われる場合、印刷元データまたはヘッドデータ、およびカメラ画像データに対する色調整処理は省略されてもよい。
【0044】
本実施形態によれば、処理装置210は、印刷元データまたはヘッドデータに空間フィルタリング処理を行って生成した印刷機フィルタ画像と、印刷物を撮影して取得したカメラ画像に空間フィルタリング処理を行って生成したカメラフィルタ画像とに基づいて印刷物の良否を判定する。空間フィルタリング処理として、印刷時のインクのにじみおよび用紙の変形等の影響を反映した処理が行われる。これにより、印刷時のインクのにじみおよび用紙の変形等が生じたとしても高い精度で印刷物の欠陥を検出することができる。また、本実施形態では、印刷元データまたはヘッドデータ、およびカメラ画像の特性に応じた色調整処理も行われる。これにより、両者の色表現の違いに関わらず、高い精度で検査を行うことができる。
【0045】
さらに、本実施形態における処理装置210は、印刷機100の機種および印刷機100のモードの少なくとも一方を特定する識別情報に応じて、印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って第1フィルタ画像を生成する第1処理と、ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って第2フィルタ画像を生成する第2処理とを切り換える。すなわち、処理装置210は、印刷機100の識別情報に基づいて、照合データを選択する。処理装置210はまた、第1フィルタおよび第2フィルタの各々のパラメータや、色変換処理における各種のパラメータを、識別情報に基づいて最適な値に設定する。これにより、機種の異なる複数の印刷機100が混在する環境や、印刷対象(例えば用紙、フィルム等)に応じた複数の印刷モードを印刷機100が有する場合であっても、印刷機100の機種またはモードに応じた適切な検査が可能になる。
【0046】
図5は、機種の異なる複数の印刷機を含むシステムの例を模式的に示す図である。図5には、2台の印刷機100A、100Bが例示されている。印刷機は2台に限らず、3台以上であってもよい。この例における印刷機100Aは、印刷元データと、印刷機100Aの識別情報を出力するように構成されている。一方、印刷機100Bは、ヘッドデータと、印刷機100Bの識別情報を出力するように構成されている。ユーザは、印刷機100Aを用いて印刷を行うか、印刷機100Bを用いて印刷を行うかを選択することができる。印刷機100Aが用いられる場合、処理装置210は、印刷機100Aから印刷元データおよび識別情報を取得し、当該識別情報が示す印刷機100Aの機種またはモードに応じた空間フィルタリング処理および色変換処理を行い、第1フィルタ画像を生成する。一方、印刷機100Bが用いられる場合、処理装置210は、印刷機100Bからヘッドデータおよび識別情報を取得し、当該識別情報が示す印刷機100Bの機種またはモードに応じた空間フィルタリング処理および色変換処理を行い、第2フィルタ画像を生成する。処理装置210は、第1フィルタ画像または第2フィルタ画像と、カメラ画像から変換したカメラフィルタ画像とを照合することにより、印刷の良否を判定する。
【0047】
このように、図5に示す処理装置210は、印刷機100Aまたは100Bの識別情報を取得し、当該識別情報に応じて、印刷元データに空間フィルタリング処理および色変換処理を行う第処理と、ヘッドデータに空間フィルタ処理および色変換処理を行う第2処理とを切り替えることができる。また、処理装置210は、識別情報に応じて、空間フィルタリング処理において用いるフィルタのサイズおよび係数などのパラメータ、ならびに色変換処理のパラメータを調整することができる。これにより、印刷機の機種やモードに応じた適切な検査が可能になる。
【0048】
図5の例では、印刷機100Aが印刷元データおよび識別情報を処理装置210に送信するように構成されている。印刷機100Aの代わりにコンピュータ300が印刷元データおよび識別情報を処理装置210に送信するように構成されていてもよい。また、印刷機100Bの代わりにコンピュータ300が、印刷機100Bの識別情報を処理装置210に送信するように構成されていてもよい。
【0049】
なお、処理装置210は、カメラ画像に対する空間フィルタリング処理および色調整処理を省略し、印刷元データまたはヘッドデータに基づくフィルタ画像とカメラ画像とを直接照合してもよい。図6Aは、その場合のシステム構成例を示している。印刷元データまたはヘッドデータ(以下、まとめて「印刷データ」と称することがある。)に適切な空間フィルタリング等の処理を行うことにより、人が目視で検査する場合と同程度の高精度の検査が可能である。
【0050】
上記のように、本実施形態における処理装置210は、印刷機100の識別情報を取得した後、以下の第1処理(a)および第2処理(b)のいずれかを実行する。
(a)印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって印刷物の良否を判定する。
(b)ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像とカメラ画像との照合を行うことによって印刷物の良否を判定する。
【0051】
処理装置210は、識別情報に基づいて、第1処理および第2処理のいずれを実行するかを選択する。また、識別情報に基づいて、第1フィルタのパラメータおよび第2フィルタのパラメータを調整する。このような動作により、印刷機の機種またはモードに応じた最適な画像検査が実現される。
【0052】
上記の第1処理(a)または第2処理(b)を実行する代わりに、処理装置210は以下の第3処理(c)を行ってもよい。
(c)印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像との照合を行うことによって印刷コントローラの正常性を判定する。
【0053】
この場合、処理装置210は、カメラ画像を使用せず、印刷元データとヘッドデータとの照合を行う。処理装置210は、第1処理、第2処理、および第3処理のいずれを実行するかを、識別情報に基づいて選択してもよい。
【0054】
図6Bは、上記の第3処理(c)、すなわち印刷元データとヘッドデータとの照合を行う処理装置210の例を示す図である。この例では、カメラ220は用いられず、処理装置210は、印刷元データに空間フィルタリング処理等の変換処理を行って生成した第1フィルタ画像と、ヘッドデータに空間フィルタリング処理等の変換処理を行って生成した第2フィルタ画像とを照合し、照合結果(例えば、印刷コントローラ110が正常であるか否かを示す情報)を出力する。このような構成によれば、カメラ220を用いることなく、印刷コントローラ110の故障または誤動作による印刷不良を検出することができる。この機能は、単独で用いられてもよいし、カメラ画像を用いた照合と併用してもよい。
【0055】
図7Aは、本実施形態における印刷およびフィルタリング処理を施した画像に基づく検査の流れを模式的に示す図である。ここでは、ヘッドデータが示す画像に空間フィルタを用いたフィルタリングを行って生成したフィルタ画像と、カメラ画像との間で照合を行う場合の例を説明する。印刷コントローラ110は、図7Aに示すように、印刷元データにディザリング等の網点(ハーフトーン)処理を行い、ヘッドデータを生成する。ヘッドデータは、印刷元データにおける濃淡が点の密度として表現された網点のデータである。このようなヘッドデータが、例えばシアン、マゼンタ、黄、黒のそれぞれの色ごとに生成され得る。印刷ヘッド120は、このようなヘッドデータに基づいて各色に対応するヘッドを駆動して用紙に印刷を行う。用紙上では、インクのにじみや混合等の影響により、画像に変化が生じる。また、印刷物をカメラで撮影すると、カメラや撮影環境などの特性に応じて、撮影された画像に変化が生じる。その結果、カメラ画像はヘッドデータが示す画像とは一致せず、両者を直接照合することができない。そこで、図7Aの例では、処理装置210は、印刷時の用紙上のインクのにじみや用紙の変形等の影響を擬似的に再現した空間フィルタを用いてヘッドデータをフィルタ画像に変換し、フィルタ画像とカメラ画像とを照合する。これにより、ヘッドデータとカメラ画像との比較が可能になり、検査の精度を大きく向上させることができる。印刷機の機種やモードによって、ヘッドデータにおける網点の大きさや密度、および用紙上のインクのにじみ具合が変化する。本実施形態では、印刷機の機種やモードに応じて、使用する空間フィルタを切り替えることにより、機種やモードによらず適切な検査が可能である。
【0056】
なお、図7Aの例では、ヘッドデータに空間フィルタリングを行って照合用のフィルタ画像を生成するが、前述のように、印刷元データに空間フィルタリング等の処理を行って照合用のフィルタ画像を生成する場合もある。印刷元データがPDF等のベクタ形式のデータである場合、処理装置210は、印刷元データにラスタライズ処理および色変換処理等の必要な処理を行った上で空間フィルタリングを行ってもよい。印刷元データもカメラ画像とは異なるため、そのままでは両者を照合することができない。印刷元データに、印刷機の機種やモードに応じた適切な空間フィルタリング処理を行うことにより、検査の精度を向上させることができる。
【0057】
図7Aに示す例では、カメラ画像をそのまま照合用のデータとして用いているが、図4の例のように、カメラ画像についても同様に空間フィルタリングおよび色変換等の変換処理を行い、両者の照合をしやすくしてもよい。その場合も、空間フィルタリング処理および色変換処理は、印刷機の識別情報(機種またはモード)に応じて適切に調整され得る。
【0058】
このように、本実施形態では、印刷に伴う画像の変化の要因を想定して、照合前に印刷データ(および必要に応じてカメラ画像)の加工が行われる。加工は、例えばガウシアンフィルタなどの平滑化を行う空間フィルタ(すなわちローパスフィルタ)を用いて行われ得る。使用される空間フィルタはガウシアンフィルタなどの線形フィルタに限らず、非線形フィルタであってもよい。また、複数の空間フィルタを組み合わせて照合用の適切なフィルタ画像を生成してもよい。空間フィルタは、印刷機100の機種およびモード、ならびに用紙10の特性に応じて予め作成される。空間フィルタは、例えば機械学習を利用して訓練された学習済みモデルとして生成されてもよい。処理装置210自身が検査前に空間フィルタを生成してもよい。処理装置210は、既知の印刷データの印刷時の変形を、例えばニューラルネットワークを利用した機械学習アルゴリズムを用いて学習することによって最適な空間フィルタ(学習済みモデル)を生成してもよい。使用されるニューラルネットワークの例として、誤差逆伝播法を利用した畳み込みニューラルネットワーク(CNN)が挙げられる。処理装置210は、例えばGAN(Generative Adversarial Network)に基づく学習アルゴリズム(pix2pix等)を利用して、印刷機の機種ごとまたはモードごとに最適な空間フィルタを生成してもよい。
【0059】
図4から図6に示す実施形態では、処理装置210は、印刷データに対して空間フィルタリング処理に加えて、色変換処理も行う。これにより、印刷データとカメラ画像との間で色の比較がしやすくなる。以下、図7Bを参照しながら、本実施形態における色変換処理の概要を説明する。
【0060】
図7Bは、色変換処理の概要を模式的に示す図である。ここでも図7Aに示す例と同様に、ヘッドデータからフィルタ画像が生成される例を説明する。この例において、印刷元データは加色系のRGB色空間で表現され、ヘッドデータは減色系のCMYK色空間で表現されている。カメラで撮影された画像はRGB色空間で表現されるため、ヘッドデータとカメラ画像とを直接照合することができない。そこで、処理装置210は、ヘッドデータに対して、前述の空間フィルタリング処理に加えて、CMYK色空間からRGB色空間への変換処理を行うことによってフィルタ画像を生成する。このような変換を行うことにより、ヘッドデータからカメラで撮影された画像を擬似的に再現することができ、検査の精度を向上させることができる。
【0061】
色変換は、CMYKからRGBへの変換に限らず、他の変換であってもよい。例えば、色の変化に対する感度を肉眼に近づけるために、印刷データ(印刷元データまたはヘッドデータ)およびカメラ画像を、各色の重みづけが等しくなるCIE-Lなどの表色系に変換してもよい。そのような変換を行うことにより、より肉眼に近い検査が可能となる。また、既知の印刷データとカメラ画像を用いて、例えば誤差逆伝播法を利用したCNN等の機械学習アルゴリズムによって訓練された学習済みモデルを用いて印刷データの色変換を行ってもよい。処理装置210は、例えばpix2pix等のアルゴリズムを利用して、前述の空間フィルタリングと色変換とを同時に行うモデルを生成してもよい。そのようなモデルは、印刷機の機種ごと、またはモードごとに生成され得る。
【0062】
次に、図8を参照しながら、処理装置210によって実行される処理をより詳細に説明する。
【0063】
図8は、処理装置210のプロセッサ212が実行する処理の例を示すフローチャートである。この例では、処理装置210は、印刷開始後、印刷コントローラ110から印刷終了の指示(ステップS109)を受けるまで、ステップS101からS108の処理を、印刷物のページごとに繰り返す。なお、印刷終了の指示は、コンピュータ300などの、印刷コントローラ110とは異なる装置から入力されてもよい。
【0064】
ステップS100において、処理装置210は、印刷機100の識別情報を取得する。識別情報は、印刷機100の機種を特定する機種情報を含む。識別情報は、さらに、印刷機100のモードを特定するモード情報を含んでいてもよい。モード情報は、例えば、印刷が行われる対象物(用紙またはフィルム等)の種類、印刷ヘッドから吐出されるインクの濃さ、印刷速度、色設定、および印刷画質の少なくとも1つに関する情報を含んでいてもよい。処理装置200は、識別情報を、印刷機100、コンピュータ300、またはユーザが使用する入力装置などの外部の装置から取得するように構成され得る。
【0065】
モード情報のデータフォーマットは、印刷機100の機種によって異なる。処理装置200は、取得した機種情報に基づいて、機種によって異なるデータフォーマットを有するモード情報を読み取ることができる。例えば、処理装置200のメモリ(例えば図3に示すROM216)には、印刷機100の機種情報と、対応するモード情報のデータフォーマットとの関係を示すデータが予め格納され得る。処理装置200は、当該データを参照して、印刷機100の機種に対応するデータフォーマットを特定し、そのデータフォーマットに応じた読み取り規則に従ってモード情報を読み取ることができる。
【0066】
図9Aは、印刷機100の機種情報と、対応するモード情報のデータフォーマットとの関係を示すデータの一例を示している。図9Aに示すデータは、印刷および検査が行われる現場で使用される複数の印刷機100の識別子(ID)と、機種情報と、出力データの種類(ヘッドデータか印刷元データか)と、モード情報のデータフォーマットとの対応関係を示すテーブルである。処理装置200は、図9Aに示すようなテーブルを参照することにより、機種情報に対応するモード情報のデータフォーマットを特定することができる。
【0067】
ステップS101において、処理装置210は、識別情報に基づいて、印刷機100がヘッドデータを出力する機種であるか否かを判定する。処理装置210は、例えば図9Aに示すようなテーブルを参照して、取得した識別情報に対応する印刷機100がヘッドデータを出力する機種であるか否かを判定する。印刷機100がヘッドデータを出力する機種である(判定結果がYesである)場合、ステップS102に進む。印刷機100が印刷元データを出力する機種である(判定結果がNoである)場合、ステップS103に進む。
【0068】
なお、図9Aに示すテーブルは一例であり、同様の情報を含むデータであれば、図示されるテーブルとは異なる形式のデータが用いられてもよい。例えば、図9Aに示す情報が、印刷機IDごとの機種情報を格納するテーブルと、機種ごとの出力データの種類およびモード情報のデータフォーマットの情報を格納するテーブルとに分散していてもよい。
【0069】
ステップS102において、処理装置210は、印刷コントローラ110からヘッドデータを取得する。その後、ステップS104に進む。
【0070】
ステップS103において、処理装置210は、印刷コントローラ110から印刷元データを取得する。その後、ステップS104に進む。なお、印刷元データは、コンピュータ300から処理装置210に送られてもよい。
【0071】
なお、ヘッドデータまたは印刷元データの取得は、ステップS100における識別情報の取得と同時に行われてもよい。例えば、ステップS100において、処理装置210は、ヘッドデータまたは印刷元データと識別情報とが統合されたデータを印刷コントローラ110またはコンピュータ300から取得するように構成されていてもよい。そのような場合、ステップS101、S102、S103の処理は省略され、ステップS100の後、ステップS104に進む。
【0072】
ステップS104において、処理装置210は、取得した印刷元データまたはヘッドデータに空間フィルタリング処理および色変換処理を行い、印刷機フィルタ画像を生成する。
【0073】
空間フィルタリング処理は、例えば、加重平均化フィルタ(例えばガウシアンフィルタ)などの平滑化フィルタを用いた処理を含み得る。空間フィルタリング処理は、平均化フィルタによるサイズ圧縮処理を含んでいてもよい。空間フィルタリング処理により、インクのにじみや用紙の変形の影響を擬似的に再現し、カメラ画像との照合を行いやすくすることができる。ベクタ形式の印刷元データを処理する場合、処理装置210は、空間フィルタリング処理の前に、ラスタライズ処理を行い、ラスタ(ビットマップ)形式の画像に変換してもよい。
【0074】
本実施形態における処理装置210は、空間フィルタリング処理において用いる1つまたは複数のフィルタを、識別情報に基づいて決定する。例えば、処理装置210は、図9Bに例示されるテーブルを参照して、識別情報が示す印刷機の機種およびモードに対応するフィルタまたはフィルタパラメータ群を選択して使用する。これにより、印刷機の種類およびモードに応じたフィルタを用いて空間フィルタリング処理を適切に実行することができる。
【0075】
図8に示す例では、処理装置210は、空間フィルタリング処理に加えて、印刷機フィルタ画像の各画素の色を調整する色変換処理も行う。印刷機フィルタ画像がCMYKの4色の色空間で表されている場合、処理装置210は、印刷機フィルタ画像に対してCMYKからカメラ画像の色空間であるRGBへの色変換を行うように構成され得る。色変換は、予め作成された色変換テーブルに基づいて行われ得る。あるいは、処理装置210は、誤差逆伝播法等を利用した学習アルゴリズムを用いて予め訓練された学習済みモデルを用いて、印刷元データまたはヘッドデータを、照合用のフィルタ画像に変換してもよい。処理装置210は、印刷機100の識別情報に基づいて、色変換テーブルまたはモデルを決定してもよい。これにより、印刷機の種類およびモードに応じて適切に色変換処理を実行することが可能である。
【0076】
ステップS105において、処理装置210は、カメラ220からカメラ画像を取得する。カメラ画像は、例えばRGBの画像データである。
【0077】
ステップS106において、処理装置210は、ステップS105で取得したカメラ画像に空間フィルタリング処理を行い、カメラフィルタ画像を生成する。空間フィルタリング処理は、例えば加重平均化フィルタ(例えばガウシアンフィルタ)などの平滑化フィルタを用いた処理を含み得る。空間フィルタリング処理は、平均化フィルタによるサイズ圧縮処理を含んでいてもよい。空間フィルタリング処理を行うことにより、例えば画素数とぼやけの程度が印刷機フィルタ画像と同等のカメラフィルタ画像を生成することができる。これにより、印刷機フィルタ画像との照合が容易になる。
【0078】
処理装置210は、カメラ画像に対する空間フィルタリング処理において用いる1つまたは複数のフィルタを、識別情報に応じて変更してもよい。例えば、処理装置210は、予め用意されたテーブルを参照して、識別情報が示す印刷機の機種およびモードに対応するフィルタまたはフィルタパラメータ群を選択して使用してもよい。これにより、印刷機の種類およびモードに応じたフィルタを用いて空間フィルタリング処理を適切に実行することができる。
【0079】
処理装置210は、空間フィルタリング処理に加えて、カメラ画像の各画素の色を調整する色変換処理を行ってもよい。空間フィルタリング処理および色変換処理に加えて、例えば回転補正などの処理を行って印刷機フィルタ画像との照合をしやすくしてもよい。あるいは、処理装置210は、誤差逆伝播法等を利用した学習アルゴリズムを用いて予め訓練された学習済みモデルを用いて、カメラ画像を、照合用のカメラフィルタ画像に変換してもよい。処理装置210は、印刷機100の識別情報に基づいて、色変換テーブルまたはモデルを決定してもよい。これにより、印刷機の種類およびモードに応じて適切に色変換処理を実行することができる。
【0080】
なお、ステップS105およびS106の処理は、ステップS102またはS103の前に行われてもよいし、ステップS102またはS103の処理と並行して行われてもよい。
【0081】
ステップS107において、処理装置210は、印刷機フィルタ画像とカメラフィルタ画像とを照合し、印刷の良否を判定する。処理装置210は、印刷機フィルタ画像とカメラフィルタ画像との差分に基づいて、印刷の良否を判定する。例えば、印刷機フィルタ画像およびカメラフィルタ画像を対応する小領域ごとに比較し、画素値が大きく異なる箇所を検出した場合に印刷エラーが生じたと判定することができる。
【0082】
ステップS108において、処理装置210は、判定結果を出力する。処理装置210は、例えば、印刷に欠陥があるか否か、および欠陥がある場合、画像中のどの箇所に欠陥があるかを示す情報を判定結果として出力する。判定結果は、例えば、処理装置210に接続されたディスプレイ等の出力装置または記憶装置に出力され得る。この出力を見て、ユーザは、印刷に不備が生じたことを知ることができる。処理装置210は、判定結果をページごとに記録した検査結果のリストを作成し、当該リストを記憶装置に記録してもよい。これにより、印刷および検査の履歴を残すことができる。
【0083】
ステップS109において、処理装置210は、印刷終了の指示の有無を判断する。印刷終了の指示がなければ、ステップS101に戻り、次のページの検査を行う。印刷終了の指示は、例えば印刷コントローラ110またはコンピュータ300から入力され得る。
【0084】
以上の動作により、処理装置210は、印刷物のページごとに印刷元の画像とカメラ画像とを比較し、印刷に異常がないかを判定することができる。本実施形態においては、ステップS104およびS105において、印刷元データまたはヘッドデータと、カメラ画像に対して、空間フィルタリング処理および色変換処理が行われる。これらの処理により、印刷元データまたはヘッドデータと、カメラ画像との照合を容易にし、検査の精度を向上させることができる。
【0085】
図8の例では、ステップS106においてカメラ画像からカメラフィルタ画像への変換が行われるが、この処理を省略してもよい。
【0086】
図10は、処理装置210のプロセッサ212が実行する処理の他の例を示すフローチャートである。図10に示すフローチャートは、図8に示すフローチャートにおけるステップS106およびS107がステップS117に置き換わったものである。ステップS117以外の処理は、図8の例と同様である。図10の例では、処理装置210は、カメラ画像に対する空間フィルタリング処理および色変換処理を行わず、カメラ画像をそのまま照合用のデータとして用いる。ステップS117において、処理装置210は、印刷機フィルタ画像とカメラ画像とを照合し、印刷の良否を判定する。この場合であっても、印刷データから印刷機フィルタ画像を生成するために用いられるモデル(空間フィルタおよび色変換テーブル)を、印刷機の機種またはモードごとに適切に作成することにより、高い精度で印刷の良否を判定することができる。
【0087】
ここで、図11を参照しながら、ステップS104におけるデータ変換処理の具体例を説明する。図11は、ヘッドデータを印刷機フィルタ画像に変換する処理の流れを示している。ここでは一例として、1200dpi(dots per inch)の解像度を有するシアン(C)、マゼンタ(M)、黄(Y)、黒(K)の4色の画像情報を含むヘッドデータ(a)から印刷機フィルタ画像を生成する場合の処理の例を説明する。図11の例では、ヘッドデータが示す画像における画素値は、色ごとに2ビット(合計8ビット)で表現される。画素値0(2進数で00)は「インクなし」を表し、画素値1(2進数で01)はインク量「小」を表し、画素値2(2進数で10)はインク量「中」を表し、画素値3(2進数で11)はインク量「大」を表す。例えば、画素値がシアンについては3(11)、マゼンタについては1(01)、黄については0(00)、黒については2(00)である場合、シアンのインク量は「大」、マゼンタのインク量は「小」、黄は「インクなし」、黒のインク量は「中」である。このように、CMYKの各色のインク量が2ビットで表現され、当該2ビットの数値が大きいほどインク量が多いことを表す。本実施形態では、ヘッドデータにおける画素値と印刷濃度とは非線形の関係にあり、印刷濃度は画素値に比例しない。
【0088】
図11の例において、処理装置210は、CMYKの各色について、予めメモリに記録された濃淡変換テーブルを参照して、各色2ビットの画素値を有するヘッドデータを、各色8ビット(合計32ビット)の画素値を有する画像データ(b)に変換する。この画像データにおける画素値と濃度とは線形の関係にあり、濃度は画素値に比例する。処理装置210は、この画像データに、ガウシアンフィルタおよび平均化フィルタ(例えば16画素を平均化するフィルタ)等の空間フィルタを用いたフィルタリング処理(畳み込み演算)を行う。これにより、処理装置210は、CMYK各色の画像を平滑化し、画素数を1/16(300dpi)に削減した画像データ(c)を生成する。
【0089】
図12Aは、ガウシアンフィルタおよび平均化フィルタの例を示している。これらのフィルタ(カーネル)の各要素(係数)の数値は、印刷によるインクのにじみや用紙の変形等の影響を適切に反映するように決定される。これらのフィルタのサイズ(カーネルサイズ)および各係数は、印刷機100の機種またはモードに応じて適切に調整される。例えば、にじみが生じやすいインクと印刷対象物(例えば用紙またはフィルム)との組み合わせに対応するモードが選択された場合、カーネルサイズを大きくし、係数の勾配を緩くしてもよい。反対に、にじみが生じにくいインクと印刷対象物との組み合わせに対応するモードが選択された場合、ガウシアンフィルタのカーネルサイズを小さくし、係数の勾配を大きくしてもよい。
【0090】
処理装置210は、画像データ(c)に対して、ゲイン調整を行う。ゲイン調整は、印刷元データが示す画像の色に近づけるための処理であり、予めメモリ等の記憶媒体に記録されたゲイン調整テーブルに基づいて、C、M、Y、Kの色ごとに行われ得る。印刷機の機種や印刷モードによって最適なゲイン値が異なるため、ゲイン調整テーブルは、印刷機の機種ごと、およびモードごとに作成され得る。処理装置210は、印刷機の機種またはモードを示す識別情報に基づいて、使用するゲイン調整テーブルを決定するように構成され得る。
【0091】
処理装置210は、さらに、予めメモリ等の記憶媒体に記録された色変換テーブルに基づいて、CMYKからRGBへの色変換を行い、印刷機フィルタ画像(d)を生成する。
【0092】
図12Bは、色変換テーブルの一例を示している。この色変換テーブルは、CMYKの4つの値の組み合わせと、RGBの3つの値の組み合わせとの対応関係を規定する。色変換テーブルにおける各数値は、インク、用紙、およびカメラ等の特性に応じて適切な値に設定される。例えば、印刷機の機種ごと、あるいはモードごとに、複数の色変換テーブルが予め作成され得る。処理装置210は、印刷機の機種またはモードを示す識別情報に基づいて、使用する色変換テーブルを決定するように構成され得る。
【0093】
図11の例における印刷機フィルタ画像は、RGBの各色の画素値が8ビット(合計24ビット)で表現された300dpiの画像である。処理装置210は、この印刷機フィルタ画像を、カメラ画像またはカメラ画像から変換したカメラフィルタ画像と照合することによって印刷の品質を検査する。なお、本明細書において、カメラ画像そのものと照合することだけでなく、カメラ画像から変換されたカメラフィルタ画像と照合することも、「カメラ画像との照合」という表現で表すことがある。
【0094】
図11の例における各画像の解像度および各画素のビット数、ならびに各フィルタおよび各テーブルにおける数値は一例に過ぎず、これらの数値は、システム(例えば印刷機の機種またはモード)に依存して適切な値に設定される。
【0095】
図11の例ではヘッドデータから印刷機フィルタ画像が生成されるが、PDFなどの印刷元データに基づいて印刷機フィルタ画像を生成してもよい。その場合、処理装置210は、印刷元データを、例えばRGB等の所定の色空間で表現されたビットマップ画像のデータに変換した上で、ガウシアンフィルタまたは平均化フィルタなどの空間フィルタを用いた空間フィルタリング(および必要に応じて色変換)を実行して印刷機フィルタ画像を生成してもよい。
【0096】
次に、本実施形態において用いられる空間フィルタの例をより詳細に説明する。
【0097】
図13は、印刷データに適用される空間フィルタの一例と、空間フィルタのパラメータの調整方法を模式的に示す図である。この例における空間フィルタは、以下の2次元ガウス分布関数に基づくガウシアンフィルタである。
【数1】
ここで、(x,y)は、画像の中心を原点とする座標であり、x軸は画像の横方向に対応し、y軸は画像の縦方向に対応する。σは標準偏差である。
【0098】
図13に例示するガウシアンフィルタのカーネルサイズは5×5である。カーネルサイズは、他のサイズ(例えば、3×3、7×7等)であってもよい。カーネルサイズおよび標準偏差σなどのパラメータは、検査で使用される印刷機の機種、印刷機のモード、およびカメラ等の特性に応じて適切な値に設定される。この例ではガウシアンフィルタが用いられるが、他の空間フィルタが用いられる場合も、印刷機およびカメラ等の特性に応じてフィルタのパラメータ(各要素の値)が調整され得る。
【0099】
ここで、印刷データ、フィルタ画像、カメラ画像における座標(i,j)の画素値を、それぞれA[i,j]、B[i,j]、C[i,j]と表記する。フィルタ画像の画素値B[i,j]は、上記の2次元ガウス分布関数を用いて以下の式で近似される。
【数2】
【0100】
カメラ画像とフィルタ画像との偏差dは、以下の式で表される。
【数3】
【0101】
空間フィルタの各パラメータは、この偏差dを最小化するように予め適切な値に決定される。空間フィルタの各パラメータは、機械学習を利用して決定してもよい。例えば、印刷データA[i,j]とカメラ画像C[i,j]とのペアに相当する多数の学習用データセットと、所定の機械学習アルゴリズムとを用いた教師あり学習を実行することにより、空間フィルタの各パラメータを決定してもよい。この学習の結果、検査で実際に使用される空間フィルタが、ガウシアンフィルタとは異なるフィルタになってもよい。
【0102】
次に、本実施形態における色変換処理と、色変換テーブルの調整方法の例をより詳細に説明する。
【0103】
図14は、色変換テーブルの例と、そのパラメータの調整方法の例を示す図である。この例では、処理装置210は、メモリ等の記憶媒体に記録された色変換テーブルに基づいて、CMYKの印刷データを、RGBのフィルタ画像に変換する。この色変換テーブルは、CMYKの4色の値の組み合わせと、RGBの3色の値の組み合わせとの関係を規定するデータである。色変換テーブルに代えて、同様の変換を実現する関数またはモデルが用いられてもよい。色変換テーブルにおける各パラメータは、カメラ画像とフィルタ画像との偏差を最小にするように決定される。処理装置210は、印刷データA[i,j]とカメラ画像C[i,j]とのペアに相当する多数の学習用データセットと、所定の機械学習アルゴリズムとを用いた教師あり学習を実行することにより、色変換テーブルのパラメータを調整してもよい。
【0104】
本実施形態では、空間フィルタリング処理と色変換処理とが別々に実行されるが、これらの処理を包含した変換処理が行われてもよい。そのような変換処理は、例えばニューラルネットワーク等の機械学習アルゴリズムを利用して訓練された学習済みモデルを用いた変換であってもよい。処理装置210は、例えばGAN等のアルゴリズムを利用して、印刷データから擬似的なカメラ画像を生成するための学習済みモデルを生成してもよい。
【0105】
次に、印刷データから変換された印刷機フィルタ画像とカメラ画像との照合処理の例を説明する。
【0106】
図15は、印刷機フィルタ画像とカメラ画像との照合処理の一例を示す図である。この例では、処理装置210は、印刷機フィルタ画像とカメラ画像とを複数の領域に分割し、領域ごとに両者を照合する。図15の例では、各画像が12の領域に分割されている。領域間にはオーバーラップ領域が設けられる。処理装置210は、印刷機フィルタ画像から切り出す領域を例えば縦横の各方向に1画素ずつ移動させながら複数回照合し、カメラ画像との一致度が最も高い切り出し領域を決定し、その領域とカメラ画像における対応する領域とを比較してもよい。カメラにおけるレンズの収差に起因するカメラ画像の変形等の予測可能な変形の影響を補償するために、予め座標にオフセットが設けられていてもよい。処理装置210は、印刷機フィルタ画像の画素値とカメラ画像の対応する画素値との差を画素ごとに計算し、当該画素値の差に基づいて、印刷の欠陥を検出することができる。処理装置210は、例えば、上記の領域ごとに、SSD(Sum of Squared Difference)またはSAD(Sum of Absolute Difference)等の画像の差分を示す指標値を計算し、その値が閾値を超えた場合に、その領域の印刷に欠陥があることを検出することができる。なお、カメラ画像に空間フィルタリングや色変換処理が行われたカメラフィルタ画像と印刷機フィルタ画像とを照合する場合も、同様の方法で印刷の良否を判定することができる。
【0107】
以上のように、本実施形態における検査システムは、入力された印刷元データをヘッドデータに変換する印刷コントローラ110と、ヘッドデータに基づいて印刷を行う印刷ヘッド120とを備えた印刷機100と組み合わせて使用される。検査システムは、印刷機100によって印刷された印刷物を撮影してカメラ画像を生成するカメラ220と、処理装置210とを備える。処理装置210は、印刷機の機種および印刷機のモードの少なくとも一方を特定する識別情報を取得し、(a)印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって印刷物の良否を判定する第1処理、および(b)ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像とカメラ画像との照合を行うことによって印刷物の良否を判定する第2処理、のいずれかを実行する。処理装置210は、第1フィルタのパラメータおよび第2フィルタのパラメータを、識別情報に基づいて決定する。
【0108】
このような構成により、印刷機の機種やモードに応じた印刷時のインクのにじみや用紙の変形、またはカメラのレンズの収差等の影響を補償することができる。このため、機種の異なる複数の印刷機が混在する環境や、用紙やフィルムの種類に応じた複数の印刷モードを有する印刷機を用いる場合であっても、機種やモードによらず、印刷物の画像検査の精度を向上させることができる。
【0109】
なお、本実施形態では、印刷元データまたはヘッドデータに、空間フィルタリング処理および色変換処理が行われるが、印刷物によっては色変換処理が省略されてもよい。例えば、モノクロ印刷の検査が行われる場合、色変換処理は省略され得る。この点は、カメラ画像に対する色変換処理についても同様である。また、本実施形態における印刷装置100はインクジェットプリンタであるが、レーザプリンタ等の電子写真方式のプリンタ、または有版印刷を行う印刷機に本実施形態の技術を適用してもよい。
【0110】
さらに、処理装置210は、印刷元データに適用する第1空間フィルタリング処理に用いられる第1フィルタのパラメータと、ヘッドデータに適用する第2空間フィルタリング処理に用いられる第2フィルタのパラメータとを、印刷機の識別情報に基づいて決定し、印刷元データに第1空間フィルタリング処理を行って生成した第1フィルタ画像と、ヘッドデータに第2空間フィルタリング処理を行って生成した第2フィルタ画像とを照合し、照合結果を出力してもよい。このような照合により、カメラを用いることなく、印刷機の印刷ヘッドの不具合を検出することができる。
【0111】
(実施形態2)
次に、前述の空間フィルタリングおよび色変換等の変換処理を行うために用いられる学習済みモデルを機械学習によって生成する方法の例を説明する。
【0112】
図16は、本実施形態における学習済みモデルの生成方法の流れを示すフローチャートである。この方法は、学習用データセットを生成する工程(ステップS200)と、学習用データセットに基づいて学習済みモデルを生成する工程(ステップS210)とを含む。ステップS200は、ステップS201からS205を含む。ステップS210は、ステップS211からS213を含む。ステップS200とステップS210とは、同一の装置が実行してもよいし、異なる装置が実行してもよい。以下の説明では、一例として、図3に示すコンピュータ300がステップS200を実行し、処理装置210がステップS210を実行するものとする。なお、ステップS200およびS210のそれぞれの処理は、コンピュータ300、処理装置210に限らず、他の装置によって実行されてもよい。
【0113】
ステップS201において、コンピュータ300は、学習用印刷データを記憶装置から取得する。学習用印刷データは、例えば、実際に検査される印刷物と同様の画像を示すデータ、または学習用に特別に作成された複数の色のパターンを含むテストチャートの画像を示すデータであり得る。学習用印刷データは、予め作成され、コンピュータ300内の記憶装置または外部の記憶装置に記録される。学習用印刷データは、図3に示す印刷元データに相当する。なお、学習用印刷データは、ヘッドデータと同等の形式のデータであってもよい。
【0114】
ステップS202において、コンピュータ300は、印刷機100に、学習用印刷データに基づく印刷の実行を指示する。これを受けて、印刷機100は、用紙10に印刷を実行する。
【0115】
ステップS203において、コンピュータ300は、カメラ220に、学習用印刷データに基づいて印刷された印刷物の撮影を指示する。これを受けて、カメラ220は、印刷物の画像データ(以下、「学習用カメラ画像」と呼ぶ。)を生成する。
【0116】
ステップS204において、コンピュータ300は、学習用カメラ画像と学習用印刷データとを関連付けて記憶装置に記録する。
【0117】
ステップS205において、コンピュータ300は、学習用データの生成の終了指示が出されたか否かを判定する。終了指示は、例えばユーザの操作に基づいてコンピュータ300に入力され得る。あるいは、予め設定された件数の印刷および撮影の動作が終了した時点で終了指示が出されてもよい。終了指示が出されるまで、コンピュータ300は、異なる学習用印刷データに対してステップS201からS205の動作を繰り返す。
【0118】
以上の動作により、学習用印刷データと学習用カメラ画像との組を1組以上含む学習用データセットが生成され、記憶装置に記録される。この学習用データセットは、印刷データを擬似的なカメラ画像(以下、「照合用印刷画像」と呼ぶことがある。)に変換するための機械学習モデルを訓練するために用いられる。学習の効果を高めるために、学習用印刷データと学習用カメラ画像との組をできる限り多く用意することが好ましい。実際の検査で用いられた印刷データと、それに対応するカメラ画像との組を、学習用データセットに含めてもよい。
【0119】
次に、学習用データセットを用いて学習済みモデルを生成するステップS210の詳細を説明する。
【0120】
ステップS211において、処理装置210は、学習用データセットを記憶装置から取得する。学習用データセットが学習用印刷データと学習用カメラ画像との組を複数組含む場合、全ての組のデータを取得する。
【0121】
ステップS212において、処理装置210は、所定の機械学習アルゴリズムを利用して、学習用データセットに基づいて機械学習を行うことにより、印刷データを照合用印刷画像に変換するためのモデル(学習済みモデル)を生成する。機械学習アルゴリズムとして、例えば深層学習を利用して入力画像を他の画像に変換する用途に用いられる種々のアルゴリズムを利用することができる。例えば、GAN、NST(Neural Style Transfer)等の、畳み込みニューラルネットワーク(CNN)を利用したアルゴリズムを利用することができる。生成される学習済みモデルは、例えば実施形態1において説明した空間フィルタリング処理と、カラー変換処理とを実行するモデルであり得る。学習済みモデルの生成は、学習用印刷データと、対応する学習用カメラ画像との偏差を小さくするように、当該モデルにおける複数のパラメータを調整することを含む。
【0122】
ステップS213において、処理装置210は、生成した学習済みモデルを記憶装置(例えばROM216)に記録する。
【0123】
以上の動作により、印刷データを照合用印刷画像に変換するための学習済みモデルを生成することができる。前述のように、印刷機の機種またはモードによって、最適な空間フィルタリング処理および色変換処理は異なる。このため、学習済みモデルは、印刷機の機種ごと、あるいはモードごとに生成され得る。生成された学習済みモデルに基づいて検査を行う場合、処理装置210は、当該学習済みモデルを実装した画像変換プログラムを実行して、検査対象の印刷データを照合用印刷画像に変換する。当該画像変換プログラムは、印刷機の機種やモードに応じて異なる学習済みモデルを適用するように構成され得る。処理装置210は、照合用印刷画像を、カメラ画像、またはカメラ画像に回転補正や色補正等の処理を行った画像(まとめて「照合用カメラ画像」と呼ぶ。)と比較・照合し、印刷物の良否を判定する。
【0124】
次に、モデル生成に用いられる学習用印刷データとして用いられるテストチャートの例を説明する。テストチャートは、例えば色の異なる複数の領域が1次元的または2次元的に配列されたパターンを含み得る。本明細書において「色」は、色相、明度、彩度の組み合わせを意味する。
【0125】
図17Aから図17Cは、テストチャートの画像の例を示している。図17Aは、色の異なる複数のカラーブロックが2次元的に配列されたテストチャートの例を示している。このテストチャートは、印刷物の搬送方向に相当する方向(図の縦方向)と、搬送方向に垂直な方向に相当する方向(図の横方向)とに配列された多数の正方形のカラーブロックの領域を含む。各カラーブロックは小さく、例えば10mm×10mmよりも小さい。カラーブロックの個数は、例えば1000以上である。これらのカラーブロックの色は、例えば印刷機100によって印刷可能な色の大部分が網羅されるように選択され得る。カラーブロックの全ての色が異なっている必要はなく、同一の色のブロックが含まれていてもよい。
【0126】
図17Bは、色の異なる複数のカラーバーが1次元的に配列されたテストチャートの例を示している。このテストチャートは、印刷物の搬送方向に垂直な方向に相当する方向(図の横方向)に延びる複数の色の異なるカラーバーを含んでいる。複数のカラーバーは、搬送方向に相当する方向(図の縦方向)に沿って配列されている。各カラーバーの幅(縦方向における寸法)は小さく、例えば10mmよりも小さい。カラーバーの本数は、例えば30本以上である。これらのカラーバーの色は、例えば印刷機100によって印刷可能な色の大部分が網羅されるように選択され得る。カラーバーの全ての色が異なっている必要はなく、同一の色のカラーバーが含まれていてもよい。
【0127】
印刷機100がインクジェットプリンタである場合、印刷ヘッド120は、例えばCMYKの各色について複数のヘッドを含み得る。各色についての複数のヘッドは、搬送方向に垂直な方向に沿って配列され得る。ヘッドによってインクの吐出具合が異なり得ることから、同じ色でもヘッドの位置によってインクの濃度および広がり具合が異なり得る。そこで、図17Bの例では、ヘッドの配列方向に対応する方向に沿って延びる複数のカラーバーを含むテストチャートが用いられる。このようなテストチャートを用いることにより、ヘッドの配列方向における位置によってそれぞれの色がどのように変化するのかを効果的に学習することができる。
【0128】
図17Aおよび図17Bに例示するテストチャートには、そのテストチャートの種類を示す情報を含む複数の2次元コード70が含まれている。2次元コード70は、例えばQR(Quick Response)コード等の、所定の規則で情報が2次元的な濃淡の情報で表現されたコードである。2次元コード70は、モデルの学習を行う装置においてテストチャートの種類の特定および各色の領域の位置の特定に利用され得る。図17Aおよび図17Bの例においては、複数の2次元コード70が、カラーブロックまたはカラーバーの周囲の所定の位置に配置されている。このように2次元コード70を配置することにより、照合時の位置決めを容易にすることができる。2次元コード70の少なくとも一部は、印刷物の搬送方向に垂直な方向に相当する方向(横方向)に沿って配置され得る。このような2次元コード70は、照合時に目印として機能し、各色の領域の特定を容易にする。2次元コード70は、カラーチャートに含まれる各色の領域の位置を特定するための情報を含み得る。例えば、カラーチャートに設定された座標系における位置座標と、その位置座標における色との対応関係を示す情報が2次元コード70に含まれ得る。図17Aおよび図17Bの例のように、複数の2次元コード70がカラーチャートに含まれる場合、各2次元コード70は、自身の位置座標の情報に加え、その2次元コード70に対応付けられた複数の色の領域の位置座標の情報を含んでいてもよい。そのような情報を参照することにより、処理装置210は、2次元コード70を目印として、各色の領域の位置を特定することができる。これにより、位置決めを容易にし、学習の精度を向上させることができる。
【0129】
なお、2次元コードに代えて、1次元コード(バーコード)がカラーチャートに設けられていてもよい。バーコードを用いた場合であっても同様の機能を実現できる。また、2次元コードおよび1次元コードに代えて、例えば特徴的なマーク、文字、または記号を用いて同様の機能を実現してもよい。
【0130】
図17Cは、テストチャートのさらに他の例を示す図である。このテストチャートは、色の異なる複数のカラーバーを含む。各カラーバーは、搬送方向に垂直な方向に相当する方向(横方向)に沿って明度が連続的に変化する。このようなテストチャートを用いることにより、明度の異なる複数の色の学習を効率的に行うことができる。
【0131】
図17Aから17Cに例示するようなテストチャートは、1種類に限らず、複数種類のテストチャートが用いられてもよい。その場合、例えばテストチャートごとに図16に示すステップS201からS205の動作が繰り返される。テストチャートを用いた学習と、通常の検査対象に近いテスト用データを用いた学習とを組み合わせて、より高精度の画像変換が可能なモデルを生成してもよい。
【0132】
以上のように、本開示は、以下の項目に記載のシステム、装置、方法、およびプログラムを含む。
【0133】
[項目1]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される検査システムであって、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備え、
前記処理装置は、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、
(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記印刷機によって印刷された印刷物を撮影するカメラによって生成されたカメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定する、
検査システム。
【0134】
[項目2]
前記処理装置は、前記第1処理および前記第2処理のいずれを実行するかを、前記識別情報に基づいて選択する、項目1に記載の検査システム。
【0135】
[項目3]
前記処理装置は、(c)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像との照合を行うことによって前記印刷コントローラの正常性を判定する第3処理を実行することが可能であり、
前記第1処理、前記第2処理、および前記第3処理のいずれを実行するかを、前記識別情報に基づいて選択する、
項目1に記載の検査システム。
【0136】
[項目4]
前記パラメータは、フィルタのサイズおよび係数の少なくとも一方を含む、項目1に記載の検査システム。
【0137】
[項目5]
前記識別情報は、前記印刷機の機種を特定する機種情報と、前記印刷機のモードを特定するモード情報とを含む、項目1に記載の検査システム。
【0138】
[項目6]
前記処理装置は、
前記機種情報に基づいて、前記印刷機の機種ごとに異なるデータフォーマットを有する前記モード情報を読み取る、
項目5に記載の検査システム。
【0139】
[項目7]
前記処理装置は、
前記機種情報に基づいて、前記第1処理および前記第2処理のいずれかを選択し、
前記モード情報に基づいて、前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを決定する、
項目5または6に記載の検査システム。
【0140】
[項目8]
前記印刷機のモード情報は、印刷が行われる対象物の種類、前記印刷ヘッドから吐出されるインクの濃さ、印刷速度、色設定、および印刷画質の少なくとも1つに関する情報を含む、項目5または6に記載の検査システム。
【0141】
[項目9]
前記処理装置は、前記印刷機のそれぞれの機種およびそれぞれのモードに適合する前記第1フィルタおよび前記第2フィルタのそれぞれのパラメータを、機械学習を用いて学習する、項目1から6のいずれかに記載の検査システム。
【0142】
[項目10]
前記処理装置は、前記第1フィルタ画像または前記第2フィルタ画像と、前記カメラ画像に空間フィルタリング処理を行って生成した画像とを比較することにより、前記第1フィルタ画像または前記第2フィルタ画像と前記カメラ画像との照合を行う、項目1から6のいずれかに記載の検査システム。
【0143】
[項目11]
前記処理装置は、前記カメラ画像に対して行う前記空間フィルタリング処理において用いるフィルタのパラメータを、前記識別情報に基づいて決定する、項目10に記載の検査システム。
【0144】
[項目12]
前記処理装置は、
前記第1処理において、前記印刷元データに、前記第1空間フィルタリング処理および第1色変換処理を行うことにより、前記第1フィルタ画像を生成し、
前記第2処理において、前記ヘッドデータに、前記第2空間フィルタリング処理および第2色変換処理を行うことにより、前記第2フィルタ画像を生成し、
前記第1色変換処理および前記第2色変換処理のパラメータを、前記識別情報に基づいて決定する、
項目1から6のいずれかに記載の検査システム。
【0145】
[項目13]
前記処理装置は、
前記第1フィルタ画像または前記第2フィルタ画像と、前記カメラ画像に空間フィルタリング処理および色変換処理を行って生成した画像とを比較することにより、前記第1フィルタ画像または前記第2フィルタ画像と前記カメラ画像との照合を行い、
前記カメラ画像に対して行う前記空間フィルタリング処理において用いるフィルタおよびカメラ画像に対して行う前記色変換処理のパラメータを、前記識別情報に基づいて決定する、項目1から6のいずれかに記載の検査システム。
【0146】
[項目14]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられる処理装置であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、
前記識別情報に基づいて、(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行し、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定する、
処理装置。
【0147】
[項目15]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される処理装置であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、
前記印刷元データに適用する第1空間フィルタリング処理に用いられる第1フィルタのパラメータと、前記ヘッドデータに適用する第2空間フィルタリング処理に用いられる第2フィルタのパラメータとを、前記識別情報に基づいて決定し、
前記印刷元データに前記第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記ヘッドデータに前記第2空間フィルタリング処理を行って生成した第2フィルタ画像とを照合し、照合結果を出力する、
処理装置。
【0148】
[項目16]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおける前記処理装置によって実行される検査方法であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
前記識別情報に基づいて、(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1処理、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2処理、のいずれかを実行することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
を含む検査方法。
【0149】
[項目17]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、
前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、
処理装置と、
を備えた検査システムにおいて用いられるプログラムであって、前記処理装置に、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
前記識別情報に基づいて、(a)前記印刷元データに第1フィルタを用いた第1空間フィルタリング処理を行って生成した第1フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第1モード、および(b)前記ヘッドデータに第2フィルタを用いた第2空間フィルタリング処理を行って生成した第2フィルタ画像と前記カメラ画像との照合を行うことによって前記印刷物の良否を判定する第2モード、を含む複数のモードから1つのモードを選択することと、
前記第1フィルタのパラメータおよび前記第2フィルタのパラメータを、前記識別情報に基づいて決定することと、
を実行させるプログラム。
【0150】
[項目18]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と組み合わせて使用される処理装置によって実行される方法であって、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
前記印刷元データに適用する第1空間フィルタリング処理に用いられる第1フィルタのパラメータと、前記ヘッドデータに適用する第2空間フィルタリング処理に用いられる第2フィルタのパラメータとを、前記識別情報に基づいて決定することと、
前記印刷元データに前記第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記ヘッドデータに前記第2空間フィルタリング処理を行って生成した第2フィルタ画像とを照合し、照合結果を出力することと、
を含む方法。
【0151】
[項目19]
入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドと、を備えた印刷機と、処理装置とを備えるシステムにおいて用いられるプログラムであって、前記処理装置に、
前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得することと、
前記印刷元データに適用する第1空間フィルタリング処理に用いられる第1フィルタのパラメータと、前記ヘッドデータに適用する第2空間フィルタリング処理に用いられる第2フィルタのパラメータとを、前記識別情報に基づいて決定することと、
前記印刷元データに前記第1空間フィルタリング処理を行って生成した第1フィルタ画像と、前記ヘッドデータに前記第2空間フィルタリング処理を行って生成した第2フィルタ画像とを照合し、照合結果を出力することと、
を実行させるプログラム。
【産業上の利用可能性】
【0152】
本開示の技術は、印刷物の印刷結果が適正か否かを検査する用途に利用できる。例えば、カラーのバリアブル印刷を行うデジタル印刷機によって印刷された印刷物を検査する用途に好適に利用できる。
【符号の説明】
【0153】
10 用紙
100 印刷機
110 印刷コントローラ
120 印刷ヘッド
130 搬送機
200 検査装置
210 処理装置
212 プロセッサ
214 RAM
216 ROM
220 カメラ
300 コンピュータ
【要約】
【課題】印刷物の検査の精度を向上させる。
【解決手段】検査システムは、入力された印刷元データをヘッドデータに変換する印刷コントローラと、前記ヘッドデータに基づいて印刷を行う印刷ヘッドとを備えた印刷機と組み合わせて使用される。前記検査システムは、前記印刷機によって印刷された印刷物を撮影してカメラ画像を生成するカメラと、前記カメラ画像に基づいて印刷物の良否を判定し、判定結果を出力する処理装置とを備える。前記処理装置は、前記印刷機の機種および前記印刷機のモードの少なくとも一方を特定する識別情報を取得し、前記印刷元データまたは前記ヘッドデータに空間フィルタリング処理を行ってフィルタ画像を生成し、前記フィルタ画像と前記カメラ画像とを照合する。前記処理装置は、前記空間フィルタリング処理において用いるフィルタのパラメータを、前記識別情報に基づいて決定する。
【選択図】図4
図1
図2
図3
図4
図5
図6A
図6B
図7A
図7B
図8
図9A
図9B
図10
図11
図12A
図12B
図13
図14
図15
図16
図17A
図17B
図17C