IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2023-180822画像処理装置、画像処理方法、及びプログラム
<>
  • 特開-画像処理装置、画像処理方法、及びプログラム 図1
  • 特開-画像処理装置、画像処理方法、及びプログラム 図2
  • 特開-画像処理装置、画像処理方法、及びプログラム 図3
  • 特開-画像処理装置、画像処理方法、及びプログラム 図4
  • 特開-画像処理装置、画像処理方法、及びプログラム 図5
  • 特開-画像処理装置、画像処理方法、及びプログラム 図6
  • 特開-画像処理装置、画像処理方法、及びプログラム 図7
  • 特開-画像処理装置、画像処理方法、及びプログラム 図8
  • 特開-画像処理装置、画像処理方法、及びプログラム 図9
  • 特開-画像処理装置、画像処理方法、及びプログラム 図10
  • 特開-画像処理装置、画像処理方法、及びプログラム 図11
  • 特開-画像処理装置、画像処理方法、及びプログラム 図12
  • 特開-画像処理装置、画像処理方法、及びプログラム 図13
  • 特開-画像処理装置、画像処理方法、及びプログラム 図14
  • 特開-画像処理装置、画像処理方法、及びプログラム 図15
  • 特開-画像処理装置、画像処理方法、及びプログラム 図16
  • 特開-画像処理装置、画像処理方法、及びプログラム 図17
  • 特開-画像処理装置、画像処理方法、及びプログラム 図18
  • 特開-画像処理装置、画像処理方法、及びプログラム 図19
  • 特開-画像処理装置、画像処理方法、及びプログラム 図20
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180822
(43)【公開日】2023-12-21
(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム
(51)【国際特許分類】
   H04N 1/00 20060101AFI20231214BHJP
   G06T 3/00 20060101ALI20231214BHJP
   B41J 29/393 20060101ALI20231214BHJP
【FI】
H04N1/00 002A
G06T3/00 750
B41J29/393 105
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022094431
(22)【出願日】2022-06-10
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】三浦 璃子
【テーマコード(参考)】
2C061
5B057
5C062
【Fターム(参考)】
2C061AP07
2C061AQ05
2C061AQ06
2C061AS02
2C061CQ04
2C061CQ24
2C061KK04
2C061KK24
2C061KK28
2C061KK35
5B057AA12
5B057CD01
5C062AA02
5C062AA05
5C062AB02
5C062AB17
5C062AB22
5C062AB42
5C062AC02
5C062AC04
5C062AC22
5C062AC24
5C062AE03
5C062AE07
5C062AE15
5C062AF11
(57)【要約】
【課題】非線形変換による位置合わせの失敗を未然に防ぎ、誤検査の発生を抑制する。
【解決手段】印刷物を読み取って取得した検査画像と参照画像との位置合わせにおいて、線形変換による位置合わせを行った後に、一定の条件を満たす場合にのみ、線形変換による位置合わせを行って得られた検査画像に対し、さらに非線形変換による位置合わせを行う。
【選択図】図14
【特許請求の範囲】
【請求項1】
印刷装置から出力される印刷物を検査するための検査装置であって、
前記印刷物を読み取り生成された検査画像と、前記検査において基準となる参照画像との位置合わせを行う位置合わせ手段と、
を備え、
前記位置合わせ手段は、
前記検査画像に対し、線形変換による位置合わせを行い、
一定の条件を満たす場合、前記線形変換による位置合わせを行って得られた検査画像に対し、非線形変換による位置合わせを行う、
ことを特徴とする検査装置。
【請求項2】
前記一定の条件は、前記参照画像として、前記印刷物の印刷処理に用いる画像データが設定されていることである、ことを特徴とする請求項1に記載の検査装置。
【請求項3】
前記一定の条件は、前記印刷物の印刷処理で使用する用紙に印刷済みのオブジェクトがないことである、ことを特徴とする請求項1に記載の検査装置。
【請求項4】
前記一定の条件は、前記参照画像として前記印刷物の印刷処理のための画像データが設定されており、かつ、前記印刷処理で使用する用紙に印刷済みのオブジェクトがないことである、ことを特徴とする請求項1に記載の検査装置。
【請求項5】
前記一定の条件を満たさない場合、前記非線形変換による位置合わせを行わないことを特徴とする請求項1に記載の検査装置。
【請求項6】
さらに、前記参照画像に基づき、前記位置合わせ手段によって非線形変換による位置合わせを行って得られた検査画像を検査する検査手段を有することを特徴とする請求項1に記載の検査装置。
【請求項7】
前記参照画像として設定されている画像データが、前記印刷物の印刷処理のための画像データであるか、印刷欠陥のない印刷物を読み取って得られた画像データであるかを示す情報を登録する登録手段をさらに備え、
前記位置合わせ手段は、登録された前記情報に基づいて、前記参照画像として前記印刷物の印刷処理のための画像データが設定されているかどうかを判断する、ことを特徴とする請求項2又は4に記載の検査装置。
【請求項8】
前記印刷処理で使用する用紙に印刷済みのオブジェクトがあるか否かを示す情報を登録する登録手段をさらに備え、
前記位置合わせ手段は、登録された前記情報に基づいて、前記印刷処理で使用する用紙に印刷済みのオブジェクトがないかどうかを判断する、ことを特徴とする請求項3又は4に記載の検査装置。
【請求項9】
前記線形変換による位置合わせは、アフィン変換を用いた位置合わせである、ことを特徴とする請求項1に記載の検査装置。
【請求項10】
前記非線形変換による位置合わせは、自由形状変形を用いた位置合わせである、ことを特徴とする請求項1に記載の検査装置。
【請求項11】
印刷装置から出力される印刷物を検査するための検査方法であって、
前記印刷物を読み取り生成された検査画像と、前記検査において基準となる参照画像との位置合わせを行う位置合わせステップと、
を含み、
前記位置合わせステップでは、
前記検査画像に対し、線形変換による位置合わせを行い、
一定の条件を満たす場合、前記線形変換による位置合わせを行って得られた検査画像に対し、非線形変換による位置合わせを行う、
ことを特徴とする検査方法。
【請求項12】
コンピュータに、請求項11に記載の検査方法を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、印刷物の検査技術に関する。
【背景技術】
【0002】
印刷装置から出力される印刷物において、インクやトナー等の色材が意図しない箇所に付着する等の汚れが発生する場合がある。或いは、画像を形成すべき箇所に十分な色材が付着せず、本来よりも色が薄くなってしまう色抜けが発生する場合がある。こうした汚れや色抜けといった、いわゆる印刷欠陥は、印刷物の品質を低下させる。印刷物の品質を保証するために、印刷欠陥の検査が行われている。
【0003】
印刷欠陥の有無を検査員が目視にて検査する目視検査は、多くの時間とコストを必要とするため、目視に頼らずに、自動で検査を行う検査システムが提案されている。検査システムには、検査対象の印刷物をスキャナで読み取って得たスキャン画像(検査画像)と検査基準として予め登録した画像(参照画像)とを比較し、2つの画像の差分に基づいて印刷欠陥の有無を検査する方法がある。このような画像同士を比較することによる検査方法の場合、2つの画像の位置合わせが検査の精度に大きく影響を与えるため、位置合わせを高精度に行うことが重要となる。一般的な位置合わせ技術として、アフィン変換等を用いる線形変換による位置合わせが知られている。しかしながら、線形変換による位置合わせでは、搬送ムラや紙の伸びに起因した局所的な歪み(部分倍率変動)に対応できず位置合わせ精度が低下するという問題がある。この点、局所的な歪みが異なる2つの画像を位置合わせする技術として、例えばFFD(Free-Form Deformations)に代表される非線形変換による位置合わせ技術がある。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2014-117841号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
FFDでは、画像中に複数の制御点を配置し、参照画像と検査画像とで対応する制御点を探索して、対応する制御点間のずれ量が最小となるように画像を変形させる。ここで、例えば検査画像が参照画像に存在しない文字や図形を含んでいるなど、画像内のオブジェクトが検査画像と参照画像とで一致しない場合には、対応する制御点の判断を誤ってしまうことが起こる。そうすると、実際には対応していない制御点間のずれ量が最小となるように画像を変形させてしまうことになる。その結果、両画像間で位置が合っていない状態で検査が実施されることになり、印刷欠陥が誤って検出される誤検査が起きるという問題があった。
【0006】
本開示は係る点に鑑みてなされたものであり、非線形変換による位置合わせの失敗を未然に防ぎ、誤検査の発生を抑制することを目的とする。
【課題を解決するための手段】
【0007】
本開示に係る検査装置は、印刷装置から出力される印刷物を検査するための検査装置であって、前記印刷物を読み取り生成された検査画像と、前記検査において基準となる参照画像との位置合わせを行う位置合わせ手段と、を備え、前記位置合わせ手段は、前記検査画像に対し、線形変換による位置合わせを行い、一定の条件を満たす場合、前記線形変換による位置合わせを行って得られた検査画像に対し、非線形変換による位置合わせを行う、ことを特徴とする。
【発明の効果】
【0008】
本開示によれば、非線形変換による位置合わせの失敗を未然に防ぎ、誤検査の発生を抑制することができる。
【図面の簡単な説明】
【0009】
図1】検査システムの構成の一例を示す図。
図2】画像処理部118の内部構成を示す機能ブロック図。
図3】用紙情報を登録するためのUI画面の一例を示す図。
図4】用紙に印刷済みオブジェクトが存在する場合の印刷処理の過程を説明する模式図。
図5】制御点の対応付けに失敗した場合の一例を示す図。
図6】用紙に印刷済みオブジェクトが存在しない場合の印刷処理の過程を説明する模式図。
図7】検査処理の手順を示すフローチャート。
図8】歪み情報生成処理の詳細を示すフローチャート。
図9】歪み補正用チャートの一例を示す図。
図10】歪み情報の一例を示す図。
図11】欠陥検出処理の詳細を示すフローチャート。
図12】(a)及び(b)は、フィルタを表す図。
図13】検査結果を表示するUI画面の一例を示す図。
図14】実施形態1に係る、位置合わせ処理の詳細を示すフローチャート。
図15】(a)及び(b)は、位置合わせにおける特徴点を説明する図。
図16】制御点を格子状に配置した場合の一例を示す図。
図17】(a)及び(b)は、バリアブル印刷時の参照画像がスキャンデータである場合とRIPデータである場合の違いを説明する図。
図18】参照画像情報を登録するためのUI画面の一例を示す図。
図19】実施形態2に係る、位置合わせ処理の詳細を示すフローチャート。
図20】実施形態3に係る、位置合わせ処理の詳細を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成要素には同一の参照番号を付して、説明を省略する。
【実施形態1】
【0011】
<システム全体の構成>
図1は、本実施形態に係る検査システムの構成の一例を示す図である。図1に示す検査システム100は、サーバ101、印刷装置102及び検査装置105を備える。検査システム100では、サーバ101が生成した印刷ジョブに基づいて印刷装置102が印刷処理を行って印刷物を出力し、検査装置105が当該印刷物の欠陥の有無を検査する。
【0012】
サーバ101は、印刷ジョブを生成し、生成した印刷ジョブを印刷装置102へ送信する。サーバ101には、不図示のクライアント端末がネットワークを介して通信可能に接続されている。サーバ101は、クライアント端末から印刷ジョブの生成依頼等を受けて印刷ジョブを生成し印刷装置102に投入する。
【0013】
印刷装置102は、サーバ101から受信した印刷ジョブに基づいて用紙上に画像を形成する印刷処理を行う。なお、印刷方式として本実施形態では電子写真方式を用いる場合を想定しているが、オフセット印刷方式やインクジェット方式等の他の印刷方式を用いる構成であってもよい。印刷装置102は、給紙部103を備える。給紙部103には、ユーザによって、目的に応じた用紙が予めセットされている。なお、本明細書において「用紙」は、プラスチックシートなども含む概念であり、狭義の紙に限定されるものではない。印刷装置102は、サーバ101から受信した印刷ジョブに基づいて、給紙部103にセットされた用紙を搬送路104に沿って搬送し、当該用紙の片面又は両面に画像を形成し、画像が形成された用紙(すなわち、印刷物)を検査装置105へ出力する。
【0014】
検査装置105は、CPU106、RAM107、ROM108、主記憶部109、画像読取部110、印刷装置I/F111、汎用I/F112、UIパネル113及び画像処理部118を備え、これらはメインバス114を介して互いに接続されている。また、検査装置105は、印刷装置102の搬送路104と接続された搬送路115、出力トレイ116、及び出力トレイ117を備える。
【0015】
CPU106は、検査装置105全体を制御するプロセッサである。RAM107は、CPU106の主メモリやワークエリア等として機能する。ROM108は、CPU106によって実行される複数のプログラムを格納する。主記憶部109は、CPU106によって実行されるアプリケーションや、画像処理に用いられるデータ等を記憶する。画像読取部110は、印刷装置102から出力された検査対象となる印刷物の片面又は両面を光学的に読み取るスキャン処理を行って当該印刷物のスキャン画像を生成する。例えば、搬送路115の近傍に設けられた1以上の読取センサ(不図示)を用いて、搬送される印刷物の片面又は両面を読み取る。当該読取センサは、片面側のみに設けられてもよいし、両面を同時に読み取るために、搬送される印刷物の表面側と裏面側の両側に設けられてもよい。読取センサが印刷物の片面側のみに設けられる構成では、一方の面を読み取った印刷物を搬送路115における不図示の両面搬送路に搬送して当該印刷物の表裏を反転させて上記読取センサが他方の面を読み取る。
【0016】
画像処理部118は、画像読取部110で生成した検査対象となる印刷物をスキャンして得られた画像(以下、「検査画像」と呼ぶ。)と、検査において基準となる予め登録された画像(以下、「参照画像」と呼ぶ。)とを比較して印刷欠陥の有無を検査する。また、検査に先立って、検査画像と参照画像との位置合わせも行う。なお、参照画像は「正解画像」と呼ばれる場合もある。画像処理部118の詳細については後述する。
【0017】
印刷装置I/F111は、印刷装置102から出力される印刷物を処理するタイミングを調整(同期処理)したり、互いの稼働状況を通知し合ったりする。汎用I/F112は、USBやIEEE1394等のシリアルバスインタフェースである。例えば、汎用I/F112にUSBメモリを接続することで、主記憶部109に格納されたログ等のデータをUSBメモリに書き込んで持ち出したり、USBメモリに格納されたデータを検査装置105に取り込んだりすることができる。UIパネル113は、例えば、タッチパネル機能を有する液晶ディスプレイ(表示部)である。UIパネル113は、検査装置105のユーザインタフェースとして機能し、現在の状況や設定を表示してユーザに伝える。また、ユーザは、液晶ディスプレイ上に表示されたボタンを直接操作することにより様々な指示を入力することができる。
【0018】
<検査装置の概要>
印刷装置102の搬送路104から出力された印刷物を受け取った検査装置105は、画像読取部110にて印刷物を読み取って当該印刷物のスキャン画像を生成する。画像読取部110で生成されたスキャン画像が歪み補正用チャートのスキャン画像の場合、画像処理部118にて当該チャートのスキャン画像(以下、「チャート画像」と呼ぶ。)と、当該チャートの基準となる参照画像とを比較して、非線形変換による位置合わせで用いる歪み情報を生成する。一方、画像読取部110で生成されたスキャン画像が検査対象となる印刷物のスキャン画像(検査画像)の場合、画像処理部118は、検査画像と参照画像とを比較して得られる差分に基づき印刷欠陥の有無を検査する。ここで、参照画像に印刷処理で使用するRIPデータを用いるRIP検査方式と、製品見本等をスキャンして得たスキャンデータを用いるスキャン検査方式とがあるが、本実施形態ではRIP検査方式を前提として説明を行うこととする。印刷欠陥には、インクやトナー等の色材が意図しない箇所に付着する汚れや、画像形成すべき箇所に十分な色材が付着せずに本来よりも色が薄くなってしまう色抜け等が含まれ、いずれも印刷物の品質を低下させるものである。検査装置105は、検査に合格した印刷物を出力トレイ116へ出力し、検査に合格しなかった印刷物を出力トレイ117へ出力する。このようにして、一定の品質が保証された印刷物のみを納品用の成果物として出力トレイ116に集めることができる。
【0019】
<画像処理部118の詳細>
図2は、画像処理部118の内部構成(ソフトウェア構成)を示す機能ブロック図である。画像処理部118は、画像の取得、検査項目の選択、歪み情報の生成、画像の位置合わせ、位置合わせ時の動作モード決定、検査パラメータの設定、検査の実行、検査結果の出力をそれぞれ担当するソフトウェアモジュール201~208を備える。これら各モジュールにおける機能は、CPU106がROM108に格納されるプログラムをRAM107に読み出して実行することによって実現される。
【0020】
画像取得モジュール201は、画像読取部110から検査画像またはチャート画像を取得する。また、画像取得モジュール201は、予め登録された参照画像をRAM107又は主記憶部109から取得する。
【0021】
検査項目設定モジュール202は、UIパネル113に表示された不図示の検査設定用UI画面を介したユーザ選択に基づいて、どの種類の印刷欠陥を検査するのか、検査項目を設定する。検査設定用UI画面では、印刷に使用する用紙の種類、用紙サイズ、両面印刷か片面印刷かの選択に加え、検査したい印刷欠陥の種類も選択可能になっている。検査項目設定モジュール202は、検査モジュール207が実行可能な複数種類の欠陥検出処理の中から、選択された種類の印刷欠陥を検出可能な欠陥検出処理を、実行対象に設定する。検出可能な印刷欠陥の種類としては、例えば、点形状(ポチ)の欠陥や線形状(スジ)の欠陥、面形状の欠陥、画像ムラ等が含まれる。
【0022】
モード決定モジュール204は、使用する用紙に予め何らかの文字や図形(オブジェクト)が印刷済みであるかどうかを示す用紙情報に基づいて、位置合わせ処理の動作モードを決定する。用紙情報は、UIパネル113に表示された図3に示すようなUI画面を介したユーザ選択に従って登録される。図3に示すUI画面300では、用紙に例えば会社のロゴ等の文字や図形が印刷済みである場合に選択するボタン301とそのような印刷済みのオブジェクトが存在しない場合(白紙の場合)に選択するボタン302の2種のラジオボタンを備える。ここで、用紙に印刷済みオブジェクトが存在する場合と存在しない場合とについて具体例を用いて説明する。
【0023】
図4は、用紙に印刷済みオブジェクトが存在する場合の、印刷処理の過程を説明する模式図である。図4において、画像401は印刷ジョブに含まれるPDL(Page Description Language)をRIP(Raster Image Processor)で解釈して得られたラスタ形式の画像データである。以下、この画像データを「RIPデータ」と表記する。いま、用紙402には郵便番号枠402aが予め印刷されており、この用紙402に対し画像401を用いて印刷処理を行った結果、印刷物403が得られる。画像404は印刷物403を読み取って得られたスキャン画像である。RIP検査方式の本実施形態の場合、検査に先立って、参照画像としての画像401と検査画像としてのスキャン画像404との間で位置合わせを行う。いま、参照画像401には、太陽、人物の顔、雲の3つの絵柄のオブジェクト401a~401cが存在するが、郵便番号枠402aに対応するオブジェクトは存在しない。そのため、参照画像401と検査画像404を対象とした自由形状変形(FFD:Free-Form Deformations)において、同一オブジェクトの人物の顔401bと404bとの間で制御点を適切に対応付けられないということが起こり得る。図5は、参照画像401内の人物の顔401bと検査画像404内の郵便番号枠404dとの間で誤って制御点を対応付けてしまった場合のFFDの結果を示しており、人物の顔が歪んでしまっているのが分かる。このように、異なったオブジェクト間で制御点を対応付けてしまうと、FFDによる位置合わせに失敗することになる。
【0024】
図6は、用紙に印刷済みオブジェクトが存在しない場合の、印刷過程を説明する模式図である。図6において、画像601は印刷ジョブに含まれるPDLを解釈して得られたラスタ形式の画像であり、上述の図4における画像401と同じである。いま、用紙602には何も印刷されておらず白紙である。この用紙602に対し画像601を用いて印刷処理を行った結果、印刷物603が得られる。画像604は印刷物603を読み取って得られたスキャン画像である。RIP検査方式の場合、上述のとおり、画像601を参照画像として、検査画像としてのスキャン画像604との間で位置合わせを行うことになる。いま、用紙602は白紙なので、参照画像601には、太陽、人物の顔、雲の3つのオブジェクト601a~601cが存在し、検査画像604においても同様に、太陽、人物の顔、雲の3つのオブジェクト604a~604cが存在している。つまり、両画像間でオブジェクトは完全に一致している。そのため、異なるオブジェクト間で誤って制御点を対応付けるということが起こり得ず、FFDによる位置合わせに失敗する可能性が少ない。
【0025】
以上の事実を踏まえ本実施形態では、用紙に印刷済みのオブジェクトが存在するか否かを示す、ユーザ登録に係る用紙情報に基づいて、位置合わせ処理においてFFDを行うかどうかを決定する。すなわち、用紙情報が、用紙に印刷済みオブジェクトが存在しないことを示す場合にはFFDを行う動作モードに決定し、用紙に印刷済みオブジェクトが存在することを示す場合にはFFDを行わない動作モードに決定する。なお、前述の図3に示すUI画面はあくまで一例であり、これに限定されない。例えば、プルダウンメニューから選択するなど、用紙に印刷済みのオブジェクトがあるかどうかを示す情報をユーザが選択・登録できるようなUI画面であればよい。
【0026】
位置合わせモジュール205は、モード決定モジュール204で決定された位置合わせ処理の動作モードに従って、検査画像と参照画像との位置合わせ処理を実行する。位置合わせ処理の詳細については後述する。
【0027】
パラメータ設定モジュール206は、検査項目設定モジュール202にて設定された検査項目に応じたパラメータを設定する。この場合のパラメータは、ユーザが選択した種類の印刷欠陥を強調するためのフィルタ、印刷欠陥を判別するための閾値などである。
【0028】
検査モジュール207は、検査項目設定モジュール202にて設定された検査項目についての欠陥検出処理を実行する。検査結果出力モジュール208は、検査モジュール207が実行した欠陥検出処理の結果をUIパネル113に表示させる。
【0029】
<検査処理の流れ>
図7は、画像処理部118によって実行される検査処理の手順を示すフローチャートである。図7のフローチャートに示す一連の処理は、CPU106がROM108に格納されたプログラムをRAM107に読み出して実行することによって実現される。なお、以下の説明において記号「S」はステップを意味する。
【0030】
S701では、準備処理が実行される。具体的には、ユーザ選択に基づく検査項目の設定、設定された検査項目に対応するパラメータの設定、登録された用紙情報に基づく位置合わせ時の動作モードの決定が、それぞれ担当のソフトウェアモジュール202、206、204によって行われる。
【0031】
S702では、歪み情報生成モジュール203が、歪み情報生成処理を実行する。図8は、歪み情報生成処理の詳細を示すフローチャートである。以下、図8のフローに沿って詳しく説明する。
【0032】
≪歪み情報生成処理≫
S801では、検査対象となる印刷物に関する印刷設定、すなわち、使用する用紙の種類、用紙サイズ、両面/片面印刷の指定といった印刷処理に関する設定情報が取得される。
【0033】
次のS802では、歪み補正用のチャートの印刷データが、取得した印刷設定に含まれる用紙サイズの情報に基づいて生成される。図9は、歪み補正用チャートの一例を示す図である。図9に示すチャート901の全面にはマーク902が格子状に配置されている。マーク902同士の間隔を小さくすることで、より正確な歪み情報を得ることができる。マーク902の数は、用紙サイズに応じて変更してもよい。また、図9に示すチャート901ではマークの形状として十字を用いているが、例えば正方形などでもよい。そして、S803では、S802で生成したチャートの印刷データに含まれるPDLに基づき、チャートの参照画像が生成される。
【0034】
次のS804では、S803で生成したチャートの参照画像が印刷装置I/F111を介して印刷装置102に送信され、当該参照画像に基づく印刷処理が実行されて、チャートの印刷物が得られる。そして、S805では、S804にて得たチャートの印刷物を画像読取部110が読み取って、チャートのスキャン画像が生成される。
【0035】
次いで、S806では、S803にて生成したチャートの参照画像からマーク位置を検出する処理が行われる。マーク位置の検出方法は特に限定されないが、例えばテンプレートマッチングによりマークの画素領域を抽出し、その画素領域の重心を算出してマーク位置とする方法などがある。このとき、各マークの識別が可能なように、マークの位置に基づいて、そのマークが用紙の左上からj行i列目であるといったインデックスを同時に求めておく。
【0036】
次いで、S807では、S805にて生成したチャートのスキャン画像に対して線形変換による参照画像への位置合わせが行われる。線形変換による位置合わせとしては、例えば、マーク位置のユークリッド距離の総和が最小になるようなアフィン行列を算出してアフィン変換を行う手法が挙げられる。アフィン変換は、画像全体を回転・平行移動・拡大縮小・剪断する変形であるため、画像内の局所的な歪みを保ったまま、チャートのスキャン画像を参照画像へ位置合わせすることができる。
【0037】
次いで、S808では、S807にて位置合わせが施されたチャートのスキャン画像から、S806と同様の方法でマーク位置の検出が行われる。そして、S809では、S806で検出した参照画像におけるマーク位置及びS808で検出したスキャン画像におけるマーク位置を、各マークのインデックスと紐づけた歪み情報が生成される。図10は、テーブル形式の歪み情報の一例を示す図であり、参照画像とスキャン画像それぞれにおける各マークの位置を示す座標情報(x,y)が記載されている。図10の例では、1行3列目のマークがx方向にずれている(歪みがある)ことになる。以上が、歪み情報生成処理の内容である。図7のフローチャートの説明に戻る。
【0038】
S703では、画像取得モジュール201が、予め登録されたRIPデータの参照画像をRAM107又は主記憶部109から取得する。この参照画像の登録は、検査処理の実行開始に先立って行われ、印刷ジョブと対応付けられている。RIP検査方式における参照画像の登録は、例えば、サーバ101から送信された印刷ジョブに含まれるPDLを解釈して得られたラスタ形式の画像データを、印刷装置I/F111を通して取り込み、RAM107又は主記憶部109に記憶することで行う。
【0039】
S704では、画像取得モジュール201が、印刷装置102から出力された印刷物を画像読取部110で読み取って生成した検査画像を取得する。なお、検査画像の取得は、搬送されてくる印刷物に対して画像読取部110における読み取り動作を同期させて順次取得してもよいし、予め読み取って主記憶部109に保持しておいた検査画像を取得してもよい。
【0040】
S705では、位置合わせモジュール205が、S703にて取得された参照画像とS704にて取得された検査画像との位置合わせ処理を行う。この位置合わせ処理の詳細については後述する。
【0041】
S706では、S701の準備処理にて設定された検査項目の中から、実行対象の検査項目が決定される。ここで、複数の検査項目が設定されていた場合には、例えば優先的に実行することが予め登録されている検査項目や、ユーザが最初に選択した印刷欠陥の種類に対応する検査項目から順に、実行対象の検査項目として決定される。
【0042】
S707では、検査モジュール207が、S706にて実行対象に決定された検査項目についての欠陥検出処理を実行する。図11は、欠陥検出処理の詳細を示すフローチャートである。以下、図11のフローに沿って詳しく説明する。
【0043】
≪欠陥検出処理≫
S1101では、位置合わせされた検査画像と参照画像との違いを示す差分画像が生成される。差分画像は、例えば、位置合わせされた検査画像と参照画像との間で対応する画素同士を比較し、画素値(例えば、RGB毎の濃度値)の差分値を画素毎に取得することで得ることができる。差分を求める方法は、実行対象の検査項目に応じて変更してもよい。
【0044】
次いで、S1102では、生成された差分画像に対し、特定の形状を強調するためのフィルタ処理が実行される。例えば、図12(a)は、点状の欠陥を強調するためのフィルタを表す図であり、図12(b)は線状の欠陥を強調するためのフィルタを表す図である。これらのフィルタは、実行対象の検査項目に応じて変更される。
【0045】
次いで、S1103では、フィルタ処理が施された差分画像に対し、二値化処理が実行される。これにより、差分画像を構成する各画素の画素値(差分値)が、所定の閾値を超える場合は当該画素に「1」を付与し、閾値以下の場合は当該画素に「0」を付与して得られる画像(以下、「差分二値画像」と呼ぶ。)が生成される。
【0046】
次いで、S1104では、差分二値化画像を構成する各画素のうち「1」が付与された画素の数が、所定の数を超えている否かが判定される。所定数を超えていればS1105に進む。一方、所定数を超えていなければ、検査項目について有意な欠陥はないと判断し、本処理を抜ける。
【0047】
S1105では、検出した欠陥に関する情報が保存される。具体的には、検査項目(印刷欠陥の種類)と、検出した欠陥の位置(画像内の位置座標)とを対応付けてRAM107や主記憶部109に記憶する。その後、欠陥検出処理は終了する。以上が、欠陥検出処理の内容である。図7のフローチャートの説明に戻る。
【0048】
S708では、S701の準備処理にて設定されたすべての検査項目について欠陥検出処理が実行されたか否かが判定される。全ての検査項目について欠陥検出処理が完了していればS709に進む。一方、未処理の検査項目があればS706に戻って次の実行対象の検査項目を決定して処理が続行される。
【0049】
S709では、検査結果出力モジュール208が、S701の準備処理にて設定されたすべての検査項目についての検査結果をUIパネル113に表示する。図13は、検査結果を表示するUI画面の一例である。結果表示画面1301には、欠陥検出処理の対象となった検査画像1302が表示される。例えば、点状欠陥であると判別された欠陥1303の近傍には、「点状欠陥」の文字が表示される。また、線状欠陥であると判別された欠陥1304の近傍には「線状欠陥」の文字が表示される。また、検査画像1302における各欠陥の座標1305及び1306も表示される。なお、図13に示す検査結果の表示方法は一例であり、例えば、欠陥の種類毎に異なる色で表示する等、設定された検査項目毎の結果をユーザが認識可能な表示方法であればよい。検査結果の表示を終えると、検査処理は終了する。
【0050】
以上が、画像処理部118によって実行される検査処理の内容である。
【0051】
<位置合わせ処理の詳細>
図14は、本実施形態に係る、前述のS705の位置合わせ処理の詳細を示すフローチャートである。この位置合わせ処理の目的は、参照画像と検査画像との位置ずれを抑制し、両画像間の差分を検出する際の精度を向上させることである。本実施形態では、線形変換による位置合わせを適用後に、さらに非線形変換による位置合わせを適用するか否かを、用紙に印刷済みオブジェクトが存在するかどうかによって切り替える。
【0052】
S1401では、検査画像に対し、線形変換による位置合わせが行われる。線形変換による位置合わせには、例えば前述の歪み情報生成処理のS807と同様、アフィン変換を用いる。図15(a)は、用紙の輪郭を特徴点とする場合の模式図である。特徴点として用紙の輪郭を用いる場合、輪郭の取得は公知のエッジ検出手法(例えば、キャニー法)を基に、画像1501の検査対象範囲1502の最外郭のエッジを抽出し、エッジの交点1503を特徴点とする。図15(b)は、位置合わせ用のマーカーを特徴点とする場合の模式図である。画像1511において検査対象範囲1512に輪郭が存在せず、検査対象外範囲1513に輪郭が存在している。このため、エッジの交点を検出できないので、オブジェクトが存在しない場所に位置合わせ用マーカー1514を配置し、当該マーカーの位置を特徴点とする。なお、ここで説明した特徴点は一例であって、例えば、画像内でエッジ検出を実施し、検出されたエッジの中から特徴点を設定してよい。また、特徴点として、用紙の輪郭と画像のエッジ情報を組わせてもよい。
【0053】
線形変換による位置合わせが終了すると、S1402では、モード決定モジュール204が用紙情報に基づいて、非線形変換による位置合わせ処理を続けて行うか否かを決定する。具体的には、ユーザが登録した用紙情報が、用紙には印刷済みオブジェクトがないことを示していれば、非線形変換による位置合わせを行わない動作モードに決定して、本処理を抜ける。一方、ユーザが登録した用紙情報が、用紙には印刷済みオブジェクトがあることを示していれば、非線形変換による位置合わせを行う動作モードに決定して、S1403に進む。ここで、非線形変換による位置合わせについて確認しておく。非線形変換による位置合わせは局所的な歪みを補正することが可能で、FFDの他にも、例えば薄板スプライン(TPS)、ランドマークLDDMM法などがある。ここではFFDの場合を例に、制御点の調整を複数回に分けて実施する方法について述べる。
【0054】
S1403では、S1401にて線形変換による位置合わせが施された検査画像に対し、さらにFFDによる位置合わせが行われる。FFDの具体的な流れは以下のとおりである。まず、前述のS702にて生成・保存された歪み情報が読み込まれ、当該歪み情報に基づいて制御点が配置される。図16は、検査画像I上に縦横L×M個の制御点を格子状に配置した場合の一例を示す図である。図16において、l行m列目の制御点の座標をpm,l(l=1,..,L, m=1,..,M)で表している。この場合において、配置する制御点の数を前述のチャート(図9を参照)におけるマークの数より多くすることで歪み補正の精度をより高めることができる。各制御点の位置は、例えば最小二乗法により解析的に決定される。具体的には、チャート画像とその参照画像間のマーク位置の対応を、検査画像とその参照画像間の特徴点の対応として捉え、チャートに対し後述する式(1)による変形を行ったときにマーク位置のずれを最小とするような制御点座標を求めて配置する。次に、以下の式(1)を用いて、アフィン変換後の検査画像Iを変形して、第1の歪み補正画像I’を生成する。
【0055】
【数1】
【0056】
上記式(1)において、w(x,y)は、下記式(2)で表され、アフィン変換後の検査画像Iにおける座標(x,y)の歪み補正後の座標を算出するための式である。
【0057】
【数2】
【0058】
上記式(2)における基底B(t)、B(t)、B(t)、B(t)は、それぞれ下記式(3)~下記式(6)で表される。また、u、vは、それぞれ下記式(7)及び式(8)で表される。また、δx、δyは、それぞれ下記式(9)及び式(10)で表される。ただし、H、Wは、それぞれ画像の縦サイズ、横サイズとする。
【0059】
【数3】
【0060】
【数4】
【0061】
【数5】
【0062】
【数6】
【0063】
【数7】
【0064】
【数8】
【0065】
【数9】
【0066】
【数10】
【0067】
続いて、第1の歪み補正画像I’に対して制御点の配置を行って、第2の歪み補正画像I”を生成する。この際、縦横L’×M’個の制御点が格子状に配置されるが、2回目の歪み補正では、最初の歪み補正で補正しきれなかった歪みを補正するという目的があるため、より細かく制御点を配置すること(すなわち、L×M個<L’×M’個)が望ましい。そして、配置した制御点の位置を更新しながら、上述の式(1)を用いて画素の更新を行なう。画素の更新では、以下の式(11)に示す第2の歪み補正画像I”と参照画像Tの距離dを求め、当該距離dが予め設定された閾値以下になると、画素の更新の完了となる。
【0068】
【数11】
【0069】
こうして、第2の歪み補正画像I”が出来上がると、FFDの終了となる。
【0070】
以上が、本実施形態に係る、位置合わせ処理の内容である。なお、図7のフローでは、検査処理の実行のたびに歪み情報の生成を行っているが、生成した歪み情報を主記憶部109等に保持しておき次回以降にそれを読み出すようにしてもよい。印刷設定が以前と同じである場合、保持しておいた歪み情報を再利用することでチャートを印刷するコストを削減することができる。
【0071】
本実施形態によれば、検査に先立つ画像間の位置合わせにおいて、用紙に印刷済みオブジェクトがある場合は線形変換による位置合わせだけを行い、非線形変換による位置合わせについては行わないように制御する。そして、用紙に印刷済みオブジェクトがない場合は線形変換による位置合わせに続いて非線形変換による位置合わせも行うように制御する。これにより、一定条件下で起こる非線形変換による位置合わせの失敗を未然に防いで誤検査の発生を抑制することが可能となる。
【実施形態2】
【0072】
実施形態1では、用紙に印刷済みのオブジェクトが存在するか否かによって、線形変換による位置合わせに続けて非線形変換による位置合わせを行うかどうかを決定していた。ところで、前述のとおり検査方式には、RIP検査方式とは別に、製品見本や目視検査で合格した印刷物のスキャンデータを参照画像として用いるスキャン検査方式もある。次に、参照画像のデータ種別がRIPデータであるかスキャンデータであるかによって、線形変換による位置合わせに続けて非線形変換による位置合わせを行うかどうかを決定する態様を、実施形態2として説明する。なお、システム構成など実施形態1と共通する内容についてはその説明を省略し、以下では差異点を中心に説明を行うこととする。
【0073】
<本実施形態の考え方>
例えばダイレクトメールの宛名や住所などを一部毎に異なるデータ(一般に「バリアブルデータ」と呼ばれる。)を、印刷対象の画像データに順次差し込んで処理する「バリアブル印刷」と呼ばれる印刷方式がある。図17の(a)及び(b)は、このバリアブル印刷方式の場合において、参照画像がスキャンデータである場合とRIPデータである場合の違いを説明する図である。ただし、用紙は白紙であるものとする。
【0074】
参照画像がスキャンデータの場合、図17(a)に示すように、参照画像1701は印刷部数の全部に共通の参照画像として扱われる。そのため、バリアブルデータとしての「住所」を表す文字列が、参照画像1701におけるそれと一致しない検査画像1702が必ず出現することになる。このように、バリアブル印刷の印刷物をスキャン検査方式で検査する場合、バリアブルデータに対応する文字や数字が、参照画像と検査画像とで一致しないという状況が起こる。一方、参照画像がRIPデータの場合、図17(b)に示すように、バリアブルデータに応じて、印刷部数に応じた分の参照画像1711が用意される。つまり、常に対応関係にある参照画像1711と検査画像1712とを比べることになるので、バリアブルデータとしての「住所」を表す文字列が、両画像間で常に一致することになる。このように、バリアブル印刷の印刷物をRIP検査方式で検査する場合は、バリアブルデータに対応した印刷部数分の参照画像が用意されるため、参照画像に含まれるオブジェクトと検査画像に含まれるオブジェクトとの不一致は起こらない。
【0075】
以上のとおり、バリアブル印刷による印刷物の検査では、RIP検査方式では参照画像と検査画像との間でオブジェクトの不一致は起きないが、スキャン検査方式の場合はオブジェクトの不一致が起きてしまう。そこで、本実施形態では、参照画像のデータ種別がスキャンデータなのかRIPデータなのかによって、位置合わせの動作モードを決定する。具体的には、モード決定モジュール204は、参照画像として登録されている画像データが、スキャンデータであるのかRIPデータであるのかを示す参照画像情報に基づいて、位置合わせ処理における動作モードを決定する。参照画像情報は、UIパネル113に表示された図18に示すようなUI画面を介したユーザ選択に従って登録される。図18に示すUI画面1800では、スキャンデータを参照画像とする場合に選択するボタン1801とRIPデータを参照画像とする場合に選択するボタン1802の2種のラジオボタンを備える。本実施形態のモード決定モジュール204は、参照画像情報がスキャンデータを示す場合は非線形変換による位置合わせを行わず、RIPデータを示す場合は非線形変換による位置合わせを行うように制御する。なお、図18に示すUI画面はあくまで一例であり、これに限定されない。例えば、プルダウンメニューから選択するなど、参照画像がスキャンデータなのかRIPデータなのかをユーザが選択・登録できるようなUI画面であればよい。
【0076】
<位置合わせ処理の詳細>
図19は、本実施形態に係る、位置合わせ処理の詳細を示すフローチャートである。
【0077】
S1901では、検査画像に対し、線形変換による位置合わせが行われる。線形変換による位置合わせの詳細については、図14のフローにおけるS1401と同じであるので説明を省く。
【0078】
線形変換による位置合わせが終了すると、S1902では、モード決定モジュール204が参照画像情報に基づいて、非線形変換による位置合わせ処理を続けて行うか否かを決定する。参照画像情報が、スキャンデータであることを示していれば、非線形変換による位置合わせを行わない動作モードに決定して、本処理を抜ける。一方、参照画像情報が、RIPデータであることを示していれば、非線形変換による位置合わせを行う動作モードに決定して、S1903に進む。
【0079】
S1903では、S1901にて線形変換による位置合わせが施された検査画像に対し、さらに非線形変換による位置合わせが行われる。非線形変換による位置合わせの詳細については、図14のフローにおけるS1403と同じであるので説明を省く。
【0080】
以上が、本実施形態に係る、位置合わせ処理の内容である。
【0081】
本実施形態によれば、検査に先立つ画像間の位置合わせにおいて、参照画像がスキャンデータである場合は線形変換による位置合わせだけを行い、非線形変換による位置合わせについては行わないように制御する。これにより、バリアブル印刷時において一定条件下で起こる非線形変換による位置合わせの失敗を未然に防ぎ、誤検査の発生を抑制することが可能となる。
【実施形態3】
【0082】
前述の実施形態1及び2は組み合わせることも可能である。なお、システム構成など実施形態1及び2と共通する内容についてはその説明を省略し、以下では差異点である位置合わせ処理について説明を行うこととする。図20は、本実施形態に係る位置合わせ処理の詳細を示すフローチャートである。
【0083】
S2001では、検査画像に対し、線形変換による位置合わせが行われる。線形変換による位置合わせの詳細については、図14のフローにおけるS1401と同じであるので説明を省く。
【0084】
線形変換による位置合わせが終了すると、S2002では、図19のフローのS1902と同様、モード決定モジュール204が参照画像情報に基づいて、次の処理の振り分けを行う。参照画像情報がスキャンデータであることを示していれば、非線形変換による位置合わせを行わない動作モードに決定して、本処理を抜ける。一方、参照画像情報がRIPデータであることを示していればS2003に進む。
【0085】
S2003では、図14のフローのS1402と同様、モード決定モジュール204が用紙情報に基づいて、非線形変換による位置合わせ処理を続けて行うか否かを決定する。具体的には、用紙情報が用紙には印刷済みオブジェクトがないことを示していれば、非線形変換による位置合わせを行わない動作モードに決定して、本処理を抜ける。一方、用紙情報が用紙には印刷済みオブジェクトがあることを示していれば、非線形変換による位置合わせを行わない動作モードに決定して、本処理を抜ける。
【0086】
S2004では、S2001にて線形変換による位置合わせが施された検査画像に対し、さらに非線形変換による位置合わせが行われる。非線形変換による位置合わせの詳細については、図14のフローにおけるS1403と同じであるので説明を省く。
【0087】
以上が、本実施形態に係る、位置合わせ処理の内容である。ここで本実施形態の適用例として、例えば、参照画像にRIPデータを用いたバリアブル印刷において、発行先の宛名と住所をバリアブルデータとして差し込むケースを考える。このケースでは、処理対象の検査画像に対し、最初に線形変換による位置合わせを実行すると(S2001)、参照画像がRIPデータなのでS2003に進む。そして、用紙が白紙であれば、続けて非線形変換による位置合わせが行われる(S2003で「なし」の判定)。一方、用紙に例えば発行元の宛名と住所が印刷済みであった場合は、非線形変換による位置合わせを行うことなく本処理を抜ける(S2003で「あり」の判定)。
【0088】
以上のように実施形態1と2を組み合わせて位置合わせの制御を行うことも可能である。
【0089】
(その他の実施形態)
本発明は、上述の実施の形態の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、該システム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0090】
また、本実施形態の開示は、以下の構成及び方法を含む。
【0091】
(構成1)
印刷装置から出力される印刷物を検査するための検査装置であって、
前記印刷物を読み取り生成された検査画像と、前記検査において基準となる参照画像との位置合わせを行う位置合わせ手段と、
を備え、
前記位置合わせ手段は、
前記検査画像に対し、線形変換による位置合わせを行い、
一定の条件を満たす場合、前記線形変換による位置合わせを行って得られた検査画像に対し、非線形変換による位置合わせを行う、
ことを特徴とする検査装置。
【0092】
(構成2)
前記一定の条件は、前記参照画像として、前記印刷物の印刷処理に用いる画像データが設定されていることである、ことを特徴とする構成1に記載の検査装置。
【0093】
(構成3)
前記一定の条件は、前記印刷物の印刷処理で使用する用紙に印刷済みのオブジェクトがないことである、ことを特徴とする構成1に記載の検査装置。
【0094】
(構成4)
前記一定の条件は、前記参照画像として前記印刷物の印刷処理のための画像データが設定されており、かつ、前記印刷処理で使用する用紙に印刷済みのオブジェクトがないことである、ことを特徴とする構成1に記載の検査装置。
【0095】
(構成5)
前記一定の条件を満たさない場合、前記非線形変換による位置合わせを行わないことを特徴とする構成1に記載の検査装置。
【0096】
(構成6)
さらに、前記参照画像に基づき、前記位置合わせ手段によって非線形変換による位置合わせを行って得られた検査画像を検査する検査手段を有することを特徴とする構成に記載の検査装置。
【0097】
(構成7)
前記参照画像として設定されている画像データが、前記印刷物の印刷処理のための画像データであるか、印刷欠陥のない印刷物を読み取って得られた画像データであるかを示す情報を登録する登録手段をさらに備え、
前記位置合わせ手段は、登録された前記情報に基づいて、前記参照画像として前記印刷物の印刷処理のための画像データが設定されているかどうかを判断する、ことを特徴とする構成2又は4に記載の検査装置。
【0098】
(構成8)
前記印刷処理で使用する用紙に印刷済みのオブジェクトがあるか否かを示す情報を登録する登録手段をさらに備え、
前記位置合わせ手段は、登録された前記情報に基づいて、前記印刷処理で使用する用紙に印刷済みのオブジェクトがないかどうかを判断する、ことを特徴とする構成3又は4に記載の検査装置。
【0099】
(構成9)
前記線形変換による位置合わせは、アフィン変換を用いた位置合わせである、ことを特徴とする構成1乃至8のいずれかに記載の検査装置。
【0100】
(構成10)
前記非線形変換による位置合わせは、自由形状変形を用いた位置合わせである、ことを特徴とする構成1乃至8のいずれかに記載の検査装置。
【0101】
(方法1)
印刷装置から出力される印刷物を検査するための検査方法であって、
前記印刷物を読み取り生成された検査画像と、前記検査において基準となる参照画像との位置合わせを行う位置合わせステップと、
を含み、
前記位置合わせステップでは、
前記検査画像に対し、線形変換による位置合わせを行い、
一定の条件を満たす場合、前記線形変換による位置合わせを行って得られた検査画像に対し、非線形変換による位置合わせを行う、
ことを特徴とする検査方法。
【0102】
(構成11)
コンピュータを、構成1乃至10のいずれかに記載の検査装置として機能させるためのプログラム。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20