(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-04
(45)【発行日】2023-09-12
(54)【発明の名称】画像検査装置、画像形成システム、画像検査方法及びプログラム
(51)【国際特許分類】
G01N 21/892 20060101AFI20230905BHJP
G03G 15/00 20060101ALI20230905BHJP
B41J 29/393 20060101ALI20230905BHJP
B41J 21/00 20060101ALI20230905BHJP
G06T 7/00 20170101ALI20230905BHJP
G06T 7/32 20170101ALI20230905BHJP
G06T 3/00 20060101ALI20230905BHJP
H04N 1/04 20060101ALI20230905BHJP
G06T 1/00 20060101ALI20230905BHJP
【FI】
G01N21/892 A
G03G15/00 303
B41J29/393 105
B41J21/00 Z
G06T7/00 610C
G06T7/32
G06T3/00 760
H04N1/04 106A
G06T1/00 450B
(21)【出願番号】P 2019007755
(22)【出願日】2019-01-21
【審査請求日】2021-11-17
(73)【特許権者】
【識別番号】000001270
【氏名又は名称】コニカミノルタ株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】伊藤 淳
(72)【発明者】
【氏名】大木 亮
【審査官】平田 佳規
(56)【参考文献】
【文献】特開2003-157408(JP,A)
【文献】特開2011-048193(JP,A)
【文献】特開2005-311991(JP,A)
【文献】特開2004-184240(JP,A)
【文献】特開2013-101015(JP,A)
【文献】特開2004-318423(JP,A)
【文献】特開2017-069826(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 21/84 - G01N 21/958
G03G 15/00
G03G 21/00
B41F 33/00
B41J 21/00
B41J 29/00 - B41J 29/70
G06T 1/00 - G06T 1/40
G06T 3/00 - G06T 3/60
G06T 5/00 - G06T 5/50
G06T 7/00 - G06T 7/90
G06V 30/14 - G06V 30/168
G06V 30/224
G06V 30/40 - G06V 30/416
H04N 1/04
(57)【特許請求の範囲】
【請求項1】
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込部と、
基準画像と、前記取込部で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部と、
を備え、
前記画像比較部は
、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施
し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とする画像検査装置。
【請求項2】
前記強調処理は、拡張処理であることを特徴とする請求項1に記載の画像検査装置。
【請求項3】
前記強調処理は、濃度補正処理であることを特徴とする請求項1又は2に記載の画像検査装置。
【請求項4】
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合に第1の強調処理を実施し、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に前記第1の強調処理よりも強調の程度が小さい第2の強調処理を実施することを特徴とする請求項1~3のいずれか一項に記載の画像検査装置。
【請求項5】
前記画像比較部は、前記画像エッジの検出方向の数に基づいて、前記特徴点を位置合わせする方法を切り替えることを特徴とする請求項1~
4のいずれか一項に記載の画像検査装置。
【請求項6】
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に、前記画像エッジから特徴点を抽出して前記特徴点の位置合わせを実施し、前記画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合又は前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施することを特徴とする請求項
5に記載の画像検査装置。
【請求項7】
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向の少なくとも一方向において所定画素以上取得できた場合に、前記画像エッジから特徴点を抽出して前記特徴点の位置合わせを実施し、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施することを特徴とする請求項
5に記載の画像検査装置。
【請求項8】
用紙に画像を形成する画像形成装置と、
前記画像形成装置から出力された用紙を光学的に読み取る読み取り装置と、
請求項1~
7のいずれか一項に記載の画像検査装置と、
を備えることを特徴とする画像形成システム。
【請求項9】
画像検査装置の画像検査方法であって、
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込工程と、
基準画像と、前記取込工程で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較工程と、
を含み、
前記画像比較工程は
、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施
し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とする画像検査方法。
【請求項10】
コンピュータを、
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込部、
基準画像と、前記取込部で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部、
として機能させ、
前記画像比較部は
、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施
し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像検査装置、画像形成システム、画像検査方法及びプログラムに関する。
【背景技術】
【0002】
通常、大量印刷を行う際には、何度か試し刷りを行って各種の調整を行い、見本(プルーフ)により印刷内容に問題がないことが確認できた場合に本印刷を開始する。しかしながら、本印刷された用紙の画像に、何らかの要因で見本に対して色ズレや歪みが生じることがある。そこで、近年では、画像形成装置の後段の搬送路上にスキャナーを設けるようにし、印刷出力される各用紙の画像をスキャナーで読み取って検査することが行われている。この検査では、見本を印刷出力する際にスキャナーで読み取った画像を基準画像として保存しておき、本印刷で印刷した用紙をスキャナーで読み取った画像(検査画像)と、保存してある基準画像と、を比較する。
【0003】
画像を比較する場合、それぞれの画像内の特徴点を抽出し、その特徴点の位置関係から回転角度のズレ量、倍率(X/Y)のズレ量、シフト(X/Y)のズレ量などを算出し、そのズレ量を元に画像補正(アフィン変換等)を実施した後、比較を行うのが一般的である。
上記のように、画像同士の比較により画像検査を行う上で、画像の位置合わせが検査精度に大きく寄与している。そのため、位置合わせを精度よくすることが重要である。
【0004】
画像同士を位置合わせして検査する技術として、比較する画像をそれぞれ複数の細かい領域に分割し、分割後の領域ごとに位置合わせして差分を検出し、閾値を超える差分が特定の分割領域に集中しているかどうか等に基づいて、位置合わせが正しく行われたか否かを判定する技術が開示されている(例えば、特許文献1参照)。
【0005】
また、用紙コーナーなどから読み取り時のスキューを検出し、このスキュー値に対して読み取り画像から検出されたスジが主走査方向に移動していない場合に、スキャナースジと判定して画像検査から除く処理を実施する技術が開示されている(例えば、特許文献2参照)。
【0006】
また、基準点の位置ズレ量を算出し、差分の大きい部分を画像比較領域から除外する技術が開示されている(例えば、特許文献3参照)。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2015-59744号公報
【文献】特開2014-155113号公報
【文献】特開2014-199248号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、電子写真方式などの画像形成装置の後段に設けられたスキャナーによりインラインで画像の読み取りを行う場合には、読み取り対象の用紙の位置や角度がばらつくだけでなく、様々な問題点があった。例えば、読み取った画像(ユーザーコンテンツ)から得られるエッジ方向の情報が主走査方向又は副走査方向のいずれかに偏って得られた場合に、近傍の類似する特徴点に位置合わせ(マッチング)してしまうこと(例えば、細い罫線の端部の画像エッジが取得できない場合に、水平方向にずれた場所で位置合わせされるような現象)があり、位置合わせが正しくできないという問題点があった。
【0009】
図11に、従来における画像の位置合わせ及び画像検査の一例を模式的に示す。
まず、基準画像G3に対し、特徴点を抽出するための4つの領域(特徴点抽出領域E31~E34:四隅に対応)を設定する(
図11(a)参照)。同様に、検査画像G4に対し、4つの特徴点抽出領域E41~E44)を設定する(
図11(b)参照)。
次に、基準画像G3に設定された特徴点抽出領域E31~E34の画像から特徴点FP31~FP33を抽出する(
図11(c)参照)。同様に、検査画像G4に設定された特徴点抽出領域E41~E44内の画像から特徴点FP41~FP43を抽出する(
図11(d)参照)。ここで、
図11(a)~
図11(d)に示す例では、下側の特徴点抽出領域E33、E34(又は特徴点抽出領域E43、E44)において、ノンブルのような小さな画像しか検出できなかったため、4か所ではなく、3か所の特徴点FP31~FP33(又は特徴点FP41~FP43)を抽出している。
次に、抽出した特徴点FP31~FP33及び特徴点FP41~FP43を比較(解析)して、位置ズレ量(回転角度のズレ量(回転ズレ量)、倍率(X/Y)のズレ量(倍率ズレ量)、シフト(X/Y)のズレ量(シフトズレ量))を算出する(
図11(e)参照)。
次に、算出した位置ズレ量に基づいて基準画像G3に画像補正(アフィン変換等)を行い、特徴点の位置合わせ(マッチング)を実施する(
図11(f)参照)。その後、画像補正後の基準画像G31と検査画像G4(
図11(g)参照)を比較して、画像検査を行う。
【0010】
ここで、
図11に示す例では、細い(縦方向の画素数が少ない)罫線の端部の画像エッジが正確に取得できなかった(
図11(c)の符号FP31参照)ため、特徴点の位置合わせ(マッチング)に失敗してしまい、画像補正後の基準画像G31が検査画像G4よりも幅広の(横方向の倍率が大きい)画像となってしまっている(
図11(f)参照)。このように、特徴点の位置合わせに失敗した基準画像G31と検査画像G4とを比較した場合、画像検査の精度を確保することができないという課題がある。
【0011】
本発明は、画像検査の精度を十分に確保することが可能な画像検査装置、画像形成システム、画像検査方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【0012】
請求項1に記載の発明は、上記目的を達成するためになされたものであり、
画像検査装置において、
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込部と、
基準画像と、前記取込部で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部と、
を備え、
前記画像比較部は、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とする。
【0013】
請求項2に記載の発明は、請求項1に記載の画像検査装置において、
前記強調処理は、拡張処理であることを特徴とする。
【0014】
請求項3に記載の発明は、請求項1又は2に記載の画像検査装置において、
前記強調処理は、濃度補正処理であることを特徴とする。
【0015】
請求項4に記載の発明は、請求項1~3のいずれか一項に記載の画像検査装置において、
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合に第1の強調処理を実施し、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に前記第1の強調処理よりも強調の程度が小さい第2の強調処理を実施することを特徴とする。
【0017】
請求項5に記載の発明は、請求項1~4のいずれか一項に記載の画像検査装置において、
前記画像比較部は、前記画像エッジの検出方向の数に基づいて、前記特徴点を位置合わせする方法を切り替えることを特徴とする。
【0018】
請求項6に記載の発明は、請求項5に記載の画像検査装置において、
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に、前記画像エッジから特徴点を抽出して前記特徴点の位置合わせを実施し、前記画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合又は前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施することを特徴とする。
【0019】
請求項7に記載の発明は、請求項5に記載の画像検査装置において、
前記画像比較部は、前記画像エッジが主走査方向及び副走査方向の少なくとも一方向において所定画素以上取得できた場合に、前記画像エッジから特徴点を抽出して前記特徴点の位置合わせを実施し、前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施することを特徴とする。
【0020】
請求項8に記載の発明は、
画像形成システムにおいて、
用紙に画像を形成する画像形成装置と、
前記画像形成装置から出力された用紙を光学的に読み取る読み取り装置と、
請求項1~7のいずれか一項に記載の画像検査装置と、
を備えることを特徴とする。
【0021】
請求項9に記載の発明は、
画像検査装置の画像検査方法であって、
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込工程と、
基準画像と、前記取込工程で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較工程と、
を含み、
前記画像比較工程は、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とする。
【0022】
請求項10に記載の発明は、
コンピュータを、
用紙に画像を形成する画像形成装置から出力された用紙を光学的に読み取る読み取り装置から読み取り画像を取り込む取込部、
基準画像と、前記取込部で取り込んだ、前記基準画像に対応する画像が形成された用紙を前記読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部、
として機能させ、
前記画像比較部は、
前記基準画像から取得された画像エッジに基づいて、前記画像エッジが検出された方向の数を判定し、前記基準画像及び前記検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の数に基づく強調処理を実施した後、前記特徴点の位置合わせを実施し、
前記画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、前記強調処理を実施しないことを特徴とするプログラムである。
【発明の効果】
【0023】
本発明によれば、画像検査の精度を十分に確保することができる。
【図面の簡単な説明】
【0024】
【
図1】本実施形態に係る画像形成システムの概略構成を示す図である。
【
図2】インラインスキャナー内の通紙経路の一例を示す図である。
【
図3】画像形成システムにおける用紙及びデータの流れを示す図である。
【
図4】本実施形態に係る画像形成システムの動作の一例を示すフローチャートである。
【
図5】画像エッジが主走査方向及び副走査方向の両方向に存在するケースの一例を示す図である。
【
図6】
図5の画像に強調処理(レベル小)を行ったケースの一例を示す図である。
【
図7】画像エッジが主走査方向に存在するケースの一例を示す図である。
【
図8】
図7の画像に強調処理(レベル大)を行ったケースの一例を示す図である。
【
図9】本実施形態における画像の位置合わせ及び画像検査の一例を模式的に示す図である。
【
図10】強調処理(拡張処理)の一例を示す図である。
【
図11】従来における画像の位置合わせ及び画像検査の一例を模式的に示す図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【0026】
[1.構成の説明]
本実施形態に係る画像形成システム1は、
図1に示すように、外部の制御装置やサーバー2から印刷データを受信し、当該印刷データに基づいて用紙に画像を形成(印刷)して出力する画像形成装置10と、画像形成装置10の後段に接続されたリレーユニット20と、リレーユニット20の後段に接続されたインラインスキャナー30と、インラインスキャナー30の後段に接続されたパージユニット40と、パージユニット40の後段に接続されたフィニッシャー50と、用紙ごとに印刷画像が正常か否かを検査する画像検査装置60と、を備えて構成されている。なお、
図1の符号R1は、用紙の搬送経路を示している。
【0027】
画像形成装置10は、無端で環状に掛け渡された中間転写ベルト11と、この中間転写ベルト11に沿って配置されたC(シアン)、M(マジェンタ)、Y(イエロー)及びK(黒)各色の像形成ユニット12と、を備えて構成され、像形成ユニット12により中間転写ベルト11上にCMYK各色のトナー像を重畳してフルカラーのトナー像を形成する。そして、画像形成装置10は、中間転写ベルト11上に形成したトナー像を、給紙トレイ13から搬送されてきた用紙に転写し、さらに定着器14で用紙に熱定着させた後、当該用紙を後段の装置(ここではリレーユニット20)に向けて出力する。なお、画像形成装置10は、上記のようなタンデム式の電子写真方式のものに限定されず、用紙に画像を形成する方式は任意であってよい。
【0028】
リレーユニット20は、画像形成装置10から出力された用紙をさらに後段の装置(ここではインラインスキャナー30)に中継搬送する。リレーユニット20は、画像形成装置10から搬送されてくる用紙の搬送スピードと同期をとる機能を備える。
【0029】
インラインスキャナー(読み取り装置)30は、リレーユニット20から受け入れた用紙を後段のパージユニット40に搬送するとともに、搬送中に用紙の両面をスキャンして当該用紙の両面の画像を光学的に読み取り、その読み取り画像の画像データを画像検査装置60に出力する。
【0030】
パージユニット40は、画像検査装置60により印刷画像が正常と判定された用紙を後段のフィニッシャー50に搬送するとともに、画像検査装置60により印刷画像が異常と判定された用紙をパージトレイT1に排出する。
【0031】
フィニッシャー50は、パージユニット40から送られてきた用紙に対して、指定された後処理を施した後、排紙トレイT2に排出する。
【0032】
図2に、インラインスキャナー30内の通紙経路の一例を示す。
インラインスキャナー30は、用紙の両面を1パスで読み取るため、用紙の表面を読み取る上面側ラインイメージセンサー31と、用紙の裏面を読み取る下面側ラインイメージセンサー32と、が用紙搬送方向に距離を置いて互いに異なる位置に配置されている。
図2に示す例では、下面側ラインイメージセンサー32が、上面側ラインイメージセンサー31よりも用紙搬送方向の上流に配置されている。また、上面側ラインイメージセンサー31のさらに下流には、測色計33が備えられている。
【0033】
各々のラインイメージセンサー31、32の前後には、用紙を保持、搬送するための用紙搬送機構が設けられている。用紙搬送機構は、対向配置された一対の搬送ローラー34により構成されている。
【0034】
上面側ラインイメージセンサー31及び下面側ラインイメージセンサー32は、搬送経路R1上の特定箇所に固定されており、これらの読み取り位置に対して、搬送される用紙が相対移動することで、当該用紙の表裏が各々のラインイメージセンサー31、32によって読み取られる。本実施形態では、用紙の搬送方向を副走査方向、用紙上でこれに直交する方向を主走査方向とする。上面側ラインイメージセンサー31及び下面側ラインイメージセンサー32は、副走査方向に搬送される用紙に対して主走査方向のライン単位の読み取りを繰り返すことで、用紙を二次元に読み取る。
【0035】
図3に、画像形成システム1における用紙及びデータの流れを示す。
画像形成装置10で画像が形成され出力された用紙は、パージユニット40へと搬送されるが、その途中でインラインスキャナー30により用紙の両面が読み取られる。インラインスキャナー30は、読み取って得た画像データを画像検査装置60に向けて出力する。
【0036】
画像検査装置60は、画像検査制御部61を備えて構成されている。
画像検査制御部61は、用紙に画像を形成する画像形成装置10から出力された用紙を光学的に読み取る読み取り装置(インラインスキャナー30)から読み取り画像(画像データ)を取り込む取込部、及び、基準画像と、取込部で取り込んだ、基準画像に対応する画像(基準画像と略同一の画像)が形成された用紙をインラインスキャナー30で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部として機能する。画像検査制御部61は、CPUや記憶部を備えており、記憶部に保存されているプログラムをCPUが読み出して実行することで、取込部及び画像比較部の機能が実現される。
なお、画像検査装置60の機能の一部又は全部を、ASIC等の回路で構成するようにしてもよい。
【0037】
[2.動作の説明]
次に、本実施形態に係る画像形成システム1(画像検査装置60)の動作について、
図4のフローチャートを参照して説明する。
【0038】
まず、画像検査装置60の画像検査制御部61は、インラインスキャナー30が見本を読み取って得た画像(全体画像)を基準画像として取得する(ステップS101)。ここで、見本は、試し印刷により画質の調整などが行われ、問題のないことが確認されたものであり、画像形成装置10で印刷された後、インラインスキャナー30で全体画像が読み取られる。
【0039】
次に、画像検査制御部61は、ステップS101で取得した基準画像を解析し、主走査方向及び副走査方向の画像エッジ(エッジ情報)を取得する(ステップS102)。
【0040】
次に、画像検査制御部61は、ステップS102で取得した主走査方向及び副走査方向の画像エッジに基づいて、画像エッジが主走査方向及び副走査方向の両方向に存在するか否かを判定する(ステップS103)。ここで、画像エッジが主走査方向(又は副走査方向)に存在するとは、主走査方向(又は副走査方向)の画素数が所定画素以上であるケースを示している。
画像検査制御部61は、画像エッジが主走査方向及び副走査方向の両方向に存在する(すなわち、画像エッジが主走査方向及び副走査方向とも十分(所定画素以上)取得できた)と判定した場合(ステップS103:YES)、次のステップS104へと移行する。
一方、画像検査制御部61は、画像エッジが主走査方向及び副走査方向の少なくとも一方向に存在しないと判定した場合(ステップS103:NO)、ステップS106へと移行する。
【0041】
ステップS104において、画像検査制御部61は、ステップS101で取得した基準画像が形状モデルであると判断する。ここで、形状モデルとは、画像エッジから特徴点を抽出して特徴点の位置合わせを実施する画像のことである。
【0042】
次に、画像検査制御部61は、ステップS104で形状モデルであると判断した基準画像に対して、第2の強調処理である強調処理(レベル小)を行い(ステップS105)、処理を終了する。
図5に、画像エッジが主走査方向及び副走査方向の両方向に存在するケースの一例を示す。また、
図6に、
図5の画像に強調処理(レベル小)を行ったケースの一例を示す。
【0043】
ステップS106において、画像検査制御部61は、ステップS102で取得した主走査方向及び副走査方向の画像エッジに基づいて、画像エッジが主走査方向及び副走査方向のいずれか一方向に存在するか否かを判定する。
画像検査制御部61は、画像エッジが主走査方向及び副走査方向のいずれか一方向に存在する(すなわち、画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた)と判定した場合(ステップS106:YES)、次のステップS107へと移行する。
一方、画像検査制御部61は、画像エッジが主走査方向及び副走査方向のいずれの方向にも存在しない(すなわち、画像エッジが主走査方向及び副走査方向とも十分(所定画素以上)取得できなかった)と判定した場合(ステップS106:NO)、ステップS109へと移行する。
【0044】
ステップS107において、画像検査制御部61は、ステップS101で取得した基準画像がNCCモデルであると判断する。ここで、NCCモデルとは、画像マッチングによる位置合わせ(対象領域の正規化相互相関による位置合わせ)を実施する画像のことである。
【0045】
次に、画像検査制御部61は、ステップS107でNCCモデルであると判断した基準画像に対して、第1の強調処理である強調処理(レベル大)を行い(ステップS108)、処理を終了する。
図7に、画像エッジが主走査方向に存在するケースの一例を示す。また、
図8に、
図7の画像に強調処理(レベル大)を行ったケースの一例を示す。
【0046】
ステップS109において、画像検査制御部61は、ステップS101で取得した基準画像がNCCモデルであると判断する。このとき、画像検査制御部61は、主走査方向及び副走査方向のいずれの方向の画像エッジも十分に(所定画素以上)取得できていないことから、主走査方向及び副走査方向の少なくともいずれか一方向の画像エッジが取得できている場合と異なり、基準画像に対して強調処理を行わないようにする。この場合、基準画像G11と検査画像G2との画像マッチングによる位置合わせ(対象領域の正規化相互相関による位置合わせ)が行われることとなる。
【0047】
その後、画像検査制御部61は、基準画像に対応する画像が形成された用紙(検査対象の用紙)をインラインスキャナー30で読み取って得た画像(全体画像)を検査画像として取得し、基準画像に施した処理と同様の処理を行う。すなわち、基準画像に強調処理(レベル小)を行った場合は検査画像に強調処理(レベル小)を行うようにし、強調処理(レベル大)を行った場合は強調処理(レベル大)を行うようにする。また、基準画像に強調処理を行わなかった場合は検査画像に強調処理を行わないようにする。
【0048】
そして、画像検査制御部61は、強調処理(レベル大)が行われた基準画像及び検査画像の各々から特徴点を抽出し、特徴点同士を比較して位置ズレ量を算出する。その後、画像検査制御部61は、算出した位置ズレ量に基づいて元の基準画像(強調処理(レベル大)が行われる前の基準画像)に画像補正(アフィン変換等)を行い、特徴点の位置合わせ(マッチング)を実施する。そして、画像補正後の基準画像と検査画像とを比較して、画像検査を行う。
また、画像検査制御部61は、強調処理(レベル小)が行われた基準画像又は強調処理が行われなかった基準画像と、検査画像と、の画像マッチングによる位置合わせを実施する。そして、基準画像と検査画像とを比較して、画像検査を行う。
すなわち、画像検査制御部61は、画像エッジの検出方向の偏りに基づいて、特徴点を位置合わせする方法を切り替える。ここで、画像エッジの検出方向の偏りとは、画像エッジの検出方向のパターンのことであり、具体的には、画像エッジが主走査方向及び副走査方向の両方向に存在する(画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた)パターン、画像エッジが主走査方向及び副走査方向のいずれか一方向に存在する(画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた)パターン、及び、画像エッジが主走査方向及び副走査方向のいずれの方向にも存在しない(画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった)パターンが挙げられる。
【0049】
図9に、本実施形態における画像の位置合わせ及び画像検査の一例を模式的に示す。
まず、画像検査制御部61は、基準画像G1に対し、特徴点を抽出するための4つの領域(特徴点抽出領域E11~E14)を設定する(
図9(a)参照)。同様に、画像検査制御部61は、検査画像G2に対し、4つの特徴点抽出領域E21~E24)を設定する(
図9(b)参照)。
次に、画像検査制御部61は、基準画像G1に設定された特徴点抽出領域E11~E14の画像から画像エッジの検出方向の偏りに基づく強調処理を実施する。例えば、特徴点抽出領域E11及びE12には、細い罫線L1が1本描かれている。このような細い罫線L1の場合、画像エッジの検出方向が主走査方向及び副走査方向のいずれか一方向に偏るため、強調処理(レベル大)を行う(
図9(c)参照)。その後、画像検査制御部61は、強調処理(レベル大)が行われた画像L2に基づいて、特徴点FP11~FP13を抽出する(
図9(c)参照)。同様に、画像検査制御部61は、検査画像G2に設定された特徴点抽出領域E21~E24内の画像から画像エッジの検出方向の偏りに基づく強調処理(細い罫線L1の強調処理(レベル大))を実施した後、特徴点FP21~FP23を抽出する(
図9(d)参照)。
次に、画像検査制御部61は、抽出した特徴点FP11~FP13及び特徴点FP21~FP23を比較(解析)して、位置ズレ量(回転角度のズレ量(回転ズレ量)、倍率(X/Y)のズレ量(倍率ズレ量)、シフト(X/Y)のズレ量(シフトズレ量))を算出する(
図9(e)参照)。
次に、画像検査制御部61は、算出した位置ズレ量に基づいて元の基準画像(強調処理(レベル大)が行われる前の基準画像)G1に画像補正(アフィン変換等)を行い、特徴点の位置合わせ(マッチング)を実施する(
図9(f)参照)。ここで、検査画像G2ではなく、基準画像G1に画像補正を行うのは、検査画像G2内の汚れ等の情報を、画像補正により欠落させないようにするためである。
その後、画像補正後の基準画像G11と検査画像G2(
図9(g)参照)とを比較して、画像検査を行う。
【0050】
ここで、
図9に示す例では、細い罫線L1に強調処理(レベル大)を行ったため、画像L2の端部の画像エッジを正確に取得することができている(
図9(c)の符号FP11参照)。これにより、特徴点の位置合わせ(マッチング)を精度よく行うことができるので、画像補正後の基準画像G11と検査画像G2とを比較することによる画像検査の精度を十分に確保することができる。
【0051】
図10に、強調処理の1つである拡張処理(線を太らせる処理)の一例を示す。なお、
図10に示すマス目1つが1画素に対応している。
まず、元画像(
図10(a)参照)に対し、右下の1マスが元画像の左端のマスに合うように、5(マス)×5(マス)フィルターFILを設定する(
図10(b)参照)。このとき、注目画素(5×5フィルターFILの中央マス)A1に、5×5フィルターFIL内の最大画素値をコピーする(
図10(c)参照)。
次に、5×5フィルターFILを図中右方に1マス(1画素)分シフトする(
図10(d)参照)。このときも、上記
図10(c)と同様、注目画素A1に5×5フィルターFIL内の最大画素値をコピーする(
図10(e)参照)。
以後、5×5フィルターFILを、左下の1マスが元画像の右端のマスに合うまで水平方向(図中右方)に1マス(1画素)ずつシフトする。以降、1マスシフトするごとに注目画素A1への最大画素値のコピーを行う。
その後、5×5フィルターFILを
図10(b)に示した位置に戻した後、1マス分下方にシフトする。そして、上記と同様、5×5フィルターFILを、左端のマスが元画像の右端のマスに合うまで水平方向(図中右方)に1マス(1画素)ずつシフトする。
上記の処理を、5×5フィルターFILの最上行まで繰り返す(
図10(f)参照)。これにより、上下方向及び左右方向にそれぞれ2画素分ずつ元画像を太らせる(拡張する)ことができる(
図10(g)参照)。
【0052】
[3.効果]
以上のように、本実施形態に係る画像検査装置60は、用紙に画像を形成する画像形成装置10から出力された用紙を光学的に読み取る読み取り装置(インラインスキャナー30)から読み取り画像を取り込む取込部(画像検査制御部61)と、基準画像と、取込部で取り込んだ、基準画像に対応する画像が形成された用紙を読み取り装置で読み取って得た検査画像と、を画像内の特徴点で位置合わせして比較する画像比較部(画像検査制御部61)と、を備える。また、画像比較部は、基準画像及び検査画像の各々の特徴点抽出領域内にある画像に対して画像エッジの検出方向の偏りに基づく強調処理を実施した後、特徴点の位置合わせを実施する。
したがって、本実施形態に係る画像検査装置60によれば、用紙に細い罫線などの画像が形成されている場合であっても精度よく特徴点の位置合わせを行うことができるので、画像検査の精度を十分に確保することができる。
【0053】
また、本実施形態に係る画像検査装置60によれば、強調処理は、拡張処理である。
したがって、本実施形態に係る画像検査装置60によれば、画像エッジの検出精度を向上させることができるので、精度よく特徴点の位置合わせを行うことが可能となり、画像検査の精度を十分に確保することができる。
【0054】
また、本実施形態に係る画像検査装置60によれば、画像比較部が、画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合に第1の強調処理を実施し、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に第1の強調処理よりも強調の程度が小さい第2の強調処理を実施する。
したがって、本実施形態に係る画像検査装置60によれば、画像エッジの情報を元に、必要に応じて必要な程度の強調処理を行うことができるので、より確実に特徴点の位置合わせを行うことが可能となり、画像検査の精度をより確実に向上させることができる。
【0055】
また、本実施形態に係る画像検査装置60によれば、画像比較部が、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、強調処理を実施しない。
したがって、本実施形態に係る画像検査装置60によれば、画像エッジの情報を元に、画像エッジから特徴点を抽出して特徴点の位置合わせを実施することが困難であると判断した場合に、不必要な強調処理の実施を抑制することができるので、画像検査に掛かる負荷を低減させることができる。
【0056】
また、本実施形態に係る画像検査装置60によれば、画像比較部が、画像エッジの検出方向の偏りに基づいて、特徴点を位置合わせする方法を切り替える。
したがって、本実施形態に係る画像検査装置60によれば、画像エッジの情報に応じて最適な位置合わせ方法を選択することができるので、精度よく特徴点の位置合わせを行うことが可能となり、画像検査の精度を十分に確保することができる。
【0057】
また、本実施形態に係る画像検査装置60によれば、画像比較部が、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に、画像エッジから特徴点を抽出して特徴点の位置合わせを実施し、画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合又は画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施する。
したがって、本実施形態に係る画像検査装置60によれば、画像エッジの情報に応じて最適な位置合わせ方法を選択することができるので、精度よく特徴点の位置合わせを行うことが可能となり、画像検査の精度を十分に確保することができる。
【0058】
以上、本発明に係る実施形態に基づいて具体的に説明したが、本発明は上記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【0059】
例えば、上記実施形態では、インラインスキャナー30が見本を読み取って得た画像(全体画像)を基準画像として取得するようにしているが、これに限定されるものではない。例えば、サーバー2から取得した原画像を基準画像として取得するようにしてもよい。
【0060】
また、上記実施形態では、強調処理として、拡張処理(線を太らせる処理)を例示して説明しているが、これに限定されるものではない。すなわち、画像エッジの識別を容易にすべく、画像エッジを強調可能な処理であればいかなる処理であってもよく、例えば、画像の濃度を濃くする処理(濃度補正処理)を採用するようにしてもよい。
このように、強調処理として、濃度補正処理を採用することで、画像エッジの検出精度を向上させることができるので、精度よく特徴点の位置合わせを行うことが可能となり、画像検査の精度を十分に確保することができる。
【0061】
また、上記実施形態では、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できた場合に、画像エッジから特徴点を抽出して特徴点の位置合わせを実施し、画像エッジが主走査方向及び副走査方向のいずれか一方向において所定画素以上取得できた場合又は画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施するようにしているが、これに限定されるものではない。例えば、画像エッジが主走査方向及び副走査方向の少なくとも一方向において所定画素以上取得できた場合に、画像エッジから特徴点を抽出して特徴点の位置合わせを実施し、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施するようにしてもよい。
このように、画像比較部が、画像エッジが主走査方向及び副走査方向の少なくとも一方向において所定画素以上取得できた場合に、画像エッジから特徴点を抽出して特徴点の位置合わせを実施し、画像エッジが主走査方向及び副走査方向とも所定画素以上取得できなかった場合に、対象領域の正規化相互相関による位置合わせを実施することで、画像エッジの情報に応じて最適な位置合わせ方法を選択することができるので、精度よく特徴点の位置合わせを行うことが可能となり、画像検査の精度を十分に確保することができる。
【0062】
その他、画像形成システムを構成する各装置の細部構成及び各装置の細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。
【符号の説明】
【0063】
1 画像形成システム
2 サーバー
10 画像形成装置
11 中間転写ベルト
12 像形成ユニット
13 給紙トレイ
14 定着器
20 リレーユニット
30 インラインスキャナー(読み取り装置)
31 上面側ラインイメージセンサー
32 下面側ラインイメージセンサー
33 測色計
34 搬送ローラー
40 パージユニット
50 フィニッシャー
60 画像検査装置
61 画像検査制御部(取込部、画像比較部)
R1 搬送経路
T1 パージトレイ
T2 排紙トレイ