(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、検査装置に対して本発明を適用した場合の実施形態である。
【0015】
[1.検査装置の構成および機能概要]
(1.1 検査装置の構成および機能)
まず、本発明の一実施形態に係る検査装置の構成および概要機能について、
図1を用いて説明する。
【0016】
図1は、本実施形態に係る検査装置1の概要構成例を示す模式図である。
【0017】
図1に示すように、検査装置1は、検査装置1を制御する検査制御装置10と、紙等のシート状の検査対象Pにおいて1ライン分を撮像する撮像装置20および撮像装置30と、検査対象Pを照明する照明装置50と、検査対象Pを搬送する搬送装置60と、を備えている。
【0018】
検査制御装置10と、撮像装置20と、撮像装置30等とは、データを送受信したり、指令を送信したりするためのケーブルにより接続されていて、撮像装置20、撮像装置30等は、検査制御装置10により制御される。
【0019】
検査制御装置10は、コントローラ(例えば、プログラマブルロジックコントローラ)として、撮像装置20による撮像や、搬送装置60による検査対象Pの搬送を制御する。また、検査制御装置10は、撮像装置20および撮像装置30からの画像データを画像処理する。なお、シート状の検査対象Pは、紙やプラスチック製のシートや、紙が綴じられた書籍が、ページめくりされている検査対象でもよい。
【0020】
撮像装置20および撮像装置30は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を有するデジタルカメラである。また、撮像装置20および撮像装置30は、1ライン分のイメージセンサが並んだラインスキャンカメラである。撮像装置20および撮像装置30は、搬送装置60により搬送されている検査対象Pを、1ライン毎に順次撮像する。なお、
図1に示すように、撮像装置20および撮像装置30の撮像のライン(撮像ライン)Iの方向は、搬送方向(y方向)に対して、直角のx方向とする。なお、撮像ラインIの方向は、搬送方向(y方向)に対して、斜めにでもよい。
【0021】
また、
図1に示すように、撮像装置20および撮像装置30は、搬送されてくる検査対象Pを上方から撮像する。撮像装置20の撮像方向および撮像装置30の撮像方向は、同一のx-z面にある。撮像装置20の撮像方向および撮像装置30の撮像方向は、搬送されてくる検査対象Pの搬送面(x-y面)に対して垂直方向(z方向)に対して、それぞれ、−θおよび+θ傾いている。この搬送面が変位を求める基準面となる。
【0022】
なお、撮像装置20および撮像装置30の撮像方向は、搬送面(基準面の一例)の垂直方向に対して斜めなので、撮像方向を補正する画像補正をしてもよい。また、検査対象Pに対して、撮像装置20の撮像方向および撮像装置30の撮像方向は、撮像装置20および撮像装置30の視差が生じる位置ならばよい。
【0023】
また、撮像装置20および撮像装置30は、エリアカメラでもよい。
【0024】
照明装置50は、蛍光灯、LED(Light Emitting Diode)素子等の発光体である。照明装置50は、搬送面(基準面の一例)に対する斜め方向から検査対象Pを照らす。
【0025】
搬送装置60は、検査対象Pを搬送するローラを有する。また、搬送装置60は、検査対象Pの搬送位置を検出するエンコーダ(図示せず)を有する。
【0026】
(1.2 検査制御装置10の構成および機能)
次に、検査制御装置10の構成および機能について、
図2を用いて説明する。
図2は、検査制御装置10の概要構成の一例を示すブロック図である。
【0027】
図2に示すように、検査制御装置10は、例えば、パーソナルコンピュータやプログラマブルロジックコントローラ等であり、記憶部11と、表示部12と、操作部13と、入出力インターフェース部14と、システム制御部15とを備えている。そして、システム制御部15と入出力インターフェース部14とは、システムバス16を介して接続されている。また、入出力インターフェース部14は、撮像装置20と、撮像装置30と、照明装置50と、搬送装置60とに接続されている。
【0028】
記憶部11は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラム、変形量算出用のプログラム、検査用のプログラム等を記憶する。また、記憶部11には、検査に必要な基準画像が記憶されている。
【0029】
表示部12は、例えば、液晶表示素子または有機EL素子等によって構成されている。表示部12には、検査装置1を制御するための入力情報や検査結果等が表示される。
【0030】
操作部13は、例えば、キーボードおよびマウス等によって構成されている。ユーザは、操作部13を使用して、検査装置1を制御するための入力情報を入力する。
【0031】
入出力インターフェース部14は、記憶部11等とシステム制御部15とのインターフェースである。
【0032】
システム制御部15は、例えば、CPU15aと、ROM15bと、RAM15cとを有する。システム制御部15は、CPU15aが、ROM15bや、RAM15cや、記憶部11に記憶された各種プログラムを読み出して実行する。例えば、システム制御部15は、変形量算出のプログラムを実行し、画像の補正を行う。なお、これらのプログラムを記憶した記録媒体等をシステム制御部15が読み出し実行してもよい。
【0033】
[2.検査装置の動作]
次に、本発明の1実施形態に係る検査装置の動作について
図3から
図8を用いて説明する。
【0034】
図3は、検査装置1の動作例を示すフローチャートである。
図4は、検査対象の変形がある場合の一例を示す模式図である。
図5は、検査対象の変形がある場合の変形例を示す模式図である。
図6は、XZ面における検査対象と撮像装置との関係の一例を示す模式図である。
図7は、サンプル点および補間を示す模式図である。
図8は、変形の補正処理の一例を示す模式図である。
【0035】
図3に示すように、検査装置1は、検査対象を搬送する(ステップS1)。具体的には、
図1に示すように、検査制御装置10の指令に従って搬送装置60により、検査対象Pは、撮像装置20および撮像装置30の撮像領域に向けて搬送されてくる。
【0036】
次に、検査装置1は、検査対象の第1画像データを取得する(ステップS2)。具体的には、検査制御装置10の指令に従って撮像装置20(ラインスキャンカメラ)が、撮像ラインI上を搬送されている検査対象Pを、1ライン毎に撮像する。撮像装置20が撮像した画像データ(第1画像データ)を、検査制御装置10が取得する。なお、検査制御装置10は、所定の搬送速度(スキャン速度)と所定の時間間隔とにより決まる所定の搬送位置で撮像された、検査対象の第1画像データを取得する。第1画像データは、x方向に対してある画素値を有する画像データとなる。
【0037】
このように、検査装置1は、搬送されてきたシート状の検査対象を撮像した第1画像データを取得する第1画像データ取得手段の一例として機能する。また、検査装置1は、搬送されてきたシート状の検査対象を撮像した第1画像データを取得する第1画像データ取得手段の一例として機能する。
【0038】
検査装置1は、第2画像データを取得する(ステップS3)。具体的には、検査制御装置10の指令に従って撮像装置30(ラインスキャンカメラ)が、撮像ラインI上を搬送されている検査対象Pを、第1画像データの撮像方向と異なる方向から1ライン毎に撮像する。撮像装置30が撮像した画像データ(第2画像データ)を、検査制御装置10が取得する。なお、検査制御装置10は、所定の搬送速度(スキャン速度)と所定の時間間隔とにより決まる所定の搬送位置で撮像された、検査対象の第2画像データを取得する。第2画像データは、x方向に対してある画素値を有する画像データとなる。
【0039】
このように、検査装置1は、前記第1画像データの撮像方向と異なる方向から前記検査対象を撮像した第2画像データを取得する第2画像データ取得手段の一例として機能する。また、検査装置1は、搬送されてきたシート状の検査対象を撮像した第2画像データを取得する第2画像データ取得手段の一例として機能する。
【0040】
次に、検査装置1は、第1画像データおよび第2画像データから変形量を算出する(ステップS4)。まず、検査制御装置10が、第1画像データおよび第2画像データから視差を求める。例えば、検査制御装置10が、画像データをx方向に微分して特徴点(輝度の変化が高い部分等)を求める。検査制御装置10が、対応する特徴点を求め、この対応する特徴点の位置から、視差を算出し、奥行き(z方向の高さ)を求める。検査制御装置10が、この奥行きを基準面からの変形量とする。
【0041】
そして、検査制御装置10が、視差から、xに対するz方向の変位(変形量)を算出し、
図6に示すように、変位形状を求める。すなわち、2台のラインカメラ(撮像装置20、30)により、撮像ラインI上の画像を撮像する。撮像された画像を基づき、ステレオ計測法により、検査対象Pをy方向に搬送させながら、検査対象Pの面の形状を計測していく。
【0042】
図4に示すように、検査対象Pがx方向に波を打って変形している場合、この変形に応じて、奥行きが変わるので、求めた奥行きから、変形量を算出する。検査対象Pが基準位置より撮像装置20、30に近づくと視差が大きくなり、遠ざかると視差が小さくなる。
【0043】
また、
図5に示すように、検査対象Pがy方向に波を打って変形している場合、搬送位置に応じて、撮像ラインI全体が撮像装置20および撮像装置30に近づいたり遠ざかったりする。撮像ラインI全体が、撮像装置20、30に近づくと、視差が大きくなり、遠ざかると、視差が小さくなる。
【0044】
このように、検査装置1は、前記第1画像データおよび第2画像データから、前記搬送の基準面からの変形量を算出する変形量算出手段の一例として機能する。
【0045】
次に、検査装置1は、第1画像データを補正する(ステップS5)。
図6および
図7に示すように、撮像装置20と撮像装置30との中間点M(カメラ中心を結んだ中間点)から検査対象Pの面に対して垂線を下ろした位置を原点(x=0)とし、検査制御装置10が、算出した変位形状を任意サンプリング毎に離散点を求める。検査制御装置10が、求めた離散点に基づき、スプライン補間等により補間を行い、検査対象Pの断面形状の関数(z=f(x))を求める。なお、検査対象Pの所定の搬送位置(検査対象P上におけるy方向の所定位置)において、検査対象Pの断面形状の関数(z=f(x))が求められている。
【0046】
図8に示すように、断面形状の関数(z=f(x))を直線に伸ばすため、検査対象Pが幅lであるという拘束条件の下、断面形状の関数(z=f(x))に拘束をかけ、最小自乗法を解くことにより、検査制御装置10が、検査対象Pの面の形状をモデル化(多項式フィッティング)して直線を求める。なお、x座標のaが−l/2、x座標のbがl/2になるように、検査対象Pの面の形状に対応した直線がモデル化されている。さらに、直線全体をz方向にオフセット調節して、直線がz=0になるようにする。なお、検査制御装置10が、これらのモデル化を、検査対象P上のy方向の各位置(搬送位置)に応じて行う。
【0047】
これによりサンプリングした各点と、これら各点に対応する求めた直線におけるサンプル点とから、検査制御装置10が、所定の搬送位置において、x方向における各点の補正量を算出する。
【0048】
検査制御装置10が、第1画像データに対して、算出した補正量に基づき、x方向に補正を行う。検査制御装置10が、各搬送位置において、補正を行う。このように、検査対象Pの面形状に基づき、平面である場合の画像へ、第1画像データの画像が平面展開され補正される。
【0049】
なお、検査制御装置10が、第1画像データの代わりに、第2画像データを補正してもよい。また、検査制御装置10が、第1画像データおよび第2画像データから合成した第3画像データを生成し、第3画像データを補正してもよい。また、撮像装置20の撮像方向をz方向(θ=0)として、撮像装置30の撮像方向の角度をθとしてもよい。
【0050】
また、撮像ラインI上の奥行きが直接算出できるので、検査制御装置10が、検査対象Pを搬送させながら、逐次、撮像ラインI毎に補正を行ってもよい。また、検査対象P全体の第1画像データおよび第2画像データを取得した後、変形量を求め補正を行ってもよい。
【0051】
このように、検査装置1は、前記基準面からの変形量に応じて、前記第1画像データまたは第2画像データを補正する補正手段の一例として機能する。また、検査装置1は、前記基準面からの変形量に対して、数学モデルを適用して、前記第1画像データまたは第2画像データを補正する補正手段の一例として機能する。また、検査装置1は、前記基準面からの変形量に対して、前記検査対象の形状を拘束条件とする数学モデルを適用して、前記第1画像データまたは第2画像データを補正する補正手段の一例として機能する。
【0052】
次に、検査装置1は、検査対象を検査する(ステップS6)。具体的には、検査制御装置10が、基準画像と補正された画像とを比較する。基準画像との差異が、所定以上の場合、インキ汚れやインキ抜け等の不良と判定する。例えば、基準画像および補正された画像における、特徴量同士を比較して、検査を行う。
【0053】
このように、検査装置1は、前記補正された画像データに基づき、前記検査対象を検査する検査手段の一例として機能する。
【0054】
以上、本実施形態によれば、搬送されている検査対象Pを、互いに異なる撮像方向から撮像した第1画像データおよび第2画像データから、搬送に対応する基準面からの変形量を算出し、基準面からの変形量に応じて、第1画像データを補正することにより搬送されてきたシート状の検査対象が変形して、基準面からの変位を生じた場合において、検査対象の画像の変形を補正して、検査対象を高精度に検査することができる。すなわち、互いに異なる撮像方向から撮像した第1画像データおよび第2画像データから、基準面からの変位、すなわち、高さ方向の情報が得られ補正ができる。
【0055】
また、搬送されている検査対象Pを、搬送方向と交わる方向で線状に撮像した第1画像データおよび第2画像データを取得する場合、搬送に従い線状に画像を高精度に取り込むことができる。
【0056】
また、基準面からの変形量に対して、数学モデルを適用して、第1画像データまたは第2画像データを補正する場合、より精度良く補正ができ、高精度に検査ができる。
【0057】
また、基準面からの変形量に対して、検査対象Pの形状を拘束条件とする数学モデルを適用して、第1画像データまたは第2画像データを補正する場合、より精度良く補正ができ、高精度に検査ができる。
【0058】
次に、本実施形態の変形例について、
図9および
図10を用いて説明する。
図9は、オフセット印刷における検査対象の検査の一例を示す模式図である。
図10は、撮像された検査対象の一例を示す模式図である。
【0059】
図9に示すように、オフセット枚葉印刷機70は、刷版が装着された版胴71と、インキが転写されるブランケット胴72と、枚葉紙の検査対象Pをブランケット胴72に押しつける圧胴73と、印刷された検査対象Pを排出ユニットに送る中間胴74、75と、を備える。圧胴73が、搬送装置60の機能の一部を担っている。
【0060】
撮像装置20および撮像装置30は、圧胴73上に現れる検査対象Pの印刷面を撮像する。
【0061】
搬送方向yは、圧胴73上の撮像ラインの位置における接線方向である。搬送に対応する基準面は、圧胴73の面である。特に、基準面は、圧胴73上の撮像ラインの位置で、圧胴73に接する平面である。撮像装置20および撮像装置30の撮像方向は、z方向(−z方向)に対して、それぞれ、−θおよび+θ傾いていて、圧胴73の回転軸に向かう。
【0062】
印刷された検査対象Pは、ブランケット胴72と圧胴73との間から送り出される。検査対象Pの終端にくると、圧胴73から検査対象Pが跳ね上がる。そのため、検査対象Pの終端部分が撮像装置20に近づくため、
図10に示すような画像が撮像される。
【0063】
しかし、ステップS2からステップS5の処理により、画像が補正されて矩形に戻すことができる。そのため、撮像する際、空気圧等により検査対象Pを圧胴73の面に押さえておく必要がない。
【0064】
なお、検査対象が搬送される代わりに、撮像装置20および撮像装置30の撮像方向が検査対象を、スキャンするように変化してもよい。検査対象の面を撮像ラインIが移動して行く。
【0065】
なお、検査対象は、印刷物以外に、シート状の電池等でもよい。
【0066】
また、検査対象として、紙が綴じられた書籍の場合、撮像方向が変化して、検査対象の面を撮像ラインIが移動して撮像する。この場合、基準面として、開かれた書籍の背の部分、開かれた書籍の開いている側の面等が挙げられる。