【課題】多色刷りのパターン印刷がなされたPTPシートであっても、精度良く欠陥候補を検出することができるシート検査装置、シート検査方法およびそのプログラムを提供する。
【解決手段】複数の対象物が封入され、表面に色成分が同じ複数の第1パターンおよび該第1パターンとは色成分が異なる複数の第2パターンが少なくとも付されたシート状物の撮影画像を取得する画像取得部202と、撮影画像における所定の色成分を低減させることにより第1,第2パターンのいずれかの影響が低減された低減画像を生成し、これに基づいて暗欠陥検出用パターン画像および明欠陥検出用パターン画像を生成し、低減画像、暗欠陥検出用パターン画像、および明欠陥検出用パターン画像に基づいて、欠陥候補が検出可能に示される欠陥候補画像を生成する画像処理部203,判定処理部204とを備えた。
複数の対象物が封入され、表面に色成分が同じ複数の第1パターンおよび該第1パターンとは色成分が異なる複数の第2パターンが少なくとも付されたシート状物の撮影画像を取得する撮影画像取得部と、
前記撮影画像における所定の色成分を低減させることにより、前記第1パターンおよび前記第2パターンのいずれか一方の影響が低減された低減画像を生成する低減画像生成部と、
前記低減画像に基づいて、該低減画像より濃度的に小さい情報を有する暗欠陥検出用パターン画像および該低減画像より濃度的に大きい情報を有する明欠陥検出用パターン画像を生成するパターン画像生成部と、
前記低減画像、前記暗欠陥検出用パターン画像、および前記明欠陥検出用パターン画像に基づいて、前記撮影画像に欠陥候補が含まれていた場合に該欠陥候補が検出可能に示される欠陥候補画像を生成する欠陥候補画像生成部と
を備えることを特徴とするシート検査装置。
【発明を実施するための形態】
【0010】
以下、本発明の実施の形態について図面を参照しつつ説明する。本実施の形態においては、シート検査装置が錠剤包装システムにおけるPTP外観検査装置に組み込まれた場合を例にとり説明を行う。
【0011】
先ず、本実施の形態に係る錠剤包装システムの構成について、
図1を参照しつつ説明する。
図1は、本実施の形態に係るPTP外観検査装置を有する錠剤包装システムの構成を模式的に示す模式図である。
図1に示されるように、錠剤包装システム100は、基部シート搬送部110、加熱装置120、成形装置121、錠剤充填装置130、蓋シート搬送部140、シール装置150、シート切り出し部160、取り出し部170、を有する。また、錠剤包装システム100には、シール装置150とシート切り出し部160との間にPTP外観検査装置200が組み込まれている。以下、錠剤包装システム100による錠剤の包装過程を簡単に説明する。
【0012】
透明な塩化ビニル等からなる基部シート300は、紙部材等からなるコイルに巻き付いた状態であり、基部シート搬送部110によりコイルから巻き解かれつつ、次の工程である加熱装置120、成形装置121へ搬送される。加熱装置120へ搬送された基部シート300はここで加熱され、形成装置121により、空圧と鋳型とを用いて錠剤400を入れるための凹部であるポケット(
図3の符号301参照)が加熱後の基部シート300に一定間隔で形成される。なお、説明上、
図1ではポケットを省略している。ポケットが形成された基部シート300は、複数の搬送ローラを経由して錠剤充填装置130における錠剤400の排出口の位置まで搬送される。
【0013】
排出口の位置まで搬送された基部シート300は、錠剤充填装置130により、錠剤ホッパー131に蓄積された錠剤400がそのポケットへ一錠ずつ供給される。錠剤400が供給され、ポケットに収納された状態にある基部シート300は、シール装置150へ搬送される。
【0014】
一方、コイルに巻かれた状態のアルミ箔等からなり、その表面に単色の文字や記号、マーク等のパターンが付された蓋シート500が、蓋シート搬送部140によりコイルから巻き解かれると共に、シール装置150まで搬送される。なお、本実施の形態における蓋シート500は、2色刷りのパターン印刷がなされていることとする(
図7参照)。このパターン(以後、印刷文字と称する)は、後述する撮影画像上において錠剤部と色特性上の違いがないものである。シール装置150まで搬送された基部シート300と蓋シート500は、シール装置150により、錠剤400が収容された基部シート300のポケットの開口が蓋シート500により閉塞するよう積層されて接合(シール)される。これにより錠剤400を封入するPTPシート600が作製される。
【0015】
作製されたPTPシート600は、複数の搬送ローラによりPTP外観検査装置200の撮影区域まで搬送される。PTP外観検査装置200は、CCDカメラや画像処理装置等を有してPTP外観検査処理を行うものである。PTP外観検査処理は、PTPシート600上の所定の撮影区域を撮影して得た撮影画像に基づいて、PTPシート600に錠剤400が封入されているか否か、封入されている錠剤に欠損があるか否か等の錠剤部の良否判定や、PTPシート600のシート部に異物や同種物(素錠の粉噛み等)が混入されているか否か等のシート部の良否判定を行う処理であり、その詳細は後述する。PTP外観検査装置200での検査結果は、下流に位置する取り出し部170で用いられる。なお、この所定の撮影区域は、シート切り出し部160で切り出されるシート(ブリスターパック)ごとのサイズにより決定されることが好ましい。
【0016】
検査を終えたPTPシート600は、シート切り出し部160により、1つのブリスターパック中の錠剤400の数が所定の数となるように切り出され、所定の大きさのブリスターパックが作成される。作成後、ブリスターパック状のPTPシート600は、取り出し部170により取り出される。ここで、取り出し部170は、PTP外観検査装置200の検査結果に基づいて、不良と判定されたブリスターパックを取り除いている。以上により、ブリスターパック状のPTPシート600を得ることができる。
【0017】
次に、上述した本実施の形態に係るPTP外観検査装置200の構成について
図2および
図3を参照しつつ説明する。
図2は本実施の形態に係るPTP外観検査装置の構成を示すブロック図であり、
図3は本実施の形態に係るPTP外観検査装置の一部の構成を模式的に示す模式図である。PTP外観検査装置200は、
図2に示されるように、制御部210と、撮像部220と、光源部230と、検知部240とを有する。
【0018】
制御部210は、図示しない駆動回路等を用いて撮像部220、光源部230、および検知部240を適宜制御する。より具体的には、制御部210は、CPU(Central Processing Unit)211、メモリ212、HDD(Hard disk drive)213を有する所謂PC(Personal Computer)といった情報処理装置である。CPU211は、メモリ212上に展開されるOS(Operating System)、BIOS(Basic Input/Output System)、アプリケーション等の各種プログラムを実行し、PTP外観検査装置200の制御を行う。メモリ212は、所謂RAM(Random Access Memory)などの揮発性の記憶媒体であり、実行されるプログラムの作業領域や、後述する暗欠陥検出用パターン画像や明欠陥検出用パターン画像を一時保管するバッファ領域として利用される。HDD213は、データを格納する記憶媒体であり、本実施の形態においては各種画像データや、PTPシート600の撮影枚数等の初期条件、濃淡フィルタリング処理の初期条件等を格納する。
【0019】
撮像部220は、
図3に示されるように、錠剤400が収納された状態におけるPTPシート600のポケット301に対向するよう設けられ、ポケット301を含むPTPシート600全体を撮影するものである。なお、撮像部220は、1個のブリスターパックを構成するPTPシート600の範囲を撮影範囲として撮影することが好ましい。また、このような撮像部220としては、例えばカラー画像を生成可能な3CCDカメラを用いることが好ましい。
【0020】
光源部230は、撮像部220の近傍に設けられ、PTPシート600における撮像部220の撮影範囲へ光を照射するものであり、本実施の形態においては反射光を照射可能なものを用いている。
【0021】
検知部240は、PTPシート600のポケット301を検知するものであり、ポケット301を検知する度に検知信号を図示しないカウンタへ送出する。カウンタは、複数回の検知信号が入力される度に制御部210へのタイミングを示すカウントアップ信号を送出する。なお、この検知信号の数は、ブリスターパックにおける錠剤400の個数(短手方向の個数、換言すれば、PTPシート600の搬送方向の個数)に応じて設定することが好ましい。本実施の形態においては、1つのブリスターパックにおける錠剤400の数が短手方向2個×長手方向5個となるものを例にとり説明する。したがって、2回の検知信号でカウントアップ信号が送出され、PTPシート600の搬送方向に2個の錠剤分の幅をもつ画像が得られることとなる。
【0022】
次に、本実施の形態に係るPTP外観検査装置200の機能構成を、
図4を参照しつつ説明する。
図4は、本実施の形態に係るPTP外観検査装置の機能を示す機能ブロック図である。
【0023】
図4に示されるように、PTP外観検査装置200は、PTPシート600の撮影範囲を撮影する撮影処理部201と、得られた画像データを取得する画像取得部202と、取得した画像に対して後述する濃淡フィルタリング処理等の画像処理を行う画像処理部203と、画像処理した各画像に基づいて各種判定処理を行う判定処理部204と、を機能として有する。これら機能は、CPU211やメモリ212等のハードウェア資源が協働することにより実現される。なお、これら機能部の詳細な動作については後述する。
【0024】
次に、前述した各機能が協働して実行するPTP外観検査処理について、
図5を参照しつつその詳細を説明する。
図5は本実施の形態に係るPTP外観検査処理を示すフローチャートである。なお、本実施の形態に係るPTP外観検査処理は、カウントアップ信号が入力されることをトリガとして実行されるものであり、したがってカウントアップ信号が入力される度に繰り返し実行される。
【0025】
図5に示されるように、先ずカウントアップ信号が入力されると、撮影処理部201はPTPシート600を撮影する撮影処理を複数回行い、複数のカラー画像をメモリ212といった記憶領域に格納する(S101)。具体的には、撮影処理部201は、光源部230を点灯させ、撮像部220を駆動させてPTPシート600の撮影範囲を撮影する処理を複数回繰り返し、所定枚数のカラー画像を取得する。撮像部220のシャッター速度は、例えば1/4000秒である。本実施の形態においては、初回の撮影処理により得られたカラー画像を原画像として以後の処理に用いることとする。
【0026】
格納後、原画像上の錠剤部の位置を特定し、原画像上のPTPシートの重心を決定することにより検査対象領域を決定する錠剤位置決め処理が実行される(S102)。ここでの錠剤位置決め処理は、錠剤部のテンプレート画像を用いたパターンマッチングの手法等、従来の手法により錠剤位置を決めるようにすればよい。錠剤位置決め処理後、錠剤部検査処理が実行される(S103)。なお、ここでの錠剤部検査処理は、原画像の検査対象領域内の錠剤部に欠錠や錠剤の欠損があるか否か等を検査する、一般的な錠剤部の欠陥検査を行う処理であり、ここでの説明は省略する。
【0027】
錠剤部検査処理後、原画像の検査対象領域内のシート部に異物混入や所定面積以上の粉噛み等があるか否かを検査するシート部検査処理が実行される(S104)。このシート部検査処理の詳細については後述する。シート部検査処理後、判定処理部204は錠剤部検査処理およびシート部検査処理の検査結果に基づき、PTPシートを破棄すべきか否かを判定する(S105)。
【0028】
破棄すべき欠陥がある場合(S105,YES)、例えば錠剤部検査処理結果およびシート部検査処理結果の何れかが不良品という結果であれば、判定処理部204は検査対象領域の基となる原画像に対応するPTPシートを取り除くよう取り出し部170へ信号を出力し(S106)、本フローは終了となる。一方、破棄すべき欠陥がない場合(S105,NO)、例えば錠剤部検査処理結果およびシート部検査処理結果が共に良品という結果であれば、当該PTPシートを取り除くことなく本フローは終了となる。
【0029】
次に、上述したシート部検査処理について、
図6〜
図10を用いてその詳細を説明する。
図6はシート部検査処理を示すフローチャートであり、
図7(a)はカラー画像におけるテンプレート画像の位置を説明するための図であり、(b)は切り出されたテンプレート画像を説明するための図である。また、シート部検査処理にて生成される各種画像データの一例を
図8〜
図11に示す。
【0030】
図6に示されるように、先ず画像取得部202は、予めHDD213に格納していたテンプレート画像を取得する(S201)。このテンプレート画像は、カラー画像内のどの位置に検査対象領域が存在するのかを判定するための画像であり、例えば
図7(a)に示されるようなカラー画像の特徴的な領域Eを切り出し、
図7(b)に示される領域Eのみの画像としたものである。なお、
図7(a)に示されるPTPシートは、本実施の形態における検査対象のシートであり、シート部Aと錠剤部Bと共に、印刷文字Cおよび印刷文字Cと色特性上の違いがある(RGB色空間の成分またはHSL色空間の成分が異なる)印刷文字Dとが含まれている。また、符号Fで示される領域は、テンプレート画像に基づいて決定される検査対象領域を示している。なお、これらに示されるものは一例であり、当然検査対象となるPTPシートのパターンによりテンプレート画像は適宜変更される。したがって、PTP外観結果処理に先立って、検査対象となるPTPシートに応じたテンプレート画像を予め作成し、HDD213に格納しておくことが好ましい。
【0031】
テンプレート画像取得後、画像処理部203は、検査対象領域切出処理を実行する(S202)。具体的には、画像処理部203は複数のカラー画像のうちの1つを選択し、テンプレート画像とマッチングさせ、選択したカラー画像内におけるテンプレート画像と類似する箇所をサーチし、当該箇所を起点として所定の領域を検査対象領域として切り出す。これを複数のカラー画像毎に順次実行し、複数の検査対象領域を画像として生成する。なお、テンプレート画像と類似する箇所に基づく検査対象領域の範囲等は、初期条件として予めHDD213に格納されている。
【0032】
検査対象領域切出処理後、画像処理部203は、切り出した検査対象領域の各画像を対象として濃淡フィルタリング処理を実行する(S203)。濃淡フィルタリング処理は、印刷文字C,Dのうち、黒色成分の少ない色、即ち明るい色の方の印刷文字の影響を低減させたフィルタリング画像(低減画像)を生成し、適宜記憶領域に格納する処理である。具体的には、特定した色情報(色成分)が持つRGB色空間の成分を3次元ベクトルと見做し、そのベクトル成分を無くす処理(例えば外積処理)を施す処理である。例えば
図8に示される検査対象領域の画像における印刷文字Cが印刷文字Dより黒色成分が少ないのであれば、印刷文字Cを対象に濃淡フィルタリング処理を行い、印刷文字Cの所定の色情報が有するRGB色空間の成分を低減させることにより、
図9に示されるように印刷文字Cの影響が低減されたフィルタリング画像を生成することができる。なお、
図8および
図9おける符号Gは、欠陥(ここでは異物)を示している。
【0033】
なお、ここでの初期条件、例えばどの印刷文字のRGB色空間の成分を低減させるか等の条件は、予め設定されHDD213等の記憶領域に格納されており、画像処理部203は濃淡フィルタリング処理時に当該条件を読み出す。また、
図9に示すように、濃淡フィルタリング処理により錠剤部や欠陥Gの色成分が低減されたとしても、欠陥Gが含まれていればよい。
【0034】
濃淡フィルタリング処理後、画像処理部203は、欠陥検出用パターン生成処理を実行する(S204)。欠陥検出用パターン生成処理は、
図10(a)に示されるようなフィルタリング画像よりも濃度的に小さい情報を有する、暗欠陥候補を検出するための暗欠陥検出用パターン画像と、
図10(b)に示されるようなフィルタリング画像よりも濃度的に大きい情報を有する、明欠陥候補を検出するための明欠陥検出用パターン画像とを作成する処理である。濃度的に小さい/大きいとは、RGB色空間の何れかの成分濃度、HSL色空間の何れかの成分濃度、またはそれらの複数の成分濃度が小さい/大きいことを示しており、この情報とは例えばその成分値である。この欠陥検出用パターン生成処理の詳細については後述する。
【0035】
欠陥検出用パターン生成処理後、画像処理部203は、濃淡フィルタリング処理により生成された原画像のフィルタリング画像と、欠陥検出用パターン生成処理により生成された暗欠陥検出用パターン画像および明欠陥検出用パターン画像とに基づいて、2つの二値化画像を生成する(S205)。具体的には、画像処理部203は、フィルタリング画像と暗欠陥検出用パターン画像との差分をとったものを二値化処理し、第1二値化画像を生成すると共に、フィルタリング画像と明欠陥検出用パターン画像との差分をとったものを二値化処理し、第2二値化画像を生成する。
【0036】
2つの二値化画像生成後、画像処理部203は第1二値化画像と第2二値化画像との論理和をとり、欠陥候補画像を生成する(S206)。欠陥候補画像は、
図11に示されるように欠陥候補のみが白色で示される二値化画像であり、この画像から各欠陥候補が欠陥であるか否かを適切に判定することができる。
【0037】
欠陥候補画像生成後、画像処理部203は、各欠陥候補の位置を検出するために欠陥候補画像に対してラベリング処理を行い、ラベリング処理結果として、各欠陥候補に番号と座標位置が設定される(S207)。ラベリング処理後、画像処理部203は、欠陥候補画像に基づいて、当該画像上の各欠陥候補の面積を算出し(S208)、これをラベリング処理結果と紐づけしてHDD213に格納する。格納後、後述する欠陥判定処理が実行され(S209)、本フローは終了となる。なお、ステップS207のラベリング処理において、欠陥候補画像に当該処理の対象となる欠陥候補がない場合(例えば画像のドット数が0)、ステップS208の欠陥候補面積の算出処理およびステップS209の欠陥判定処理がなされずに本フローを終了とすることが好ましい。
【0038】
次に、上述した欠陥検出用パターン生成処理について、
図12を用いてその詳細を説明する。
図12は、欠陥検出用パターン生成処理を示すフローチャートである。
【0039】
図12に示されるように、先ず画像取得部202は、格納されている複数の検査対象領域の画像のうち、初回に撮影されたカラー画像(原画像)に対応するフィルタリング画像を第1比較用画像として取得すると共に、その次に撮影されたカラー画像(原画像と同様のPTPシートを撮影したもの)に対応するフィルタリング画像を第2比較用画像として取得する(S301)。
【0040】
取得後、画像処理部203は、第1比較用画像と第2比較用画像とを比較し、濃度的に小さい情報に置き換えて低濃度置換画像を生成すると共に、濃度的に大きい情報に置き換えて高濃度置換画像とを生成する(S302)。具体的には、画像処理部203は、第1比較用画像および第2比較用画像における同位置の一画素毎に、どちらの方が濃度的に小さいかを判定し、濃度的に小さい方の画素を別画像の画素として抽出し、これを全画素繰り返すことにより低濃度置換画像を生成する。これにより低濃度置換画像は、第1および第2比較用画像の基となるフィルタリング画像と比較して濃度的に小さい情報を有するものとなる。同様にして、画像処理部203は、第1比較用画像および第2比較用画像における同位置の一画素毎に、どちらの方が濃度的に大きいかを判定し、濃度的に大きい方の画素を別画像の画素として抽出し、これを全画素繰り返すことにより高濃度置換画像を生成する。
【0041】
濃度置換画像生成処理後、判定処理部204は、全てのフィルタリング画像を選択したか否か、換言すれば全てのフィルタリング画像を対象に濃度置換画像生成処理を実行したか否かを判定し(S303)、全てのフィルタリング画像を選択していない場合(S303,NO)、画像取得部202は、直近の処理により得られた低濃度置換画像と高濃度置換画像とをそれぞれ第1比較用画像として設定し(S304)、次に撮影されたカラー画像(原画像と同様のPTPシートを撮影したもの)に対応する未取得のフィルタリング画像を第2比較用画像として取得し(S305)、ステップS302の濃度置換画像生成処理へ移行する。なお、以降の濃度置換画像生成処理においては、低濃度置換画像の第1比較用画像と新たな第2比較用画像とが比較され、新たな低濃度置換画像が生成され、高濃度置換画像の第1比較用画像と新たな第2比較用画像とが比較され、新たな高濃度置換画像が生成されることとなる。
【0042】
一方、全てのカラー画像を選択した場合(S303,YES)、判定処理部204は、複数ある低濃度置換画像の中から最も濃度的に小さい情報を有する画像を暗欠陥検出用パターン画像とし、複数ある高濃度置換画像の中から最も濃度的に大きい情報を有する画像を明欠陥検出用パターン画像とし(S306)、本フローは終了となる。
【0043】
次に、欠陥判定処理について、
図13を用いてその詳細を説明する。
図13は欠陥判定処理を示すフローチャートである。
図13に示されるように、判定処理部204は、ラベリングがなされた欠陥候補のうちの1つを選択し(S401)、選択した欠陥候補に紐づけられている面積の値が所定の閾値以下であるか否かを判定する(S402)。ここでの閾値は例えば10〜20cm
2等、錠剤400やPTPシート600の種類に応じて適宜設定することが好ましい。選択した欠陥候補が閾値以下である場合(S402,YES)、判定処理部204は当該欠陥候補が欠陥でないと判定し、欠陥候補画像内の欠陥候補の全てを判定したか否かを判定する(S403)。欠陥候補の全ての判定を終えていれば(S403,YES)、判定処理部204は、欠陥候補画像に対応するPTPシートのシート部に欠陥はなく、当該PTPシートは良品であると判定し(S404)、本フローは終了となる。
【0044】
一方、欠陥候補の全てを判定し終えていなければ(S403,NO)、判定処理部204は、ステップS401の欠陥候補選択の処理に移行して次の欠陥候補を選択する。また、ステップS402において、選択した欠陥候補が閾値以下でない場合(S402,NO)、判定処理部204は選択した欠陥候補が欠陥であると判定し、欠陥候補画像に対応するPTPシート600が不良品であると判定し(S405)、本フローは終了となる。
【0045】
以上に説明した本実施の形態によれば、濃淡フィルタリング処理により得られるフィルタリング画像に基づいて暗欠陥検出用パターン画像と明欠陥検出用パターン画像とを生成するため、色成分の異なる2種の印刷文字の影響をそれぞれ低減することができ、よって、これらの差分の2つの二値化画像から得られる二値化画像においては欠陥候補のみを示すことができる。したがって、本実施の形態によれば、
図8に示されるような多色刷りのパターン印刷がなされたPTPシートであっても、
図11に示されるような欠陥候補のみが示される画像を生成することができるため、精度良く欠陥候補、延いては欠陥の検出を行うことができる。
【0046】
なお、本実施の形態においては、PTP外観検査処理にステップS101の撮影処理が含まれているが、これを必ずしも含める必要はない。既に撮影された複数のカラー画像さえ取得できれば、錠剤位置決め処理を含め他の処理を実行することができる。この場合、撮像部220、光源部230、検知部240を別装置としてPTP外観検査装置200から除き、制御部210をPTP外観検査装置とすることができる。
【0047】
また、本実施の形態においては、検知部240のカウントアップ信号に応じてPTP外観検査処理が実行されると説明したが、検知部240を廃して、PTPシート600の搬送速度に対応して、例えば300ms毎にカウントアップ信号が入力されてPTP外観検査処理が実行されるようにしてもよい。
【0048】
また、ステップS102の錠剤位置決め処理においては、原画像の重心位置を決定した後に検査対象領域を決定している。しかしながら、ここで原画像以外の複数のカラー画像に対しても同様の錠剤位置決め処理を行い、検査対象領域を得るようにしてもよい。その場合、ステップS201のテンプレート画像取得処理、ステップS202の検査対象領域切出処理の各処理を省くことができる。
【0049】
また、実施の形態にて述べた各種ステップを、シート検査プログラムとして、
図14に示されるような、コンピュータにより読み取り可能な可搬型の記録媒体9に記憶させ、当該記録媒体9を撮像部220、光源部230、および検知部240と直接的またはネットワークを介する等して間接的に連結された情報処理装置10等に読み込ませることにより、前述した機能を情報処理装置10に実現させることができる。記録媒体9としては、例えば、光ディスク(CD−ROM、DVDディスク等)、磁気ディスク(ハードディスクドライブ等)、フラッシュメモリ、ICカード、更にネットワークを介することで伝送可能な媒体等、コンピュータで読み取りや実行が可能な全ての媒体が含まれる。
【0050】
本発明は、その精神または主要な特徴から逸脱することなく、他の様々な形で実施することができる。そのため、前述の実施の形態は、あらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。更に、特許請求の範囲の均等範囲に属する全ての変形、様々な改良、代替および改質は、全て本発明の範囲内のものである。
【0051】
なお、特許請求の範囲に記載の撮影画像取得部は、例えば前述の実施の形態における画像取得部202に対応し、低減画像生成部、パターン画像生成部、および欠陥候補画像生成部は例えば画像処理部203および判定処理部204に対応する。対象物は例えば錠剤400に対応し、シート状物は例えばPTPシート600に対応する。