(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-02
(45)【発行日】2024-10-10
(54)【発明の名称】領域判定方法、錠剤検査方法、および錠剤検査装置
(51)【国際特許分類】
G06T 7/11 20170101AFI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
【FI】
G06T7/11
G06T7/00 610
(21)【出願番号】P 2021075806
(22)【出願日】2021-04-28
【審査請求日】2023-12-18
(73)【特許権者】
【識別番号】000207551
【氏名又は名称】株式会社SCREENホールディングス
(74)【代理人】
【識別番号】100135013
【氏名又は名称】西田 隆美
(72)【発明者】
【氏名】久保 友輔
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開2019-124519(JP,A)
【文献】国際公開第2019/138930(WO,A1)
【文献】特許第6491776(JP,B1)
【文献】米国特許第08712163(US,B1)
【文献】松田 晋也,高速3D計測を搭載した錠剤外観検査装置,画像ラボ,日本,日本工業出版株式会社,2015年07月10日,第26巻 第7号,pp.61~66
【文献】インクジェット式錠剤印刷機「OMNITO」の外観検査の紹介,月刊画像ラボ別冊 医薬品製造における自動外観検査 技術・装置ガイド ,日本,日本工業出版株式会社,2020年10月10日,p.36
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
G06V 10/00 - 20/90
G06V 30/418
G06V 40/16
G06V 40/20
CSDB(日本国特許庁)
(57)【特許請求の範囲】
【請求項1】
上面および側面を有する錠剤の撮影画像における領域判定方法であって、
a)前記撮影画像の各ピクセルを、輝度値に基づくクラスタリングにより、前記上面に相当する第1上面領域と、前記側面に相当する第1側面領域と、背景に相当する第1背景領域と、の3つの領域に分類する工程と、
b)前記工程a)の後に、前記第1上面領域を、前記第1側面領域側へ膨張させることにより、前記錠剤の全体に相当する第1全体領域を生成する工程と、
c)前記工程b)の後に、前記第1全体領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記錠剤の全体に相当する第2全体領域を決定する工程と、
d)前記工程c)の後に、前記第2全体領域を、前記第1上面領域側へ収縮させることにより、前記上面に相当する第2上面領域を生成する工程と、
e)前記工程d)の後に、前記第2上面領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記上面に相当する第3上面領域を決定する工程と、
を有する、領域判定方法。
【請求項2】
請求項1に記載の領域判定方法であって、
f)前記工程e)の後に、前記第2全体領域と前記第3上面領域の排他的論理和をとることにより、前記側面に相当する第2側面領域を決定する工程
をさらに有する、領域判定方法。
【請求項3】
請求項1または請求項2に記載の領域判定方法であって、
前記工程a)では、前記撮影画像の各ピクセルを、k-meansクラスタリングにより、前記第1上面領域、前記第1側面領域、および前記第1背景領域に分類する、領域判定方法。
【請求項4】
請求項1から請求項3までのいずれか1項に記載の領域判定方法であって、
前記工程c)および前記工程e)では、前記輝度勾配を∇l、関数g(x)をg(x)=exp(-√x)、境界の長さをlength(C)、αを定数として、
【数1】
で表されるエネルギーEが最小となる境界線Cを求める、領域判定方法。
【請求項5】
錠剤を検査する錠剤検査方法であって、
A)錠剤の撮影画像を取得する工程と、
B)請求項1から請求項4までのいずれか1項に記載の領域判定方法により、前記撮影画像中の検査領域を判定する工程と、
C)前記撮影画像の前記検査領域を検査する工程と、
を有する、錠剤検査方法。
【請求項6】
上面および側面を有する錠剤を検査する錠剤検査装置であって、
錠剤の撮影画像を取得する撮像部と、
前記撮影画像中の検査領域を判定する領域判定部と、
前記撮影画像の前記検査領域を検査する検査部と、
を備え、
前記領域判定部は、
a)前記撮影画像の各ピクセルを、輝度値に基づくクラスタリングにより、前記上面に相当する第1上面領域と、前記側面に相当する第1側面領域と、背景に相当する第1背景領域と、の3つの領域に分類する工程と、
b)前記工程a)の後に、前記第1上面領域を、前記第1側面領域側へ膨張させることにより、前記錠剤の全体に相当する第1全体領域を生成する工程と、
c)前記工程b)の後に、前記第1全体領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記錠剤の全体に相当する第2全体領域を決定する工程と、
d)前記工程c)の後に、前記第2全体領域を、前記第1上面領域側へ収縮させることにより、前記上面に相当する第2上面領域を生成する工程と、
e)前記工程d)の後に、前記第2上面領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記上面に相当する第3上面領域を決定する工程と、
を実行し、前記第3上面領域を前記検査領域とする、錠剤検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、錠剤の撮影画像における領域判定方法、錠剤を検査する錠剤検査方法、および錠剤を検査する錠剤検査装置に関する。
【背景技術】
【0002】
従来、医薬品やサプリメントなどの錠剤の表面に、文字やマークなどの画像を、インクジェット方式で印刷する錠剤印刷装置が知られている。錠剤印刷装置は、コンベア等により錠剤を搬送しつつ、錠剤に向けてインク滴を吐出することにより、錠剤の表面に画像を印刷する。また、錠剤印刷装置は、印刷前または印刷後の錠剤を撮影し、得られた撮影画像に基づいて、錠剤の外観検査を行う。
【0003】
従来の錠剤印刷装置については、例えば、特許文献1に記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
錠剤の外観検査では、錠剤の上面と側面とを、異なるパラメータで検査する場合がある。また、錠剤の上面および側面のうち、上面のみを検査する場合もある。このため、錠剤の撮影画像において、錠剤の上面に相当する領域と、錠剤の側面に相当する領域とを、区別する必要がある。上記の特許文献1では、エッジの検出を行うことにより、錠剤の上面に相当する領域と錠剤の側面に相当する領域との境界を、特定している。しかしながら、エッジの検出を利用する場合、閾値の調整が難しいという問題がある。
【0006】
本発明は、このような事情に鑑みなされたものであり、撮影画像に含まれる錠剤の上面領域を、エッジ検出に依存することなく判定できる技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本願の第1発明は、上面および側面を有する錠剤の撮影画像における領域判定方法であって、a)前記撮影画像の各ピクセルを、輝度値に基づくクラスタリングにより、前記上面に相当する第1上面領域と、前記側面に相当する第1側面領域と、背景に相当する第1背景領域と、の3つの領域に分類する工程と、b)前記工程a)の後に、前記第1上面領域を、前記第1側面領域側へ膨張させることにより、前記錠剤の全体に相当する第1全体領域を生成する工程と、c)前記工程b)の後に、前記第1全体領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記錠剤の全体に相当する第2全体領域を決定する工程と、d)前記工程c)の後に、前記第2全体領域を、前記第1上面領域側へ収縮させることにより、前記上面に相当する第2上面領域を生成する工程と、e)前記工程d)の後に、前記第2上面領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記上面に相当する第3上面領域を決定する工程と、を有する。
【0008】
本願の第2発明は、第1発明の領域判定方法であって、f)前記工程e)の後に、前記第2全体領域と前記第3上面領域の排他的論理和をとることにより、前記側面に相当する第2側面領域を決定する工程をさらに有する。
【0009】
本願の第3発明は、第1発明または第2発明の領域判定方法であって、前記工程a)では、前記撮影画像の各ピクセルを、k-meansクラスタリングにより、前記第1上面領域、前記第1側面領域、および前記第1背景領域に分類する。
【0010】
本願の第4発明は、第1発明から第3発明までのいずれか1発明の領域判定方法であって、前記工程c)および前記工程e)では、後述する数式(1)で表されるエネルギーEが最小となる境界線Cを求める。
【0011】
本願の第5発明は、錠剤を検査する錠剤検査方法であって、A)錠剤の撮影画像を取得する工程と、B)請求項1から請求項4までのいずれか1項に記載の領域判定方法により、前記撮影画像中の検査領域を判定する工程と、C)前記撮影画像の前記検査領域を検査する工程と、を有する。
【0012】
本願の第6発明は、上面および側面を有する錠剤を検査する錠剤検査装置であって、錠剤の撮影画像を取得する撮像部と、前記撮影画像中の検査領域を判定する領域判定部と、前記撮影画像の前記検査領域を検査する検査部と、を備え、前記領域判定部は、a)前記撮影画像の各ピクセルを、輝度値に基づくクラスタリングにより、前記上面に相当する第1上面領域と、前記側面に相当する第1側面領域と、背景に相当する第1背景領域と、の3つの領域に分類する工程と、b)前記工程a)の後に、前記第1上面領域を、前記第1側面領域側へ膨張させることにより、前記錠剤の全体に相当する第1全体領域を生成する工程と、c)前記工程b)の後に、前記第1全体領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記錠剤の全体に相当する第2全体領域を決定する工程と、d)前記工程c)の後に、前記第2全体領域を、前記第1上面領域側へ収縮させることにより、前記上面に相当する第2上面領域を生成する工程と、e)前記工程d)の後に、前記第2上面領域を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、前記上面に相当する第3上面領域を決定する工程と、を実行し、前記第3上面領域を前記検査領域とする。
【発明の効果】
【0013】
本願の第1発明~第6発明によれば、エッジ検出に依存することなく、撮影画像に含まれる錠剤の上面領域を判定できる。また、クラスタリングのみで判定する場合よりも精度よく、錠剤の上面領域を判定できる。
【0014】
特に、本願の第2発明によれば、エッジ検出に依存することなく、撮影画像に含まれる錠剤の側面領域を判定できる。また、クラスタリングのみで判定する場合よりも精度よく、錠剤の側面領域を判定できる。
【図面の簡単な説明】
【0015】
【
図4】コンピュータと、錠剤印刷装置の各部との電気的接続を示したブロック図である。
【
図5】錠剤の外観検査に関するコンピュータの機能を、概念的に示したブロック図である。
【
図6】領域判定処理の手順を示したフローチャートである。
【
図8】撮影画像を構成する複数のピクセルの輝度値の分布を示したヒストグラムである。
【
図9】ステップS1の処理の様子を示した図である。
【
図10】ステップS2の処理の様子を示した図である。
【
図11】ステップS3の処理の様子を示した図である。
【
図12】ステップS4の処理の様子を示した図である。
【
図13】ステップS5の処理の様子を示した図である。
【
図14】ステップS6の処理の様子を示した図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態について、図面を参照しつつ説明する。なお、以下の説明においては、複数の錠剤が搬送される方向を「搬送方向」と称し、搬送方向に対して垂直かつ水平な方向を「幅方向」と称する。
【0017】
<1.印刷装置の全体構成>
図1は、本発明の一実施形態に係る錠剤検査装置を含む錠剤印刷装置1の構成を示した図である。この錠剤印刷装置1は、複数の錠剤9を搬送しながら、各錠剤9の表面に、製品名、製品コード、重量、成分含有量、会社名、ロゴマーク等の画像を印刷する装置である。
図1に示すように、本実施形態の錠剤印刷装置1は、搬送機構10、第1撮像部20、印刷部30、第2撮像部40、不良品排出部50、良品排出部60、およびコンピュータ70を備えている。
【0018】
搬送機構10は、複数の錠剤9を整列した状態で保持しつつ搬送する機構である。搬送機構10は、一対のプーリ11と、一対のプーリ11の間に架け渡された環状の搬送ベルト12とを有する。錠剤印刷装置1に投入された複数の錠剤9は、振動フィーダや搬送ドラム等により構成される搬入機構80によって、等間隔に整列されるとともに、搬送ベルト12の表面に供給される。一対のプーリ11の一方は、搬送用モータ13から得られる動力により回転する。これにより、搬送ベルト12が、
図1中の矢印の方向に回動する。このとき、一対のプーリ11の他方は、搬送ベルト12の回動に伴い従動回転する。
【0019】
図2は、搬送機構10の部分斜視図である。
図2に示すように、搬送ベルト12には、複数の吸着孔14が設けられている。複数の吸着孔14は、搬送方向および幅方向に、等間隔に配列されている。また、
図1に示すように、搬送機構10は、搬送ベルト12の内側の空間から気体を吸い出す吸引機構15を有する。吸引機構15を動作させると、搬送ベルト12の内側の空間が、大気圧よりも低い負圧となる。複数の錠剤9は、この負圧によって、吸着孔14に吸着保持される。
【0020】
このように、複数の錠剤9は、搬送ベルト12の表面に、搬送方向および幅方向に整列した状態で保持される。そして、搬送機構10は、搬送ベルト12を回動させることによって、複数の錠剤9を搬送方向に搬送する。後述する4つのヘッド31の下方では、複数の錠剤9は、水平方向に搬送される。
【0021】
第1撮像部20は、印刷前の錠剤9の撮影画像を取得する部位である。第1撮像部20は、搬入機構80よりも搬送経路の下流側かつ後述する印刷位置P2よりも搬送経路の上流側の第1撮像位置P1において、搬送ベルト12により搬送される複数の錠剤9を撮影する。第1撮像部20には、例えば、CCDやCMOS等の撮像素子が幅方向に配列されたラインセンサが用いられる。ただし、第1撮像部20は、エリアセンサ等の他の撮像装置であってもよい。
【0022】
錠剤9は、円形の上面および下面と、円筒状の側面とを有する。錠剤9の下面は、搬送ベルト12の吸着孔14に吸着される。第1撮像部20は、複数の錠剤9を、斜め上方から撮影する。したがって、第1撮像部20により得られる錠剤9の撮影画像には、錠剤9の上面および側面が写る。
【0023】
撮影により取得された撮影画像は、第1撮像部20からコンピュータ70へ送信される。コンピュータ70は、第1撮像部20から送信された撮影画像に基づいて、各吸着孔14における錠剤9の有無、錠剤9の位置、錠剤9の回転角度、および錠剤9に欠け等の欠陥が無いかどうか等を検査する。
【0024】
印刷部30は、第1撮像位置P1よりも搬送経路の下流側かつ後述する第2撮像位置P3よりも搬送経路の上流側の印刷位置P2において、錠剤9の表面に、インクジェット方式で画像を印刷する処理部である。
図1に示すように、本実施形態の印刷部30は、4つのヘッド31を有する。4つのヘッド31は、搬送ベルト12の上方に位置し、錠剤9の搬送方向に沿って、一列に配置されている。4つのヘッド31は、錠剤9の表面に向けて、互いに異なる色(例えば、シアン、マゼンタ、イエロー、およびブラックの各色)のインク滴を吐出する。すると、これらの各色により形成される単色画像の重ね合わせによって、錠剤9の表面に、多色画像が印刷される。なお、各ヘッド31から吐出されるインクには、日本薬局方、食品衛生法等で認可された原料により製造された可食性インクが使用される。
【0025】
図3は、1つのヘッド31の下面図である。
図3には、搬送ベルト12と、搬送ベルト12に保持された複数の錠剤9とが、二点鎖線で示されている。
図3中に拡大して示したように、ヘッド31の下面である吐出面310には、インク滴を吐出可能な複数のノズル311が設けられている。本実施形態では、ヘッド31の下面に、複数のノズル311が、搬送方向および幅方向に二次元的に配列されている。各ノズル311は、幅方向に位置をずらして配列されている。このように、複数のノズル311を二次元的に配置すれば、各ノズル311の幅方向の位置を、互いに接近させることができる。ただし、複数のノズル311は、幅方向に沿って一列に配列されていてもよい。
【0026】
ノズル311からのインク滴の吐出方式には、例えば、ピエゾ素子に電圧を加えて変形させることにより、ノズル311内のインクを加圧して吐出する、いわゆるピエゾ方式が用いられる。ただし、インク滴の吐出方式は、ヒータに通電してノズル311内のインクを加熱膨張させることにより吐出する、いわゆるサーマル方式であってもよい。
【0027】
第2撮像部40は、印刷後の錠剤9の撮影画像を取得する部位である。第2撮像部40は、印刷位置P2よりも搬送経路の下流側かつ後述する不良品排出位置P4よりも搬送経路の上流側の第2撮像位置P3において、搬送ベルト12により搬送される複数の錠剤9を撮影する。第2撮像部40には、例えば、CCDやCMOS等の撮像素子が幅方向に配列されたラインセンサが用いられる。ただし、第2撮像部40は、エリアセンサ等の他の撮像装置であってもよい。
【0028】
第2撮像部40は、複数の錠剤9を、斜め上方から撮影する。したがって、第2撮像部40により得られる錠剤9の撮影画像には、錠剤9の上面および側面が写る。撮影により取得された撮影画像は、第2撮像部40からコンピュータ70へ送信される。コンピュータ70は、第2撮像部40から送信された撮影画像に基づいて、錠剤9の表面に形成された印刷画像の良否を検査する。
【0029】
不良品排出部50は、第2撮像位置P3よりも搬送経路の下流側かつ後述する良品排出位置P5よりも搬送経路の上流側の不良品排出位置P4において、不良品と判定された錠剤9を排出する部位である。不良品排出部50は、搬送ベルト12の内側に配置された不良品ブロー機構51と、不良品ブロー機構51から搬送ベルト12をはさんで下方に配置された不良品回収部52とを有する。不良品ブロー機構51は、搬送ベルト12の複数の吸着孔14のうち、不良品と判定された錠剤9を保持する吸着孔14のみに、気体を吹き付ける。そうすると、当該吸着孔14が、大気圧よりも高い陽圧となる。これにより、当該吸着孔14における錠剤9の吸着が解除され、搬送ベルト12から不良品回収部52へ、不良品と判定された錠剤9が落下する。
【0030】
良品排出部60は、不良品排出位置P4よりも搬送経路の下流側の良品排出位置P5において、良品と判定された錠剤9を排出する部位である。良品排出部60は、搬送ベルト12の内側に配置された良品ブロー機構61と、良品ブロー機構61から搬送ベルト12をはさんで下方に配置された良品回収部62とを有する。良品ブロー機構61は、搬送ベルト12の複数の吸着孔14へ向けて、気体を吹き付ける。そうすると、当該吸着孔14が、大気圧よりも高い陽圧となる。これにより、当該吸着孔14における錠剤9の吸着が解除され、搬送ベルト12から良品回収部62へ、良品と判定された錠剤9が落下する。
【0031】
<2.コンピュータについて>
コンピュータ70は、錠剤印刷装置1内の各部の動作制御と、撮影画像に基づく錠剤9の外観検査と、を行う情報処理装置である。
図4は、コンピュータ70と、錠剤印刷装置1の各部との電気的接続を示したブロック図である。
図4中に概念的に示したように、コンピュータ70は、CPU等のプロセッサ701、RAM等のメモリ702、およびハードディスクドライブ等の記憶部703を有する。記憶部703内には、印刷処理および外観検査を実行するためのコンピュータプログラムCPが、記憶されている。第1撮像部20および第2撮像部40から送信される錠剤9の撮影画像は、錠剤9ごとに分割されて、記憶部703に記憶される。
【0032】
コンピュータ70は、上述した搬送機構10、第1撮像部20、4つのヘッド31、第2撮像部40、不良品ブロー機構51、良品ブロー機構61、および搬入機構80と、有線または無線により通信可能に接続されている。コンピュータ70は、コンピュータプログラムCPに従って、これらの各部を動作制御する。
【0033】
図5は、錠剤9の外観検査に関するコンピュータ70の機能を、概念的に示したブロック図である。
図5に示すように、コンピュータ70は、第1領域判定部71、第1検査部72、印刷指示部73、第2領域判定部74、第2検査部75、および排出指示部76を有する。第1領域判定部71、第1検査部72、印刷指示部73、第2領域判定部74、第2検査部75、および排出指示部76の各機能は、コンピュータ70のプロセッサ701が、コンピュータプログラムCPに従って動作することにより実現される。
【0034】
第1領域判定部71は、第1撮像部20から送信された撮影画像(以下「第1撮影画像I1」と称する)から、検査対象となる領域を判定する。本実施形態では、錠剤9の上面および側面を印刷前の検査対象とする。したがって、第1領域判定部71は、第1撮影画像I1のうち、錠剤9の上面に相当する領域と、錠剤9の側面に相当する領域とを、検査領域として判定する。そして、第1領域判定部71は、判定された検査領域を示す第1検査領域情報D1を、第1検査部72へ出力する。領域判定の詳細な方法については、後述する。
【0035】
第1検査部72は、第1撮影画像I1に基づいて、印刷前の錠剤9の検査を行う。具体的には、第1検査部72は、第1撮影画像I1に基づいて、各吸着孔14における錠剤9の有無、錠剤9の位置、錠剤9の回転角度、および錠剤9に欠け等の欠陥が無いかどうか等を検査する。このとき、第1検査部72は、第1撮影画像I1のうち、第1検査領域情報D1により指定される検査領域について、欠陥の有無を検査する。そして、第1検査部72は、検査結果D2を、印刷指示部73および排出指示部76へ出力する。
【0036】
印刷指示部73は、印刷部30の動作を制御する。印刷指示部73は、第1検査部72の検査結果D2に基づいて、錠剤9に対する印刷の可否、印刷すべき位置、および印刷の角度を判断する。そして、印刷指示部73は、その判断結果に基づいて、複数のヘッド31へ印刷指示D3を出力する。複数のヘッド31は、印刷指示D3により指定されるノズル311から、指定されたタイミングで、インク滴を吐出する。これにより、錠剤9の上面に画像が印刷される。
【0037】
第2領域判定部74は、第2撮像部40から送信された撮影画像(以下「第2撮影画像I2」と称する)から、検査対象となる領域を判定する。本実施形態では、錠剤9の上面および側面を印刷後の検査対象とする。したがって、第2領域判定部74は、第2撮影画像I2のうち、錠剤9の上面に相当する領域と、錠剤9の側面に相当する領域とを、検査領域として判定する。そして、第2領域判定部74は、判定された検査領域を示す第2検査領域情報D4を、第2検査部75へ出力する。領域判定の詳細な方法については、後述する。
【0038】
第2検査部75は、第2撮影画像I2に基づいて、印刷後の錠剤9の検査を行う。具体的には、第2検査部75は、第2撮影画像I2に基づいて、錠剤9の上面に形成された印刷画像が正常か否か、および、錠剤9に新たな欠陥が無いかどうか等を検査する。このとき、第2検査部75は、第2撮影画像I2のうち、第2検査領域情報D4により指定される領域について、印刷画像の良否および欠陥の有無を検査する。そして、第2検査部75は、検査結果D5を、排出指示部76へ出力する。
【0039】
排出指示部76は、不良品排出部50の動作を制御する。排出指示部76は、第1検査部72の検査結果D2および第2検査部75の検査結果D5に基づいて、錠剤9が良品であるか不良品であるかを判断する。そして、排出指示部76は、錠剤9が不良品であると判断した場合には、不良品排出部50へ排出指示D6を出力する。これにより、不良品ブロー機構51が動作して、不良品と判断された錠剤9が、不良品回収部52へ排出される。また、排出指示部76は、錠剤9が良品であると判断した場合には、不良品排出部50へ排出指示D6を出力しない。この場合、良品と判断された錠剤9は、不良品排出位置P4を通過して良品排出位置P5まで搬送される。そして、良品ブロー機構61が動作することにより、良品と判断された錠剤9が、良品回収部62へ排出される。
【0040】
<3.撮影画像の領域判定について>
上述の通り、コンピュータ70の第1領域判定部71および第2領域判定部74は、撮影画像中の検査対象となる領域を判定する。以下では、この領域判定処理の詳細について、説明する。なお、以下では、第1撮像部20または第2撮像部40により取得された撮影画像を「撮影画像I」とする。撮影画像Iは、第1撮影画像I1であってもよく、第2撮影画像I2であってもよい。
【0041】
図6は、領域判定処理の手順を示したフローチャートである。
図6に示すように、コンピュータ70は、まず、撮影画像Iを構成する複数のピクセルを、輝度値に基づくクラスタリングにより、3つの領域に分類する(ステップS1)。
【0042】
図7は、撮影画像Iの例を示した図である。
図8は、撮影画像Iを構成する複数のピクセルの輝度値の分布を示したヒストグラムである。
図8のヒストグラムにおいて、横軸は輝度値であり、縦軸はピクセル数である。
図7および
図8に示すように、錠剤9の撮影画像Iでは、錠剤9の上面の輝度値が、最も高くなる傾向がある(
図8の符号L1の部分)。また、錠剤9の撮影画像Iでは、錠剤9の側面の輝度値が、上面の次に高くなる傾向がある(
図8の符号L2の部分)。また、錠剤9の撮影画像Iでは、背景の輝度値が、最も低くなる傾向がある(
図8の符号L3の部分)。
【0043】
ステップS1では、この輝度値の傾向を利用して、撮影画像Iに含まれる複数のピクセルを、3つの領域に分類する。具体的には、コンピュータ70が、撮影画像Iに含まれる複数のピクセルを、k-meansクラスタリングにより、錠剤9の上面に相当する第1上面領域A11と、錠剤9の側面に相当する第1側面領域A21と、背景に相当する第1背景領域A31と、の3つの領域に分類する。
【0044】
k-meansクラスタリングについてより詳細に説明すると、コンピュータ70は、まず、撮影画像Iに含まれる複数のピクセルを、ランダムに、または所定の法則に従って、3つのクラスタに分類する。次に、コンピュータ70は、各クラスタに属する複数のピクセルの輝度値の平均値を求める。その後、各ピクセルの輝度値と、3つのクラスタの上記平均値との差を求める。そして、各ピクセルを、上記の差が最も小さいクラスタに分類し直す。コンピュータ70は、このような処理を、ピクセルの分類結果が変動しなくなるまで、あるいは、所定の終了条件を満たすまで繰り返す。その結果、
図9のように、撮影画像Iに含まれる複数のピクセルが、最も輝度値が高いピクセル群である第1上面領域A11と、その次に輝度値が高いピクセル群である第1側面領域A21と、最も輝度値が低いピクセル群である第1背景領域A31と、に分類される。
【0045】
このステップS1では、撮影画像Iが、錠剤9の上面、錠剤9の側面、および背景の3つの領域に、概ね分類される。ただし、光の反射などの影響で、一部のピクセルが誤ったクラスタに分類される場合がある。特に、錠剤9の側面に相当するピクセルは、誤ったクラスタに分類される場合が多い。そこで、3つの領域をより精度良く判別するために、コンピュータ70は、以下のステップS2~S6の処理を行う。
【0046】
ステップS1が終了すると、コンピュータ70は、錠剤9の全体に相当する第1全体領域A41を生成する(ステップS2)。ここでは、上述した3つの領域A11,A21,A31のうち、比較的安定した分類結果を得やすい第1上面領域A11に基づいて、第1全体領域A41を生成する。
図10は、ステップS2の処理の様子を示した図である。
図10では、膨張前の第1上面領域A11が破線で示され、膨張後の第1全体領域A41が実線で示されている。
図10のように、コンピュータ70は、略楕円形状の第1上面領域A11を、短径方向に沿って、第1側面領域A21側へ膨張させる。このとき、コンピュータ70は、予め記憶部703に記憶された膨張率を使用して、第1上面領域A11を膨張させる。これにより、概ね錠剤9の全体形状に沿った第1全体領域A41が生成される。
【0047】
続いて、コンピュータ70は、錠剤9の全体に相当し、かつ、第1全体領域A41よりも精密な第2全体領域A42を決定する(ステップS3)。ここでは、ステップS2で得られた第1全体領域A41を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、第2全体領域A42を決定する。
図11は、ステップS3の処理の様子を示した図である。
図11では、教示ラベルとなる第1全体領域A41が破線で示され、領域分割手法により決定される第2全体領域A42が実線で示されている。
【0048】
このステップS3では、コンピュータ70は、撮影画像Iの第1全体領域A41の輪郭線の近傍において、次の数式(1)で表されるエネルギーEが最小となる閉曲線である境界線Cを求める。
【0049】
【0050】
なお、数式(1)において、∇lは輝度値の変化率(輝度勾配)であり、length(C)は境界線Cの長さであり、αは定数である。また、関数g(x)は、g(x)=exp(-√x)と定義する。したがって、輝度勾配の大きさ|∇l|が大きくなるとg(|∇l|)は小さくなる。すなわち、このステップS3では、境界線Cの長さが過大とならないよう制限しつつ、輝度勾配が最大となる境界線Cを求める。そして、コンピュータ70は、求められた閉曲線である境界線Cにより囲まれる領域を、第2全体領域A42として決定する。
【0051】
続いて、コンピュータ70は、ステップS3で得られた第2全体領域A42を収縮させることにより、錠剤9の上面に相当する第2上面領域A12を生成する(ステップS4)。
図12は、ステップS4の処理の様子を示した図である。
図12では、収縮前の第2全体領域A42が破線で示され、収縮後の第2上面領域A12が実線で示されている。
図12のように、コンピュータ70は、略楕円形状の第2全体領域A42を、短径方向に沿って、第1上面領域A11側へ収縮させる。このとき、コンピュータ70は、予め記憶部703に記憶された収縮率を使用して、第2全体領域A42を収縮させる。これにより、概ね錠剤9の上面形状に沿った第2上面領域A12が生成される。
【0052】
続いて、コンピュータ70は、錠剤9の上面に相当し、かつ、第2上面領域A12よりも精密な第3上面領域A13を決定する(ステップS5)。ここでは、ステップS4で得られた第2上面領域A12を教示ラベルとして、輝度勾配が大きくなる境界線を求める領域分割手法により、第3上面領域A13を決定する。
図13は、ステップS5の処理の様子を示した図である。
図13では、教示ラベルとなる第2上面領域A12が破線で示され、領域分割手法により決定される第3上面領域A13が実線で示されている。
【0053】
このステップS5では、コンピュータ70は、撮影画像Iの第2上面領域A12の輪郭線の近傍において、上記の数式(1)で表されるエネルギーEが最小となる閉曲線である境界線Cを求める。ただし、ステップS5における定数αは、上記のステップS3における定数αと異なる値であってもよい。コンピュータ70は、境界線Cの長さが過大とならないよう制限しつつ、輝度勾配が最大となる境界線Cを求める。そして、コンピュータ70は、求められた閉曲線である境界線Cにより囲まれる領域を、第3上面領域A13として決定する。
【0054】
その後、コンピュータ70は、錠剤9の側面に相当し、かつ、第1側面領域A21よりも精密な第2側面領域A22を決定する(ステップS6)。
図14は、ステップS6の処理の様子を示した図である。このステップS6では、コンピュータ70は、ステップS3において決定された第2全体領域A42と、ステップS5において決定された第3上面領域A13との排他的論理和をとることにより、第2側面領域A22を決定する。すなわち、コンピュータ70は、第2全体領域A42から第3上面領域A13を除いた残りの部分を、第2側面領域A22として決定する。
【0055】
そして、コンピュータ70は、ステップS5において決定された第3上面領域A13と、ステップS6において決定された第2側面領域A22とを、検査領域として判定する(ステップS7)。
【0056】
以上のように、コンピュータ70は、まず、撮影画像Iのピクセルを、輝度値に基づくクラスタリングにより、3つの領域に分類する(ステップS1)。次に、コンピュータ70は、3つの領域のうち、比較的安定した分類結果が得られる第1上面領域A11を膨張させることにより、第1全体領域A41を生成する(ステップS2)。続いて、コンピュータ70は、第1全体領域A41を教示ラベルとして、領域分割手法により、精密な第2全体領域A42を決定する(ステップS3)。続いて,コンピュータ70は、第2全体領域A42を収縮させることにより、第2上面領域A12を生成する(ステップS4)。続いて、コンピュータ70は、第2上面領域A12を教示ラベルとして、領域分割手法により、精密な第3上面領域A13を決定する(ステップS5)。その後、コンピュータ70は、第2全体領域A42と第3上面領域A13との排他的論理和をとることにより、精密な第2側面領域A22を生成する(ステップS6)。
【0057】
このようにすれば、エッジ検出に依存することなく、撮影画像Iに含まれる錠剤9の上面領域および側面領域を判定できる。また、クラスタリングのみで錠剤9の上面領域および側面領域を判定する場合よりも精度よく、錠剤9の上面領域および側面領域を判定できる。したがって、錠剤9の上面および側面の検査を、精度よく行うことができる。
【0058】
特に、錠剤9の撮影画像Iにおいて、錠剤9の全体領域と背景領域との境界は、輝度値の差が比較的大きい。このため、コンピュータ70は、上記のステップS3において、錠剤9の上面領域よりも先に、錠剤9の全体領域を、領域分割手法により決定している。これにより、コンピュータ70は、第2全体領域A42を精度よく決定する。そして、コンピュータ70は、当該第2全体領域A42を収縮させることにより生成された、信頼性の高い第2上面領域A12に対して、さらに領域分割手法を適用することにより、精密な第3上面領域A13を決定する。これにより、第3上面領域A13を、より精度よく決定できる。
【0059】
<4.変形例>
以上、本発明の実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
【0060】
上記の実施形態では、ステップS1において、k-meansクラスタリングを実行していた。しかしながら、k-meansクラスタリングに代えて、k-medoidsクラスタリングを実行してもよい。すなわち、ステップS1において、クラスタ毎に、輝度値の平均値を求める代わりに、輝度値の中央値を求めてもよい。そして、各ピクセルの輝度値と、3つのクラスタの上記中央値との差を求め、各ピクセルを、上記の差が最も小さいクラスタに分類し直してもよい。
【0061】
また、上記の実施形態では、錠剤9の上面および側面が検査対象とされていた。しかしながら、錠剤9の上面および側面のうち、上面のみが検査対象とされていてもよい。その場合、上述したステップS6の処理は省略されてもよい。
【0062】
また、上記の実施形態では、印刷前の第1撮像位置P1と、印刷後の第2撮像位置P3の2箇所において、錠剤9の撮影が行われていた。すなわち、上記の実施形態では、印刷前と印刷後の2回の検査が行われていた。しかしながら、錠剤9の検査は、印刷前および印刷後のいずれか一方のみであってもよい。
【0063】
また、上記の実施形態では、錠剤9の上面に印刷を行う錠剤印刷装置1について説明した。しかしながら、本発明は、印刷機能を持たない錠剤検査装置に適用されるものであってもよい。
【0064】
また、上記の実施形態では、印刷部30に、4つのヘッド31が設けられていた。しかしながら、印刷部30に含まれるヘッド31の数は、1~3つであってもよく、5つ以上であってもよい。
【0065】
また、錠剤印刷装置1は、上記の実施形態の構成に加えて、錠剤9に付着したインクを乾燥させる乾燥機構を有していてもよい。乾燥機構は、印刷部30よりも搬送方向の下流側、かつ、不良品排出部50よりも搬送方向の上流側に設けるとよい。乾燥機構は、例えば、搬送ベルト12により搬送される錠剤9に向けて熱風を吹き付ける機構とすればよい。
【0066】
また、本発明における「錠剤」は、医薬品としての錠剤だけではなく、サプリメントとしての錠剤や、ラムネなどの錠菓であってもよい。
【0067】
また、上記の実施形態では、撮影画像の各ピクセルの値が「輝度」であるとして説明した。しかしながら、撮影画像の各ピクセルの値を変換等した値、例えば「濃度値」等の値に対して、本発明を適用可能であることは言うまでもない。
【0068】
その他、錠剤印刷装置の細部については、本発明の趣旨を逸脱しない範囲で、適宜に変更を加えることが可能である。また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
【符号の説明】
【0069】
1 錠剤印刷装置
9 錠剤
10 搬送機構
20 第1撮像部
30 印刷部
40 第2撮像部
50 不良品排出部
60 良品排出部
70 コンピュータ
71 第1領域判定部
72 第1検査部
73 印刷指示部
74 第2領域判定部
75 第2検査部
76 排出指示部
80 搬入機構
A11 第1上面領域
A12 第2上面領域
A13 第3上面領域
A21 第1側面領域
A22 第2側面領域
A31 第1背景領域
A41 第1全体領域
A42 第2全体領域
D1 第1検査領域情報
D2 検査結果
D3 印刷指示
D4 第2検査領域情報
D5 検査結果
D6 排出指示
I 撮影画像
I1 第1撮影画像
I2 第2撮影画像