特許 7454706 気泡識別装置、気泡識別方法及び異物検出システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-13

(45)【発行日】2024-03-22

(54)【発明の名称】気泡識別装置、気泡識別方法及び異物検出システム

(51)【国際特許分類】

   G01N 21/90 20060101AFI20240314BHJP

   G06T 7/00 20170101ALI20240314BHJP

   G06T 7/60 20170101ALI20240314BHJP

   G06T 7/12 20170101ALI20240314BHJP

【ＦＩ】

G01N21/90 D

G06T7/00 610

G06T7/60 300Z

G06T7/12

【請求項の数】 7

(21)【出願番号】P 2022571503

(86)(22)【出願日】2021-12-21

(86)【国際出願番号】 JP2021047328

(87)【国際公開番号】W WO2022138643

(87)【国際公開日】2022-06-30

【審査請求日】2023-03-20

(31)【優先権主張番号】P 2020215149

(32)【優先日】2020-12-24

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】502220366

【氏名又は名称】シンテゴンテクノロジー株式会社

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】姜 軍

【審査官】三宅 克馬

(56)【参考文献】

【文献】特開２０１３－０４４６８８（ＪＰ，Ａ）

【文献】特開２００３－３０９８４４（ＪＰ，Ａ）

【文献】特開２００６－０１０６１２（ＪＰ，Ａ）

【文献】特開２００６－２３４５１５（ＪＰ，Ａ）

【文献】特開２００４－３５４１００（ＪＰ，Ａ）

【文献】特開２０１１－０５８９７０（ＪＰ，Ａ）

【文献】特開２０１２－１２０７９９（ＪＰ，Ａ）

【文献】特開２００９－０５９００２（ＪＰ，Ａ）

【文献】特開２０００－３３９４７８（ＪＰ，Ａ）

【文献】特開昭６３－０７６５７８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１７３９８２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／１２

(57)【特許請求の範囲】

【請求項1】

画像中のブロブに対して当該ブロブを横切る複数の参照ラインを設定する設定部と、
前記複数の参照ライン上の複数の輝度分布の内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて前記ブロブを気泡像として識別する識別部と、
を含み、
前記画像は、ｘ方向及びｙ方向を有し、
前記設定部は、前記ブロブに対して、前記複数の参照ラインとして、交差関係にある複数の参照ライン列からなる参照ラインセットを設定し、
前記複数の参照ライン列には、前記ｙ方向に平行な複数の参照ラインからなる第１参照ライン列と、前記ｘ方向に平行な複数の参照ラインからなる第２参照ライン列と、が含まれ、
前記複数の参照ラインがそれぞれ注目参照ラインとされ、
前記複数の輝度分布がそれぞれ前記注目参照ライン上の注目輝度分布とされ、
前記識別部は、前記注目輝度分布に対してエッジ検出を実行し、
前記ブロブが外側部分及びそれに囲まれる内側部分からなる気泡像であり、且つ、当該ブロブに設定された前記注目参照ラインが前記外側部分を２回横断している場合に、前記注目輝度分布に対する前記エッジ検出により２つのエッジペアが検出され、
前記気泡判定条件にはエッジペア条件が含まれ、
前記エッジペア条件は、前記注目輝度分布に前記２つのエッジペアが含まれる場合に満たされる条件である、
ことを特徴とする気泡識別装置。

【請求項2】

請求項１に記載の気泡識別装置において、
前記設定部は、前記ブロブに外接する図形に基づいて前記ブロブを囲むＲＯＩを設定し、前記ＲＯＩの全体にわたって前記各参照ライン列を設定することにより前記ブロブに対して前記参照ラインセットを設定する、
ことを特徴とする気泡識別装置。

【請求項3】

請求項１に記載の気泡識別装置において、
前記参照ラインセットは、更に、
前記ｘ方向及び前記ｙ方向に対して傾斜する複数の参照ラインからなる第３参照ライン列と、
前記ｘ方向及び前記ｙ方向に対して傾斜する複数の参照ラインからなり、前記第３参照ライン列に対して交差する第４参照ライン列と、
を含む、ことを特徴とする気泡識別装置。

【請求項4】

請求項１に記載の気泡識別装置において、
前記気泡判定条件にはエッジ間隔条件が含まれ、
前記エッジ間隔条件は、前記２つのエッジペアにより特定される２つのエッジ間隔についての条件である、
ことを特徴とする気泡識別装置。

【請求項5】

請求項４に記載の気泡識別装置において、
前記２つのエッジ間隔の差が所定範囲内にある場合に前記エッジ間隔条件が満たされる、
ことを特徴とする気泡識別装置。

【請求項6】

画像中のブロブに対して当該ブロブを横切る複数の参照ラインを設定する工程と、
前記複数の参照ライン上の複数の輝度分布の内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて前記ブロブを気泡像として識別する工程と、
を含み、
前記画像は、ｘ方向及びｙ方向を有し、
前記設定する工程では、前記ブロブに対して、前記複数の参照ラインとして、交差関係にある複数の参照ライン列からなる参照ラインセットが設定され、
前記複数の参照ライン列には、前記ｙ方向に平行な複数の参照ラインからなる第１参照ライン列と、前記ｘ方向に平行な複数の参照ラインからなる第２参照ライン列と、が含まれ、
前記複数の参照ラインがそれぞれ注目参照ラインとされ、
前記複数の輝度分布がそれぞれ前記注目参照ライン上の注目輝度分布とされ、
前記ブロブを気泡像として識別する工程では、前記注目輝度分布に対してエッジ検出が実行され、
前記ブロブが外側部分及びそれに囲まれる内側部分からなる気泡像であり、且つ、当該ブロブに設定された前記注目参照ラインが前記外側部分を２回横断している場合に、前記注目輝度分布に対する前記エッジ検出により２つのエッジペアが検出され、
前記気泡判定条件にはエッジペア条件が含まれ、
前記エッジペア条件は、前記注目輝度分布に前記２つのエッジペアが含まれる場合に満たされる条件である、
ことを特徴とする気泡識別方法。

【請求項7】

検査対象物を撮影する撮影装置と、
前記撮影装置により取得された画像を処理するプロセッサと、
を含み、
前記プロセッサは、
前記画像に対して非浮遊ブロブを除外する前処理を適用し、
前記前処理後の画像中の浮遊ブロブに対して当該浮遊ブロブを横切る複数の参照ラインを設定し、
前記複数の参照ライン上の複数の輝度分布の内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて、前記浮遊ブロブを気泡像として識別し、
前記浮遊ブロブが前記気泡像として識別されなかった場合に前記浮遊ブロブを異物像として判定し、
前記画像は、ｘ方向及びｙ方向を有し、
前記プロセッサは、前記浮遊ブロブに対して、前記複数の参照ラインとして、交差関係にある複数の参照ライン列からなる参照ラインセットを設定し、
前記複数の参照ライン列には、前記ｙ方向に平行な複数の参照ラインからなる第１参照ライン列と、前記ｘ方向に平行な複数の参照ラインからなる第２参照ライン列と、が含まれ、
前記参照ラインセットを構成する複数の参照ラインがそれぞれ注目参照ラインとされ、
前記輝度分布セットを構成する複数の輝度分布がそれぞれ前記注目参照ライン上の注目輝度分布とされ、
前記プロセッサは、前記注目輝度分布に対してエッジ検出を実行し、
前記浮遊ブロブが外側部分及びそれに囲まれる内側部分からなる気泡像であり、且つ、当該浮遊ブロブに設定された前記注目参照ラインが前記外側部分を２回横断している場合に、前記注目輝度分布に対する前記エッジ検出により２つのエッジペアが検出され、
前記気泡判定条件にはエッジペア条件が含まれ、
前記エッジペア条件は、前記注目輝度分布に前記２つのエッジペアが含まれる場合に満たされる条件である、
ことを特徴とする異物検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、気泡識別装置、気泡識別方法及び異物検出システムに関し、特に、液体中に浮遊している気泡を識別する技術に関する。

【背景技術】

【0002】

異物検出システムは、検査対象物の中に含まれる異物を検出するシステムである。検査対象物が液体である場合、液体中に浮遊している異物が検出される。例えば、製薬工場において、個々の容器内に収容されている薬剤が異物検出システムを用いて検査される。容器として、シリンジ、バイアル、アンプル等が挙げられる。異物として、製造過程で薬剤に混入した金属片、樹脂片、ゴム片、繊維等が挙げられる。飲料検査、化学薬品検査等においても、異物検出システムが用いられる。

【0003】

典型的な異物検出システムは、検査対象物を撮影し、それにより得られた画像の解析により異物を検出するものである。異物の検出に際して、容器の傷や汚れが誤検出要因となる。これに関し、特許文献１には、対象画像を基準画像と比較して、非浮遊物と浮遊物とを区別する技術が開示されている。

【0004】

また、異物の検出に際して、液体中に浮遊する気泡が誤検出要因となる。これに関し、特許文献２には、気泡（正確には気泡像）の特徴量に基づいて、気泡と異物を区別する技術が開示されている。特許文献１及び特許文献２には、気泡像固有の輝度パターンを利用して気泡像を識別する技術は開示されておらず、特に、輝度パターン解析用の参照ラインを用いて気泡像を識別する技術は開示されていない。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００４－２２６２２８号公報

【文献】特開２００４－３５４１００号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本開示の目的は、検査対象物に含まれる気泡を簡便に且つ精度良く識別することにある。あるいは、本開示の目的は、検査対象物に含まれる異物の検出精度を高めることにある。

【課題を解決するための手段】

【0007】

本開示に係る気泡識別装置は、画像中のブロブに対して当該ブロブを横切る少なくとも１つ参照ラインを設定する設定部と、前記少なくとも１つの参照ライン上の輝度分布が気泡判定条件を満たすことに基づいて前記ブロブを気泡像として識別する識別部と、を含み、前記気泡判定条件にはエッジペア条件が含まれ、前記エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である、ことを特徴とする。

【0008】

本開示に係る気泡識別方法は、画像中のブロブに対して複数の参照ラインを設定する工程と、前記複数の参照ライン上の複数の輝度分布の内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて前記ブロブを気泡像として識別する工程と、を含み、前記気泡判定条件にはエッジペア条件が含まれ、前記エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である、ことを特徴とする。

【0009】

本開示に係る異物検出システムは、検査対象物を撮影する撮影装置と、前記撮像装置により取得された画像を処理するプロセッサと、を含み、前記プロセッサは、前記画像に対して非浮遊ブロブを除外する前処理を適用し、前記前処理後の画像中の浮遊ブロブに対して参照ラインセットを設定し、前記参照ラインセット上の輝度分布セットの内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて、前記浮遊ブロブを気泡像として識別し、前記浮遊ブロブが前記気泡像として識別されなかった場合に前記浮遊ブロブを異物像として判定し、前記気泡判定条件にはエッジペア条件が含まれ、前記エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である、ことを特徴とする。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る異物検出システムの構成例を示す図である。

【図2】複数種類の気泡像を示す図である。

【図3】複数種類の異物像を示す図である。

【図4】前処理を示す図である。

【図5】関心領域を示す図である。

【図6】参照ラインセットを示す図である。

【図7】気泡像上でのエッジ検出を示す図である。

【図8】他の参照ラインセットを示す図である。

【図9】異物像上でのエッジ検出を示す図である。

【図10】特殊な気泡像上でのエッジ検出を示す図である。

【図11】気泡識別方法を含む異物判定方法を示す図である。

【図12】動作例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、実施形態を図面に基づいて説明する。

【0012】

（１）実施形態の概要
実施形態に係る気泡識別装置は、設定部、及び、識別部を有する。設定部は、画像中のブロブに対して当該ブロブを横切る少なくとも１つの参照ラインを設定する。識別部は、少なくとも１つの参照ライン上の輝度分布が気泡判定条件を満たすことに基づいてブロブを気泡像として識別する。気泡判定条件にはエッジペア条件が含まれる。エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である。

【0013】

気泡像は、非一様性を有する又は構造をもった輝度パターンを有する。気泡像は外側部分及び内側部分に大別される。一般に、外側部分と内側部分との間には明確な輝度差が生じる。外側部分と背景との間にも明確な輝度差が生じる。一方、異物像は、一様性を有する又は構造を有しない輝度パターンを有する。一般に、異物像と背景との間には明確な輝度差が生じるが、異物像の中に明確な輝度差は生じない。

【0014】

上記構成は、気泡像の輝度パターンと異物像の輝度パターンの相違から、気泡像と異物像とを識別するものである。具体的には、ブロブ（識別対象像）に対してそれを横切る参照ラインが設定される。参照ラインが気泡像における外側部分及び内側部分を横断している場合、参照ライン上において２つのエッジペア（２つの輝度差ペア）が生じる。すなわち、参照ラインの一方端から他方端へエッジ検出を繰り返し実行した場合、最初に外側部分を横断する過程で第１のエッジペアが検出され、次に外側部分を横断する過程で第２のエッジペアが検出される。気泡判定条件にエッジペア条件を含めておけば、エッジペア条件が満たされた時点で、ブロブを気泡像として識別することが可能となる。一様性を有する異物像に参照ラインが設定された場合、参照ライン上においては２つのエッジしか検出されない。よって、気泡像と異物像とを区別することが可能である。

【0015】

気泡像の形態や向きが様々であることから、実施形態においては、ブロブに対して複数の参照ラインが設定される。これにより、小さな内側部分を有するブロブ、及び、部分的に欠損した外側部分を備えるブロブを、それぞれ気泡像として識別できる可能性を高められる。気泡像の識別精度を高めるために、気泡判定条件にエッジペア条件以外の条件を含めてもよい。対象画像中に含まれる個々のブロブに対して識別処理を適用すれば、対象画像それ全体に対して識別処理を適用する場合よりも演算量を削減できる。

【0016】

実施形態において、設定部は、ブロブに対して交差関係にある複数の参照ライン列からなる参照ラインセットを設定する。識別部は、参照ラインセット上の輝度分布セットの内でｎ（但しｎは１以上の整数）個の輝度分布が気泡識別条件を満たすことに基づいて、ブロブを気泡像として識別する。

【0017】

参照ラインセットを用いれば、様々な形態を有する気泡像を正確に識別することが可能となる。ｎを１としてもよい。誤認可能性がある場合、ｎを２以上の数値としてもよい。参照ライン列を構成する参照ラインの個数、参照ライン列におけるピッチ、等の諸条件を状況に応じて可変できるようにしてもよい。その構成によれば、識別精度の向上と演算量の削減を両立させることが可能となる。

【0018】

実施形態において、参照ラインセットは、第１方向に平行な複数の参照ラインからなる第１参照ライン列と、第１方向に交差する第２方向に平行な複数の参照ラインからなる第２参照ライン列と、を含む。気泡像において、部分的な欠損が生じる方位は様々であるが、交差関係にある２つの参照ライン列を用いれば、部分的な欠損を備える気泡像の識別精度を高められる。

【0019】

実施形態において、気泡判定条件には、エッジ判別条件が含まれる。エッジ判定条件は、コントラスト閾値条件を満たした輪郭の方向が、参照ライン方向を基準とする一定の角度範囲内に入る場合に（例えば、参照ライン方向に対して垂直に近い角度となる場合に）、当該輪郭をエッジと判定する条件である。このエッジ判定条件の適用により、繊維などの湾曲した形状を有する異物をエッジとして誤認してしまう可能性を低減できる。

【0020】

実施形態において、気泡判定条件にはエッジ間隔条件が含まれる。エッジ間隔条件は、２つのエッジペアにより特定される２つのエッジ間隔についての条件である。実施形態において、２つのエッジ間隔の差が所定範囲内にある場合にエッジ間隔条件が満たされる。気泡像において、第１のエッジ間隔つまり第１のエッジペアを構成する２つのエッジの間隔（距離）と、第２のエッジ間隔つまり第１のエッジペアを構成する２つのエッジの間隔（距離）の差は、小さいという傾向が認められる。上記構成はその傾向を利用して気泡像識別精度を高めるものである。なお、気泡識別装置が異物検出以外の用途で利用されてもよい。例えば、液体中の気泡の判定が必要な場合に気泡識別装置を用いてもよい。

【0021】

実施形態に係る気泡識別方法は、設定工程、及び、識別工程を有する。設定工程では、画像中のブロブに対して複数の参照ラインが設定される。識別工程では、複数の参照ライン上の複数の輝度分布の内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいてブロブを気泡像として識別する。気泡判定条件にはエッジペア条件が含まれる。エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である。

【0022】

上記気泡識別方法は、情報処理装置上において実行され得る。その場合、気泡識別方法を実施するためのプログラムが、ネットワーク又は可搬型記憶媒体を介して、情報処理装置へインストールされる。ユーザーに対して対象画像を表示してもよい。その場合、対象画像上にブロブ単位で設定される複数の参照ラインを表示してもよい。その場合、ブロブ識別処理が適正に遂行されていることをユーザーにおいて確認することが可能となる。情報処理装置の概念には、コンピュータ、気泡識別装置、異物検出システム等が含まれる。情報処理装置は、プログラムを記憶する非一時的記憶媒体を有する。

【0023】

実施形態に係る異物検出システムは、検査対象物を撮影する撮影装置と、撮影装置により取得された画像を処理するプロセッサと、を含む。プロセッサは、画像に対して非浮遊ブロブを除外する前処理を適用し、前処理後の画像中の浮遊ブロブに対して参照ラインセットを設定し、参照ラインセット上の輝度分布セットの内でｎ（但しｎは１以上の整数）個の輝度分布が気泡判定条件を満たすことに基づいて、浮遊ブロブを気泡像として識別し、浮遊ブロブが気泡像として識別されなかった場合に前記浮遊ブロブを異物像として判定する。気泡判定条件にはエッジペア条件が含まれる。エッジペア条件は、注目した輝度分布に２つのエッジペアが含まれることを求める条件である。

【0024】

撮影に際してバックライトを用いてもよい。その場合、画像として、シルエット像を取得し得る。容器の傷や汚れに起因する非浮遊ブロブの除外に際しては、様々な方法を用い得る。

【0025】

（２）実施形態の詳細
図１には、実施形態に係る異物検出システムが示されている。この異物検出システムは気泡像識別機能を備え、換言すれば、この異物検出システムには気泡識別装置が含まれる。異物検出システムは、例えば、製薬工場の検査過程において用いられ、薬剤中の異物を検出するものである。その場合、薬剤は水薬である。異物として、金属片、樹脂片、ゴム片、繊維等が挙げられる。検出対象となる異物のサイズは、例えば、５０μｍ～数ｍｍである。その範囲以下のサイズを有する異物やその範囲以上のサイズを有する異物が検出対象とされてもよい。様々な異物検出方法が同時に又は段階的に適用されてもよい。飲料水や化学薬品等に含まれる異物が異物検出システムにより検出されてもよい。

【0026】

異物検出システムは、測定部１０及び情報処理部１２を有する。測定部１０は、筐体１４を有し、筐体１４の内部にはシリンジ列を搬送する搬送ライン１６が設けられている。搬送ライン１６における所定箇所が撮影場所１８である。撮影場所１８には撮影装置３０が設置されている。図示の例では、回転機能を備える台座２０上に検査対象物であるシリンジ２２が載置されている。シリンジ２２は、薬剤２８を収容した容器である。薬剤を収容する他の容器として、バイアル、アンプル、等が挙げられる。

【0027】

シリンジ２２は、本体２４、ストッパ（内部封止栓）２５、及び、キャップ（外部封止栓）２６を有する。本体２４の内部に薬剤が収容されている。本体２４は、透明性を有する材料、例えば、樹脂、ガラス等により構成される。台座２０上にシリンジ２２を固定するための部材の図示が省略されている。

【0028】

撮影装置３０は、カメラ３２、レンズ３４、バックライト３８等を有する。バックライト３８は、シリンジ２２の背面側から平行光を照射するものである。その状態で、カメラ３２により、シリンジ２２中の薬剤２８のシルエット像が取得される。カメラ３２の視野３６は、薬剤２８の全部をカバーしている。シルエット像は白黒画像であるが、カラー画像が取得されてもよい。複数本のシリンジがカメラ３２により同時に撮影されてもよい。シリンジ２２とバックライト３８との間に偏光板を設け、且つ、シリンジ２２とカメラ３２との間に偏光板を設けてもよい。

【0029】

実施形態においては、台座２０により、シリンジ２２がその中心軸周りにおいて回転駆動され、その後、シリンジ２２の回転が止められ、シリンジ２２の静止状態が形成される。その静止状態では、慣性により薬剤２８の回転状態が継続する。回転状態にある薬剤２８がカメラ３２により間欠的に撮影される。これにより時系列順で並ぶ複数の画像からなる原画像列（フレーム列）が取得される。原画像列を構成する個々の現画像が画像処理対象となる。

【0030】

情報処理部１２は、気泡識別装置、又は、異物検出装置として機能する。情報処理部１２は、プログラムを実行するプロセッサ４０、記憶部４２、入力器４４及び表示器４６を有する。記憶部４２は半導体メモリ等により構成される。入力器４４は、キーボード等により構成され、表示器４６はＬＣＤ（Liquid Crystal Display）等により構成される。入力器４４と表示器４６によりタッチスクリーンパネルが構成されてもよい。プロセッサ４０はＣＰＵ（Central Processing Unit）等により構成される。

【0031】

図１には、プロセッサ４０が発揮する複数の機能が複数のブロックにより表現されている。前処理器４８は、原画像列を構成する各原画像に対して前処理を適用する。前処理には、シリンジ２２の本体２４に生じた傷や汚れに相当する非浮遊物像を除去する処理、浮遊物像を抽出する処理、等が含まれる。具体的には、前処理には、差分処理、二値化、膨張収縮、ラベリング等の処理が含まれる。前処理後の対象画像中に含まれる個々の孤立した塊を以下においてはブロブ（Blob）と称する。

【0032】

ＲＯＩ設定器５２は、前処理後の対象画像に含まれる個々のブロブに対して関心領域（ＲＯＩ：Region of Interest）を設定する。ＲＯＩ設定を省略して気泡像の識別等を行うことも可能である。

【0033】

気泡識別器５４は、設定手段（設定部）及び識別手段（識別部）として機能する。気泡識別器５４は、対象画像上に設定された個々の関心領域ごとにブロブの解析を行う。具体的には、ブロブが気泡像であるか否かを識別する。その際には、後述するように、個々のＲＯＩに対して参照ラインセットが設定され、各参照ライン上の輝度分布が評価される。気泡像固有の輝度分布の存在が判定された場合に、ブロブが気泡像であると識別される。気泡像固有の輝度分布の存在が判定されなかった場合、その結果が異物判定器５６へ送られる。

【0034】

異物判定器５６は、ブロブが気泡像でないと判定された場合に当該ブロブを異物像として判定する。その際において、気泡識別器５４の識別結果の他、他の情報が参照されてもよい。例えば、ブロブ形状についての評価結果が参照されてもよい。異物像が判定された場合、つまり異物が検出された場合、検査対象となったシリンジ２２を所定の管理エリアへ搬送するための制御信号６０が出力される。異物が検出された場合、表示器４６にその旨が表示されてもよい。

【0035】

表示処理部５８は、表示器４６に表示される画像を生成するものである。カメラ３２によって撮影された各画像が表示器４６に表示されてもよい。その場合、画像中における異物像を識別表示してもよい。例えば異物を特定色で表示してもよい。気泡像を識別表示してもよい。

【0036】

薬剤回転中に取得された各画像が画像処理対象となるので、ある画像においてたまたま気泡像と異物像が重なり合っていても、他の画像においてそれらは分離した状態で現れる。よって、異物の検出精度を高められる。

【0037】

図２には、観測され得る様々な気泡像が示されている。（Ａ）が示している気泡像は、外側部分６２と内側部分６４とからなる。外側部分６２は、低輝度部分（例えば二値化後において値０を有する部分）であり、内側部分６４は、高輝度部分（例えば二値化後において値１を有する部分）である。外側部分６２は、気泡の表層又は輪郭が画像化されたものであり、内側部分６４は、気泡の内部つまり空気層が画像化されたものである。外側部分６２は、環状の形態を有し、それは欠損部を備えていない。内側部分は、楕円形を有し、それは背景（外界）と接していない。（Ｂ）～（Ｅ）が示している気泡像においても、グレー部分が低輝度部分であり、白部分が高輝度部分である。（Ｂ）が示している気泡像も、（Ａ）が示している気泡像と同様に、環状の外側部分と楕円形の内側部分とからなる。外側部分はやや大きな厚みを有している。

【0038】

（Ｃ）が示している気泡像は、部分的に欠損した外側部分６６とそれによって囲まれている内側部分６８とからなる。符号６６ａは外側部分６６に生じた欠損部を示している。欠損部６６ａを通じて内側部分６８が背景（外界）に連なっている。一般に、欠損部を備える外側部分は、例えば、Ｃ字形状、Ｕ字形状、半円形状、円弧形状等になる。（Ｄ）が示している気泡像も、（Ｃ）が示している気泡像と同様に、欠損部を有する外側部分とそれにより囲まれている内側部分とからなる。

【0039】

（Ｅ）が示している気泡像は、特殊な形態（数字８に似た形状）を有しており、それは真の気泡像７０と偽の気泡像７２とで構成される。真の気泡像７０が液面７４で反射して偽の気泡像７２が生じている。画像上においてそれらが連なった場合、（Ｅ）が示している気泡像が生じる。

【0040】

いずれの気泡像においても、輝度により区別し得る外側部分及び内側部分が存在する。つまり、複数の気泡像に共通の固有の輝度パターン（二次元構造）を見てとれる。外側部分と背景との間の境界、及び、外側部分と内側部分との間の境界に、顕著な輝度差が生じている。二値化画像ではない、諧調をもった画像を処理対象とする場合でも、外側部分の中や内側部分の中で生じる輝度変化は、境界での輝度差よりもかなり小さいので、単なる輝度変化と境界での輝度差とを明確に区別することが可能である。

【0041】

図３には、観測され得る様々な異物像が示されている。図３においても、グレー部分が低輝度部分を示し、白部分（背景）が高輝度部分を示している。（Ａ）が示している異物像の内部７６は一様な輝度（低輝度）を有する。（Ｂ）が示している異物像、（Ｃ）が示している異物像、及び、（Ｄ）が示している異物像のいずれも、一様な輝度（低輝度）を有する。いずれの異物像も、その内部に二次元構造は存在せず、その輝度パターンは単調である。気泡像の輝度パターンと異物像の輝度パターンの違いから、両者を識別することが可能であり、換言すれば、気泡像固有の輝度パターンを利用して、気泡像を識別することが可能である。

【0042】

図４には、前処理の内容が示されている。符号１７０で示されるように、シリンジの回転後にシリンジの回転が停止され、これにより、シリンジ内の液体のみが回転している状態が形成される。その状態において、シリンジを連続的に撮影することにより、原画像列１７２が取得される。横軸は時間軸ｔである。

【0043】

隣接する２つの原画像ごとに、第１処理１７４が適用される。第１処理１７４には、減算、負成分削除等が含まれる。実施形態において、隣接する２の原画像の内で、時間的に後の原画像が注目画像とされ、時間的に前の原画像が基準画像とされる。注目画像と基準画像との間で減算が実施される。高輝度部分ではなく、輝度部分を抽出する場合、例えば、基準画像から注目画像が減算される。その上で、減算後に生じた差分画像中の負成分が削除される（又は減算の過程で負成分が無視される）。第１処理１７４により、シリンジに生じていた傷や汚れに起因する非浮遊物像については差分画像内から除去され（同時に背景も除去される）、気泡又は異物に相当する浮遊物像だけが残される。他の方法により、浮遊物像だけが残されてもよい。基準画像として１つ前の現画像ではなく、先頭の原画像等を用いてもよい。上記の第１処理１７４により、原画像列１７２から差分画像列１７６が生成される。

【0044】

差分画像列１７６を構成する各差分画像に対して、第２処理１７８が適用される。第２処理１７８には、二値化（反転二値化）、膨張収縮、ラベリング等が含まれる。ラベリングにより、孤立した個々のブロブが抽出される。具体的には、個々のブロブに番号が付され、個々のブロブが管理される。例えば、ブロブ単位で、ブロブ番号、中心座標、幅サイズ、高さサイズ等が管理される。差分画像列１７６から対象画像列１８０が生成される。

【0045】

図５～図１０を用いて気泡識別方法について説明する。以下に説明する処理はブロブごとに実施される。

【0046】

図５において、ブロブ７８は、外側部分８２及び内側部分８４を有する。図示の例において、外側部分８２は値０を有する部分であり、内側部分は値１を有する部分である。ブロブ７８は、中心座標Ｏ、幅サイズＷ及び高さサイズＨで特定される。符号８０はブロブ７８に外接する矩形の図形を示している。幅サイズＷ及び高さサイズＨに代えて、矩形８０の左上隅座標Ｑが管理されてもよい。なお、ｘ方向は画像における水平方向であり、ｙ方向は画像における垂直方向である。

【0047】

図６に示すように、中心座標Ｏ、幅サイズＷ及び高さサイズＨに基づいて、ブロブ７８を非接触で囲むＲＯＩ８６が設定される。例えば、マージンとしてｉピクセルが設定され得る。ｉは１以上の整数である。ＲＯＩ８６に対して参照ラインセット８８が設定される。ブロブ７８に対して参照ラインセット８８が設定されると理解してもよい。参照ラインセット８８は、第１参照ライン列９２及び第２参照ライン列４により構成される。

【0048】

第１参照ライン列９２は、ｙ方向に平行な複数の参照ライン９６により構成される。複数の参照ライン９６は均等間隔でｘ方向に並んでいる。第１参照ライン列９２は、ＲＯＩ８６のｘ方向の全体に及んでいる。第２参照ライン列９４は、ｘ方向に平行な複数の参照ライン９８により構成される。複数の参照ライン９８は均等間隔で並んでいる。第２参照ライン列９４は、ＲＯＩ８６のｙ方向の全体に及んでいる。

【0049】

複数の参照ライン９６及び複数の参照ライン９８を非均等間隔で配置してもよいし、複数の参照ライン９６及び複数の参照ライン９８を内部部分が生じる可能性の高い部分に集中的に配置してもよい。複数の参照ライン９６及び複数の参照ライン９８におけるピッチは例えば１画素である。ピッチの大きさをユーザー又は自動的に変更し得るように構成してもよい。

【0050】

実際には、参照ラインセット８８を構成する個々の参照ラインが順番に設定される。その過程において、後述する気泡判定条件が満たされた場合、ブロブが気泡像と識別される。その時点で、当該ブロブに対する新規の参照ラインの設定が終了する。なお、個々の参照ラインは、通常、ＲＯＩ内に設定されるが（ＲＯＩ内において以下に説明するエッジ検出が実施されるが）、各図においては個々の参照ラインが目立つように表現されている。

【0051】

図７に示すように、各参照ライン上において、一方端から他方端にかけてエッジ検出が繰り返し実行される。その際のピッチは例えば１画素である。エッジ検出に際してはエッジ検出フィルタを利用し得る。

【0052】

例えば、参照ライン１００において、上から下へエッジ検出が順次実行されると、その結果として、ブロブ７８における４つのエッジ（境界点）Ｅ１，Ｅ２，Ｅ３，Ｅ４が検出される。エッジＥ１は、背景と外側部分８２との間の境界上にあり、エッジＥ２は、外側部分８２と内側部分８４との間の境界上にある。エッジＥ３は、内側部分８４と外側部分８２との間の境界上にあり、エッジＥ４は、外側部分８２と背景との間の境界上にある。エッジＥ１、Ｅ２が第１のエッジペアＥＰ１を構成し、エッジＥ３，Ｅ４が第２のエッジペアＥＰ２を構成する。

【0053】

図７には、参照ライン上の輝度分布１０２が示されている。図示の例では、二値化された画像が処理対象となっているため、輝度分布１０２を構成する各値は１又は０となる。符号１０２Ａ，１０２Ｂで示す凹部が外側部分（低輝度部分）に相当する。処理対象となる画像が諧調を有する場合においても、２つのエッジペアＥＰ１，ＥＰ２を検出することが可能である。

【0054】

実施形態においては、気泡判定条件にエッジペア条件が含まれる。エッジペア条件は、現在注目している参照ライン上の輝度分布が２つのエッジペアを含むことを要求する条件である。図７に示す例では、参照ライン１００上に２つのエッジペアＥＰ１，ＥＰ２が含まれており、エッジペア条件が満たされる。気泡判定条件にエッジペア条件のみが含まれる場合、エッジペア条件が満たされた時点で、ブロブが気泡像であると識別される。

【0055】

図７においては、第１のエッジペアＥＰ１を構成するエッジＥ１，Ｅ２の間の間隔（距離）がＤ１で示され、第２のエッジペアＥＰ２を構成するエッジＥ３，Ｅ４の間の間隔（距離）がＤ２で示されている。ブロブが気泡像である場合、一定の対称性が認められる。外側部分８２に対して直交するように参照ラインを設定した場合、エッジ間隔Ｄ１，Ｄ２が互いに近くなる。よって、気泡像の識別精度を高めるために、気泡判定条件にエッジ間隔条件を加えてもよい。例えば、エッジ間隔Ｄ１とエッジ間隔Ｄ２の差ΔＤが所定値よりも小さい場合にエッジ間隔条件が満たされるとしてもよい。この場合、エッジペア条件が満たされ、更に、エッジ間隔条件が満たされた場合に限り、ブロブが気泡像であると判定されることになる。

【0056】

図８には、他の参照ラインセット１１２が示されている。ブロブ１０４を囲むようにＲＯＩ１１０が設定されている。ブロブ１０４は、低輝度部分としての外側部分１０６と高輝度部分としての内側部分１０８とからなる。外側部分１０６は三日月形状を有しており、それには大きな欠損部が生じている。内側部分１０８は背景に連なっている。このようなブロブを１０４を気泡像として正しく識別するために、特に、ブロブにおける欠損部がいずれの方位にあっても正しく気泡像を識別するために、ブロブ１０４に対して、より多様性のある参照ラインセット１１２を設定するのが望ましい。

【0057】

参照ラインセット１１２は、第１参照ライン列１１４、第２参照ライン列１１６、第３参照ライン列１１８、及び、第４参照ライン列１２０により構成される。図８においては、各参照ライン列１１４～１２０の一部のみが示されている。第１参照ライン列１１４は、ｙ方向に平行な複数の参照ラインにより構成され、それらはｘ方向に並んでいる。第２参照ライン列１１６は、ｘ方向に平行な複数の参照ラインにより構成され、それらはｙ方向に並んでいる。第３参照ライン列１１８は、ｙ方向に対して時計回り方向に＋４５度傾いた＋４５度傾斜軸に対して平行な複数の参照ラインにより構成され、それらは、ｙ方向に対して時計回り方向に－４５度傾いた（反時計回り方向に＋４５度傾いた）－４５度傾斜軸の方向に並んでいる。第４参照ライン列１２０は、－４５度傾斜軸に対して平行な複数の参照ラインにより構成され、それらは＋４５度傾斜軸に沿って並んでいる。

【0058】

例えば、参照ライン１２２上においては４つのエッジＥ５～Ｅ８が検出され、つまり２つのエッジペアが検出される。参照ライン１２４上においても、４つのエッジＥ９～Ｅ１２が検出され、つまり２つのエッジペアが検出される。参照ラインセットを構成するいずれかの参照ラインにおいて、エッジペア条件が満たされると、ブロブ１０４が気泡像であると識別される。気泡判定条件にエッジ間隔条件を含める場合、参照ラインセットを構成する参照ライン列の個数をより増大させてもよい。あるいは、ブロブの中心点又は他の基準点から放射状に広がる複数の参照ラインにより構成される参照ラインセットを用いてもよい。

【0059】

図９には、異物像に相当するブロブ１２６が示されている。ブロブを含む画像は二値化されている。ブロブ１２６を取り囲むＲＯＩが設定されている。ブロブ１２６の内部１２８は一様な輝度（低輝度）を有している。ブロブ１２６に対して参照ラインセットが設定される。その内で、参照ライン１３０に注目する。図９には、参照ライン１３０上の輝度分布１３２が示されている。凹部１３２Ａがブロブ１２６の内部（低輝度部分）１２８に相当する。参照ライン１３０においては２つのエッジＥ１３，Ｅ１４しか検出されない。エッジペア条件は満たされず、よって、気泡判定条件は満たされない。参照ラインセットを構成するすべての参照ラインにおいて気泡判定条件が満たされなかった場合に、ブロブが異物像であると判定される。もちろん、異物像の判定に際しては、他の情報を併せて考慮してもよい。

【0060】

以上のように、実施形態に係る気泡識別方法は、気泡像の輝度パターンと異物像の輝度パターンの違いを前提とし、ブロブに対して複数の参照ラインを設定して各参照ラインでのエッジ構成を解析することにより、ブロブが気泡像であるか否かを識別するものである。ブロブの向きや形態を事前に特定できる場合、ブロブに対して適切な位置及び傾斜角度で単一の参照ラインを設定してもよい。それを用いて気泡像か否かが識別されてもよい。

【0061】

図１０には、特殊な形態を有するブロブ１４０が示されている。ブロブ１４０を取り囲むようにＲＯＩ１４６が設定されている。ブロブ１４０は、第１部分１４２と第２部分１４４とで構成され、それらは連結されている。第１部分１４２は、真の気泡像に相当する部分であり、第２部分１４４は、液面の反射により生じた偽の気泡像に相当する部分である。第１部分１４２は、低輝度部分である外側部分１４２Ａ及び高輝度部分である内側部分１４２Ｂからなる。第２部分１４４も、低輝度部分である外側部分１４４Ａ及び高輝度部分である内側部分１４４Ｂからなる。ブロブ１４０の外側は高輝度部分としての背景１４８である。

【0062】

ブロブ１４０に対して参照ラインセットが設定される。例えば、参照ライン１５０が設定された場合、参照ライン１５０上でエッジ検出が繰り返される。これにより、エッジＥ１５～Ｅ２０までの６個のエッジが検出される。それには２つのエッジペアが含まれるので、エッジペア条件が満たされる。参照ライン１５２が設定される場合にも同様である。もっとも、図１０に示すような特殊なブロブが存在している場合、気泡識別精度が低下することも考えられる。参照ライン上のエッジペア数が３以上の場合には、注意を喚起する表示を行うようにしてもよい。

【0063】

図１１には、実施形態に係る異物判定方法の要点が整理されている。ブロブごとに気泡像であるか否か、つまり異物像であるか否かが判定される。具体的には、気泡判定条件１５４が満たされるか否かが判断される。気泡判定条件１５４には、図示の例では、エッジペア条件１３６及びエッジ間隔条件１３８が含まれる。それらの条件が同時に満たされた場合に限り、気泡判定条件が満たされたことになる。実際には、気泡判定条件を満たすｎ本の参照ラインが存在する場合に、ブロブが気泡像であると識別される（符号１５８を参照）。ｎは例えば１である。ｎを２以上の数値としてもよい。ブロブが気泡像であると識別されなかった場合にブロブが異物像であると判定される（符号１６０を参照）。気泡像の識別及び異物像の判定において、他の情報を参照してもよい。例えば、ブロブの外形、サイズ等が考慮されてもよい。

【0064】

図１２には、異物検査システムの動作、特に画像処理の内容がフローチャートとして示されている。カメラにより取得された画像単位で画像処理が実施される。Ｓ１２では、原画像に対して前処理が適用される。シリンジに生じた傷や汚れを誤検出しないように、前フレーム画像等の基準画像が利用され、原画像と基準画像との間で差分演算が実施される。これにより生成された差分画像に対してラベリング等の処理が適用され、１又は複数のブロブを含み得る対象画像が生成される。Ｓ１４では、対象画像中のブロブごとにＲＯＩが設定される。Ｓ１６以降の処理はＲＯＩごと、つまりブロブごとに実施される。

【0065】

Ｓ１６では、ｋ番目のＲＯＩが特定され、Ｓ１８ではｋ番目のＲＯＩ内のブロブが気泡像であるか否かが識別される。気泡像であれば、Ｓ２２が実行され、気泡像でなければＳ２０においてブロブが異物像であると判定される。つまり異物が検出される。その事実が記録され、必要な制御が実行される。Ｓ２２では、最終のＲＯＩまで処理されたか否かが判定され、ＮＯであれば、Ｓ２４においてｋが１つインクリメントされた上で、Ｓ１６以降の各工程が繰り返し実行される。

【0066】

上記実施形態においては、検査対象が薬剤であったが、他の検査対象に対して上記構成を用いて異物検出が実施されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】