(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024040757
(43)【公開日】2024-03-26
(54)【発明の名称】検査装置、および、検査方法
(51)【国際特許分類】
G01N 21/88 20060101AFI20240318BHJP
G01N 21/90 20060101ALI20240318BHJP
G06T 7/00 20170101ALI20240318BHJP
G06V 10/70 20220101ALI20240318BHJP
【FI】
G01N21/88 J
G01N21/90 D
G06T7/00 350B
G06V10/70
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2022145315
(22)【出願日】2022-09-13
(71)【出願人】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】片根 忠弘
(72)【発明者】
【氏名】袖山 敦史
(72)【発明者】
【氏名】桐生 望
(72)【発明者】
【氏名】津島 和紀
(72)【発明者】
【氏名】品田 勲
(72)【発明者】
【氏名】日下 隆浩
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA11
2G051AA28
2G051AB01
2G051AB15
2G051CA04
2G051CB02
2G051DA08
2G051EB10
2G051EC01
2G051ED04
5L096BA03
5L096CA02
5L096DA02
5L096FA02
5L096FA17
5L096KA04
(57)【要約】
【課題】外観検査の精度を向上させる。
【解決手段】検査装置1は、検査対象物を撮影した映像を画像処理する画像処理ユニット3と、検査対象物を撮影した映像および検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、検査対象物の映像に撮影された異物をラベル付けするAI処理ユニット4と、画像処理ユニット3が処理した映像およびAI処理ユニット4がラベル付けした映像に基づき、検査対象物が良品と不良品の何れであるかを判定する判定部7とを備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
検査対象物を撮影した映像を画像処理する画像処理部と、
前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、前記検査対象物の映像に撮影された異物をラベル付けするAI処理部と、
前記画像処理部が処理した映像および前記AI処理部がラベル付けした映像に基づき、前記検査対象物が良品と不良品のうち何れであるかを判定する判定部と、
を備えることを特徴とする検査装置。
【請求項2】
前記判定部は、前記画像処理部が処理した映像から第1の異常領域を抽出し、前記AI処理部がラベル付けした映像から第2の異常領域を抽出する、
ことを特徴とする請求項1に記載の検査装置。
【請求項3】
前記判定部は、前記第1の異常領域と前記第2の異常領域との論理積により、前記検査対象物が良品と不良品のうち何れであるかを判定する、
ることを特徴とする請求項2に記載の検査装置。
【請求項4】
前記判定部は、前記第1の異常領域と前記第2の異常領域との論理和により、前記検査対象物が良品と不良品のうち何れであるかを判定する、
ことを特徴とする請求項2に記載の検査装置。
【請求項5】
前記判定部は、前記第1の異常領域のうち第1の所定サイズのものと、前記第2の異常領域の第2の所定サイズのものを合成した結果により、前記検査対象物が良品と不良品のうち何れかを判定する、
ことを特徴とする請求項2に記載の検査装置。
【請求項6】
検査対象物を撮影した映像を、画像処理部が画像処理するステップと、
前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、AI処理部が、前記検査対象物の映像に撮影された異物をラベル付けするステップと、
前記画像処理部が処理した映像および前記AI処理部がラベル付けした映像に基づき、判定部が、前記検査対象物が良品と不良品のうち何れであるかを判定するステップと、
を備えることを特徴とする検査方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査装置、および、検査方法に関する。
【背景技術】
【0002】
従来、透明容器中に充填された液体中の異物を検査する場合、特許文献1に示すような異物自動検査装置を用いていた。この異物自動検査装置では、透明容器を回転させてから静止させた後、カメラやセンサ等で透明容器内の慣性回転する液体中に浮遊する異物を検出するといった異物検査が行われている。
【0003】
また、この液体充填容器の外観状態を検査する外観検査も行われている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の検査装置は、液体充填容器を回転させてから停止することで、内容液のみが動いた状態で内容液を撮影し、移動しているものの有無を検査することで、異物の有無を検査している。しかし、泡がある場合、泡と異物との区別が困難で、誤検出が多発するという問題がある。
【0006】
また、液体充填容器の外観検査において、形状の複雑なバイアルのゴム栓部分や、バイアルの肩部付近の水滴付着部分、液面付近などは、製品や環境の影響でばらつきが多く、検査が困難である。この部分は、目視による人手検査を行っていた。よって、このような場合でも十分な精度で機械による外観検査を行うことが求められている。
【0007】
そこで、本発明は、液中異物検査及び外観検査の精度を向上させることを課題とする。
【課題を解決するための手段】
【0008】
前記した課題を解決するため、本発明の検査装置は、検査対象物を撮影した映像を画像処理する画像処理部と、前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、前記検査対象物の映像に撮影された異物をラベル付けするAI処理部と、前記画像処理部が処理した映像および前記AI処理部がラベル付けした映像に基づき、前記検査対象物が良品と不良品のうち何れであるかを判定する判定部と、を備える。
【0009】
本発明の検査方法は、検査対象物を撮影した映像を、画像処理部が画像処理するステップと、前記検査対象物の映像および前記検査対象物が良品と不良品の何れであるかを示す指標を組み合わせた教師データを学習した学習パラメータにより、AI処理部が、前記検査対象物の映像に撮影された異物をラベル付けするステップと、前記画像処理部が処理した映像および前記AI処理部がラベル付けした映像に基づき、判定部が、前記検査対象物が良品と不良品のうち何れであるかを判定するステップと、を備えることを特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
【発明の効果】
【0010】
本発明によれば、外観検査の精度を向上させることが可能となる。また、容器外観検査による死角を減らし、目視による検査部位を減らすことが可能となる。
【図面の簡単な説明】
【0011】
【
図3】検査装置の生産録画時の動作を説明する図である。
【
図4】検査装置の再生調整時の動作を説明する図である。
【
図6】AI処理ユニットの学習手順を説明する図である。
【
図7】AI処理ユニットの学習処理のフローチャートである。
【
図10】黒色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
【
図12】白色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
【
図14】気泡に係る入力映像を領域分割した画像である。
【発明を実施するための形態】
【0012】
以降、本発明を実施するための形態を、各図を参照して詳細に説明する。
本発明のターゲットとなる第1の事例は、良品状態にバラツキのあるものであり、凍結乾燥剤(ケーキ)上面異物検査等である。良品形状に不良よりも大きなバラツキ(ケーキ割れ等)があるため、不良との判別が困難である。現状課題は、ケーキ割れを不良と誤検知することである。
【0013】
第2の事例は、検査領域や検出感度に制限がでるものであり、シリンジゴム栓横異物検査等である。形状変化部分(境界部など)に不良がある場合、検査領域や検出感度に制限がでる。現状課題は、不良の見逃しや、境界部分を不良と誤検知することである。
【0014】
第3の事例は、検査時の画像が毎回変化するものであり、バイアルのゴム栓内側異物検査等である。回転して検査画像を撮像する為、角度に応じた検査領域設定が必要となる。現状課題は、不良の見逃しや、境界部分を不良と誤検知することである。
【0015】
以下、本実施形態は、異物検査装置に係り、アンプル、バイアル等の透過性のある容器中に充填された液体中の異物検査、および、液体充填容器の外観検査の技術を例として説明する。しかし、これに限られず、上記第1から第3の事例に適用してもよく、限定されない。
【0016】
図1は、本実施形態に係る検査装置1の構成図である。
検査装置1は、
図2に示した検査対象容器8の被検体内の異物、および、検査対象容器8の外観を検査するものである。検査装置1は、カメラ2と、制御部13と、画像処理ユニット3と、AI処理ユニット4と、判定部7とを含んで構成される。
【0017】
図2に示すように、この検査装置1は、検査対象容器8を回転させる台座11と、検査対象容器8に側方から光を照射する照明12とを含んで構成される。
カメラ2は、検査対象容器8を撮影する。なお、カメラ2は、検査対象物を撮影するものであればよい。検査対象物は、検査対象容器8およびその中の液体に限定されない。制御部13は、カメラ2の輝度補正と検査位置補正により、検査対象物を撮影した映像の条件を揃える。
【0018】
図1に示すように、画像処理ユニット3は、入力された映像信号にフィルタ処理を施す検査処理部31を備え、カメラ2が撮影した検査対象容器8の映像を画像処理する画像処理部である。これにより、判定部7は、液体内の異物の有無を判定可能となる。AI処理ユニット4は、異物を学習した学習パラメータ41を格納しており、カメラ2による撮影映像に対して、領域分割のAI(Artificial Intelligence)処理を実行するAI処理部である。AI処理ユニット4は、カメラ2が撮影した検査対象容器8の映像および検査対象容器8が良品と不良品のうち何れかを示す指標を組み合わせた教師データを学習した学習パラメータ41を格納する。AI処理ユニット4は、学習パラメータ41を用いて、検査対象容器8の映像に撮影された異物をラベル付けする。ここで異物をラベル付けするとは、AI処理ユニット4が、この異物が撮影されている映像領域に対して、異物であることを示すラベル情報を付与することをいう。
【0019】
判定部7は、画像処理ユニット3が処理した映像と、AI処理ユニット4がラベル付けした映像により異物の有無を検査し、更に外観不良の有無を検査する。判定部7は、AI処理した映像により、ピクセルごとに異物か否かを判定可能である。
判定部7は、画像処理ユニット3が処理した映像から第1の異常領域を抽出し、AI処理ユニットがラベル付けした映像から第2の異常領域を抽出する。判定部7は、第1の異常領域と第1の異常領域との論理積により、検査対象容器8およびその中の液体が、良品と不良品のうち何れかを判定する。
【0020】
検査装置1は、画像処理ユニット3の従来検査と同時に、AI処理ユニット4によるAI処理を実施する。そして、判定部7は、AI処理結果と従来検査結果とを合わせ、両方の不良判定(論理積)で総合判定する。これにより、機械による外観検査の精度を向上させることが可能となる。また、容器外観検査による死角を減らし、目視による検査部位を減らすことが可能となる。また、両方の不良判定(論理積)で総合判定するため、AI処理にて、良品を不良と誤判定することが或る程度まで許される。よって学習工数を低減させることができる。
【0021】
なお、判定部7は、AI処理結果と従来検査結果とを合わせ、何れか一方の不良判定(論理和)で総合判定してもよい。この場合、不良を良品と誤判定することが或る程度まで許されるため、学習工数を低減させることができる。
【0022】
また、AI処理を行うためには学習が必要となるが、検査装置1上での学習では再現が困難であり、かつ生産中にパラメータ調整のための学習が並行して実施できないという問題がある。
【0023】
図3に示すように、画像処理ユニット3は、
図1に示す検査装置1の録画機能を用いて、カメラ2により撮影した生産中の検査対象容器8の撮影映像を記憶装置6にデジタル録画する。これにより、映像の評価および生産運転しながら、全ての入力映像を録画し、AI学習用の大量データを取得することができる。
【0024】
図4に示すように、機械運転なしに記憶装置6に録画された映像を再生して、これを画像処理ユニット3が評価して調整することで、検査結果を出力する。この検査結果を人手で修正することにより、教師データを得ることができる。
【0025】
図5に示すように、検査装置1とは別の学習環境装置5により、この撮影映像と教師データを用いて学習部52が学習して学習パラメータ51を生成する。性能確認部53は、学習パラメータ51による検査の性能を確認する。
【0026】
性能確認部53は、記憶装置6に録画された撮影映像を用いて、従来処理と、AI処理の両方で、学習結果である学習パラメータ51のシミュレーションを実施する。よって、この結果を比較して効果の確認が可能となる。
【0027】
効果が確認出来たら、学習環境装置5は、AI処理の学習結果である学習パラメータ51を、学習パラメータ41として検査装置1に登録する。これにより、この学習結果は、検査装置1に反映される。
【0028】
AI処理は、人が背景、異物、傷、泡などを指定して学習させる必要がある。工数低減のため、本実施形態では、従来の画像処理ユニット3の機能を用いて背景と異物と汚れ等の情報を抽出し、抽出結果を画面表示する。その画面表示をもとに、画像処理ユニット3の判断に間違いが無いか否かを人が確認する。これにより、比較的容易に教師データを生成可能である。
そして、学習環境装置5は、この教師データを学習する。また、このときに、人の判断を減らすため、学習環境装置5は、一定以下の大きさの異物は無視する、薄いものは良品とするなどの条件を付けることで、判断する枚数を減らすことができる。
【0029】
図6は、
図1に示すAI処理ユニット4の学習手順を説明する図である。
この学習手順は、検査装置1による処理と、学習部52による処理と、性能確認部53による処理とに大別される。
【0030】
ステップS10にて、検査装置1は、従来の検査処理を実行する。この従来の検査処理の結果と撮影映像は、学習部52に引き渡される。
ステップS11にて、学習部52は、従来の検査処理の結果と、そのときの撮影映像を元に、映像内の要素をラベルとして学習する。この学習結果である学習パラメータ51(
図5)は、性能確認部53に引き渡される。
【0031】
ステップS12にて、性能確認部53は、評価用映像を用いて、学習パラメータ51(
図5)の性能を確認する。ステップS11とS12の処理は、所望の性能が得られるまで繰り返される。ここで所望の性能とは、画像処理ユニット3が誤って不良として判定した泡などを、学習パラメータ51を用いたAI処理が良品として判定し、かつ画像処理ユニット3が正しく不良と判定した異物や傷をAI処理が不良と判定することをいう。実際には良品でありながら、学習パラメータ51を用いたAI処理により、不良として誤判定してもよい。このような誤判定は、判定部7の論理和によって修正可能であり、問題とはならない。これにより、学習部52による学習工数と、この学習部52が学習する教師データの数を減らすことができる。
所望の性能の学習結果が得られたならは、学習環境装置5は、学習結果である学習パラメータ51を検査装置1に登録する。
【0032】
ステップS13にて、検査装置1は、従来の検査処理とAI処理を並列に実行する。そして、ステップS14にて、判定部7が従来の検査処理の結果とAI処理の結果を評価して総合的に判定する。ステップS15にて、判定部7は、正常な検査対象物を選別すると、一連の学習処理は完了する。
【0033】
図7は、AI処理ユニット4の学習処理のフローチャートである。このフローチャートは、
図6の学習手順を書き換えたものである。
最初、検査装置1は、記憶装置6による録画機能により、データを収集する(ステップS20)。そして、学習環境装置5は、学習によりモデルを生成する(ステップS21)。ここでモデルは、学習パラメータ51によって構成される。
次に作業者は、モデルである学習パラメータ51を検査装置1に反映して検証すると(ステップS22)、実際の生産に適用して(ステップS23)、
図7の処理を終了する。
【0034】
図8は、検査処理のフローチャートである。適宜、
図1を参照しつつ説明する。
最初、制御部13は、カメラ2の輝度補正を行い(ステップS30)、検査位置補正を行って(ステップS31)、検査対象物を撮影した映像の条件を揃える。ここで検査対象物とは、
図2に示した検査対象容器8およびその中の液体である。この映像は、画像処理ユニット3に送られ、併せて
図1に示すAI処理ユニット4にも送られる。以下、ステップS32からS34までの処理と、ステップS35からS38までの処理とは、並列に実行される。
【0035】
図1に示す画像処理ユニット3は、ステップS32からS34までの処理を実行する。画像処理ユニット3は、検査処理部31により、映像にフィルタ処理を施す(ステップS32)。そして、画像処理ユニット3は、濃淡のしきい値による二値化画像を作成し(ステップS33)、ラベル付けによる領域抽出を行う(ステップS34)。
【0036】
図1に示すAI処理ユニット4は、ステップS35からS38までの処理を実行する。AI処理ユニット4は、学習パラメータ51を元に、異物をラベルごとに分類する(ステップS35)。そしてAI処理ユニット4は、ラベルごとに色または輝度を同じにした映像を作成する(ステップS36)。
そして、AI処理ユニット4は、濃淡のしきい値による二値化画像を作成し(ステップS37)、ラベル付けによる領域抽出を行う(ステップS38)。
【0037】
ステップS39にて、判定部7は、画像処理ユニット3の処理結果と、AI処理ユニット4の処理結果の論理積による判定を実施する。ここで判定部7は、画像処理ユニット3が処理した映像から第1の異常領域を抽出し、AI処理ユニット4がラベル付けした映像から、第2の異常領域を抽出する。そして判定部7は、第1の異常領域と第2の異常領域との論理積により、検査対象物が良品と不良品のうち何れかを判定する。
そして判定部7は、検査対象物を選別すると(ステップS40)、
図8の処理を終了する。
【0038】
本実施形態の利点は、従来処理内の特徴抽出の1オプションとして追加可能である。従来処理にAI処理を追加し、両方の処理を並列に実施することで、従来処理の結果と合わせた総合判定が可能となる。
【0039】
検査精度を向上させるために、この検査装置1のオペレータは、従来の画像処理とAI処理とを組み合わせ、比較と評価を繰り返す。
【0040】
例えば、
図8のフローチャートは、検出した検出した不良から異物等の誤検知を判断するものである。このとき、判定部7は、第1の異常領域と第2の異常領域の論理積にて不良判定にAI処理結果を反映する。
また、未検査エリアに対して、新たなAI処理を追加したい場合がある。このような場合、判定部7は、第1の異常領域と第2の異常領域の論理和にて不良判定にAI処理結果を反映する。
【0041】
なお、これに限られず、判定部7は、第1の異常領域のうち第1の所定サイズのものと、第2の異常領域の第2の所定サイズのものを合成した結果により、検査対象物が良品と不良品のうち何れかを判定してもよく、限定されない。
【0042】
画像処理ユニット3によって好適に検出可能な異常領域は、サイズが所定値よりも大きなものである。これに対してAI処理は、サイズが小さなものであっても好適に検出可能である。よって、判定部7は、異常領域のサイズに応じて両者の検出結果を選択したのち、両者を合成することで、好適に異常の有無を判定可能である。この場合、AI処理の学習が、サイズが小さなものについて好適に検出可能になった時点で止めることができるため、短時間で学習を終えることができる。
【0043】
図9は、黒色異物に係る入力映像である。映像の中央左寄りに、黒色領域が撮影されている。この黒色領域は、異常領域である。
【0044】
図10は、
図9に示す黒色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
映像の中央左寄りに、他とは異なる色の領域が示されている。これが不良箇所に相当する。
【0045】
図11は、白色異物に係る入力映像である。映像の中央よりやや上寄りに、白色領域が撮影されている。
【0046】
図12は、
図11に示す白色異物に係る入力映像を領域分割して不良箇所を認識した画像である。
映像の中央よりやや上寄りに、他とは異なる色の領域が示されている。これが不良箇所に相当する。
【0047】
図13は、気泡に係る入力映像である。映像の中央より左下寄りに、気泡の陰影が示されている。これは不良ではない箇所に相当する。
【0048】
図14は、
図13に示す気泡に係る入力映像を領域分割した画像である。
映像中には、他とは異なる色の領域は存在しない。よって、この気泡は不良箇所に相当する。
【0049】
以下、本実施形態の適用例を記載する。
【0050】
《第1適用例》
検査装置1をシリンジのゴム栓上の泡と異物の区別に適用し、誤検知を低減させる。具体的には、従来検査で、ゴム栓上に映っているものをすべて検出してラベル付けして、AI処理にて泡と思われるものを検出したものの中から除く。
【0051】
《第2適用例》
検査装置1を液面に浮遊している泡と異物の区別に適用し、誤検知を低減させる。具体的には、液面の下がり具合をAIが学習し、異物の有無を判断する。また、泡と、検出したい異物の形状とに違いがあれば、これを学習させて泡の検出を除くことで実現される。
【0052】
《第3適用例》
検査装置1は、胴部(肩部)の空気層部分にある水滴を学習し、傷または汚れと区別する。具体的には、従来検査で空気層部分に映っているものをすべて検出してラベル付けする。そして、AI処理にて、検出したものの中から、水滴と思われるものを除くことで実現される。
【0053】
《第4適用例》
検査装置1は、凍結乾燥剤の空気層部分にある水滴を学習し、傷または汚れと区別する。具体的には、従来検査で空気層部分に映っているものをすべて検出してラベル付けする。そして、AI処理にて、検出したものの中から、水滴と思われるものを除くことで実現される。
【0054】
《第5適用例》
検査装置1は、バイアルのゴム栓内側に付着する水滴を学習し、汚れまたは異物と区別する。具体的には、従来検査でゴム栓に映っているものをすべて検出してラベル付けする。そして、水滴と汚れまたは異物との区別は、AI処理にて、検出したものの中から、ゴム栓の影や水滴と思われるものを除くことで実現される。
【0055】
(変形例)
本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
【0056】
上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、SSD(Solid State Drive)などの記録装置、または、フラッシュメモリカード、DVD(Digital Versatile Disk)などの記録媒体に置くことができる。
【0057】
各実施形態に於いて、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
本発明の変形例として、例えば、次の(a)~(d)のようなものがある。
(a)本発明は外観検査に限定されず、液中検査に適用してもよい。
(b)本発明の検査対象物は、バイアルおよび凍結乾燥剤に限定されず、アンプル等の容器、および、それ以外の任意のものであってもよい。
(c)本発明は、透明容器に限定されない。
(d)本発明のラベル付け手法は、機械学習により画像中の所望の異物の領域を示すラベル情報を付与するものであればよく、限定されない。
【符号の説明】
【0058】
1 検査装置
2 カメラ
3 画像処理ユニット (画像処理部)
4 AI処理ユニット (AI処理部)
31 検査処理部
41 学習パラメータ
5 学習環境装置
51 学習パラメータ
52 学習部
53 性能確認部
6 記憶装置
7 判定部
8 検査対象容器