特開 2024-174298 画像検査装置および画像検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024174298

(43)【公開日】2024-12-17

(54)【発明の名称】画像検査装置および画像検査方法

(51)【国際特許分類】

   G01N 21/90 20060101AFI20241210BHJP

【ＦＩ】

G01N21/90 D

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023092048

(22)【出願日】2023-06-05

(71)【出願人】

【識別番号】518106124

【氏名又は名称】コネクテッドロボティクス株式会社

(74)【代理人】

【識別番号】110002871

【氏名又は名称】弁理士法人坂本国際特許商標事務所

(72)【発明者】

【氏名】ユ ジンジェ

(72)【発明者】

【氏名】ペイショットデカルヴァリオ ガブリエル

(72)【発明者】

【氏名】ウチュンチュ コライ

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA28

2G051AB15

2G051BA01

2G051BB01

2G051BC01

2G051CA04

2G051CA07

2G051CB01

2G051CB02

2G051CB03

2G051CD06

2G051CD07

2G051DA06

(57)【要約】

【課題】 複数の画像を用いることにより、効果的な検査を可能とした画像検査装置等を提供する。
【解決手段】 光透過性を有する容器を反射光により撮影した第１の画像を取得するとともに、容器を内容物とともに透過光により撮影した第２の画像を取得する画像取得部と、第１の画像および第２の画像に基づいて容器に対する内容物の位置を検出する検査部と、を備え、検査部は、第１の画像に基づいて容器の位置を特定し、第２の画像に基づいて内容物の位置を特定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

光透過性を有する容器を反射光により撮影した第１の画像を取得するとともに、前記容器を内容物とともに透過光により撮影した第２の画像を取得する画像取得部と、
前記第１の画像および前記第２の画像に基づいて前記容器に対する前記内容物の位置を検出する検査部と、
を備え、
前記検査部は、前記第１の画像に基づいて前記容器の位置を特定し、前記第２の画像に基づいて前記内容物の位置を特定する、画像検査装置。

【請求項2】

前記第１の画像の撮影時に、前記容器を面照明する反射光用照明部を備える、請求項１に記載の画像検査装置。

【請求項3】

前記第１の画像および前記第２の画像は、搬送装置で搬送されている前記容器を、固定されたカメラにより撮影した画像である、請求項１に記載の画像検査装置。

【請求項4】

前記第１の画像および前記第２の画像は、反射光照明と、透過光照明とを切り替えつつ共通の前記カメラにより撮影した断片画像である、請求項３に記載の画像検査装置。

【請求項5】

前記第１の画像および前記第２の画像は、搬送装置で搬送されている前記容器を、前記搬送装置の搬送方向に沿って配置された２台のカメラのそれぞれにより撮影した画像である、請求項１に記載の画像検査装置。

【請求項6】

前記第１の画像または前記第２の画像は、断片画像である、請求項５に記載の画像検査装置。

【請求項7】

前記第１の画像または前記第２の画像に基づいて合成画像を生成する画像合成部を備え、
前記検査部は、前記第１の画像または前記第２の画像の前記合成画像を用いて検査を行う、請求項４または６に記載の画像検査装置。

【請求項8】

前記画像合成部は、前記断片画像を用いて補間することにより前記合成画像を生成する、請求項７に記載の画像検査装置。

【請求項9】

前記画像合成部は、前記断片画像に基づいて生成された中間画像を用いて補間することにより前記合成画像を生成する、請求項７に記載の画像検査装置。

【請求項10】

光透過性を有する容器を反射光により撮影した第１の画像を取得するとともに、前記容器を内容物とともに透過光により撮影した第２の画像を取得する画像取得ステップと、
前記第１の画像および前記第２の画像に基づいて前記容器に対する前記内容物の位置を検出する検査ステップと、
を備え、
前記検査ステップでは、前記第１の画像に基づいて前記容器の位置を特定し、前記第２の画像に基づいて前記内容物の位置を特定する、画像検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像検査装置および画像検査方法に関する。

【背景技術】

【0002】

特許文献１には、粘稠物が充填された容器に上方から照射光を照射し、容器内のフランジ部近傍の粘稠物表面の突部によって生じる該フランジ部表面の影などの有無を撮像により判別する検査方法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６０７０９４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、検査対象や検査目的によっては、例えば、互いに照明光や撮影角度などが異なる複数の画像を用いることにより、効果的な検査が可能となる場合がある。

【0005】

そこで、１つの側面では、本開示は、複数の画像を用いることにより、効果的な検査を可能とした画像検査装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様によれば、
光透過性を有する容器を反射光により撮影した第１の画像を取得するとともに、前記容器を内容物とともに透過光により撮影した第２の画像を取得する画像取得部と、
前記第１の画像および前記第２の画像に基づいて前記容器に対する前記内容物の位置を検出する検査部と、
を備え、
前記検査部は、前記第１の画像に基づいて前記容器の位置を特定し、前記第２の画像に基づいて前記内容物の位置を特定する、画像検査装置が提供される。

【発明の効果】

【0007】

１つの側面では、本開示によれば、複数の画像を用いることにより、効果的な検査を可能とした画像検査装置等を提供することができる。

【図面の簡単な説明】

【0008】

【図1】本実施例の画像検査装置を備える検査システムの構成を示す図である。

【図2】検査システムにおける撮影方法を例示する正面図である。

【図2A】検査システムにおける撮影方法を例示する斜視図である。

【図3】ラインカメラの走査により得られる画像の全体を例示する図である。

【図4】ラインカメラの走査により得られる第１の画像を例示する図である。

【図5】ラインカメラの走査により得られる第２の画像を例示する図である。

【図6】第１の画像に示される容器を模式的に示す図である。

【図6A】第２の画像に示される内容物を模式的に示す図である。

【図7】容器の位置および内容物の位置を例示する図である。

【図8】第１の画像の合成画像を例示する図である。

【図9】第１の画像の合成画像を例示する図である。

【図9A】中間画像を生成する方法を概念的に示す図である。

【図10】コンベアで搬送されている容器を搬送方向に沿って配置された２台のラインカメラにより撮影する例を示す図である。

【発明を実施するための形態】

【0009】

図１は、本実施例の画像検査装置を備える検査システムの構成を示す図、図２は、検査システムにおける撮影方法を例示する正面図、図２Ａは、検査システムにおける撮影方法を例示する斜視図である。

【0010】

図１に示すように、検査システムは、本実施例の画像検査装置１０と、コンベア２１（図２、図２Ａ）を含む搬送装置を制御する搬送制御装置２０と、画像検査装置１０および搬送制御装置２０を制御する主制御装置１００とを含んで構成される。

【0011】

図１に示すように、画像検査装置１０は、検査対象物としての容器４０（図２、図２Ａ）を撮影した断片画像である第１の画像を取得するとともに、容器４０を撮影した、第１の画像と異なる断片画像である第２の画像を取得する画像取得部１０Ａと、対応する断片画像を合成することにより、第１の画像または第２の画像の合成画像を生成する画像合成部１０Ｂと、合成画像を含む第１の画像および第２の画像に基づいて容器４０を検査する検査部１０Ｃと、を備える。

【0012】

図１に示すように、画像検査装置１０の画像取得部１０Ａは、ラインカメラ１１、反射光用照明部１５および透過光用照明部１６を制御し、第１の画像および第２の画像を取得する。反射光用照明部１５および透過光用照明部１６は、それぞれ反射光照明および透過光照明により容器４０を照明する。画像検査装置１０の画像合成部１０Ｂは、画像処理装置１２による画像処理を介して画像合成を行う。また、画像検査装置１０の検査部１０Ｃは、画像処理装置１２による画像処理を用いて容器４０に係る検査を行う。

【0013】

本実施例において、容器４０は、光透過性を有する（透明な）プラスチック製の容器である。例えば、内容物４５としての食材が格納された状態で、検査システムによる検査が行われ、検査終了後に、容器４０の上部の開口がトップシール（不図示）により封着される。ここで、容器４０の上部のフランジ部４３（図６）に食材が乗り出していると、封着時にフランジ部４３とトップシールとの間に挟まる、いわゆる噛み込み（シール不良）が発生してしまう。本実施例では、食材が格納され、封着される前の状態の容器４０が検査される。このため、実際に噛み込みが発生する前に、フランジ部４３（図６）に食材が乗り出している容器４０を検知することができる。なお、本実施例は、容器４０の上部の開口を塞ぐ工程としては、任意の方法に対して適用される。例えば、開口を蓋で閉じる場合にも適用可能である。また、容器の材質も任意である。例えば、ガラス等の容器に対しても本実施例を適用できる。

【0014】

図１に示すように、搬送制御装置２０は、コンベア２１を駆動するモータ２２を制御する。図２および図２Ａに示すように、コンベア２１は、図２における左方から右方に容器４０を搬送する。

【0015】

図２および図２Ａに示すように、コンベア２１の上方には、コンベア２１によって等速で搬送される容器４０を撮影するラインカメラ１１が固定して設置される。また、ラインカメラ１１の近傍には、容器４０を上方から面照明する反射光用照明部１５が設けられている。

【0016】

また、コンベア２１の下方には、透過光用照明部１６が設置されている。透過光用照明部１６からの照明光は、コンベア２１に形成された間隙２５を介して上方に照射され、コンベア２１によって搬送される容器４０を照明する。

【0017】

図２および図２Ａに示すように、ラインカメラ１１、反射光用照明部１５および透過光用照明部１６は、コンベア２１の流れ方向について同一の位置に配置される。すなわち、反射光用照明部１５および透過光用照明部１６は、コンベア２１の間隙２５を介して、上下方向に互いに対向して設けられ、ラインカメラ１１は、反射光用照明部１５および透過光用照明部１６の間に配置される。

【0018】

次に、撮影時の動作について説明する。

【0019】

内容物４５が収容された容器４０がコンベア２１により搬送され、間隙２５の位置に差し掛かると、ラインカメラ１１による撮影が開始される。本実施例では、コンベア２１により搬送される容器４０が間隙２５の位置を通過する期間を含む撮影期間に、反射光用照明部１５および透過光用照明部１６から交互に照明光が容器４０に照射される。また、反射光用照明部１５および透過光用照明部１６から照明光が照射されるタイミングに合わせて、ラインカメラ１１による走査が実行される。これにより、画像取得部１０Ａは、容器４０を反射光により撮影した第１の画像を取得するとともに、容器４０を透過光により撮影した第２の画像を取得する。

【0020】

図３は、ラインカメラの走査により得られる画像の全体を例示する図である。図３～図５および図９において、上下方向がラインカメラ１１の走査方向に対応し、左右方向がコンベア２１の搬送方向に対応する。

【0021】

図３に示すように、ラインカメラ１１の走査により得られる画像５０には、第１の画像を構成する複数の短冊状の断片画像５１と、第２の画像を構成する複数の短冊状の断片画像５２とが含まれる。断片画像５１と断片画像５２は、図３の左右方向に交互に配置される。ここで、断片画像５１および断片画像５２は、それぞれラインカメラ１１における１回の走査に対応する画像である。すなわち、１つの断片画像５１および断片画像５２が、ラインカメラ１１における走査周期ごとに画像取得部１０Ａにより交互に取得される。

【0022】

なお、本開示において、断片画像とは、撮影範囲の一部に対応する画像をいう。本実施例では、複数の断片画像５１は、反射光用照明部１５による反射光で撮影された画像の集合であり、複数の断片画像５２は、透過光用照明部１６による反射光で撮影された画像の集合である。

【0023】

図４は、ラインカメラの走査により得られる第１の画像を例示する図、図５は、ラインカメラの走査により得られる第２の画像を例示する図である。

【0024】

図４に示すように、第１の画像には、容器４０の撮影領域の全体ではなく、その一部の領域のみが含まれる。図５に示すように、第２の画像には、容器４０の撮影領域の一部の領域であって、第１の画像には含まれない領域のみが含まれる。

【0025】

なお、図３～図５および図９において、説明の便宜のため、実際よりも断片画像５１および断片画像５２の幅（図３～図５および図９における左右方向の幅）およびピッチ（図３～図５および図９における左右方向のピッチ）を大きく描画している。しかし、実際には、断片画像５１および断片画像５２の幅およびピッチは、後述する画像検査が可能な程度に制限されている。この幅およびピッチは、ラインカメラ１１の解像度によるが、例えば、ラインカメラ１１における画素数として、１～１０ピクセル程度としてもよい。また、撮影条件や、コンベア２１の搬送速度、ラインカメラ１１の性能、画像検査装置１０の動作周期等によっては、断片画像５１および断片画像５２の間に、撮影できない期間が生ずる場合もある。このような場合には、当該期間（の画像）は無視し、撮影できた断片画像５１および断片画像５２のみを使用することができる。

【0026】

図６は、第１の画像に示される容器を模式的に示す図である。

【0027】

図６に示すように、容器４０の形状は、反射光により撮影した第１の画像により示される。透明な容器４０の形状は、透過光による撮影よりも反射光による撮影において明瞭に提示される。

【0028】

図６において、容器４０のフランジ部４３は、フランジ部４３の外側の輪郭４１と、フランジ部４３の内側の輪郭４２に囲まれた領域として示される。

【0029】

なお、図６では、容器４０のフランジ部４３が円環状のものを例示しているが、フランジ部４３の形状は任意である。フランジ部４３は容器４０の開口部の形状に応じた形状を呈する。容器４０の開口部の形状としては、矩形等の形状が例示される。

【0030】

図６Ａは、第２の画像に示される内容物を模式的に示す図である。

【0031】

図６Ａに示すように、内容物４５の形状ないし輪郭は、透過光により撮影した第２の画像により示される。不透明な内容物４５の形状ないし輪郭は、反射光による撮影よりも透過光による撮影において明瞭に提示される。

【0032】

このように、本実施例によれば、容器４０を反射光により撮影した第１の画像に基づいて容器４０の位置を特定し、容器４０を内容物４５とともに透過光により撮影した第２の画像に基づいて内容物４５の位置を特定している。このため、容器４０と内容物４５の位置を安定して検知することができる。

【0033】

次に、検査部１０Ｃにおける処理について説明する。

【0034】

検査部は、前記第１の画像の合成画像における検査対象物（容器４０）の位置と、第２の画像の合成画像における検査対象物（内容物４５）の位置とを比較することにより検査を行うことができる。具体的には、検査部１０Ｃは、第１の画像に基づいて容器４０の位置を特定し、第２の画像に基づいて内容物４５の位置を特定する。ここで、検査部１０Ｃが特定する容器４０の位置には、フランジ部４３の領域が含まれ、検査部１０Ｃが特定する内容物４５の位置には、内容物４５の領域が含まれる。本実施例では、容器４０の位置として、フランジ部４３の領域が特定される。また、本実施例では、内容物４５の位置としての内容物４５の領域、とくにフランジ部４３の領域における内容物４５の有無が特定される。

【0035】

この場合、検査部１０Ｃは、第１の画像および第２の画像をそのまま用いて容器４０および内容物４５の位置を検出することができる。また、検査部１０Ｃは、画像合成部１０Ｂにより生成された、第１の画像または第２の画像の合成画像を用いて、容器４０および内容物４５の位置を検出することができる。検査部１０Ｃは、第１の画像および第２の画像のうちの一方をそのまま用いるとともに、他方の合成画像を用いて容器４０および内容物４５の位置を検出してもよい。画像合成部１０Ｂにより生成される合成画像については後述する。

【0036】

ここで、第１の画像および第２の画像は、ラインカメラ１１によって同一の位置から同一のレンズを介して撮影された画像であるため、第１の画像および第２の画像において画角が共通している。このため、容器４０および内容物４５の位置を、画像５０における共通の座標上の位置として特定することができる。

【0037】

なお、第１の画像にフランジ部４３の領域の全体が含まれていない場合であっても、検査部１０Ｃは、他の第１の画像における他の領域の画像に基づいて、フランジ部４３の領域を推定（特定）することができる。また、フランジ部４３の領域に係る情報、例えば、容器４０やフランジ部４３の形状が既知であれば、検査部１０Ｃは、これらの情報をさらに利用してフランジ部４３の領域を推定（特定）することができる。

【0038】

図７は、容器の位置および内容物の位置を例示する図である。

【0039】

図７の例では、領域６０において、内容物４５が容器４０のフランジ部４３の領域内に侵入している。すなわち、内容物４５がフランジ部４３に乗り上げているため、このような場合には、検査部１０Ｃにおいて格納状態の不良と判定する。不良と判定された場合、搬送制御装置２０の制御により、当該容器４０はトップシールによる封着工程への搬送経路から外されて、再度、内容物４５を格納する工程へ回される。内容物４５が容器４０のフランジ部４３の領域内に侵入していない場合には、検査部１０Ｃは、格納状態を良好と判定し、搬送制御装置２０の制御により、当該容器４０はトップシールによる封着工程へ搬送される。

【0040】

次に、画像合成部１０Ｂにおける処理について説明する。

【0041】

画像合成部１０Ｂは、第１の画像または第２の画像に基づいて第１の画像または第２の画像の合成画像を生成する。

【0042】

なお、以下の説明では、第１の画像の合成画像について例示するが、第２の画像に対しても同様の処理により合成画像を生成することは可能である。ただし、内容物４５の画像と比較し、コンベア２１の搬送方向について急激な変化が現れない容器４０の画像に係る第１の画像への適用がより有効と考えられる。

【0043】

上記のように、画像合成部１０Ｂにおいて生成された合成画像は、検査部１０Ｃの検査において利用される。

【0044】

図８および図９は、第１の画像の合成画像を例示する図である。

【0045】

図８の例では、画像合成部１０Ｂは、図４において断片画像５１のない領域に、断片画像５１ａを補間することにより、第１の画像の合成画像５０Ａを生成している。

【0046】

図８において、断片画像５１に付された「１」～「７」の符号は、断片画像５１の画像を示し、同じ符号は、同じ画像であることを示す。すなわち、図８の例では、画像合成部１０Ｂは、断片画像５１と同一画像の断片画像５１ａを、順次、その断片画像５１の隣に配置することにより、合成画像５０Ａを生成している。

【0047】

一方、図９の例では、画像合成部１０Ｂは、図４において断片画像５１のない領域に、中間画像である断片画像５１ｂを補間することにより、第１の画像の合成画像５０Ｂを生成している。

【0048】

図９Ａは、中間画像を生成する方法を概念的に示す図である。

【0049】

図９Ａに示すように、断片画像５１ｂは、当該断片画像５１ｂを挟む両隣の断片画像５１の中間画像に対応する。例えば、隣接する断片画像５１に示される輪郭の位置が、その間に差し込まれる断片画像５１ｂによって連続的に変化し、隣接する断片画像５１に示される輪郭どうしが互いに接続されるように、断片画像５１ｂの画像を生成することができる。

【0050】

画像合成部１０Ｂは、このような中間の画像に対応する断片画像５１ｂを順次、生成し、断片画像５１のない領域に、断片画像５１ｂを補間することにより、第１の画像の合成画像５０Ｂを生成する。

【0051】

図１０は、コンベアで搬送されている容器を搬送方向に沿って配置された２台のラインカメラにより撮影する例を示す図である。

【0052】

図１０に示すように、コンベア２１の上流側には、コンベア２１によって等速で搬送される容器４０を撮影するラインカメラ１１Ａがコンベア２１の上方に設置される。また、ラインカメラ１１Ａの近傍には、容器４０を上方から面照明する反射光用照明部１５Ａが設けられている。図１０に示すように、ラインカメラ１１Ａ、反射光用照明部１５Ａは、コンベア２１の流れ方向について同一の位置に配置される。

【0053】

一方、ラインカメラ１１Ａに対してコンベア２１の下流側には、コンベア２１によって等速で搬送される容器４０を撮影するラインカメラ１１Ｂがコンベア２１の上方に設置される。また、コンベア２１の下方には、透過光用照明部１６Ｂが設置されている。透過光用照明部１６Ｂからの照明光は、コンベア２１に形成された間隙２５Ｂを介して上方に照射され、コンベア２１によって搬送される容器４０を照明する。図１０に示すように、ラインカメラ１１Ｂ、透過光用照明部１６Ｂおよび間隙２５Ｂは、コンベア２１の流れ方向について同一の位置に配置される。

【0054】

図１０の構成においては、画像取得部１０Ａは、コンベア２１の上流側に設置されたラインカメラ１１Ａを介して、第１の画像を取得する。この場合、第１の画像は、ラインカメラ１１Ａにより容器４０の全体を撮影した画像であってもよく、あるいは、図４に示すような断片画像であってもよい。例えば、ラインカメラ１１Ａの走査周期に対してコンベア２１の搬送速度が速い場合には、第１の画像は断片画像となる。

【0055】

同様に、画像取得部１０Ａは、コンベア２１の下流側に設置されたラインカメラ１１Ｂを介して、第２の画像を取得する。この場合、第２の画像は、ラインカメラ１１Ｂにより容器４０および内容物４５の全体を撮影した画像であってもよく、あるいは、図５に示すような断片画像であってもよい。例えば、ラインカメラ１１Ｂの走査周期に対してコンベア２１の搬送速度が速い場合には、第２の画像は断片画像となる。

【0056】

第１の画像または第２の画像が断片画像である場合、断片画像は画像合成部１０Ｂによる上記の画像合成処理の対象とすることができる。

【0057】

なお、図１０に示唆されるように、ラインカメラ１１Ａの位置とラインカメラ１１Ｂの位置の間で、内容物４５を容器４０に格納する作業を行ってもよい。この場合、ラインカメラ１１Ａを介して空の容器４０を撮影することができる。このため、第１の画像において、内容物４５によって容器４０が隠れることがなく、容器４０の全体を撮影することが可能となる。

【0058】

図１０の構成においても、検査部１０Ｃは、第１の画像に基づいて容器４０のフランジ部４３の領域を特定するとともに、第２の画像に基づいて内容物４５の領域を特定する。また、図７に示すように、内容物４５がフランジ部４３に乗り上げている場合には、検査部１０Ｃにおいて格納状態の不良と判定する。しかし、図１０の構成では、第１の画像を撮影するラインカメラ１１Ａと、第２の画像を撮影するラインカメラ１１Ｂとは、互いに離れた場所に設置され、撮影範囲および撮影のタイミングも個々に設定されている。したがって、第１の画像に基づき特定される容器４０の位置と、第２の画像により特定される内容物４５の位置とを合わせ込む位置合わせ処理が必要となる。この処理は、例えば、検査部１０Ｃにより、画像処理装置１２を介して実行される。例えば、容器４０に反射光および透過光でそれぞれ視認可能な複数のマークを付し、これらの複数のマークの位置を第１の画像と第２の画像で一致させるような処理（位置合わせ処理）を行ってもよい。

【0059】

以上説明したように、本実施例によれば、容器４０を反射光により撮影した第１の画像に基づいて容器４０の位置を特定し、容器４０を内容物４５とともに透過光により撮影した第２の画像に基づいて内容物４５の位置を特定しているので、容器４０と内容物４５の位置を安定して検知することができる。このように、複数の画像を用いることにより、効果的な検査が可能となる。なお、本実施例では、容器を搬送しながら撮影を行う態様について述べたが、容器が静止した状態で撮影をすることも可能である。その場合、容器を置く台の一部を透明とし、この透明な部分を容器底面からの透過光が通るようにしてもよい。

【0060】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素の全部又は複数を組み合わせることも可能である。

【符号の説明】

【0061】

１０ 画像検査装置
１０Ａ 画像取得部
１０Ｂ 画像合成部
１０Ｃ 検査部
１１ ラインカメラ
１２ 画像処理装置
１５ 反射光用照明部
１６ 透過光用照明部
２１ コンベア
４０ 容器
４５ 内容物

【図1】

【図2】

【図2A】

【図3】

【図4】

【図5】

【図6】

【図6A】

【図7】

【図8】

【図9】

【図9A】

【図10】