(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-22
(45)【発行日】2024-07-30
(54)【発明の名称】判定装置、検査システム、判定方法及びコンピュータープログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240723BHJP
B65B 51/00 20060101ALI20240723BHJP
【FI】
G06T7/00 610
B65B51/00 Z
(21)【出願番号】P 2020107295
(22)【出願日】2020-06-22
【審査請求日】2023-06-14
(73)【特許権者】
【識別番号】598010595
【氏名又は名称】ウエブテック株式会社
(74)【代理人】
【識別番号】100141139
【氏名又は名称】及川 周
(74)【代理人】
【識別番号】100145481
【氏名又は名称】平野 昌邦
(74)【代理人】
【識別番号】100181722
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】久保田 恭平
【審査官】淀川 滉也
(56)【参考文献】
【文献】特開2020-071195(JP,A)
【文献】特開2015-068739(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00
B65B 51/00
(57)【特許請求の範囲】
【請求項1】
接着部分が形成された検査対象の形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定部、
を備え、
前記形状画像は、前記検査対象の高さ方向の凹凸に応じた画素値を有する画像である、判定装置。
【請求項2】
前記接着部分は、接着過程において表面に凹凸が生じる接着方法で接着された部分である、請求項1に記載の判定装置。
【請求項3】
接着部分が形成された検査対象の形状画像を撮影する撮影システムと、
前記形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定部と、
を備え
、
前記形状画像は、前記検査対象の高さ方向の凹凸に応じた画素値を有する画像である、検査システム。
【請求項4】
接着部分が形成された検査対象の形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定ステップ、を有
し、
前記形状画像は、前記検査対象の高さ方向の凹凸に応じた画素値を有する画像である、判定方法。
【請求項5】
請求項1
又は2に記載の判定装置としてコンピューターを機能させるためのコンピュータープログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、シートの接着部分の異常を判定するための技術に関する。
【背景技術】
【0002】
近年、フィルム同士を熱圧着することによって袋を製造する製袋機が提供されている(例えば特許文献1参照)。フィルムが熱圧着されることにより、内容物が漏れてしまうことを抑えることができる。そのため、1又は複数の辺において熱圧着を行うことで袋を製造することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、熱圧着された部分に異常が生じている場合、その部分から内容物が漏れてしまうおそれがある。このような問題は、必ずしも熱圧着に限られた問題ではなく、様々な態様での接着において共通する問題である。また、異常が生じているか否かの判定のみならず、接着された部分と他の部分との区別が可能となることにより、その後段における種々の工程において処理の精度が向上する可能性がある。
上記事情に鑑み、本発明は、接着部分をより精度高く判定することができる技術の提供を目的としている。
【課題を解決するための手段】
【0005】
本発明の一態様は、接着部分が形成された検査対象の形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定部、を備える判定装置である。
【0006】
本発明の一態様は、上記の判定装置であって、前記接着部分は、接着過程において表面に凹凸が生じる接着方法で接着された部分である。
【0007】
本発明の一態様は、上記の判定装置であって、前記形状画像は、前記検査対象の高さ方向の凹凸に応じた画素値を有する画像である。
【0008】
本発明の一態様は、接着部分が形成された検査対象の形状画像を撮影する撮影システムと、前記形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定部と、を備える検査システムである。
【0009】
本発明の一態様は、接着部分が形成された検査対象の形状画像において、前記接着部分を含む領域である対象領域を判定する対象領域判定ステップ、を有する判定方法である。
【0010】
本発明の一態様は、上記の判定装置としてコンピューターを機能させるためのコンピュータープログラムである。
【発明の効果】
【0011】
本発明により、接着部分をより精度高く判定することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の検査システム100のシステム構成を示す概略ブロック図である。
【
図2】撮影システム10の構成の具体例を示す図である。
【
図5】複数の明暗パターン111を与えて撮影することで生成される複数の画像の具体例を示す図である。
【
図6】複数の明暗パターン111を与えて撮影することで生成された複数の画像を用いて生成される加工画像の具体例を示す図である。
【
図7】
図4に示される検査対象90について得られた形状画像の具体例を示す図である。
【
図8】判定装置20の機能構成の例を示す概略ブロック図である。
【
図9】検査システム100の動作の流れの具体例を示すフローチャートである。
【
図10】検査対象90の第一具体例を示す図である。
【
図11】
図10に示される検査対象90の帯状物体の撮影領域60の具体例を示す図である。
【
図12】
図10に示される検査対象90に対して生成される形状画像の具体例を示す図である。
【
図13】検査対象90の第二具体例を示す図である。
【
図14】
図13に示される検査対象90の袋の撮影領域60の具体例を示す図である。
【
図15】
図13に示される検査対象90に対して生成される形状画像の具体例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の具体的な構成例について、図面を参照しながら説明する。
図1は、本発明の検査システム100のシステム構成を示す概略ブロック図である。検査システム100は、撮影システム10、判定装置20及び監視端末30を備える。撮影システム10、判定装置20及び監視端末30は、ネットワーク40を介して通信する。ネットワーク40は、無線通信を用いたネットワークであってもよいし、有線通信を用いたネットワークであってもよい。ネットワーク40は、複数のネットワークが組み合わされて構成されてもよい。撮影システム10は、検査対象90を撮影することで画像データを生成する。撮影システム10によって生成された画像データは、ネットワーク40を介して判定装置20に送信される。判定装置20は、画像データに基づいて、検査対象90の接着部分に異常が生じているか否か判定する。判定装置20は、判定結果を示すデータを監視端末30に送信する。
【0014】
撮影システム10について説明する。撮影システム10は、検査対象90の形状画像を生成するための撮影を行う。形状画像とは、検査対象90の形状を示す情報を有した画像である。より具体的には、形状画像は、検査対象90の垂直方向の形状の変化を示す情報が強調された画像である。形状画像では、検査対象90の表面に凹凸が存在する場合には、その凹凸の変化を示す値が各画素値に与えられる。一方、形状画像は、検査対象90の表面の平面上の模様の情報を有していない。そのため、検査対象90の表面に文字や画像や模様が印刷されていたとしても、その文字や画像や模様における色の変化を示す値は各画素に殆ど与えられていない。
【0015】
このような形状画像は、どのような撮影技術を適用することによって生成されてもよい。例えば、それぞれ異なる明暗パターンを与えて撮影された複数の画像に基づいて形状画像が生成されてもよい。例えば、距離画像を撮影することができる測距カメラを用いることによって、形状画像が撮影されてもよい。以下の説明では、それぞれ異なる照明パターンを与えて撮影された複数の画像に基づいて形状画像を生成する実施形態について説明する。
【0016】
図2は、撮影システム10の構成の具体例を示す図である。撮影システム10は、例えば照明11及びカメラ12を備える。照明11は、検査対象90に対して複数の明暗パターンの光を投射する。カメラ12は、照明11の光を受けた検査対象90を撮影することで、検査対象90の画像を生成する。検査対象90は、移動体80の上面に配置されている。移動体80は、矢印70の方向へ所定の速度で進む。移動体80の移動に伴って、その上面に配置されている検査対象90も移動する。なお、矢印70の方向は、右方向に限定される必要はなく、左方向であってもよいし、奥行き方向や手前方向など他の方向であってもよい。また、移動体80の移動速度は、一定の速度であってもよいし、変化する速度であってもよい。移動体80の移動速度は、撮影システム10の照明11及びカメラ12の動作と同期していればどのような速度であってもよい。移動体80は、例えばベルトコンベアであってもよいし、他の態様で構成されてもよい。
【0017】
図3は、撮影システム10の概略を示す図である。
図3において、符号111は照明11によって移動体80の上面に形成される明暗パターンの具体例を示す。明暗パターン111は、1又は複数の暗部112と、1又は複数の明部113とを含む。このような明暗パターン111は、照明11のどのような構成によって実現されてもよい。例えば、照明11は、光源と検査対象90との間に変化するフィルターを有し、変化するフィルターを介して光を投影することによって複数の明暗パターン111を形成してもよい。例えば、照明11は、複数の発光体を有し、一部の発光体を発光させて残りの発光体を消灯することで複数の明暗パターン111を形成してもよい。このような照明11に用いられる発光体には、直進性の強い光を発する発光体が用いられてもよい。
【0018】
カメラ12には、エリアカメラが適用されてもよいし、ラインカメラが適用されてもよい。本実施形態では、カメラ12にラインカメラが適用されている。
図3において、太線121は、ラインカメラが適用されたカメラ12の一度の撮像における撮像領域を示す。カメラ12は、例えば照明11における明暗パターン111の変化に同期して撮像を繰り返し実行することで、各明暗パターン111に応じた画像を生成する。
【0019】
次に、複数の明暗パターン111を与えて撮影された複数の画像に基づいて形状画像を生成する原理について説明する。
図4は、以下の説明において用いる検査対象90の具体例を示す図である。
【0020】
図4(A)は、検査対象90を水平方向に見た場合の形状を示す図である。
図4(A)に示されるように、検査対象90は、薄いシート状の物体で形成されており、左領域、中央領域、右領域の3つの領域を有している。中央領域のみが他の2つの領域よりも高い位置にある。すなわち、検査対象90は、凸状の形状を有している。
【0021】
図4(B)は、検査対象90を垂直方向から見下ろした場合の形状及び模様を示す図である。
図4(B)に示されるように、検査対象90は、上から見ると直方体の形状を有しており、表面に星形の模様を有している。
図4(C)は、検査対象90を斜め上から見た場合の形状及び模様を示す図である。
【0022】
図5は、複数の明暗パターン111を与えて撮影することで生成される複数の画像の具体例を示す図である。
図5の上段61は、
図5(A)~
図5(C)におけるカメラと発光体と検査対象90との位置関係を示す。
図5の下段62は、
図5(A)~
図5(C)において撮影された画像の具体例を示す。
【0023】
図5(A)では、右及び左の両方の発光体が点灯している。そのため、凸形状を有する検査対象90の表面全体に光が到達し、特に影が生じていない画像が撮影される。
図5(B)では、左の発光体のみが点灯している。この場合、中央領域によって光が遮られ、右領域にはあまり光が到達しない。特に中央領域と右領域との境界に当たる部分(高低差が急激に変化する部分)は、光が遮られて最も暗い部分になる。
図5(C)では、
図5(B)とは逆に右の発光体のみが点灯している。この場合、中央領域によって光が遮られ、左領域にはあまり光が到達しない。特に中央領域と左領域との境界に当たる部分(高低差が急激に変化する部分)は、光が遮られて最も暗い部分になる。
【0024】
図6は、複数の明暗パターン111を与えて撮影することで生成された複数の画像を用いて生成される加工画像の具体例を示す図である。
図6(A)は、
図5(A)で撮影された画像と、
図5(B)で撮影された画像と、の差分画像である。
図5(A)で撮影された画像と、
図5(B)で撮影された画像とでは、表面の模様は同じであるため、差分画像では模様がほぼ全て消えてしまう。一方、
図5(A)で撮影された画像と、
図5(B)で撮影された画像とでは、明暗パターン111の相違により生じた影が異なる。そのため、
図5(B)において生じた影の情報が特に強調された画像が生成される。
【0025】
図6(B)は、
図5(A)で撮影された画像と、
図5(C)で撮影された画像と、の差分画像である。
図5(A)で撮影された画像と、
図5(C)で撮影された画像とでは、表面の模様は同じであるため、差分画像では模様がほぼ全て消えてしまう。一方、
図5(A)で撮影された画像と、
図5(C)で撮影された画像とでは、明暗パターン111の相違により生じた影が異なる。そのため、
図5(C)において生じた左領域の影の情報が特に強調された画像が生成される。
【0026】
図6(C)は、
図6(A)の差分画像と
図6(B)の差分画像とに基づいて得られる画像である。
図6(C)は、例えば二つの差分画像を加算することによって得られる画像である。
図6(C)では、検査対象90の形状に応じて生じた全ての影の情報が集約されている。
【0027】
図7は、
図4に示される検査対象90について得られた形状画像の具体例を示す図である。
図7に示される形状画像は、例えば
図6(C)の画像において、強い影部分の画素値を閾値として用いて階調を下げる処理を行うことで得られた画像である。このような階調を下げる処理は、例えば2値化処理であってもよい。
図7に示される形状画像は、階調を下げる処理の具体例として2値化処理を採用することによって得られた画像である。このように、
図6(C)の画像において、所定の閾値を用いて画素の深度を落とすことによって、形状画像が形成されてもよい。すなわち、上下方向の高さが急激に変化する部分では、強い影が形成される。そのため、そのような影の画素値に合わせて閾値が設定されることで、上下方向の高さが急激に変化する部分と平坦な部分とに異なる画素値を与える事が可能となる。このような画素値を各領域に与えることで、上下方向の高さに係る形状を示した画像(すなわち形状画像)を生成することができる。
【0028】
なお、
図4~
図7を用いて説明した形状画像の生成方法は、あくまで形状画像の生成方法の一例に過ぎない。形状画像の生成方法は、上述した方法に限定される必要はない。
【0029】
図8は、判定装置20の機能構成の例を示す概略ブロック図である。判定装置20は、通信部21、記憶部22及び制御部23を備える。判定装置20は、例えばPLC(Programmable Logic Controller)やシングルボードコンピューターやパーソナルコンピューター等の情報機器を用いて構成される。
【0030】
通信部21は、ネットワーク40を介して他の装置(例えば撮影システム10、監視端末30)と通信するネットワークインターフェースである。通信部21は、制御部23から受けたデータをネットワーク40へ送出する。通信部21は、ネットワーク40から受信したデータを制御部23に出力する。
【0031】
記憶部22は、磁気ハードディスク装置や半導体記憶装置等の記憶装置を用いて構成される。記憶部22は、制御部23が動作するために必要となるデータを記憶する。例えば、記憶部22は、撮影システム10によって撮影された画像のデータや、撮影画像を加工することによって得られた画像のデータ(例えば形状画像のデータ)を記憶する。また、記憶部22は、制御部23における判定結果を示すデータを記憶してもよい。
【0032】
制御部23は、CPU(Central Processing Unit)等のプロセッサーとメモリーとを用いて構成される。制御部23は、プロセッサーがプログラムを実行することによって、形状画像生成部231、対象領域判定部232及び異常判定部233として機能する。なお、制御部23の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。上記のプログラムは、コンピューター読み取り可能な記録媒体に記録されても良い。コンピューター読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD-ROM、半導体記憶装置(例えばSSD:Solid State Drive)等の可搬媒体、コンピューターシステムに内蔵されるハードディスクや半導体記憶装置等の記憶装置である。上記のプログラムは、電気通信回線を介して送信されてもよい。
【0033】
形状画像生成部231は、撮影システム10によって撮影された複数の明暗パターン111の画像に基づいて形状画像を生成する。形状画像の生成方法は、例えば
図4~
図7を用いて説明した上記方法であってもよいし、他の方法であってもよい。なお、撮影システム10が直接形状画像を生成する場合には、判定装置20は形状画像生成部231を備えないように構成されてもよい。
【0034】
対象領域判定部232は、形状画像において、検査対象90の対象領域を判定する。検査対象90の対象領域とは、異常判定部233において異常の有無を判定する対象となる領域である。本実施形態では、対象領域は検査対象90の接着部分を示す領域である。検査対象90では、表面に凹凸が少ない部材(例えばフィルム素材)が用いられ、接着の過程で表面に微細な凹凸が形成される。言い換えれば、本実施形態では、表面に微細な凹凸が形成される方法で接着が行われる。このような接着方法の具体例として、熱圧着がある。熱圧着では、ヒーターと検査対象90との間に表面に凹凸を有する部材が配置され、凹凸を有する部材によって検査対象90が圧迫される。その際に、検査対象90の表面に微細な凹凸が形成される。他にも、超音波接着や、熱ローラーを用いた接着や、熱ベルトを用いた接着が適用されてもよい。このような接着が行われるため、形状画像では、接着が行われた部分に凹凸を示す画素値の変化が生じた領域が現れる。
【0035】
対象領域判定部232は、このような画素値の変化が生じた領域を対象領域として判定する。対象領域判定部232は、例えば予め得られている接着部分の形状画像を用いて生成されたパターンを用いて対象領域を判定してもよい。対象領域判定部232は、例えば予め得られている接着部分の形状画像を用いて生成された条件(例えば単位面積内での画素値の変化量を示す情報の条件)に基づいて対象領域を判定してもよい。対象領域判定部232は、例えば予め得られている接着部分の形状画像を用いた機械学習を行い、学習結果である学習済みモデルを用いることで対象領域を判定してもよい。
【0036】
異常判定部233は、対象領域の画像において、異常が発生しているか否か判定する。異常判定部233は、例えば異常を示す所定の条件(以下「異常条件」という。)が満たされているか否かに基づいて判定を行ってもよい。異常判定部233が判定する異常は、例えば接着部分の幅が所定の閾値よりも狭いことであってもよいし、接着部分の幅の分散が所定の閾値よりも大きいこと(例えば接着部分がうねっていること)であってもよいし、接着領域内に接着されていない領域(画素値の変化が小さい領域)が形成されていることであってもよい。異常判定部233は、判定結果を所定の態様で出力する。異常判定部233は、例えば自装置に出力装置が備えられている場合には、判定結果を示す態様で出力装置を制御してもよい。例えば、異常判定部233は、判定結果に応じた態様で所定のランプを点灯又は点滅させてもよいし、判定結果に応じた画像又は文字をディスプレイに表示させてもよいし、判定結果に応じた音声をスピーカーから出力させてもよい。例えば、異常判定部233は、ネットワーク40を介して他の装置(例えば監視端末30)に判定結果を示す情報を送信してもよい。
【0037】
監視端末30は、パーソナルコンピューターやスマートフォン等の汎用的な情報処理装置を用いて構成されてもよいし、いわゆる監視制御装置等の専用システムの一部として構成されてもよい。監視端末30は、判定装置20から判定結果を示す情報を受信する。監視端末30は、受信された判定結果に応じた態様で情報を出力装置から出力する。出力の態様の具体例は、異常判定部233に関して説明したものと同様である。
【0038】
図9は、検査システム100の動作の流れの具体例を示すフローチャートである。まず、撮影システム10が検査対象90について撮影を行う(ステップS101)。例えば、撮影システム10は、複数の明暗パターンそれぞれにおける画像を撮影する。判定装置20の形状画像生成部231は、撮影された画像に基づいて形状画像を生成する(ステップS102)。判定装置20の対象領域判定部232は、形状画像において対象領域を判定する(ステップS103)。判定装置20の異常判定部233は、対象領域において異常が生じているか否か判定する(ステップS104)。異常判定部233や監視端末30は、判定結果を出力する(ステップS105)。
【0039】
次に、検査対象90の具体例について説明する。
図10は、検査対象90の第一具体例を示す図である。検査対象90の第一具体例は、製袋機によって袋が生成される過程で生成される中間生成物である帯状物体である。帯状物体には、フィルムで接着されていない領域(非接着領域)91と、フィルム状に印刷が施されている領域(印刷領域)92と、接着されている領域(接着領域)93とが形成されている。帯状物体は、この後に鎖線で示される部分で切断される。このような処理によって、複数の袋が生成される。
【0040】
図11は、
図10に示される検査対象90の帯状物体の撮影領域60の具体例を示す図である。撮影システム10によって、撮影領域60によって示される枠内の画像が所定のタイミングで繰り返し撮影される。撮影システム10では、例えば異なる明暗パターン111毎に、撮影領域60の画像が生成される。
【0041】
図12は、
図10に示される検査対象90に対して生成される形状画像の具体例を示す図である。形状画像では、印刷領域92における画素の変化がほぼ消えており、非接着領域91と接着領域93とが明確に画像上の異なる特徴として表されている。
【0042】
図13は、検査対象90の第二具体例を示す図である。検査対象90の第二具体例は、製袋機によって生成された個々の袋である。袋には、非接着領域91と、印刷領域92と、接着領域93とが形成されている。
【0043】
図14は、
図13に示される検査対象90の袋の撮影領域60の具体例を示す図である。撮影システム10によって、撮影領域60によって示される枠内の画像が所定のタイミングで繰り返し撮影される。撮影システム10では、例えば異なる明暗パターン111毎に、撮影領域60の画像が生成される。
【0044】
図15は、
図13に示される検査対象90に対して生成される形状画像の具体例を示す図である。形状画像では、印刷領域92における画素の変化がほぼ消えており、非接着領域91と接着領域93とが明確に画像上の異なる特徴として表されている。
【0045】
このように構成された検査システム100では、表面の模様がほぼ消えている形状画像に基づいて接着部分が判定され、接着部分について異常の有無が判定される。そのため、模様がノイズとして影響してしまうことを抑制し、接着部分に生じた異常をより精度高く判定することが可能となる。
【0046】
(変形例)
判定装置20が備える構成の一部は他の装置に実装されてもよい。例えば、形状画像生成部231は、撮影システム10に実装されてもよい。
判定装置20は、異常判定部233を備えないように構成されてもよい。
【0047】
判定装置20は、複数の装置を備える判定システムとして実装されてもよい。例えば、形状画像生成部231を備える装置と、対象領域判定部232を備える装置と、異常判定部233を備える装置と、がそれぞれ異なる装置として実装されてもよい。
【0048】
判定装置20は、撮影システム10と同じ構内に設置されてもよい。この場合、ネットワーク40は、例えば有線LANや無線LANとして構成されてもよい。この場合、監視端末30も、同様の構内に設置されてもよい。一方、判定装置20は、撮影システム10とは遠く離れた場所に設置されてもよい。例えば、判定装置20は、クラウドのシステムとして実装されてもよい。この場合、監視端末30は、撮影システム10と同じ構内に設けられてもよいし、撮影システム10とは離れた場所に設置されてもよい。
【0049】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0050】
100…検査システム, 10…撮影システム, 11…照明, 12…カメラ, 111…明暗パターン, 112…暗部, 113…明部, 20…判定装置, 21…通信部, 22…記憶部, 23…制御部, 231…形状画像生成部, 232…対象領域判定部, 233…異常判定部, 30…監視端末, 40…ネットワーク, 80…移動体, 90…検査対象