(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-07-31
(45)【発行日】2023-08-08
(54)【発明の名称】検査システム、検査装置、学習装置及びプログラム
(51)【国際特許分類】
G01N 23/18 20180101AFI20230801BHJP
G01N 23/04 20180101ALI20230801BHJP
G06N 20/00 20190101ALI20230801BHJP
【FI】
G01N23/18
G01N23/04
G06N20/00
(21)【出願番号】P 2019227141
(22)【出願日】2019-12-17
【審査請求日】2022-09-27
(73)【特許権者】
【識別番号】598105802
【氏名又は名称】株式会社 システムスクエア
(74)【代理人】
【識別番号】100166545
【氏名又は名称】折坂 茂樹
(72)【発明者】
【氏名】中川 幸寛
【審査官】比嘉 翔一
(56)【参考文献】
【文献】特開2019-184305(JP,A)
【文献】特開2019-174421(JP,A)
【文献】特開2019-159820(JP,A)
【文献】特開2019-095217(JP,A)
【文献】再公表特許第2018/173121(JP,A1)
【文献】再公表特許第2019/159440(JP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N
G06N10/00-G06N99/00
G06F18/00-G06F18/40
G06T 7/00-G06T 7/90
G06V10/00-G06V20/90
G06V30/418
G06V40/16
G06V40/20
JSTPlus/JMEDPlus/JST7580(JDream3)
(57)【特許請求の範囲】
【請求項1】
電磁波を発生し検査対象物に照射する電磁波照射部と、
前記検査対象物を透過した前記電磁波の透過量の分布データを検出する透過量検出部と、
前記検査対象物の透過量の分布データを入力することで前記検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、
前記透過量検出部で検出された前記検査対象物の透過量の分布データを前記学習モデルに入力し、出力された前記情報に基づく検査結果を出力する検査結果出力手段と、
前記学習モデルを送信する学習モデル送信手段と、
を備える検査装置と、
前記検査装置から送信された前記学習モデルを受信する学習モデル受信手段と、
学習データとして、前記所定の異常がある場合と異常が無い場合の双方の前記検査対象物の透過量の分布データを記憶する学習データ記憶部と、
前記学習モデル受信手段が受信した前記学習モデルを、前記学習データを用いて追加学習させる学習手段と、
追加学習済の前記学習モデルを記憶する学習
済モデル記憶部と、
追加学習済の前記学習モデルを前記学習
済モデル記憶部から読み出して送信する学習済モデル送信手段と、
を備える学習装置と、
を備え、
前記検査装置は、前記学習装置から前記追加学習済の学習モデルを受信し、前記学習モデル記憶部に記憶させる学習済モデル受信手段を更に備える
ことを特徴とする検査システム。
【請求項2】
前記検査装置は、前記透過量検出部において収集された前記学習データを送信する学習データ送信手段を更に備え、
前記学習装置は、前記検査装置から送信された前記学習データを受信し、前記学習データ記憶部に記憶させる学習データ受信手段を更に備える
ことを特徴とする請求項1に記載の検査システム。
【請求項3】
前記学習データ送信手段は、前記学習データに前記所定の異常の有無を示すラベルを付して送信し、
前記学習手段は、前記ラベルを参照して追加学習を実行する
ことを特徴とする請求項2に記載の検査システム。
【請求項4】
電磁波を発生し検査対象物に照射する電磁波照射部と、
前記検査対象物を透過した前記電磁波の透過量の分布データを検出する透過量検出部と、
前記検査対象物の透過量の分布データを入力することで前記検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、
前記透過量検出部で検出された前記検査対象物の透過量の分布データを前記学習モデルに入力し、出力された前記情報に基づく検査結果を出力する検査結果出力手段と、
前記学習モデルを
、追加学習させるための学習装置に送信する学習モデル送信手段と、
追加学習済の
前記学習モデルを
前記学習装置から受信し、前記学習モデル記憶部に記憶させる学習済モデル受信手段と、
を備える検査装置。
【請求項5】
検査装置から学習モデルを受信する学習モデル受信手段と、
学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、
前記学習モデル受信手段が受信した前記学習モデルを、前記学習データを用いて追加学習させる学習手段と、
追加学習済の前記学習モデルを記憶する学習
済モデル記憶部と、
追加学習済の前記学習モデルを前記学習
済モデル記憶部から読み出して
前記検査装置に送信する学習済モデル送信手段と、
を備える学習装置。
【請求項6】
コンピュータを、請求項1から5のいずれか1項に記載の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検査対象物に電磁波を照射することにより得られる透過量の分布データに基づき検査対象物の内部における異常の検査を行う検査システム、検査装置、学習装置及びプログラムに関する。
【背景技術】
【0002】
検査対象物にX線、紫外線、可視光線、赤外線、又はマイクロ波などの電磁波を照射し透過量を検出すると、検査対象物内の異物の有無や異物の材質等に起因する透過量の強弱の分布が得られる。この強弱の分布がそれぞれの画素の色調(色彩の明暗・濃淡・強弱などの調子)により表現された二次元画像を生成することで、外観からは知りえない検査対象物内部の状況を可視化することができる。
【0003】
前述のように透過量の強弱は、検査対象物内の異物の有無や異物の材質等に起因するが、異物と非異物との組み合わせによっては、両者の透過量の差異が非常に小さく、生成された二次元画像からの両者の識別が難しい場合がある。
【0004】
そのような課題の解決策として、近時、機械学習された学習モデルを用いる方法が提案されている。例えば、内部に所定の異常がある検査対象物の透過量の分布データを多数収集して、これらを学習データとして特徴量を抽出し、抽出した特徴量を用いて、当該検査対象物の内部における所定の異常を検出するための学習モデルを生成する。そして、この学習モデルに検査対象物の透過量の分布を示すデータを入力することで、異常の存否を精度よく検出することが可能となる。
【0005】
例えば、複数の物品が重なり合っている状態の商品のX線検査画像を学習画像として用いる機械学習を実行し、これにより得られた特徴量を用いて商品をX線検査することで、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制可能とする検査装置が特許文献1に開示されている。特許文献1に記載の検査装置では、検査装置内のCPU(Central Processing Unit)が機械学習処理を実行する。
【0006】
学習モデルは、一旦生成したものをそのまま使用し続けることもできるが、新たな学習データを用いて追加学習することで、検出精度をより高めることができる。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
機械学習処理を検査装置内のCPU(Central Processing Unit)で実行すると、検査装置に具備されるCPUでは一般に処理能力が不十分であり、学習に長い時間を要する。また、これによりCPUが長時間高熱な状態が継続し、CPUや周囲の回路などにダメージが生じるおそれがある。更に、CPUは機械学習処理のみならず、学習データの収集や検査の実行制御を担っているため、機械学習処理の実行中は、他の処理を行えないか著しく処理速度が低下してしまう。
【0009】
本発明の目的は、学習モデルを用いて行う検査対象物の検査に際し、学習モデルの追加学習を速やかに実行することができ、かつ、検査装置への負荷が小さい検査システム、検査装置、学習装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0010】
本発明の検査システムは、検査装置と学習装置とを備える。検査装置は、電磁波を発生し検査対象物に照射する電磁波照射部と、検査対象物を透過した電磁波の透過量の分布データを検出する透過量検出部と、検査対象物の透過量の分布データを入力することで検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、透過量検出部で検出された検査対象物の透過量の分布データを学習モデルに入力し、出力された情報に基づく検査結果を出力する検査結果出力手段と、学習モデルを送信する学習モデル送信手段と、を備える。学習装置は、検査装置から送信された学習モデルを受信する学習モデル受信手段と、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、学習モデル受信手段が受信した学習モデルを、学習データを用いて追加学習させる学習手段と、追加学習済の学習モデルを記憶する学習モデル記憶部と、追加学習済の学習モデルを学習モデル記憶部から読み出して送信する学習済モデル送信手段と、を備える。検査装置は更に、学習装置から追加学習済の学習モデルを受信し、学習モデル記憶部に記憶させる学習済モデル受信手段を備える。
【0011】
検査装置が、透過量検出部において収集された学習データ送信する学習データ送信手段を更に備えるとともに、学習装置が、検査装置から送信された学習データを受信し、学習データ記憶部に記憶させる学習データ受信手段を更に備えてもよい。
【0012】
学習データ送信手段が、学習データに所定の異常の有無を示すラベルを付して送信し、学習手段が、ラベルを参照して追加学習を実行してもよい。
【0013】
本発明の検査装置は、電磁波を発生し検査対象物に照射する電磁波照射部と、検査対象物を透過した電磁波の透過量の分布データを検出する透過量検出部と、検査対象物の透過量の分布データを入力することで検査対象物における所定の異常の存在可能性を示す情報を出力する学習モデルを予め記憶する学習モデル記憶部と、透過量検出部で検出された検査対象物の透過量の分布データを学習モデルに入力し、出力された情報に基づく検査結果を出力する検査結果出力手段と、学習モデルを送信する学習モデル送信手段と、追加学習済の学習モデルを受信し、学習モデル記憶部に記憶させる学習済モデル受信手段と、を備える。
【0014】
本発明の学習装置は、学習モデルを受信する学習モデル受信手段と、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物の透過量の分布データを記憶する学習データ記憶部と、学習モデル受信手段が受信した学習モデルを、学習データを用いて追加学習させる学習手段と、追加学習済の学習モデルを記憶する学習モデル記憶部と、追加学習済の学習モデルを学習モデル記憶部から読み出して送信する学習済モデル送信手段と、を備える。
【0015】
本発明の検査装置及び学習装置の各手段の機能は、プログラムに記述し、コンピュータに実行させることにより実現してもよい。
【発明の効果】
【0016】
本発明によれば、学習モデルを用いて行う検査に際し、学習モデルの追加学習を速やかに実行することができ、かつ、検査装置への負荷が小さい検査システム、検査装置、学習装置及びプログラムを提供することができる。
【図面の簡単な説明】
【0017】
【
図1】検査システム10の機能構成例を示す図である。
【
図2】各手段の機能をプログラムに記述してコンピュータで実行させることにより実現する検査システム10の構成例を示す図である。
【発明を実施するための形態】
【0018】
以下、本発明の実施形態を、図面を参照しつつ説明する。なお、以下の説明及び図面では、同一の機能部には同一の符号を付し、一度説明した機能部については説明を省略するか、必要な範囲で説明する。
【0019】
図1は、本発明の検査システム10の機能構成例を示す図である。検査システム10は、検査装置100と学習装置200とを備える。検査装置100と学習装置200とはピアツーピア、LAN、WANなど任意のネットワークNWを介して、任意の有線通信方式又は無線通信方式により通信可能に接続される。また、複数の検査装置100で1つの学習装置200を共用してもよい。
【0020】
検査装置100は、電磁波照射部111、搬送部112、透過量検出部113、検出データ記憶部114、学習モデル記憶部115、検査結果出力手段116、学習モデル送信手段117及び学習済モデル受信手段118を備える。
【0021】
学習装置200は、学習モデル受信手段211、学習データ記憶部212、学習手段213及び学習済モデル送信手段215を備える。
【0022】
電磁波照射部111は、搬送部112に載置されて
図1におけるY軸方向に搬送される検査対象物Wに、X線、紫外線、可視光線、赤外線などの電磁波を照射する、所定の電磁波照射源である。
【0023】
搬送部112は、3次元直交座標系においてXY平面をなす搬送面に載置された検査対象物Wを、Y軸方向に所定の速度で搬送する任意の搬送機構である。搬送部112の具体的な構成方法は任意である。例えば、
図1に示すように検査対象物Wを透過した電磁波が透過量検出部113に直接到達するように隙間を開けて配置された2つのベルトコンベアとして構成してもよいし、電磁波透過性の高い1つのベルトコンベアにより構成してもよい。
【0024】
透過量検出部113は、検査対象物Wを透過した電磁波の透過量の分布データを検出する。透過量検出部113の構成方法は任意であり、例えば、X軸方向に並べられた複数の検出素子からなるラインセンサとして構成してもよい。この場合、検査対象物Wからの電磁波の透過量を、搬送部112による搬送速度に応じた周期で、検査対象物Wの全体がラインセンサ上を通過するまで繰り返し検出する。これにより、各周期に検査対象物Wを線状に分割したそれぞれの領域における透過量の分布データが得られ、検査対象物Wがラインセンサ上を通過し始めてから通過し終わるまでの各周期のデータを取得順に配列することで、検査対象物W全体について透過量の分布データを得ることができる。
【0025】
検出データ記憶部114は、透過量検出部113において検出された検査対象物Wの透過量の分布データが記憶される。
【0026】
学習モデル記憶部115は、検査対象物Wの透過量の分布データを入力することで検査対象物Wにおける所定の異常の存在可能性を示す情報を出力する学習モデルが、予め記憶される。予め記憶される学習モデルは、検査装置100において予め生成しておいたものでもよいし、他の装置で生成したものでもよい。
【0027】
所定の異常としては、例えば、検査対象物Wが包装物である場合における、内部の異物の存在や内容物の形状の異常や内容物のシール部への噛み込み等のほか、検査対象物W自体の形状の異常や割れ・欠け等が挙げられる。
【0028】
学習モデルは、所定の異常がある検査対象物Wの透過量の分布データを学習データとして、それぞれの画素の色調の相違や、画素間での色調の変化の態様の相違などに基づき、既知の任意の方法で機械学習を行うことにより生成しておく。例えば、教師ありの機械学習においては、所定の異常の有無を示すラベルが付された透過画像データを学習モデルに入力し、学習モデルからそのラベル通りに結果が出力されるようにパラメータを調整するなどの処理を行う。このとき、検出精度がより高い学習モデルを生成するために、学習アルゴリズムに、多層のニューラルネットワークによるディープラーニングの手法を応用してもよい。
【0029】
学習モデルから出力する所定の異常の存在可能性を示す情報としては、例えば、所定の異常がある可能性を示す推論値が挙げられる。
【0030】
検査結果出力手段116は、学習モデル記憶部115から読み出した学習モデルに、検出データ記憶部114から読み出した検査対象物Wの透過量の分布データを入力し、出力された検査対象物Wにおける所定の異常の存在可能性を示す情報に基づき、検査結果を出力する。
【0031】
学習モデルから出力される所定の異常の存在可能性を示す情報が、所定の異常がある可能性を示す推論値である場合、この推論値を所定の閾値と対比することにより所定の異常の存否を特定して検査結果として出力することができる。
【0032】
具体的には例えば、異常がある可能性が極めて低い場合を0、異常がある可能性が極めて高い場合を1とした0~1の範囲で推論値を定義し、出力された推論値が一定の値(例えば0.6)以上である場合に異常があると判定することができる。
【0033】
学習モデル送信手段117は、学習モデル記憶部115から学習モデルを読み出し、学習装置200(学習モデル受信手段211)に向け送信する。
【0034】
学習モデル受信手段211は、検査装置100(学習モデル送信手段117)から学習モデルを受信する。
【0035】
学習データ記憶部212は、学習データとして、所定の異常がある場合と異常が無い場合の双方の検査対象物Wの透過量の分布データを記憶する。記憶する学習データは、多いほど望ましい。なお、学習手段213において教師あり学習をする場合、記憶されている学習データに所定の異常の有無を示すラベルが付されていないときには、利用者による入力などに基づき付しておく。
【0036】
所定の異常がある場合と異常が無い場合の双方の検査対象物Wの透過量の分布データは、例えば、検査システム10の外部において予め収集されたものを記憶させてもよい。
【0037】
また、検査装置100において、学習データである、所定の異常がある場合と異常が無い場合のそれぞれにおける検査対象物Wの透過量の分布データを収集し、これを学習データ記憶部212に記憶させてもよい。この場合、例えば、学習データ送信手段119を検査装置100に、また、学習データ受信手段216を学習装置200に、それぞれ設ける。
【0038】
学習データ送信手段119は、透過量検出部113でそれぞれ検出され検出データ記憶部114に記憶された、学習データである、所定の異常がある場合と異常が無い場合のそれぞれにおける検査対象物Wの透過量の分布データを、検出データ記憶部114から読み出して学習データ受信手段216に送信する。学習データの送信に際し、所定の異常の有無を示すラベルを付して送信してもよい。
【0039】
学習データ受信手段216は、学習データ送信手段119から送信された学習データを受信し、学習データ記憶部212に記憶させる。
【0040】
これにより、検査装置100において、所定の異常がある又は異常が無い検査対象物Wに電磁波照射部111から電磁波を照射して、透過量検出部113において透過量の分布データを検出し、検出データ記憶部114に記憶させ、これを学習データ送信手段119が読み出して送信し、更にこれを学習データ受信手段216が受信して学習データ記憶部212に記憶させることができる。
【0041】
1つの学習装置200に対して、複数の検査装置100を接続し、いずれかの検査装置100から、所定の異常がある場合と異常が無い場合の検査対象物Wについて透過量の分布データをそれぞれ収集し、学習データ記憶部212に記憶させるように検査システム10を構成してもよい。
【0042】
学習手段213は、学習モデル受信手段211が受信した学習モデルを、学習データ記憶部212から読み出した、所定の異常がある場合と異常が無い場合の双方の検査対象物Wについての透過量の分布データを用いて追加学習させ、追加学習済の学習モデルを出力する。追加学習は、透過量の分布データにおけるそれぞれの画素の色調の相違や、画素間での色調の変化の態様の相違などに基づき、既知の任意の機械学習方法により行ってよい。例えば、教師ありの機械学習においては、所定の異常の有無を示すラベルが付された透過画像データを学習モデルに入力し、学習モデルからそのラベル通りに結果が出力されるようにパラメータを調整するなどの処理を行う。このとき、検出精度がより高い学習モデルを生成するために、学習アルゴリズムに、多層のニューラルネットワークによるディープラーニングの手法を応用してもよい。
【0043】
学習済モデル記憶部214は、学習手段213が出力した追加学習済の学習モデルを記憶する。追加学習済の学習モデルは、直近に追加学習された学習モデルに加え、過去に追加学習された学習モデルを更に記憶しておいてもよい。
【0044】
学習済モデル送信手段215は、追加学習済の学習モデルを学習済モデル記憶部214から読み出して検査装置100(学習済モデル受信手段118)に送信する。
【0045】
学習済モデル受信手段118は、学習装置200(学習済モデル送信手段215)から追加学習済の学習モデルを受信し、学習モデル記憶部115に記憶させる。
【0046】
検査結果出力手段116は、以後、追加学習済の学習モデルを用いて検査を実行する。
【0047】
以上説明した検査装置100及び学習装置200の各手段の機能は、プログラムに記述し、コンピュータに実行させることにより実現してもよい。
【0048】
図2に、各手段の機能をプログラムに記述してコンピュータで実行させることにより実現する検査システム10(検査装置100及び学習装置200)の構成例を示す。
【0049】
検査装置100は、電磁波照射部111、搬送部112及び透過量検出部113のほか、例えば、入力部121、記憶部122、CPU123、出力部125及び通信部126を備える。
【0050】
入力部121は、検査・学習の実行指示の入力、学習データとする検出データの選択入力、学習データへの所定の異常の有無を示す情報の付与、検査・学習に使用する学習モデルの選択入力、検査装置100と学習装置200との間のデータの送受信の指示の入力、及び検査システム10の外部において生成された学習モデルなど検査装置100を機能させるために必要な情報の入力などを行うための任意のインタフェースである。指示入力や選択入力を行うインタフェースは、物理的なスイッチとして構成してもよいし、出力部125としてディスプレイを設けて、入力画面を表示させ、そこにポインティングデバイスやキーボードなどから入力を行うように構成してもよい。
【0051】
記憶部122は、検出データ記憶部114及び学習モデル記憶部115の機能を担うとともに、各手段の機能、各部の制御情報、学習装置200の遠隔制御情報等が記述されたプログラムを記憶する任意の記憶手段である。記憶部122には、例えば、磁気ディスク、光ディスクなど等の記憶手段のほか、不揮発性メモリ、揮発性メモリといった半導体メモリ等の記憶手段を採用することができる。
【0052】
CPU123は、記憶部122に記憶された各手段の機能、各部の制御情報、学習装置200の遠隔制御情報等が記述されたプログラムを実行し、各手段の機能、各部の制御、学習装置200の遠隔制御等を実現する。
【0053】
出力部125は、検査や学習の実行などに供する操作画面の表示や、検査結果出力手段116が出力する検査結果の表示、印刷等を行う出力手段である。具体的な構成は出力形態に依存し、例えば操作画面や検査結果を表示する場合は各種ディスプレイとして構成され、印刷する場合は各種印刷機として構成される。
【0054】
通信部126は、学習モデル送信手段117、学習済モデル受信手段118及び学習データ送信手段119の機能実現時や、検査装置100による学習装置200の遠隔制御時において、学習装置200(通信部226)との間で情報を送受する、採用するネットワークNWの形態及び通信方式に応じた通信インタフェースである。
【0055】
学習装置200は、例えば、入力部221、記憶部222、CPU223及び通信部226を備える。
【0056】
入力部221は、検査システム10の外部において収集された検査対象物Wの透過量の分布データなど、学習装置200を機能させるために必要な情報等が入力される任意のインタフェースである。
【0057】
記憶部222は、学習データ記憶部212の機能を担うとともに、各手段の機能等が記述されたプログラムを記憶する任意の記憶手段である。記憶部222には、例えば、磁気ディスク、光ディスクなど等の記憶手段のほか、不揮発性メモリ、揮発性メモリといった半導体メモリ等の記憶手段を採用することができる。
【0058】
CPU223は、記憶部222に記憶された各手段の機能等が記述されたプログラムを実行し、各手段の機能等を実現する。
【0059】
通信部226は、学習モデル受信手段211、学習済モデル送信手段215及び学習データ受信手段216の機能実現時や検査装置100からの遠隔制御時において、検査装置100(通信部126)との間で情報を送受する、採用するネットワークNWの形態及び通信方式に応じた通信インタフェースである。
【0060】
なお、学習装置200における学習手段213の機能の実現に際しては、CPUのみで機械学習処理を実行すると一般に処理に時間を要する。そこで、CPU223に加え、並列計算に特化したアーキテクチャを有し、機械学習処理を高速にかつ低負荷で実行可能なGPU(Graphics Processing Unit)224を設け、学習手段213の機能をCPU223とGPU224の連携により実現してもよい。
【0061】
本発明の検査システム10によれば、学習モデルを用いて行う検査に際し、学習モデルの追加学習を検査装置100とは別の学習装置200において実行するため、機械学習処理の速度を高めることができるとともに、検査装置100における処理への支障の発生や、CPUや周囲の回路へのダメージの発生を防ぐことができる。更に、学習装置200にGPUを設けることで機械学習処理をより高速化することができる。
【0062】
本発明は、上記の実施形態に限定されるものではない。上記の実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。
【符号の説明】
【0063】
10…検査システム
100…検査装置
111…電磁波照射部
112…搬送部
113…透過量検出部
114…検出データ記憶部
115…学習モデル記憶部
116…検査結果出力手段
117…学習モデル送信手段
118…学習済モデル受信手段
119…学習データ送信手段
121、221…入力部
122、222…記憶部
123、223…CPU
125…出力部
126、226…通信部
211…学習モデル受信手段
212…学習データ記憶部
213…学習手段
214…学習済モデル記憶部
215…学習済モデル送信手段
216…学習データ受信手段
224…GPU
NW…ネットワーク
W…検査対象物