特許 7240780 検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-03-08

(45)【発行日】2023-03-16

(54)【発明の名称】検査装置

(51)【国際特許分類】

   G01N 23/04 20180101AFI20230309BHJP

   G01N 23/18 20180101ALI20230309BHJP

   G06T 7/00 20170101ALI20230309BHJP

   G06T 7/11 20170101ALI20230309BHJP

   G06V 10/70 20220101ALI20230309BHJP

【ＦＩ】

G01N23/04

G01N23/18

G01N23/04 340

G06T7/00 350B

G06T7/11

G06V10/70

【請求項の数】 6

(21)【出願番号】P 2022160572

(22)【出願日】2022-10-04

【審査請求日】2022-10-20

【早期審査対象出願】

(73)【特許権者】

【識別番号】598105802

【氏名又は名称】株式会社 システムスクエア

(74)【代理人】

【識別番号】100166545

【弁理士】

【氏名又は名称】折坂 茂樹

(72)【発明者】

【氏名】中川 幸寛

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０１９－１２４５９１（ＪＰ，Ａ）

【文献】国際公開第２０２０／２４５８８９（ＷＯ，Ａ１）

【文献】特開２０１６－１１４５９２（ＪＰ，Ａ）

【文献】国際公開第２０２０／０７１１６２（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０２０／０３４９４６４（ＵＳ，Ａ１）

【文献】特開２０１９－２１２０７３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ２３／００－Ｇ０１Ｎ２３／２２７６

Ｇ０１Ｎ２１／１７－Ｇ０１Ｎ２１／６１

Ｇ０１Ｎ２１／８４－Ｇ０１Ｎ２１／９５８

(57)【特許請求の範囲】

【請求項1】

物品を搬送する搬送部と、
前記物品に電磁波を照射する電磁波照射部と、
前記物品を経た前記電磁波を少なくとも検出し、検出値を出力する電磁波検出部と、
前記検出値に基づき、前記物品を含む画像である検査画像を生成する画像生成部と、
画像が入力されることで前記画像を２以上の類のうち所定のいずれかの類に分類し、分類の確度を示す分類スコアと、前記分類スコアの推定の過程で注視した前記画像内の領域である注目部位を示す情報と、を出力する学習モデルを予め記憶する学習モデル記憶部と、
前記検査画像を前記学習モデルに入力して出力を得る画像解析部と、
を備える検査装置。

【請求項2】

前記搬送部はコンベヤである請求項１に記載の検査装置。

【請求項3】

前記電磁波照射部が照射する前記電磁波はＸ線である請求項１に記載の検査装置。

【請求項4】

前記検査画像に前記注目部位を示す情報に基づく前記注目部位を示す画像を重畳して表示部に表示させるとともに、前記注目部位を示す画像の近傍に前記分類スコアを表示させる表示制御部を更に備える請求項１から３のいずれか１項に記載の検査装置。

【請求項5】

前記注目部位を示す画像は、注目の程度が一定以上である範囲の輪郭画像である請求項４に記載の検査装置。

【請求項6】

前記検査画像、並びに前記検査画像の前記分類スコア及び前記注目部位を示す情報を関連付けて記憶する解析結果記憶部を更に備える請求項１から３のいずれか１項に記載の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品に電磁波を照射することにより得られる画像に基づき物品の検査を行う検査装置に関する。

【背景技術】

【0002】

一般に、物品の製造から梱包、出荷に至るまでの各工程では、物品に適した、又は物品内に含まれ得る異物の種類（材料、大きさなど）に適した検査方法によって、物品の良否や物品内の異物の存否等の検査が行われる。このうち、物品を非破壊で検査可能な電磁波検査装置では、物品にＸ線などの電磁波を照射し、物品を経た電磁波の強度の分布を把握することにより、物品の良否や物品内への異物の存否等を検査することができる。

【0003】

具体的には、例えば、複数の検出素子が物品の搬送方向に直交する方向に一列に配列されたラインセンサ上を物品が横切る間、ラインセンサの各検出素子で物品の搬送速度に応じた検出周期で透過電磁波を繰り返し検出することで、検出値がラインセンサの検出素子の個数×検出周期数で二次元配列された検出値群が得られる。そして、各検出値の二次元配列における位置を画素の位置として、検出値の大小を例えば画素の明暗で表現することで、物品の透過電磁波の強度分布が画素の明暗で表現された二次元の画像を生成することができる。

【0004】

このように生成された物品の画像を解析することにより、物品の形状や、物品内部の異物の存否・存在位置等を検査することができる。画像解析による異常検出の方法としては、従来からの画像処理による方法のほか、画像を学習モデルに入力することにより画像の分類スコアを得る方法が挙げられる（例えば、特許文献１参照）。

【0005】

また、学習モデルを評価する手法のひとつとして、画像の分類（例えば、正常又は異常）の確度の推定過程で学習モデルが注目した画像内の部位（確度の推定に寄与した部位）をヒートマップ等で表現した注目部位を示す情報を生成し、当該学習モデルによる当該画像の分類の確度を示す分類スコアが、本来注目すべき部位に注目して推定されたかどうかを可視化する手法がある。

【0006】

また、画像の入力により、分類スコアとセグメンテーションの双方を出力するマルチタスク型の学習モデルがある。このようなマルチタスク型の学習モデルとしては、例えば非特許文献１に開示されたものが挙げられる。非特許文献１のマルチタスク型学習モデルは、処理タスクとしてsegmentation taskとclassification taskを含み、画像の入力により、segmentation taskにおいて入力画像の注目部位を示す情報を生成して出力するとともに、classification taskにおいて入力画像の分類スコアを出力する。

【0007】

マルチタスク型の学習モデルの場合、分類スコアとセグメンテーションの位置とを照合することで、学習モデルが適切に機能しているかを確認することができる。

【先行技術文献】

【特許文献】

【0008】

【文献】国際公開第２０２０／０７１１６２号

【非特許文献】

【0009】

【文献】A.Amyar, R.Modzelewski, S.Ruan, "Multi-task deep learning based CT imaging analysis for COVID-19: classification and segmentation", medRxiv, April 2020, doi: https://doi.org/10.1101/2020.04.16.20064709

【発明の概要】

【発明が解決しようとする課題】

【0010】

従来のマルチタスク型の学習モデルは、分類スコアとセグメンテーションの双方の出力が可能であるが別個独立に出力されるため、その両者を確認するには、分類スコアを確認した上で、別途、当該分類スコアに対応するセグメンテーションを検索して確認する必要があり、これらの作業がかなり煩雑である。

【0011】

本発明の目的は、学習モデルを用いた検査画像の分類の際に、分類スコアとセグメンテーションとを同時に把握することを可能とする検査装置を提供することにある。

【課題を解決するための手段】

【0012】

本発明の検査装置は、物品を搬送する搬送部と、物品に電磁波を照射する電磁波照射部と、物品を経た電磁波を少なくとも検出し、検出値を出力する電磁波検出部と、検出値に基づき、物品を含む画像である検査画像を生成する画像生成部と、画像が入力されることで当該画像を２以上の類のうち所定のいずれかの類に分類し、分類の確度を示す分類スコアと、当該分類スコアの推定の過程で注視した画像内の領域である注目部位を示す情報と、を出力する学習モデルを予め記憶する学習モデル記憶部と、検査画像を学習モデルに入力して出力を得る画像解析部と、を備える。

【0013】

検査画像に、注目部位を示す情報に基づく当該注目部位を示す画像を重畳して表示部に表示させるとともに、当該注目部位を示す画像の近傍に分類スコアを表示させる表示制御部を更に備えてもよい。

【0014】

注目部位を示す画像は、注目の程度が一定以上である範囲の輪郭画像であってもよい。

【0015】

検査画像、並びに当該検査画像の分類スコア及び注目部位を示す情報を関連付けて記憶する解析結果記憶部を更に備えてもよい。

【発明の効果】

【0016】

本発明の検査装置によれば、学習モデルを用いた検査画像の分類の際に、分類スコアとセグメンテーションを同時に把握することができるため、学習モデルの評価の効率化を図ることができる。

【図面の簡単な説明】

【0017】

【図1】本発明の検査装置１００の構成を説明する図である。

【図2】検査画像を学習モデルに入力して出力される注目部位及び分類スコアの検査画像上への同時表示の例を示す図である。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面に基づいて説明する。なお、以下の説明では、同一の部材には同一の符号を付し、一度説明した部材については適宜その説明を省略する。

【0019】

図１は本発明の検査装置１００の構成を説明する図である。

【0020】

検査装置１００は、搬送部１０１、電磁波照射部１０２、電磁波検出部１０３、画像生成部１０４、学習モデル記憶部１１０、画像解析部１２０、解析結果記憶部１３０、表示制御部１４０、表示部１４１、及び検査部１５０を備える。

【0021】

搬送部１０１は、載置された物品Ｗを一定方向に平面移動させる任意の方式のコンベヤである。相互に直交するＸ軸、Ｙ軸、Ｚ軸からなる３次元座標系において、物品Ｗが移動する平面をＸＹ平面としたとき、搬送部１０１はＸ軸方向（紙面を貫く方向）に幅を持ち、物品ＷをＹ軸方向（紙面における横方向）に搬送する。

【0022】

電磁波照射部１０２は、搬送部１０１により搬送される物品Ｗに向けて所定の電磁波を照射する。照射する電磁波は、典型的にはＸ線や可視光であるが、紫外線や赤外線等その他の電磁波であってもよい。

【0023】

電磁波検出部１０３は、電磁波照射部１０２から照射され物品Ｗを経た電磁波を検出可能な位置に配置され、物品Ｗを経て、又は直接的に到達した電磁波を検出して、所定の周期ごとに検出値を出力する。図１では、物品Ｗを透過した電磁波を検出可能とすべく、電磁波照射部１０２に対向して配置される例を示している。電磁波検出部１０３は、図１に示すように搬送部１０１の内側に設けて搬送部１０１のコンベヤを透過した電磁波を検出するように構成してもよいし、Ｙ軸方向に配設された２つの搬送部１０１の間にわずかな隙間を設けて、物品Ｗを透過した電磁波を直接検出するように構成してもよい。搬送部１０１のコンベヤを透過した電磁波を検出する場合、電磁波照射部１０２から照射される電磁波の透過性が高い材質のコンベヤベルト等を採用するとよい。

【0024】

電磁波検出部１０３は、搬送方向（Ｙ軸方向）に直交する方向（Ｘ軸方向）に一列に配列された複数の検出素子を備え、それぞれの検出素子が到達した電磁波を検出し検出値を出力するラインセンサである。

【0025】

電磁波検出部１０３は、搬送速度に応じた検出周期で繰り返し電磁波を検出する。例えば、検出素子の幅を搬送部１０１による搬送速度で通過する所要時間を検出周期としてもよい。検出周期をこのように設定することで、電磁波検出部１０３上を通過する物品Ｗを、搬送方向の隙間を生じさせることなく検査することができる。

【0026】

電磁波照射部１０２及び電磁波検出部１０３は、搬送部１０１に対する位置が固定されている。そのため、電磁波検出部１０３上を物品Ｗが横切る間、電磁波検出部１０３の各検出素子において、物品Ｗの搬送速度に応じた検出周期で電磁波を繰り返し検出することで、検出値が検出素子の個数×検出周期数で二次元配列された検出値群を得ることができる。

【0027】

検出値群は、言い換えれば、各検出値の二次元配列における位置を画素の位置として、それぞれの画素において検出値の大小が明暗等で表現された二次元画像を生成する元データとなる二次元画像データである。

【0028】

画像生成部１０４は、電磁波検出部１０３の各検出素子が出力した検出値を収集して得られた二次元画像データに基づき、検査画像である、物品Ｗを含む二次元画像を生成する。二次元画像には複数の物品Ｗが含まれてもよい。また、袋に収納された物品Ｗの二次元画像であってもよい。

【0029】

学習モデル記憶部１１０は、入力された画像を２以上の類のうち所定のいずれかの類に分類し、分類の確度を示す分類スコアと、当該分類スコアの推定の過程で注視した入力画像内の領域である注目部位を示す情報と、を少なくとも出力する、マルチタスク型の学習モデルが予め記憶された任意の記憶媒体である。ここでいうマルチタスク型の学習モデルは、非特許文献１におけるsegmentation taskに相当するセグメンテーション層とclassification taskに相当する画像分類層を含み、画像の入力により、セグメンテーション層が入力画像のセグメンテーションとして注目部位を示す情報を生成して出力するとともに、画像分類層が入力画像の分類スコアを出力する学習モデルである。

【0030】

学習モデルのアーキテクチャは、画像中の特徴識別に優れる、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）が好適である。

【0031】

２以上の類は、物品Ｗが製品の場合、例えば良、不良としてもよい。分類スコアは、例えば、全分類の合計の分類スコアを１、不正解を０、正解を１としたとき、正解である確度が高いものほど１に近い値で出力する。所定のいずれかの類は、予め特定しておいてもよいし、分類スコアの値に応じて動的に決定されるように構成してもよい。例えば、所定のいずれかの類が予め不良と特定されているとき、不良の可能性が高いと推定された場合に、分類スコアを０．９といった正解スコアに近い推定値で出力する。

【0032】

注目部位は、注視の程度が一定以上の高さの領域である。注目部位を示す情報とは、画像内における注目部位の位置を示す情報である。注目部位を示す情報は注目部位内の位置の相違に応じた注視の程度の大小を示すヒートマップ情報を含んでもよく、これにより注目部位を、位置の相違に応じ注視の程度の大小が色や明るさのグラデーションで表現されたヒートマップで表現することができる。

【0033】

画像解析部１２０は、学習モデル記憶部１１０から読み出した学習モデルに、画像生成部１０４で生成された検査画像を入力する。学習モデルは、検査画像を２以上の類の所定のいずれかの類に分類し、分類の確度を示す分類スコアと、当該分類スコアの推定の過程で学習モデルが注視した検査画像内の注目部位を示す情報と、を出力する。出力された分類スコア及び注目部位を示す情報は、検査画像と関連付けて任意の記憶媒体である解析結果記憶部１３０に記憶させてもよい。また、解析結果記憶部１３０は、学習モデル記憶部１１０と共通の記憶媒体を用いて構成してもよい。

【0034】

表示制御部１４０は、画像解析部１２０が出力した注目部位を示す情報に基づき、検査画像に注目部位を示す画像を重畳して、任意の表示手段である表示部１４１に表示させるとともに、表示部１４１に表示された注目部位を示す画像の近傍に、画像解析部１２０が出力した分類スコアを表示させる。注目部位を示す画像は、単に領域の輪郭等を示すものでもよいし、注目部位内の位置の相違に応じ注視の程度が色や明るさのグラデーションで表現されたヒートマップであってもよい。

【0035】

例えば、図２に示すように、画像解析部１２０（学習モデルＭ）に物品Ｗを含む検査画像Ｐを入力して、注目部位を示す情報と、分類スコアとして０．９が出力されたとき、表示制御部１４０は表示部１４１に、注目部位を示す情報に基づく、注目部位を示す画像Ｇを検査画像Ｐに重畳して表示させるのと同時に、注目部位を示す画像Ｇが重畳された検査画像Ｐの近傍に分類スコアである０．９を表示させる。

【0036】

検査部１５０は、画像解析部１２０が出力した分類スコアを所定の閾値と対比し、検査結果を得る。例えば、不良への分類スコアが０．８以上であれば不良と判定することとした場合、画像解析部１２０が出力した分類スコアが０．９であれば、不良との検査結果が得られる。

【0037】

以上説明した本発明の検査装置１００によれば、学習モデルを用いた検査画像の分類の際に、分類スコアと注目部位のセグメンテーションを同時に把握することができる。これにより、分類スコアが異常である場合に、異常の原因が注目部位の正解部位からのずれによるものであれば、それを瞬時に把握することができる。そして、異常の原因を瞬時に把握できることで、速やかに学習モデルに追加学習を施す対応を採ることができる。検査装置１００に、学習モデル記憶部１１０に記憶された学習モデルに追加学習を施すための学習実行部１６０を設けることで、効率的に追加学習を施すことができる。

【0038】

なお、所望の注目部位に重み付けをする補正を検査画像に対して施し、補正された検査画像を、画像解析部１２０において学習モデルＭに入力して出力を得てもよい。
所望の注目部位とは、検査画像の分類に際し、本来注目されるべき部位である。所望の注目部位を示す情報は、例えば、画像解析部１２０が出力した注目部位を示す情報に基づく、検査画像に対応する注目部位を示す画像の位置を所望の位置に修正することにより得ることができる。検査画像に対する所定の注目部位への重み付けを施す補正は、それぞれの画素について、検査画像の画素値と所望の位置への修正後の注目部位を示す画像の画素値とを掛け合わせることにより行う。例えば、注目部位を示す画像の画素値が一定以上の領域を全て最高値で重み付けを行ってもよい。

【0039】

表示部１４１に表示された、注目部位を示す画像が重畳された検査画像によって、注目部位が本来注目すべき部位からずれていることが確認された場合に、注目部位を示す情報を本来注目すべき部位を示す情報に修正し、修正された情報で検査画像を補正した上で、補正された検査画像を画像解析部１２０に入力することで、本来注目すべき部位に重点をおいて検査画像を分類するよう学習させることができる。

【0040】

本発明の検査装置１００の各部の機能をプログラムに記述して、コンピュータで実行することにより各部として機能させてもよい。この場合、各プログラムは任意の記憶手段に記憶され、ＣＰＵが各プログラムを読み出して実行することにより、各機能が実現される。

【0041】

本発明は上記実施形態に限定されるものではない。上記実施形態は例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。すなわち、本発明において表現されている技術的思想の範囲内で適宜変更が可能であり、その様な変更や改良を加えた形態も本発明の技術的範囲に含む。

【符号の説明】

【0042】

１００…検査装置
１０１…搬送部
１０２…電磁波照射部
１０３…電磁波検出部
１０４…画像生成部
１１０…学習モデル記憶部
１２０…画像解析部
１３０…解析結果記憶部
１４０…表示制御部
１４１…表示部
１５０…検査部
１６０…学習実行部
１７０…画像補正部
Ｇ…注目部位を示す画像
Ｍ…学習モデル
Ｐ…検査画像
Ｗ…物品

【要約】

【課題】学習モデルを用いた検査画像の分類の際に、分類スコアとセグメンテーションを同時に把握することを可能とする検査装置を提供する。
【解決手段】本発明の検査装置は、物品を搬送する搬送部と、物品に電磁波を照射する電磁波照射部と、物品を経た電磁波を少なくとも検出し、検出値を出力する電磁波検出部と、検出値に基づき、物品を含む画像である検査画像を生成する画像生成部と、画像が入力されることで、当該画像を２以上の類の所定のいずれかの類に分類し、分類の確度を示す分類スコアと、分類スコアの推定の過程で注視した画像内の領域である注目部位を示す情報と、を出力する学習モデルを予め記憶する学習モデル記憶部と、検査画像を学習モデルに入力して出力を得る画像解析部と、を備える。
【選択図】図１

【図1】

【図2】