特開 2023-114827 検査装置、学習モデル生成方法および検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023114827

(43)【公開日】2023-08-18

(54)【発明の名称】検査装置、学習モデル生成方法および検査方法

(51)【国際特許分類】

   G01N 23/18 20180101AFI20230810BHJP

   G01N 23/04 20180101ALI20230810BHJP

   G01N 23/087 20180101ALI20230810BHJP

【ＦＩ】

G01N23/18

G01N23/04

G01N23/087

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022017365

(22)【出願日】2022-02-07

(71)【出願人】

【識別番号】000000572

【氏名又は名称】アンリツ株式会社

(74)【代理人】

【識別番号】100067323

【弁理士】

【氏名又は名称】西村 教光

(74)【代理人】

【識別番号】100124268

【弁理士】

【氏名又は名称】鈴木 典行

(72)【発明者】

【氏名】角田 光悦

(72)【発明者】

【氏名】山崎 健史

【テーマコード（参考）】

2G001

【Ｆターム（参考）】

2G001AA01

2G001AA10

2G001BA11

2G001CA01

2G001DA06

2G001DA08

2G001FA29

2G001HA13

2G001JA09

2G001KA05

2G001LA01

2G001PA11

(57)【要約】

【課題】被検査物の品質状態の検査精度の向上を図る。
【解決手段】検査装置１は、所定品種の被検査物Ｗを撮像して得られる、被検査物Ｗに対する透過特性が異なる３つの検査画像を疑似ＲＧＢ画像として記憶する画像記憶部２１と、画像記憶部２１に記憶された疑似ＲＧＢ画像に対し、疑似ＲＧＢ画像と同じ形式の画像を用いて予め学習により作成した学習モデル２２に基づき画素ごとに処理して品質不良度合を求め、品質不良度合と予め設定した閾値との比較により被検査物Ｗの品質状態を判定する判定部２４と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被検査物（Ｗ）を撮像して得られる、透過特性が異なる３つの検査画像を疑似ＲＧＢ画像として記憶する画像記憶部（２１）と、
前記画像記憶部に記憶された前記疑似ＲＧＢ画像に対し、該疑似ＲＧＢ画像と同じ形式の画像を用いて予め学習により作成した学習モデル（２２）に基づき画素ごとに処理して品質不良度合を求め、該品質不良度合と予め設定した閾値との比較により前記被検査物の品質状態を判定する判定部（２４）と、を備えたことを特徴とする検査装置。

【請求項2】

前記学習モデルは、少なくとも品質不良の画像を含んだ前記疑似ＲＧＢ画像と同じ形式の画像に対し、前記被検査物の品種ごとに学習したものであることを特徴とする請求項１に記載の検査装置。

【請求項3】

前記疑似ＲＧＢ画像が前記被検査物を透過する光を分光して得られる３つの検査画像であることを特徴とする請求項１または２に記載の検査装置。

【請求項4】

被検査物（Ｗ）の良品画像と該被検査物の品質不良のみの画像を学習用画像として取得する学習用画像取得ステップと、
前記学習用画像を用いて前記被検査物の良品画像に前記品質不良のみの画像を合成した学習用品質不良合成画像と、該学習用品質不良合成画像における品質不良位置を示す学習用品質不良ラベルを作成するステップと、
前記学習用品質不良合成画像の機械学習を行って学習モデル（２２）を作成するステップと、を含み、
前記学習用画像取得ステップで取得する前記学習用画像は、前記被検査物を撮像して得られる、透過特性が異なる３つの検査画像からなる疑似ＲＧＢ画像であることを特徴とする学習モデル作成方法。

【請求項5】

被検査物（Ｗ）を撮像して得られる、透過特性が異なる３つの検査画像からなる前記被検査物の疑似ＲＧＢ画像に対し、請求項４の学習モデル作成方法で作成した学習モデル（２２）に基づき画素ごとに処理して品質不良度合を求め、該品質不良度合と予め設定した閾値との比較により前記被検査物の品質状態を判定するステップを含むことを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被検査物に要求される品質状態を検査する検査装置、学習モデル生成方法および検査方法に関する。

【背景技術】

【0002】

被検査物に要求される品質状態をＸ線により検査する装置として、例えば下記特許文献１に開示されるＸ線検査装置が知られている。この特許文献１に開示されるＸ線検査装置は、Ｘ線検出器からのＸ線画像データをＸ線画像記憶部に記憶し、学習対象品種に関する所定のエネルギ帯を含む異なる複数のエネルギ帯のＸ線画像データの学習結果を基に他のエネルギ帯のＸ線画像データを疑似画像生成モデルにて疑似生成し、被検査物のＸ線画像データを基に疑似画像生成モデルにより他のエネルギ帯での疑似透過画像を画像作成部にて作成し、被検査物の所定エネルギ帯のＸ線画像データと画像作成部で作成された他のエネルギ帯での疑似透過画像とに基づいて判定部が被検査物の品質状態を判定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１４８４８６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述した特許文献１に開示される従来の検査装置では、判定に用いる透過画像がグレースケールの１画像であり、判定のための情報量が少ないため、被検査物の品質状態の検査精度の向上を図るには限界があった。

【0005】

そこで、本発明は上記問題点に鑑みてなされたものであって、被検査物の品質状態の検査精度の向上を図ることができる検査装置、学習モデル生成方法および検査方法を提供することを目的としている。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の請求項１に記載された検査装置は、被検査物Ｗを撮像して得られる、透過特性が異なる３つの検査画像を疑似ＲＧＢ画像として記憶する画像記憶部２１と、
前記画像記憶部に記憶された前記疑似ＲＧＢ画像に対し、該疑似ＲＧＢ画像と同じ形式の画像を用いて予め学習により作成した学習モデル２２に基づき画素ごとに処理して品質不良度合を求め、該品質不良度合と予め設定した閾値との比較により前記被検査物の品質状態を判定する判定部２４と、を備えたことを特徴とする。

【0007】

本発明の請求項２に記載された検査装置は、請求項１の検査装置において、
前記学習モデルは、少なくとも品質不良の画像を含んだ前記疑似ＲＧＢ画像と同じ形式の画像に対し、前記被検査物の品種ごとに学習したものであることを特徴とする。

【0008】

本発明の請求項３に記載された検査装置は、請求項１または２の検査装置において、
前記疑似ＲＧＢ画像が前記被検査物を透過する光を分光して得られる３つの検査画像であることを特徴とする。

【0009】

本発明の請求項４に記載された学習モデル生成方法は、被検査物Ｗの良品画像と該被検査物の品質不良のみの画像を学習用画像として取得する学習用画像取得ステップと、
前記学習用画像を用いて前記被検査物の良品画像に前記品質不良のみの画像を合成した学習用品質不良合成画像と、該学習用品質不良合成画像における品質不良位置を示す学習用品質不良ラベルを作成するステップと、
前記学習用品質不良合成画像の機械学習を行って学習モデル２２を作成するステップと、を含み、
前記学習用画像取得ステップで取得する前記学習用画像は、前記被検査物を撮像して得られる、透過特性が異なる３つの検査画像からなる疑似ＲＧＢ画像であることを特徴とする。

【0010】

本発明の請求項５に記載された検査方法は、被検査物Ｗを撮像して得られる、透過特性が異なる３つの検査画像からなる前記被検査物の疑似ＲＧＢ画像に対し、請求項４の学習モデル作成方法で作成した学習モデル２２に基づき画素ごとに処理して品質不良度合を求め、該品質不良度合と予め設定した閾値との比較により前記被検査物の品質状態を判定するステップを含むことを特徴とする。

【発明の効果】

【0011】

本発明によれば、ＲＧＢカラー画像に対応する透過に基づく３ｃｈの検査画像によって判定を学習させ、被検査物の品質検査の検査精度の向上を図ることができる。

【図面の簡単な説明】

【0012】

【図1】本発明に係る検査装置のブロック構成図である。

【図2】本発明に係る検査装置において被検査物の異物の有無を検査する場合の学習フェーズのフローチャートである。

【図3】本発明に係る検査装置において被検査物の異物の有無を検査する場合の推論フェーズのフローチャートである。

【図4】本発明に係る検査装置において被検査物の異物の有無を検査する場合の学習時に用いられる異物合成画像の作成例を示す図である。

【図5】本発明に係る検査装置において被検査物の異物の有無を検査する場合の学習時に用いられる学習用画像と学習用異物ラベルの一例を示す図である。

【図6】本発明に係る検査装置において被検査物の異物の有無を検査する場合の推論用画像の一例を示す図である。

【図7】本発明に係る検査装置において被検査物の異物の有無を検査する場合の画像処理部の説明図である。

【図8】本発明に係る検査装置において被検査物の異物の有無を検査する場合の判定部の説明図である。

【図9】本発明に係る検査装置において被検査物の異物の有無を検査する場合の表示部の表示例を示す図である。

【図10】本発明に係る検査装置において被検査物の形状不良を検査する場合の推論フェーズのフローチャートである。

【図11】本発明に係る検査装置において被検査物の形状不良を検査する場合の学習時に用いられる学習用画像と学習用形状不良ラベルの一例を示す図である。

【図12】本発明に係る検査装置において被検査物の形状不良を検査する場合の画像処理部の説明図である。

【図13】本発明に係る検査装置において被検査物の形状不良（欠け）を検査する場合の判定部の説明図である。

【図14】本発明に係る検査装置において被検査物の形状不良（欠け）を検査する場合の表示部の表示例を示す図である。

【図15】本発明に係る検査装置において被検査物の形状不良（曲がり）を検査する場合の判定部の説明図である。

【図16】本発明に係る検査装置において被検査物の形状不良（曲がり）を検査する場合の表示部の表示例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明を実施するための形態について、添付した図面を参照しながら詳細に説明する。

【0014】

図１に示すように、検査装置１は、搬送部２、画像取得部３、制御部４、表示部５を具備して概略構成される。この検査装置１では、搬送部２により搬送される検査対象の品種の被検査物Ｗに対して透過した画像を撮像して得られる、透過特性が異なる３つの検査画像（異物とそれ以外を区別でき、濃淡具合（変化）が異なるグレースケール画像）を、カラーカメラで撮像した被検査物Ｗを画素ごとに３原色に分けたＲＧＢ画像のように被検査物Ｗに対する位置情報が同じである疑似ＲＧＢ画像とし、この疑似ＲＧＢ画像に対し、その品種に対応する学習モデル（演算式）に基づき画素ごとに処理し、品質不良である確率を示す品質不良度合（例えば異物度合、形状不良度合など）を求め、求めた品質不良度合と予め設定した閾値との比較により被検査物Ｗの品質状態を判定して被検査物Ｗの検査（例えば包装された食品等の被検査物Ｗ中への異物混入の有無の検査）を行う。

【0015】

なお、本例における「品質状態」とは、被検査物Ｗに製品として要求される品質や物理量の適否等を意味する。具体的には、被検査物Ｗに混入する異物（骨、金属等）の有無、内容量の過不足、異種内容物、内容量の形状不良等がある。

【0016】

搬送部２は、被検査物Ｗを搬送方向Ａに対して所定間隔おきに順次搬送するもので、例えばループ状の搬送ベルト１１を複数の搬送ローラ１２に巻回させ、搬送ベルト１１の上走区間１３により被検査物Ｗを図１中の右方向に順次搬送することができるコンベアを不図示の筐体に支持して構成される。搬送ローラ１２は、図示しないモータにより回転駆動され、所定の搬送速度となるように制御部４により制御される。

【0017】

画像取得部３は、後述する学習フェーズに用いる学習用画像や、後述する推論フェーズに用いる被検査物Ｗの推論用画像を取得するもので、搬送部２により搬送される被検査物Ｗの品質状態を検査する検査部を兼ねている。

【0018】

画像取得部３は、学習用画像と推論用画像をＸ線画像として取得する場合、例えば搬送部２により搬送される被検査物Ｗを透過する所定エネルギー帯のＸ線を発生するＸ線発生器１４と、搬送部２の搬送ベルト１１の上走区間１３の直下にＸ線発生器１４と対向して配置されたＸ線検出器１５とを有して構成される。

【0019】

Ｘ線発生器１４は、公知のＸ線管１６により、その管電流および管電圧に応じた波長および強度のＸ線を発生させるとともに、外囲器１７のＸ線窓部１７ａを通し、搬送部２の搬送方向に対し直交するファンビーム状のＸ線を搬送ベルト１１上の被検査物Ｗやサンプル（被検査物Ｗの良品ワーク、異物）に照射できるようになっている。

【0020】

Ｘ線管１６の管電流および管電圧は、検査対象の被検査物Ｗの材質やサイズ（特にＸ線が透過する方向の寸法）に応じて設定値を調整するとよく、新規の品種については被検査物Ｗやサンプルを用いたテスト撮像によって適切なコントラストが得られるように設定値が決定または選択される。

【0021】

Ｘ線検出器１５は、例えば蛍光体であるシンチレータとフォトダイオードもしくは電荷結合素子とからなる検出素子を、搬送部２の搬送路の幅方向にアレイ状に所定ピッチで配設し、所定解像度でのＸ線検出を行うようにしたＸ線ラインセンサカメラで構成され、Ｘ線発生器１４からのＸ線照射位置に対応する搬送方向所定位置に配置されている。

【0022】

そして、Ｘ線検出器１５は、Ｘ線発生器１４から照射されて被検査物Ｗやサンプルを透過したＸ線を検出素子に対応する所定透過領域ごとに検出し、そのＸ線の透過量に応じた電気信号に変換して、透過領域ごとのＸ線検出信号を出力する。

【0023】

ここで、被検査物Ｗの異物の有無を検査する場合のＸ線画像による学習用画像の取得方法について説明する。初めに、被検査物Ｗのある品種に関して、テスト撮像によりＸ線管１６の管電流および管電圧が設定されて、搬送部２が駆動制御される。すなわち、被検査物Ｗのある品種に関して、Ｘ線画像を取得する取得条件が設定され、例えば１０００枚の良品画像と５０枚の異物（骨）のみ画像を学習用画像として取得する場合、まず、被検査物Ｗの良品ワークに対し、Ｘ線発生器１４からＸ線を例えば所定高さ離れた位置から照射して得た同一タイミングでの低エネルギー画像（良品）＿（１ｃｈ）と、高エネルギー画像（良品）＿（１ｃｈ）を取得する。この作業を１０００回実行し、１０００枚の低エネルギー画像（良品）と、１０００枚の高エネルギー画像（良品）を取得する。これにより、１回の実行で１枚の低エネルギー画像（良品）と１枚の高エネルギー画像（良品）が取得可能となる。

【0024】

同様に、異物のみワーク（例えば骨１個のみ）に対し、Ｘ線発生器１４からＸ線を例えば所定高さ離れた位置（良品画像のときと同じ位置）から照射して得た同一タイミングでの低エネルギー画像（異物１個のみ）＿（１ｃｈ）と、高エネルギー画像（異物１個のみ）＿（１ｃｈ）を取得する。この作業を５０回実行し、５０枚の低エネルギー画像（異物１個のみ）と、５０枚の高エネルギー画像（異物１個のみ）を取得する。これにより、１回の実行で１枚の低エネルギー画像（異物１個のみ）と１枚の高エネルギー画像（異物１個のみ）が取得可能となる。

【0025】

このようにして、被検査物Ｗのある品種について、所定の取得条件での学習用画像が取得される。

【0026】

次に、上述した学習用画像から３ｃｈの疑似ＲＧＢ画像を作成する。この場合、被検査物Ｗの良品ワークに対してＸ線発生器１４からＸ線を照射して得た同一タイミングでの低エネルギーと高エネルギーの良品画像を複数、異物の同一タイミングでの低エネルギーと高エネルギーの異物のみ画像から切り出した異物のデータベース画像を１つ用意し、１つの良品画像上で異物のデータベース画像をランダムな位置にずらしながら合成した異物を含んだ３ｃｈの疑似ＲＧＢ画像（低エネルギー画像と高エネルギー画像とその２つの画像の差分画像からなる）を多数枚作成する（例えば数十枚／良品画像）。この１良品画像から多数枚の疑似ＲＧＢ画像作成について、用意した複数の良品画像に対して行う。さらに、異物の同一タイミングでの低エネルギーと高エネルギーの異物のみ画像を他にも複数枚用意し、同様の方法により位置情報が同じで透過特性が異なる３ｃｈの疑似ＲＧＢ画像を作成する。

【0027】

さらに、３ｃｈの疑似ＲＧＢ画像の作成方法について、具体的な数値例を示して説明する。まず、学習用画像として、１０００枚の低エネルギー画像（良品）＿（１ｃｈ）、１０００枚の高エネルギー画像（良品）＿（１ｃｈ）、５０枚の低エネルギー画像（異物１個のみ）＿（１ｃｈ）、５０枚の高エネルギー画像（異物１個のみ）＿（１ｃｈ）をそれぞれ取得する。

【0028】

そして、５０枚の低エネルギー画像（異物１個のみ）＿（１ｃｈ）、５０枚の高エネルギー画像（異物１個のみ）＿（１ｃｈ）を使用して、異物が写っている領域のみを切り出した異物のデータベース画像を低エネルギー、高エネルギーのそれぞれで作成する。すなわち、１枚の低エネルギー画像（異物５０個が写っている）＿（１ｃｈ）、１枚の高エネルギー画像（異物５０個が写っている）＿（１ｃｈ）を作成する。

【0029】

次に、１枚の低エネルギー画像（良品）＿（１ｃｈ）、１枚の高エネルギー画像（良品）＿（１ｃｈ）、１枚の低エネルギー画像（異物５０個が写っている）＿（１ｃｈ）、１枚の高エネルギー画像（異物５０個が写っている）＿（１ｃｈ）から１枚の低エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）、１枚の高エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）を画像合成して異物合成画像を作成する。

【0030】

なお、良品画像に異物を合成する際は、異物位置：良品ワーク上のランダムな位置、かつ、（低、高）エネルギー画像で同じ位置、異物回転角：０～３６０度でランダム、異物個数：ランダムに選択（異物５０個の中からランダムに１つ又は複数選択）とし、同時に異物の座標データ（ラベル）もそのときに出力する。

【0031】

ここで、１枚の低エネルギー画像（異物５０個が写っている）＿（１ｃｈ）から１つの異物（骨）のみ画像（低エネルギー）ｉ１を選択し、選択した１つの異物（骨）のみ画像ｉ１を１枚の低エネルギー画像（良品）＿（１ｃｈ）ｉ２に合成して異物合成画像ｉ３を作成した場合の一例を図４に示す。

【0032】

そして、１枚の低エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）、１枚の高エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）を用いて両者を差分する。これにより、１枚の差分画像（良品に異物を合成した低エネルギー画像と高エネルギー画像を差分したもの）＿（１ｃｈ）を作成する。

【0033】

さらに、１枚の低エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）、１枚の高エネルギー画像（良品に異物を合成したもの）＿（１ｃｈ）、１枚の差分画像（良品に異物を合成した低エネルギー画像と高エネルギー画像を差分したもの）＿（１ｃｈ）から例えば図５に示すような異物（図中の斜線で示す部分）を含む１枚の疑似ＲＧＢ画像（Ｒ成分：低エネルギー、Ｇ成分：高エネルギー、Ｂ成分：差分）＿（３ｃｈ）と異物の座標データを学習用異物合成画像ｉ４と学習用異物ラベルｒとして作成する。

【0034】

以上の作業を１０００回実行し、学習用異物合成画像ｉ４と学習用異物ラベルｒとして、１０００枚の疑似ＲＧＢ画像（Ｒ成分：低エネルギー、Ｇ成分：高エネルギー、Ｂ成分：差分）＿（３ｃｈ）と１０００個の異物の座標データ（低、高エネルギーと位置は共通）を取得する。

【0035】

次に、Ｘ線画像による推論用画像の取得方法について説明する。Ｘ線画像による推論用画像を取得する場合は、前述した学習用画像を取得する場合と画像取得部３における画像の取得条件（Ｘ線発生器１４とＸ線検出器１５の構成と配置、Ｘ線照射条件、Ｘ線検出条件、搬送速度等）が同じである必要がある。低エネルギー画像と高エネルギー画像の取得についてより具体的に記載すると、例えば被検査物Ｗに対し、Ｘ線発生器１４の１つのＸ線源からＸ線を例えば所定高さ離れた真上から照射し、被検査物Ｗを透過したＸ線をＸ線フィルタで線質（照射中の放射線の種類あるいはエネルギーがどのようなものであるかをいう。）を異ならせて２つのＸ線ラインセンサカメラで検出し、２つのＸ線ラインセンサカメラで検出した画像をそれぞれ低エネルギー画像と高エネルギー画像として扱い、この２つの画像から差分画像を作成する。

【0036】

あるいは、Ｘ線フィルタを用いた後に、Ｘ線発生器１４から線質の異なるＸ線を例えば所定高さ離れた真上から被検査物Ｗに照射し、被検査物Ｗを透過したＸ線を異なるエネルギー毎に２つのＸ線ラインセンサカメラで検出し、２つのＸ線ラインセンサカメラで検出した画像をそれぞれ低エネルギー画像と高エネルギー画像として扱い、この２つの画像から差分画像を作成する（特開２００２－１６８８０３号公報、特許第５２９７０８７号公報参照）。

【0037】

または、２つのＸ線発生器１４からそれぞれ低エネルギーのＸ線と高エネルギーのＸ線を例えば所定高さ離れた真上から被検査物Ｗに照射し、被検査物Ｗを透過したＸ線を対応する２つのＸ線ラインセンサカメラでそれぞれ検出し、２つのＸ線ラインセンサカメラが検出した低エネルギー画像と高エネルギー画像から差分画像を作成する（特許第５７０６７２４号公報、特許第５７７５４０６号公報参照）。

【0038】

または、低エネルギー画像と高エネルギー画像が同時に取得できる光子計数（フォトンカウンティング）型のＸ線検出器を１台使用してもよい。

【0039】

なお、２台のＸ線ラインセンサカメラを用いる場合は、少なくとも両Ｘ線ラインセンサカメラの配置間隔および搬送部２（搬送ベルト１１）の搬送速度、もしくはこれらに基づいて決定付けられる値が取得条件に含まれるとよい。これにより、各Ｘ線ラインセンサカメラにより取得される画像における被検査物Ｗの撮像位置の差が把握できる。撮像位置の差が定量的に把握できていれば、その差を小さくしたり、その差の影響を小さくするように種々の演算処理が実施できるため、「位置情報が同じ」と技術的に同義である。

【0040】

また、光子計数型のＸ線検出器を用いる場合は、少なくとも光子計数のためのエネルギー閾値が取得条件に含まれるとよい。光子計数型のＸ線検出器は、設定されるエネルギー閾値に応じたエネルギー帯ごとに異なる透過特性を示す画像が出力されるため、原理上、低エネルギー画像と高エネルギー画像における被検査物Ｗの撮像位置が同一となり都合がよい。すなわち、光子計数型のＸ線検出器により取得される画像は、「位置情報が同じ」という表現に含まれる。

【0041】

そして、図６に示すように、位置情報が同じで透過特性が異なる３つのＸ線画像による低エネルギー画像をＲＧＢカラー画像のＲ成分、高エネルギー画像をＲＧＢカラー画像のＧ成分、差分画像をＲＧＢカラー画像のＢ成分にそれぞれ見立てた３ｃｈの疑似ＲＧＢ画像を推論用画像ｉ５として取得する。

【0042】

制御部４は、被検査物Ｗの品質状態を検査するために各部を統括制御するもので、画像記憶部２１、学習モデル２２、画像処理部２３、判定部２４を含んで構成される。そして、搬送部２、検査部３（画像取得部３）、表示部５を動作させるための各種パラメータを記憶し、また各種データを処理する。特に、搬送部２や検査部３（画像取得部３）の動作に関して、検査対象の被検査物Ｗの品種ごとの検査パラメータが各品種を示す品種番号に対応付けて設定されている。

【0043】

検査パラメータには、被検査物Ｗを撮像したときに得られる画像に対して適用される学習モデル２２（演算式）や、品質状態を判定するための閾値が含まれる。

【0044】

画像記憶部２１は、検査対象の被検査物Ｗに対して設定された品種の検査パラメータを用いて画像取得部３にて取得した推論用画像ｉ５を記憶する。推論用画像ｉ５は、上述したように、例えば低エネルギー画像をＲＧＢカラー画像のＲ成分、高エネルギー画像をＲＧＢカラー画像のＧ成分、差分画像（低エネルギー画像と高エネルギー画像の差分）をＲＧＢカラー画像のＢ成分にそれぞれ見立てた３ｃｈの疑似ＲＧＢ画像からなる。

【0045】

学習モデル２２は、学習用画像に基づく３ｃｈの疑似ＲＧＢ画像を用いて後述する学習フェーズを例えばパーソナルコンピュータなどの外部端末で実行することにより作成される学習済みのモデルである。この学習モデル２２は、後述する推論フェーズにて被検査物Ｗの推論用画像ｉ５の品質不良度合としての異物度合：Ｋを計算する際に用いられる。異物度合とは、異物である確率を示す値である。なお、この学習モデル２２に関する検査装置１と外部端末との間のデータ移動は、例えば、ネットワークやＵＳＢメモリ等の外部記憶媒体を介して行われる。

【0046】

画像処理部２３は、画像記憶部２１に記憶された推論用画像ｉ５（３ｃｈの疑似ＲＧＢ画像）の画像データに対し、検査対象の品種に対応する学習モデル２２（推論用画像ｉ５と同じ取得条件で取得した学習用画像により作成された学習モデル）に基づいて所定の判定処理のための画像処理を実行する。

【0047】

判定部２４は、画像処理部２３による処理後の画像データを基に被検査物Ｗの品質状態の判定処理（例えば異物の有無の判定処理）を実行する。

【0048】

なお、特に図示はしないが、制御部４には、搬送部２での搬送ベルト１１による被検査物Ｗの搬送速度や搬送間隔等を制御する搬送制御手段や、検査部３におけるＸ線照射強度や照射期間を制御したり被検査物Ｗの搬送速度に応じたＸ線検出器１５のＸ線ラインセンサでのＸ線検出周期および各被検査物Ｗの検出期間等を制御する検査制御手段も含まれる。

【0049】

表示部５は、例えば液晶などの各種表示器で構成され、判定部２４での判定結果を表示出力する。

【0050】

次に、学習モデル２２を作成するために実行される学習フェーズについて図２のフローチャートを参照しながら説明する。

【0051】

学習フェーズでは、推論用画像ｉ５と同じ形式の画像、すなわち、位置情報が同じで透過特性が異なる３つの透過画像（例えばＲ成分：低エネルギー画像、Ｇ成分：高エネルギー画像、Ｂ成分：差分画像）からなる３ｃｈの疑似ＲＧＢ画像を用いて学習を行う。この学習は、検査対象となる被検査物Ｗの品種ごとに行う。

【0052】

図２に示すように、学習フェーズでは、最初に学習用画像を取得する（ＳＴ１）。具体的には、学習用画像として、前述したように、Ｘ線画像による良品画像：１０００枚、異物（骨）のみ画像：５０枚を検査装置１で取得する。

【0053】

次に、学習用異物合成画像ｉ４と学習用異物ラベルｒを作成する（ＳＴ２）。学習用異物合成画像ｉ４と学習用異物ラベルｒを作成するにあたって、深層学習を用いた異物検出アルゴリズムを作成する際には、学習用教師データとして、ＮＧ画像（異物を含む画像）と異物の座標データ（ラベル）が必要になる。

【0054】

ここでの異物の座標データ（ラベル）とは、ＮＧ画像上の異物部分の位置を示すデータであり、異物に外接する枠を作成したときの左上のＸＹ座標と右下のＸＹ座標を記録したテキストファイルデータのことを指す。

【0055】

ＮＧ画像から異物の座標データ（ラベル）を抽出する際には、人手で多くの異物の座標位置を指定する作業を行う必要があり、数千枚の画像を必要とする深層学習において現実的ではない。

【0056】

そこで、本例では、個別に撮像した良品画像と異物画像を用いて、それらを合成させることで学習用異物合成画像ｉ４を作成し、その際に同時に異物部分の座標データ（ラベル）を学習用異物ラベルｒとして作成することで作業の効率化を図った。

【0057】

このため、予め取得した５０枚の異物（骨）のみ画像より、異物が写っている領域を切り出した異物のデータベース画像を事前に作成し、良品画像に合成する際はそのデータベース画像の異物から１つ又は複数ランダムに選択した。

【0058】

そして、良品画像に異物のデータベース画像を合成する際は、異物位置を良品ワーク上のランダムな位置とし、異物回転角を０～３６０度でランダムに変動し、合計１０００枚の異物合成画像を作成する。

【0059】

異物合成画像を作成するにあたっては、Ｘ線画像からなる低エネルギー画像と高エネルギー画像の両方を使用し、Ｘ線画像を３ｃｈに拡張し、低エネルギー画像をＲＧＢカラー画像のＲ成分、高エネルギー画像をＲＧＢカラー画像のＧ成分、差分画像（低エネルギー画像と高エネルギー画像の差分）をＲＧＢカラー画像のＢ成分にそれぞれ見立てた３ｃｈの疑似ＲＧＢ画像の形式で異物合成画像を作成する。

【0060】

なお、良品画像に異物のデータベース画像を合成する際は、同じＲ，Ｇ，Ｂ成分同士の画像を使用する。また、異物のデータベース画像を良品画像と合成する際は、指定される異物のデータベース画像の座標データから異物のデータベース画像が配置される座標位置によって異物ラベルを求めることができる。さらに、異物のデータベース画像を回転させた場合は、異物のデータベース画像の座標データを座標変換して求める。

【0061】

そして、上述した手法で作成した複数の疑似ＲＧＢ画像による異物合成画像の機械学習を行い、学習モデルを作成する（ＳＴ３）。すなわち、複数の疑似ＲＧＢ画像による異物合成画像を畳み込み演算して結果の異物度合（異物らしさの確率）Ｋを出力させる学習を実行し、より良い結果となる演算式からなる学習モデル２２を作成する。

【0062】

具体的には、疑似ＲＧＢ画像（３ｃｈに拡張した学習用異物合成画像ｉ４）：１０００枚、各疑似ＲＧＢ画像に対応した異物の座標データ（学習用異物ラベルｒ）：１０００枚を用いて学習を実行し、学習モデル２２を作成する。このとき、ワーク（異物あり）の画像を入力した際に、異物位置（左上ＸＹ座標、右下ＸＹ座標）、異物度合Ｋ（０＜Ｋ＜１．０）（Ｋの値が大きいほど異物とみなす）を出力するように学習させる。

【0063】

次に、上述した検査装置１において被検査物Ｗの品質状態を推論する推論フェーズについて図３のフローチャートを参照しながら説明する。

【0064】

図３に示すように、推論フェーズでは、図２を用いて説明した学習フェーズのときと同様に、疑似ＲＧＢ画像の形式のＸ線画像を推論用画像ｉ５として取得し（ＳＴ１１）、取得した推論用画像ｉ５を画像記憶部２１に記憶する。具体的には、前述したように、Ｘ線画像による低エネルギー画像をＲＧＢカラー画像のＲ成分、高エネルギー画像をＲＧＢカラー画像のＧ成分、差分画像をＲＧＢカラー画像のＢ成分にそれぞれ見立てた３ｃｈの疑似ＲＧＢ画像を推論用画像ｉ５として取得して画像記憶部２１に記憶する。

【0065】

そして、画像処理部２３では、学習フェーズのときに作成した学習モデルに基づいて異物位置（左上ｘｙ座標、右下ｘｙ座標）、異物度合（０＜Ｋ＜１．０）（Ｋの値が大きいほど異物とみなす）を計算する（ＳＴ１２）。すなわち、図７に示すように、推論用画像ｉ５としての３ｃｈの疑似ＲＧＢ画像に対し、入力層、隠れ層、出力層からなる構造のニュートラルネットワークによる機械学習で生成された学習モデル２２に基づき画素ごとに処理し、演算結果として異物位置、異物度合Ｋを計算する。

【0066】

そして、予め検査装置１側で判定閾値：Ｓを設定しておき、Ｋ≦ＳのときはＯＫ判定を出力し（ＳＴ１４）、Ｋ＞ＳのときはＮＧ判定を出力する（ＳＴ１５）。さらに説明すると、図８に示すように、Ｋ≦Ｓのときは判定部２４がＯＫ判定を出力し、Ｋ＞ＳのときはＮＧ判定を判定部２４に出力する。そして、図９に示すように、Ｋ≦ＳでＯＫ判定のときは表示部５が被検査物Ｗ（図中の点線部分）を表示し、Ｋ＞ＳでＮＧ判定のときは表示部５が被検査物Ｗ（図中の点線部分）に対して異物位置（ＮＧ判定の箇所）を矩形で囲んで識別表示する。この識別表示は、例えばＮＧ判定の箇所を円形で囲む他、ＮＧ判定の箇所を色分け表示、点灯・点滅表示するなど、ＮＧ判定の箇所と正常な箇所とを識別できればよく、その表示形態が限定されるものではない。

【0067】

なお、図９の例では、ＮＧ判定を出力する異物位置が１つの場合を示しているが、ＮＧ判定を出力する異物位置が複数ある場合には、ＮＧ判定の箇所を異物位置ごとに識別表示する。

【0068】

ところで、上述した実施の形態では、ＲＧＢカラー画像に代わる３ｃｈの疑似ＲＧＢ画像として、低エネルギー画像（Ｒ成分）、高エネルギー画像（Ｇ成分）、差分画像（Ｂ成分）からなるＸ線画像を例にとって説明したが、これに限定されるものではない。３ｃｈの疑似ＲＧＢ画像は、被検査物Ｗに対する撮像の位置情報が同じで透過特性が異なる３つの透過画像であればよい。例えばルックアップテーブルの係数により画像の濃度を変換したＸ線画像、変換前のＸ線画像、近赤外画像の組み合わせであってもよい。また、また、疑似ＲＧＢ画像の各ｃｈの画像は、前処理として、例えば平滑化、標準化などの画像処理を施したもの、Ｘ線源または光源、レンズ等の光学部品、検出器の位置と向きで決まる画像の大きさ、向き、ずれの補正を施したものであってもよい。さらに、被検査物Ｗをマルチスペクトルカメラ（分光カメラ）で撮像し、被検査物Ｗを透過する光（エネルギー）を分光して得られる３つの検査画像を用いることもできる。

【0069】

また、上述した実施の形態では、被検査物Ｗの品質状態として異物の有無を判定する場合を例にとって説明したが、これに限定されるものではなく、被検査物Ｗの欠品の有無、内容物の形状・サイズ・収納状態等の合否、密度・厚さ・体積もしくは質量の分布等を品質状態として判定することもできる。

【0070】

以下、被検査物Ｗの内容物の形状不良の有無を品質状態として判定する場合を例にとって説明する。この被検査物Ｗの内容物の形状不良の有無の判定は、基本的に上述した異物の有無を判定する場合と同様の仕組みであり、ＮＧ判定の種類を２種類以上（形状不良の種類（欠け・曲がり）に増やしたもの、判定閾値も形状不良の種類（欠け・曲がり）に応じて個別に設定することができ、上述した異物検査との併用も可能である。

【0071】

上述した異物の有無を判定する場合と同様に、学習用画像から学習用形状不良合成画像として、濃度を変換したＸ線画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）、濃度を変換する前のＸ線画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）、近赤外画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）を作成するとともに学習用形状不良ラベルを作成する。

【0072】

そして、１枚の濃度を変換したＸ線画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）、１枚の濃度を変換する前のＸ線画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）、１枚の近赤外画像（良品に形状不良（欠け、曲がり）を合成したもの）＿（１ｃｈ）から１枚の疑似ＲＧＢ画像（Ｒ成分：濃度変換後、Ｇ成分：濃度変換前、Ｂ成分：近赤外）＿（３ｃｈ）と形状不良の座標データを作成し、例えば図１１に示すような学習用形状不良合成画像ｉ４と学習用形状不良ラベルｒとして取得する。

【0073】

そして、図２を用いて説明した学習フェーズと同様に、複数の疑似ＲＧＢ画像を畳み込み演算して結果の形状不良度合（形状不良らしさの確率）Ｋを出力させる学習を実行し、より良い結果となる演算式からなる学習モデル２２を生成する。

【0074】

具体的には、複数枚の疑似ＲＧＢ画像（３ｃｈに拡張した学習用形状不良合成画像ｉ４）、各疑似ＲＧＢ画像に対応した形状不良の座標データ（学習用形状不良ラベルｒ）を用いて学習を実行する。このとき、ワーク（形状不良あり）の画像を入力した際に、形状不良位置（左上ＸＹ座標、右下ＸＹ座標）、形状不良度合Ｋ（０＜Ｋ＜１．０）（Ｋの値が大きいほど形状不良とみなす）を出力するように学習させる。

【0075】

そして、被検査物Ｗの形状不良を検査する場合には、図１０に示す推論フェーズを実行する。この推論フェーズでは、学習フェーズのときと同様に、疑似ＲＧＢ画像の形式のＸ線画像を推論用画像ｉ５として取得し（ＳＴ２１）、取得した推論用画像ｉ５を画像記憶部２１に記憶する。具体的には、上述した学習時と同様、例えば図１２に示すように、１ｃｈ：Ｘ線画像、２ｃｈ：Ｘ線画像、３ｃｈ：近赤外画像を１枚の疑似ＲＧＢ画像を推論用画像ｉ５として取得して画像記憶部２１に記憶する。

【0076】

そして、画像処理部２３では、学習フェーズのときに作成した学習モデル２２に基づいて形状不良位置（左上ｘｙ座標、右下ｘｙ座標）、形状不良度合（０＜Ｋ＜１．０）（Ｋの値が大きいほど形状不良とみなす）を計算する（ＳＴ２２）。すなわち、図１２に示すように、推論用画像ｉ５としての３ｃｈの疑似ＲＧＢ画像に対し、学習モデル２２に基づき画素ごとに処理し、演算結果として形状不良位置（左上ｘｙ座標、右下ｘｙ座標）、形状不良度合：Ｋ１（欠け）、Ｋ２（曲がり）を計算する。

【0077】

そして、予め検査装置１側で判定閾値：Ｓを設定しておき、Ｋ≦ＳのときはＯＫ判定を出力し（ＳＴ２４）、Ｋ＞ＳのときはＮＧ判定を出力する（ＳＴ２５）。さらに説明すると、予め検査装置１側で判定閾値：Ｓ１，Ｓ２を設定しておき、計算した形状不良度合：Ｋ１，Ｋ２と判定閾値：Ｓ１，Ｓ２を比較する。ここで、図１３に示すように、Ｋ１≦Ｓ１のときは判定部２４が形状（欠け）に対するＯＫ判定を出力し、Ｋ１＞Ｓ１のときは判定部２４がＮＧ判定を出力する。そして、図１４に示すように、Ｋ１≦Ｓ１でＯＫ判定のときは表示部５が被検査物Ｗ（図中の点線部分）を表示し、Ｋ１＞Ｓ１でＮＧ判定のときは表示部５が被検査物Ｗ（図中の点線部分）に対して形状不良位置（ＮＧ判定の箇所）を矩形で囲んで識別表示する。

【0078】

また、図１５に示すように、Ｋ２≦Ｓ２のときは判定部２４が形状（曲がり）に対するＯＫ判定を出力し、Ｋ２＞Ｓ２のときは判定部２４がＮＧ判定を出力する。そして、図１６に示すように、Ｋ２≦Ｓ２でＯＫ判定のときは表示部５が被検査物Ｗ（図中の点線部分）を表示し、Ｋ２＞Ｓ２でＮＧ判定のときは表示部５が被検査物Ｗ（図中の点線部分）に対して形状不良位置（ＮＧ判定の箇所）を矩形で囲んで識別表示する。

【0079】

なお、判定閾値Ｓ１，Ｓ２は、それぞれの形状不良の種類（例えば欠け、曲がりに対して個別に設定可能である。また、上述した識別表示は、例えばＮＧ判定の箇所を円形で囲む他、ＮＧ判定の箇所を色分け表示、点灯・点滅表示するなど、ＮＧ判定の箇所と正常な箇所とを識別できればよく、その表示形態が限定されるものではない。

【0080】

このように、上述した本実施の形態によれば、３ｃｈのＲＧＢカラー画像に代わる画像として、透過に基づく撮像における被検査物の透過特性が異なる３つの検査画像から学習モデルを作成して判定を学習させているので、既存のＲＧＢカラー画像の学習ライブラリを効率よく適用し、ＲＧＢカラー画像に対応する３ｃｈの画像によって判定を学習させ、従来のグレースケールの１画像の判定と比較して、判定のための情報量が増えることにより、被検査物の品質検査の検査精度の向上を図ることができる。例えば品質状態として異物の有無を検査する場合には、被検査物に対する位置情報が同じで透過特性が異なる３つの検査画像から学習モデルを作成することにより、被検査物の品種に応じて異物の見え方が異なるだけでなく、異物とその周辺（背景）との関係を示す情報も多くなるので、より精度の高い異物検査を行うことができる。

【0081】

以上、本発明に係る検査装置、学習モデル生成方法および検査方法の最良の形態について説明したが、この形態による記述および図面により本発明が限定されることはない。すなわち、この形態に基づいて当業者等によりなされる他の形態、実施例および運用技術などはすべて本発明の範疇に含まれることは勿論である。

【符号の説明】

【0082】

１ 検査装置
２ 搬送部
３ 画像取得部
４ 制御部
５ 表示部
１１ 搬送ベルト
１２ 搬送ローラ
１３ 上走区間
１４ Ｘ線発生器
１５ Ｘ線検出器
１６ Ｘ線管
１７ 外囲器
１７ａ Ｘ線窓部
２１ 記憶部
２２ 学習モデル
２３ 画像処理部
２４ 判定部
Ａ 搬送方向
Ｗ 被検査物
ｉ１ 異物のみ画像
ｉ２ 良品画像
ｉ３ 異物合成画像
ｉ４ 学習用異物合成画像、学習用形状不良合成画像
ｉ５ 推論用画像
ｒ 学習用異物ラベル、学習用形状不良ラベル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】