特許第6537008号(P6537008)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社イシダの特許一覧

<>
  • 特許6537008-検査装置 図000002
  • 特許6537008-検査装置 図000003
  • 特許6537008-検査装置 図000004
  • 特許6537008-検査装置 図000005
  • 特許6537008-検査装置 図000006
  • 特許6537008-検査装置 図000007
  • 特許6537008-検査装置 図000008
  • 特許6537008-検査装置 図000009
  • 特許6537008-検査装置 図000010
  • 特許6537008-検査装置 図000011
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】6537008
(24)【登録日】2019年6月14日
(45)【発行日】2019年7月3日
(54)【発明の名称】検査装置
(51)【国際特許分類】
   G06T 7/00 20170101AFI20190625BHJP
【FI】
   G06T7/00 350B
【請求項の数】8
【全頁数】18
(21)【出願番号】特願2019-518122(P2019-518122)
(86)(22)【出願日】2018年10月30日
(86)【国際出願番号】JP2018040271
【審査請求日】2019年4月3日
(31)【優先権主張番号】特願2018-23784(P2018-23784)
(32)【優先日】2018年2月14日
(33)【優先権主張国】JP
【早期審査対象出願】
(73)【特許権者】
【識別番号】000147833
【氏名又は名称】株式会社イシダ
(74)【代理人】
【識別番号】110000202
【氏名又は名称】新樹グローバル・アイピー特許業務法人
(72)【発明者】
【氏名】中谷 誠
(72)【発明者】
【氏名】樽本 祥憲
(72)【発明者】
【氏名】前中 章弘
(72)【発明者】
【氏名】堤 弘法
【審査官】 鍬 利孝
(56)【参考文献】
【文献】 特開2009−192519(JP,A)
【文献】 国際公開第2017/061593(WO,A1)
【文献】 国際公開第2015/041259(WO,A1)
【文献】 特開2012−242289(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00−1/40,3/00−9/40
(57)【特許請求の範囲】
【請求項1】
所定の形状の複数の物品が収容された商品に光を照射し、前記商品を透過した光、又は、前記商品に反射した光から得られた検査画像に基づいて前記商品を検査する検査装置であって、
複数の前記物品が重なり合っている状態の前記商品の前記検査画像を少なくとも教師画像として記憶する記憶部と、
前記記憶部に記憶されている前記教師画像を用いる機械学習によって、複数の前記物品が重なり合っている状態の前記商品に関する特徴を取得する学習部と、
前記学習部が取得した前記特徴を用いて前記商品を検査する検査部と、
を備える、検査装置。
【請求項2】
前記検査部は、前記商品に含まれている異物の有無を検査する、
請求項1に記載の検査装置。
【請求項3】
前記記憶部は、異物を含む前記商品の前記検査画像を少なくとも前記教師画像として記憶し、
前記学習部は、前記教師画像と、前記教師画像において前記商品に含まれる異物が存在する領域とを用いる機械学習によって、前記特徴を取得する、
請求項2に記載の検査装置。
【請求項4】
前記記憶部は、異物を含まない前記商品の前記検査画像に仮想的な異物の画像を組み込んだ画像を少なくとも前記教師画像として記憶し、
前記学習部は、前記教師画像と、前記教師画像において前記仮想的な異物が存在する領域とを用いる機械学習によって、前記特徴を取得する、
請求項2又は3に記載の検査装置。
【請求項5】
前記検査部は、前記商品に収容されている前記物品の数を検査する、
請求項1〜4のいずれか1項に記載の検査装置。
【請求項6】
前記学習部は、前記教師画像と、前記教師画像において前記商品に収容されている前記物品の数とを用いる機械学習によって、前記特徴を取得する、
請求項5に記載の検査装置。
【請求項7】
前記検査部は、さらに、前記特徴を用いずに前記検査画像に基づいて前記商品を検査する、
請求項1〜6のいずれか1項に記載の検査装置。
【請求項8】
前記検査部は、前記特徴を用いた場合の前記商品の検査結果と、前記特徴を用いない場合の前記商品の検査結果とに基づいて、前記商品を検査する、
請求項7に記載の検査装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、食品等の商品にX線等の光を照射して、商品の検査を行う検査装置に関する。
【背景技術】
【0002】
従来、特許文献1(特開2002―228761号公報)に開示されるように、食品等の商品にX線等の光を照射して、商品の検査を行う検査装置が用いられている。検査装置は、検査対象である商品を透過した光から得られた透過画像に基づいて商品の検査を行う。検査装置は、例えば、商品に混入している異物の有無、及び、商品に含まれる物品の個数を検査する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
検査対象である商品が、例えば、複数の物品が収容された袋であり、袋の内部で物品が互いに重なり合うことがある場合、物品の重なり具合に応じて透過画像の輝度の閾値を設定して、物品の重なり具合を判定する手法が用いられている。しかし、この場合、物品の重なり具合が大きくなるほど、透過画像に基づく商品の検査精度が低下するおそれがある。
【0004】
本発明の目的は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる検査装置を提供することである。
【課題を解決するための手段】
【0005】
本発明に係る検査装置は、所定の形状の複数の物品が収容された商品に光を照射し、商品を透過した光、又は、商品に反射した光から得られた検査画像に基づいて商品を検査する。検査装置は、記憶部と、学習部と、検査部とを備える。記憶部は、複数の物品が重なり合っている状態の商品の検査画像を少なくとも教師画像として記憶する。学習部は、記憶部に記憶されている教師画像を用いる機械学習によって、複数の物品が重なり合っている状態の商品に関する特徴を取得する。検査部は、学習部が取得した特徴を用いて商品を検査する。
【0006】
本発明に係る検査装置は、複数の物品が重なり合っている状態の商品の検査画像を教師画像として用いる機械学習を実行することで、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる。
【0007】
また、検査部は、商品に含まれている異物の有無を検査することが好ましい。
【0008】
また、記憶部は、異物を含む商品の検査画像を少なくとも教師画像として記憶し、学習部は、教師画像と、教師画像において商品に含まれる異物が存在する領域とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。
【0009】
また、記憶部は、異物を含まない商品の検査画像に仮想的な異物の画像を組み込んだ画像を少なくとも教師画像として記憶し、学習部は、教師画像と、教師画像において仮想的な異物が存在する領域とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。
【0010】
この場合、検査装置は、実際の異物を含む商品の検査画像を教師画像として用いることなく、複数の物品が重なり合っている状態の商品に関する特徴を取得することができる。
【0011】
また、検査部は、商品に収容されている物品の数を検査することが好ましい。
【0012】
また、学習部は、教師画像と、教師画像において商品に収容されている物品の数とを用いる機械学習によって、商品に関する特徴を取得することが好ましい。
【0013】
また、検査部は、さらに、商品に関する特徴を用いずに検査画像に基づいて商品を検査することが好ましい。
【0014】
この場合、検査装置は、例えば、機械学習を用いる画像処理技術と、機械学習を用いない画像処理技術とを組み合わせて商品を検査することで、検査の信頼性を向上させることができる。
【0015】
また、検査部は、商品に関する特徴を用いた場合の商品の検査結果と、商品に関する特徴を用いない場合の商品の検査結果とに基づいて、商品を検査することが好ましい。
【0016】
この場合、検査装置は、例えば、機械学習を用いた場合の検査結果と、機械学習を用いない場合の検査結果とからなる複数の検査結果に基づいて、商品の最終的な検査結果を取得することで、検査の信頼性を向上させることができる。
【発明の効果】
【0017】
本発明に係る検査装置は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる。
【図面の簡単な説明】
【0018】
図1】本発明の一実施形態であるX線検査装置10の外観を示す斜視図である。
図2】X線検査装置10が組み込まれる検査ライン100の概略図である。
図3】商品Gの模式的な平面図の一例である。
図4】X線検査装置10のシールドボックス11の内部の概略図である。
図5】ラインセンサ30によって検出される透過X線の強度の例を示すグラフである。
図6】制御装置50のブロック図である。
図7】商品Gの透過画像の一例を示す図である。
図8】異物Cを含む商品Gの透過画像の一例を示す図である。
図9】制御装置50が商品Gを検査する処理のフローチャートである。
図10】変形例Dにおける商品Gの透過画像の一例である。
【発明を実施するための形態】
【0019】
本発明の実施形態について、図面を参照しながら説明する。以下に説明される実施形態は、本発明の具体例の一つであって、本発明の技術的範囲を限定するものではない。
【0020】
(1)X線検査装置の全体構成
図1は、本発明に係る検査装置の一実施形態であるX線検査装置10の外観を示す斜視図である。図2は、X線検査装置10が組み込まれる検査ライン100の概略図である。検査ライン100は、商品Gの検査を行う。検査ライン100において、商品Gは、前段コンベア60によってX線検査装置10まで搬送される。図2において、商品Gの搬送方向は、矢印で示されている。
【0021】
X線検査装置10は、前段コンベア60によって連続的に搬送されてくる商品GにX線を照射することにより、商品Gの良否判断を行う。具体的には、X線検査装置10は、商品Gの異物混入検査を行い、検査結果に基づいて商品Gを良品又は不良品に分類する。X線検査装置10による検査結果は、X線検査装置10の下流側に配置されている振り分け機構70に送られる。振り分け機構70は、X線検査装置10において良品と判断された商品Gを、良品を排出する後段コンベア80へ送る。振り分け機構70は、X線検査装置10において不良品と判断された商品Gを、不良品排出方向90,91に振分けて検査ライン100から排出する。
【0022】
本実施形態において、商品Gは、所定の形状の複数の物品Aを収容している。例えば、商品Gは、実質的に同じ形状を有する複数の食品(物品A)が包装された袋である。1つの商品Gにおいて、複数の物品Aは互いに重なり合うことがある。図3は、商品Gの模式的な平面図の一例である。図3において、商品Gは、複数の物品A(ソーセージ等)が入っている袋Bである。この場合、図3に示されるように、商品Gを上から見た場合に、袋Bの中で物品Aが互いに重なり合うことがある。以下、必要に応じて、1つの商品Gを上から見た場合において、複数の物品Aが互いに重なり合っている領域を重なり領域ROと呼ぶ。図3には、いくつかの重なり領域ROが示されている。X線検査装置10によって検査される商品Gの大部分は、上から見た場合に重なり領域ROを有する。
【0023】
(2)X線検査装置の詳細な説明
X線検査装置10は、主として、シールドボックス11と、搬送ユニット12と、X線照射器20と、ラインセンサ30と、モニタ40と、制御装置50とから構成される。
【0024】
(2−1)シールドボックス
図4は、X線検査装置10のシールドボックス11の内部の概略図である。シールドボックス11は、X線検査装置10のケーシングである。図1に示されるように、シールドボックス11の両側面には、商品Gを搬出入するための開口11aが形成されている。開口11aは、シールドボックス11の外部から内部に商品Gを搬入するため、又は、シールドボックス11の内部から外部に商品Gを搬出するために用いられる。開口11aは、遮蔽のれん19により塞がれている。遮蔽のれん19は、シールドボックス11の内部から外部へのX線の漏洩を抑える。遮蔽のれん19は、タングステンシートから成形される。遮蔽のれん19は、商品Gが搬出入される時に商品Gによって押しのけられる。
【0025】
シールドボックス11の内部には、搬送ユニット12、X線照射器20、ラインセンサ30及び制御装置50等が収容されている。シールドボックス11の正面上部には、モニタ40、入力用のキー、及び、電源スイッチ等が配置されている。
【0026】
(2−2)搬送ユニット
搬送ユニット12は、シールドボックス11の内部を通過するように商品Gを搬送するためのベルトコンベアである。図1に示されるように、搬送ユニット12は、シールドボックス11の両側面に形成された開口11aを貫通するように配置されている。
【0027】
搬送ユニット12は、主として、コンベアモータ12aと、エンコーダ12bと、コンベアローラ12cと、無端状のベルト12dとから構成されている。コンベアローラ12cは、コンベアモータ12aによって駆動される。コンベアローラ12cの駆動により、ベルト12dが回転し、ベルト12d上の商品Gが搬送される。図4において、商品Gの搬送方向は、矢印で示されている。
【0028】
搬送ユニット12による商品Gの搬送速度は、X線検査装置10の操作者によって入力された設定速度に応じて変動する。制御装置50は、設定速度に基づいてコンベアモータ12aをインバータ制御し、商品Gの搬送速度を細かく制御する。搬送ユニット12のエンコーダ12bは、コンベアモータ12aの回転速度を検出することで商品Gの搬送速度を算出し、制御装置50に送信する。
【0029】
なお、搬送ユニット12は、搬送機構としてベルトコンベアを用いているが、ベルトコンベアの代わりにトップチェーンコンベア及び回転テーブル等を搬送機構として用いてもよい。
【0030】
(2−3)X線照射器
X線照射器20は、シールドボックス11内部の所定の位置まで搬送ユニット12によって搬送された商品GにX線を照射するX線源である。X線照射器20から照射されるX線には、様々なエネルギーのX線が含まれている。
【0031】
図4に示されるように、X線照射器20は、搬送ユニット12の上方に配置されている。X線照射器20は、搬送ユニット12の下方に配置されるラインセンサ30に向けて扇状のX線(放射光)を照射する。X線の照射範囲Xは、図4に示されるように、搬送ユニット12の搬送面に対して垂直であり、かつ、搬送ユニット12による商品Gの搬送方向に対して直交する方向に広がる。すなわち、X線照射器20から照射されるX線は、ベルト12dの幅方向に広がる。
【0032】
(2−4)ラインセンサ
ラインセンサ30は、X線照射器20から照射されたX線を検出するセンサである。具体的には、ラインセンサ30は、搬送ユニット12によって搬送された商品Gを透過したX線である透過X線を検出する。
【0033】
図4に示されるように、ラインセンサ30は、搬送ユニット12のベルト12dの下方に配置されている。ラインセンサ30は、複数のX線検出素子から構成されている。複数のX線検出素子は、搬送ユニット12による商品Gの搬送方向に直交する方向(ベルト12dの幅方向)に沿って一直線に水平に配置されている。
【0034】
ラインセンサ30は、透過X線を検出し、検出された透過X線の強度に応じた電圧を示すX線透過信号を出力する。X線透過信号は、後述するように、商品Gの透過画像(検査画像)の生成に用いられる。図5は、ラインセンサ30によって検出される透過X線の強度の例を示すグラフである。グラフの横軸は、ラインセンサ30上の位置を表す。グラフの縦軸は、ラインセンサ30が検出した透過X線の強度を表す。商品Gの透過画像では、透過X線の検出量の多いところが明るく(輝度が高く)表示され、透過X線の検出量が少ないところが暗く(輝度が低く)表示される。すなわち、商品Gの透過画像の明暗(輝度)は、透過X線の検出量に依存する。図5に示されるように、商品Gを透過したX線の検出量は、商品Gを透過しなかったX線の検出量より低い。
【0035】
また、ラインセンサ30は、商品GがX線の扇状の照射範囲X(図4及び図5を参照)を通過するタイミングを検知するためのセンサとしても機能する。すなわち、ラインセンサ30は、搬送ユニット12によって搬送される商品Gがラインセンサ30の上方の位置(照射範囲Xと重なる位置)に来たとき、所定の閾値以下の電圧を示すX線透過信号(第1信号)を出力する。一方、ラインセンサ30は、商品Gが照射範囲Xを通過すると、所定の閾値を上回る電圧を示すX線透過信号(第2信号)を出力する。第1信号及び第2信号の出力のタイミングによって、商品Gが照射範囲Xを通過するタイミングが検出される。
【0036】
(2−5)モニタ
モニタ40は、タッチパネル機能付きの液晶ディスプレイである。モニタ40は、X線検査装置10の表示部及び入力部として機能する。モニタ40には、商品Gの検査結果等が表示される。また、モニタ40には、初期設定、及び、商品Gの良否判断に関するパラメータの入力のための画面等が表示される。
【0037】
X線検査装置10の操作者は、モニタ40を操作して、検査パラメータ及び動作設定情報等を入力することができる。検査パラメータとは、商品Gの良否を判定するために必要なパラメータである。具体的には、検査パラメータは、商品Gに含まれる異物の有無を判定するために用いられる透過X線の強度の閾値等である。動作設定情報とは、商品Gの検査速度、及び、搬送ユニット12の搬送方向等の情報である。
【0038】
モニタ40は、制御装置50に接続されており、制御装置50と信号の送受信を行う。モニタ40によって入力された検査パラメータ及び動作設定情報は、制御装置50の記憶部51に記憶される。
【0039】
(2−6)制御装置
制御装置50は、主として、CPU、ROM、RAM及びHDD(ハードディスクドライブ)等によって構成されている。なお、HDDの代わりにSSD(ソリッドステートドライブ)が用いられてもよい。制御装置50は、図示されない表示制御回路、入力回路及び通信ポート等も備えている。表示制御回路は、モニタ40の表示を制御する回路である。入力回路は、モニタ40のタッチパネル及び入力キーを介して操作者によって入力された入力データを取り込む回路である。通信ポートは、プリンタ等の外部機器、及び、LAN等のネットワークとの接続を可能にするポートである。
【0040】
図6は、制御装置50のブロック図である。制御装置50は、主として、記憶部51と、制御部52とを有する。制御装置50は、コンベアモータ12a、エンコーダ12b、X線照射器20、ラインセンサ30及びモニタ40等に電気的に接続されている。制御装置50は、エンコーダ12bからコンベアモータ12aの回転数に関するデータを取得し、そのデータに基づいて商品Gの移動距離を算出する。制御装置50は、ラインセンサ30から出力されたX線透過信号を受信し、搬送ユニット12のベルト12d上の商品GがX線の照射範囲Xに到達したタイミングを検出する。制御装置50は、透過X線の強度に基づいて、商品Gに含まれる異物の有無を判定して、商品Gの良否を判定する。
【0041】
(2−6−1)記憶部
記憶部51は、検査パラメータ、動作設定情報、及び、制御部52が実行する各種プログラムを記憶する。検査パラメータ及び動作設定情報は、モニタ40のタッチパネル機能を用いて操作者によって入力される。
【0042】
記憶部51は、主として、透過画像記憶部51aと、教師データ記憶部51bと、特徴量記憶部51cとを有する。
【0043】
(2−6−1−1)透過画像記憶部
透過画像記憶部51aは、後述する透過画像生成部52aによって生成された透過画像に関するデータを記憶する。透過画像は、ラインセンサ30によって検出された透過X線量に基づいて生成された、商品GのX線画像である。
【0044】
図7は、商品Gの透過画像の一例を示す図である。商品Gは、図3に示されるように、複数の物品Aが入っている袋Bである。物品Aは、食品である。袋Bは、包装用のフィルムである。図7に示されるように、商品Gには、異物Cが混入されていることがある。異物Cは、例えば、プラスチック片及び金属片である。図7に示される透過画像は、複数の画素から構成される。透過画像の各画素は、複数の濃度レベルの内の一つを有する。透過画像の各画素の濃度レベルは、X線の検出量に対応する。具体的には、画素の濃度レベルが高いほど、当該画素におけるX線の検出量は低い。図7では、透過画像の濃度レベルは、ハッチングの間隔で表されている。具体的には、ある領域のハッチングの間隔が狭いほど、その領域を構成する画素の濃度レベルが高い。
【0045】
図7に示される商品Gの透過画像には、物品A、袋B及び異物Cのそれぞれに相当する画素が含まれる。物品Aは、袋Bと比べて、厚みが大きく、X線が透過しにくい。そのため、物品Aを透過したX線の検出量は、袋Bを透過したX線の検出量よりも少ない。また、異物Cは、通常、物品Aと比べて、X線が透過しにくい。そのため、異物Cを透過したX線の検出量は、物品Aを透過したX線の検出量よりも少ない。従って、図7に示される商品Gの透過画像では、物品Aに相当する画素は、袋Bに相当する画素よりも暗く(濃く)表示され、かつ、異物Cに相当する画素は、物品Aに相当する画素よりも暗く(濃く)表示されている。
【0046】
(2−6−1−2)教師データ記憶部
教師データ記憶部51bは、後述する学習部52cが商品Gに関する特徴を取得するために使用する教師データを記憶する。教師データは、主として、透過画像記憶部51aに記憶されている透過画像から抽出された画像データ、及び、その他のデータである。その他のデータは、例えば、商品Gの透過画像において、複数の物品Aが互いに重なり合っている領域(重なり領域RO)に関するデータ、及び、商品Gに含まれる異物Cが存在する領域に関するデータである。教師データの詳細及び利用方法については、後述する。
【0047】
(2−6−1−3)特徴量記憶部
特徴量記憶部51cは、後述する検査部52dが商品Gの検査のために使用する、商品Gの透過画像の特徴量を記憶する。特徴量とは、教師データから抽出されたデータであり、教師データに含まれる特徴を数値化又はベクトル化したデータである。特徴量の詳細及び利用方法については、後述する。
【0048】
(2−6−2)制御部
制御部52は、主として、透過画像生成部52aと、教師データ取得部52bと、学習部52cと、検査部52dとを有する。これらは、記憶部51に記憶されているプログラムを実行することによって実現される機能である。
【0049】
(2−6−2−1)透過画像生成部
透過画像生成部52aは、ラインセンサ30によって検出された透過X線量に基づいて、商品GのX線画像(透過画像)を生成する。具体的には、透過画像生成部52aは、ラインセンサ30の各X線検出素子から出力されるX線透過信号を所定の短い時間間隔で取得し、取得したX線透過信号に基づいて透過画像を生成する。すなわち、透過画像生成部52aは、扇状のX線の照射範囲X(図5参照)を商品Gが通過する際に各X線検出素子から出力されるX線透過信号に基づいて、商品Gの透過画像を生成する。照射範囲Xにおける商品Gの有無は、ラインセンサ30が出力する信号の出力のタイミングにより判断される。
【0050】
透過画像生成部52aは、ラインセンサ30の各X線検出素子から得られる透過X線の強度(輝度)に関する所定の時間間隔ごとのデータをマトリックス状に時系列的につなぎ合わせて、商品Gの透過画像を生成する。透過画像生成部52aによって生成された透過画像は、透過画像記憶部51aに記憶される。
【0051】
(2−6−2−2)教師データ取得部
教師データ取得部52bは、学習部52cが使用する教師データを取得する。透過画像記憶部51aには、異物Cを含む商品Gの透過画像のデータである異物有り画像データ、及び、異物Cを含まない商品Gの透過画像のデータである異物無し画像データが予め記憶されている。異物有り画像データ及び異物無し画像データの少なくとも一部は、重なり領域Rを有する商品Gの透過画像のデータである。教師データ取得部52bは、透過画像記憶部51aに記憶されている異物有り画像データ及び異物無し画像データを取得する。なお、教師データ取得部52bは、少なくとも異物有り画像データを取得すればよく、その場合、異物無し画像データを取得しなくてもよい。以下では、教師データ取得部52bは、異物有り画像データ及び異物無し画像データの両方を取得するとする。教師データ取得部52bが取得する異物有り画像データ及び異物無し画像データの数は、多ければ多いほどよい。例えば、教師データ取得部52bは、透過画像記憶部51aに予め記憶されている異物有り画像データ及び異物無し画像データをそれぞれ数百枚又は数千枚取得する。
【0052】
教師データ取得部52bは、商品Gの透過画像において、複数の物品Aが互いに重なり合っている領域(重なり領域RO)に関するデータである重なり領域データをさらに取得する。重なり領域データとは、商品Gの透過画像において、重なり領域ROの位置及び寸法に関するデータである。図8は、異物Cを含む商品Gの透過画像の一例を示す図である。図8では、1つの重なり領域ROと、当該重なり領域ROを含む最小の矩形領域である重なり矩形RPが示されている。この場合、重なり領域データは、例えば、重なり矩形RPの左上の画素の座標、及び、重なり矩形RPの右下の画素の座標からなる。なお、重なり領域データのフォーマットは、特に限定されない。例えば、重なり領域データは、重なり領域ROを含む最小の円領域の中心及び半径からなってもよく、重なり領域ROの形状に近い多角形の各頂点の座標の集合であってもよく、手動で任意に指定された領域の座標の集合であってもよい。
【0053】
教師データ取得部52bは、異物Cを含む商品Gの透過画像において、異物Cが存在する領域に関するデータである異物領域データをさらに取得する。異物領域データとは、異物Cを含む商品Gの透過画像において、異物Cに相当する画素を有する領域の位置及び寸法に関するデータである。図8では、異物Cに相当する画素を有する領域を含む最小の矩形領域である異物領域RCが示されている。この場合、異物領域データは、異物領域RCの左上の画素の座標、及び、異物領域RCの右下の画素の座標からなる。なお、異物領域データのフォーマットは、特に限定されない。例えば、異物領域データは、異物Cに相当する画素を有する領域を含む最小の円領域の中心及び半径からなってもよく、異物Cに相当する画素を有する領域の形状に近い多角形の各頂点の座標の集合であってもよく、手動で任意に指定された領域の座標の集合であってもよい。
【0054】
商品Gの透過画像、及び、各透過画像の重なり領域データ及び異物領域データは、モニタ40のタッチパネル機能等を介して入力されるか、通信ポートを介して外部記憶装置から入力される。重なり領域ROが存在しない場合の重なり領域データ、及び、異物無し画像データの異物領域データには、値が存在しないことを示すNULL値等が設定される。教師データ取得部52bは、商品Gの透過画像のデータと、当該透過画像の重なり領域データ及び異物領域データとを関連付けて、教師データとして教師データ記憶部51bに記憶させる。後述するように、教師データ取得部52bが取得する教師データは、いわゆる、教師有り学習で用いられるラベル付き訓練データである。この場合、ラベルは、重なり領域データ及び異物領域データであり、予め入力する必要があるデータである。
【0055】
(2−6−2−3)学習部
学習部52cは、教師データ記憶部51bに記憶されている教師データを用いる機械学習によって、複数の物品Aが重なり合っている状態の商品Gに関する特徴を取得する。学習部52cが実行する機械学習は、いわゆる、ラベル付き訓練データを用いる教師有り学習である。教師有り学習は、多数のラベル付き訓練データを解析して、ラベルに関する特徴を学習する方法である。教師有り学習では、種種のニューラルネットワークモデルが利用可能である。
【0056】
学習部52cは、商品Gの透過画像のデータと、当該透過画像の重なり領域データ及び異物領域データとが関連付けられた多数の教師データを解析する。これにより、学習部52cは、教師データに含まれる異物有り画像データ及び異物無し画像データの特徴量を取得する。学習部52cが取得する特徴量は、複数の物品Aが重なり合っている状態の商品Gに関する特徴に関するデータである。特徴量のフォーマットは、手動で予め設計されている。学習部52cは、商品Gの異物混入検査を行う前に教師データを解析して特徴量を取得して、取得した特徴量を特徴量記憶部51cに記憶させる。
【0057】
(2−6−2−4)検査部
検査部52dは、学習部52cが取得した特徴量を用いて、商品Gを検査する。具体的には、検査部52dは、特徴量記憶部51cに記憶されている特徴量を用いて、異物混入検査の対象となる未検査の商品Gの透過画像のデータを、異物有り画像データと異物無し画像データとに分類する。
【0058】
検査部52dは、商品Gの検査結果に基づいて、商品Gに関する良品/不良品の判定を行う。検査部52dは、未検査の商品Gの透過画像のデータが異物無し画像データであり、商品Gに異物Cが含まれていないと判断した場合に、商品Gを良品と判定する。一方、検査部52dは、未検査の商品Gの透過画像のデータが異物有り画像データであり、商品Gに異物Cが含まれていると判断した場合に、商品Gを不良品と判定する。
【0059】
検査部52dは、商品Gの良品/不良品を判定すると、商品Gが良品/不良品のいずれかであるのかに関する信号を出力する。検査部52dによって出力された信号は、振り分け機構70に送られる。振り分け機構70は、検査部52dによる判定結果に基づき、良品である商品Gを後段コンベア80へ送り、不良品である商品Gを不良品排出方向90,91に振り分ける。
【0060】
(3)X線検査装置の動作
X線検査装置10の制御装置50が、教師データを利用する機械学習によって取得した特徴量を用いて、商品Gを検査する処理について説明する。図9は、制御装置50が商品Gを検査する処理のフローチャートである。
【0061】
ステップS1では、教師データの取得が行われる。具体的には、異物有り画像データ及び異物無し画像データが、重なり領域データ及び異物領域データと関連付けられて、制御装置50に入力される。教師データ取得部52bは、入力されたデータから、教師データとして利用可能なデータを取得して、教師データ記憶部51bに記憶させる。なお、異物有り画像データ及び異物無し画像データとして、透過画像記憶部51aに既に記憶されている商品Gの透過画像のデータが用いられてもよい。この場合、重なり領域データ及び異物領域データが、商品Gの透過画像のデータと関連付けられて入力される。
【0062】
ステップS2では、教師データを利用する機械学習の実行が行われる。具体的には、制御装置50の学習部52cは、ステップS1で取得された教師データであるラベル付き訓練データを解析して、複数の物品Aが重なり合っている状態の商品Gに関する特徴に関するデータである、商品Gの透過画像の特徴量を取得する。商品Gの透過画像の特徴量は、特徴量記憶部51cに記憶される。ステップS1及びステップS2は、準備段階であり、未検査の商品Gの検査を実行する前に行われる。
【0063】
ステップS3では、商品Gの検査が行われる。具体的には、制御装置50の検査部52dは、透過画像生成部52aによって生成された未検査の商品Gの透過画像に関するデータと、ステップS2で取得された特徴量とに基づいて、未検査の商品Gの透過画像に関するデータから、複数の物品Aが重なり合っている状態の商品Gに関する特徴を抽出して、異物有り画像データと異物無し画像データとに分類する。その後、検査部52dは、商品Gの検査結果に基づいて、商品Gに関する良品/不良品の判定を行う。
【0064】
(4)特徴
本実施形態のX線検査装置10は、教師データを利用する機械学習を実行して、複数の物品Aが重なり合っている状態の商品Gの特徴に関するデータを取得し、当該特徴に基づいて商品Gの検査を行う。教師データは、商品Gの透過画像において、複数の物品Aが互いに重なり合っている領域(重なり領域RO)に関するデータ、及び、商品Gに含まれる異物Cが存在する領域に関するデータを含む。これにより、X線検査装置10は、異物混入検査の対象となる未検査の商品Gの透過画像のデータから、重なり領域ROを高精度で取得することができる。そのため、X線検査装置10は、未検査の商品Gの透過画像を解析する際に、商品Gの透過画像に含まれる重なり領域ROと、商品Gの透過画像に含まれる異物Cが存在する領域とを混同して、誤った検査結果を取得してしまうことを抑制することができる。
【0065】
商品GにX線を照射する場合、複数の物品Aが重なり合っている部分は、重なり合っていない部分に比べてX線が透過しにくい。そのため、商品Gの透過画像において、重なり領域ROの画素は、重なり領域RO以外の物品Aに相当する画素よりも、暗く表示される。そのため、物品Aの重なり具合によっては、重なり領域ROの画素が、商品Gに含まれる異物Cに相当する画素と、同程度に暗く表示されることがある。物品Aの重なり具合に応じて透過画像の輝度の閾値を設定して物品Aの重なり具合を判定する場合、重なり領域ROの画素と、異物Cに相当する画素とを、輝度のみに基づいて区別することは困難な場合がある。そのため、重なり領域ROと異物Cが存在する領域とが誤って判定されることにより、商品Gの検査精度が低下するおそれがある。特に、物品Aの重なり具合が大きくなるほど、商品Gの検査精度が低下する傾向がある。
【0066】
本実施形態のX線検査装置10は、上述したように、教師データを利用する機械学習を実行して取得した特徴に基づいて商品Gを検査することで、商品Gを検査する際に、商品Gの透過画像に含まれる重なり領域ROと異物Cが存在する領域とを混同することを抑制することができる。これにより、X線検査装置10は、異物Cを含まない商品Gを不良品と誤って判定することを抑制することができる。従って、X線検査装置10は、互いに重なり合うことがある複数の物品Aを含む商品Gの検査精度の低下を抑制することができる。
【0067】
(5)変形例
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
【0068】
(5−1)変形例A
実施形態では、教師データ取得部52bは、異物Cを含む商品Gの透過画像のデータである異物有り画像データ、及び、異物Cを含まない商品Gの透過画像のデータである異物無し画像データを、重なり領域データ及び異物領域データと関連付けて、教師データとして取得する。しかし、教師データ取得部52bは、異物有り画像データの代わりに、異物Cを含まない商品Gの透過画像に仮想的な異物VCの画像を組み込んだ画像のデータである仮想異物有り画像データを取得してもよい。仮想異物有り画像データは、例えば、異物Cを含まない商品Gの透過画像の任意の場所に、仮想的な異物VCの画像を手動で追加して生成してもよく、また、異物Cを含まない商品Gの透過画像に仮想的な異物VCの画像を自動で追加するプログラムを実行して生成してもよい。仮想的な異物VCの画像は、例えば、実際の異物Cの透過画像と同程度の輝度を有する画素の集合である。
【0069】
本変形例では、仮想異物有り画像データは、異物有り画像データと同じように利用される。すなわち、教師データ取得部52bは、仮想異物有り画像データを、重なり領域データ及び異物領域データと関連付けて、教師データとして取得する。仮想異物有り画像データが自動で生成される場合、仮想的な異物VCが存在する領域の位置及び寸法に関する異物領域データは自動で取得可能であるので、異物領域データを入力する必要はない。学習部52cは、仮想異物有り画像データを含む教師データを用いて、複数の物品Aが重なり合っている状態の商品Gに関する特徴を取得する。これにより、学習部52cは、仮想異物有り画像データ及び異物無し画像データの特徴量を取得する。検査部52dは、学習部52cが取得した特徴量に基づいて、未検査の商品Gの透過画像を、異物有り画像データと異物無し画像データとに分類する。
【0070】
本変形例では、仮想異物有り画像データを用いるため、異物有り画像データに関する教師データを準備する必要がない。そのため、教師データの準備のために、実際の異物Cを含む商品Gを用意する必要がないため、教師データの準備に要する時間を短縮することができる。特に、仮想異物有り画像データを自動で生成する場合、教師データの準備に要する時間をより短縮することができる。従って、X線検査装置10は、機械学習を利用する商品Gの検査を効率的に行うことができる。
【0071】
なお、本変形例では、教師データ取得部52bは、異物有り画像データと共に、仮想異物有り画像データを取得してもよい。すなわち、教師データ取得部52bは、実施形態の異物有り画像データを含む教師データ、及び、仮想異物有り画像データを含む教師データの両方を取得してもよい。
【0072】
また、本変形例では、教師データ取得部52bは、異物無し画像データとして、仮想異物無し画像データを取得してもよい。仮想異物無し画像データは、異物有り画像データの異物以外の領域の特徴に基づいて作成することができる。また、仮想異物無し画像データを自動生成するプログラムを用いて、仮想異物無し画像データを作成してもよい。仮想異物無し画像データを自動生成するプログラムとは、例えば、物品Aの複数の画像をランダムに組み合せて商品Gの画像と同様の画像データ(仮想異物無し画像データ)を生成するプログラム、及び、複数の商品Gの画像を合成処理することで仮想異物無し画像データを自動生成するプログラムである。教師データ取得部52bが仮想異物無し画像データを取得することで、教師データの入力の手間を省くことができる。
【0073】
(5−2)変形例B
実施形態では、X線検査装置10は、商品Gの異物混入検査を行い、検査結果に基づいて商品Gを良品又は不良品に分類する。しかし、X線検査装置10は、商品Gの異物混入検査の代わりに、又は、商品Gの異物混入検査と共に、商品Gに収容されている物品Aの数を検査する個数検査を行ってもよい。
【0074】
本変形例では、教師データ記憶部51bは、商品Gの透過画像に関するデータと、商品Gに含まれる商品Aの数に関するデータである個数データとを関連付けて、教師データとして記憶する。個数データは、モニタ40のタッチパネル機能及び通信ポート等を介して制御装置50に予め入力される。学習部52cは、個数データを含む教師データを用いて、複数の物品Aが重なり合っている状態の商品Gに関する特徴を取得して、商品Gの透過画像に関するデータの特徴量を取得する。検査部52dは、学習部52cが取得した特徴量に基づいて、未検査の商品Gの透過画像から、商品Gに含まれる物品Aの数を取得する。そして、検査部52dは、商品Gの検査結果に基づいて、商品Gに関する良品/不良品の判定を行う。具体的には、検査部52dは、商品Gに含まれる物品Aの数が所定の値と等しい場合、商品Gを良品と判定し、等しくない場合、商品Gを不良品と判定する。
【0075】
(5−3)変形例C
実施形態では、X線検査装置10は、教師データを利用する機械学習によって取得した、複数の物品Aが重なり合っている状態の商品Gに関する特徴に基づいて、商品Gの検査を行う。しかし、X線検査装置10は、機械学習を利用する検査に加えて、機械学習を利用しない検査をさらに行ってもよい。この場合、X線検査装置10は、教師データを利用する機械学習によって商品Gに含まれている異物Cの有無を判定すると共に、機械学習を利用せずに商品Gの透過画像のみに基づいて商品Gに含まれている異物Cの有無を判定する。
【0076】
商品Gの透過画像のみに基づく商品Gの異物判定処理には、従来の画像処理アルゴリズムが利用可能である。例えば、検査部52dは、異物Cを表す画素領域が商品Gの透過画像に含まれていると判断した場合に、商品Gに異物Cが含まれていると判断する。異物Cを表す画素領域は、例えば、所定の範囲の輝度を有する画素から構成され、かつ、所定の画素数を有する画素領域である。この場合、検査部52dは、機械学習を利用する商品Gの検査では商品Gを良品と判定しても、機械学習を利用しない商品Gの検査では商品Gを不良品と判定した場合、商品Gを不良品と判定してもよい。
【0077】
実施形態における機械学習を利用する商品Gの検査では、例えば、検査部52dが、商品Gを検査する際に、商品Gの透過画像に含まれる重なり領域ROと異物Cが存在する領域とを混同して、商品Gに関する良品/不良品の判定の精度に影響を与える可能性がある。本変形例では、X線検査装置10は、機械学習を利用する画像処理技術と、機械学習を利用しない画像処理技術とを組み合わせて商品Gを検査することで、商品Gの検査の信頼性を向上させることができる。なお、機械学習を利用しない商品Gの検査では、機械学習を利用しない画像処理技術同士を組み合わせた判定を行ってもよい。これにより、商品Gの検査の信頼性をさらに向上させることが可能となる。
【0078】
(5−4)変形例D
実施形態では、X線検査装置10は、教師データを利用する機械学習によって取得した、複数の物品Aが重なり合っている状態の商品Gに関する特徴に基づいて、商品Gの検査を行う。しかし、X線検査装置10は、機械学習を用いて取得した複数の検査結果に基づいて、商品Gの最終的な検査結果を取得してもよい。この場合、複数の検査結果は、互いに異なる複数のニューラルネットワークモデルを用いた教師有り学習によって取得される。検査部52dは、例えば、複数の機械学習アルゴリズムを用いて商品Gの検査を行い、複数の検査結果に基づいて商品Gの最終的な検査結果を取得する。
【0079】
次に、本変形例における商品Gの最終的な検査結果の取得方法の具体例について説明する。図10は、本変形例における商品Gの透過画像の一例である。検査部52dは、2種類の機械学習アルゴリズムを用いて、商品Gの検査結果を2つ取得する。以下、取得した2つの検査結果を、第1検査結果及び第2検査結果と呼ぶ。図10において、第1検査結果では、実線で囲まれた検査領域R1,R2に異物Cが存在すると判定され、第2検査結果では、点線で囲まれた検査領域R3に異物Cが存在すると判定されたと仮定する。実際には、検査領域R1及び検査領域R3に異物Cが存在し、検査領域R2に異物Cが存在しない。
【0080】
複数の機械学習アルゴリズムを用いる商品Gの検査では、各検査領域R1〜R3には確信度のパラメータが設定される。確信度とは、各検査領域R1〜R3に異物Cが存在する可能性を表すパラメータである。確信度の最小値は0であり、最大値は1である。ある検査領域の確信度が大きいほど、当該検査領域に異物Cが存在する可能性が高い。図10において、第1検査結果の検査領域R1の確信度は0.9であり、第1検査結果の検査領域R2の確信度は0.8であり、第2検査結果の検査領域R3の確信度は0.7であるとする。この場合、検査部52dは、第1検査結果及び第2検査結果から、商品Gの最終的な検査結果を、以下に説明する方法で取得する。
【0081】
異なる検査結果の検査領域が互いに重なり合っている場合、互いに重なり合っている検査領域の確信度の平均に、検査領域の重なり具合に応じた1以上の係数を乗じて、最終的な確信度を取得する。図10の場合、検査領域R1と検査領域R3とが重なり合っているので、検査領域R1の確信度0.9と検査領域R3の確信度0.7との平均0.8に、係数1.2を乗じた0.96が、検査領域R1及び検査領域R3の最終的な確信度となる。この場合の係数は、検査領域の重なり具合、すなわち、互いに重なり合っている検査領域の数が大きいほど高い。例えば、2つの検査領域が重なり合っている場合、係数は1.2であり、3つの検査領域が重なり合っている場合、係数は1.5である。
【0082】
一方、ある検査結果の検査領域が、他の検査結果の検査領域と重なり合っていない場合、当該検査領域の確信度に、1未満の係数を乗じて、最終的な確信度を取得する。図10の場合、検査領域R2は、他の検査結果の検査領域と重なり合っていないので、検査領域R2の確信度0.8に、係数0.9を乗じた0.72が、検査領域R2の最終的な確信度となる。この場合の係数は、1未満の任意の値が設定される。
【0083】
そして、検査部52dは、所定の閾値以上の最終的な確信度を有する検査領域に異物Cが存在すると判定する。図10の場合、所定の閾値が0.95であるとすると、検査部52dは、閾値0.95以上の最終的な確信度0.96を有する検査領域R1及び検査領域R3に異物Cが存在すると判定する。このように、検査部52dは、複数の検査結果に基づく多数決により、商品Gの最終的な検査結果を取得することで、商品Gの検査の信頼性を向上させることができる。
【0084】
なお、本変形例では、検査部52は、教師データを利用する機械学習によって取得した商品Gに関する特徴を用いた場合の商品Gの検査結果と、商品Gに関する特徴を用いない場合の商品Gの検査結果とからなる複数の検査結果に基づいて、商品Gの最終的な検査結果を取得してもよい。この場合、検査部52は、図10を参照しながら説明した上記の方法を用いて、複数の検査結果に基づく多数決により、商品Gの最終的な検査結果を取得する。
【0085】
(5−5)変形例E
実施形態及び他の変形例では、X線検査装置10は、教師データを利用する機械学習によって取得した、複数の物品Aが重なり合っている状態の商品Gに関する特徴に基づいて、商品Gの検査を行う。学習部52cが実行する機械学習は、教師有り学習である。教師有り学習は、多数のラベル付き訓練データを解析して、所定の特徴量を学習する方法である。教師有り学習では、特徴量のフォーマットを手動で予め設計しておく必要がある。
【0086】
しかし、学習部52cが実行する機械学習は、ラベル付き訓練データを用いない学習であってもよい。例えば、学習部52cは、深層学習のアルゴリズムを用いて、多数の商品Gの透過画像から、異物有り画像データ及び異物無し画像データの特徴量を自動で抽出してもよい。この場合、特徴量のフォーマットを手動で予め設計しておく必要がない。そのため、異物有り画像データと異物領域データとを関連付けた教師データを用意する必要がなく、教師データの準備に要する時間を短縮することができる。従って、X線検査装置10は、商品Gの透過画像に関するデータから特徴量を自動で抽出するアルゴリズムを用いることで、機械学習を利用する商品Gの検査を効率的に行うことができる。
【0087】
(5−6)変形例F
実施形態では、本発明に係る検査装置は、X線を用いて商品Gの異物混入検査を行うX線検査装置10である。しかし、本発明に係る検査装置は、X線検査装置10に限られない。例えば、検査装置は、食品製造工程で一般的に用いられる光による異物検査装置であれば、赤外線、紫外線および可視光等を用いて商品Gの異物混入検査を行う装置であってもよい。
【0088】
(5−7)変形例G
実施形態及び他の変形例では、X線検査装置10は、商品Gに光(X線)を照射し、商品Gを透過した光から得られた透過画像(検査画像)に基づいて商品Gを検査する。しかし、X線検査装置10は、商品Gに光(X線)を照射し、商品Gに反射した光から得られた検査画像に基づいて商品Gを検査してもよい。この場合、ラインセンサ30は、搬送ユニット12によって搬送された商品Gに反射したX線を検出する。
【産業上の利用可能性】
【0089】
本発明に係る検査装置は、例えば、食品等の商品にX線等の光を照射して商品の検査を行うX線検査装置として利用可能である。
【符号の説明】
【0090】
10 X線検査装置(検査装置)
51 記憶部
52c 学習部
52d 検査部
G 商品
A 物品
C 異物
VC 仮想的な異物
【先行技術文献】
【特許文献】
【0091】
【特許文献1】特開2002―228761号公報
【要約】
本発明の目的は、互いに重なり合うことがある複数の物品を含む商品の検査精度の低下を抑制することができる検査装置を提供することである。X線検査装置(10)は、所定の形状の複数の物品(A)が収容された商品(G)に光を照射し、商品(G)を透過した光、又は、商品(G)に反射した光から得られた検査画像に基づいて商品(G)を検査する。X線検査装置(10)は、記憶部(51)と、学習部(52c)と、検査部(52d)とを備える。記憶部(51)は、複数の物品(A)が重なり合っている状態の商品(G)の検査画像を少なくとも教師画像として記憶する。学習部(52c)は、記憶部(51)に記憶されている教師画像を用いる機械学習によって、複数の物品(A)が重なり合っている状態の商品(G)に関する特徴を取得する。検査部(52d)は、学習部(52c)が取得した特徴を用いて商品(G)を検査する。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10