特許 7053075 教師データ生成方法および異物検査装置ならびに異物検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-04

(45)【発行日】2022-04-12

(54)【発明の名称】教師データ生成方法および異物検査装置ならびに異物検査方法

(51)【国際特許分類】

   G01N 21/89 20060101AFI20220405BHJP

【ＦＩ】

G01N21/89 Z

【請求項の数】 6

(21)【出願番号】P 2021098751

(22)【出願日】2021-06-14

(65)【公開番号】P2022019569

(43)【公開日】2022-01-27

【審査請求日】2021-06-14

(31)【優先権主張番号】P 2020122804

(32)【優先日】2020-07-17

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】594169215

【氏名又は名称】株式会社カナヤ食品

(74)【代理人】

【識別番号】110000121

【氏名又は名称】アイアット国際特許業務法人

(72)【発明者】

【氏名】▲座▼古 裕久

【審査官】横尾 雅一

(56)【参考文献】

【文献】特開２０１５－１１４２２６（ＪＰ，Ａ）

【文献】特開２０２０－０５１９８２（ＪＰ，Ａ）

【文献】特開２０２０－０５１９８１（ＪＰ，Ａ）

【文献】特開２０２１－０１８０８２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０６８２４８２４（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９４２０６２２（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４ － Ｇ０１Ｎ ２１／９５８

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／６１

Ｇ０６Ｆ ３０／００ － Ｇ０６Ｆ ３０／３９８

Ｇ０６Ｎ ２０／００ － Ｇ０６Ｎ ２０／２０

Ｂ０７Ｃ １／００ － Ｂ０７Ｃ ９９／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

予め複数の異物サンプルを近赤外光と可視光とで撮像し、撮像された異物サンプルの近赤外画像および可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、その撮像された異物サンプルの近赤外画像と可視光画像とを表示するステップと、
表示された異物サンプルの近赤外画像および可視光画像の中から、異物サンプルの画像を異物として指定するステップとを有し、
前記異物として指定するステップは、
可視光画像でも異物として視認できる異物サンプルであって、被検査物と色空間（Ｌ*ａ*ｂ）の色差が７０以下または同等の色差の色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として視認される位置に対応する、近赤外画像上の位置の画像において、異物の形状を視認できる場合は、近赤外画像上の画像を異物として指定する、
ことを特徴とする教師データ生成方法。

【請求項2】

請求項１に記載の教師データ生成方法であって、
近赤外カメラで撮像した異物サンプルの近赤外画像と可視光カメラで撮像した異物サンプルの可視光画像とを同時に並列して表示して、異物の指定を行う、
ことを特徴とする教師データ生成方法。

【請求項3】

搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
予め定められた波長の近赤外光および可視光を前記被検査物に照射する光照射手段と、
前記光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
前記近赤外カメラで撮像した前記被検査物の近赤外画像と、前記可視光カメラで撮像した被検査物の可視光画像とに基づいて前記被検査物に異物が混入しているかを判定する異物判定手段と、
を備え、
前記異物判定手段は、異物学習手段で予め学習した異物サンプルの近赤外画像および可視光画像の教師データを参照して前記被検査物の異物の判定を行う手段であって、
前記教師データは、その学習過程で、
可視光画像でも異物として視認できる異物サンプルであって、被検査物と色空間（Ｌ*ａ*ｂ）の色差が７０以下または同等の色差の色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として視認される位置に対応する、近赤外画像上の位置の画像において、異物の形状を視認できる場合は、近赤外画像上の画像を異物として指定されて学習した、
ことを特徴とする異物検査装置。

【請求項4】

請求項３に記載の異物検査装置であって、
前記近赤外カメラで撮像した異物サンプルの近赤外画像と前記可視光カメラで撮像した異物サンプルの可視光画像とを同時に並列して表示する手段を備える、
ことを特徴とする異物検査装置。

【請求項5】

搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、
予め定められた波長の近赤外光および可視光で異物サンプルを撮像して、教師データの生成を行う教師データ生成ステップと、
予め定められた波長の近赤外光および可視光を前記被検査物に照射する光照射ステップと、
前記光照射ステップにより照射された前記被検査物を近赤外光で撮像する近赤外撮像ステップと、
前記光照射ステップにより照射された前記被検査物を可視光で撮像する可視光撮像ステップと、
前記近赤外撮像ステップで撮像された近赤外画像と、前記可視光撮像ステップで撮像された可視光画像とに基づいて、前記被検査物に異物が混入しているかを判定する異物判定ステップと、
を有し、
前記教師データ生成ステップにおいて、可視光画像でも異物として視認できる異物サンプルであって、被検査物と色空間（Ｌ*ａ*ｂ）の色差が７０以下または同等の色差の色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として視認される位置に対応する、近赤外画像上の位置の画像において、異物の形状を視認できる場合は、近赤外画像上の画像を異物として指定して学習させる、
ことを特徴とする異物検査方法。

【請求項6】

請求項３に記載の異物検査装置であって、
前記異物判定手段は、異物学習手段で予め深層学習した異物サンプルの近赤外画像および可視光画像を参照して前記被検査物の異物の判定を行う第一の異物判定手段と、異物サンプルの学習をせずに前記被検査物の前記近赤外画像および可視光画像に基づいて前記被検査物の異物の判定を行う第二の異物判定手段とを備え、
前記異物判定手段は、前記第一の異物判定手段、前記第二の異物判定手段の双方が異物と判定したときは、前記搬送路を停止させる、
ことを特徴とする異物検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、教師データ生成方法および異物検査装置ならびに異物検査方法に関する。

【背景技術】

【0002】

食品加工の分野においては、食品安全等のため、食品材料に混入した異物を検出して取り除くことが求められている。このような、食品材料に混入した異物を光学的に検出する技術として、特許文献１の技術がある。
特許文献１に記載の異物検出装置および方法は、食品材料である被検査物に近赤外光を照射し、第一波長域の近赤外光、第二波長域の近赤外光、被検査物の材質の違いによる吸収率の変化が小さい第三波長域の近赤外光を検出し、この第一波長域の近赤外光、第二波長域の近赤外光の光量を、第三波長域の近赤外光の光量で除算して、規格化し、規格化後の光量を解析することで、食品材料中の異物を検出する。

【0003】

この特許文献１に記載の異物検出方法の技術は、食品材料に混入しているプラスチック材料や木材，骨片などが、食品材料とは近赤外域における吸光率の差があることに基づいて、被検査物に混入している異物として検出するので、材質の異なる異物を検出できる効果がある。これにより、例えば、農業資材であるプラスチックの断片や金属、紙辺などが食品材料中に混入しているのを検出し、排除できる効果がある。

【0004】

一方、食品材料とその材質が似ており、水分量も似たものである、例えば、木綿糸等の天然素材に由来する物質は、近赤外光の吸光率に食品材料と差がないため、木綿糸を同じ天然素材の食品材料の中から判別することは難しい。つまり、食品材料と同じ天然素材に由来する有機物であり、近赤外光の吸光率が同じか似ている場合には、近赤外光の領域での吸光率の差で判別することが難しい。
このため、近赤外光だけでなく可視光を被検査物に照射し、可視光カメラで食品材料を撮像し、可視光によって食品材料と色彩などの特徴量の異なる異物を検出する技術も提案されている（特許文献２）。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第６５８０９３７号公報

【文献】特開２０２０－５１９８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献２の技術では、近赤外光で被検査物を撮像して異物を検出する特許文献１では検出できない、糸などの天然素材に由来するもので、乾燥野菜などの緑色の食品材料とは異なる色の異物、例えば赤や青い糸を可視光で撮像してその特徴量を比較することによって、天然素材に由来する異物を検出することができる。

【0007】

しかしながら、被検査物としての食品材料と、可視光で色彩が似ており、形状や大きさが似ているものも異物として学習した場合、食品材料と色彩が似ており、材質も天然素材に由来する糸などの繊維や天然素材に由来するセロハンなどと形状や大きさが似た食品材料を異物として認識してしまういわゆる過検出が生ずることがある。
異物の過検出が生ずると、本来安全な食品材料であっても異物として材料から排除されるため、そのような本来排除されるべきでないものが異物として排除されることで、過検出により製造工程が滞って生産性が低下する。また、必要以上に食品材料の廃棄がされることになり、コストが増加する。

【0008】

本発明は、上述の課題を解決するためのもので、近赤外光と可視光とで撮像した異物の学習において、過剰に異物の過検出をしない教師データ生成方法、異物検出装置ならびに異物検出方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

本発明の第一の観点は、異物検査のための教師データ生成方法であって、予め複数の異物サンプルを近赤外光と可視光とで撮像し、撮像された異物サンプルの近赤外画像および可視光画像を学習させる教師データ生成方法であり、学習させる異物サンプルを撮像し、その撮像された異物サンプルの近赤外画像と可視光画像とを表示するステップと、表示された異物サンプルの近赤外画像および可視光画像の中から、異物サンプルの画像を異物として指定するステップとを有し、異物として指定するステップは、可視光画像でも異物として視認できる素材の異物サンプルであって、被検査物の色と近い色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する、ことを特徴とする。

【0010】

なお、近赤外カメラで撮像した異物サンプルの近赤外画像と可視光カメラで撮像した異物サンプルの可視光画像とを同時に並列して表示して、異物の指定を行う、ことが好ましい。

【0011】

本発明の第二の観点は、異物検査装置であり、搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、予め定められた波長の近赤外光および可視光を前記被検査物に照射する光照射手段と、光照射手段により照射された被検査物を近赤外光で撮像する近赤外カメラと、光照射手段により照射された被検査物を可視光で撮像する可視光カメラと、近赤外カメラで撮像した被検査物の近赤外画像と、可視光画像で撮像した被検査物の可視光画像とに基づいて被検査物に異物が混入しているかを判定する異物判定手段と、を備え、異物判定手段は、異物学習手段で予め学習した異物サンプルの近赤外画像および可視光画像の教師データを参照して被検査物の異物の判定を行う手段であって、教師データは、その学習過程で、可視光画像でも異物として視認できる素材の異物サンプルであって、被検査物の色と近い色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外線画像上の画像を異物として指定されて学習した、ことを特徴とする。

【0012】

なお、近赤外カメラで撮像した異物サンプルの近赤外画像と可視光カメラで撮像した異物サンプルの可視光画像とを同時に並列して表示する手段を備える、ことが好ましい。

【0013】

本発明の第三の観点は、異物検出方法であり、搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、予め定められた波長の近赤外光および可視光で異物サンプルを撮像して、教師データの生成を行う教師データ生成ステップと、予め定められた波長の近赤外光および可視光を被検査物に照射する光照射ステップと、光照射ステップにより照射された被検査物を近赤外光で撮像する近赤外撮像ステップと、光照射ステップにより照射された被検査物を可視光で撮像する可視光撮像ステップと、近赤外撮像ステップで撮像された近赤外画像と、可視光撮像ステップで撮像された可視光画像に基づいて、被検査物に異物が混入しているかを判定する異物判定ステップと、を有し、教師データ生成ステップにおいて、可視光画像でも異物として視認できる素材の異物サンプルであって、被検査物の色と近い色を有する異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習させる、ことを特徴とする。

【0014】

なお、異物検査装置において、異物判定手段は、異物学習手段で予め深層学習した異物サンプルの近赤外画像および可視光画像を参照して被検査物の異物の判定を行う第一の異物判定手段と、異物サンプルの学習をせずに被検査物の前記近赤外画像および可視光画像に基づいて被検査物の異物の判定を行う第二の異物判定手段とを備え、第一の異物判定手段、第二の異物判定手段の双方が異物と判定したときは、前記搬送路を停止させることができる。

【発明の効果】

【0015】

本発明によれば、被検査物と材質が似た天然素材に由来するような異物であっても、異物として検出し排除することが可能であって、食品安全に資する。また、異物ではないものを過剰に検出することがないので、食品加工での品質の向上および生産性の向上を図ることができる。

【図面の簡単な説明】

【0016】

【図1】図１は、本発明を適用した異物検査装置の一例を示す概略構成図である。

【図2】図２は、異物検査の処理手順の一例を示すフローチャートである。

【図3】図３は、異物学習の学習手順の一例を示すフローチャートである。

【図4】図４は、異物学習の画面表示の一例（ボリエンチレンひも）を示す図である。

【図5】図５は、異物学習の画面表示の一例（透明なビニール）を示す図である。

【図6】図６は、異物学習の画面表示の一例（赤い化繊の糸）を示す図である。

【図7】図７は、異物学習の画面表示の一例（緑のセロハン紙）を示す図である。

【図8】図８は、異物学習過程のアルゴリズムを説明するフローチャートである。

【図9】図９は、異物検査装置の他の構成例を示す概略構成図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態を図面に基づき説明する。
なお、本実施形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、本発明の技術的思想は、構成部品の形状、構造および配置等を下記のものに特定するものではない。本発明の技術的思想は、特許請求の範囲に記載された請求項が規定する技術的範囲内において、種々の変更が可能である。

【0018】

（異物検査装置の構成の説明）
図１は、本発明の一実施形態に係る異物検査装置の一例を示す構成図である。
異物検査装置１は、被検査物８を搬送する搬送装置２と、近赤外光照射装置３と、近赤外カメラ４と、可視光照明装置５と、カラーカメラ６と、コンピュータを備えた処理装置１０とを備える。処理装置１０は、ディスプレイ１３や図示しない入力装置、記憶装置、ＣＰＵを備えている。処理装置１０は、機能構成として、異物の学習を行う異物学習手段１１、異物の判定を行う異物判定手段１２を備えている。

【0019】

搬送装置２は、被検査物８を特定方向に搬送する。図１では、図１中の矢印で示す方向に被検査物８を搬送する。
搬送装置２としては、ベルトコンベア、パレットコンベア等を適用することができる。図１では、搬送装置２として、互いに平行な二つのローラ２ａ間に無端ベルト２ｂをかけ渡し、被検査物８を無端ベルト２ｂの上面に載置して搬送するベルトコンベアを用いている。図１は、この無端ベルト２ｂの上面（搬送面）上に、被検査物として、食品材料である乾燥野菜を搬送する例を示している。

【0020】

近赤外光照射装置３は、無端ベルト２ｂの上方に配置され、無端ベルト２ｂの上面に向けて近赤外光を出射する。近赤外光照射装置３は、近赤外光により照射された領域が、被検査物８の搬送方向と平面視で直交する方向（以下、幅方向ともいう。）に延びる直線状の領域（以下、照射領域３ａという。）となるように、近赤外光を出射する。近赤外光照射装置３としては、ハロゲン照明装置やＬＥＤを適用することができる。照射領域３ａは、無端ベルト２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置２で搬送される被検査物８全てが照射領域３ａを通過することになり、その結果、搬送中の全ての被検査物８に対して近赤外光が照射されるようになっている。また、近赤外光照射装置３は、処理装置１０からの制御信号で指定されるタイミングで近赤外光の照射を行う。

【0021】

近赤外カメラ４は、無端ベルト２ｂの上面の直線状の照射領域３ａを撮影可能な位置に配置される。近赤外カメラ４は、照射領域３ａを撮影し、照射領域３ａを通過する被検査物８で反射された近赤外光及び、被検査物８と共に異物等が混在している場合にはこの異物等で反射された近赤外光も集光し、互いに異なる３つの波長λ０～λ２の成分（以下、波長成分λ０～λ２ともいう。）を検出し、これら３つの波長成分からなる撮像画像（以下、近赤外画像ともいう。）を処理装置１０に出力する。３つの波長λ０～λ２は、例えば、搬送中の被検査物８に混在する異物や、被検査物８の成分等、検出対象物の特性に応じて、異物や、検出対象の成分等を、検出することの可能な波長に設定される。近赤外カメラ４で検出する波長成分は、例えば、１２００ｎｍ以上１６００ｎｍ以下程度の波長に設定される。例えば、たんぱく、脂肪を検出したい場合は、１１８０～１２４０ｎｍを中心波長（λ０）とし、水分に関連する成分を検出したい場合には、１４００～１４６０ｎｍを中心波長（λ１）とし、他方、いずれにも吸収されにくい波長を、参照波長して１５００～１６２０ｎｍを中心波長（λ２）して設定すればよい。
近赤外カメラ４は、処理装置１０からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ４として、例えば、５１２画素程度のラインセンサカメラを用いることもできる。

【0022】

可視光照明装置５は、可視光により照射された領域が、被検査物８の搬送方向と平面視で直交する方向に延びる直線状の領域（以下、照射領域５ａという。）となるように、可視光を出射する。可視光照明装置５は、具体的には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。可視光照明装置５としては、例えば、白色ＬＥＤ照明装置を適用することができる。照射領域５ａは、無端ベルト２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置２で搬送される被検査物８全てが照射領域５ａを通過することになり、その結果、搬送中の全ての被検査物８に対して可視光が照射されるようになっている。

【0023】

カラーカメラ６は、無端ベルト２ｂの上面の直線状の照射領域５ａを撮影可能な位置であり、且つ、近赤外カメラ４よりも搬送方向上流側であって、近赤外カメラ４と干渉しない位置に配置される。カラーカメラ６は、照射領域５ａを通過する被検査物８で反射された可視光及び、被検査物８と共に異物等が混在している場合にはこの異物等で反射された可視光も集光し、Ｒ、Ｇ、Ｂの３つの波長成分からなる撮像画像（以下、可視光画像ともいう。）を処理装置７に出力する。また、カラーカメラ６は、処理装置１０からの制御信号で指定されるタイミングで撮影を行う。カラーカメラ６としては、例えば、４０９６画素程度のカラーラインセンサカメラを用いることもできる。

【0024】

処理装置１０の異物判定手段１２は、近赤外カメラ４からの近赤外波長成分としての波長成分λ０～λ２からなる近赤外画像と、カラーカメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像とを入力し、これらに基づき解析処理を実行し、異物の有無等を判定する。
また、処理装置１０は、搬送装置２の搬送速度と、照射領域３ａの位置と、照射領域５ａの位置等をもとに、被検査物８が照射領域３ａ及び照射領域５ａを通過するタイミングで、照射領域３ａ、５ａ内の被検査物８を撮影するように、近赤外カメラ４及びカラーカメラ６それぞれの撮影タイミングを決定し、撮影タイミングを指定する制御信号を近赤外カメラ４及びカラーカメラ６に出力する。また、近赤外カメラ４及びカラーカメラ６の撮影タイミングで照射領域３ａ、５ａに対して光照射を行うように、近赤外光照射装置３及び可視光照明装置５に制御信号を出力する。

【0025】

例えば、図１の場合には、被検査物８が連続して搬送されるため、搬送中の全ての被検査物８が近赤外カメラ４及びカラーカメラ６のそれぞれによって撮影されるように定周期で撮影する。このとき、近赤外カメラ４及びカラーカメラ６による前後の撮影タイミングにおける撮像画像が重複するように撮影してもよい。このように前後の撮像画像が一部で重複するように撮影タイミングを設定することによって、前後の撮影タイミングの間で、撮影されない被検査物８が存在することを回避することが好ましい。

【0026】

（異物検査処理の説明）
図２は、処理装置１０において実行される異物検査の処理手順を説明するフローチャートである。処理装置１０では、異物検査の処理を予め設定した定周期で実施する。この異物検査は、被検査物８を搬送装置２で搬送して、近赤外光および可視光を被検査物８に照射し、近赤外カメラ３、可視光カメラ６で撮像し、この近赤外画像、可視光画像を取り込み、取り込んだ画像データに基づいて、被検査物中に混入している異物を検出し、異物を検出したときは、検出した異物を排出し、あるいは警報を出力するなどの異物を排除するための処理を行う。
この異物検査装置には、異物が検出されたときは、搬送装置２を停止して、異物を排出する機構を設けることもできる。

【0027】

処理装置１０は、波長成分Ｒ、Ｇ、Ｂからなる可視光画像をカラーカメラ６から取得し、所定の記憶領域に格納する（ステップＳ１１）。同様に、波長成分λ０～λ２からなる近赤外画像を近赤外カメラ４から取得し、所定の記憶領域に格納する（ステップＳ１２）。

【0028】

そして、異物判定手段１２は、取得した可視光画像を予め学習した異物画像と比較して、異物が被検査物８中に混在しているかをあらかじめ異物学習した画像データと比較することで、可視光での異物判定を行う（ステップＳ１３）。同様に、異物判定手段１２は、取得した近赤外画像をあらかじめ学習した異物の画像データと比較することで、近赤外光での異物判定を行う（ステップＳ１４）。この異物判定は、可視光画像、近赤外画像についてそれぞれ異物の判定を行って、結果を出力する（ステップＳ１５）。

【0029】

この異物判定は、可視光画像、近赤外画像のそれぞれについて、ニューラルネットワークで構成された異物判定手段１２があらかじめ学習した異物の、色彩、形状などの特徴量と比較することで、異物の判定が行われる。ここでは、異物について、可視光および近赤外光で十分な量の学習を行う、深層学習を行うことで、異物の判定を行っている。

【0030】

なお、異物の判定において、可視光画像からは、色彩の情報を抽出することができるが、どのような成分であり、被検査物とその材質が異なるかの情報を抽出することは難しい。逆に、近赤外画像からは、被検査物が含む成分と異物とがその材質がどのように異なるかの情報を抽出することができるが、色彩の情報を抽出することは難しい。しかし、異物判定手段１２では、可視光画像の色彩データと近赤外画像の成分データとの関係に基づいて異物が、例えば「赤い木綿糸」であるとか、「青いプラスチック製の糸」であるとかのとの推測が可能であり、近赤外画像、可視光画像のそれぞれに基づいて異物の判定はできる。

【0031】

（異物学習方法の説明）
異物の判定を行うについては、予め異物のサンプルを学習して、学習した異物の画像に基づいて、異物を判定する必要がある。この異物学習は、異物検査のための教師データの生成であり、異物サンプルを学習して教師データ生成し、この教師データに基づいて異物検査を行う。以下では、異物学習手段１１での異物の学習過程について説明する。
異物の学習は、複数種類の異物サンプルを搬送コンベアに載置して搬送し、その異物サンプルを近赤外光および可視光で撮像した画像に基づいて異物学習を行う。
異物としては、被検査物８を加工食品の原材料となる乾燥野菜としたときに、乾燥野菜に混入する可能性のある、樹脂類、糸類、木片、紙辺などを異物として想定し、その異物となるサンプルを乾燥野菜に混ぜて、搬送装置２に載置し、これを近赤外カメラ３、可視光カメラ５で撮像する。そして、撮像した画像を、処理装置１０のディスプレイ１３にそれぞれ、近赤外の画像、可視光の画像として、互いに並行に対応して表示する。そして、そこに表示される、異物サンプルの画像を異物であるとして、作業者がマーキングして指定し、指定された画像を異物として学習させる作業を繰り返す。

【0032】

（異物の学習の概要）
この学習過程を図３のフローチャートを参照して説明する。
異物の学習は、異物の種類ごとにそれぞれ行われる。
異物のサンプルとしては、化繊を含む赤い糸、化繊を含む白い糸、透明のビニール破片、黒いビニールテープ破片、ナイロンひも、結束バンド、金属片、透明なセロハンテープ、緑色のセロハン紙、青いゴム製の手袋などを準備し、被検査物の食品材料としては、乾燥野菜として葉物野菜である、キャベツ・ネギ・青菜などである。乾燥野菜の色は、可視光で、緑色、白色になる。

【0033】

学習では、まず、異物サンプルと乾燥野菜とをコンベアに載せて、学習する異物サンプルの種類を処理装置１０に入力する。この異物サンプルの種別については、あらかじめ、学習ソフトウェア側で、学習する異物サンプルの種別を例示して表示し、作業者が表示された異物の種類を選択指示するようにしてもよい。
作業者（学習の作業者）は、異物サンプルと乾燥野菜とをコンベアに載せ、学習する異物サンプルの種類を指定して、撮像の指示をする。
搬送装置２のコンベアに載せられた異物サンプルと乾燥野菜とは、近赤外カメラ４とカラーカメラ６とにより撮像され、その画像は、処理装置１０の学習手段１１に取り込まれる（ステップＳ２１、ステップＳ２２）。
学習手段１１は、取り込んだ近赤外画像と可視光画像とを、ディスプレイ１１に並べて表示する（ステップＳ２３）。このとき、取り込まれた近赤外画像と可視光画像とは、両者の位置が対応して表示されるように、同時に並列に並べられて表示される。すなわち、ディスプレイの画面上、左右に近赤外画像と可視光画像の画像位置（ベルトコンベアの搬送方向の位置）が一致するように表示され、取り込まれた異物サンプルと乾燥野菜の画像が対応して作業者に見えるように表示される。
作業者は、この左右の近赤外画像と可視光画像とを見ながら、異物サンプルの画像をマウス等のポインタを用いてマークして、異物サンプルであることを指定していく（ステップＳ２４）。
このマークによる指定によって、学習手段は、マークされた異物の画像の色、形等の特徴を抽出して、学習を行う。学習としては、ニューラルネットワークを用いた深層学習などを用いる。
そして、用意したすべての異物サンプルについて学習させ、すべてのサンプルについて学習させると、学習過程は終了する（ステップＳ２５）。
異物サンプルとして、乾燥野菜に混入するおそれのある異物として、上述の異物を用意し、異物ごとに、それぞれ、３０個以上マーキングして、学習させる。

【0034】

（異物ごとの学習の実際）
以下異物学習の一例として、「ポリエチレンひも」、「透明なビニール」、「緑色のセロハン紙」の例で説明する。
（赤いポリエチレンのひもの例）
図４は、異物サンプルとして、赤いポリエチレンのひものサンプル（ひもの破片）が乾燥野菜としてキャペツの葉片と共に撮像して学習させる例である。
処理装置１０のディスプレイ１３には、被検査物の製品名として「キャベツ」が表示されている。また、異物の種類の表示欄が設けられており、表示された異物サンプルの種別の欄を参考にして、学習する異物の種類を「ポリエチレンひも」として種別が表示される欄の下部のファイル作成欄に指定する。
近赤外画像と、可視光画像とが並べて表示されており、ポリエチレンひもは、材質が「キャベツ」と異なるため、近赤外画像で乾燥野菜の中から識別でき、また、色彩が「赤」であるため、可視光画像でも識別できる。作業者は、この表示された近赤外画像および可視光画像の中から、「赤いポリエチレンひも」のサンプルの画像をクリックしてマーキングし、異物であることを指定して、学習させる。マーキングを行うと、異物の周囲に四角の領域が表示される。図４の表示例では、近赤外画像と可視光画像のそれぞれ４カ所をマーキングされている。マーキングすると、画像一覧の欄に、画像名としてマーキングした「ポリエチレンひも」の画像が登録されたことが表示される。画像をスクロールしながら、撮像された乾燥野菜の中から、「ポリエチレンひも」の画像をマーキングして、「ポリエチレンひも」を学習させる。
なお、このとき、異物（サンプル）の色も指定できるように、異物の種類名と異物の色をディスプレイに表示することができる。
「ポリエチレンひも」は、樹脂製で天然素材ではないので、近赤外光での検出が可能であり、また、色が「赤」であるため、可視光での検出も可能である。
なお、画面上の近赤外画像と可視光画像の表示の上部に見られる矩形の画像は、異物学習の際に搬送路２の上面に置かれる白い樹脂製のマーカーの画像である。

【0035】

（透明なプラスチックの異物の学習）
次に、図５は、透明なビニールの破片が混在した例である。この場合、異物はプラスチックのビニールであることから、近赤外光では乾燥野菜とは異なる吸光率をもつので、近赤外画像で異物として判定することができる。一方、可視光では、透過して無色となるので、可視光では異物として識別できない。
したがって、異物の種類をビニールとして指定し、異物のサンプルの撮像画像を近赤外光、可視光で表示したとき、可視光の画像では、異物として指定することはできない。しかし、近赤外光では異物として視認できるので、近赤外光の画像中で、透明なビニールの破片の画像を異物としてマーキングすることで、ビニールの異物を学習できる。

【0036】

次に、図６は、異物サンプルとして、化繊を含む赤いひもを異物として乾燥野菜に乾燥野菜に混在させてと撮像した例である。
化繊は、素材が天然素材でないため、近赤外光のλ１、λ２の吸光率の乾燥野菜との差が大きく、近赤外光で撮像した乾燥野菜の画像の中から、容易に識別することができる。また、赤いひもは、可視光で撮像した画像の中では、白色あるいは緑色の乾燥野菜の中で、色違いであるから、その識別は、容易である。
このとき、近赤外光で撮像した近赤外画像の中と、可視光で撮像した可視光画像の中から、赤い糸状のひもをマーキングすることで、赤いひもを異物として学習することができる。

【0037】

（天然素材の異物の学習）
（緑のセロハン紙）
図７は、素材が天然素材で、色が「緑色」のセロハン紙のサンプルを異物として学習させる画面を示す。
この場合、「緑色」のセロハン紙は、天然素材であるが染料等が練りこまれているため、近赤外画像の吸光率の差は少ないが撮像できるものがある。また、可視光画像では、色は、乾燥野菜のキャベツと同系色であるので、撮像できるがマーキングすると過検出する。しかし、色ではなく近赤外光画像は、反射角度によって、吸光されて視認できる画像がある。そこで、「緑色」のセロハン紙のサンプルについては、近赤外光画像の可視光画像の位置の画像で異物の形状が視認できる場合は、異物としてマーキングし、可視光画像については、異物としてマーキングしないで学習させる。
これは、近赤外画像で、吸光率が乾燥野菜と類似であるかもしれないが、近赤外画像のデータで可能な限り、異物として学習することを意味する。
なお、天然素材で透明なセロハンテープについても同様である。

【0038】

上述の具体的な異物サンプルについての学習過程を説明するフローチャートを図８に示す。まず、異物サンプルが被検査物と同じ素材(天然素材)であるか、否かを判別する(ステップＳ３１)。異物サンプルが、プラスチックなどの天然素材でないときは、近赤外画像で識別できるので、近赤外画像で異物サンプルをマーキングして学習させる(ステップS３２)。このとき、異物サンプルと色が違うときは、可視光画像もマーキングできる。異物サンプルが、天然素材である場合には、被検査物と近い色であるか否かにより学習過程が異なる(ステップＳ３３)。被検査物とは近い色ではない場合は、可視光画像で識別できるので、可視光画像で異物サンプルをマーキングして学習させる(ステップＳ３4)。被検査物と近い色の場合には、可視光画像ではマーキングせずに、近赤外画像で視認できる場合にマーキングして学習させる(ステップＳ３５)。
なお、上述の判定において、近い色であるか否かは、測色計を用いて、被検査物との色差の値を計測して、その色差により、自動的に学習過程を分岐することが可能である。

【0039】

（可視光画像でマーキングしないでおく作用効果）
被検査物の乾燥野菜と同じ天然素材で、色彩が乾燥野菜に似たセロハン紙は、色で乾燥野菜と同じ色であると判別ができない。しかし、近赤外画像で、セロハン紙の反射を検出できるので、可視光画像で異物として学習させるのではなく、近赤外画像で異物として学習させておくと、近赤外画像で異物として検出するが可視光画像で色彩と形状が似た乾燥野菜を異物として過剰に検出することはなくなる。
このように、被検査物とその素材の材質が似ており、近赤外光の「吸光率」による差が無い「異物サンプル」であって、被検査物の色彩と近い色を有する「異物サンプル」については、可視光画像上で異物として視認される位置に対応する近赤外画像上の位置の画像で異物として視認できるものを異物として指定して学習させている。このため、可視光画像では異物であるとはされないが、近赤外画像では、異物として判定されるので、近赤外画像、近赤外画像のそれぞれで、異物判定を行うと、過剰に異物を検出する現象を低減することができる。これにより、生産の滞り、廃棄物の増大によるコストへの波及を低減することが可能である。

【0040】

上記の例では、被検査物と異物サンプルとの色が近い色を、色空間(Ｌ*ａ*ｂ*)）の色差ΔＥの値として「７０以下」として学習させたが、同程度の色差に相当する、他の色空間の色差を用いることもできる。

【0041】

（変形例の説明）
（深層学習と非深層学習との組み合わせ）
以上述べた実施の形態は、異物検査装置１の処理装置１０は、予め異物サンプルを近赤外光および可視光で撮像して、深層学習を行って、異物判定を行うものであったが、被検査物に対する異物判定において、異物サンプルの深層学習を行って異物判定をする異物検査と、異物サンプルの深層学習を行わずに異物判定をする異物検査とを組み合わせる異物検査が可能である。

【0042】

図９は、そのような異物検査装置の構成を示すものである。異物検査装置１の処理装置１０の異物判定手段１２として、予め学習手段１２により、異物サンプルでの深層学習を行ったＤＬ異物判定Ｄ１２１、深層学習をせずに異物判定を行う非ＤＬ異物判定１２２とを備える。
ＤＬ異物判定１２１は、図１から図８の実施の形態で説明した異物サンプルによって深層学習を施された異物判定手段である。非ＤＬ異物判定１２２は、深層学習によって異物サンプルの学習をしない異物判定手段であり、近赤外カメラ４、可視光カメラ６によって撮像した被検査物の画像データに基づいて異物判定を行い、ＤＬ異物判定１２１、非ＤＬ異物判定１２２は、それぞれ異物判定の結果を出力することができる。

【0043】

ここで、予め深層学習によって異物を学習していない非ＤＬ異物判定１２２は、近赤外カメラ４と可視光カメラ６で撮像した被検査物の画像データから、可視光による被検査物の色、形状、近赤外光による被検査物の材質のデータから、被検査物が乾燥野菜の場合、乾燥野菜から異物を判定する。
例えば、天然素材の糸が異物であったとき、深層学習した近赤外画像では異物と判定することは難しいが、糸を深層学習した可視光画像では異物の判定は可能である。一方、深層学習をしていない可視光画像では、糸を学習していないので、糸の識別は難しい。このため、深層学習をした可視光画像での異物判定を用いれば、異物として糸が混在しているとの異物検出の信号を出力できる。

【0044】

また、異物が白い綿糸であって、被検査物が白いキャベツであった場合、可視光画像では、可視光カメラで撮像したどちらの画像でもキャベツと同じ色であるため、異物の検出は難しい。しかし、深層学習において、異物サンプルの学習において、可視光画像に対応する近赤外画像では、利用者が異物学習において、異物であるとしてマーキングして、近赤外画像においても異物として指定しているので、被検査物に異物が混入していても、深層学習をした異物検査装置で、異物を検出したとの情報が出力できる。

【0045】

深層学習による深層学習をした異物判定と、深層学習をしない異物判定の両方で、異物を検出したとの判定がされた場合は、被検査物の搬送を一旦止める措置を行う、また、一方のみで、異物を検出したとの判定がされた場合は、異物排出手段を用いて、当該異物と判定された領域の被検査物を排出するとの措置をとることができる。深層学習をしない異物判定に、検出条件の設定により、どちらかというと、過検出を行う傾向があったとしても、異物検出の結果に対する対応にランク付けをすれば、異物検出に対して生産工程を止めないなどの適切な対応が可能である。
これにより、異物判定の程度についてランクを設けて、被検査物に混入している異物に対する処置の程度を設定することができる。

【0046】

（他の変形例の説明）
図８に示した学習過程は、作業者が行うこともできるし、その処理を、一部または全部を処理装置１０が実行することもできる。処理装置１０が行う場合、異物かどうかの判断は、例えば、素材や色以外の特徴（例えば、形）、場所、特徴量の組み合わせを利用して行うことができる。
上述の異物検査装置１として、近赤外照明装置３、可視光照明装置５をそれぞれ備え、近赤外カメラ４、可視光カメラ６とは別々の位置に設けた例で説明したが、近赤外カメラ４、可視光カメラ６は、同一の光路から分光した構成とし、近赤外光および可視光を照射する光源を一つとした構成でもよい。この場合は、近赤外画像と可視光画像と撮像位置が同じになるので、近赤外画像と可視光画像の領域が一致するように、調整処理を行う処理をする必要はなくなる。
異物のサンプルの種類は、上述の例に限られるものではない。また、上述の実施の形態の説明としては、食品材料として、乾燥野菜を例にとって説明したが、これに限られるものではない。例えば、コーヒー豆や、豆類に混入している異物を検出したり、被検査物に含まれている成分とは異なる成分のものが含まれているか否かを判別することもできる。

【0047】

上述の実施の形態では、処理装置１０は、異物の学習を行う異物学習手段１２と異物の判定を行う異物判定手段１３とを持ち、異物検査を行う処理装置と、異物の学習を行う処理装置は一つのものとして説明しているが、異物検査を行う異物検査装置と、異物の学習を行う異物学習装置とは別のものとしてもよい。例えば、異物検査装置と異物学習装置の上位に、サーバーを備え、サーバーに異物学習装置で学習した異物検出のためのソフトウェアおよび記憶を置き、上位のサーバーに接続された異物検査装置で被検査物の異物検査を行うようにしてもよい。異物学習装置と異物検査装置とを分離することで、食品生産過程において、複数の異物検査装置を並行に使用して、食品加工を実行できる効果がある。

【0048】

なお、本発明の範囲は、図示され記載された例示的な実施形態に限定されるのではなく、本発明が目的とするものと均等な効果をもたらす全ての実施形態をも含む。さらに、本発明の範囲は、すべての開示されたそれぞれの特徴のうち特定の特徴のあらゆる所望する組み合わせによって画され得る。

【符号の説明】

【0049】

１ 異物検査装置
２ 搬送装置
２ａ ローラ
２ｂ 無端ベルト
３ 近赤外光照射装置
４ 近赤外カメラ
５ 可視光照射装置
６ 可視光カメラ
８ 被検査物
１０ 処理装置
１１ 学習手段
１２ 異物判定手段
１３ ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】