特開2024-160730教師データ生成方法、異物検査装置、異物検査方法、および異物検出プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160730
(43)【公開日】2024-11-15
(54)【発明の名称】教師データ生成方法、異物検査装置、異物検査方法、および異物検出プログラム
(51)【国際特許分類】
G01N 21/85 20060101AFI20241108BHJP
【ＦＩ】
G01N21/85 A
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023075954
(22)【出願日】2023-05-02
(11)【特許番号】
(45)【特許公報発行日】2024-06-12
(71)【出願人】
【識別番号】594169215
【氏名又は名称】株式会社カナヤ食品
(74)【代理人】
【識別番号】100141106
【弁理士】
【氏名又は名称】池田 清志
(72)【発明者】
【氏名】▲座▼古 裕久
【テーマコード（参考）】
2G051
【Ｆターム（参考）】
2G051AA01
2G051AB01
2G051BA06
2G051BA20
2G051CA03
2G051CB01
2G051EA17
2G051EB05
(57)【要約】
【課題】適切に異物を検出する。
【解決手段】予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、学習させる異物サンプルを撮像し、撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、異物指定ステップは、可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、分割された領域のうち被検査物８の領域以外であって、ＲＧＢ色空間における被検査物８との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する。
【選択図】 図５
【解決手段】予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、学習させる異物サンプルを撮像し、撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、異物指定ステップは、可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、分割された領域のうち被検査物８の領域以外であって、ＲＧＢ色空間における被検査物８との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する。
【選択図】 図５
【特許請求の範囲】
【請求項1】
予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
【請求項2】
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する請求項１記載の教師データ生成方法。
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する請求項１記載の教師データ生成方法。
【請求項3】
前記色差閾値は、前記被検査物の色空間における色のバラツキの幅が広いほど高くなるように設定された
ことを特徴する請求項１記載の教師データ生成方法。
ことを特徴する請求項１記載の教師データ生成方法。
【請求項4】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
【請求項5】
前記異物判定手段は、
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする請求項４記載の異物検査装置。
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする請求項４記載の異物検査装置。
【請求項6】
予め複数の異物サンプルを可視光および近赤外光で撮像し、撮像された異物サンプルの可視光画像および近赤外画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
【請求項7】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像および近赤外光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像および近赤外光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
【請求項8】
前記異物判定手段は、
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
【請求項9】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
【請求項10】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査装置が実行するための異物検出プログラムであって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、適切に異物を検出する教師データ生成方法、異物検査装置、異物検査方法、および異物検出プログラムに関する。
【背景技術】
【0002】
従来、食品加工の分野においては、食品安全等のため、食品材料に混入した異物を検出して取り除くことが求められている。
【0003】
例えば、特許文献１には、可視光カメラおよび近赤外カメラで食品材料を撮像し、可視光画像及び近赤外画像それぞれに含まれる可視光波長成分及び近赤外波長成分毎の撮像画像である周波数成分画像を作成し、生成した複数の周波数成分画像から互いの関係性を考慮して画像特徴量を抽出し、画像特徴量に基づき被検査物の品質及び被検査物とは異なる物体の存在等を解析する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０２０－５１９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、可視光カメラで食品材料を撮像し、画像特徴量に基づき被検査物の品質及び被検査物とは異なる物体の存在等を解析するが、異物自体を撮像し、除外すべき異物を指定し学習していないので、適切に異物を検出することが困難であった。
【0006】
ここで、異物は毛髪、樹脂、ビニール、ゴム、紙など様々なものが想定でき、このような異物は様々な色を有している。特に検査対象物と異なる色を有する異物を適切に除去する必要があるが、特許文献１の技術では、検査対象物と異なる色を有する異物を学習していないので、異物を検出する精度を向上させることが困難であった。
【0007】
本発明は、上記問題点に鑑みてなされたものであり、適切に異物を検出する教師データ生成方法、異物検査装置、異物検査方法、および異物検出プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
上記目的を解決するため、本発明に係る教師データ生成方法の第１の特徴は、
予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする。
予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする。
【発明の効果】
【0009】
本発明に係る教師データ生成方法、異物検査装置、異物検査方法、および異物検出プログラムによれば、適切に異物を検出することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の実施例１に係る異物検査装置の一例を示す構成図である。
【図2】本発明の実施例１に係る異物検査装置の処理装置における設定処理の処理内容を示したフローチャートである。
【図3】本発明の実施例１に係る異物検査装置の処理装置における可視光画像の学習処理の処理内容を示したフローチャートである。
【図4】色領域を説明した説明図である。
【図6】色領域を模式的に説明した説明図である。
【図7】本発明の実施例１に係る異物検査装置の処理装置における可視光画像の異物判定処理の処理内容を示したフローチャートである。
【図8】本発明の実施例２に係る異物検査装置の処理装置における可視光画像の学習処理の処理内容を示したフローチャートである。
【図9】本発明の実施例２に係る異物検査装置の処理装置における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。
【図10】本発明の実施例３に係る異物検査装置の処理装置における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0012】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0013】
＜実施例１＞
図１は、本発明の実施例１に係る異物検査装置の一例を示す構成図である。
異物検査装置１は、被検査物８を搬送する搬送装置２と、近赤外光照射装置３と、近赤外カメラ４と、可視光照明装置５と、可視光カメラ６と、コンピュータとを備えた処理装置１０とを備える。処理装置１０はディスプレイ１３や図示しない入力装置、記憶装置、ＣＰＵを備えている。処理装置１０は、機能構成として、異物の学習を行う学習手段１１、異物の判定を行う異物判定手段１２を備えている。
図１は、本発明の実施例１に係る異物検査装置の一例を示す構成図である。
異物検査装置１は、被検査物８を搬送する搬送装置２と、近赤外光照射装置３と、近赤外カメラ４と、可視光照明装置５と、可視光カメラ６と、コンピュータとを備えた処理装置１０とを備える。処理装置１０はディスプレイ１３や図示しない入力装置、記憶装置、ＣＰＵを備えている。処理装置１０は、機能構成として、異物の学習を行う学習手段１１、異物の判定を行う異物判定手段１２を備えている。
【0014】
搬送装置２は、被検査物８を特定方向に搬送する。図１では、図１中の矢印で示す方向に被検査物８を搬送する。
搬送装置２としては、ベルトコンベア、パレットコンベア等を適用することができる。図１では、搬送装置２として、互いに平行な二つのローラ２ａ間に無端ベルト２ｂをかけ渡し、被検査物８を無端ベルト２ｂの上面に載置して搬送するベルトコンベアを用いている。図１は、この無端ベルト２ｂの上面（搬送面）上に、被検査物として、食品材料である乾燥野菜を搬送する例を示している。
搬送装置２としては、ベルトコンベア、パレットコンベア等を適用することができる。図１では、搬送装置２として、互いに平行な二つのローラ２ａ間に無端ベルト２ｂをかけ渡し、被検査物８を無端ベルト２ｂの上面に載置して搬送するベルトコンベアを用いている。図１は、この無端ベルト２ｂの上面（搬送面）上に、被検査物として、食品材料である乾燥野菜を搬送する例を示している。
【0015】
近赤外光照射装置３は、無端ベルト２ｂの上方に配置され、無端ベルト２ｂの上面に向けて近赤外光を出射する。近赤外光照射装置３は、近赤外光により照射された領域が、被検査物８の搬送方向と平面視で直交する方向（以下、幅方向ともいう。）に延びる直線状の領域（以下、照射領域３ａという。）となるように、近赤外光を出射する。近赤外光照射装置３としては、ハロゲン照明装置やＬＥＤを適用することができる。照射領域３ａは、無端ベルト２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置２で搬送される被検査物８全てが照射領域３ａを通過することになり、その結果、搬送中の全ての被検査物８に対して近赤外光が照射されるようになっている。また、近赤外光照射装置３は、処理装置１０からの制御信号で指定されるタイミングで近赤外光の照射を行う。
【0016】
近赤外カメラ４は、無端ベルト２ｂの上面の直線状の照射領域３ａを撮影可能な位置に配置される。近赤外カメラ４は、照射領域３ａを撮影し、照射領域３ａを通過する被検査物８で反射された近赤外光及び、被検査物８と共に異物等が混在している場合にはこの異物等で反射された近赤外光も集光し、互いに異なる３つの波長λ０～λ２の成分（以下、波長成分λ０～λ２ともいう。）を検出し、これら３つの波長成分からなる撮像画像（以下、近赤外画像ともいう。）を処理装置１０に出力する。３つの波長λ０～λ２は、例えば、搬送中の被検査物８に混在する異物や、被検査物８の成分等、検出対象物の特性に応じて、異物や、検出対象の成分等を、検出することの可能な波長に設定される。近赤外カメラ４で検出する波長成分は、例えば、１２００ｎｍ以上１６００ｎｍ以下程度の波長に設定される。例えば、たんぱく、脂肪を検出したい場合は、１１８０～１２４０ｎｍを中心波長（λ０）とし、水分に関連する成分を検出したい場合には、１４００～１４６０ｎｍを中心波長（λ１）とし、他方、いずれにも吸収されにくい波長を、参照波長して１５００～１６２０ｎｍを中心波長（λ２）して設定すればよい。
近赤外カメラ４は、処理装置１０からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ４として、例えば、５１２画素程度のラインセンサカメラを用いることもできる。
近赤外カメラ４は、処理装置１０からの制御信号で指定されるタイミングで撮影を行う。近赤外カメラ４として、例えば、５１２画素程度のラインセンサカメラを用いることもできる。
【0017】
可視光照明装置５は、可視光により照射された領域が、被検査物８の搬送方向と平面視で直交する方向に延びる直線状の領域（以下、照射領域５ａという。）となるように、可視光を出射する。可視光照明装置５は、具体的には、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の３色の光を照射する。可視光照明装置５としては、例えば、白色ＬＥＤ照明装置を適用することができる。照射領域５ａは、無端ベルト２ｂの幅方向の一端から他端まで延びている。これにより、搬送装置２で搬送される被検査物８全てが照射領域５ａを通過することになり、その結果、搬送中の全ての被検査物８に対して可視光が照射されるようになっている。
【0018】
可視光カメラ６は、無端ベルト２ｂの上面の直線状の照射領域５ａを撮影可能な位置であり、且つ、近赤外カメラ４よりも搬送方向上流側であって、近赤外カメラ４と干渉しない位置に配置される。可視光カメラ６は、照射領域５ａを通過する被検査物８で反射された可視光及び、被検査物８と共に異物等が混在している場合にはこの異物等で反射された可視光も集光し、Ｒ、Ｇ、Ｂの３つの波長成分からなる撮像画像（以下、可視光画像ともいう。）を処理装置１０に出力する。また、可視光カメラ６は、処理装置１０からの制御信号で指定されるタイミングで撮影を行う。可視光カメラ６としては、例えば、２５６画素や４０９６画素程度のカラーラインセンサカメラを用いることもできる。
【0019】
処理装置１０は、学習手段１１と、異物判定手段１２とを備えている。
学習手段１１は、近赤外カメラ４からの近赤外波長成分としての波長成分λ０～λ２からなる近赤外画像と、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像と、異物を指定した結果とが関連付けられた教師データを生成し、この教師データに基づいて学習することにより学習モデルを生成する。
なお、学習手段１１は、必ずしも近赤外画像を用いる必要はなく、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像と、異物を指定した結果とが関連付けられた教師データを生成し、この教師データに基づいて学習することにより学習モデルを生成するようにしてもよい。
学習手段１１は、近赤外カメラ４からの近赤外波長成分としての波長成分λ０～λ２からなる近赤外画像と、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像と、異物を指定した結果とが関連付けられた教師データを生成し、この教師データに基づいて学習することにより学習モデルを生成する。
なお、学習手段１１は、必ずしも近赤外画像を用いる必要はなく、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像と、異物を指定した結果とが関連付けられた教師データを生成し、この教師データに基づいて学習することにより学習モデルを生成するようにしてもよい。
【0020】
異物判定手段１２は、近赤外カメラ４からの近赤外波長成分としての波長成分λ０～λ２からなる近赤外画像と、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像とを入力し、これらに基づいて学習手段１１により学習した学習モデルを用いて解析処理を実行し、異物の有無等を判定する。
なお、異物判定手段１２は、必ずしも近赤外画像を用いる必要はなく、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像とを入力し、可視光画像に基づき、学習手段１１により学習した学習モデルを用いて解析処理を実行し、異物の有無等を判定するようにしてもよい。
なお、異物判定手段１２は、必ずしも近赤外画像を用いる必要はなく、可視光カメラ６からの可視光波長成分としての波長成分Ｒ、Ｇ、Ｂからなる可視光画像とを入力し、可視光画像に基づき、学習手段１１により学習した学習モデルを用いて解析処理を実行し、異物の有無等を判定するようにしてもよい。
【0021】
また、処理装置１０は、搬送装置２の搬送速度と、照射領域３ａの位置と、照射領域５ａの位置等をもとに、被検査物８が照射領域３ａ及び照射領域５ａを通過するタイミングで、照射領域３ａ、５ａ内の被検査物８を撮影するように、近赤外カメラ４及び可視光カメラ６それぞれの撮影タイミングを決定し、撮影タイミングを指定する制御信号を近赤外カメラ４及び可視光カメラ６に出力する。また、近赤外カメラ４及び可視光カメラ６の撮影タイミングで照射領域３ａ、５ａに対して光照射を行うように、近赤外光照射装置３及び可視光照明装置５に制御信号を出力する。
【0022】
例えば、図１の場合には、被検査物８が連続して搬送されるため、搬送中の全ての被検査物８が近赤外カメラ４及び可視光カメラ６のそれぞれによって撮影されるように定周期で撮影する。このとき、近赤外カメラ４及び可視光カメラ６による前後の撮影タイミングにおける撮像画像が重複するように撮影してもよい。このように前後の撮像画像が一部で重複するように撮影タイミングを設定することによって、前後の撮影タイミングの間で、撮影されない被検査物８が存在することを回避することが好ましい。
【0023】
（設定処理の説明）
図２は、本発明の実施例１に係る異物検査装置の処理装置１０における設定処理の処理内容を示したフローチャートである。処理装置１０は、被検査物８を適切に検査するため各種設定を予め入力しておく。
図２は、本発明の実施例１に係る異物検査装置の処理装置１０における設定処理の処理内容を示したフローチャートである。処理装置１０は、被検査物８を適切に検査するため各種設定を予め入力しておく。
【0024】
図２に示すように、ステップＳ１１において、可視光カメラ６により撮像された被検査物８の可視光画像が入力され、ユーザが入力装置から被検査物８の名称、色、形状、波長など被検査物８の属性情報を入力する。
【0025】
ステップＳ１３において、ユーザが入力装置から色差閾値を入力する。色差閾値は、後述する異物を指定する処理において用いられる値であり、例えば、L*a*b*色空間における色差閾値として、「７０」として入力することが可能である。L*a*b*色空間における色差閾値が入力された場合には、ＲＧＢ色空間に変換され設定される。なお、色差閾値は、ＲＧＢ色空間における値として入力されてもよい。また、色差閾値は、被検査物８の色に応じて設定するようにしてもよい。その際、色差閾値は、被検査物８のＲＧＢ色空間における色のバラツキの幅が広いほど高くなるように設定するようにしてもよい。これにより、被検査物８のＲＧＢ色空間における色のバラツキの幅が広いほど被検査物８からより離れた色の異物サンプルを異物として指定することができ、過検出を防止することができる。
【0026】
ステップＳ１５において、ユーザが入力装置から領域の分割数Ｎを入力する。または、予めユーザ入力に基づいて生成された色領域の設定ファイルを読み込むようにしてもよい。後述するように、デフォルトでは、ＲＧＢ色空間におけるＲＧＢそれぞれを色基準として３つの領域に分割されている。ここでは、さらに、領域を分割するために、分割数Ｎを入力する。例えば、分割数Ｎが「１」である場合、デフォルトの３領域に色分割することになり、色領域数Ｍは「３」となる。また、分割数Ｎが「２」である場合、色領域数Ｍは「６」、すなわち、デフォルトの３領域に分割数Ｎを乗算した６つの領域に色分割することとなる。
【0027】
ステップＳ１７において、処理装置１０は、入力された可視光画像と、被検査物８の属性情報と、色差閾値と、色領域とを関連付けて、被検査体情報として記憶装置に記憶する。
【0028】
なお、ステップＳ１５における領域の分割数Ｎについて、ユーザが入力する、または予めユーザ入力に基づいて生成された色領域の設定ファイルを読み込むこととしたが、これに限らない。例えば、領域の分割数Ｎを設定することなく、ユーザが入力装置から、ＲＧＢを色基準としてＲＧＢ色空間を３以上に分割するように色領域を入力し、入力された色領域が設定されるようにしてもよい。
【0029】
（可視光画像の学習処理）
図３は、本発明の実施例１に係る異物検査装置の処理装置１０における可視光画像の学習処理の処理内容を示したフローチャートである。
図３に示すように、ステップＳ１０１において、学習手段１１は、入力装置へのユーザ入力に基づいて、被検査物８を指定する。例えば、被検査物８として「キャベツ」が指定された場合、この学習処理では、キャベツに対して赤い糸や青いゴムなど異物を確実に検出するために、キャベツの色と極力異なる（ＲＧＢ色空間において距離の遠い）色を有する異物サンプルを搬送装置２で搬送させる。このとき、異物サンプルは、赤い糸や青いゴムなどであってもよいし、赤や青などのカラーパターンであってもよい。
図３は、本発明の実施例１に係る異物検査装置の処理装置１０における可視光画像の学習処理の処理内容を示したフローチャートである。
図３に示すように、ステップＳ１０１において、学習手段１１は、入力装置へのユーザ入力に基づいて、被検査物８を指定する。例えば、被検査物８として「キャベツ」が指定された場合、この学習処理では、キャベツに対して赤い糸や青いゴムなど異物を確実に検出するために、キャベツの色と極力異なる（ＲＧＢ色空間において距離の遠い）色を有する異物サンプルを搬送装置２で搬送させる。このとき、異物サンプルは、赤い糸や青いゴムなどであってもよいし、赤や青などのカラーパターンであってもよい。
【0030】
ステップＳ１０３において、学習手段１１は、カウンタｉを初期化して“１”を代入する。
【0031】
ステップＳ１０５において、可視光カメラ６が、搬送装置２により搬送された異物サンプルを撮像する。
【0032】
ステップＳ１０７において、学習手段１１は、ステップＳ１０１で指定された被検査物８と、ステップＳ１０３において撮像された可視光画像に含まれる異物サンプルとの、ＲＧＢ色空間における色差を算出する。
【0033】
ステップＳ１０９において、学習手段１１は、ディスプレイ１３に、ステップＳ１０３において撮像された可視光画像を表示させる。
【0034】
ステップＳ１２３において、学習手段１１は、撮像された異物サンプルの色が、色基準に基づいて分割された領域のうち、被検査物８の色領域または既に指定済みの色領域に含まれるか否かを判定する。ここで色基準とは、ＲＧＢ色空間におけるＲ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）の３色それぞれが色基準として予め設定されている。なお、ここでは、ＲＧＢ色空間は、Ｒ（０～２５５）、Ｇ（０～２５５）、Ｂ（０～２５５）の階調で表現される空間とする。
【0035】
撮像された異物サンプルの色が、被検査物８の色領域または既に指定済みの色領域に含まれると判定された場合（ステップＳ１２３；ＹＥＳ）、指定されていない色領域について異物を指定する必要がある。
【0036】
そこで、ステップＳ１２５において、学習手段１１は、指摘されていない色領域を推奨する。例えば、学習手段１１は、ディスプレイ１３に、「撮像された異物サンプルは既に指定済みです。他の異物サンプルを読み込ませてください。」などのメッセージを表示させる。なお、ここでは、指摘されていない色領域を推奨し異物として指定していないが、被検査物８の色領域以外であれば、同じ色領域に複数の異物を指定するようにしてもよいので、指摘されていない色領域を推奨した上で異物として指定するようにしてもよい。
【0037】
ステップＳ１３５において、学習手段１１は、カウンタｉをインクリメントし、処理をステップＳ１０５へ移行させる。
一方、撮像された異物サンプルの色が、被検査物８の色領域以外であり、かつ既に指定済みの色領域に含まれないと判定された場合（ステップＳ１２３；ＮＯ）、ステップＳ１２７において、学習手段１１は、撮像された異物サンプルの色を異物として指定する。
一方、撮像された異物サンプルの色が、被検査物８の色領域以外であり、かつ既に指定済みの色領域に含まれないと判定された場合（ステップＳ１２３；ＮＯ）、ステップＳ１２７において、学習手段１１は、撮像された異物サンプルの色を異物として指定する。
【0038】
ステップＳ１２９において、学習手段１１は、カウンタｉは、色領域数Ｍ以上か否かを判定する。ここで、色領域数Ｍは、上述したように、デフォルトの分割数「３」に入力された分割数Ｎを乗算された値、またはユーザによりＲＧＢを色基準としてＲＧＢ色空間が領域分割された領域の数となる。
【0039】
ステップＳ１３１において、学習手段１１は、色差が色差閾値範囲内の異物を削除する。これにより、被検査物８と色の近い異物を異物サンプルの対象から除外することができる。
なお、ここでは、学習手段１１は、ステップＳ１２７において異物として指定したうち、色差が色差閾値範囲内の異物を削除したが、これに限らない。例えば、指定されていない色領域であって、被検査物８とＲＧＢ色空間における色差が色差閾値を超えた領域にある異物サンプルを異物として指定するようにしてもよい。また、ここでは、異物サンプルを１つずつ撮像し、異物指定の処理を実行するようにしたが、これに限らず、複数の異物サンプルを同時に撮像し、それぞれの画像について異物指定の処理を実行するようにしてもよい。
なお、ここでは、学習手段１１は、ステップＳ１２７において異物として指定したうち、色差が色差閾値範囲内の異物を削除したが、これに限らない。例えば、指定されていない色領域であって、被検査物８とＲＧＢ色空間における色差が色差閾値を超えた領域にある異物サンプルを異物として指定するようにしてもよい。また、ここでは、異物サンプルを１つずつ撮像し、異物指定の処理を実行するようにしたが、これに限らず、複数の異物サンプルを同時に撮像し、それぞれの画像について異物指定の処理を実行するようにしてもよい。
【0040】
図４は、色領域を説明した説明図である。ここでは、分割数Ｎが「１」、すなわち３つの色領域に分割した場合を示している。
【0041】
図４に示すように、Ｐ（０，０，０）を原点として、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）のＲＧＢ３次元空間として表すことができる。
【0042】
分割数Ｎが「１」である場合、色領域数Ｍは「３」となり、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）を色基準としてデフォルトの３領域に色分割することになる。
【0043】
図４に示した例では、Ｐ０（０，０，０），Ｐ１（０，２５５，２５５），Ｐ４（２５５，２５５，２５５），Ｐ３（２５５，０，２５５），Ｂ（０，０，２５５）で囲まれた色領域Ａ１０１と、Ｐ０（０，０，０），Ｐ３（２５５，０，２５５），Ｐ４（２５５，２５５，２５５），Ｐ２（２５５，２５５，０），Ｒ（２５５，０，０）で囲まれた色領域Ａ１０２と、Ｐ０（０，０，０），Ｐ１（０，２５５，２５５），Ｐ４（２５５，２５５，２５５），Ｐ２（２５５，２５５，０），Ｇ（０，２５５，０）で囲まれた色領域Ａ１０３との３つの色領域に分割されることとなる。
【0044】
図５は、図４に示したＲＧＢ色空間を説明のために、模式的に平面で示した図である。
図５に示すように、円の中心をＰ０（０，０，０）とし、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）をそれぞれ円周上に１２０（度）の間隔で示している。なお、ここでは、Ｐ（０，０，０）を原点として、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）のＲＧＢ３次元空間を２次元として模式的に表し説明したが、色相を順序立てて円環にして配置した色相環を用いてもよい。
図５に示すように、円の中心をＰ０（０，０，０）とし、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）をそれぞれ円周上に１２０（度）の間隔で示している。なお、ここでは、Ｐ（０，０，０）を原点として、Ｒ（２５５，０，０）、Ｇ（０，２５５，０）、Ｂ（０，０，２５５）のＲＧＢ３次元空間を２次元として模式的に表し説明したが、色相を順序立てて円環にして配置した色相環を用いてもよい。
【0045】
色領域は、色基準に基づいて分割されているので、Ｂ（０，０，２５５）を色基準としてＶ１０１，Ｐ０，Ｖ１０２で囲まれた色領域をＡ１０１とし、Ｒ（２５５，０，０）を色基準としてＶ１０２，Ｐ０，Ｖ１０３で囲まれた色領域をＡ１０２とし、Ｇ（０，２５５，０）を色基準としてＶ１０３，Ｐ０，Ｖ１０１で囲まれた色領域をＡ１０３として説明する。
【0046】
図５において、被検査物８の色をＱ１００とすると、色領域Ａ１０１～Ａ１０３のうち、被検査物Ｑ１００を含む色領域は、色領域Ａ１０３であるので、学習手段１１は、色基準Ｇ（０，２５５，０）に基づいた色領域Ａ１０３を対象外とする。
【0047】
ここで、色差が色差閾値範囲内の色基準とは、Ｑ１００に基づいて色差閾値Ｔｈ１で定められる範囲内である。色差閾値Ｔｈ１は、図２に示したフローチャートのステップＳ１３で入力された色差閾値が用いられる。ここでは、例えば、L*a*b*色空間における色差閾値の「７０」に相当する色差閾値Ｔｈ１を角度と捉えて、Ｑ１００を円周方向中心に含む色差閾値Ｔｈ１が示す範囲である中心Ｐ０（０，０，０）を通る直線Ｘ１０１と直線Ｘ１０２で挟まれた領域をＱ１００に基づいて色差閾値Ｔｈ１で定められる範囲とする。
【0048】
そこで、学習手段１１は、色基準Ｇ（０，２５５，０）に基づいた色領域Ａ１０３を削除し、かつ、ＲＧＢ色空間における被検査物８との色差が色差閾値Ｔｈ１以内の色領域にある異物を削除する。これにより、学習手段１１は、可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として色領域Ａ１０１～Ａ１０３に分割し、分割された色領域Ａ１０１～Ａ１０３のうち被検査物８の領域以外である色領域Ａ１０１～Ａ１０２であって、ＲＧＢ色空間における被検査物８との色差が色差閾値Ｔｈ１を超えた領域にある異物サンプルを異物として指定することができる。
【0049】
なお、色差閾値Ｔｈ１は、例えば、L*a*b*色空間における色差閾値の「７０」に相当する色差閾値Ｔｈ１をＱ１００からの距離と捉えて、Ｑ１００を中心に含む色差閾値Ｔｈ１を半径とする領域Ｃ１０１をＱ１００に基づいて色差閾値Ｔｈ１で定められる範囲としてもよい。この場合、色領域Ａ１０１～Ａ１０２のうち、領域Ｃ１０１の外側の部分にある異物サンプルが異物として指定される。
【0050】
図３に戻り、ステップＳ１３３において、学習手段１１は、指定された異物の画像の色を抽出して、教師データとして学習する。学習としては、ニューラルネットワークを用いた深層学習などを用い、この学習により学習モデルが生成される。
【0051】
図５に示した例では、学習手段１１は、色領域Ａ１０３に存在している異物Ｑ１０１は学習の対象外とし、異物Ｑ１０２は、色領域Ａ１０２に存在しているので学習の対象とする。
【0052】
図６は、色領域を模式的に説明した説明図である。ここでは、分割数Ｎが「２」、すなわち６つの色領域に分割した場合を示している。
図６に示すように、円の中心をＰ０（０，０，０）とし、Ｒ（２５５，０，０）、Ｐ２（２５５，２５５，０）、Ｇ（０，２５５，０）、Ｐ１（０，２５５，２５５）、Ｂ（０，０，２５５）、Ｐ３（２５５，０，２５５）をそれぞれ円周上に６０（度）の間隔で示している。
図６に示すように、円の中心をＰ０（０，０，０）とし、Ｒ（２５５，０，０）、Ｐ２（２５５，２５５，０）、Ｇ（０，２５５，０）、Ｐ１（０，２５５，２５５）、Ｂ（０，０，２５５）、Ｐ３（２５５，０，２５５）をそれぞれ円周上に６０（度）の間隔で示している。
【0053】
色領域は、色基準に基づいて分割されているので、Ｂ（０，０，２５５）を色基準としてＶ２０１，Ｐ０，Ｖ２０２で囲まれた色領域をＡ２０１とし、Ｐ３（２５５，０，２５５）を色基準としてＶ２０２，Ｐ０，Ｖ２０３で囲まれた色領域をＡ２０２とし、Ｒ（２５５，０，０）を色基準としてＶ２０３，Ｐ０，Ｖ２０４で囲まれた色領域をＡ２０３とし、Ｐ２（２５５，２５５，０）を色基準としてＶ２０４，Ｐ０，Ｖ２０５で囲まれた色領域をＡ２０４とし、Ｇ（０，２５５，０）を色基準としてＶ２０５，Ｐ０，Ｖ２０６で囲まれた色領域をＡ２０５とし、Ｐ１（０，２５５，２５５）を色基準としてＶ２０６，Ｐ０，Ｖ２０１で囲まれた色領域をＡ２０６として説明する。
【0054】
図６において、図５と同様に、被検査物８の色をＱ１００とすると、色領域Ａ２０１～Ａ２０６のうち、被検査物Ｑ１００を含む色領域は、色領域Ａ２０５であるので、学習手段１１は、色基準Ｇ（０，２５５，０）に基づいた色領域Ａ２０５を対象外とする。
【0055】
ここで、色差が色差閾値範囲内の色基準とは、Ｑ１００に基づいて色差閾値Ｔｈ１で定められる範囲内である。色差閾値Ｔｈ１は、図２に示したフローチャートのステップＳ１３で入力された色差閾値が用いられる。ここでは、L*a*b*色空間における色差閾値の「７０」に相当する色差閾値Ｔｈ１を角度と捉えて、Ｑ１００を円周方向中心に含む色差閾値Ｔｈ１が示す範囲である中心Ｐ０（０，０，０）を通る直線Ｘ１０１と直線Ｘ１０２で挟まれた領域をＱ１００に基づいて色差閾値Ｔｈ１で定められる範囲とする。
【0056】
そこで、学習手段１１は、色基準Ｇ（０，２５５，０）に基づいた色領域Ａ２０５を削除し、かつ、ＲＧＢ色空間における被検査物８との色差が色差閾値Ｔｈ１以内の色領域にある異物を削除する。これにより、学習手段１１は、可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として色領域Ａ２０１～Ａ１０６に分割し、分割された色領域Ａ２０１～Ａ２０６のうち被検査物８の領域以外である色領域Ａ２０１～Ａ２０４，Ａ２０６であって、ＲＧＢ色空間における被検査物８との色差が色差閾値Ｔｈ１を超えた領域にある異物サンプルを異物として指定することができる。
【0057】
（可視光画像の異物判定処理）
図７は、本発明の実施例１に係る異物検査装置の処理装置１０における可視光画像の異物判定処理の処理内容を示したフローチャートである。
図７に示すように、ステップＳ２０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
図７は、本発明の実施例１に係る異物検査装置の処理装置１０における可視光画像の異物判定処理の処理内容を示したフローチャートである。
図７に示すように、ステップＳ２０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
【0058】
ステップＳ２０３において、可視光カメラ６が、搬送装置２により搬送された検査対象物を撮像する。
【0059】
ステップＳ２０７において、異物判定手段１２は、予め学習手段１１により学習した学習モデルを用いて取得した可視光画像に写された検査対象物が異物か否かを判定する。
異物であると判定された場合（ステップＳ２０７；ＹＥＳ）、ステップＳ２０９において、異物判定手段１２は、ディスプレイ１３に、異物である旨を報知する。
一方、異物ではないと判定された場合（ステップＳ２０７；ＮＯ）、ステップＳ２１１において、異物判定手段１２は、ディスプレイ１３に、異物ではない旨を報知する。
異物であると判定された場合（ステップＳ２０７；ＹＥＳ）、ステップＳ２０９において、異物判定手段１２は、ディスプレイ１３に、異物である旨を報知する。
一方、異物ではないと判定された場合（ステップＳ２０７；ＮＯ）、ステップＳ２１１において、異物判定手段１２は、ディスプレイ１３に、異物ではない旨を報知する。
【0060】
＜実施例２＞
本発明の実施例１では、可視光画像の学習処理を行い、可視光画像で異物判定処理を実行したが、実施例２では、可視光画像および近赤外画像の学習処理を行い、可視光画像および近赤外画像で異物判定処理を実行する。
本発明の実施例１では、可視光画像の学習処理を行い、可視光画像で異物判定処理を実行したが、実施例２では、可視光画像および近赤外画像の学習処理を行い、可視光画像および近赤外画像で異物判定処理を実行する。
【0061】
（可視光画像および近赤外画像の学習処理）
図８は、本発明の実施例２に係る異物検査装置の処理装置１０における可視光画像の学習処理の処理内容を示したフローチャートである。なお、本発明の実施例２に係る異物検査装置の構成は、本発明の実施例１に係る異物検査装置の構成と同一であるので、説明を省略する。また、図８において、ステップＳ１０１～Ｓ１０３の処理内容は、図３に示したステップＳ１０１～Ｓ１０３の処理内容と同一であるので、説明を省略する。
図８に示すように、ステップＳ１０４において、可視光カメラ６が、搬送装置２により搬送された異物サンプルを撮像するとともに、近赤外カメラ４が、搬送装置２により搬送された異物サンプルを撮像する。
図８は、本発明の実施例２に係る異物検査装置の処理装置１０における可視光画像の学習処理の処理内容を示したフローチャートである。なお、本発明の実施例２に係る異物検査装置の構成は、本発明の実施例１に係る異物検査装置の構成と同一であるので、説明を省略する。また、図８において、ステップＳ１０１～Ｓ１０３の処理内容は、図３に示したステップＳ１０１～Ｓ１０３の処理内容と同一であるので、説明を省略する。
図８に示すように、ステップＳ１０４において、可視光カメラ６が、搬送装置２により搬送された異物サンプルを撮像するとともに、近赤外カメラ４が、搬送装置２により搬送された異物サンプルを撮像する。
【0062】
ステップＳ１０７において、学習手段１１は、ステップＳ１０１で指定された被検査物８と、ステップＳ１０３において撮像された可視光画像に含まれる異物サンプルとのＲＧＢ色空間における色差を算出する。
【0063】
ステップＳ１０９において、学習手段１１は、ディスプレイ１３に、ステップＳ１０３において撮像された可視光画像を表示させる。
【0064】
ステップＳ１１１において、学習手段１１は、ＲＧＢ色空間における被検査物８との色差が色差閾値を超えたか否かを判定する。
【0065】
ＲＧＢ色空間における被検査物８との色差が色差閾値を超えたと判定された場合（ステップＳ１１１；ＹＥＳ）、ステップＳ１２３において、学習手段１１は、撮像された異物サンプルの色が、色基準に基づいて分割された領域のうち、被検査物８の色領域または既に指定済みの色領域に含まれるか否かを判定する。ステップＳ１２５～Ｓ１３３の処理については、図３に示すステップＳ１２５～Ｓ１３３の処理と同一であるので、説明を省略する。
【0066】
一方、ＲＧＢ色空間における被検査物８との色差が色差閾値以下であると判定された場合（ステップＳ１１１；ＮＯ）、ステップＳ１４１において、学習手段１１は、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置を記憶手段に記憶する。
【0067】
ステップＳ１４３において、学習手段１１は、取り込んだ近赤外画像と可視光画像とを、ディスプレイ１３に並べて表示する。このとき、取り込まれた近赤外画像と可視光画像とは、両者の位置が対応して表示されるように、同時に並列に並べられて表示される。すなわち、ディスプレイ１３の画面上、左右に近赤外画像と可視光画像の画像位置（ベルトコンベアの搬送方向の位置）が一致するように表示され、取り込まれた異物サンプルと乾燥野菜の画像が対応して作業者に見えるように表示される。作業者は、この左右の近赤外画像と可視光画像とを見ながら、近赤外画像上の異物サンプルの画像を入力装置であるマウス等のポインタを用いてマークして、異物サンプルであることを指定する。
【0068】
ステップＳ１４５において、学習手段１１は、ユーザ操作により近赤外画像上の異物サンプルの画像がマークされたか否かを判定する。近赤外画像上の異物サンプルの画像がマークされたと判定された場合（ステップＳ１４５；ＹＥＳ）、ステップＳ１３３において、学習手段１１は、マークされた異物サンプルを異物として指定する。
【0069】
ステップＳ１４９において、学習手段１１は、指定された異物の画像の色、形等の特徴を抽出して、教師データとして学習する。学習としては、ニューラルネットワークを用いた深層学習などを用いられ、この学習により学習モデルが生成される。
【0070】
（可視光画像および近赤外画像の異物判定処理）
図９は、本発明の実施例２に係る異物検査装置の処理装置１０における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。
図９に示すように、ステップＳ３０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
図９は、本発明の実施例２に係る異物検査装置の処理装置１０における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。
図９に示すように、ステップＳ３０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
【0071】
ステップＳ３０３において、可視光カメラ６が、搬送装置２により搬送された検査対象物を撮像し、ステップＳ３０５において、近赤外カメラ４が、搬送装置２により搬送された検査対象物を撮像する。
【0072】
ステップＳ３０７において、異物判定手段１２は、予め学習手段１１により可視光画像に基づいて学習した学習モデルを用いて、取得した可視光画像に写された検査対象物が異物か否かを判定する。
【0073】
可視光画像において異物であると判定された場合（ステップＳ３０７；ＹＥＳ）、ステップＳ３１７において、異物判定手段１２は、ディスプレイ１３に、異物である旨を報知する。
【0074】
一方、可視光画像において異物ではないと判定された場合（ステップＳ３０７；ＮＯ）、ステップＳ３０９において、異物判定手段１２は、予め学習手段１１により近赤外画像に基づいて学習した学習モデルを用いて、取得した近赤外画像に写された検査対象物が異物か否かを判定する。
【0075】
近赤外画像において異物であると判定された場合（ステップＳ３０９；ＹＥＳ）、ステップＳ３１３において、異物判定手段１２は、ディスプレイ１３に、異物である旨を報知する。
【0076】
一方、近赤外画像において異物ではない、すなわち、可視光画像および近赤外画像のいずれにおいても異物ではないと判定された場合（ステップＳ３０９；ＮＯ）、ステップＳ３１１において、異物判定手段１２は、ディスプレイ１３に、異物ではない旨を報知する。
【0077】
＜実施例３＞
本発明の実施例２では、可視光画像および近赤外画像の教師データで機械学習させた学習モデルを用いて可視光画像および近赤外画像で異物判定処理を実行したが、これに限らず、ユーザの直視による異物判定を組み合わせるようにしてもよい。
図１０は、本発明の実施例３に係る異物検査装置の処理装置１０における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。なお、後述する異物カウントは初期値として「０」が設定されている。
図１０に示すように、ステップＳ４０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
本発明の実施例２では、可視光画像および近赤外画像の教師データで機械学習させた学習モデルを用いて可視光画像および近赤外画像で異物判定処理を実行したが、これに限らず、ユーザの直視による異物判定を組み合わせるようにしてもよい。
図１０は、本発明の実施例３に係る異物検査装置の処理装置１０における可視光画像および近赤外画像の異物判定処理の処理内容を示したフローチャートである。なお、後述する異物カウントは初期値として「０」が設定されている。
図１０に示すように、ステップＳ４０１において、ユーザが入力装置から予め設定された被検査物８の中からいずれか１つを指定する。
【0078】
ステップＳ４０３において、可視光カメラ６が、搬送装置２により搬送された検査対象物を撮像し、ステップＳ４０５において、近赤外カメラ４が、搬送装置２により搬送された検査対象物を撮像する。
【0079】
ステップＳ４０７において、異物判定手段１２は、予め学習手段１１により可視光画像に基づいて機械学習した学習モデルを用いて、取得した可視光画像に写された検査対象物が異物か否かを判定する。
【0080】
可視光画像に基づいた機械学習による判定において、異物であると判定された場合（ステップＳ４０７；ＹＥＳ）、ステップＳ４０９において、異物判定手段１２は、異物カウントＣをインクリメントする。
【0081】
ステップＳ４１１において、異物判定手段１２は、可視光カメラ６で撮像した可視光画像に基づいて直視にて可視光画像に含まれる検査対象物が異物か否かを判定する。具体的には、ユーザがディスプレイ１３に表示された可視光画像を見ながら異物と指定する操作を行った場合、異物判定手段１２は、検査対象物が異物か否かを判定するようにしてもよい。また、異物判定手段１２は、可視光カメラ６で撮像した可視光画像に含まれる検査対象物の色および大きさが、予め記憶された被検査物８の属性データに含まれる色および大きさの範囲外である場合に異物であると判定するようにしてもよい。
【0082】
可視光画像に基づいた直視による判定において、異物であると判定された場合（ステップＳ４１１；ＹＥＳ）、ステップＳ４１３において、異物判定手段１２は、異物カウントＣをインクリメントする。
【0083】
ステップＳ４１５において、異物判定手段１２は、予め学習手段１１により近赤外画像に基づいて機械学習した学習モデルを用いて、取得した近赤外画像に写された検査対象物が異物か否かを判定する。
【0084】
近赤外画像に基づいた機械学習による判定において、異物であると判定された場合（ステップＳ４１５；ＹＥＳ）、ステップＳ４１７において、異物判定手段１２は、異物カウントＣをインクリメントする。
【0085】
ステップＳ４１９において、異物判定手段１２は、近赤外カメラ４で撮像した近赤外画像に基づいて直視にて近赤外画像に含まれる検査対象物が異物か否かを判定する。具体的には、異物判定手段１２は、近赤外カメラ４で撮像した近赤外画像に含まれる、検査対象物に対する波長の異なる近赤外線（ここでは、近赤外波長成分としての波長成分λ０～λ２の３波長）の反射率が全て所定の範囲外である場合に、検査対象物の素材が、被検査物８の素材とは異なるので異物であると判定するようにしてもよい。ここで、所定の範囲は、予め記憶された被検査物８の属性データに含まれる。また、ユーザがディスプレイ１３に表示された近赤外画像を見ながら異物と指定する操作を行った場合、異物判定手段１２は、検査対象物が異物か否かを判定するようにしてもよい。
【0086】
近赤外画像に基づいた直視による判定において、異物であると判定された場合（ステップＳ４１９；ＹＥＳ）、ステップＳ４２１において、異物判定手段１２は、異物カウントＣをインクリメントする。
【0087】
ステップＳ４２３において、異物判定手段１２は、異物カウントＣが、予め設定された閾値Ｔｈを超えたか否かを判定する。ここで、閾値Ｔｈは、検出精度に基づいてユーザが予め１～４の範囲で設定しておく。
【0088】
異物カウントＣが閾値Ｔｈを超えたと判定された場合（ステップＳ４２３；ＹＥＳ）、ステップＳ４２５において、異物判定手段１２は、ディスプレイ１３に、異物である旨を報知する。
【0089】
一方、異物カウントＣが閾値Ｔｈ以下であると判定された場合（ステップＳ４２３；ＮＯ）、ステップＳ４２７において、異物判定手段１２は、ディスプレイ１３に、異物ではない旨を報知する。
【0090】
なお、ここでは、異物カウントＣが閾値Ｔｈを超えたと判定された場合に、異物判定手段１２は、ディスプレイ１３に異物である旨を報知したが、これに限らない。例えば、閾値Ｔｈを１と設定しておき、可視光画像に基づいた機械学習による判定において、異物であると判定された場合（ステップＳ４０７；ＹＥＳ）、または、可視光画像に基づいた直視による判定において、異物であると判定された場合（ステップＳ４１１；ＹＥＳ）に、異物判定手段１２は、ディスプレイ１３に異物である旨を報知するようにしてもよい。
【0091】
（付記）
本出願は、以下の発明を開示する。
（付記１）
本出願は、以下の発明を開示する。
（付記１）
【0092】
予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
【0093】
（付記２）
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する付記１記載の教師データ生成方法。
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する付記１記載の教師データ生成方法。
【0094】
（付記３）
前記色差閾値は、前記被検査物の色空間における色のバラツキの幅が広いほど高くなるように設定された
ことを特徴する付記１記載の教師データ生成方法。
前記色差閾値は、前記被検査物の色空間における色のバラツキの幅が広いほど高くなるように設定された
ことを特徴する付記１記載の教師データ生成方法。
【0095】
（付記４）
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
【0096】
（付記５）
前記異物判定手段は、
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする付記４記載の異物検査装置。
前記異物判定手段は、
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする付記４記載の異物検査装置。
【0097】
（付記６）
予め複数の異物サンプルを可視光および近赤外光で撮像し、撮像された異物サンプルの可視光画像および近赤外画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
予め複数の異物サンプルを可視光および近赤外光で撮像し、撮像された異物サンプルの可視光画像および近赤外画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
【0098】
（付記７）
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像および近赤外光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は学習手段で予め学習した異物の可視光画像および近赤外光画像の教師データを参照して前記被検査物の異物判定を行う手段であって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
【0099】
（付記８）
前記異物判定手段は、
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
前記異物判定手段は、
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
【0100】
（付記９）
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
【0101】
（付記１０）
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査装置が実行するための異物検出プログラムであって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査装置が実行するための異物検出プログラムであって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは学習ステップで予め学習した異物の可視光画像の教師データを参照して前記被検査物の異物判定を行うステップであって、
前記教師データは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。
【符号の説明】
【0102】
１ 異物検査装置
２ 搬送装置
２ａ ローラ
２ｂ 無端ベルト
３ 近赤外光照射装置
３ａ 照射領域
４ 近赤外カメラ
５ 可視光照明装置
５ａ 照射領域
６ 可視光カメラ
８ 被検査物
１０ 処理装置
１１ 学習手段
１２ 異物判定手段
１３ ディスプレイ
２ 搬送装置
２ａ ローラ
２ｂ 無端ベルト
３ 近赤外光照射装置
３ａ 照射領域
４ 近赤外カメラ
５ 可視光照明装置
５ａ 照射領域
６ 可視光カメラ
８ 被検査物
１０ 処理装置
１１ 学習手段
１２ 異物判定手段
１３ ディスプレイ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2024-05-01
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
予め複数の異物サンプルを可視光で撮像し、撮像された異物サンプルの可視光画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴とする教師データ生成方法。
【請求項2】
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する請求項１記載の教師データ生成方法。
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３Ｎ（Ｎ≧１）の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定する
ことを特徴する請求項１記載の教師データ生成方法。
【請求項3】
前記色差閾値は、前記被検査物の色空間における色のバラツキの幅が広いほど高くなるように設定された
ことを特徴する請求項１記載の教師データ生成方法。
ことを特徴する請求項１記載の教師データ生成方法。
【請求項4】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は、学習手段で、異物の可視光画像の教師データを参照して予め学習 した学習モデルを用いて、前記被検査物の異物判定を行う手段であって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、前記可視光カメラで撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は、学習手段で、異物の可視光画像の教師データを参照して予め学習 した学習モデルを用いて、前記被検査物の異物判定を行う手段であって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査装置。
【請求項5】
前記異物判定手段は、
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする請求項４記載の異物検査装置。
前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
前記第１異物判定手段または前記第２異物判定手段のうちいずれか一方が異物と判定した場合に、異物の混入を報知する報知手段と、
を有することを特徴とする請求項４記載の異物検査装置。
【請求項6】
予め複数の異物サンプルを可視光および近赤外光で撮像し、撮像された異物サンプルの可視光画像および近赤外画像を学習させる教師データ生成方法であり、
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
学習させる異物サンプルを撮像し、前記撮像された異物サンプルの可視光画像および近赤外画像を記憶部に記憶する記憶ステップと、
前記記憶された異物サンプルの可視光画像および近赤外画像の中から、異物サンプルの画像を異物として指定する異物指定ステップとを有し、
前記異物指定ステップは、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定する
ことを特徴とする教師データ生成方法。
【請求項7】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出装置であって、
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は、学習手段で、異物の可視光画像および近赤外光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行う手段であって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
可視光を前記被検査物に照射する第１光照射手段により照射された前記被検査物を可視光で撮像する可視光カメラと、
近赤外光を前記被検査物に照射する第２光照射手段により照射された前記被検査物を近赤外光で撮像する近赤外カメラと、
前記可視光カメラで撮像した前記被検査物の可視光画像と前記近赤外カメラで撮像した前記被検査物の近赤外画像と、に基づいて前記被検査物に異物が混入しているかを判定する異物判定手段を備え、
前記異物判定手段は、学習手段で、異物の可視光画像および近赤外光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行う手段であって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定し、
前記分割された領域のうち被検査物と前記ＲＧＢ色空間における色差が色差閾値以下である領域にある異物サンプルに対しては、可視光画像では異物として指定せずに、可視光画像上において異物として認識される位置に対応する、近赤外画像上の位置の画像において、異物の形状を確認できる場合は、近赤外画像上の画像を異物として指定して学習した
ことを特徴とする異物検査装置。
【請求項8】
前記異物判定手段は、
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
可視光画像に基づいて生成された教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第１異物判定手段と、
前記可視光カメラで撮像した可視光画像に含まれる判定対象物の色および大きさが所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第２異物判定手段と、
近赤外光に基づいて生成された前記教師データに基づいて学習した学習モデルにより前記被検査物に混入した異物か否かの判定を行う第３異物判定手段と、
前記近赤外カメラで撮像した近赤外画像に含まれる、判定対象物に対する波長の異なる近赤外線の反射率が所定の範囲外である場合に、前記被検査物に混入した異物であると判定する第４異物判定手段と、
前記第１異物判定手段、前記第２異物判定手段、前記第３異物判定手段、前記第４異物判定手段による判定結果に基づいて異物の混入を報知する報知手段と、
を有することを特徴とする請求項７記載の異物検査装置。
【請求項9】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検出方法であって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは、学習ステップで、異物の可視光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行うステップであって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップを有し、
前記異物判定ステップは、学習ステップで、異物の可視光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行うステップであって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検査方法。
【請求項10】
搬送路上に載置されて搬送される被検査物中に混入している異物を光学的に検出する異物検査装置が実行するための異物検出プログラムであって、
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは、学習ステップで、異物の可視光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行うステップであって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。
可視光を前記被検査物に照射する光照射手段により照射された前記被検査物を可視光カメラにより可視光で撮像した前記被検査物の可視光画像に基づいて前記被検査物に異物が混入しているかを判定する異物判定ステップをコンピュータに実行させ、
前記異物判定ステップは、学習ステップで、異物の可視光画像の教師データを参照して予め学習した学習モデルを用いて、前記被検査物の異物判定を行うステップであって、
前記学習モデルは、その学習過程で、
前記可視光画像で、ＲＧＢ色空間におけるＲＧＢを色基準として３以上の領域に分割し、前記分割された領域のうち被検査物の領域以外であって、前記ＲＧＢ色空間における前記被検査物との色差が色差閾値を超えた領域にある異物サンプルを異物として指定して学習した
ことを特徴とする異物検出プログラム。