特許 6542477 食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6542477

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法

(51)【国際特許分類】

   G01N 21/85 20060101AFI20190628BHJP

   G01N 21/88 20060101ALI20190628BHJP

   G01N 21/94 20060101ALI20190628BHJP

【ＦＩ】

   G01N21/85 A

   G01N21/88 J

   G01N21/94

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2018-529319(P2018-529319)

(86)(22)【出願日】2017年8月22日

(86)【国際出願番号】JP2017029996

(87)【国際公開番号】WO2018038123

(87)【国際公開日】20180301

【審査請求日】2018年6月6日

(31)【優先権主張番号】特願2016-162112(P2016-162112)

(32)【優先日】2016年8月22日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000001421

【氏名又は名称】キユーピー株式会社

(73)【特許権者】

【識別番号】504263989

【氏名又は名称】株式会社ブレインパッド

(74)【代理人】

【識別番号】100144048

【弁理士】

【氏名又は名称】坂本 智弘

(72)【発明者】

【氏名】降旗 幸太郎

(72)【発明者】

【氏名】荻野 武

(72)【発明者】

【氏名】鈴木 研治

(72)【発明者】

【氏名】鈴木 大夢

(72)【発明者】

【氏名】山本 武世

(72)【発明者】

【氏名】太田 満久

(72)【発明者】

【氏名】今津 義充

(72)【発明者】

【氏名】ゴンザレス ティネオ アレハンドロ ハビエル

(72)【発明者】

【氏名】吉田 勇太

(72)【発明者】

【氏名】菅原 洋平

【審査官】 蔵田 真彦

(56)【参考文献】

【文献】 国際公開第２０１２／１５３６９５（ＷＯ，Ａ１）

【文献】 特開２００９−１１５６１３（ＪＰ，Ａ）

【文献】 特開２０１６−１４２６０１（ＪＰ，Ａ）

【文献】 特開２０１６−０４５８６１（ＪＰ，Ａ）

【文献】 特開平０３−２４２７７３（ＪＰ，Ａ）

【文献】 特開２０１６−１１０２９０（ＪＰ，Ａ）

【文献】 米国特許第０５０８６４７９（ＵＳ，Ａ）

【文献】 特表２０１８−５０６１６８（ＪＰ，Ａ）

【文献】 SA et al.，DeepFruits: A Fruit Detection System Using Deep Neural Networks，Sensors，２０１６年 ８月 ３日，16, 1222

【文献】 SAKAI et al.，Deep Learning-based Image Recognition Applications，NTT DOCOMO Technical Journal，２０１６年 ７月，18, 1，36-43

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００−２１／０１、２１／１７−２１／６１、

２１／８４−２１／９５８

Ｇ０６Ｔ １／００−９／４０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、
前記検査対象物に光を照射する光照射手段と、
前記検査対象物の映像を撮像する撮像手段と、
前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた２５６段階以下の階調で正規化データとする手段と、
複数枚の良品のみの前記正規化データを用いて、前記正規化データから前記異物又は前記良品を識別する処理を、あらかじめ輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングさせた識別手段と、を有し、
前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記正規化データから、前記異物又は前記良品をインラインで識別する、食品検査装置。

【請求項2】

請求項１に記載の食品検査装置であって、
前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記正規化データから、前記良品をインラインで識別する、食品検査装置。

【請求項3】

異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、
前記検査対象物に光を照射する光照射手段と、
前記検査対象物の映像を撮像する撮像手段と、
前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、
前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、
前記波長強調手段は、
前記光照射手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調するように選択された光を照射し、
又は、前記撮像手段に取付けた第１の光学フィルターを用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を通過させて撮像することで前記異物特定波長及び前記良品特定波長を強調し、
前記識別処理装置は、
前記撮像手段により撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段と、
前記軽量化データから前記異物又は前記良品を識別する処理を、複数枚の良品のみの前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、
前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つ、及び前記良品特定波長を少なくとも１つ、を強調し、
前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理し、また、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別する、食品検査装置。
ただし、疑似ＲＧＢ映像は、第１の異物特定波長、第２の異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。

【請求項4】

食品検査装置の識別手段の学習方法であって、
異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、
前記良品のみを撮像した、前記良品特定波長を含む疑似ＲＧＢ学習映像を複数枚準備するステップと、
前記疑似ＲＧＢ学習映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、
前記軽量化学習データから、前記異物又は前記良品を識別する処理を、前記識別手段に自己符号化器を用いた再構成又は輝度を用いた色再構成の畳み込みニューラルネットワークによりディープラーニングさせるステップと、を含む、識別手段の学習方法。
ただし、疑似ＲＧＢ映像は、異物特定波長及び良品特定波長を、ＲＧＢ信号のいずれかに１対１で対応させたものとする。

【請求項5】

請求項４に記載の識別手段の学習方法によって学習させた識別手段を備える食品検査装置。

【請求項6】

請求項１から３及び５までのいずれか１項に記載の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品の検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法に関する。

【背景技術】

【0002】

＜背景技術の説明＞
従来、食品などの検査対象物に混在する異物を検出する食品検査装置に関し、金属検知やＸ線検査など各種の技術が提案されている。近年は、撮影画像を画像処理して、異物を検出するものも提案されている（特許文献１及び２）。

【0003】

＜特許文献１の説明＞
特許文献１（請求項１参照）には、食品と、食品に含まれる異物及び夾雑物の少なくとも何れかと、に光を照射することによって得られる反射光の可視光及び近赤外光の吸収スペクトルを測定し、吸収スペクトルに対して２次微分処理を行い、食品と異物及び夾雑物の少なくとも何れかとの間で異なる２次微分スペクトルを示す波長帯を選定し、食品について、波長帯の光によって得られる分光画像を撮像手段によって取得し、波長帯の吸収スペクトルに対して２次微分処理を行って２次微分分光画像を作成することによって、食品に含まれる異物及び夾雑物の少なくとも何れかを検出することが記載されている。

【0004】

＜特許文献２の説明＞
特許文献２（請求項１参照）には、食物の腐敗する物質の腐敗部サンプルと健全部サンプルについてそれぞれの分光画像を取得し、各サンプルについての吸光スペクトルの違いを利用して統計的手法により腐敗部か否かを判定する検量式を作成し、検量式に未知サンプルの分光画像を当てはめて未知サンプルが腐敗部か否かを判断することが記載されている。

【0005】

＜要望される技術−１＞
しかしながら、特許文献１の検出方法では、特定の波長帯の光によって得られる分光画像を得るのに時間がかかり、また分光画像から２次微分分光画像を作成するために検出装置の処理手段は処理能力を必要とする。また、特許文献２の判定方法では、検査対象物を複数の分割領域にして、複数の分光画像を平均化し、未知サンプルの分光画像とし、検量式に当てはめるため、判定装置の処理手段の検出精度が落ちる。

【0006】

＜要望される技術−２＞
そのため、これらの検出又は判定方法を、検出精度を維持しながら検査対象物の搬送中にインラインで行うには、処理手段を非常に高い処理能力のものとするか、検査対象物の搬送速度をかなり遅くするしかなく、実質的に不可能な状況であった。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００４−３０１６９０号公報

【特許文献2】特開２００５−２０１６３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

＜背景技術の課題＞
そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することにある。

【課題を解決するための手段】

【0009】

＜請求項１の内容＞
このような目的を達成するため、本発明は、以下の構成によって把握される。
（１）本発明は、異物の混在がないことを確認する食品を検査対象物として搬送する搬送手段と、前記検査対象物に光を照射する光照射手段と、前記検査対象物の映像を撮像する撮像手段と、前記食品又は前記異物の少なくとも一方が反射する特徴的な波長を強調する波長強調手段と、前記食品又は前記異物の少なくとも一方を識別する識別処理装置と、を備え、前記波長強調手段は、前記光照射手段又は前記撮像手段に取付けた第１の光学フィルター、及び／又は、補光器に取付けた第２の光学フィルター、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、前記異物に特徴的な異物特定波長又は前記食品の良品が反射する特徴的な良品特定波長を強調し、前記識別処理装置は、前記撮像手段により撮像された映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データとする軽量化手段と、前記軽量化データから前記異物特定波長を識別する処理を、複数枚の前記軽量化データを用いて、あらかじめディープラーニングさせた識別手段と、を有し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記異物又は前記良品をインラインで識別するものである。

【0010】

＜請求項２の内容＞
（２）本発明は、上記（１）の構成において、前記波長強調手段は、前記異物特定波長を少なくとも１つ、及び前記良品特定波長を少なくとも１つ、強調し、前記識別手段は、前記搬送手段による前記食品の搬送中に撮像して得られた前記軽量化データから、前記良品をインラインで識別するものである。

【0011】

＜請求項３の内容＞
（３）本発明は、上記（１）又は（２）の構成において、前記波長強調手段は、前記異物特定波長として第１の異物特定波長及び第２の異物特定波長の２つの波長を強調し、前記識別手段は、前記撮像手段により撮像された前記映像を疑似ＲＧＢ映像として処理するものである。

【0012】

＜請求項４の内容＞
（４）本発明は、食品検査装置の識別手段の学習方法であって、異物の混在がないことを確認する食品を撮像した学習映像から、前記異物が反射する特徴的な波長を異物特定波長として、また、前記食品の良品が反射する特徴的な波長を良品特定波長として、抽出するステップと、前記異物特定波長と前記良品特定波長とを少なくとも含む疑似ＲＧＢ学習映像を複数枚準備するステップと、前記疑似ＲＧＢ学習映像を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データに軽量化するステップと、前記軽量化学習データから、前記異物特定波長又は前記良品特定波長を識別する処理を、前記識別手段にディープラーニングさせるステップと、を含むものである。

【0013】

＜請求項５の内容＞
本発明は、上記（４）の構成によって学習させた識別手段を備える食品検査装置である。

【0014】

＜請求項６の内容＞
上記（１）から（３）及び（５）までのいずれか１つの構成の食品検査装置によって、検査対象物の食品に異物の混在がないことを確認する食品の検査方法である。

【発明の効果】

【0015】

本発明によれば、異物の検出を高速に行うことができる食品検査装置、食品検査方法及び食品検査装置の識別手段の学習方法を提供することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態に係る食品検査装置を示す概略図である。

【図2】検査対象物の識別状態を示す概略図である。

【図3】識別手段の学習フロー図である。

【発明を実施するための形態】

【0017】

＜実施形態の説明−１＞
以下、添付図面を参照して、本発明を実施するための形態（以下、「実施形態」と称する）について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。

【0018】

＜実施形態の説明−２＞
まず、異物Ｆｎの混在がないことを確認したい食品Ｂ（検査対象物Ａ）から、異物Ｆｎをインラインで識別する食品検査装置１について、図１に基づいて説明する。図１は本発明の実施形態に係る食品検査装置を示す概略図である。図２は、検査対象物の識別状態を示す概略図である。

【0019】

＜食品検査装置の全体構成−１＞
図１に示される食品検査装置１は、搬送手段２と、光照射手段３と、撮像手段４と、波長強調手段５と、識別処理装置６と、を備える。この食品検査装置１で検査される検査対象物Ａは、加工前の野菜や果実や、加工後の加工品や調理品などの食品Ｂである。これらの食品Ｂ中に混在し得る異物Ｆnとしては、例えば、果実の実のみを良品Ｓとすると、枝葉・萼、毛髪、虫、金属、石などが異物Ｆｎであり、また、正常な状態の食品Ｂを良品Ｓとすると、傷部、欠け部、腐敗部、焦げ部などを有する不良品も異物Ｆｎとなり、さらに、ある食品Ｂに対して、別の食品も異物Ｆｎとなる。また、これらが複合して、良品Ｓ及び異物Ｆｎとされることもある。

【0020】

＜搬送手段の構成−１＞
搬送手段２は、検査対象物Ａを上流工程から検査部Ｃでの検査工程を経て下流工程を搬送するもので、ベルトコンベアなどから構成されている。搬送手段２は、２ｍ／分から２０ｍ／分程度の搬送速度で検査対象物Ａを搬送する。

【0021】

＜検査部の構成−１＞
検査部Ｃは、搬送手段２の上方に配置された、光照射手段３と、撮像手段４と、波長強調手段５と、識別処理装置６と、から構成され、異物Ｆｎの混在ないことを確認したい搬送中の食品Ｂから、異物Ｆｎをインラインで識別する。

【0022】

＜光照射手段の構成−１＞
光照射手段３は、検査対象物Ａに光、例えば３００ｎｍ以上１１００ｎｍの波長を含む光を照射するもので、ハロゲンランプなどが用いられる。ハロゲンランプであれば、近紫外線領域から可視光領域及び近赤外線領域までの光を照射することができる。なお、本実施形態では、光照射手段３には、後述する第２の光学フィルター５２が取付けられた補光器３２も含まれる。

【0023】

＜撮像手段の構成−１＞
撮像手段４は、搬送中の検査対象物Ａを撮像するもので、ＣＣＤカメラや、ハイパースペクトルカメラなどで構成される。この撮像手段４には、後述する第１の光学フィルター５１が取付けられている。なお、第１の光学フィルター５１は、撮像手段４でなく、上述の光照射手段３に取付けてもよい。また、解像度は、食品Ｂの平均ピクセル長が１０〜１００ピクセルで撮像できる解像度が好ましく、２０〜４０ピクセルでの撮像が最も好ましい。食品Ｂの平均ピクセル長が１０ピクセルよりも小さいと後に十分な特徴検出が行えず、１００ピクセルを超えると食品検査としての十分な処理能力を得られない。なおここで、食品Ｂの平均ピクセル長とは、対象となる食品Ｂを撮像したときの縦・横いずれかの最大ピクセル数を計測し、１０個撮像したときの平均値である。

【0024】

＜波長強調手段の構成−１＞
波長強調手段５は、検査対象物Ａ中の食品Ｂの良品Ｓ又は異物Ｆｎの少なくとも一方が反射する特徴的な波長Ｗｎを強調する。波長強調手段５は、例えば、光照射手段３又は撮像手段４に取付けた第１の光学フィルター５１を用いて、異物Ｆ１に特徴的な異物特定波長（第１の異物特定波長）Ｗｆ１を少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調する。本実施形態では、異物Ｆ１以外の異物Ｆ２に特徴的な第２の異物特定波長Ｗｆ２も、第２の光学フィルター５２を用いて同時に強調する。

【0025】

＜波長強調手段の構成−２＞
第１の光学フィルター５１及び第２の光学フィルター５２には、長波長カットや短波長カットフィルタ、又は、バンドパスフィルタなどが用いられる。また、撮像手段４がＣＣＤカメラである場合、第１の光学フィルター５１及び第２の光学フィルター５２として、ＣＣＤカメラのＣＣＤセルのウェル電圧及び／又はサブストレート電圧を外部から制御するＣＣＤセル電圧外部制御装置であってもよい。ＣＣＤセル電圧外部制御装置を用いれば、一般的に入手できる３ＣＣＤタイプのＣＣＤカメラを用いながらも、ダイクロイックプリズムの表面加工を変化させることなく、ウェル電圧及び／又はサブストレート電圧を制御することで、撮像素子に入り込む光子（波長によりエネルギー量が異なる）が電荷パケットに入る応答特性を変化させることが可能となり、異物Ｆに特徴的な異物特定波長Ｗｆを少なくとも１つ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを少なくとも１つ、強調することができる。

【0026】

＜波長強調手段の構成−３＞
さらに、波長強調手段５は、第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２に加えて、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓも強調可能になっている。なお、第１の光学フィルター５１及び第２の光学フィルター５２は、それぞれ逆の特定波長を強調するように構成されてもよい。

【0027】

＜波長強調手段の構成−４＞
これらの第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓは、前もって検査対象物Ａを撮像し、得られた映像Ｄ０から抽出しておく必要がある。

【0028】

＜識別処理装置の構成−１＞
識別処理装置６は、検査対象物Ａ中の食品Ｂの良品Ｓ又は異物Ｆ１，Ｆ２を識別するものである。識別処理装置６は、撮像手段４により撮像された映像Ｄ１を軽量化データＤ３とする軽量化手段６１と、軽量化データＤ３から第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２又は良品特定波長Ｗｓを識別する識別手段６２と、を有する。

【0029】

＜軽量化手段の構成−１＞
軽量化手段６１は、まず、撮像手段４により搬送中の検査対象物Ａを撮像した映像Ｄ１を、疑似ＲＧＢ映像Ｄ２とする。このとき、映像Ｄ１の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ映像Ｄ２とすることができる。この疑似ＲＧＢ映像Ｄ２は、必要に応じてモニタなどの表示手段に表示してもよい。

【0030】

＜軽量化手段の構成−２＞
そして、この疑似ＲＧＢ映像Ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データＤ３とする。なお、軽量化データＤ３で最も軽いものは、２値化データである。

【0031】

＜軽量化手段の構成−３＞
ここで、映像のデータ容量について説明すると、撮像手段４に３０万画素（６４０×４８０）のＣＣＤカメラを用いる場合、フルカラー（１６７７万色）で撮像された映像Ｄ１及び疑似ＲＧＢ画像Ｄ２は、１枚当たり約３．６ＭＢのデータ容量となるが、２５６段階以下の階調に正規化することで、軽量化データＤは、１枚当たり約０．３ＭＢ以下のデータ容量となり、またさらに１６段階以下にすることで、さらにデータ量を０．１５ＭＢ以下にできる。

【0032】

＜識別手段の構成−１＞
識別手段６２は、軽量化データＤ３に基づいて、搬送手段２によって搬送中の検査対象物Ａから異物Ｆ１，Ｆ２をインラインで識別する。このとき、識別手段６２は、逆に良品Ｓをインラインで識別してもよい。この識別手段６２は、検査対象物Ａから異物Ｆ１、異物Ｆ２又は良品Ｓを識別する処理を、あらかじめディープラーニングにより学習している。

【0033】

＜識別手段の学習方法の説明−１＞
識別処理装置６の識別手段６２の学習方法について説明する。図３は、識別手段の学習フロー図である。

【0034】

＜特定波長抽出ステップの説明−１＞
まず、特定波長抽出ステップＳ１では、異物Ｆ１，Ｆ２の混在がないことを確認したい食品Ｂを撮像手段４で、前もって撮像した学習映像ｄ１から、異物Ｆ１及び異物Ｆ２が反射する特徴的な波長をそれぞれ第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２として、また、食品Ｂの良品Ｓが反射する特徴的な波長を良品特定波長Ｗｓとして、抽出する。なお、異物Ｆ１のみを識別する場合は、第１の異物特定波長Ｗｆ１のみを抽出すればよい。

【0035】

＜学習映像準備ステップの説明−１＞
学習映像準備ステップＳ２では、特定波長抽出ステップＳ１で抽出された第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを強調する波長強調手段５を用い、撮像手段４で検査対象物Ａを撮像する。そして、撮像した学習映像ｄ１から、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを含む疑似ＲＧＢ学習映像ｄ２を作成し、複数枚、例えば１０００枚以上準備する。このとき、学習映像ｄ１中の第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることで、疑似ＲＧＢ学習映像ｄ２が得られる。

【0036】

＜映像軽量化ステップの説明−１＞
映像軽量化ステップＳ３では、複数枚の疑似ＲＧＢ学習映像ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データｄ３に軽量化する。

【0037】

＜学習ステップの説明−１：ディープラーニング＞
学習ステップＳ４では、軽量化学習データｄ３から、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを識別する処理を、識別手段６２にディープラーニングさせる。ディープラーニングとしては、いわゆる畳み込みニューラルネットワーク、再帰型ニューラルネットワークなどがあるが、学習後は、その瞬間に入力され疑似ＲＧＢ映像Ｄ２を処理する必要性から、畳み込みニューラルネットワークが望ましい。

【0038】

＜学習ステップの説明−２：畳み込みニューラルネットワーク＞
またさらに、畳み込みニューラルネットワークの中でも、自己符号化器を用いた再構成や、輝度を用いた色再構成をいると、良品Ｓのみを用いた学習が可能となり、学習ステップを効率的に進められるため望ましい。この場合、再構成された画像は、「もし仮に撮像された食品Ｂが全て良品Ｓであった場合を予測した画像」であり、軽量化学習データｄ３とのピクセルごとの差分を計算し、予め定めた閾値を超えるピクセルを「良品でない物体」として検出することが可能となる。

【0039】

＜学習ステップの説明−３：自己符号化器を用いた再構成＞
自己符号化器を用いた再構成の詳細を説明する。
軽量化学習データｄ３は、自己符号化器を用いた再構成の畳み込みニューラルネットワークの中で、カーネル画像が取り出され、次に複数のノードをもつニューラルネットワーク層で特徴抽出され、次に復号化層で再構成される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より概念的な特徴抽出が可能となる。
この自己符号化器の学習は、最終復号化層からの出力が元に入力された軽量化学習データｄ３と極力一致するように、つまり差分を表す損失関数が極力低くなるように学習される。この時の損失関数は、ＢＣＥ（Ｂｉｎａｒｙ Ｃｒｏｓｓ−ｅｎｔｒｏｐｙ）といった損失関数が利用できる。

【0040】

＜学習ステップの説明−４：輝度を用いた色再構成＞
輝度を用いた色再構成の詳細を説明する。
軽量化学習データｄ３は、ＲＧＢ空間からＬａｂ空間に換算され、Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークにかけられる。また同じく、Ｌａｂ空間に換算されたａ値とｂ値は、ａ−ｂ空間上を特定のカテゴリ数に区分したカテゴリに分類され、カテゴリカル表現を得る。
Ｌ値（輝度）を用いた色再構成の畳み込みニューラルネットワークにおいて、第１の畳み込み層で、カーネル画像が取り出され、次に複数のノードを持つニューラルネットワーク層で特徴抽出される。次に逆畳み込み層を用いて、元の画像サイズのピクセル数を再現する。これらを複数回入れ子状（第２、３、…、第ｎ層）に繰り返すことで、より概念的な特徴抽出が可能となる。最後の層である第ｎ層では、カーネルサイズは元の画像サイズのピクセル数とし、かつ、ノード数は上記特定のカテゴリ数として特徴抽出する。
畳み込み適用間隔（ストライド）は、第１の畳み込み層では２より大きく、複数のピクセルから特徴抽出して集約する。逆に、第ｎ−１の逆畳み層では、配列サイズ（ピクセルサイズ）は第１の畳み込み層と同じにしながら、畳み込み適用間隔を第１の畳み込み層と同じにしつつ、１つの配列変数から複数のピクセルへ特徴を再構成する。
この輝度を用いた色再構成の学習では、まず軽量化学習データｄ３またはその画像処理データのＬ値を入力し、第ｎ−１の畳み込み層から得られた色再構成された色再構成ａ値および色再構成ｂ値が得られるので、この色再構成ａ値および色再構成ｂ値と、元画像である小型学習用データのａ値およびｂ値との損失関数（ＢＣＥ）が極力低くなるように学習される。
また、この輝度を用いた色再構成の学習で、第ｎの畳み込み層は、元画像である軽量化学習データｄ３またはその画像処理データのａ値およびｂ値を入力し、特定のカテゴリ数に区分したカテゴリに分類するよう学習する。また第ｎの畳み込み層は、ノード数を上記特定のカテゴリ数とし、そのノード数は１００以上１６００未満が好ましい。ノード数（およびカテゴリ数）が１００以下であると、ａ−ｂ空間上の重み変化を十分にとらえきれず、１６００を超えるとカテゴリに分類して演算効率を高めようとした効果が薄くなる。
この輝度を用いた色再構成の検査では、小型学習用データのＬ値を第１の畳み込み層に入力して第ｎ層から得られたカテゴリカル表現と、小型学習用データのａ値およびｂ値を第ｎ−１の畳み込み層に入力して第ｎ層から得られたカテゴリカル表現との差分を求め、その差分に対して予め定めた閾値を超えるピクセルを「良品でない物体」として検出する。

【0041】

＜識別手段の構成−２＞
このようにして、異物Ｆ１、異物Ｆ２及び良品Ｓと、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓとの関係を学習した識別手段６２は、軽量化データＤ３に基づいて、図２に示すように、検査対象物Ａから異物Ｆ１、異物Ｆ２又は良品Ｓを識別する。なお、図２において、異物Ｆ１は、毛髪や石などであり、異物Ｆ２は、腐敗部である。

【0042】

＜識別手段の構成−３＞
このとき、識別手段６２は、検査対象物Ａから得られた実際の軽量化データＤ３を追加で学習し、学習結果を更新してもよい。

【0043】

＜食品検査装置の全体構成−２＞
そして、検査部Ｃで、異物Ｆ１、異物Ｆ２又は良品Ｓと識別されたものは、食品検査装置１の下流に設けられた分岐・分離手段（図示なし）などにより、分岐又は分離され、別の経路に排出される。分岐・分離手段には、分岐コンベアやロボットなどが用いられる。あるいは、食品検査装置１が異物Ｆ１及び異物Ｆ２を識別した場合に、作業員に報知し、作業員が取除くように構成してもよい。

【0044】

＜実施形態の効果−１＞
以上、説明した実施形態の効果について述べる。
実施形態の食品検査装置１は、異物Ｆｎの混在がないことを確認する食品Ｂを検査対象物Ａとして搬送する搬送手段２と、検査対象物Ａに光を照射する光照射手段３と、検査対象物Ａの映像を撮像する撮像手段４と、食品Ｂ又は異物Ｆｎの少なくとも一方が反射する特徴的な波長Ｗを強調する波長強調手段５と、食品Ｂ又は異物Ｆｎの少なくとも一方を識別する識別処理装置６と、を備え、波長強調手段５は、光照射手段３又は撮像手段４に取付けた第１の光学フィルター５１、及び／又は、補光器３２に取付けた第２の光学フィルター５２、ないし波長特異的な光源を用いて、３００ｎｍ以上１１００ｎｍ以下の光から少なくとも、異物Ｆｎに特徴的な異物特定波長Ｗｆ、又は、食品Ｂの良品Ｓが反射する特徴的な良品特定波長Ｗｓを強調し、識別処理装置６は、撮像手段４により撮像された映像Ｄ１を、光強度に応じた２５６段階以下の階調で正規化し、軽量化データＤ３とする軽量化手段６１と、軽量化データＤ３から異物特定波長Ｗｆを識別する処理を、複数枚の軽量化学習データｄ３を用いて、あらかじめディープラーニングさせた識別手段６２と、を有し、識別手段６２は、搬送手段２による食品Ｂの搬送中に撮像して得られた軽量化データＤ３から、異物Ｆｎ又は良品Ｓをインラインで識別するものである。これにより、高速な処理手段を用いなくても、識別精度を落とすことなく、識別速度を高速化することができる。

【0045】

＜実施形態の効果−２＞
実施形態の食品検査装置１では、波長強調手段５は、良品Ｓが反射する良品特定波長Ｗｓを強調する。これにより、検査対象物Ａから異物Ｆｎを識別できるとともに、良品Ｓを識別することができる。検査対象物Ａ（食品Ｂ）から良品Ｓ及び異物Ｆｎを識別できるため、良品Ｓ及び異物Ｆｎの頻出度に応じて、分岐・分離手段の処理内容を設定することができる。

【0046】

＜実施形態の効果−３＞
実施形態の食品検査装置１では、波長強調手段５は、異物特定波長Ｗｆとして第１の異物特定波長Ｗｆ１及び第２の異物特定波長Ｗｆ２の２つの波長を強調する。これにより、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓを、ＲＧＢ信号のいずれかに１対１で対応させることができ、撮像手段４で撮像した映像Ｄ１を疑似ＲＧＢ映像Ｄ２として処理することができる。

【0047】

＜実施形態の効果−４＞
実施形態の食品検査装置１の識別手段６２の学習方法は、異物Ｆｎの混在がないことを確認する食品Ｂを撮像した学習映像ｄ１から、異物Ｆｎが反射する特徴的な波長を異物特定波長Ｗｆとして、また、食品Ｂの良品Ｓが反射する特徴的な波長を良品特定波長Ｗｓとして、探査するステップと、異物特定波長Ｗｆと良品特定波長Ｗｓとを少なくとも含む疑似ＲＧＢ学習映像ｄ２を複数枚準備するステップと、疑似ＲＧＢ学習映像ｄ２を、光強度に応じた２５６段階以下の階調で正規化し、軽量化学習データｄ３に軽量化するステップと、軽量化学習データｄ３から、異物特定波長Ｗｆ又は良品特定波長Ｗｓを識別する処理を、識別手段６２にディープラーニングさせるステップと、を含むものである。これにより、異物Ｆｎ及び良品Ｓと、異物特定波長Ｗｆ及び良品特定波長Ｗｓとの関係を、効率よく識別手段６２に学習させることができる。

【0048】

＜変形例の説明−１＞
食品検査装置１の変形例を説明する。
上記実施形態では、波長強調手段５は、第１の異物特定波長Ｗｆ１、第２の異物特定波長Ｗｆ２及び良品特定波長Ｗｓの合計３つの波長を強調したが、少なくとも１つの第１の異物特定波長Ｗｆ１（Ｗｆ２）と、少なくとも１つの良品特定波長Ｗｓとを強調してもよく、第１の異物特定波長Ｗｆ１のみを強調してもよい。少なくとも、第１の異物特定波長Ｗｆ１を強調することで、食品Ｂの中から異物Ｆｎを識別することができる。あるいは、良品特定波長Ｗｓのみを強調してもよい。なお、異物特定波長Ｗｆ及び良品特定波長Ｗｓを合計４つ以上強調するように構成してもよい。

【0049】

＜変形例の説明−２＞
上記実施形態では、波長強調手段５は、補光器に取付けた第２の光学フィルター５２でなく、所定波長範囲の光のみを放出する波長特異的な光源、例えばＬＥＤ素子や半導体レーザーであってもよい。ＬＥＤ素子であれば、ＬＥＤチップに含まれる材料の種類を変更することで、２００ｎｍから１０００ｎｍ程度の領域内で、所望の波長範囲の光を放出するように構成することができる。

【0050】

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

【符号の説明】

【0051】

１ 食品検査装置
２ 搬送手段
３ 光照射手段
３２ 補光器
４ 撮像手段
５ 波長強調手段
５１ 第１の光学フィルター
５２ 第２の光学フィルター
６ 識別処理装置
６１ 軽量化手段
６２ 識別手段
Ａ 検査対象物
Ｂ 食品、Ｓ 良品、Ｆｎ 異物
Ｗｎ 特定波長

【図1】

【図2】

【図3】