(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-05-14
(45)【発行日】2024-05-22
(54)【発明の名称】非破壊食品検出装置
(51)【国際特許分類】
G01N 22/02 20060101AFI20240515BHJP
G06N 3/02 20060101ALI20240515BHJP
G01S 13/06 20060101ALI20240515BHJP
【FI】
G01N22/02 Z
G06N3/02
G01S13/06
(21)【出願番号】P 2019237375
(22)【出願日】2019-12-26
【審査請求日】2022-12-23
(73)【特許権者】
【識別番号】301021533
【氏名又は名称】国立研究開発法人産業技術総合研究所
(74)【代理人】
【識別番号】100165157
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100126000
【氏名又は名称】岩池 満
(72)【発明者】
【氏名】荻野 武
(72)【発明者】
【氏名】戸田 慎
(72)【発明者】
【氏名】堀部 雅弘
(72)【発明者】
【氏名】昆 盛太郎
【審査官】比嘉 翔一
(56)【参考文献】
【文献】特開2008-164594(JP,A)
【文献】国際公開第2018/168499(WO,A1)
【文献】非AI企業キューピーにおけるAIによるイノベーション -AI原料検査装置等-,食品と開発,2019年07月01日,Vol.54,N0.7,P.10-12
(58)【調査した分野】(Int.Cl.,DB名)
G01B、G01C,G01D、G01F、G01G、G01H、G01J、G01K、G01L、G01M、G01N、G01P、G01Q、G01R、G01S、G01T、G01V、G01W
JSTPlus/JMEDPlus/JST7580(JDreamIII)
(57)【特許請求の範囲】
【請求項1】
搬送部に取り付けて搬送部で搬送される食品を検出する非破壊食品検出装置において、
前記非破壊食品検出装置が食品を搬送する搬送部、検出部、情報処理部、検知出力部を備え、
前記検出部は、高周波信号を発生させる高周波信号発生器、前記食品が近傍を通過するよう配設され、前記高周波信号が伝送され、周囲の空間にマイクロ波帯の電磁界を発生する伝送線路、前記高周波信号発生器が発生させた高周波信号および前記伝送線路を通過した高周波信号を受信して検出信号を出力する高周波信号測定器を備え、前記検出信号を前記情報処理部に送信し、
前記検出信号は、周波数ごとの振幅、振幅実数部、振幅虚数部、または位相角度の少なくともいずれか一つを含み、
前記情報処理部は、前処理手段と、次元圧縮手段と次元復元手段とを備えた食品検出ニューラルネットワークと、比較手段とを含み、
前記前処理手段は、前記検出信号を周波数を第1の軸、検出時刻または検出位置を第2の軸、
前記検出信号の生パラメータまたは前記生パラメータを加工したパラメータを第3の軸とした三次元配列に前処理し、
食品学習段階で、前記三次元配列を前記次元圧縮手段に入力したときの前記次元復元手段からの出力である学習時復元配列と、前記三次元配列との差が最小となるよう、前記食品検出ニューラルネットワークを学習して学習済み食品検出ニューラルネットワークを得、
食品検出段階で、前記三次元配列を前記学習済み食品検出ニューラルネットワークに入力したときの出力である検出時復元配列を出力し、
前記比較手段は、前記三次元配列と前記検出時復元配列との差分を検出し、前記差分が、予め設定していた許容限界より大きい場合に、前記検知出力部に信号を送信する、
非破壊食品検出装置。
【請求項2】
前記比較手段が、前記差分を入力する識別ニューラルネットワークをさらに備える
請求項1に記載の非破壊食品検出装置。
【請求項3】
前記学習済み食品検出ニューラルネットワークの学習済み次元圧縮手段からの出力である検出時圧縮配列を前記識別ニューラルネットワークに入力する
請求項2に記載の非破壊食品検出装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、電磁波を用いた非破壊食品検出装置に関する。
【背景技術】
【0002】
<背景技術の説明-1>
食品の製造時、食品中に混入する異物を検出して排除できるよう、従来から可視光・紫外光・赤外光をはじめ、X線や電波など種々の電磁波を用いた検出方法が実用化されている。例えば、特許文献1には、伝送線路に高周波信号を伝送させて、検出対象がある位置に電磁界を発生させ、検出対象の存在時に特有の高周波信号から計算した二次元勾配を基に、検出対象に異物が混入しているか否かを判定する非破壊検出装置が記載されている。
【0003】
<背景技術の説明-2>
また、別の電磁波を用いた検出装置が知られている(特許文献2参照)。特許文献2には、0.1THz乃至10THzの周波数から選択される電磁波を対象物に照射し、透過又は反射した電磁波と照射した電磁波との情報から、対象物の周波数依存性を直線近似したときの直線の傾きを得て、基準状態の対象物からの直線の傾きからの変化から、対象物の変化の度合いを検出する検出装置が記載されている。
【0004】
<要望される技術>
しかしながら、これらの電磁波(電波)を用いた非破壊検出装置は、結局のところ勾配や傾きといった一次元情報からしか情報が得られず、物体が何で、どの程度の量、どの程度の大きさかといった、本来有していると期待される多次元的情報を有していないという問題があり、これらの問題を解決する技術が要望されている。
【先行技術文献】
【特許文献】
【0005】
【文献】国際公開第2018/168499号公報
【文献】特開2008-164594号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
<背景技術の課題>
そこで、本発明は、このような事情に鑑みてなされたものであり、その目的は、電波を用いた多元的情報から学習済みの食品が搬送されてきたことを検出できる非破壊食品検出装置を提供することにある。
【課題を解決するための手段】
【0007】
<請求項の内容>
このような目的を達成するため、本発明は、以下の構成によって把握される。
(1)本発明の実施形態は、搬送部に取り付けて搬送部で搬送される食品を検出する非破壊食品検出装置において、前記非破壊食品検出装置が検出部、情報処理部、検知出力部を備え、前記検出部は、高周波信号発生器、伝送線路、高周波信号測定器を備え、検出信号を前記情報処理部に送信し、前記検出信号は、周波数ごとの振幅、振幅実数部、振幅虚数部、または位相角度の少なくともいずれか一つを含み、前記情報処理部は、前処理手段と、次元圧縮手段と次元復元手段とを備えた食品検出ニューラルネットワークと、比較手段とを含み、前記前処理手段は、前記検出信号を三次元配列に前処理し、食品学習段階で、前記三次元配列を前記次元圧縮手段に入力したときの前記次元復元手段からの出力である学習時復元配列と、前記三次元配列との差が最小となるよう、前記食品検出ニューラルネットワークを学習して学習済み食品検出ニューラルネットワークを得る非破壊食品検出装置である。
(2)また本発明の実施形態に係る非破壊食品検出装置は、食品検出段階で、前記三次元配列を前記学習済み食品検出ニューラルネットワークに入力したときの出力である検出時復元配列を出力し、前記比較手段は、前記三次元配列と前記検出時復元配列との差分を検出し、前記差分が、予め設定していた許容限界より大きい場合に、前記検知出力部に信号を送信する。
(3)また本発明の実施形態に係る非破壊食品検出装置は、前記比較手段が、前記差分を入力する識別ニューラルネットワークをさらに備える。
(4)また本発明の実施形態に係る非破壊食品検出装置は、前記学習済み食品検出ニューラルネットワークの学習済み次元圧縮手段からの出力である検出時圧縮配列を前記識別ニューラルネットワークに入力する。
【発明の効果】
【0008】
本発明によれば、電波を用いた多元的情報から学習済みの食品が搬送されてきたことを検出できる非破壊食品検出装置を提供することができる。
【図面の簡単な説明】
【0009】
【
図2】本発明の実施形態に係る動作説明用フローチャート図である。
【
図3】本発明の実施形態に係る非破壊食品検出装置の波長特性の例を示すモデル図である。
【
図4】本発明の実施形態に係る非破壊食品検出装置の三次元配列を示すモデル図である。
【
図5】本発明の実施形態に係る非破壊食品検出装置の食品検出ニューラルネットワークを示すモデル図である。
【
図6】本発明の実施形態に係る変形例1のブロック図である。
【
図7】本発明の実施形態に係る変形例1の動作説明用フローチャート図である。
【
図8】本発明の実施形態に係る変形例1の識別ニューラルネットワークを示すモデル図である。
【
図9】本発明の実施形態に係る変形例2のブロック図である。
【
図10】本発明の実施形態に係る変形例2の識別ニューラルネットワークを示すモデル図である。
【発明を実施するための形態】
【0010】
<実施形態の説明-1>
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施形態」と称する)について詳細に説明する。実施形態の説明の全体を通して同じ要素には同じ符号を付している。
【0011】
<実施形態の説明-2:構成>
まず、全体の構成として、搬送部V上に食品B(検出対象物体A)が搬送されてきたことを検出する非破壊食品検出装置1について、
図1および
図4に基づいて説明する。
図1は、本発明の実施形態に係る非破壊食品検出装置1のブロック図である。
図4は、本発明の実施形態に係る非破壊食品検出装置1の三次元配列を示すモデル図である。
【0012】
<非破壊食品検出装置の全体構成-1>
図1に示される非破壊食品検出装置1は、検出部2と、情報処理部3と、検知出力部4と、を備える。この非破壊食品検出装置1での検出を行う検出対象物体Aは、加工前の野菜や果実や、加工後の加工品や調理品、あるいは小分け・充填・包装された包装品などの食品Bである。これらの食品B中に混在し得る異物Fとしては、例えば、果実の実のみを良品とすると、枝葉・萼、毛髪、虫、金属、石などが異物Fであり、さらに、ある食品Bに対して、別の食品も異物Fとなる。また、これらが複合して、異物Fとされることもある。
【0013】
<搬送部の構成-1>
搬送部Vは、検出対象物体Aを上流工程から検出部2での検出工程を経て下流工程へ搬送するもので、ベルトコンベアなどから構成されている。搬送部Vは、2m/分から50m/分程度の搬送速度で検出対象物体Aを搬送する。
【0014】
<検出部の構成-1>
検出部2は、高周波信号発生器21と、伝送線路22と、高周波信号測定器23と、を備える。この伝送線路22は、搬送部Vの上方・下方・側面、あるいはベルトコンベアなどの搬送面直下等に配置され、検出を行う検出対象物体Aから、検出したい食品Bをインラインで検出する。
【0015】
<検出部の構成-2>
高周波信号発生器21と高周波信号測定器23は、例えばベクトル・ネットワーク・アナライザ(VNA)で構成されており、マイクロ波帯(0.1G~100GHz)の高周波信号を発生させ、測定する機能を備える。またこのとき、伝送線路22は、例えばマイクロストリップラインで構成されており、その入力端子から出力端子へ例えばマイクロ波帯の高周波信号が伝送されると、外部周囲の空間にマイクロ波帯の電磁界を発生する。
【0016】
<検出信号の構成-1>
検出信号24は、高周波信号測定器23から出力される高周波信号の生パラメータであり、周波数ごとの振幅241、振幅実数部242、振幅虚数部243、または位相角度244の少なくともいずれか一つを含む。
【0017】
<検出信号の構成-2>
またさらに検出信号24は、振幅241、振幅実数部242、振幅虚数部243、または位相角度244といった生パラメータに含まれるいずれか1つを他の生パラメータいずれか1つで除した除算パラメータや、パラメータの直前測定値との差分(一次微分)やさらにその変化量(二次微分)といった微分パラメータであってもよい。またさらに、測定時の時刻や、コンベアの搬送部Vの検出対象物体Aの搬送速度(例えばロータリーエンコーダで得られたベルトコンベアの搬送速度・位置や、ドライブモータの回転速度)といった属性を加味した検出対象物体Aの位置情報につながる情報を含んでもよい。
【0018】
<情報処理部の構成-1>
情報処理部3について、
図1および
図2に基づいて説明する。情報処理部3は、前処理手段31と、食品検出ニューラルネットワーク33と、比較手段35と、を備える。また一般的にニューラルネットワークは学習により内部の結合係数が変化することから、情報処理部3は、検出したい食品Bによる学習(食品学習段階S100)を完了した場合、食品検出段階S200では、学習済み食品検出ニューラルネットワーク34を備えることになる。
【0019】
<情報処理部の構成-2>
また情報処理部3は、パソコン、マイコン、PLCなどの既知のスタンドアローン情報機器内にプログラムとして組み込んでもよいし、ニューラルネットワークをFPGAに組み込んだり、あるいは、ネットワーク上・クラウド上のサーバにて一部の処理を行わせたりしてもよい。
【0020】
<前処理手段-1>
前処理手段31について、
図4に基づいて説明する。前処理手段31は、検出信号24を、周波数を第1の軸321、検出時刻または検出位置を第2の軸322、パラメータ種別を第3の軸323とした三次元配列32になるよう処理する。また三次元配列32が正規化されたものとなるよう、前処理手段31は、正規化手段を備えても良い。
【0021】
<三次元配列-1>
三次元配列32は、例えば周波数、検出時刻若しくは検出位置、又はパラメータ種別のうちから選択されるものを、三次元の軸とすることができる。以下、三次元配列32の三次元の軸を、周波数を第1の軸321、検出時刻または検出位置を第2の軸322、パラメータ種別を第3の軸323とした構成で説明する。
【0022】
<三次元配列-2>
三次元配列32の第1の軸321は、マイクロ波帯の周波数(0.1G~100GHz)ごとに配列されるが、周波数の大小に応じて配列するに限られない。これは、画像と異なり、周波数の大小に応じて配列したときの隣り合うデータ間に意味はないからである。
【0023】
<三次元配列-3>
三次元配列32の第2の軸322は、検出時刻または検出位置を表す。前処理手段31は、直前までに検出部2から送信された検出信号24を蓄積した直前までの三次元配列32から、第2の軸322に沿って最も古い部分の検出信号24を削除し、新たな検出信号24を同じ量だけ追加することで得られ、三次元配列32の大きさを一定にすることができる。
【0024】
<三次元配列-4>
搬送部Vが検出対象物体Aを一定速度で搬送している場合、検出信号24を時系列順に配置することで、検出位置に応じた三次元配列32を得ることができる。また、検出信号24が検出対象物体Aの搬送速度や位置情報を含む場合、第2の軸322に沿って削除する最も古い部分の削除配列量と、追加する検出信号24の追加配列量とを、搬送速度や位置情報に応じて定めることで、検出位置に応じた三次元配列32を得ることができる。特に検出対象物体Aが重量物である場合、搬送部Vの搬送速度が不安定であるので、検出信号24が検出対象物体Aの搬送速度や位置情報を含む方が好ましい。
【0025】
<三次元配列-5>
三次元配列32の第3の軸323は、検出信号24のパラメータ種別を表す。第1の軸321と第2の軸322とで得られる任意のベクトル(周波数×位置で抽出された一次元配列)に含まれる要素(三次元配列32の成分)は、例えば画素にR・G・Bといった3CH(チャンネル)のデータを含むように、検出信号24に含まれるパラメータ(振幅241、振幅実数部242、振幅虚数部243、または位相角度244といったパラメータ)のうち少なくとも1つを含む。このベクトルは、検出信号24に含まれる生パラメータ・除算パラメータ・微分パラメータ等のうち複数CHのパラメータを含んでも良い。またさらに、これらのパラメータを正規化した値であってもよい。
【0026】
<食品検出ニューラルネットワーク-1>
食品検出ニューラルネットワーク33および学習済み食品検出ニューラルネットワーク34について、
図1と
図5に基づいて説明する。食品検出ニューラルネットワーク33は、次元圧縮手段331と次元復元手段333と、を備えた、再構成の畳み込みニューラルネットワークである。
【0027】
<食品検出ニューラルネットワーク-1>
食品検出ニューラルネットワーク33を、食品学習段階S100において食品Bを用いて学習させ、学習済み食品検出ニューラルネットワーク34が得られる。また同様に、食品検出ニューラルネットワーク33を構成する次元圧縮手段331および次元復元手段333は、食品学習段階S100を経て、学習済み次元圧縮手段341および学習済み次元復元手段343となり、学習済み食品検出ニューラルネットワーク34を構成する。
【0028】
<食品検出ニューラルネットワーク-2>
食品学習段階S100における次元圧縮手段331からの出力が学習時圧縮配列332であり、次元復元手段333からの出力が学習時復元配列334である。食品検出段階S200における学習済み次元圧縮手段341からの出力が検出時圧縮配列342であり、学習済み次元復元手段343からの出力が検出時復元配列344である。
【0029】
<食品検出ニューラルネットワーク-3>
図5で示したように、食品検出ニューラルネットワーク33には、三次元配列32(第2の軸の大きさをCXin、第1の軸の大きさをCYin、第3の軸の大きさをCHinであらわす)を入力する。食品検出ニューラルネットワーク33では、はじめに次元圧縮手段331で、三次元配列32から部分的に切り出したカーネルが取り出され、次に複数のノードをもつニューラルネットワーク層L(CX1×CY1×CH1、などと大きさを表記)で次元圧縮され、次に次元復元手段333で次元復号化される。さらに、カーネルへの取り出しから復号化までを複数回入れ子状に繰り返すことで、より深層の特徴量抽出が可能となる。
【0030】
<食品検出ニューラルネットワーク-4>
次元圧縮手段331での、三次元配列32から部分的に切り出されたらカーネルKn(x、y、c)の大きさについて、特に制限はないが、第1段階目の折り畳み時のカーネルK1の第2の軸322方向に対する大きさは、検出対象物体Aの搬送による変化を捉えやすくなることから、食品Bの大きさ(第2の軸322が検出位置を表す場合)または食品Bが伝送線路22を通過する時間(第2の軸322が検出時刻を表す場合)の1/3以下が好ましい。これより大きい場合、食品Bの通過による検出信号24の変化を捉えにくくなる。また第1段階目の折り畳み時のカーネルK1の第1の軸321および第3の軸333に対ししての切り出しは行わない(入力された三次元配列32の大きさと一致する)方が好ましい。こうすることで、周波数が大きく離れた要素間のまたは異なるパラメータ間の特徴量抽出が可能になる(K1=((食品Bの大きさ/3)以下、CYin、CHin))。
【0031】
<比較手段-1>
比較手段35について、
図1に基づいて、説明する。比較手段35は、食品検出段階S200において、学習済み食品検出ニューラルネットワーク34で再構成された検出時復元配列344と三次元配列32とを比較し、検知信号36を出力する。
【0032】
<比較手段-2>
比較手段35の比較方法は、任意の方法で比較できるが、例えば差分検出手段351で三次元配列32の要素ごとに減算(検出時復元配列344に含まれる要素-三次元配列32に含まれる要素)や除算(検出時復元配列344に含まれる要素/三次元配列32に含まれる要素)して得られた値を要素とする差分配列352を算出して比較することができる。
【0033】
<比較手段-3>
またさらに比較手段35は、差分配列352を算出する場合、検知レベル判定手段355を備えることができる。検知レベル判定手段355では、算出された差分配列352をもとに、検知信号36を出力する。差分配列352から検知信号36への算出は、任意の方法で比較できるが、例えば差分配列352のうち、第1の軸321と第2の軸322とで得られる任意のベクトル(周波数×位置で抽出された一次元配列)のベクトル値が、予め定めたベクトル値の閾値を超えたベクトル数を集計して検知信号36として出力するよう構成することができる。また、別途予め定めたベクトル数の上限値を超えた場合にのみ、検知信号36をON/OFFの2値で出力するといった構成とすることもできる。
【0034】
<検知信号-1>
検知信号36は、検出時復元配列344と三次元配列32とから比較手段35によって得られ、検出時復元配列344と三次元配列32との同等性ないし相違性を表す。
【0035】
<検知信号-2>
検知信号36が示す同等性ないし相違性は、任意の信号とできるが、ON/OFFの2値であってもよいし、同等性ないし相違性を直線的に示すアナログ値または数値を示したデジタル信号でもよいし、同等性ないし相違性を表した配列を意味するデジタル信号でもよい。
【0036】
<検知出力部の構成-1>
検知出力部4は、検知信号36を外部に伝達するための任意の端子や通信装置である。例えば、検知信号36がON/OFFの2値であれば、端子としてレセプタクルのようなリレー出力を伴った電源供給を用いてもよい。こうすることで、搬送部Vの電源として用いて連動させることで、検出したい食品Bが通過する限りは搬送部Vが搬送し続け、学習していない検出対象物体Aが通過したときは搬送を中止することができるようになる。
【0037】
<検知出力部の構成-2>
また例えば、検出時復元配列344と三次元配列32との同等性ないし相違性を表した配列を意味するデジタル信号である場合は、PCとのUSBやEthernet・WiFiを用いた通信でもよいし、PLCとのリンクでもよい。このような端子や通信装置を用いることで、任意の外部機器に接続でき、電波を用いた多元的情報から学習済みの食品が搬送されてきたことを検出して、任意の外部機器を制御することが可能になる。
【0038】
<実施形態の説明-3:段階・ステップ>
プロセスの段階・ステップとして、前準備(S001,S002)、食品学習段階S100、食品検出段階S200について、
図2、
図4および
図5に基づいて説明する。
図2は、本発明の実施形態に係る動作説明用フローチャート図である。
図4は、本発明の実施形態に係る非破壊食品検出装置の三次元配列を示すモデル図である。
図5は、本発明の実施形態に係る非破壊検出装置の食品検出ニューラルネットワークを示すモデル図である。
【0039】
<食品学習段階-1>
食品学習段階S100について、
図2に基づいて、説明する。食品学習段階S100では、食品Bの搬送ステップS101、検出信号の三次元配列化(学習時)ステップS102、食品検出ニューラルネットワークの学習ステップS103、を含む。食品学習段階S100は、食品Bを用いて食品検出ニューラルネットワーク33を学習することで、学習済み食品検出ニューラルネットワーク34を得る工程である。なお食品学習段階S100を開始するまでに、搬送部の作動開始ステップS001と高周波信号の送受信開始ステップS002は行っているものとする。
【0040】
<搬送部の作動開始ステップ-1>
搬送部の作動開始ステップS001において、搬送部Vの搬送を開始する。食品学習段階S100を開始してから搬送部を開始すると、搬送部Vの搬送開始時のノイズを電波として誤って学習してしまうことがある。
【0041】
<高周波信号の送受信開始ステップ-1>
高周波信号の送受信開始ステップS002において、検出部2の高周波信号発生器21と高周波信号測定器23との動作を開始する。以下のステップの説明では、検出部2から常に最新の検出信号24が情報処理部3に送信されているものとする。
【0042】
<食品の搬送ステップ-1>
食品Bの搬送ステップS101において、搬送されてきたことを検出したい食品Bを搬送部Vに載置して、搬送を開始する。搬送された食品Bは、伝送線路22の近傍を通過するときに検出信号24を変化させる。
【0043】
<検出信号の三次元配列化ステップ-1>
検出信号の三次元配列化(学習時)ステップS102において、検出信号24は、まず前処理手段31によって、三次元配列32に前処理される(
図4)。三次元配列32には、例えば、食品Bの伝送線路22への接近、通過、離間が、検出時刻または検出位置を表す第2の軸322に沿って、マイクロ波帯の周波数を表す第1の軸321ごとに、パラメータ種別を表す第3の軸323ごとに、各パラメータが記録される。またこれらのパラメータは、後のニューラルネットワークで処理しやすいよう、0~1の実数に正規化した値とする。
【0044】
<食品検出ニューラルネットワークの学習ステップ-1>
食品検出ニューラルネットワークの学習ステップS103において、搬送部Vのみが稼働して何も搬送されない状態の検出信号24と、食品Bが搬送された状態の検出信号24とを用いて、食品検出ニューラルネットワーク33が学習される。この学習は、食品Bの搬送ステップS101から食品検出ニューラルネットワークの学習ステップS103を繰り返すことで、より多様なデータから「何も搬送されない状態と、食品Bが搬送された状態と」が学習される。
【0045】
<食品検出ニューラルネットワークの学習ステップ-2>
具体的には、食品検出ニューラルネットワーク33に入力された三次元配列32は、
図5で示したように、カーネルK
1に切り出されてニューラルネットワーク層L
1に畳み込まれる。このカーネルK
nに切り出してニューラルネットワーク層L
nを得ることを繰り返し、学習時圧縮配列332が得られる。さらに学習時圧縮配列332は、逆畳み込みニューラルネットワーク層を複数回繰り返して、学習時復元配列334を得る。
【0046】
<食品検出ニューラルネットワークの学習ステップ-3>
次に、得られた学習時復元配列334が、元に入力された三次元配列32と極力一致するように、つまり差分を表す損失関数が極力低くなるように、食品検出ニューラルネットワーク33が誤差逆伝播法で学習される。この時の損失関数は、BCE(Binary Cross-entropy)といった損失関数が利用できる。
【0047】
<食品検出ニューラルネットワークの学習ステップ-4>
複数の食品Bに対して、および/もしくは、各食品Bを繰り返し搬送することで、食品Bの搬送S101を複数行い、各回で得られた三次元配列32をもとに、食品検出ニューラルネットワーク33が誤差逆伝播法で学習され、学習済み食品検出ニューラルネットワーク34が得られる(S104)。
【0048】
<食品検出段階-1>
食品検出段階S200について、
図2に基づいて説明する。食品検出段階S200では、検出対象物体Aの搬送ステップS201、検出信号の三次元配列化(検出時)ステップS202、検出時復元配列の算出ステップS203、三次元配列との差分計算ステップS204、差分の判定ステップS205、「食品あり」とされたときの検知出力ステップS210、を含む。食品検出段階S200は、学習済み食品検出ニューラルネットワーク34を用いて、「何も搬送されない状態」であったり、未知の検出対象物体Aが「学習済みの食品B」であったりするか、それとも「その他の物体」であるか、判定を得る工程である。なお食品検出段階S200を開始するまでに、搬送部の作動開始ステップS001と高周波信号の送受信開始ステップS002は行っているものとする。
【0049】
<物体の搬送ステップ-1>
検出対象物体Aの搬送ステップS201において、学習した食品Bか否かを検出したい検出対象物体Aを搬送部Vに載置して、搬送を開始する。搬送された検出対象物体Aは、伝送線路22の近傍を通過するときに検出信号24を変化させる。
【0050】
<検出信号の三次元配列化ステップ-1>
検出信号の三次元配列化(検出時)ステップS202においては、検出信号の三次元配列化(学習時)ステップS102と同様に、搬送された検出対象物体Aによって変化する検出信号24は、まず前処理手段31によって、検出対象物体Aによって得られた三次元配列32に前処理される。
【0051】
<検出時復元配列の算出ステップ-1>
検出時復元配列の算出ステップS203において、検出対象物体Aによって得られた三次元配列32は、学習済み食品検出ニューラルネットワーク34に入力され、検出時復元配列344が出力される。
【0052】
<検出時復元配列の算出ステップ-2>
このとき、
図5で示されるように、学習済み食品検出ニューラルネットワーク34に含まれる学習済み次元圧縮手段341からは検出時圧縮配列342が出力され、出力された検出時圧縮配列342は学習済み次元復元手段343に入力され、検出時復元配列344が出力される。ここで得られた検出時復元配列344は、検出対象物体Aが仮に食品Bであったとした場合に得られる三次元配列32を学習済み食品検出ニューラルネットワーク34で推論した配列である。
【0053】
<三次元配列との差分計算ステップ-1>
三次元配列との差分計算ステップS204において、三次元配列32と検出時復元配列344との差分を計算する。差分の計算方法としては、三次元配列32の総ベクトル値と検出時復元配列344の総ベクトル値との減算など、任意の方法で比較できるが、たとえば差分検出手段351で三次元配列32の要素ごとに算出された差分配列352を算出することもできる。
【0054】
<差分の判定ステップ-1>
差分の判定ステップS205において、三次元配列32と検出時復元配列344との差分に基づき、検出対象物体Aが食品Bと判定されるか否か、計算される。これは、「食品Bによる三次元配列32」と「検出対象物体Aが仮に食品Bであったとした場合に得られる三次元配列32(学習済み食品検出ニューラルネットワーク34による推論で得られた検出時復元配列344)」とが一致すると考えられるからである。
【0055】
<検知出力ステップ-1>
検知出力ステップS210において、検出対象物体Aが食品Bと判定された場合に、検知出力部4を通じて外部機器に信号を伝達する。これにより外部機器が、例えばコンベアの運転を停止する/継続する、傾斜コンベアを下げる/上げる、物体押出しシリンダーを出す/動作させない、といった選別を行ったり、単純なカウントを行ったりすることが可能となる。
【0056】
<検知出力ステップ-2>
また検知出力ステップS210の完了後、装置の動作を停止しても良いし、搬送部Vが稼働する限り検出対象物体Aの搬送ステップS201に戻って、以上の動作を繰り返しても良い。
【0057】
<実施形態の効果-1>
以上、説明した実施形態の効果について述べる。
実施形態の非破壊食品検出装置1は、非破壊食品検出装置1が検出部2、情報処理部3、検知出力部4からなり、検出部2は、高周波信号発生器21、伝送線路22、高周波信号測定器23、とからなって、検出信号24を情報処理部3に送信し、検出信号24は、周波数ごとの振幅241、振幅実数部242、振幅虚数部243、または位相角度244の少なくともいずれか一つを含み、情報処理部3は、前処理手段31と、次元圧縮手段331と次元復元手段333とを備えた食品検出ニューラルネットワーク33と、比較手段35とで構成され、前処理手段31は、検出信号24を三次元配列32に前処理し、食品学習段階S100で、三次元配列32を次元圧縮手段331に入力したときの次元復元手段333からの出力である学習時復元配列334と、三次元配列32との差が最小となるよう、食品検出ニューラルネットワーク33を学習して学習済み食品検出ニューラルネットワーク34を得て、食品検出段階S200で、三次元配列32を学習済み食品検出ニューラルネットワーク34に入力したときの出力である検出時復元配列344を出力し、比較手段35は、三次元配列32と検出時復元配列344との差分配列352を検出し、差分配列352が、予め設定していた許容限界より大きい場合に、検知出力部4に検知信号36を送信するものである。これにより、電波を用いた多元的情報から学習済みの食品が搬送されてきたことを検出することができる。
【0058】
<変形例1の構成-1>
また、上記実施形態では、比較手段35が、差分配列352を入力する識別ニューラルネットワーク353をさらに備える構成とし、検出対象物体Aが食品Bである場合であってさらに異物Fnが食品Bに付着・混入していた場合に、その異物Fnが何であるか、予め教師あり学習した異物Fnの識別ニューラルネットワーク353から推論することを可能にしてもよい。
【0059】
<変形例1の構成-2>
このような場合は、
図6に示すように、差分検出手段351から出力される差分配列352を識別ニューラルネットワーク353に入力し、識別ニューラルネットワーク353からの出力である異物種別ベクトル354を検知レベル判定手段355に入力するように構成すればよい。
【0060】
<変形例1の構成-3>
このような場合は、
図7に示すように、識別ニューラルネットワーク353は、差分配列352を初段のニューラルネットワーク層Lとした、畳み込みニューラルネットワークを構成し、最終段のニューラルネットワーク層Lを、教師あり学習させたい異物の種類nだけ要素を有する異物種別ベクトル354とすればよい。
【0061】
<変形例1の学習済み識別ニューラルネットワークを得る工程-1>
またこのような識別ニューラルネットワーク353を学習で得る工程である異物学習段階S300としては、
図7に示すように、食品学習段階S100を経たのちに、食品Bと異物F
1の搬送ステップS311、検出信号の三次元配列化(検出時)ステップS312、検出時復元配列の算出ステップS313、三次元配列との差分計算ステップS314、識別ニューラルネットワークの学習ステップS315、を経て異物F
1学習済み識別ニューラルネットワークS316を得ることができる。またさらに、教師あり学習させたい異物の種類nが複数である場合、同様に繰り返す異物F
nの搬送ステップS3n1~識別ニューラルネットワークの学習ステップS3n5を経て、異物F
n学習済み識別ニューラルネットワークS3n6を得ればよい。
【0062】
<変形例1の食品Bと異物F1の搬送ステップ-1>
食品Bと異物F1の搬送ステップS311において、食品学習段階S100で学習済みの食品Bに、異物F1を付着または混入させて、搬送部Vで搬送させる。
【0063】
<変形例1の検出信号の三次元配列化ステップ-1>
検出信号の三次元配列化(検出時)ステップS312は、検出信号の三次元配列化(検出時)ステップS202と同様である。
【0064】
<変形例1の検出時復元配列の算出ステップ-1>
検出時復元配列の算出ステップS313は、検出時復元配列の算出ステップS203と同様である。
【0065】
<変形例1の三次元配列との差分計算ステップ-1>
三次元配列との差分計算ステップS314は、三次元配列との差分計算ステップS204と同様である。
【0066】
<変形例1の識別ニューラルネットワークの学習ステップ-1>
識別ニューラルネットワークの学習ステップS315において、識別ニューラルネットワーク353は、差分配列352を入力とし、該当する異物F1を示す要素のみ1とし、かつその他の要素を0とした異物種別ベクトル354を用いて、誤差逆伝播法で教師あり学習される。なお、教師あり学習させたい異物の種類n種である場合、異物種別ベクトル354の要素の数はn個である。例えば、3種の異物(アオムシ、カメムシ、石)を学習させる場合でカメムシを付着させた学習時の異物種別ベクトル354は(0,1,0)であらわされる。
【0067】
<変形例1の識別ニューラルネットワークの推論ステップ-1>
上記のような学習を、教師あり学習させたい異物の種類nだけ繰り返して得られた識別ニューラルネットワーク353を用いることで、識別ニューラルネットワーク353を用いた異物検出段階S400において、教師あり学習済みの異物Fnの付着を検出し、検知出力S210で異物付着情報を検知出力部4から外部機器に伝達する。
【0068】
<変形例1の効果-1>
上記変形例1のような構成とすることで、
図3に示すように、電波を用いた多元的情報から、異物の付着有無、あるいは付着していた場合には異物種別を区別して、検出することが可能になり、これらの情報に応じた外部機器の制御が可能となる。例えば、検出信号24に位相角度244が含まれることで、異物F
nの付着した食品Bの電離速度の差異を検出することが可能になる。またさらに、検出信号24に周波数ごとの振幅241が含まれることで、異物F
nの大きさに応じた吸収波長λの違いを検出できるようになる。これらを組み合わせて、付着しているものが石であれば搬送部Vを運転させたまま排除する、カメムシであれば搬送部Vを停止させて警報を鳴らす、といった外部機器の制御が可能となる。
【0069】
<変形例2の構成-1>
また、上記実施形態では、
図9に示すように、学習済み食品検出ニューラルネットワーク34の学習済み次元圧縮手段341からの出力である検出時圧縮配列342を識別ニューラルネットワーク353に入力してもよい。
【0070】
<変形例2の構成-2>
このような場合は、
図10に示すように、識別ニューラルネットワーク353は、差分配列352を初段のニューラルネットワーク層Lとし、畳み込みニューラルネットワークを経た中段のニューラルネットワーク層Lに検出時圧縮配列342を加えて再度畳み込みニューラルネットワークを経て、最終段のニューラルネットワーク層Lを、教師あり学習させたい異物の種類nだけ要素を有する異物種別ベクトル354と構成してもよいし、またはすればよい。
【0071】
<変形例2の効果-1>
上記変形例2のような構成とすることで、識別ニューラルネットワーク353は、差分配列352とあわせて、三次元配列32の情報が特徴量として集約した情報を用いて、効率的に学習することが可能となる。
【0072】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。また、その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0073】
(付記)
(1)本実施形態の非破壊食品検出装置は、搬送部で搬送される食品を検出する非破壊食品検出装置であって、高周波信号発生器と、伝送線路と、高周波信号測定器とを備え、周波数ごとの振幅、振幅実数部、振幅虚数部、または位相角度の少なくともいずれか一つを含む検出信号を出力する検出部と、前記検出信号を三次元配列に前処理する前処理手段と、前記前処理手段が出力する前記三次元配列の次元を圧縮する次元圧縮手段と、前記次元圧縮手段が圧縮した次元を復元する次元復元手段と、食品学習段階において、前記三次元配列を前記次元圧縮手段に入力したときの前記次元復元手段からの出力である学習時復元配列と、前記三次元配列との差が小さくなるように食品検出ニューラルネットワークを学習させることにより得られる学習済み食品検出ニューラルネットワークとを含む情報処理部とを備える。
(2)本実施形態の非破壊食品検出装置の前記情報処理部は、食品検出段階において、前記三次元配列を前記学習済み食品検出ニューラルネットワークに入力したときの出力である検出時復元配列と、前記三次元配列との差分を検出し、前記差分が、予め設定していた許容限界より大きい場合に、前記検知出力部に信号を送信する比較手段をさらに備える。
(3)本実施形態の非破壊食品検出装置の前記比較手段は、前記差分を入力する識別ニューラルネットワークをさらに備える。
(4)本実施形態の非破壊食品検出装置は、前記学習済み食品検出ニューラルネットワークの学習済み次元圧縮手段からの出力である検出時圧縮配列を前記識別ニューラルネットワークに入力する。
【符号の説明】
【0074】
1 非破壊食品検出装置
2 検出部
21 高周波信号発生器
22 伝送線路
23 高周波信号測定器
24 検出信号
241 振幅
242 振幅実数部
243 振幅虚数部
244 位相角度
3 情報処理部
31 前処理手段
32 三次元配列
321 第1の軸(周波数)
322 第2の軸(検出時刻または検出位置)
323 第3の軸(パラメータ種別)
33(34) 食品検出ニューラルネットワーク(学習済み食品検出ニューラルネットワーク)
331(341) 次元圧縮手段(学習済み次元圧縮手段)
332(342) 学習時圧縮配列(検出時圧縮配列)
333(343) 次元復元手段(学習済み次元復元手段)
334(344) 学習時復元配列(検出時復元配列)
35 比較手段
351 差分検出手段
352 差分配列
353 識別ニューラルネットワーク
354 異物種別ベクトル
355 検知レベル判定手段
36 検知信号
4 検知出力部
A 検出対象物体
B 食品
F(Fn) 異物(nは種別ごとに仮に付番した番号)
V 搬送部
L(Ln) ニューラルネットワーク層(nは中間のニューラルネットワーク層の番号)
K(Kn) カーネル(nはニューラルネットワーク層Lnに向けて切り出されるカーネルの番号)
S100 食品学習段階
S200 食品検出段階
S300 異物学習段階
S400 異物検出段階