特許 6788091 検査装置および検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6788091

(24)【登録日】2020年11月2日

(45)【発行日】2020年11月18日

(54)【発明の名称】検査装置および検査方法

(51)【国際特許分類】

   G01N 21/27 20060101AFI20201109BHJP

   G01N 21/359 20140101ALI20201109BHJP

   G01N 21/3563 20140101ALI20201109BHJP

   G01N 21/85 20060101ALI20201109BHJP

【ＦＩ】

   G01N21/27 A

   G01N21/359

   G01N21/3563

   G01N21/85 Z

【請求項の数】13

【全頁数】15

(21)【出願番号】特願2019-205500(P2019-205500)

(22)【出願日】2019年11月13日

【審査請求日】2020年9月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000003274

【氏名又は名称】マルハニチロ株式会社

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】菊地 翼

【審査官】 小野寺 麻美子

(56)【参考文献】

【文献】 特開２０１９−７４３２４（ＪＰ，Ａ）

【文献】 特開２０１５−２１９０９０（ＪＰ，Ａ）

【文献】 特開２０１４−１４５６３９（ＪＰ，Ａ）

【文献】 特開２０１２−４１０８３（ＪＰ，Ａ）

【文献】 特開２０１３−２４６５３（ＪＰ，Ａ）

【文献】 特開２０１９−１２８２９５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１８／０２８４０９１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／００ − Ｇ０１Ｎ ２１／０１

Ｇ０１Ｎ ２１／１７ − Ｇ０１Ｎ ２１／６１

Ｇ０１Ｎ ２１／８４ − Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００ − Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００ − Ｇ０６Ｔ ９／４０

Ｇ０１Ｖ １／００ − Ｇ０１Ｖ ９９／００

(57)【特許請求の範囲】

【請求項1】

対象物を撮像して該対象物の可視画像および近赤外画像を取得する第１の撮像部と、
前記第１の撮像部が取得した近赤外画像を波長に基づいて加工する加工部と、
前記第１の撮像部が取得した可視画像と、前記加工部が加工した画像である加工画像とを合成する画像合成部と、
前記画像合成部が合成した画像と判定基準とを比較して、該比較の結果に基づいて、前記対象物の中の所定の具材の有無を判定する判定部とを有する検査装置。

【請求項2】

請求項１に記載の検査装置において、
前記対象物を撮像して該対象物の可視画像を取得する第２の撮像部を有し、
前記画像合成部は、前記第２の撮像部が取得した可視画像と、前記加工部が加工した画像である加工画像とを合成する検査装置。

【請求項3】

請求項１に記載の検査装置において、
前記画像合成部は、前記第１の撮像部が取得した可視画像と、前記加工部が加工した加工画像とを、所定の割合で合成する検査装置。

【請求項4】

請求項１から３のいずれか１項に記載の検査装置において、
前記加工部は、前記近赤外画像を波長に応じた色を用いて着色する検査装置。

【請求項5】

請求項４に記載の検査装置において、
前記加工部は、所定の波長を吸収する箇所を第１の色に着色し、それ以外の箇所を前記第１の色とは異なる第２の色に着色し、
前記判定部は、前記第１の色に着色された箇所と前記第２の色に着色された箇所と前記判定基準とに基づいて、前記具材の有無を判定する検査装置。

【請求項6】

請求項１から５のいずれか１項に記載の検査装置において、
前記判定部が判定した結果を出力する出力部を有する検査装置。

【請求項7】

請求項６に記載の検査装置において、
前記出力部は、前記判定部が判定した結果および前記判定基準と比較した画像を出力する検査装置。

【請求項8】

請求項６または請求項７に記載の検査装置において、
当該検査装置の外部から受け付けた操作に基づいて情報を入力する入力部と、
前記判定部が前記判定基準と比較した画像を示す画像情報と、前記出力部が出力した結果情報と、該結果情報に対して前記入力部が入力した入力情報とを対応付けて記憶するデータベースとを有し、
前記判定部は、前記データベースに記憶された対応付けに基づいて、前記判定基準を更新していく検査装置。

【請求項9】

請求項１から８のいずれか１項に記載の検査装置において、
前記判定部が、前記対象物の中に前記具材が無いと判定した場合、該対象物を所定の検査ラインから排除する排除部を有する検査装置。

【請求項10】

請求項１から９のいずれか１項に記載の検査装置において、
前記第１の撮像部は、ハイパースペクトルカメラを用いて前記対象物を撮像して該対象物の近赤外画像を取得する検査装置。

【請求項11】

請求項１０に記載の検査装置において、
前記加工部は、前記ハイパースペクトルカメラを用いて撮像した画像のうち、所定の波長を吸収する箇所を所定の色に着色する検査装置。

【請求項12】

請求項１から１１のいずれか１項に記載の検査装置において、
前記判定部は、前記対象物の中の前記具材であるエビの有無を判定する検査装置。

【請求項13】

対象物を撮像して該対象物の可視画像および近赤外画像を取得する処理と、
前記取得した近赤外画像を波長に基づいて加工する処理と、
前記取得した可視画像と、前記加工した画像である加工画像とを合成する処理と、
前記合成した画像と判定基準とを比較する処理と、
前記比較の結果に基づいて、前記対象物の中の所定の具材の有無を判定する処理とを行う検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置および検査方法に関する。

【背景技術】

【0002】

一般的に、所望の具材を投入して食品を完成させる食品加工の分野において、その完成品にその具材が入っているかどうかを目視によって検査している。また、検査対象品となる完成品の画像を撮像し、可視光線の２つの波長の画像のスペクトル強度から具材を識別する技術が考えられている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９−７４３２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載された技術においては、可視光線の波長の画像を用いるものであるが、それらのスペクトル強度に基づいて、互いに類似する色彩の具材等を識別するだけであって、具材が入っているかどうかを正確に検知することは困難であるという問題点がある。

【0005】

本発明の目的は、完成品に所望の具材が入っているかどうかを目視によらずに正確に識別することができる検査装置および検査方法を提供することにある。

【課題を解決するための手段】

【0006】

本発明の検査装置は、
対象物を撮像して該対象物の可視画像および近赤外画像を取得する第１の撮像部と、
前記第１の撮像部が取得した近赤外画像を波長に基づいて加工する加工部と、
前記第１の撮像部が取得した可視画像と、前記加工部が加工した画像である加工画像とを合成する画像合成部と、
前記画像合成部が合成した画像と判定基準とを比較して、該比較の結果に基づいて、前記対象物の中の所定の具材の有無を判定する判定部とを有する。

【0007】

また、本発明の検査方法は、
対象物を撮像して該対象物の可視画像および近赤外画像を取得する処理と、
前記取得した近赤外画像を波長に基づいて加工する処理と、
前記取得した可視画像と、前記加工した画像である加工画像とを合成する処理と、
前記合成した画像と判定基準とを比較する処理と、
前記比較の結果に基づいて、前記対象物の中の所定の具材の有無を判定する処理とを行う。

【発明の効果】

【0008】

本発明においては、完成品に所望の具材が入っているかどうかを目視によらずに正確に識別することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の検査装置の第１の実施の形態を示す図である。

【図2】図１に示した検査装置における検査方法の一例を説明するためのフローチャートである。

【図3】本発明の検査装置の第２の実施の形態を示す図である。

【図4】図３に示した検査装置における検査方法の一例を説明するためのフローチャートである。

【図5】本発明の検査装置の第３の実施の形態を示す図である。

【図6】図５に示した出力部における出力態様の一例を示す図である。

【図7】図５に示した検査装置における検査方法の一例を説明するためのフローチャートである。

【図8】本発明の検査装置の第４の実施の形態を示す図である。

【図9】図８に示した排除部の動きの一例を示す図である。

【図10】図８に示した排除部の動きの一例を示す図である。

【図11】図８に示した検査装置における検査方法の一例を説明するためのフローチャートである。

【図12】本発明の検査装置の第５の実施の形態を示す図である。

【図13】図１２に示した入力部の入力態様の一例を示す図である。

【図14】図１２に示したデータベースに記憶されている対応付けの一例を示す図である。

【図15】図１２に示した検査装置における検査方法の一例を説明するためのフローチャートである。

【発明を実施するための形態】

【0010】

以下に、本発明の実施の形態について図面を参照して説明する。
（第１の実施の形態）

【0011】

図１は、本発明の検査装置の第１の実施の形態を示す図である。本形態における検査装置１００は図１に示すように、撮像部１２０と、加工部１３０と、画像合成部１４０と、判定部１５０とを有する。なお、図１には、本発明の検査装置が具備する構成要素のうち、本形態にかかわる主要な要素のみを示している。

【0012】

撮像部１２０は、対象物を撮像して対象物の画像を取得する第１の撮像部である。このとき、撮像部１２０は、ハイパースペクトルカメラを用いて対象物を撮像して対象物の可視画像および近赤外画像を取得する。

【0013】

加工部１３０は、撮像部１２０が取得した近赤外画像を波長に基づいて加工する。加工部１３０は、所定のソフトウェアを用いて、近赤外画像を加工する。ここで加工部１３０が行う加工は、例えば、互いに異なる波長間の差が大きくなるように波長に応じた色に着色する加工である。ここで、互いに異なる波長間の差が大きくなるような波長に応じた色とは、例えば、赤色（波長：７００ｎｍ）と緑色（波長：５５０ｎｍ）との色（波長）の組み合わせが挙げられる。

【0014】

画像合成部１４０は、撮像部１２０が取得した可視画像と、加工部１３０が加工した画像である加工画像とを合成する。このとき、画像合成部１４０は、撮像部１２０が取得した可視画像と、加工部１３０が加工した加工画像とを、所定の割合で合成する。例えば、撮像部１２０が取得した可視画像を約８０％とし、加工部１３０が加工した加工画像を約２０％として、画像合成部１４０が可視画像と加工画像とを合成すると、判定部１５０が判定しやすい画像が得られる。なお、この割合は、上述したように８０％と２０％とが好ましいが、その割合の値から所定の値分、増減した値であっても良い。

【0015】

判定部１５０は、画像合成部１４０が合成した画像と判定基準とを比較して、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する。なお、有無が判定される具材として、エビ等の食材が挙げられる。また、判定基準は、対象物の過去に判定を行った画像およびその判定結果から得られた学習データ（学習モデル）である。

【0016】

以下に、図１に示した判定部１５０における判定方法について、いくつか例を挙げて説明する。例えば、判定部１５０は、加工部１３０が加工した画像の中にＲＧＢの値が判定基準として設定されている範囲内にあるものが存在する場合、対象物の中に具材があると判定するものであっても良い。また、判定部１５０は、対象物の中の具材以外の箇所の色（例えば、ＲＧＢの値。以下、同じ）と具材の色との差異が、判定基準として設定されている範囲を超えている場合、その部分が具材に相当すると判定するものであっても良い。また、判定部１５０は、対象物のある部分の色とその周囲の部分との色の差異が、判定基準として設定されている範囲を超えている場合、その部分が具材に相当すると判定するものであっても良い。また、判定部１５０は、例えば、画像合成部１４０が合成した画像の配色や所定の色に着色された箇所の全体に対する相対位置や大きさと、判定基準である、対象物の中に具材がある画像および具材が無い画像の配色や所定の色に着色された箇所の全体に対する相対位置や大きさとを比較し、それらの互いの差異が所定の範囲に含まれるかどうかを判定する。そして、判定部１５０は、この差異が所定の範囲に含まれるかどうかに基づいて、対象物の中の所定の具材の有無を判定するものであっても良い。

【0017】

以下に、図１に示した検査装置１００における検査方法について説明する。図２は、図３に示した検査装置１００における検査方法の一例を説明するためのフローチャートである。

【0018】

まず、撮像部１２０が対象物を撮像して、対象物の可視画像および近赤外画像を取得する（ステップＳ１）。続いて、加工部１３０が、撮像部１２０が取得した近赤外画像をその波長に基づいて加工する（ステップＳ２）。すると、画像合成部１４０が、撮像部１２０が取得した可視画像と、加工部１３０が加工した画像である加工画像とを合成する（ステップＳ３）。続いて、判定部１５０が、画像合成部１４０が合成した画像と判定基準とを比較し、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する（ステップＳ４）。

【0019】

このように、検査装置１００は、対象物の可視画像と近赤外画像とを取得し、取得した近赤外画像をその波長に基づいて加工し、可視画像と加工した近赤外画像とを合成し、合成した画像と、判定基準とに基づいて、対象物の中の具材の有無を判定する。そのため、完成品に所望の具材が入っているかどうかを目視によらずに正確に識別することができる。
（第２の実施の形態）

【0020】

図３は、本発明の検査装置の第２の実施の形態を示す図である。本形態における検査装置１０１は図３に示すように、撮像部１１１，１２１と、加工部１３１と、画像合成部１４１と、判定部１５１とを有する。なお、図３には、本発明の検査装置が具備する構成要素のうち、本形態にかかわる主要な要素のみを示している。

【0021】

撮像部１１１は、対象物を撮像して対象物の可視画像を取得する第２の撮像部である。撮像部１２１は、対象物を撮像して対象物の近赤外画像を取得する第１の撮像部である。撮像部１２１は、ハイパースペクトルカメラを用いて対象物を撮像して対象物の近赤外画像を取得する。具体的には、撮像部１２１は、ハイパースペクトルカメラを用いて、光を波長ごとに分光して撮像した画像のうち、近赤外線の波長のものを取得する。ここで、本発明は、識別対象となる具材の中に水分が多く含まれていることに着目して、水分が多く含まれる箇所を検出する手段を用いる。例えば、水分は波長が９７０ｎｍ付近の光を吸収する性質があるため、その波長を領域に含む近赤外線の画像を検出手段として用いるものでも良い。近赤外画像では、水分の多い箇所が黒い画像となる。ここで用いるハイパースペクトルカメラは、波長が７００〜１０１０ｎｍのものをターゲットとする。なお、水分は波長が１４５０ｎｍや１９４０ｎｍ付近の光も吸収するが、本形態においては、９７０ｎｍ付近のものを対象とする。このように、近赤外画像で所定の濃度（色）となっている部分が、水分含量がより多い部分であると認識される。

【0022】

加工部１３１は、撮像部１２１が取得した近赤外画像を波長に基づいて加工する。加工部１３１は、例えば、撮像部１２１が取得した近赤外画像を波長に応じた色を用いて着色する。具体的には、加工部１３１は、ハイパースペクトルカメラを用いて撮像した画像のうち、所定の波長を吸収する箇所を所定の色に着色する。このとき、加工部１３１は、所定の波長を吸収する箇所を他の箇所よりも目立たせる、または区別しやすいような色（例えば、それらの波長の箇所に着色する色を示すそれぞれの数値の互いの差が所定の値を超える色）を用いて着色するものが好ましい。上述したように、本発明のおいては、水分の多い箇所を具材として検出することを目的としていることから、加工部１３１は、波長が９７０ｎｍ付近の光を吸収する箇所を所定の色（第１の色）に着色する。なお、加工部１３１は、対象物のそれ以外の箇所について、第１の色とは異なる第２の色を用いて着色する。

【0023】

画像合成部１４１は、撮像部１１１が取得した可視画像と、加工部１３１が加工した画像である加工画像とを合成する。このとき、画像合成部１４１は、撮像部１１１が取得した可視画像と、加工部１３１が加工した加工画像とを、所定の割合（例えば、８０％と２０％）で合成する。

【0024】

判定部１５１は、画像合成部１４１が合成した画像と判定基準とを比較して、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する。なお、有無が判定される具材として、エビ等の食材が挙げられる。また、判定基準は、画像の特徴を示す特徴量であって、対象物の過去に判定を行った画像およびその判定結果から得られた学習データ（学習モデル）である。

【0025】

以下に、図３に示した加工部１３１における加工方法について、一例を挙げて説明する。加工部１３１は、所定の解析ソフトウェア（例えば、ｐｅｒｃｅｐｔｉｏｎ ｓｔｕｄｉｏ／ｃｏｒｅ）を用いて、近赤外画像を加工する。加工部１３１は、波長が９７０ｎｍ付近の光を吸収する箇所とそれ以外の箇所とを互いに異なる色でマーキング（着色）する。このマーキングの色は、例えば、波長が９７０ｎｍ付近の光を吸収する箇所が赤色、それ以外の箇所が緑色といった、そのマーキング間で識別しやすい色が好ましい。このように、加工部１３１が加工対象を識別するためにスペクトル（波長）の値を用いる。加工部１３１が波長を識別する際、近赤外画像の所定の単位（例えば、画素）当たりの波長を識別するものであっても良いし、所定の波長範囲に含まれるエリアを近赤外画像から識別するものであっても良い。

【0026】

以下に、図３に示した判定部１５１における判定方法について、いくつか例を挙げて説明する。例えば、判定部１５１は、画像合成部１４１が合成した画像の中にＲＧＢの値が判定基準として設定されている範囲内にあるものが存在する場合、対象物の中に具材があると判定するものであっても良い。また、判定部１５１は、対象物の中の具材以外の箇所の色（例えば、ＲＧＢの値。以下、同じ）と具材の色との差異が、判定基準として設定されている範囲を超えている場合、その部分が具材に相当すると判定するものであっても良い。また、判定部１５１は、対象物のある部分の色とその周囲の部分との色の差異が、判定基準として設定されている範囲を超えている場合、その部分が具材に相当すると判定するものであっても良い。また、判定部１５１は、例えば、画像合成部１４１が合成した画像の配色や所定の色に着色された箇所の全体に対する相対位置や大きさと、判定基準である、対象物の中に具材がある画像および具材が無い画像の配色や所定の色に着色された箇所の全体に対する相対位置や大きさとを比較し、それらの互いの差異が所定の範囲に含まれるかどうかを判定する。そして、判定部１５１は、この差異が所定の範囲に含まれるかどうかに基づいて、対象物の中の所定の具材の有無を判定するものであっても良い。また、判定部１５１が判定に用いる判定基準（特徴量）としては、上述したような色のほか、例えば、形状、大きさ、対象物における相対位置等である。

【0027】

以下に、図３に示した検査装置１０１における検査方法について説明する。図４は、図３に示した検査装置１０１における検査方法の一例を説明するためのフローチャートである。

【0028】

まず、撮像部１１１が対象物を撮像して、対象物の可視画像を取得する（ステップＳ１１）。また、撮像部１２１が対象物を撮像して、対象物の近赤外画像を取得する（ステップＳ１２）。このステップＳ１１の処理とステップＳ１２の処理との順序は特に規定しない。続いて、加工部１３１が、撮像部１２１が取得した近赤外画像をその波長に基づいて加工する（ステップＳ１３）。すると、画像合成部１４１が、撮像部１１１が取得した可視画像と、加工部１３１が加工した加工画像とを合成する（ステップＳ１４）。続いて、判定部１５１が、画像合成部１４１が合成した画像と判定基準とを比較し、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する（ステップＳ１５）。

【0029】

このように、検査装置１０１は、対象物の可視画像と近赤外画像とを取得し、取得した近赤外画像をその波長に基づいて加工し、可視画像と加工画像とを合成した画像と、判定基準とに基づいて、対象物の中の具材の有無を判定する。そのため、完成品に所望の具材が入っているかどうかを目視によらずに正確に識別することができる。
（第３の実施の形態）

【0030】

図５は、本発明の検査装置の第３の実施の形態を示す図である。本形態における検査装置１０２は図５に示すように、撮像部１１１，１２１と、加工部１３１と、画像合成部１４１と、判定部１５１と、出力部１６２とを有する。なお、図５には、本発明の検査装置が具備する構成要素のうち、本形態にかかわる主要な要素のみを示している。

【0031】

撮像部１１１，１２１、加工部１３１、画像合成部１４１および判定部１５１は、第２の実施の形態と同じものである。

【0032】

出力部１６２は、判定部１５１が判定した結果を出力する。このとき、出力部１６２は、判定部１５１が判定した結果と画像合成部１４１が合成した画像とを出力するものであっても良い。

【0033】

図６は、図５に示した出力部１６２における出力態様の一例を示す図である。図５に示した出力部１６２は図６に示すように、判定部１５１が行った結果、完成品に具材である「エビ」が入っていないこと、または「エビ」が入っていることを表示する。図６に示した出力態様は、情報の表示であるが、情報の印刷や、他の装置への送信、音声の出力、判定の結果に応じた音出力や振動、発光等であっても良い。

【0034】

以下に、図５に示した検査装置１０２における検査方法について説明する。図７は、図５に示した検査装置１０２における検査方法の一例を説明するためのフローチャートである。

【0035】

まず、撮像部１１１が対象物を撮像して、対象物の可視画像を取得する（ステップＳ２１）。また、撮像部１２１が対象物を撮像して、対象物の近赤外画像を取得する（ステップＳ２２）。このステップＳ２１の処理とステップＳ２２の処理との順序は特に規定しない。続いて、加工部１３１が、撮像部１２１が取得した近赤外画像をその波長に基づいて加工する（ステップＳ２３）。すると、画像合成部１４１が、撮像部１１１が取得した可視画像と、加工部１３１が加工した加工画像とを合成する（ステップＳ２４）。続いて、判定部１５１が、画像合成部１４１が合成した画像と判定基準とを比較し、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する（ステップＳ２５）。すると、出力部１６２が、判定部１５１における判定結果を出力する（ステップＳ２６）。

【0036】

このように、検査装置１０２は、対象物の可視画像と近赤外画像とを取得し、取得した近赤外画像をその波長に基づいて加工し、可視画像と加工画像とを合成した画像と、判定基準とに基づいて、対象物の中の具材の有無を判定する。そして、検査装置１０２は、判定結果を出力する。そのため、完成品に所望の具材が入っているかどうか正確な検査結果を認識することができる。
（第４の実施の形態）

【0037】

図８は、本発明の検査装置の第４の実施の形態を示す図である。本形態における検査装置１０３は図８に示すように、撮像部１１１，１２１と、加工部１３１と、画像合成部１４１と、判定部１５１と、排除部１７３とを有する。なお、図８には、本発明の検査装置が具備する構成要素のうち、本形態にかかわる主要な要素のみを示している。

【0038】

撮像部１１１，１２１、加工部１３１、画像合成部１４１および判定部１５１は、第２の実施の形態と同じものである。

【0039】

排除部１７３は、判定部１５１が、対象物の中に具材が無い（入っていない）と判定した場合、その対象物を所定の検査ラインから排除する。

【0040】

図９および図１０は、図８に示した排除部１７３の動きの一例を示す図である。図９は、対象物が流れる検査ラインを上から見た図である。図１０は、対象物が流れる検査ラインを横から見た図である。図９および図１０に示すように、検査ライン２０３上を矢印のＡ方向に流れている対象物２１３を撮像部１１１，１２１が上から撮像する。撮像部１１１，１２１がそれぞれ撮像して取得した２つの画像を検査装置１０３本体へ出力し、検査装置１０３の加工部１３１が、撮像部１２１が撮像して取得した画像を加工し、画像合成部１４１が、撮像部１１１が撮像して取得した画像と加工部１３１が加工した画像とを合成し、合成した画像と判定基準とに基づいて判定部１５１が判定を行う。判定部１５１における判定に基づいて、排除部１７３が動作する。具体的には、判定部１５１における結果が、対象物２１３に具材が入っていないというものである場合、排除部１７３は、その対象物２１３を検査ライン２０３から排除するように横方向（矢印のＢ方向）に押し出す。これにより、具材が入っていないと判定された対象物２１３を検査ライン２０３から排除することができる。

【0041】

以下に、図８に示した検査装置１０３における検査方法について説明する。図１１は、図８に示した検査装置１０３における検査方法の一例を説明するためのフローチャートである。

【0042】

まず、撮像部１１１が対象物を撮像して、対象物の可視画像を取得する（ステップＳ３１）。また、撮像部１２１が対象物を撮像して、対象物の近赤外画像を取得する（ステップＳ３２）。このステップＳ３１の処理とステップＳ３２の処理との順序は特に規定しない。続いて、加工部１３１が、撮像部１２１が取得した近赤外画像をその波長に基づいて加工する（ステップＳ３３）。すると、画像合成部１４１が、撮像部１１１が取得した可視画像と、加工部１３１が加工した加工画像とを合成する（ステップＳ３４）。続いて、判定部１５１が、画像合成部１４１が合成した画像と判定基準とを比較し、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する（ステップＳ３５）。判定部１５１が対象物の中に具材が無いと判定した場合、排除部１７３がその対象物を検査ラインから排除する（ステップＳ３６）。一方、判定部１５１が対象物の中に具材があると判定した場合、排除部１７３は排除の動作を行わない。

【0043】

このように、検査装置１０３は、対象物の可視画像と近赤外画像とを取得し、取得した近赤外画像をその波長に基づいて加工し、可視画像と加工画像とを合成した画像と、判定基準とに基づいて、対象物の中の具材の有無を判定する。そして、検査装置１０３は、対象物の中に具材が無いと判定した場合、その対象物を検査ラインから排除する。そのため、所望の具材が入っていない対象物（完成品）がその後段の処理に回ってしまうことを防止することができる。
（第５の実施の形態）

【0044】

図１２は、本発明の検査装置の第５の実施の形態を示す図である。本形態における検査装置１０４は図１２に示すように、撮像部１１１，１２１と、加工部１３１と、画像合成部１４１と、判定部１５４と、出力部１６２と、入力部１８４と、データベース１９４とを有する。なお、図１２には、本発明の検査装置が具備する構成要素のうち、本形態にかかわる主要な要素のみを示している。

【0045】

撮像部１１１，１２１、加工部１３１および画像合成部１４１は、第２の実施の形態と同じものである。出力部１６２は、第３の実施の形態と同じものである。

【0046】

入力部１８４は、検査装置１０４の外部から受け付けた操作に基づいて情報を入力する。入力部１８４は、タッチパネル機能やキーボード機能等の一般的な情報入力手段を用いて、それらに対して利用者が行った操作に基づいて、情報を入力する。

【0047】

データベース１９４は、画像合成部１４１が合成した画像を示す画像情報と、出力部１６２が出力した結果情報と、出力された結果情報に対して入力部１８４が入力した入力情報とを対応付けて記憶する。

【0048】

判定部１５４は、第２の実施の形態の判定部１５１が有する機能に加えて、学習機能を有し、データベース１９４に記憶された対応付けに基づいて、具材の有無を判定するための判定基準を更新していく。つまり、判定部１５４は、結果情報とその結果情報に対応付けられた入力情報とが異なる場合、その結果情報に対応付けられた画像情報と入力情報とに基づいて判定基準を更新する。また、判定部１５４は、画像合成部１４１が合成した画像と判定基準とを比較する際、その画像を判定するための範囲が判定基準に含まれていない場合等、その画像が持つパラメータでは判定基準を用いた判定が困難である場合、その画像と類似する画像を過去に判定した画像から検索し、検索した画像の判定結果を用いて判定を行う。また、判定部１５４は、判定基準として設定されている要素以外の要素、例えば、過去に判定を行った判定日時や判定場所等、判定の環境を用いて、現在の環境と類似した過去の環境で行った判定結果を参照して判定を行うものであっても良い。また、判定部１５４が使用する判定基準は、上述したような色のほか、形状、大きさ、対象物における相対位置等である。このように判定部１５４は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）機能を用いて、対象物の中の具材の有無を判定する。このように、判定基準として用いられる学習データは、対象物の中の具材の有無を判定する基準として、より適したものへ更新されていく。

【0049】

図１３は、図１２に示した入力部１８４の入力態様の一例を示す図である。図１２に示した入力部１８４には図１３に示すように、対象物固有に付与された識別番号と、具材の有無を選択するためのラジオボタンとを示すＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が表示される。このラジオボタンを操作することで選択された情報が入力される。例えば、図１３に示すように、Ｎｏ．１２３４の対象物について「エビ有り」が選択されると、入力部１８４からＮｏ．１２３４の識別場号の対象物について、具材が入っているという情報が入力される。また、Ｎｏ．１２３４の対象物について「エビ無し」が選択されると、入力部１８４からＮｏ．１２３４の識別場号の対象物について、具材が入っていないという情報が入力される。

【0050】

図１４は、図１２に示したデータベース１９４に記憶されている対応付けの一例を示す図である。図１２に示したデータベース１９４には図１４に示すように、画像情報と結果情報と入力情報とが対応付けられて記憶される。画像情報は、画像合成部１４１が合成した画像を示す情報である。画像情報は、画像を他の画像と識別できる情報であれば良く、例えば、画像固有に付与された番号であっても良いし、それぞれの画像を表示させるための情報（ＲＧＢや明るさ）であっても良い。結果情報は、出力部１６２が出力した結果を示す情報である。具体的には、結果情報は、判定部１５４が判定した結果である、具材の有無を示す情報である。入力情報は、結果情報に対して入力部１８４に入力された情報である。具体的には、入力情報は、図１３に示したような入力部１８４へ入力された情報であって、結果情報が正しいかどうかに用いられる情報である。

【0051】

以下に、図１２に示した検査装置１０４における検査方法について説明する。図１５は、図１２に示した検査装置１０４における検査方法の一例を説明するためのフローチャートである。

【0052】

まず、撮像部１１１が対象物を撮像して、対象物の可視画像を取得する（ステップＳ４１）。また、撮像部１２１が対象物を撮像して、対象物の近赤外画像を取得する（ステップＳ４２）。このステップＳ４１の処理とステップＳ４２の処理との順序は特に規定しない。続いて、加工部１３１が、撮像部１２１が取得した近赤外画像をその波長に基づいて加工する（ステップＳ４３）。すると、画像合成部１４１が、撮像部１１１が取得した可視画像と、加工部１３１が加工した加工画像とを合成する（ステップＳ４４）。続いて、判定部１５４が、画像合成部１４１が合成した画像と判定基準とを比較し、その比較の結果に基づいて、対象物の中の所定の具材の有無を判定する（ステップＳ４５）。すると、出力部１６２が、判定部１５４における判定結果を出力する（ステップＳ４６）。その後、出力された結果に対して、入力部１８４が外部からの操作に基づいて入力情報を受け付けると（ステップＳ４７）、画像合成部１４１が合成した画像を示す画像情報と、出力部１６２が出力した結果情報と、入力部１８４が受け付けた入力情報とが対応付けられてデータベース１９４に記憶される。そして、判定部１５４が、データベース１９４に互いに対応付けられた結果情報と入力情報とが、互いに同じであるかどうかを判定する（ステップＳ４８）。判定部１５４が、データベース１９４に互いに対応付けられた結果情報と入力情報とが、互いに同じであると判定した場合、処理は終了する。一方、判定部１５４が、データベース１９４に互いに対応付けられた結果情報と入力情報とが、互いに同じではないと判定した場合は、判定部１５４は、判定基準を更新する（ステップＳ４９）。このような場合、具体的には判定部１５４は、入力情報に合わせた結果となるように、学習機能を用いて判定基準を更新する。つまり、判定部１５４は、例えば、入力情報が「エビ有り」であり、結果情報が「エビ無し」である場合、これらの情報と対応付けられている画像情報が「エビ有り」と判定されるような判定基準に更新していく。このとき、判定部１５４は、判定基準を更新するか否かや、どのように更新していくか等を、それ以外の情報も用いて決定しても良い。

【0053】

このように、検査装置１０４は、対象物の可視画像と近赤外画像とを取得し、取得した近赤外画像をその波長に基づいて加工し、可視画像と加工画像とを合成した画像に基づいて、対象物の中の具材の有無を判定する。そして、検査装置１０４は、判定結果を出力する。その後、検査装置１０４は、出力した判定結果に対して入力した入力情報と判定結果とを比較し、比較結果に基づいて判定基準を更新していく。そのため、完成品に所望の具材が入っているかどうかを判定するための基準をさらに正確なものとしていくことができる。ここでは、入力情報が目視による判定結果であることから、可視光画像を用いる（合成する）ことで、近赤外画像を加工した画像のみを目視により判定するよりも正確なものとなる。

【0054】

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。

【符号の説明】

【0055】

１００〜１０４ 検査装置
１１１，１２０，１２１ 撮像部
１３０，１３１ 加工部
１４０，１４１ 画像合成部
１５０，１５１，１５４ 判定部
１６２ 出力部
１７３ 排除部
１８４ 入力部
１９４ データベース
２０３ 検査ライン
２１３ 対象物

【要約】

【課題】食品の完成品に所望の具材が入っているかどうかを目視によらず正確に識別する。
【解決手段】対象物を撮像して対象物の可視画像および近赤外画像を取得する撮像部１２０と、撮像部１２０が取得した近赤外画像を波長に基づいて加工する加工部１３０と、撮像部１２０が撮像した可視画像と、加工部１３０が加工した近赤外画像とを合成する画像合成部１４０と、画像合成部１４０が合成した画像と判定基準とを比較し、比較の結果に基づいて、対象物の中の所定の具材の有無を判定する判定部１５０とを有する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】