特開 2024-13671 情報処理装置、情報処理方法、食品検査装置および食品製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024013671

(43)【公開日】2024-02-01

(54)【発明の名称】情報処理装置、情報処理方法、食品検査装置および食品製造方法

(51)【国際特許分類】

   G01N 21/85 20060101AFI20240125BHJP

【ＦＩ】

G01N21/85 Z

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2022115939

(22)【出願日】2022-07-20

【国等の委託研究の成果に係る記載事項】（出願人による申告）令和元年度、国立研究開発法人科学技術振興機構、研究成果展開事業「近赤外光とＴＨｚ波、偏光および画像処理を駆使した野菜中の虫検知技術の開発」委託研究、産業技術力強化法第１７条の適用を受ける特許出願

(71)【出願人】

【識別番号】304020292

【氏名又は名称】国立大学法人徳島大学

(71)【出願人】

【識別番号】505126610

【氏名又は名称】株式会社ニチレイフーズ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100126099

【弁理士】

【氏名又は名称】反町 洋

(74)【代理人】

【識別番号】100118876

【弁理士】

【氏名又は名称】鈴木 順生

(72)【発明者】

【氏名】山口 堅三

(72)【発明者】

【氏名】獅々堀 正幹

(72)【発明者】

【氏名】青木 仁史

(72)【発明者】

【氏名】石嵜 雄一

(72)【発明者】

【氏名】荒井 健太

(72)【発明者】

【氏名】原田 和彦

(72)【発明者】

【氏名】塚本 真也

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA01

2G051AA05

2G051AB02

2G051BA11

2G051BB15

2G051CA04

2G051CB01

2G051CC07

2G051CC15

2G051EA12

2G051EB05

2G051EC02

2G051EC06

2G051EC10

2G051ED08

2G051ED14

(57)【要約】

【課題】食品に存在する異物を検出することができる情報処理装置、情報処理方法、食品検査装置および食品製造方法を提供する。
【解決手段】本開示の情報処理装置は、第３方向に偏光されて食品に照射された光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成する検査画像生成部と、前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

第３方向に偏光されて食品に照射された光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成する検査画像生成部と、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理を行う検出処理部と
を備えた情報処理装置。

【請求項2】

前記検査画像に含まれる画素の画素値のうち第１の閾値および第２の閾値間外の画素値を所定の画素値に変換する変換部をさらに備え、
前記所定の画素値は、前記第１の閾値より小さい、または前記第２の閾値より大きく、
前記検出処理部は、前記変換部により変換された検査画像に基づき、前記検出処理を行う、請求項１に記載の情報処理装置。

【請求項3】

前記所定の画素値は、前記検査画像が取り得る画素値の最小値または最大値である
請求項２に記載の情報処理装置。

【請求項4】

前記変換部により変換された検査画像において前記第１の閾値と前記第２の閾値間に含まれる画素値を、前記第１の閾値と前記第２の閾値間よりも広い画素値範囲へ線形濃度変換する第１の線形濃度変換部をさらに備え、
前記検出処理部は、前記線形濃度変換された検査画像に基づき、前記検出処理を行う、請求項２に記載の情報処理装置。

【請求項5】

前記検査画像が取り得る画素値の最小値および最大値間に複数の第１画素値範囲を設定し、前記第１画素値範囲に属する画素に、前記画素が属する前記第１画素値範囲を識別する識別情報を設定する設定部をさらに備え、
前記検出処理部は、前記識別情報が設定された前記検査画像に基づき前記検出処理を行う、請求項１に記載の情報処理装置。

【請求項6】

前記設定部は、前記検査画像に基づき画素値のヒストグラムを生成し、前記ヒストグラムに含まれる複数のピークに対応して前記複数の第１画素値範囲を設定する
請求項５に記載の情報処理装置。

【請求項7】

前記第１画素値範囲に含まれる画素値を前記第１画素値範囲よりも広い第２画素値範囲へ線形濃度変換する、第２の線形濃度変換部をさらに備え、
前記検出処理部は、前記線形濃度変換された前記検査画像に基づき、前記検出処理を行う、請求項５に記載の情報処理装置。

【請求項8】

前記検査画像のサイズを縮小し、縮小した画像の周囲に所定の画素値の画素を配置して、縮小前の前記検査画像のサイズと同じサイズの画像を生成する縮小部をさらに備え、
前記検出処理部は、前記縮小部により生成された前記画像に基づき、前記検出処理を行う、請求項１に記載の情報処理装置。

【請求項9】

前記機械学習モデルは、前記検査画像の画素値を入力とし、前記異物の存在有無に関する値を出力するニューラルネットワークである
請求項１に記載の情報処理装置。

【請求項10】

前記食品に照射される前記光は近赤外光である
請求項１に記載の情報処理装置。

【請求項11】

前記食品は野菜である、請求項１に記載の情報処理装置。

【請求項12】

前記野菜は、ブロッコリー、ほうれん草または枝豆のいずれかである、請求項１１に記載の情報処理装置。

【請求項13】

前記異物は有機物である、請求項１に記載の情報処理装置。

【請求項14】

前記有機物は虫である、請求項１３に記載の情報処理装置。

【請求項15】

第３方向に偏光されて食品に照射された光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と異なる直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成し、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する
情報処理方法。

【請求項16】

光を照射する光源と、
前記光源から照射された前記光を第３方向に偏光させて第３光とし、前記第３光を食品へ透過させる第３の偏光子と、
前記食品における前記第３光の反射光を前記第３方向と平行な第１方向に偏光させる第１の偏光子と、
前記反射光を前記第３方向と直交する第２方向に偏光させる第２の偏光子と、
前記第１の偏光子を透過した第１光を撮像して第１撮像データを生成し、前記第２の偏光子を透過した第２光を撮像して第２撮像データを生成する撮像部と、
前記第１撮像データと前記第２撮像データの差分に基づき、検査画像を生成する検査画像生成部と、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理を行う検出処理部と
を備える、食品検査装置。

【請求項17】

光源から照射した光を第３の偏光子により第３方向に偏光させて第３光とし、前記第３光を搬送面で搬送される食品に照射し、
前記食品における前記第３光の反射光を、前記第３方向と平行な第１方向に第１の偏光子により偏光させて第１光とし、前記第１光を撮像して第１撮像データを生成し、
前記反射光を、前記第３方向と直交する第２方向に第２の偏光子により偏光させて第２光とし、前記第２光を撮像して第２撮像データを生成し、
前記第１撮像データと前記第２撮像データの差分に基づき、検査画像を生成し、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する
食品製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、食品検査装置および食品製造方法に関する。

【背景技術】

【0002】

冷凍食品等の加工食品を製造する際には、食品に存在する異物を検出して除去する必要がある。例えば、冷凍野菜を製造する際には、野菜の表面および内部に混入している虫等の異物を検出して除去する必要がある。特許文献１、２には、近赤外の検査光と偏光子とを組み合わせて撮像される複数の画像データから検査画像を生成し、生成した検査画像に基づいて、野菜の表面および内部に混入している異物を検出する技術が記載されている。

【0003】

特許文献１、２に記載の技術では、検査画像から異物を検出する工程は人間が目視により行っている。しかしながら、人間の目視では検出することのできない異物も存在する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６４５１９８０号公報

【特許文献2】特許第６４５４９２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、上記のような課題を解決するためのものであり、食品に存在する異物を検出することができる情報処理装置、情報処理方法、食品検査装置および食品製造方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の情報処理装置は、第３方向に偏光されて食品に照射される光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成する検査画像生成部と、前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理を行う検出処理部とを備える。

【図面の簡単な説明】

【0007】

【図1】実施の形態に係る食品検査装置の構成を示す図である。

【図2A】平行画像の一例を示す図である。

【図2B】直交画像の一例を示す図である。

【図3】実施の形態に係る食品検査装置における処理装置の機能的な構成を示すブロック図である。

【図4A】実施の形態に係る食品検査装置における処理装置によって実行される処理の詳細を説明するフローチャートである。

【図4B】実施の形態に係る食品検査装置における処理装置によって実行される処理の詳細を説明するフローチャートである。

【図5】検査画像の一例を示す図である。

【図6A】食品に異物が存在する検査画像の輝度値のヒストグラムの一例を示す図である。

【図6B】食品に異物が存在しない検査画像の輝度値のヒストグラムの一例を示す図である。

【図7】線形濃度変換が行われる前の輝度値と変換後の輝度値との間の関係を示す図である。

【図8】線形濃度変換が行われた後の検査画像の一例を示す図である。

【図9】実施の形態に係る性能評価実験の結果を示す図である。

【図10】実施の形態の変形例１に係る食品検査装置における処理装置の一例を示すブロック図である。

【図11】実施の形態の変形例１に係る食品検査装置における処理装置の他の例を示すブロック図である。

【図12】図１の食品検査装置と、食品除去装置とを備えた食品製造装置を示す図である。

【発明を実施するための形態】

【0008】

以下では、図面を参照しながら、本開示の実施の形態について説明する。なお、以降の説明において、図面の同一または対応する要素には同じ参照符号を付して、詳細な説明は適宜省略する。

【0009】

図１は、本開示の実施の形態に係る食品検査装置１００の構成を示す図である。食品検査装置１００は、食品に存在する異物、より詳細には食品の表面および内部の少なくとも一方に存在する異物を検出する装置である。食品の具体例は、例えば、野菜または冷凍野菜、より具体的には、ブロッコリー、ほうれん草または枝豆等である。また、異物の具体例としては、例えば有機物であり、より具体的には、ヨトウガ類、メイガ類、アブラムシ類またはテントウムシ類等の幼虫および成虫である。

【0010】

食品検査装置１００は、検査対象物である食品１が載置される平板２と、食品１に検査光１１を照射する光源３と、食品１からの反射光１２を撮像して画像データを生成する撮像装置４とを備えている。また、食品検査装置１００は、偏光子５～７と、ガイドレール８と、処理装置９と、駆動装置１０と、入力装置１３と、出力装置１４とを備えている。処理装置９は、食品１に存在する異物を検出する検出処理を行う情報処理部９ａと、コントローラ９ｂとを備えている。また処理装置９は入力装置１３および出力装置１４に接続され、入力装置１３および出力装置１４との間で情報またはデータの入出力を行う。

【0011】

光源３は、検査光１１を検査対象物である食品１に照射する。本実施の形態では、光源３は、基板上に発光ダイオード（ＬＥＤ）を複数配置したＬＥＤパネルによって構成されている。光源３は、平板２と平行、すなわち図中のＸＹ平面と平行に配置されている。また、光源３のＬＥＤが配置された面は、食品１に検査光１１を照射する方向、すなわち図中の－Ｚ方向に向けられている。光源３の種類はＬＥＤパネルに限定されず、単一のＬＥＤランプでもよく、ＬＥＤ以外の光源（例えば白熱灯、蛍光灯、レーザ、スーパールミネッセントダイオード等）を用いることも排除されない。

【0012】

検査光１１の波長は、検査対象物である食品１を透過しやすい波長であることが好ましい。例えば、食品１がブロッコリー、ほうれん草または枝豆等の野菜である場合には、検査光は、波長６００ｎｍ～９００ｎｍ程度の近赤外光であることが好ましい。このような波長領域は、一般的なＣＣＤセンサーやＣＭＯＳセンサー等のＳｉ系の撮像素子によって撮像可能な範囲内であるため、食品検査装置１００を容易に構成することができる。ただし、検査光は近赤外光以外の光、例えば可視光または紫外線等を用いる場合も排除されない。また、適切な検知素子を選択すれば、中・遠赤外やテラヘルツ領域も排除されない。

【0013】

撮像装置４は、ＣＣＤセンサーまたはＣＭＯＳセンサー等のＳｉ系の撮像素子を搭載した撮像部である。撮像装置４は、一例としてデジタルカメラ等のカメラによって構成されている。撮像装置４のレンズ４ａは、食品１からの反射光１２を撮像できる方向、すなわち図中の－Ｚ方向に向けられている。撮像装置４の画素数は、検査対象物である食品１および検出したい異物の大きさ等に基づいて適宜選択されることが好ましい。また、撮像装置４の分解能は、２５６階調（８ビット）以上であることが好ましいが、２５６階調（８ビット）以上または未満の場合も可能である。本実施の形態では、一例として、撮像装置４の画素数は２２４×２２４であり、分解能は２５６階調である。

【0014】

光源３と食品１との間には、偏光子５が、光源３および平板２と平行、すなわち図中のＸＹ平面と平行に配置されている。偏光子５は、光源３から食品１に向けて照射された検査光を、図中のＸ方向に直線偏光させる。

【0015】

また、食品１と撮像装置４との間には、偏光子６および偏光子７が、光源３および平板２と平行、すなわち図中のＸＹ平面と平行に、異なる高さで配置されている。偏光子６および偏光子７は、Ｚ方向において同じ高さに位置し、Ｙ方向において一体に形成されている。偏光子６および偏光子７は、ガイドレール８に取り付けられた駆動装置１０によって、ガイドレール８に沿って図中の＋Ｙ方向および－Ｙ方向にスライド可能に構成されている。駆動装置１０は、例えばステッピングモーター等のモーターを含む駆動部である。なお、このようなスライド機構に代えて、特許文献１、２に記載されているような回転機構を採用する場合には、偏光子６、７を１つにまとめることができる。また、駆動装置１０に含まれるモーターは、必ずしもステッピングモーターである必要はなく、通常のＤＣモーターやＡＣモーター等でもよい。さらに、駆動装置１０を取り除いて、偏光子６、７のスライドを手動で行ってもよい。

【0016】

偏光子６が食品１と撮像装置４との間の光路上に配置されるとき、すなわち図１に示される状態のとき、偏光子６は、食品１からの反射光１２を図中のＸ方向に直線偏光させる。偏光子５によって偏光された方向（Ｘ方向）と、偏光子６によって偏光された方向（Ｘ方向）とが平行である。つまり、照射光を偏光子５によって偏光させた光（第３光）の偏光方向を第３方向、反射光１２を偏光子６によって偏光させた光（第１光）の偏光方向を第１方向としたとき、第３方向と第１方向は平行である。撮像装置４は、偏光子６を透過した反射光を撮像して画像データを生成する。これ以降、このような画像データを「平行画像Ｐ」と称することにする。図２Ａは、平行画像Ｐの一例であり、サイズは２２４×２２４、濃淡は０～２５５の２５６階調である。

【0017】

一方、偏光子７が食品１と撮像装置４との間の光路上に配置されるとき、偏光子７は、食品１からの反射光１２を図中のＹ方向に直線偏光させる。この際に生成される画像データは、偏光子５によって偏光された方向（Ｘ方向）と、偏光子７によって偏光された方向（Ｙ方向）とが直交する。つまり、照射光を偏光子５によって偏光させた光（第３光）の偏光方向を第３方向、反射光１２を偏光子７によって偏光させた光（第２光）の偏光方向を第２方向としたとき、第２方向は第３方向と直交する。撮像装置４は、偏光子７を透過した反射光を撮像して画像データを生成する。これ以降、このような画像データを「直交画像Ｃ」と称することにする。図２Ｂは、直交画像Ｃの一例であり、サイズは２２４×２２４、濃淡は０～２５５の２５６階調である。

【0018】

図１に示した構成では偏光子６、７が同じ高さで一体に配置されていたが、それぞれＺ方向において異なる高さに配置され、それぞれ独立してＹ方向にスライド可能に構成されてもよい。

【0019】

上記の偏光子５～７には、例えば、ガラス板または熱可塑性樹脂フィルム等の基材に偏光フィルムを貼り付けた偏光板を用いることができる。なお、検査光１１が近赤外光である場合には、可視光用の偏光フィルムでは十分な偏光性能が得られないため、ワイヤグリッド方式の偏光フィルム、例えば旭化成イーマテリアルズ製ＷＧＦ（登録商標）等を用いることが好ましい。

【0020】

入力装置１３は、処理装置９に対して食品検査装置１００の操作者であるユーザにより、各種指示または情報を入力する入力部である。入力装置１３は、例えば、マウス、キーボード、またはタッチパネルなどである。入力装置１３は音声またはジェスチャにより入力を行う装置であってもよい。

【0021】

出力装置１４は、ユーザに対してデータまたは情報を出力する出力装置である。出力装置１４は、一例としてデータまたは情報を表示するディスプレイであり、一例として、液晶表示装置または有機ＥＬ（Electroluminescence）表示装置等である。あるいは、出力装置１４は、ユーザが保持する端末装置に、データまたは情報を送信する通信装置であってもよい。本実施の形態においては出力装置１４がディスプレイである場合を想定する。

【0022】

図３は、食品検査装置１００の処理装置９のブロック図である。処理装置９は、例えばマイクロコンピュータまたはパーソナルコンピュータ等によって構成することができる。処理装置９の機能の一部または全部をコンピュータにプログラムを実行させることにより実現してもよい。

【0023】

処理装置９は、本実施の形態に係る情報処理装置に対応する情報処理部９ａと、コントローラ９ｂとを備えている。情報処理部９ａは、検査画像生成部９１と、フィルタ処理部９２（変換部）と、クラスタ化部９３（設定部）と、第１の線形濃度変換部９４ａと、第２の線形濃度変換部９４ｂと、検出処理部９５と、第１の縮小部９６ａと、第２の縮小部９６ｂと、判定部９７とを備えている。検出処理部９５は、第１の検出部９５ａと、第２の検出部９５ｂとを備えている。コントローラ９ｂは、情報処理部９ａ、駆動装置１０、光源３および撮像装置４を制御する。

【0024】

検査画像生成部９１は、偏光子６を透過した反射光を撮像装置４によって撮像して得られる平行画像Ｐと、偏光子７を透過した反射光を撮像装置４によって撮像して得られる直交画像Ｃとに基づき、検査画像を生成する。例えば、平行画像Ｐと直交画像Ｃとを重み付け和により検査画像を生成する。具体例として、平行画像Ｐの重みを１、直交画像Ｃの重みを－１とすることで、平行画像Ｐから直交画像Ｃとの差分に基づき、検査画像を生成する。検査画像における各画素値（輝度値）が一定の範囲を超える場合、一定の範囲を超えた画素値を、一定の範囲の最小値に切り上げ、または一定の範囲の最大値に切り下げてもよい。一定の範囲は一例として最小輝度に対応する０以上、最大輝度に対応する２５５以下である。ただし、画素値の範囲はこの範囲に限定されず、他の範囲でもよい。

【0025】

フィルタ処理部９２は、検査画像生成部９１によって生成された検査画像において第１の閾値と第２の閾値との間の輝度値以外の輝度値を、所定の輝度値（所定の画素値）に変換するフィルタ処理を行う。つまり、検査画像において第１の閾値と第２の閾値との間の輝度値は変換せずに、その他の輝度値を当該範囲外の同じ輝度値に変換する。変換先となる同じ輝度値は、第１の閾値より小さい値、または第２の閾値より大きい値であり、一例として最小輝度値または最大輝度値である。フィルタ処理部９２は、第１の閾値および第２の閾値間外の輝度値を、第１の閾値より小さいまたは第２の閾値より大きい、所定の輝度値に変換する変換部に対応する。第１の閾値と第２の閾値は処理装置９または処理装置９からアクセス可能な記憶部に予め格納されていてもよいし、入力装置１３からユーザが調整可能なパラメータとして入力してもよい。この場合、ユーザは、本実施の形態に係る検査を行うアプリケーションの画面からパラメータを入力することができる。

【0026】

一例として、第１の閾値未満の輝度値および第２の閾値より大きい輝度値をすべて０または２５５に変換する。他の例として、第１の閾値未満の輝度値を最小輝度に対応する０に変換し、第２の閾値より大きい輝度値を最大輝度に対応する２５５に変換してもよい。第１の閾値は最小輝度より大きい値であり、第２の閾値は最大輝度より小さい値である。第１の閾値未満の輝度値は主として撮影対象の背景に由来し、第２の閾値より大きい輝度値は主に食品１自体に由来する輝度値であり、異物との相関が低い輝度値であると考えられる。よって、検査画像をグレースケール画像と見なした場合に、第１の閾値と第２の閾値との間に含まれない輝度値を、この範囲外の所定の輝度値（例えば最小輝度値）に変換することで、第１の閾値と第２の閾値との輝度範囲（白と黒との間のグレー領域のうちの特定のグレー領域）に着目した画像が得られる。このように特定のグレー領域に着目した画像を得ることで、検査画像から異物との相関が低い情報量を削減することができるため異物の検出精度を高められる。以下では、変換後の画像をフィルタ処理された検査画像と呼ぶことがある。

【0027】

第１の線形濃度変換部９４ａは、フィルタ処理された検査画像に対して、第１の閾値と第２の閾値との間の輝度値を、第１の閾値および第２の閾値間よりも広い輝度範囲（画素値範囲）へ変換する線形濃度変換を行う。輝度範囲は、第１の閾値および第２の閾値間を含む。これにより第１の閾値と第２の閾値との間の輝度値を正規化する。例えば、第１の閾値と第２の閾値との間の輝度値を、０以上２５５以下の範囲の輝度値に変換する。あるいは、第１の閾値と第２の閾値との間の輝度値を、０より大きく２５５より小さい範囲の輝度値に変換してもよい。

【0028】

第１の検出部９５ａは、第１の機械学習モデルＭａを用いて、フィルタ処理および線形濃度変換された検査画像に基づき、食品１に存在する異物を検出する。第１の機械学習モデルＭａとして、例えば、学習済みの回帰モデルを用いることができる。回帰モデルの例として、ニューラルネットワークがある。例えば、事前学習済みの１６層の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）として知られる“ＶＧＧ１６”の全結合層をファインチューニングしたモデルを用いてもよい。すなわち、フィルタ処理および線形濃度変換された検査画像から、食品１に表面および内部など、食品１に存在する異物を検出するようにＶＧＧ１６を訓練したモデルを用いることができる。ニューラルネットワークの場合、線形濃度変換された検査画像の各画素値が入力される入力ノードと、異物の存在有無に関する値を判別結果として出力する出力ノードとを有する構成を用いることができる。異物が検出された場合には１を出力ノードから出力する構成を用いることができる。例えば、判定結果として、異物が検出された場合には１を出力ノードから出力し、異物が検出されなかった場合には０を出力ノードから出力してもよい。あるいは判定結果として、異物が存在する確率を示す値を出力ノードから出力してもよい。回帰モデルの例は、ニューラルネットワークに限定されず、線形回帰モデル、ロジスティック回帰モデル、または重回帰モデルなど他のモデルを用いてもよい。

【0029】

クラスタ化部９３は、検査画像生成部９１によって生成された検査画像に対して複数の輝度値の範囲（第１輝度範囲または第１画素値範囲）を設定し、設定した輝度範囲に属する画素に、画素が属する当該輝度範囲を識別する識別情報（輝度範囲識別情報）を付与する。これにより検査画像において各輝度範囲に属する画素値群としてのクラスタを生成する。クラスタ化部９３は、複数の輝度範囲を設定し、各輝度範囲に対応する画素値群（クラスタ）を生成する設定部に対応する。検査画像に輝度範囲に対応するクラスタを生成することを、検査画像をクラスタ化すると呼ぶ。識別情報は各クラスタを識別できる限り、任意の値でよい。識別情報の例として、Ｒ、Ｇ、Ｂ等のカラーを表す情報（カラー情報）を用いてもよいし、ＣＬ１、ＣＬ２、ＣＬ３等の記号を用いてもよい。輝度範囲識別情報は、画素値の一部として扱ってもよい。例えば画素値は、輝度値と輝度範囲識別情報とを含んでもよい。以下の説明では、輝度範囲識別情報として主としてカラー情報を用いる場合を想定する。また、輝度範囲識別情報が付与された検査画像を、クラスタ化された検査画像と呼ぶ。複数の輝度範囲を設定する方法についての詳細は、後述する。

【0030】

第２の線形濃度変換部９４ｂは、クラスタ化された検査画像に対して、輝度範囲ごとに、輝度範囲に含まれる輝度値を正規化する線形濃度変換を行う。すなわち、第２の線形濃度変換部９４ｂは、クラスタ化された検査画像の各輝度範囲に属する画素の輝度値に対して、線形濃度変換をそれぞれ行う。詳細には、第２の線形濃度変換部９４ｂは、輝度範囲ごとに、第１の閾値および第２の閾値を設定し、第１の線形濃度変換部９４ａと同様の方法で、輝度範囲に含まれる輝度値を線形濃度変換する。これにより、各輝度範囲に属する輝度値を、各輝度範囲より広い輝度範囲（第２輝度範囲または第２画素値範囲）へ変換（正規化）する。例えば、各輝度範囲に属する画素の輝度値を、例えば０～２５５の範囲の輝度値に変換する。第２の線形濃度変換部９４ｂは、いずれの輝度範囲にも属さない画素の輝度値を、所定の輝度値（例えばゼロ）に変換する。

【0031】

第２の検出部９５ｂは、第２の機械学習モデルＭｂを用いて、クラスタ化および線形濃度変換された検査画像に基づき、食品１に存在する異物を検出する。第２の機械学習モデルＭｂの例として、第１の機械学習モデルＭａと同様、ニューラルネットワーク等の回帰モデルなどを用いることができる。例えば、ＶＧＧ１６の全結合層をファインチューニングすることによって、クラスタ化および線形濃度変換された検査画像から、食品１に存在する異物を検出するように訓練されたモデルを用いることができる。第２の機械学習モデルＭｂがニューラルネットワークの場合、クラスタ化および線形濃度変換された検査画像の各画素値（輝度値およびカラー情報）が入力される入力ノードと、異物の存在有無に関する値を判別結果として出力する出力ノードとを有する構成を用いることができる。例えば、判定結果として、異物が検出された場合には１を出力ノードから出力し、異物が検出されなかった場合には０を出力ノードから出力してもよい。あるいは判定結果として、異物が存在する確率を示す値を出力ノードから出力してもよい。

【0032】

判定部９７は、第１の検出部９５ａおよび第２の検出部９５ｂによる異物の検出結果に基づいて、食品１に異物が存在するか否かを判定する。一例として、判定部９７は、第１の検出部９５ａおよび第２の検出部９５ｂの少なくとも一方により異物が存在することが検出された場合は、食品１に異物が存在することを決定する。第１の検出部９５ａおよび第２の検出部９５ｂにおいて異物が存在する確率を出力する場合は、両確率のうちの少なくとも一方または平均が閾値以上の場合に、食品１に異物が存在することを決定してもよい。判定部９７は、第１の検出部９５ａおよび第２の検出部９５ｂのいずれによっても異物が存在することが検出されなかった場合は、食品１に異物が存在しないことを決定する。判定部９７は、異物の検出結果を示す情報を表示装置（出力装置１４）に出力して、表示装置に異物検出の判定結果を表示してもよい。また、異物検出の判定結果とともに、食品１の撮像画像（平行画像Ｐ、直交画像Ｃのうちの少なくとも１つ）、検査画像、または、これらの両方を表示してもよい。異物が存在することが決定された場合に、検査画像において異物の箇所を示す情報を表示してもよい。

【0033】

次に、本実施の形態に係る食品検査装置１００の処理装置９によって実行される、食品１に異物が存在するか否かを判定する処理の詳細について、図４のフローチャートを参照して説明する。

【0034】

図４のステップＳ１０１において、検査画像生成部９１は、偏光子６を透過した反射光を撮像装置４によって撮像して得られる平行画像Ｐ（図２Ａ）と、偏光子７を透過した反射光を撮像装置４によって撮像して得られる直交画像Ｃ（図２Ｂ）との差分から、検査画像を生成する。

【0035】

詳細には、例えば、検査画像生成部９１は、平行画像Ｐの各画素の輝度値から、直交画像Ｃの対応する各画素の輝度値を減算することによって、検査画像を生成する。この際、減算結果がマイナスになる輝度値については、輝度値を所定の輝度値（本例ではゼロ）に設定する。また、検査画像のサイズおよび濃淡（輝度）の範囲は任意に選択することができる。本実施の形態では、一例として、検査画像のサイズは２２４×２２４、濃淡は０～２５５の２５６階調（８ビット）である。図５は、本実施の形態に係る検査画像の一例であり、ヨトウガ類の幼虫であるヨトウムシが混入しているブロッコリーの検査画像である。検査画像中に含まれるノイズは、例えばブロッコリーの花蕾の影等に由来するものであると推察される。

【0036】

ステップＳ１０２において、フィルタ処理部９２は、上記のステップＳ１０１で生成された検査画像において、第１の閾値Ｔ１と第２の閾値Ｔ２との間の輝度値以外の輝度値を所定の輝度値に変換した、フィルタ処理された検査画像を生成する。本実施の形態では、一例として、第１の閾値Ｔ１＝３０、第２の閾値Ｔ２＝２２５、所定の輝度値はゼロと２５５である。この場合、フィルタ処理部９２は、図５の検査画像において、３０～２２５の間の輝度値はそのままにして、０～２９のおよび２２６～２５５の輝度値をすべてゼロに設定する。

【0037】

上記のフィルタ処理は、ヒストグラム上で考察すると図６Ａおよび図６Ｂに示されるようになる。図６Ａおよび図６Ｂにおいて、横軸は輝度値、縦軸は頻度である。図６Ａは、ブロッコリーにヨトウムシが混入している場合の検査画像のヒストグラムの一例である。図６Ｂは、ブロッコリーにヨトウムシが混入していない場合の検査画像のヒストグラムの一例である。

【0038】

図６Ａと図６Ｂとを比較すると、ヨトウムシが混入している図６Ａの場合には、約３０～２２５の範囲の輝度値を有する画素が現れている。これに対して、ヨトウムシが混入していない図６Ｂの場合には、そのような輝度値を有する画素はほとんど現れていない。すなわち、図６Ａの３０～２５５の範囲の輝度値は、ブロッコリーに混入しているヨトウムシの成長成分、模様および水分等に由来するものであると推察される。この範囲外の輝度値は、撮影対象となるブロッコリーの背景およびブロッコリー本体自体に由来するものが支配的であると考えられる。なお図６における輝度値の範囲Ｄ１～Ｄ３については後述する。

【0039】

したがって、フィルタ処理部９２は、第１の閾値Ｔ１＝３０、第２の閾値Ｔ２＝２２５と設定することにより、上記のステップＳ１０１で生成された検査画像を、ブロッコリーに混入しているヨトウムシに由来する輝度値を主に含む検査画像に変換することができる。

【0040】

なお、上記はブロッコリーに混入しているヨトウムシの場合であったが、他の野菜に混入している他の虫の場合でも、第１の閾値Ｔ１と第２の閾値Ｔ２とを適切に設定することにより、同様に虫に由来する輝度値を主に含む検査画像に変換することができる。さらに一般に、食品に混入している有機物等の異物を検出する場合にも、上記と同様にフィルタ処理を適用することができる。

【0041】

ステップＳ１０３において、第１の線形濃度変換部９４ａは、上記のステップ１０２で得られた、フィルタ処理された検査画像の各画素に対して、以下の式（１）によって定義される線形濃度変換を適用する。

【0042】

【数1】

・・・（１）

【0043】

ただし、上式において、Ｘ_ｉｎは画素の変換前の輝度値、Ｘ_ｏｕｔは画素の変換後の輝度値、Ｍ１は検査画像の変換後の最小輝度値（０）、Ｍ２は検査画像の変換後の最大輝度値（２５５）、Ｔ１は上記の第１の閾値、Ｔ２は上記の第２の閾値である。

【0044】

図７は、線形濃度変換における変換前の輝度値Ｘ_ｉｎと変換後の輝度値Ｘ_ｏｕｔとの間の関係を図式的に示したものである。図７から見て取れるように、線形濃度変換を適用することによって、第１の閾値Ｔ１と第２の閾値Ｔ２との間の輝度値が最小輝度値Ｍ１＝０と最大輝度値Ｍ２＝２５５との間で正規化されることにより、検査画像のＴ１～Ｔ２の間の輝度値の濃淡が強調される。なお、第１の閾値Ｔ１と第２の閾値Ｔ２との間の輝度値以外の輝度値は、上述のフィルタ処理により事前に所定の輝度値である最小輝度値（＝０）に変換されている。図８は、線形濃度変換が適用された後の検査画像の一例である。画像中央の異物（ヨトウムシ）の濃淡が強調されるとともに、ブロッコリーの花蕾の影等に由来するノイズが除去されているのが分かる。

【0045】

ステップＳ１０４において、第１の検出部９５ａは、第１の機械学習モデルＭａを用いて、上記のステップＳ１０３で線形濃度変換が行われた検査画像に基づき食品１に含まれる異物を検出する検出処理を行う。第１の機械学習モデルＭａは、検査画像の各画素値が入力される入力ノードと、判別結果を出力する出力ノードとを有する。一例として異物が検出された場合には１を出力ノードから出力し、異物が検出されなかった場合には０を出力ノードから出力する。

【0046】

上記のステップＳ１０４で異物が検出されなかった場合（ステップＳ１０５＝ＮＯ）には、ステップＳ１０６において、第１の縮小部９６ａは、異物が検出されなかった検査画像に対して、縮小処理を行う。縮小処理では、検査画像のサイズを所定の割合で縮小し、周囲をゼロ値で埋めることにより、元のサイズと同じサイズの画像に戻す。本実施の形態では、一例として、サイズ２２４×２２４の検査画像を９０パーセントに縮小してサイズ２０１×２０１にした後に、周囲をゼロ値の画素で埋めて元のサイズと同じサイズ２２４×２２４に戻す。

【0047】

このような縮小処理を行うことにより、検査画像内の端部に異物が写っているにもかかわらず、第１の機械学習モデルＭａによって異物が検出されなかった場合に、当該異物が検査画像の中央側に近づくことにより、異物が検出されやすくなる可能性がある。

【0048】

ステップＳ１０７において、第１の検出部９５ａは、上記のステップＳ１０６で縮小処理が行われた検査画像に基づき、異物を検出する検出処理を再度行う。第１の機械学習モデルＭａからは、異物が検出された場合には１が出力され、異物が検出されなかった場合には０を出力される。

【0049】

ステップＳ１０８において、クラスタ化部９３は、上記のステップ１０１で生成された検査画像をクラスタ化する。一例として、検査画像のヒストグラムが図６Ａに示すものであったとすると、クラスタ化部９３は、図６Ａのヒストグラムにおける３つのピークに対応する３つの輝度範囲を設定する。本例では、図６Ａのヒストグラムの左端のピークを含む輝度値３０～９４の範囲Ｄ１にＲを示すカラー情報（輝度範囲識別情報）を対応付ける。同様に、中央のピークを含む輝度値９５～１５９の範囲Ｄ２にＧを示すカラー情報（輝度範囲識別情報）を対応付ける。同様に、右端のピークを含む輝度値１６０～２２５の範囲Ｄ３にＢを示すカラー情報（輝度範囲識別情報）を対応付ける。同じカラー情報（輝度範囲識別情報）が付与された画素値群は同じクラスタに対応する。本例では範囲Ｄ１に対応するクラスタと、範囲Ｄ２に対応するクラスタと、範囲Ｄ３に対応するクラスタが生成される。Ｒ、Ｇ、Ｂのいずれのカラー情報も関連付けられない画素には、予め定めたカラー情報（例えば黒を示すカラー情報）を関連付けてもよいし、カラー情報をヌル値としてもよい。

【0050】

なお、図６Ａのように３つのピークが明確に現れない場合でも、またピークの個数が３でない場合も、適切な輝度値の範囲を実験的に調べることにより、ステップ１０１で生成された検査画像を、上記と同様にクラスタ化された検査画像に変換することができる。

【0051】

ステップＳ１０９において、第２の線形濃度変換部９４ｂは、上記のステップ１０８でクラスタ化された検査画像の各輝度範囲Ｄ１～Ｄ３に対して、線形濃度変換をそれぞれ行う。詳細には、第２の線形濃度変換部９４ｂは、図６Ａの左端のピークに対応するＲの輝度範囲の画素データに対して、第１の閾値Ｔ１＝３０、第２の閾値Ｔ２＝９４と設定して上述の式（１）により線形濃度変換を行う。これにより、輝度範囲Ｄ１に属する画素の輝度値は、０～２５５の範囲の輝度値に変換される。

【0052】

同様に、第２の線形濃度変換部９４ｂは、中央のピークに対応する輝度範囲Ｄ２の画素データに対して、第１の閾値Ｔ１＝９５、第２の閾値Ｔ２＝１５９と設定して、上述の式（１）により線形濃度変換を行う。これにより、輝度範囲Ｄ２に属する画素の輝度値は、０～２５５の範囲の輝度値に変換される。

【0053】

同様に、第２の線形濃度変換部９４ｂは、右端のピークに対応する輝度範囲Ｄ３の画素データに対して、第１の閾値Ｔ１＝１６０、第２の閾値Ｔ２＝２２５と設定して、上述の式（１）により線形濃度変換を行う。これにより、輝度範囲Ｄ３に属する画素の輝度値は、０～２５５の範囲の輝度値に変換される。

【0054】

第２の線形濃度変換部９４ｂは、輝度範囲Ｄ１～Ｄ３に属さない画素の輝度値を、所定の輝度値（例えばゼロ）に変換する。

【0055】

ステップＳ１１０において、第２の検出部９５ｂは、第２の機械学習モデルＭｂを用いて、上記のステップＳ１０９で線形濃度変換が行われた検査画像に基づき、食品１に含まれる異物を検出する検出処理を行う。第２の機械学習モデルＭｂは、線形濃度変換が行われた検査画像の各画素値（輝度値およびカラー情報）が入力される入力ノードと、判別結果を出力する出力ノードとを有する。一例として異物が検出された場合には１を出力ノードから出力し、異物が検出されなかった場合には０を出力ノードから出力する。

【0056】

上記のステップＳ１１０で異物が検出されなかった場合（ステップＳ１１１＝ＮＯ）には、ステップＳ１１１において、第２の縮小部９６ｂは、異物が検出されなかった検査画像に対して、縮小処理を行う。縮小処理では、検査画像のサイズを所定の割合で縮小し、周囲をゼロ値で埋めることにより、元のサイズと同じサイズの画像に戻す。本実施の形態では、一例として、サイズ２２４×２２４の検査画像を９０パーセントに縮小してサイズ２０１×２０１にした後に、周囲をゼロ値で埋めて元のサイズと同じサイズ２２４×２２４に戻す。

【0057】

このような縮小処理を行うことにより、検査画像内の端部に異物が写っているにもかかわらず、第２の機械学習モデルＭｂによって異物が検出されなかった場合に、当該異物が検査画像の中央側に近づくことにより、異物が検出されやすくなる可能性がある。

【0058】

ステップＳ１１３において、第２の検出部９５ｂは、上記のステップＳ１１３で縮小処理が行われた検査画像に基づき、異物を検出する検出処理を再度行う。第２の機械学習モデルＭｂからは、異物が検出された場合には１が出力し、異物が検出されなかった場合には０が出力される。

【0059】

ステップＳ１１４において、判定部９７は、上記のステップＳ１０４、Ｓ１０７、Ｓ１１０およびＳ１１３の少なくとも一方の検出結果に基づいて、食品１に異物が存在するか否かを判定する。詳細には、判定部９７は、これらのステップの少なくともいずれかにおいて異物が検出された場合には、食品１の表面または内部等に異物が存在すると判定する。

【0060】

図４ＡのフローチャートではステップＳ１０６で縮小処理を１回行ったが、ステップＳ１０７の検出処理で異物が検出されるまで、ステップＳ１０６を１回以上繰り返してもよい。ステップＳ１０６を所定回数繰り返しても異物が検出されない場合は、ステップＳ１０８に進んでもよい。同様に、図４ＢのフローチャートではステップＳ１１２で縮小処理を１回行ったが、ステップＳ１１３の検出処理で異物が検出されるまで、ステップＳ１１２を１回以上繰り返してもよい。ステップＳ１１２を所定回数繰り返しても異物が検出されない場合は、ステップＳ１１４に進んでもよい。

【0061】

また図４Ａおよび図４ＢのフローチャートではステップＳ１０７、Ｓ１１３で異物が検出されない場合に縮小処理を行ったが、縮小処理をステップＳ１０１とＳ１０２の間で行ってもよい。例えば、異物が存在する可能性の高い箇所が予め検査画像の端部であることが分かっている場合には、縮小処理を事前に行っておくことで、異物の検知精度を高めることができる。

【0062】

［性能評価結果］
本実施の形態に係る食品検査装置１００の性能評価を行うために、ブロッコリーの表面または内部にヨトウムシが混入している画像を含む、性能評価用の検査画像を２０９枚作成した。性能評価用の検査画像２０９枚のうち、１０８枚は実際にヨトウムシが混入している画像であり、残りの１０１枚は何も混入していない画像である。

【0063】

図９は、上記の性能評価実験の結果を示すテーブルである。この図から見て取れるように、実際に虫が混入しているにもかからず検出に失敗した検査画像は２枚のみであり、残りの１０６枚では虫の検出に成功している。また、虫が混入していないにもかかわらず誤検出してしまう事例は０件であった。結果として、判定成功率は９８パーセントであった。

【0064】

以上説明したように、本実施の形態によれば、第１方向へ反射光を偏光させる偏光子（第１偏光子）を透過した光の撮像データと、第１方向と異なる第２方向へ反射光を偏光させる偏光子（第２偏光子）を透過した光の撮像データとに基づき、検査画像を生成する。生成した検査画像に基づき異物の検出処理を行うことにより、食品１に存在する異物を検出することができる。

【0065】

本実施の形態によれば、第１方向と第２方向とを直交する関係にすることで、より高精度に異物検出を可能とする検査画像を生成し得る。詳細には、まず食品１に照射する検査光を、第１方向と平行の関係にある方向（第３方向）に偏光させる偏光子（第３偏光子）に透過させ、第３偏光子を透過した光を食品１に照射する。次に、食品１からの反射光を、第３方向と平行の関係にある方向（第１方向）に偏光させる偏光子６（第１偏光子）に透過させることで、撮像画像として平行画像Ｐが取得される。同様に、食品１からの反射光を、第３方向と直交の関係にある方向（第２方向）に偏光させる偏光子７（第２偏光子）に透過させることで、撮像画像として直交画像Ｃが取得される。これにより、より高精度に異物検出を可能とする検査画像を生成することができる。

【0066】

本実施の形態によれば、検査画像において第１の閾値および第２の閾値間外の画素値（輝度値）を、第１の閾値より小さいまたは第２の輝度値より大きい所定の輝度値に変換する。これにより第１の閾値および第２の閾値間外の輝度値に基づく情報、すなわち、異物に由来する可能性が低い情報を検査画像から低減または削減することができるため、高い精度で異物の検出を行うことが可能となる。

【0067】

本実施の形態によれば、検査画像が取り得る画素値（輝度値）の範囲に複数の輝度範囲を設定し、複数の輝度範囲に属する画素に、当該画素が属する範囲を識別する情報（輝度範囲識別情報）を設定することで、検査画像のクラスタ化を行う。クラスタ化された検査画像を用いることで、機械学習モデルＭｂにおいてより高精度に異物の検出を行うことが可能となる。つまり、同じ輝度範囲に属する画素は同じ異物または異物の同じ部分に由来する可能性が高いと考えられる。したがって、同じ異物または異物の同じ部分に由来する可能性が高い画素に同じ輝度範囲識別情報を設定して同じクラスタに属させることで、同じ異物または異物の同じ部分に由来する可能性が高い画素であるとの付加的な情報を機械学習モデルＭｂに反映させることができ、これにより高い精度での異物検出が期待できる。

【0068】

本実施の形態によれば、検査画像に基づき輝度値（画素値）のヒストグラムを生成し、ヒストグラムに含まれる複数のピークに対応して上述の複数の輝度範囲（画素値範囲）を決定する。これにより、検査対象となる食品に存在する異物に応じて輝度範囲が変動し得る場合にも、高い精度での異物検出が可能になる。

【0069】

本実施の形態によれば、検査画像（フィルタ処理された検査画像、クラスタ化された検査画像）に対して、異物に由来すると考えられる輝度範囲に属する輝度値をより広い範囲に変換する線形濃度変換を行う。これにより、輝度範囲に対する機械学習モデルＭａ、Ｍｂの感度を高め、より高精度に異物の検出を行うことが可能となる。

【0070】

本実施の形態によれば、検査画像の縮小処理を行うことで、検査画像の端に異物が写っている場合であっても、異物の位置をより中央側に近づけることができる。これにより機械学習モデルＭａ、Ｍｂが端の異物を検出しにくい構成であった場合でも、異物を検出する精度を高めることができる。

【0071】

（変形例１）
図３に示した処理装置９の構成のうち一部の要素が省略されてもよい。

【0072】

例えば、処理装置９からクラスタ化部９３、第２の線形濃度変換部９４ｂ、第２の検出部９５ｂ、第２の縮小部９６ｂが省略されてもよい。この場合の構成例を図１０に示す。図１０の構成例の場合、図４ＢのステップＳ１０８～Ｓ１１３を省略することができる。

【0073】

また、処理装置９からフィルタ処理部９２、第１の線形濃度変換部９４ａ、第１の検出部９５ａ、第１の縮小部９６ａが省略されてもよい。この場合の構成例を図１１に示す。図１１の構成例の場合、図４ＡのステップＳ１０２～Ｓ１０７を省略することができる。

【0074】

また、図３または図１０の構成において、フィルタ処理部９２および第１の線形濃度変換部９４ａが省略されてもよい。この場合、図４ＡのステップＳ１０２～Ｓ１０４の処理を省略することができる。また、第１の縮小部９６ａが省略されてもよい。この場合、図４ＡのステップＳ１０５～Ｓ１０７の処理を省略することができる。

【0075】

また、図３または図１１の構成において、クラスタ化部９３および第２の線形濃度変換部９４ｂが省略されてもよい。この場合、図４ＢのステップＳ１０８～Ｓ１１０の処理も省略することができる。また、第２の縮小部９６ｂが省略されてもよい。この場合、図４ＢのステップＳ１１１～Ｓ１１３の処理を省略することができる。

【0076】

（変形例２）
図１２は、図１の食品検査装置１００と、食品除去装置２２０とを備えた食品製造装置２００を示す。食品製造装置２００は、複数の加工工程を経て加工される食品の加工工程間で、食品に含まれる異物の検出処理を行い、検出した異物の除去を行う。食品製造装置２００は、任意の加工工程間で食品を搬送する搬送装置２１０（例えばベルトコンベア）により搬送面Ｓ上を搬送される食品１を対象に、異物の検出処理および異物の除去処理を行う。食品検査装置１００は、上流の加工工程から搬送面Ｓで搬送される食品１に対して光を照射し、異物検出を行う。異物検出の手法は、前述した実施形態と同様である。食品検査装置１００は食品１から異物１ａを検出すると、食品１における異物１ａの位置情報を異物除去装置２２０に送信する。異物除去装置２２０は、食品検査装置１００から通知された異物１ａの位置情報に基づき、Ｘ、Ｙ、Ｚ軸方向に移動可能なロボットハンド２３０を制御して、搬送面Ｓを搬送される食品１から異物１ａを除去する。異物除去装置２２０は、ロボットハンド２３０を制御して、除去した異物１ａを図示しない回収ボックスに回収する。異物１ａを除去された食品１は、搬送装置２１０によって次の加工工程へ搬送される。食品検査装置１００は、異物１ａの位置情報の代わりに、異物１ａが検出されたことを示す情報を異物除去装置２２０に送信してもよい。この場合、異物除去装置２２０は、食品１を撮像するカメラ等のセンサーを用いて異物１ａの位置を特定し、食品１から異物１ａの除去を行ってもよい。本変形例２によれば、食品検査装置１００により高精度に異物を検出可能であるため、異物が混入しない食品の製造の歩留まりを高めることができ、異物混入した食品が食に供されずに廃棄されるフードロスの削減につなげられる。

【0077】

本開示の幾つかの実施の形態を説明したが、これらの実施の形態は例として提示したものであり、開示の範囲を限定することは意図していない、これらの実施の形態は、その他の様々な形態で実施されることが可能であり、開示の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施の形態やその変形は、開示の範囲や要旨に含まれると同様に、特許請求の範囲に記載された開示とその均等の範囲に含まれるものである。

【0078】

また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果があってもよい。

【0079】

なお、本開示は以下のような構成を取ることもできる。
［項目１］
第３方向に偏光されて食品に照射された光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成する検査画像生成部と、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理を行う検出処理部と
を備えた情報処理装置。
［項目２］
前記検査画像に含まれる画素の画素値のうち第１の閾値および第２の閾値間外の画素値を所定の画素値に変換する変換部をさらに備え、
前記所定の画素値は、前記第１の閾値より小さい、または前記第２の閾値より大きく、
前記検出処理部は、前記変換部により変換された検査画像に基づき、前記検出処理を行う、項目１に記載の情報処理装置。
［項目３］
前記所定の画素値は、前記検査画像が取り得る画素値の最小値または最大値である
項目２に記載の情報処理装置。
［項目４］
前記変換部により変換された検査画像において前記第１の閾値と前記第２の閾値間に含まれる画素値を、前記第１の閾値と前記第２の閾値間よりも広い画素値範囲へ線形濃度変換する第１の線形濃度変換部をさらに備え、
前記検出処理部は、前記線形濃度変換された検査画像に基づき、前記検出処理を行う、項目２または３に記載の情報処理装置。
［項目５］
前記検査画像が取り得る画素値の最小値および最大値間に複数の第１画素値範囲を設定し、前記第１画素値範囲に属する画素に、前記画素が属する前記第１画素値範囲を識別する識別情報を設定する設定部をさらに備え、
前記検出処理部は、前記識別情報が設定された前記検査画像に基づき前記検出処理を行う、項目１～４のいずれか一項に記載の情報処理装置。
［項目６］
前記設定部は、前記検査画像に基づき画素値のヒストグラムを生成し、前記ヒストグラムに含まれる複数のピークに対応して前記複数の第１画素値範囲を設定する
項目５に記載の情報処理装置。
［項目７］
前記第１画素値範囲に含まれる画素値を前記第１画素値範囲よりも広い第２画素値範囲へ線形濃度変換する、第２の線形濃度変換部をさらに備え、
前記検出処理部は、前記線形濃度変換された前記検査画像に基づき、前記検出処理を行う、項目５または６に記載の情報処理装置。
［項目８］
前記検査画像のサイズを縮小し、縮小した画像の周囲に所定の画素値の画素を配置して、縮小前の前記検査画像のサイズと同じサイズの画像を生成する縮小部をさらに備え、
前記検出処理部は、前記縮小部により生成された前記画像に基づき、前記検出処理を行う、項目１～７のいずれか一項に記載の情報処理装置。
［項目９］
前記機械学習モデルは、前記検査画像の画素値を入力とし、前記異物の存在有無に関する値を出力するニューラルネットワークである
項目１～８のいずれか一項に記載の情報処理装置。
［項目１０］
前記食品に照射される前記光は近赤外光である
項目１～９のいずれか一項に記載の情報処理装置。
［項目１１］
前記食品は野菜である、項目１～１０のいずれか一項に記載の情報処理装置。
［項目１２］
前記野菜は、ブロッコリー、ほうれん草または枝豆のいずれかである、項目１１に記載の情報処理装置。
［項目１３］
前記異物は有機物である、項目１～１２のいずれか一項に記載の情報処理装置。
［項目１４］
前記有機物は虫である、項目１３に記載の情報処理装置。
［項目１５］
第３方向に偏光されて食品に照射された光の反射光を、前記第３方向と平行な第１方向に偏光させた第１光の撮像データと、前記反射光を前記第１方向と直交する第２方向に偏光させた第２光の撮像データとの差分に基づき、検査画像を生成し、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する
情報処理方法。
［項目１６］
光を照射する光源と、
前記光源から照射された前記光を第３方向に偏光させ、偏光させた光を食品へ透過させる第３の偏光子と、
前記食品の反射光を前記第３方向と平行な第１方向に偏光させる第１の偏光子と、
前記反射光を前記第３方向と直交する第２方向に偏光させる第２の偏光子と、
前記第１の偏光子を透過した第１光を撮像して第１撮像データを生成し、前記第２の偏光子を透過した第２光を撮像して第２撮像データを生成する撮像部と、
前記第１撮像データと前記第２撮像データとの差分に基づき、検査画像を生成する検査画像生成部と、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する検出処理を行う検出処理部と
を備える、食品検査装置。
［項目１７］
光源から照射した光を第３の偏光子により第３方向に偏光させて第３光とし、前記第３光を搬送面で搬送される食品に照射し、
前記食品における前記第３光の反射光を、前記第３方向と平行な第１方向に第１の偏光子により偏光させて第１光とし、前記第１光を撮像して第１撮像データを生成し、
前記反射光を、前記第３方向と直交する第２方向に第２の偏光子により偏光させて第２光とし、前記第２光を撮像して第２撮像データを生成し、
前記第１撮像データと前記第２撮像データの差分に基づき、検査画像を生成し、
前記検査画像と、機械学習モデルとに基づき、前記食品に存在する異物を検出する
食品製造方法。

【符号の説明】

【0080】

１ 食品
１ａ 異物
２ 平板
３ 光源
４ 撮像装置（撮像部）
４ａ レンズ
５ 偏光子（第３の偏光子）
６ 偏光子（第１の偏光子）
７ 偏光子（第２の偏光子）
８ ガイドレール
９ 処理装置
９ａ 情報処理部（情報処理装置）
９ｂ コントローラ
１０ 駆動装置（駆動部）
１１ 検査光
１２ 反射光
１３ 入力装置（入力部）
１４ 出力装置（出力部）
９１ 検査画像生成部
９２ フィルタ処理部（変換部）
９３ クラスタ化部（設定部）
９４ａ 第１の線形濃度変換部
９４ｂ 第２の線形濃度変換部
９５ 検出処理部
９５ａ 第１の検出部
９５ｂ 第２の検出部
９６ａ 第１の縮小部（縮小部）
９６ｂ 第２の縮小部（縮小部）
９７ 判定部
Ｃ 直交画像
Ｐ 平行画像
１００ 食品検査装置
２００ 食品製造装置
２１０ 搬送装置
２２０ 異物除去装置
２３０ ロボットハンド

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】