特許 7368834 物品処理装置、物品処理システム及び物品処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-17

(45)【発行日】2023-10-25

(54)【発明の名称】物品処理装置、物品処理システム及び物品処理方法

(51)【国際特許分類】

   G01N 23/18 20180101AFI20231018BHJP

   G01N 23/04 20180101ALI20231018BHJP

【ＦＩ】

G01N23/18

G01N23/04

【請求項の数】 5

(21)【出願番号】P 2019203207

(22)【出願日】2019-11-08

(65)【公開番号】P2021076472

(43)【公開日】2021-05-20

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000147833

【氏名又は名称】株式会社イシダ

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(72)【発明者】

【氏名】府中谷 洸介

(72)【発明者】

【氏名】堤 弘法

【審査官】清水 靖記

(56)【参考文献】

【文献】特開２０１９－１７４４２１（ＪＰ，Ａ）

【文献】特開２０１９－０６０７４１（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１５７９３２（ＵＳ，Ａ１）

【文献】特開２００６－２０８０９８（ＪＰ，Ａ）

【文献】特開２０１９－０６７２１２（ＪＰ，Ａ）

【文献】特開２０１９－１９２１６９（ＪＰ，Ａ）

【文献】特開２０１８－０２７２４２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２３／００ － Ｇ０１Ｎ ２３／２２７６

Ｇ０１Ｎ ２１／００ － Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ ７／００ － Ｇ０６Ｔ ７／９０

Ｇ０６Ｎ ２０／００ － Ｇ０６Ｎ ２０／２０

Ｇ０６Ｎ ９９／００

Ｇ０１Ｂ １１／００ － Ｇ０１Ｂ １１／３０

Ｇ０１Ｂ １５／００ － Ｇ０１Ｂ １５／０８

Ｇ０６Ｆ １１／００ － Ｇ０６Ｆ １１／３６

Ｇ０６Ｆ １６／００ － Ｇ０６Ｆ １６／９５８

Ｇ０６Ｆ １７／００ － Ｇ０６Ｆ １７／４０

(57)【特許請求の範囲】

【請求項1】

物品の画像を取得する画像取得部と、
前記物品の品種に係る物品情報を取得する情報取得部と、
前記物品情報と、予め構成された学習済みモデルとを対応付けて記憶する記憶部と、
前記情報取得部によって取得された前記物品情報と前記学習済みモデルとが前記記憶部において対応付けられている場合、前記学習済みモデルに前記画像取得部によって取得された前記画像を入力し、前記物品の品種の良否を判定する判定部と、
前記情報取得部によって取得された前記物品情報と前記学習済みモデルとが前記記憶部において対応付けられていない場合、又は、前記物品が良品であるにも関わらず良品であると判定されない場合、前記判定部による前記物品の良否判定の処理を実施させずに、当該物品情報と前記画像取得部によって取得された前記画像とを対応付けて記憶部又は記憶媒体に記憶させる制御部と、を備える、物品処理装置。

【請求項2】

前記判定部が判定できない場合、判定できないことを報知する報知部を備える、請求項１に記載の物品処理装置。

【請求項3】

前記物品を搬送する搬送部を備え、
前記画像取得部は、前記搬送部によって搬送される前記物品の前記画像を取得する、請求項１又は２に記載の物品処理装置。

【請求項4】

前記判定部が判定できない場合、判定が行われた前記物品の搬送経路とは異なる経路に前記物品を振り分ける振分部を備える、請求項３に記載の物品処理装置。

【請求項5】

物品の画像を取得する画像取得ステップと、
前記物品の品種に係る物品情報を取得する情報取得ステップと、
前記物品情報と、予め構成された学習済みモデルとを記憶部に対応付けて記憶する記憶ステップと、
前記情報取得ステップにおいて取得された前記物品情報と前記学習済みモデルとが前記記憶部において対応付けられている場合、前記学習済みモデルに前記画像取得ステップにおいて取得された前記画像を入力し、前記物品の品種の良否を判定する判定ステップと、
前記情報取得ステップにおいて取得された前記物品情報と前記学習済みモデルとが前記記憶部において対応付けられていない場合、又は、前記物品が良品であるにも関わらず良品であると判定されない場合、前記判定ステップによる前記物品の良否判定の処理を実施させずに、当該物品情報と前記画像取得ステップにおいて取得された前記画像とを対応付けて記憶部又は記憶媒体に記憶させる制御ステップと、を含む、物品処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物品処理装置、物品処理システム及び物品処理方法に関する。

【背景技術】

【0002】

従来の物品処理装置として、例えば、特許文献１に記載の物品処理装置が知られている。特許文献１に記載の物品処理装置は、被検査物の画像データを生成する画像データ生成手段と、画像データ生成手段が生成した画像データから、被検査物の良否の判定処理を行なう判定手段と、を備えている。特許文献１に記載の物品処理装置では、被検査物の品種と他品種との識別が可能な特徴データを取得して品種ごとに特徴データ登録手段に登録しておき、検査対象の被検査物の品種切替の際に、品種切替手段が、特徴データ取得手段により新たな検査対象となる被検査物について特徴データの取得を新たに行なわせ、その新たに取得した特徴データが登録済みであることを確認して、その特徴データに対応する品種についての検査条件を検査条件登録手段から読み出して、新たな検査対象となる被検査物についての検査条件を更新する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４６４２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

新たな物品（被検査物）の判定等を学習済みモデル（特徴データ）によって行う場合には、新たな物品の画像を準備し、当該画像を当該物品に係る教師データとして機械学習を行わせ、学習済みモデルを構成（作成）することが必要となる。また、物品の特徴に変化が生じた場合、学習済みモデルを更新する必要がある。判定精度の高い学習済みモデルを構成するためには、多量の教師データが必要となる。教師データは、作業者が画像を確認し、画像に対応する物品情報を付与することで作成される。そのため、教師データの数が増大すると、教師データを作成するための手間や時間が掛かるため、コストが増大する。

【0005】

本発明の一側面は、コストの低減を図ることができる物品処理装置、物品処理システム及び物品処理方法を提供すること目的とする。

【課題を解決するための手段】

【0006】

本発明の一側面に係る物品処理装置は、物品の画像を取得する画像取得部と、物品の品種に係る物品情報を取得する情報取得部と、物品情報と、予め構成された学習済みモデルとを対応付けて記憶する記憶部と、情報取得部によって取得された物品情報と学習済みモデルとが記憶部において対応付けられている場合、学習済みモデルに画像取得部によって取得された画像を入力し、物品の品種の良否を判定する判定部と、情報取得部によって取得された物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定部による物品の良否判定の処理を実施させずに、当該物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる制御部と、を備える。

【0007】

本発明の一側面に係る物品処理装置では、制御部は、物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定部による物品の良否判定の処理を実施させずに、当該物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる。これにより、物品処理装置では、新たな物品が搬送部で搬送される場合には、新たな物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。また、物品処理装置では、物品の特徴が変化し、予め構成された学習済みモデルでは対応することができず、物品が良品であるにも関わらず良品であると判定されない場合には、当該物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。そのため、物品処理装置では、物品と画像とを対応付ける作業を作業者が行わなくとも、物品に係る教師データを収集することができる。したがって、物品処理装置では、作業者の作業量を減少させることができるため、コストの低減を図ることができる。特に、新たな物品が頻繁に投入される場合には、上記構成が特に有効である。

【0008】

また、従来では、情報取得部によって取得された物品情報と学習済みモデルとが記憶部において対応付けられていない場合には、物品処理装置において物品の判定処理を行えないため、エラー等が報知される。そのため、作業者が、エラーの解除や設定の変更を行わなければならず、手間がかかる。本発明の一側面に係る物品処理装置では、物品情報と学習済みモデルとが記憶部において対応付けられていない場合には、制御部が、自動的に、物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる。そのため、作業者が作業を行う必要がない。したがって、物品処理装置では、作業者の手間を省くことができるため、コストの低減を図ることができる。

【0009】

一実施形態においては、判定部による良否判定の処理が実施されない場合、良否判定の処理が実施されていないことを報知する報知部を備えていてもよい。この構成では、作業者等に対して、良否判定の処理が行われていないことを知らしめることができる。そのため、作業者は、良否判定の処理が行われていない物品であることを認識することができる。

【0010】

一実施形態においては、物品を搬送する搬送部を備え、画像取得部は、搬送部によって搬送される物品の画像を取得してもよい。この構成では、例えば、物品の生産ラインに物品処理装置が配置される場合、物品を搬送しつつ物品の判定処理を実施する。この場合、多くの物品が搬送部によって搬送されるため、より多くの教師データを収集することが可能となる。

【0011】

一実施形態においては、判定部による良否判定の処理が実施されない場合、良否判定が行われた物品が搬送される経路とは異なる経路に物品を振り分ける振分部を備えていてもよい。この構成では、良否判定の処理が実施されていない物品を振り分けることができるため、良否判定の処理が実施されていない物品を確実に認識することができる。

【0012】

本発明の一側面に係る物品処理システムは、物品の画像を取得する画像取得部と、物品の品種に係る物品情報を取得する情報取得部と、物品情報と、予め構成された学習済みモデルとを対応付けて記憶する記憶部と、情報取得部によって取得された物品情報と学習済みモデルとが記憶部において対応付けられている場合、学習済みモデルに画像取得部によって取得された画像を入力し、物品の品種の良否を判定する判定部と、情報取得部によって取得された物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定部による物品の良否判定の処理を実施させずに、当該物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる制御部と、を備える。

【0013】

本発明の一側面に係る物品処理システムでは、制御部は、物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定部による物品の良否判定の処理を実施させずに、当該物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる。これにより、物品処理システムでは、新たな物品が搬送部で搬送される場合には、新たな物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。また、物品処理システムでは、物品の特徴が変化し、予め構成された学習済みモデルでは対応することができず、物品が良品であるにも関わらず良品であると判定されない場合には、当該物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。そのため、物品処理システムでは、物品と画像とを対応付ける作業を作業者が行わなくとも、物品に係る教師データを収集することができる。したがって、物品処理システムでは、作業者の作業量を減少させることができるため、コストの低減を図ることができる。特に、新たな物品が頻繁に投入される場合には、上記構成が特に有効である。

【0014】

本発明の一側面に係る物品処理方法は、物品の画像を取得する画像取得ステップと、物品の品種に係る物品情報を取得する情報取得ステップと、物品情報と、予め構成された学習済みモデルとを記憶部に対応付けて記憶する記憶ステップと、情報取得ステップにおいて取得された物品情報と学習済みモデルとが記憶部において対応付けられている場合、学習済みモデルに画像取得ステップにおいて取得された画像を入力し、物品の品種の良否を判定する判定ステップと、情報取得ステップにおいて取得された物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定ステップによる物品の良否判定の処理を実施させずに、当該物品情報と画像取得ステップにおいて取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる制御ステップと、を含む。

【0015】

本発明の一側面に係る物品処理方法では、制御ステップにおいて、物品情報と学習済みモデルとが記憶部において対応付けられていない場合、又は、物品が良品であるにも関わらず良品であると判定されない場合、判定部による物品の良否判定の処理を実施させずに、当該物品情報と画像取得部によって取得された画像とを対応付けて記憶部又は記憶媒体に記憶させる。これにより、物品処理方法では、新たな物品が搬送部で搬送される場合には、新たな物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。また、物品処理方法では、物品の特徴が変化し、予め構成された学習済みモデルでは対応することができず、物品が良品であるにも関わらず良品であると判定されない場合には、当該物品の物品情報と画像とを対応付けて記憶部又は記憶媒体に記憶させることができる。そのため、物品処理方法では、物品と画像とを対応付ける作業を作業者が行わなくとも、物品に係る教師データを収集することができる。したがって、物品処理方法では、作業者の作業量を減少させることができるため、コストの低減を図ることができる。特に、新たな物品が頻繁に投入される場合には、上記方法が特に有効である。

【発明の効果】

【0016】

本発明の一側面によれば、コストの低減を図ることができる。

【図面の簡単な説明】

【0017】

【図1】図１は、一実施形態に係る検査システムの構成を示す図である。

【図2】図２は、物品検査装置の構成を示す図である。

【図3】図３は、ニューラルネットワークを示す図である。

【図4】図４は、タッチパネルディスプレイに表示される画面の一例を示す図である。

【図5】図５は、タッチパネルディスプレイに表示される画面の一例を示す図である。

【図6】図６は、カメラ及び搬送部を示す図である。

【図7】図７は、他の実施形態に係る物品検査装置を示す図である。

【発明を実施するための形態】

【0018】

以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。なお、図面の説明において同一又は相当要素には同一符号を付し、重複する説明は省略する。

【0019】

図１に示されるように、検査システム１は、装置群３と、サーバ５と、を備えている。検査システム１では、物品（食品等）を検査し、ラベルを貼付する。本実施形態では、例えば、検査システム１は、おにぎりを検査する。

【0020】

装置群３は、物品検査装置（物品処理装置）１０と、金属検査装置１１と、重量検査装置１２と、Ｘ線検査装置１３と、ラベラー１４と、ラベル検査装置１５と、を備えている。装置群３では、物品検査装置１０、金属検査装置１１、重量検査装置１２、Ｘ線検査装置１３、ラベラー１４及びラベル検査装置１５の順番に、物品が搬送される。物品検査装置１０、金属検査装置１１、重量検査装置１２、Ｘ線検査装置１３、ラベラー１４及びラベル検査装置１５は、互いに通信可能に接続されている。

【0021】

物品検査装置１０は、物品の品種を検査する。金属検査装置１１は、金属を検査する。金属検査装置１１は、物品への金属の混入の有無を検査する。重量検査装置１２は、物品の重量を検査する。Ｘ線検査装置１３は、物品を検査する。Ｘ線検査装置１３は、物品を搬送しつつ物品のＸ線透過画像を生成し、Ｘ線透過画像に基づいて物品の検査（例えば、物品の個数検査等）を行う。

【0022】

ラベラー１４は、物品にラベルを貼付する。ラベル検査装置１５は、ラベラー１４によって貼付されたラベルを検査する。ラベル検査装置１５は、検査対象となる物品に係る物品情報を取得し、物品情報とラベルの記載事項とが一致しているか否かを検査する。物品情報は、装置群３を統括的に管理する管理装置（図示省略）からラベル検査装置１５に対して送信される。なお、物品情報は、ラベル検査装置１５において入力されてもよい。

【0023】

図２に示されるように、物品検査装置１０は、制御ユニット３０と、カメラ３１と、タッチパネルディスプレイ３２と、報知部３３と、搬送部３４と、を備えている。物品検査装置１０は、搬送部３４によって搬送される物品をカメラ３１によって撮像し、物品が製造されるべき物品であるか否かを判定する。物品検査装置１０は、例えば、おにぎりが製造されるべき品種（具）であるか否かを判定する。

【0024】

制御ユニット３０は、物品検査装置１０における各種動作を制御する部分であり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を含んで構成されている。制御ユニット３０は、入力部（画像取得部、情報取得部）３５と、記憶部３６と、判定部３７と、制御部３８と、出力部３９と、を有している。

【0025】

入力部３５は、カメラ３１から出力された画像データを入力する。入力部３５は、入力した画像データを記憶部３６及び判定部３７に出力する。判定部３７に出力されるデータは、カメラ３１から出力された画像データのうち、物品に相当する領域（物品、又は、物品とその周辺と）のみが切り出されたものであってもよい。

【0026】

入力部３５は、物品の品種に係る物品情報を取得する。物品情報は、物品検査装置１０において検査する物品のロット情報に相当する。本実施形態では、物品情報は、例えば、番号（数字）である。番号には、物品の品種が対応付けられている。番号と品種とは、例えば、「１：シーチキン」、「２：鮭」、「３：おかか」、「４：明太子」等のように対応付けられている。入力部３５は、ラベル検査装置１５から出力された物品情報を入力して、記憶部３６及び判定部３７に出力する。また、入力部３５は、サーバ５から送信された学習済モデルを入力して記憶部３６に記憶させる。

【0027】

記憶部３６は、各種データを記憶する。記憶部３６は、入力部３５から出力された画像データを記憶する。記憶部３６は、物品情報と画像データとを対応付けて記憶する。具体的には、記憶部３６は、入力部３５から出力された物品情報（例えば、「１：シーチキン」）と、当該物品情報のロットにおいて入力部３５から出力された画像データと、を対応付けて記憶する。

【0028】

記憶部３６は、物品情報と、予め構成された学習済みモデルとを対応付けて記憶する（記憶ステップ）。学習済みモデルは、物品の品種を特定する。記憶部３６において、物品情報と学習済みモデルとを対応付けるとは、学習済みモデルにおいて予測することが可能な物品と、当該物品に係る物品情報とを紐付けて記憶することを意味する。具体的には、例えば、学習済みモデルにおいて、おにぎりの品種として「シーチキン」を予測することができる場合には、シーチキンの番号である「１」と学習済みモデルとが対応付けられて記憶されている。一方で、例えば、学習済みモデルにおいて、おにぎりの品種として、「４：明太子」を予測することができない場合には、記憶部３６に番号「４」が記憶されていない。記憶部３６では、物品情報を参照することにより、学習済みモデルにおいて当該物品情報が示す物品を予測することが可能か否かを確認することができる。

【0029】

判定部３７は、物品の品種の良否を判定する。判定部３７は、カメラ３１によって撮像された画像データに基づいて、搬送部３４によって搬送される物品の品種（種類）を予測し、物品の品種の良否を判定する。物品の良否の判定とは、画像データの物品と入力部３５から出力された物品情報が示す物品とが一致しているか否かの判定である。

【0030】

判定部３７は、学習済みモデルによって物品を予測する。学習済モデルは、画像データに基づく画像が示す物品を予測して出力する。学習済モデルは、ニューラルネットワークＮＷを含む。学習済モデルは、畳み込みニューラルネットワークを含むものであってもよい。更に、学習済モデルは、複数の階層（例えば、８層以上）のニューラルネットワークを含むものであってもよい。すなわち、ディープラーニングによって学習済モデルが生成されてもよい。

【0031】

図３に示されるように、ニューラルネットワークＮＷは、例えば、入力層である第１層と、中間層（隠れ層）である第２層、第３層、及び第４層と、出力層である第５層とで構成される。第１層は、ｐ個のパラメータを要素とする入力値ｘ＝（ｘ０，ｘ１，ｘ２，…ｘｐ）をそのまま第２層に出力する。第２層、第３層、及び第４層のそれぞれは、活性化関数により総入力を出力に変換してその出力を次の層に渡す。第５層も活性化関数により総入力を出力に変換し、この出力は、ｑ個のパラメータを要素とするニューラルネットワークの出力ベクトルｙ＝（ｙ_０，ｙ_１，…，ｙ_ｑ）である。

【0032】

本実施形態では、ニューラルネットワークＮＷは、画像の各画素の画素値を入力して、物品の予測結果を示す情報を出力する。ニューラルネットワークＮＷの入力層には、画像の画素数分のニューロンが設けられる。ニューラルネットワークＮＷの出力層には、物品の予測結果に係る情報を出力するためのニューロンが設けられる。出力層のニューロンの出力値に基づいて、物品を予測することができる。ニューロンの出力値は、例えば、０～１の値である。この場合、ニューロンの値が大きい程（値が１に近い程）、画像データの物品である可能性（確率）が高く、ニューロンの値が小さい程（値が０に近い程）、画像データの物品である可能性が低いことを示している。

【0033】

判定部３７は、画像データに基づく画像を、学習済モデルに入力する。判定部３７は、入力させる画像を正規化してもよい。画像の正規化は、例えば、画像の縮小、拡大、トリミング等を行うことで行われる。また、判定部３７は、入力させる画像に対して、コントラストの調整、色の変更、及びフォーマットの変更等の各種の処理を行ってもよい。判定部３７は、学習済みモデルのニューラルネットワークＮＷに画像を入力したことに応じて、ニューラルネットワークＮＷから出力された出力値を含む予測結果を取得する。予測結果には、記憶部３６に記憶されている物品情報に係る全ての種類の物品が含まれる。

【0034】

判定部３７は、入力部３５から出力された物品情報と、予測結果とに基づいて、物品の品種の良否を判定する。判定部３７は、物品情報が示す物品と、予測結果が示す物品とが一致している場合には、その旨（ＯＫ）を示す判定情報を制御部３８に出力する。判定部３７は、物品情報が示す物品と、予測結果が示す物品とが一致していない場合には、その旨（ＮＧ）を示す判定情報を制御部３８に出力する。

【0035】

図２に示されるように、制御部３８は、入力部３５から出力された画像データを、タッチパネルディスプレイ３２に表示させる。制御部３８は、判定部３７から判定情報が判定部３７から出力されると、判定情報に基づく判定結果をタッチパネルディスプレイ３２に表示させる。図４に示されるように、タッチパネルディスプレイ３２には、例えば、画像Ｇが表示される。画像Ｇの表示部イＤ１には、判定対象である物品Ｓの画像が表示される。画像Ｇの表示部Ｄ２には、判定結果として、「ＯＫ」又は「ＮＧ」が表示される。図４では、判定結果が「ＯＫ」である一例を示している。また、画像Ｇには、例えば、これまで判定した物品について、「ＯＫ」の数及び「ＮＧ」の数が表示される。

【0036】

制御部３８は、物品情報と学習済みモデルとが記憶部３６において対応付けられていない場合、判定部３７による物品の良否判定の処理を実施させずに、物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる。制御部３８は、入力部３５から出力された物品情報を取得すると、物品情報に基づいて記憶部３６を参照する。制御部３８は、取得した物品情報が記憶部３６において記憶されていない場合には、判定部３７に判定の不実施を指示する指示情報を出力する。判定部３７は、指示情報が出力されると、判定を実施しない。

【0037】

制御部３８は、取得した物品情報が記憶部３６において記憶されていない場合には、タッチパネルディスプレイ３２に、物品の判定を実施していない旨を表示させる。図５に示されるように、タッチパネルディスプレイ３２には、例えば、画像Ｇの表示部Ｄ２に、「検査不実施」が表示される。また、制御部３８は、取得した物品情報が記憶部３６において記憶されていない場合には、報知情報を出力部３９に出力する。

【0038】

制御部３８は、物品が良品であるにも関わらず良品であると判定されない場合、判定部３７による物品の良否判定の処理を実施させずに、物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる。制御部３８は、判定部３７の判定結果として、「ＮＧ」をタッチパネルディスプレイ３２に表示させた後、タッチパネルディスプレイ３２において所定の操作が行われた場合には、判定部３７による物品の良否判定の処理を実施させない。所定の操作とは、例えば、判定部３７において判定を実施させないことを指示する操作である。制御部３８は、判定を実施しない指示（入力）を受け付けた場合には、判定部３７に判定の不実施を指示する指示情報を出力する。

【0039】

制御部３８は、タッチパネルディスプレイ３２において判定を実施しない指示を受け付けた場合には、タッチパネルディスプレイ３２に、物品の判定を実施していない旨を表示させる。また、制御部３８は、取得した物品情報が記憶部３６において記憶されていない場合には、報知情報を出力部３９に出力する。

【0040】

図２に示されるように、出力部３９は、制御部３８から出力された報知情報を、報知部３３に出力する。出力部３９は、記憶部３６に記憶されている画像データを、サーバ５に出力する。具体的には、出力部３９は、判定部３７によって判定が行われなかった物品の画像データを、サーバ５に出力する。出力部３９は、記憶部３６に当該画像データが記憶される度に画像データをサーバ５に出力してもよいし、所定数の画像データが記憶部３６に記憶された場合にサーバ５に出力してもよい。

【0041】

カメラ３１は、物品を撮像する。カメラ３１は、撮像した画像の画像データを入力部３５に出力する。カメラ３１は、搬送部３４によって搬送される物品を撮像する。図６に示されるように、カメラ３１は、搬送部３４の上方に配置されている。

【0042】

図２に示されるように、タッチパネルディスプレイ３２は、制御ユニット３０の制御により、物品検査装置１０において検査される物品に係る情報、物品検査装置１０の操作に必要な基本的な情報等が表示される。

【0043】

報知部３３は、判定部３７による良否判定の処理が実施されない場合、良否判定の処理が実施されていないことを報知する。報知部３３は、例えば、ブザー、ランプ等である。報知部３３は、作業者から視認可能な位置に配置されることが好ましい。報知部３３は、出力部３９から報知情報が出力されると、報知を開始する。

【0044】

図６に示されるように、搬送部３４は、物品を搬送する。搬送部３４は、例えば、ベルトコンベアである。搬送部３４は、所定の搬送速度で、物品を搬送する。搬送部３４は、物品を金属検査装置１１に搬出する。

【0045】

図１に示されるように、サーバ５は、機械学習によって学習済モデルを生成して、学習済モデルによって処理を行う装置である。サーバ５は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等で構成されている。物品検査装置１０とサーバ５とは、インターネット、又は電話網等の有線又は無線のネットワークによって通信可能に接続されており、互いに情報の送受信を行うことができる。

【0046】

サーバ５は、通信部２０と、学習モデル生成部２１と、記憶部２２と、を備えている。

【0047】

通信部２０は、物品検査装置１０と通信を行う。通信部２０は、物品検査装置１０から送信された画像データを受信して、学習モデル生成部２１及び記憶部２２に出力する。通信部２０は、学習モデル生成部２１において生成された学習済みモデルを物品検査装置１０に送信する。

【0048】

学習モデル生成部２１は、機械学習に用いる教師データを取得して、取得した教師データを用いて機械学習を行って学習済モデルを生成する。教師データは、画像、及び、その他のデータを含む。画像は、物品検査装置１０において取得された画像である。その他のデータは、画像の物品を示す物品情報である。

【0049】

学習モデル生成部２１は、画像の各画素値をニューラルネットワークへの入力値とすると共に、画像に対応する処理情報をニューラルネットワークの出力値として機械学習を行ってニューラルネットワークＮＷ（図３参照）を生成（構成）する。画素値を入力値とする際には、それぞれの画素（画像上の画素の位置）に対応付いたニューロンの入力値とする。上記の機械学習自体は、従来の機械学習アルゴリズムと同様に行うことができる。学習モデル生成部２１は、生成した学習済みモデルを記憶部２２に記憶させる。

【0050】

続いて、物品検査装置１０の動作（物品処理方法）について説明する。物品検査装置１０は、検査を開始する前に、ラベル検査装置１５から出力された物品情報（例えば、「１：シーチキン」）を取得する（情報取得ステップ）。物品検査装置１０は、物品情報を取得すると、物品情報に基づいて、記憶部３６を参照する。

【0051】

物品検査装置１０は、記憶部３６において、物品情報と学習済みモデルとが対応付けられている場合には、判定部３７による判定を実施させる（制御ステップ）。具体的には、物品検査装置１０では、搬送部３４によって搬送される物品を撮像し（画像取得ステップ）、撮像した画像の画像データに基づいて、物品の品種の良否を判定する（判定ステップ）。すなわち、物品検査装置１０は、搬送部３４によって搬送されているおにぎりの具が、「シーチキン」であるか否かを判定する。物品検査装置１０は、おにぎりの具が「シーチキン」であると予測した場合には、タッチパネルディスプレイ３２に「ＯＫ」を表示する。物品検査装置１０は、おにぎりの具が「シーチキン」でないと予測した場合には、タッチパネルディスプレイ３２に「ＮＧ」を表示する。なお、物品検査装置１０では、「ＮＧ」である場合には、報知部３３を作動させてもよいし、搬送部３４による物品の搬送を停止させてもよい。

【0052】

物品検査装置１０は、記憶部３６において、物品情報と学習済みモデルとが対応付けられていない場合には、判定部３７において判定を実施させない。この場合、物品検査装置１０は、タッチパネルディスプレイ３２に判定を実施していない旨を表示すると共に、報知部３３によってその旨を報知する。また、物品検査装置１０は、カメラ３１によって撮像された物品の画像データを、物品情報と対応付けて記憶部３６に記憶させる。

【0053】

物品検査装置１０は、判定部３７の判定結果として、「ＮＧ」をタッチパネルディスプレイ３２に表示させた後、タッチパネルディスプレイ３２において所定の操作が行われた場合には、判定部３７による物品の良否判定の処理を実施させない。この場合、物品検査装置１０は、タッチパネルディスプレイ３２に判定を実施していない旨を表示すると共に、報知部３３によってその旨を報知する。また、物品検査装置１０は、カメラ３１によって撮像された物品の画像データを、物品情報と対応付けて記憶部３６に記憶させる。物品検査装置１０は、記憶部３６に記憶した画像データ及び物品情報を、サーバ５に送信する。

【0054】

以上説明したように、本実施形態に係る検査システム１の物品検査装置１０では、制御部３８は、物品情報と学習済みモデルとが記憶部３６において対応付けられていない場合、判定部３７による物品の良否判定の処理を実施させずに、当該物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる。これにより、物品検査装置１０では、新たな物品が搬送部３４で搬送される場合には、新たな物品の物品情報と画像データとを対応付けて記憶部３６に記憶させることができる。そのため、物品検査装置１０では、新たな物品と画像データとを対応付ける作業を作業者が行わなくとも、新たな物品に係る教師データを収集することができる。したがって、物品検査装置１０では、作業者の作業量を減少させることができるため、コストの低減を図ることができる。特に、新たな物品が頻繁に投入される場合には、上記構成が特に有効である。

【0055】

また、物品検査装置１０では、物品情報と学習済みモデルとが記憶部３６において対応付けられていない場合には、制御部３８が、自動的に、物品情報と画像データとを対応付けて記憶部３６に記憶させる。そのため、作業者が作業を行う必要がない。したがって、物品検査装置１０では、作業者の手間を省くことができるため、コストの低減を図ることができる。

【0056】

また、物品検査装置１０では、制御部３８は、物品が良品であるにも関わらず良品であると判定されない場合、判定部３７による物品の良否判定の処理を実施させずに、物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる。例えば、おにぎりにおいて、鮭等の具材は、時期や産地等によって特徴が異なることがある。そのため、記憶部３６において物品情報と学習済みモデルとが対応付けられていたとしても、学習済みモデルが上記特徴に対応できないため、判定結果が「ＮＧ」となるおそれがある。そこで、物品検査装置１０では、物品が良品であるにも関わらず良品であると判定されない場合、物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる。そのため、物品検査装置１０では、物品と画像データとを対応付ける作業を作業者が行わなくとも、特徴が異なる物品に係る教師データを収集することができる。その結果、教師データに基づいて、学習済みモデルを更新することが可能となる。

【0057】

本実施形態に係る物品検査装置１０では、判定部３７による良否判定の処理が実施されない場合、良否判定の処理が実施されていないことを報知する報知部３３を備えている。この構成では、作業者等に対して、良否判定の処理が行われていないことを知らしめることができる。そのため、作業者は、良否判定の処理が行われていない物品であることを認識することができる。

【0058】

本実施形態に係る物品検査装置１０は、物品を搬送する搬送部３４を備える。入力部３５は、搬送部３４によって搬送される物品の画像を取得する。この構成では、物品の生産ラインに物品検査装置１０が配置される場合、物品を搬送しつつ物品の判定処理を実施する。この場合、多くの物品が搬送部３４によって搬送されるため、より多くの教師データを収集することが可能となる。

【0059】

以上、本発明の実施形態について説明してきたが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変更が可能である。

【0060】

上記実施形態では、物品がおにぎりである形態を一例に説明した。しかし、物品は、他の食品、電子部品等であってもよい。

【0061】

上記実施形態では、物品検査装置１０がカメラ３１を備える形態を一例に説明した。しかし、物品検査装置１０は、カメラ３１を備えていなくてもよい。この場合、物品検査装置１０は、物品検査装置１０とは別に設けられているカメラから画像データを取得すればよい。

【0062】

上記実施形態では、物品検査装置１０の入力部３５が、ラベル検査装置１５から出力された物品情報を取得する形態を一例に説明した。しかし、物品情報は、他の装置から物品情報を取得してもよいし、物品検査装置１０のタッチパネルディスプレイ３２において入力されることによって取得してもよい。

【0063】

上記実施形態では、制御部３８が、物品情報と入力部３５によって取得された画像データとを対応付けて記憶部３６に記憶させる形態を一例に説明した。しかし、制御部３８は、記憶部３６とは異なる記憶部に、物品情報と入力部３５によって取得された画像データとを対応付けて記憶させてもよい。また、制御部３８は、物品検査装置１０とは別に設置された記憶部に、物品情報と入力部３５によって取得された画像データとを対応付けて記憶させてもよい。また、制御部３８は、物品検査装置１０に接続等された記憶媒体（フラッシュメモリ、外付けＨＤＤ等）に物品情報と画像データとを対応付けて記憶させてもよい。

【0064】

上記実施形態に加えて、図７に示されるように、物品検査装置１０Ａは、振分部４０を有していてもよい。振分部４０は、判定部３７による良否判定の処理が実施されない場合、良否判定が行われた物品Ｓが搬送される経路（金属検査装置１１に搬送される経路）とは異なる経路に物品を振り分ける。振分部４０の動作は、制御部３８によって制御される。制御部３８は、取得した物品情報が記憶部３６において記憶されていない場合には、振分部４０を作動させて、図７において実線で示す位置に振分部４０を移動させる。これにより、物品Ｓは、金属検査装置１１に搬出されない。この構成では、良否判定の処理が実施されていない物品を振り分けることができるため、良否判定の処理が実施されていない物品を確実に認識することができる。

【0065】

上記実施形態では、検査システム１がサーバ５を備える形態を一例に説明した。しかし、サーバ５を備えていなくてもよい。この場合、物品検査装置１０が学習済モデル生成部を備えていればよい。

【0066】

上記実施形態では、学習モデル生成部２１が、機械学習に用いる教師データを取得して、取得した教師データを用いて機械学習を行って学習済モデルを生成する形態を一例に説明した。しかし、学習済モデルの生成方法は、これに限定されない。また、教師データとしては、画像及びその他のデータの他に、更に他のデータを用いてもよい。

【0067】

上記実施形態では、ニューラルネットワークＮＷが５層（入力層を除いた場合には４層）である形態を一例に説明した。しかし、学習モデル生成部２１を構成するニューラルネットワークの層の数は何ら限定されない。例えば、学習モデル生成部２１は３以上の任意の個数の層を有するニューラルネットワークを用いてもよく、これは、１以上の任意の個数の中間層を有するニューラルネットワークを用いてもよいことを意味する。また、ニューラルネットワークの各層の構成（例えばニューロンの個数）も、ニューロン間の接続も、上記実施形態で示した構成に限定されない。

【0068】

上記実施形態では、物品処理装置が物品検査装置１０である形態を一例に説明した。しかし、物品処理装置は、例えば、セルフレジ等に適用されてもよい。

【0069】

上記実施形態では、物品検査装置１０について説明した。しかし、本発明は、物品処理システムであってもよい。物品処理システムにおいては、画像取得部、情報取得部、記憶部判定部及び制御部のそれぞれは、異なる装置等に設けられていてもよい。例えば、画像取得が物品検査装置に設けられ、情報取得部及び制御部が物品検査装置よりも上位の装置（コンピュータ等）に設けられ、記憶部がクラウド等のファイルサーバに設けられていてもよい。

【符号の説明】

【0070】

１０…物品検査装置（物品処理装置）、３３…報知部、３４…搬送部、３５…入力部（画像取得部、情報取得部）、３６…記憶部、３７…判定部、３８…制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】