(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024097560
(43)【公開日】2024-07-19
(54)【発明の名称】トレーサビリティシステム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240711BHJP
【FI】
G06Q50/04
【審査請求】有
【請求項の数】2
【出願形態】OL
(21)【出願番号】P 2023001094
(22)【出願日】2023-01-06
(11)【特許番号】
(45)【特許公報発行日】2023-11-08
(71)【出願人】
【識別番号】000001812
【氏名又は名称】株式会社サタケ
(74)【代理人】
【識別番号】100121728
【弁理士】
【氏名又は名称】井関 勝守
(74)【代理人】
【識別番号】100227695
【弁理士】
【氏名又は名称】有川 智章
(72)【発明者】
【氏名】西村 健志
(72)【発明者】
【氏名】宮本 知幸
【テーマコード(参考)】
5L049
5L050
【Fターム(参考)】
5L049CC03
5L050CC03
(57)【要約】
【課題】流通過程における品質を担保すべく、不良品等の基準外と区分された物の種類の推定を行い、流通過程の信頼性、安全性を高めることが可能なトレーサビリティシステムを提供する。
【解決手段】穀物原料の流通過程に備えられたトレーサビリティシステム1は、穀物原料を検査して基準内の物と基準外の物とに分別する光学式選別機7と、基準外と区分された物を撮像して対象画像を取得する撮像部11と、第1分類画像及び第2分類画像を用いて学習した人工知能18に対象画像を入力して、基準外と区分された物の種類を推定する第1推定部15aと、を備えている。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被分別物の流通過程に備えられたトレーサビリティシステムであって、
前記被分別物を検査して基準内の物と基準外の物とに分別する分別部と、
前記基準外と区分された物を撮像して対象画像を取得する画像取得部と、
学習用画像を用いて学習した人工知能に前記対象画像を入力して、前記基準外と区分された物の種類を推定する第1推定部と、
を備えていることを特徴とするトレーサビリティシステム。
【請求項2】
請求項1に記載のトレーサビリティシステムにおいて、
前記被分別物は、工場に搬入された原料であり、
前記分別部は、前記原料を製品に加工して出荷する際、前記製品を検査して基準内の製品と基準外の製品とに分別し、
前記画像取得部は、前記基準外と区分された製品を撮像して前記対象画像を取得し、
前記第1推定部は、前記人工知能に前記対象画像を入力して、前記基準外と区分された製品の種類を推定することを特徴とするトレーサビリティシステム。
【請求項3】
請求項2に記載のトレーサビリティシステムにおいて、
前記基準外と区分された製品が、前記工場の搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを前記人工知能を用いて推定する第2推定部を更に備えていることを特徴とするトレーサビリティシステム。
【請求項4】
請求項3に記載のトレーサビリティシステムにおいて、
前記搬入前由来は、前記原料の生産地において混入したことを示す原料由来、及び、前記原料が生産地から前記工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であることを特徴とするトレーサビリティシステム。
【請求項5】
請求項4に記載のトレーサビリティシステムにおいて、
前記第2推定部において前記それ以外の由来であると推定された場合に、前記基準外と区分された製品が、前記工場内で混入したことを示す工場由来であると推定する第3推定部を更に備えていることを特徴とするトレーサビリティシステム。
【請求項6】
請求項3から5のいずれか1つに記載のトレーサビリティシステムにおいて、
前記人工知能は、前記基準外とされた製品の種類とその混入由来とが関連付けられた教師データによって学習されたものであることを特徴とするトレーサビリティシステム。
【請求項7】
請求項5に記載のトレーサビリティシステムにおいて、
前記人工知能は、前記基準外とされた製品の第1学習用画像と前記工場由来の原因ラベルとが関連付けられた第1教師データ、及び、前記基準外とされた製品の第2学習用画像と前記原料由来の原因ラベルとが関連付けられた第2教師データによって学習されたものであることを特徴とするトレーサビリティシステム。
【請求項8】
請求項1から5、7のいずれか1つに記載のトレーサビリティシステムにおいて、
前記基準外と区分された製品が警告対象であると推定された場合に、オペレータへの警告又はオペレータへの前工程へのフィードバックの指示を行う判定部を更に備えていることを特徴とするトレーサビリティシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、穀物原料などの被分別物の流通過程に備えられたトレーサビリティシステムに関する。
【背景技術】
【0002】
米穀類の流通管理システムとして、特許文献1に開示されたものがある。また、穀物原料に含まれる不良品の種類(被害粒、青未熟粒、籾米、乳白粒又は異物)を分析できる管理システムとして、特許文献2に開示されたものがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-205724号公報
【特許文献2】特開2022-15784号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されたシステムでは、流通される米穀類に関し、公開される情報の信頼性を向上させ得ることを目的とするものであるが、必ずしも流通過程における品質が充分に担保されているとは言えない。一方で、特許文献2では、光学検出装置がR(赤)、G(緑)、B(青)の感度を有する素子を備えており、該素子を用いて検出した不良品のR、G、Bの各値と所定の判別式とを比較することで、不良品の種類を分析するようにしているが、その精度には改善の余地があった。
【0005】
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、流通過程における品質を担保すべく、不良品等の基準外と区分された物の種類の推定を行い、流通過程の信頼性、安全性を高めることが可能なトレーサビリティシステムを提供することにある。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明は、人工知能を用いて基準外と区分された物の種類を推定するようにしたことを特徴とする。
【0007】
具体的には、被分別物の流通過程に備えられたトレーサビリティシステムを対象とし、次のような解決手段を講じた。
【0008】
すなわち、第1の発明では、前記被分別物を検査して基準内の物と基準外の物とに分別する分別部と、前記基準外と区分された物を撮像して対象画像を取得する画像取得部と、学習用画像を用いて学習した人工知能に前記対象画像を入力して、前記基準外と区分された物の種類を推定する第1推定部と、を備えていることを特徴とする。
【0009】
第2の発明では、第1の発明において、前記被分別物は、工場に搬入された原料であり、前記分別部は、前記原料を製品に加工して出荷する際、前記製品を検査して基準内の製品と基準外の製品とに分別し、前記画像取得部は、前記基準外と区分された製品を撮像して前記対象画像を取得し、前記第1推定部は、前記人工知能に前記対象画像を入力して、前記基準外と区分された製品の種類を推定することを特徴とする。なお、「基準内の製品」は「基準内の物」の一例であり、「基準外の製品」は「基準外の物」の一例である。
【0010】
第3の発明では、第2の発明において、前記基準外と区分された製品が、前記工場の搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを前記人工知能を用いて推定する第2推定部を更に備えていることを特徴とする。
【0011】
第4の発明では、第3の発明において、前記搬入前由来は、前記原料の生産地において混入したことを示す原料由来、及び、前記原料が生産地から前記工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であることを特徴とする。
【0012】
第5の発明では、第4の発明において、前記第2推定部において前記それ以外の由来であると推定された場合に、前記基準外と区分された製品が、前記工場内で混入したことを示す工場由来であると推定する第3推定部を更に備えていることを特徴とする。
【0013】
第6の発明では、第3から第5の発明のいずれか1つにおいて、前記人工知能は、前記基準外とされた製品の種類とその混入由来とが関連付けられた教師データによって学習されたものであることを特徴とする。
【0014】
第7の発明では、第5の発明において、前記人工知能は、前記基準外とされた製品の第1学習用画像と前記工場由来の原因ラベルとが関連付けられた第1教師データ、及び、前記基準外とされた製品の第2学習用画像と前記原料由来の原因ラベルとが関連付けられた第2教師データによって学習されたものであることを特徴とする。
【0015】
第8の発明では、第1から第5、第7の発明のいずれか1つにおいて、前記基準外と区分された製品が警告対象であると推定された場合に、オペレータへの警告又はオペレータへの前工程へのフィードバックの指示を行う判定部を更に備えていることを特徴とする。
【発明の効果】
【0016】
第1の発明では、基準外と区分された物を撮像した対象画像が第1推定部の人工知能に入力されると、該第1推定部において基準外と区分された物の種類が推定されるようになる。ここで、人工知能は、学習用画像を用いて学習されているため、特許文献1の如きR、G、Bの各値と所定の判別式とを比較する場合に比べて、基準外と区分された物の種類の推定をより詳細に行うことができる。これにより、被分別物の流通過程における品質を担保することが可能となる。
【0017】
第2の発明では、工場において原料から製品に加工して出荷する際、分別部において検査が行われて、基準内の製品と基準外の製品とに分別されるようになる。そして、基準外の製品を撮像した対象画像が第1推定部の人工知能に入力されて、該第1推定部において基準外と区分された製品の種類を推定することができる。これにより、上述の特許文献1の場合に比べて、基準外と区分された製品の種類を詳細に推定可能となるので、工場内の加工処理工程における品質を担保することができる。
【0018】
第3の発明では、第2推定部によって、基準外と区分された製品の混入由来が工場の搬入前由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、原料が工場に搬入された後であっても、基準外と区分された製品が工場の搬入前に混入されたものであるか否かを推定することが可能となる。
【0019】
第4の発明では、基準外と区分された製品が工場の搬入前由来である場合において、原料の生産地において混入したことを示す原料由来、及び、原料が生産地から工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であることを推定することができる。
【0020】
第5の発明では、第3推定部が、第2推定部において搬入前由来(原料由来或いは原料流通由来)以外であると推定された基準外と区分された製品を工場由来であると推定することができる。
【0021】
第6の発明では、第3推定部が基準外とされた製品の種類とその混入由来とが関連付けられた教師データによって学習された人工知能を用いて基準外と区分された製品の混入由来の推定を行うことができる。
【0022】
第7の発明では、第3推定部が第1教師データと第2教師データによって学習された人工知能を用いて基準外と区分された製品の混入由来の推定を行うことができる。
【0023】
第8の発明では、基準外と区分された製品が警告対象であると推定された場合に、その旨がオペレータに警告されるか、又は、前工程へのフィードバックの指示をオペレータに報知されるようになる。これにより、例えば、警告対象の基準外とされた製品に関連する装置等の点検や停止などオペレータに促すことができる。
【図面の簡単な説明】
【0024】
【
図1】本発明の実施形態に係るトレーサビリティシステムが備えられた工場の全体構成を示す図である。
【
図2】学習部の制御処理を示すフローチャートである。
【
図4】学習部による人工知能の学習処理の一例を示す図である。
【
図5】推定部の制御処理を示すフローチャートである。
【
図6】推定部による対象分類画像を用いた推定処理の一例を示す図である。
【
図7】推定部による推定結果の出力例を示す図である。
【発明を実施するための形態】
【0025】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎない。
【0026】
図1は、本発明の実施形態に係るトレーサビリティシステム1を示す。該トレーサビリティシステム1は、工場P(例えば、精米工場)に備えられており、該工場Pは、農家等から搬入された玄米(穀物原料)を精米して袋詰めした後、スーパーマーケット等に出荷されるようになっている。
【0027】
また、工場Pには、例えば、荷受ホッパ2、粗選機3、精米機4、石抜機5、シフター6、光学式選別機(分別部)7、第1コンベヤ8、計量包装機9、及び、第2コンベヤ10が備えられている。
【0028】
農家等の産地から工場Pに搬入された玄米は、荷受ホッパ2に投入されるようになっている。本実施形態では、玄米の荷受けの際、プラスチック製のカルトンを用いた目視による荷受け検査が行われるようになっている。
【0029】
次に、荷受ホッパ2に投入された玄米は、該荷受ホッパ2から粗選機3に供給されるようになっている。
【0030】
粗選機3では、例えば、金属製の粒選別網により粗選別が行われる。そして、粗選機3によって粗選別が行われた後の玄米は、精米機4に供給される。
【0031】
該精米機4では、例えば、金属製の精米スクリーン網によって種皮等が取り除かれることで、玄米から精米に加工されるようになっている。
【0032】
次に、精米は、石抜機5に供給され、該石抜機5において精米に混入している石が取り除かれるようになっている。その後、精米は、シフター6に供給されるようになっている。そして、シフター6に供給された良品等は、シフター6において篩分けが行われるようになっている。シフター6において篩分けられた良品等は、光学式選別機7に投入され、該光学式選別機7において検査され、基準内の物と基準外の物とに分けられる、つまり、分別されるようになっている。基準内の物は、基準内の製品である良品(精米)又は産品(以下、「良品等」という。)である。また、基準外の物は、基準外の製品である不良品、糠などの副産物、流通過程や工場P内で混入されるプラスチック片、ゴム片、石、ゴミなどの異物(以下、「不良品等」という。)である。なお、特許請求の範囲における「被分別物」は、本実施形態における「玄米」及び「精米」に対応する。また、特許請求の範囲における「基準内の物」及び「基準内の製品」は、本実施形態における「良品等」に対応する。また、特許請求の範囲における「基準外の物」及び「基準外の製品」は、本実施形態における「不良品等」に対応する。
【0033】
該良品等は、第1排出部7aを介して光学式選別機7の外部に排出され、第1コンベヤ8によって計量包装機9に供給されるようになっている。また、該良品等は、計量包装機9において袋詰めされた後、工場Pからスーパーマーケット等に出荷されるようになっている。
【0034】
一方、光学式選別機7において検査された不良品等は、第2排出部7bを介して光学式選別機7の外部に排出された後、第2コンベヤ10によって、例えば、図示しない不良品回収部まで搬送されるようになっている。
【0035】
該第2コンベヤ10の上方には、撮像部11と照明部12とが配設されている。該撮像部11は、不良品等を撮像可能なカメラであって、該不良品等を撮影することで、対象分類画像を取得するようになっている。本実施形態では、撮像部11は、第2コンベヤ10によって搬送されている全ての不良品等を撮像するよう構成されている。なお、特許請求の範囲における「画像取得部」は、本実施形態における「撮像部」に対応する。また、特許請求の範囲における「対象画像」は、本実施形態における「対象分類画像」に対応する。
【0036】
照明部12は、例えば、LED照明であって、第2コンベヤ10の上面における撮像部11の撮像範囲を照らすように構成されている。本実施形態では、該照明部12によって不良品等が照らされることで、工場P内の比較的暗い環境下においても撮像部11が不良品等を安定して撮像することが可能となっている。
【0037】
また、工場Pには、コンピュータ13が備えられている。該コンピュータ13には、入力部14、推定部15、出力部16及び学習部17が備えられており、撮像部11によって撮像された不良品等の対象分類画像が入力部14に入力されるようになっている。また、コンピュータ13は、図示しないプロセッサが備えられており、該プロセッサが図示しない記憶装置に記憶されたプログラムに基づいて推定部15等の処理を実行するように構成されている。
【0038】
推定部15には、第1推定部15aと、第2推定部15bと、第3推定部15cと、図示しない記憶装置に記憶された学習済の人工知能18と、判定部19とが備えられている。また、推定部15には、撮像部11が取得した対象分類画像が入力部14を介して入力されるようになっている。
【0039】
第1推定部15aは、入力された対象分類画像と人工知能18とを用いて、該対象分類画像に係る不良品等の種類を推定するよう構成されている。
【0040】
第2推定部15bは、上記対象分類画像と人工知能18とを用いて、上記対象分類画像に係る不良品等の混入由来(混入原因)を推定するように構成されている。より詳細には、第2推定部15bは、対象分類画像に係る不良品等が工場Pの搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを推定するように構成されている。ここで、搬入前由来として、例えば、原料の生産地において混入したことを示す原料由来、原料が生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す流通過程由来がある。本実施形態では、第2推定部15bは、対象分類画像に係る不良品等が原料由来であるか、又は、それ以外の由来であるかを推定するようになっている。
【0041】
第3推定部15cは、第2推定部15bにおいてそれ以外の由来、つまり、搬入前由来(原料由来)以外の由来であると推定された場合に、上記対象分類画像に係る不良品が工場内で混入したことを示す工場由来であると推定するように構成されている。
【0042】
推定部15(第1推定部15a~第3推定部15c)による推定結果は、出力部16を介してディスプレイ20に出力されるようになっている。本実施形態では、推定部15は、上記推定結果がディスプレイ20に表示されるように、出力部16を介してディスプレイ20に所定の信号を送信するようになっている。
【0043】
学習部17は、人工知能18の機械学習を行うよう構成されている。次に、
図2を用いて、学習部17による人工知能18の学習処理について説明する。本実施形態では、学習部17の処理は、工場Pが稼働する前に予め実行されるようになっている。
【0044】
ステップS1では、予め用意された教師データの読み込みが実行される。該教師データは、分類画像とその混入原因である原因ラベルとが関連付けられたデータであって、本実施形態では、
図3に示すように、第1教師データTD1、第2教師データTD2、及び、第3教師データTD3が備えられている。
【0045】
第1教師データTD1は、ブラスチック片の第1分類画像とプラスチック片の第1原因ラベルR1とが関連付けられたデータと、ゴム片の第1分類画像とゴム片の第2原因ラベルR2とが関連付けられたデータと、金属片の第1分類画像と金属片の第3原因ラベルR3とが関連付けられたデータと、ガラス片の第1分類画像とガラス片の第4原因ラベルR4と、石の第1分類画像と石の第5原因ラベルR5とが関連付けられたデータとを備えている。第1原因ラベルR1~第5原因ラベルR5は、混入原因が工場由来に設定されている。また、第1原因ラベルR1が荷受検査の際に用いられるカルトンの破片、第2原因ラベルR2が工場P内に設置された搬送ベルトの破片、第3原因ラベルR3が粗選機3(粒選別網)の破片や精米機4(精米スクリーン網)の破片、第4原因ラベルR4が工場P内のガラスの破片、第5原因ラベルR5が石抜機5の異常、にそれぞれ詳細な混入由来、つまり、不良品等の混入原因が設定されている。これにより、対象分類画像を用いて不良品等の種類を推定することで、該不良品等の混入原因となった工場P内の装置等を特定できるようになっている。なお、特許請求の範囲における「第1学習用画像」が、本実施形態における「第1分類画像」に対応する。
【0046】
第2教師データTD2は、ガラス片の第2分類画像とガラス片の第6原因ラベルR6とが関連付けえられたデータと、籾の第2分類画像と籾の第7原因ラベルR7とが関連付けられたデータと、石の第2分類画像と石の第8原因ラベルR8とが関連付けられたデータと、着色粒の第2分類画像と着色粒の第9原因ラベルR9とが関連付けられたデータとを備えている。第6原因ラベルR6~第9原因ラベルR9は混入原因が原料由来(穀物原料の生産地)に設定されている。また、本実施形態では、図示されていないが、第6原因ラベルR6が玄米の生産地(圃場、収穫機等)、第7原因ラベルR7が籾摺機(工場Pへの搬入前の籾摺の際に用いられる)の異常、第8原因ラベルR8が玄米の生産地(圃場、収穫機等)、第9原因ラベルR9が玄米の生産地(圃場、天候不順、害虫異常発生等の生育条件)にそれぞれ詳細な混入由来、つまり、不良品等の混入原因が設定されている。これにより、玄米(穀物原料)を生産した農家等に不良品等の混入原因の情報を適切にフィードバックすることが可能となっている。なお、特許請求の範囲における「第2学習用画像」が、本実施形態における「第2分類画像」に対応する。
【0047】
第3教師データTD3は、整粒の第3分類画像と整粒の第10原因ラベルR10とが関連付けられたデータである。なお、特許請求の範囲における「学習用画像」は、本実施形態における「第1分類画像」、「第2分類画像」及び「第3分類画像」を含むものである。
【0048】
図2のステップS2では、第1教師データTD1~第3教師データTD3を用いて人工知能18(
図1)の学習が行われ、学習済みの人工知能18が生成される。ここで、人工知能18は、
図4に示すように、ニューラルネットワークNを備えている。該ニューラルネットワークNは、入力層ILと、隠れ層HLと、出力層OLと、パラメータ(重み付け値、バイアス)とを含んでおり、各層にはニューロンが備えられている。本実施形態では、ニューラルネットワークNは、畳み込みニューラルネットワーク(Convolutional Neural Network)であって、隠れ層HLには、畳み込み層、プーリング層及び全結合層が備えられている。
【0049】
また、ステップS2では、第1教師データTD1~第3教師データTD3の分類画像(例題)の各画素値が入力層ILに入力される。ニューラルネットワークNは、入力層ILに入力された上記分類画像に基づいて隠れ層HLにおいて推定を行い、その推定結果を出力層OLに出力する。次に、該出力された出力層OLの推定結果と第1教師データTD1~第3教師データTD3の正解(ラベル)との誤差に基づいて、該誤差が少なくなるようにニューラルネットワークNの各ニューロンのパラメータ(重み付け値、バイアス)を最適化する学習処理が行われる。
【0050】
図4では、第1教師データTD1におけるプラスチック片の第1分類画像を用いたニューラルネットワークN(人工知能18)の学習処理の一例を示している。まず、第1教師データTD1におけるプラスチック片の第1分類画像の各画素値が入力層ILに入力される。すると、隠れ層HLでは、入力層ILに入力された上記第1分類画像の各画素値に基づいて推定が行われ、その推定結果が出力層OLから出力される。なお、
図4に示す例では、ニューラルネットワークNの推定結果が、プラスチック片の可能性が0.4(40パーセント)、ゴム片の可能性が0.2(20%)、金属片の可能性が0.2(20%)、ガラス片の可能性が0.0(0%)、籾の可能性が0.1(10%)、石の可能性が0.1(10%)、着色米の可能性が0.0(0%)、整粒の可能性が0.0(0%)となっている例を示している。
【0051】
次に、出力層OLから出力された推定結果と、第1教師データTD1の正解(ラベル)との誤差に基づいて、上記推定結果と上記第1教師データTD1の正解(ラベル)との誤差がより少なくなるように、ニューラルネットワークNの各ニューロンの重み付け値とバイアスとを最適化する学習が行われる。なお、
図4では、第1教師データTD1の正解(ラベル)は、プラスチック片であるため、プラスチック片が1.0、ゴム片、金属片、ガラス片、籾、石、着色米、整粒が0.0に設定されている例について記載している。
【0052】
また、第1教師データTD1の他のデータ、第2教師データTD2、及び、第3教師データTD3についても上述と同様の学習が行われる。なお、本実施形態では、上記推定結果と第1教師データTD1~第3教師データTD3の正解(ラベル)との誤差が所定値以下となるまで学習が繰り返し行われることで、学習済みの人工知能18が生成されるようになっている。
【0053】
ステップS3では、ステップS2において生成した学習済みの人工知能18を保存した後、エンドに進んで本処理を終了する。本実施形態では、推定部15における図示しない記憶装置に上記学習済みの人工知能18を記憶させて保存するようになっている。
【0054】
次に、
図5~6を用いて、工場Pの稼働中において実行される推定部15(第1推定部15a~第3推定部15c)の処理について説明する。
【0055】
ステップS11では、対象分類画像の読み込みが行われる。該対象分類画像は、撮像部11によって撮像された不良品等の画像であって、該撮像部11から入力部14を介して推定部15に入力される。
【0056】
ステップS12では、入力された対象分類画像と、学習済みの人工知能18とに基づいて推定が行われ、
図6に示すように、出力層OLから推定結果が出力される。その後、ステップS13とステップS14とが並列に処理が行われる。なお、
図6に示す一例では、プラスチック片の可能性が0.9(90%)、ゴム片の可能性が0.1(10%)、金属片、ガラス片、籾、石、着色米及び整粒の可能性が0.0(0%)となっているため、対象分類画像の不良品等の種類はプラスチック片であり、かつ、その混入原因は工場由来(カルトンの破片)と推定される。該ステップS12の処理をより詳細に説明すると、第1推定部15aは、対象分類画像と人工知能18とに基づいて対象分類画像の不良品等の種類を推定し(
図6に示す一例では「プラスチック片」であると推定)、第2推定部15bは、対象分類画像と人工知能18とに基づいて不良品等が原料由来であるか否かを推定している(
図6に示す一例では「原料由来ではない」と推定している)。また、第3推定部15cは、第2推定部15bにおける「原料由来ではない」、つまり、「原料由来」以外であるとの推定結果に基づいて、「工場由来」であると推定している。
【0057】
ステップS13では、ステップS12の推定結果を出力した後、エンドに進んで処理を終了する。本実施形態では、出力部16を介して推定部15からディスプレイ20に上記推定結果についての信号を送信することで、該信号を受信したディスプレイ20に上記推定結果が表示されるようになっている。
【0058】
ステップS14では、判定部19がステップS12において推定された不良品等が警告対象の不良品等であるか否かを判断する。該判断がYesの場合は、ステップS15に進む一方、上記判断がNoの場合は、エンドに進み処理を終了する。本実施形態では、警告対象の不良品等は、工場由来のプラスチック片、ゴム片、金属片、ガラス片、石に設定されている。
【0059】
ステップS15では、工場Pのラインに異常状態の可能性があるため、判定部19がオペレータに警告を行った後、エンドに進んで処理を終了する。本実施形態では、出力部16を介して判定部19がディスプレイ20において警告表示がなされるよう信号をディスプレイ20に送信する。該警告表示では、不良品等が、プラスチック片の場合、カルトンの点検等、ゴム片の場合、搬送ベルトの点検等、金属片の場合、粗選機3(粒選別網)又は精米機4(精米スクリーン網)の点検等をオペレータに促すようになっている。オペレータは、ディスプレイ20に表示された警告表示を確認し、該警告表示に係る箇所の点検等を行うことで、工場P内の装置等の故障や異常を早期に発見することが可能となる。
【0060】
以上より、本実施形態によれば、不良品等を撮像した対象分類画像が第1推定部15aの人工知能18に入力されると、該第1推定部15aにおいて基準外と区分された物の種類が推定されるようになる。ここで、人工知能18は、第1分類画像や第2分類画像を用いて学習されているため、特許文献1の如きR、G、Bの各値と所定の判別式とを比較する場合に比べて、不良品等の種類の推定をより詳細に行うことができる。これにより、被分別物(例えば、玄米)の流通過程における品質を担保することが可能となる。
【0061】
また、工場Pにおいて原料(例えば、玄米)から製品(例えば、精米)に加工して出荷する際、光学式選別機7において検査が行われて、良品等と不良品等とに分別されるようになる。そして、不良品等を撮像した対象分類画像が第1推定部15aの人工知能18に入力されて、該第1推定部15aにおいて不良品等の種類を推定することができる。これにより、上述の特許文献1の場合に比べて、不良品等の種類を詳細に推定可能となるので、工場P内の加工処理工程における品質を担保することができる。
【0062】
また、第2推定部15bによって、不良品等の混入由来が穀物原料の生産地において混入したことを示す原料由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、穀物原料が工場Pに搬入された後であっても、不良品等が工場Pの搬入前の穀物原料の生産地に混入したものであるか否かを推定することが可能となる。
【0063】
また、第2推定部15bにおいて原料由来以外であると推定された不良品等を、第3推定部15cにおいて工場由来であると推定することができる。
【0064】
また、第3推定部15cが不良品等の種類とその混入由来とが関連付けられた教師データによって学習された人工知能18を用いて不良品等の混入由来の推定を行うことができる。
【0065】
第3推定部15cが第1教師データTD1と第2教師データTD2によって学習された人工知能18を用いて不良品等の混入由来の推定を行うことができる。
【0066】
不良品等が警告対象であると推定された場合に、その旨がオペレータに警告されるようになる。これにより、例えば、不良品等に関連する装置等の点検や停止などをオペレータに促すことができる。
【0067】
なお、本実施形態では、被分別物として玄米及び精米の例を用いて説明したが、玄米及び精米以外の原料(例えば、小麦、大麦、大豆、トウモロコシ、魚介類、野菜、果物、石炭、鉄鉱石、機械部品、電気部品、電子部品、半導体材料、樹脂材料など)としてもよい。また、トレーサビリティシステム1を玄米及び精米以外の原料の加工処理等を行う工場、スナック菓子や冷凍食品を製造する食品工場、機械製品、電気製品、半導体製品或いはプラスチック製品等を製造する製造工場、又は、工場以外に適用してもよい。工場以外の適用例として、例えば、原料の生産地、該生産地から工場への流通経路、又は、該工場から出荷された製品の流通経路がある。
【0068】
また、本実施形態では、分別部として光学式選別機7の例について説明したが、被分別物を検査して基準内の物と基準外の物とに分別可能であれば、光学式選別機7以外の装置等を用いてもよい。
【0069】
また、本実施形態では、撮像部11は、光学式選別機7において分別された不良品等のみを撮像していたが、不良品等及び良品等を撮像し、不良品等の画像(対象分類画像)のみを入力部14に送信するようにしてもよく、或いは、不良品等及び良品等の画像を入力部14に送信し、コンピュータ13において該画像から対象分類画像のみを抽出し、推定部15において抽出された対象分類画像を用いて推定処理を行うようにしてもよい。被分別物を検査するために撮像部11を設けたが、画像データ以外の波形データや数値データを扱う構成でもよい。
【0070】
また、本実施形態では、コンピュータ13に学習部17が備えられていたが、コンピュータ13とは別のコンピュータに備えられていてもよい。この場合、該別のコンピュータにおいて人工知能18の学習が行われた後、該人工知能18をコンピュータ13の推定部15の図示しない記憶装置に記憶するようにしてもよい。
【0071】
また、本実施形態では、推定部15が学習済みの人工知能18を用いて推定を行っていたが、工場Pの稼働していないとき等に人工知能18を更に学習するようにしてもよい。
【0072】
また、本実施形態では、人工知能18は、畳み込みニューラルネットワーク(Convolutional Neural Network)を備えていたが、完全畳み込みネットワーク(Fully Convolutional Network)等の他のニューラルネットワークを備えていてもよい。また、人工知能18には、実験計画法、ディープラーニング、ファジィ理論、多変量解析(例えば、マハラノビス距離、重回帰分析)、スパースモデリング、サポートベクターマシン等が用いられるようにしてもよい。
【0073】
また、本実施形態では、ステップS12において不良品等の混入原因(混入由来)を推定するようにしていたが、該混入原因が不明の場合、つまり、推定できない場合は、その旨を、ディスプレイ20に出力するようにしてもよく、テクニカルレポートTRに記載するようにしてもよく、或いは、オペレータに警告するようにしてもよい。
【0074】
また、本実施形態では、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地において混入したことを示す原料由来であるか又はそれ以外の由来であるかを推定する例について説明したが、対象分類画像に係る不良品等が工場Pの搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを推定するようにしてもよい。このようにすることで、第2推定部15bによって、不良品等の混入由来が工場の搬入前由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、原料が工場Pに搬入された後であっても、不良品等が工場Pの搬入前に混入したものであるか否かを推定することが可能となる。
【0075】
また、変形例として、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地において混入したことを示す原料由来であるか、工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるか、又は、それ以外の由来であるかの推定するようにしてもよい。このようにすることで、不良品等が工場Pの搬入前由来である場合において、原料の生産地において混入したことを示す原料由来、又は、原料が生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるかを推定することができる。さらに、変形例として、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるか、又は、それ以外の由来であるかを推定するようにしてもよい。
【0076】
また、本実施形態では、ステップS13において推定部15による推定結果がディスプレイ20に出力されるようにしていたが、
図7に示すように推定結果を集計したテクニカルレポートTRを作成し、該テクニカルレポートTRをディスプレイ20に表示する、或いは、上記テクニカルレポートTRが記載された紙を図示しないプリンタから出力するようにしてもよい。さらに、
図7に示すように、工場由来の不良品等の数値等が記載されたテクニカルレポートTRを示すことで、工場Pの品質を顧客にアピールするようにしてもよい。
【0077】
また、本実施形態では行われていなかったが、推定部15による推定結果を履歴情報として図示しない記憶装置に記憶しておき、推定部15による推定結果に変化が生じた際に、ディスプレイ20(テクニカルレポートTR)の表示、オペレータへの警告を行うことで工場P内の装置等の異常等を早期に発見できるようにしてもよく、或いは、顧客から不良品等の混入の問い合わせがあった際に過去のテクニカルレポートTRや上記推定結果の履歴情報を参照することで、上記問い合わせがあった不良品等の混入原因を把握するようにしてもよい。さらに、ディスプレイ20(テクニカルレポートTR)に被分別物の画像を表示してもよい。
【0078】
また、本実施形態では、ステップS14における警告対象の不良品等が工場由来のプラスチック片、ゴム片、金属片、ガラス片及び石に設定されていたが、整粒が異常に多い場合(整粒の数が所定数以上の場合)には、該整粒を警告対象の不良品等に設定してもよい。整粒が異常に多い場合は、光学式選別機7が動作異常である可能性があるので、ステップS15において警告を行うことにより、光学式選別機7の点検等をオペレータに促すようにしてもよい。このようにすることで、上記警告(警告表示)を視認したオペレータによって、光学式選別機7が点検等されることで、該光学式選別機7の動作異常を早期に発見することが可能となる。
【0079】
また、本実施形態では、ステップS14における警告対象の不良品等に設定されていなかったが、ステップS12において推定された不良品等が石の場合には、石抜機5が動作異常である可能性があるので、ステップS15において警告を行うことにより、石抜機5の点検等をオペレータに促すようにしてもよい。このようにすることで、上記警告(警告表示)を視認したオペレータによって、石抜機5が点検等されることで、該石抜機5の動作異常を早期に発見することが可能となる。
【0080】
また、本実施形態では、ステップS14において不良品等が警告対象の不良品等であると判断された場合、オペレータへの前工程のフィードバック(不良品等に関連する工場P内の装置の停止等)の指示を判定部19が行うようにしてもよい。このようにすることで、不良品等が警告対象であると推定された場合に、前工程へのフィードバックの指示をオペレータに報知することができる。これにより、例えば、警告対象の不良品等に関連する装置等の停止などをオペレータに促すことができる。
【0081】
また、本実施形態では、第1教師データTD1は、プラスチック片、ゴム片、金属片、ガラス片及び石のデータで構成されていたが、プラスチック片、ゴム片及び金属片のデータのうち少なくとも1つのデータで構成されていてもよい。
【0082】
また、本実施形態では、第2教師データTD2は、ガラス片、籾、石及び着色粒のデータで構成されていたが、ガラス片、籾、石及び着色粒のデータのうち少なくとも1つのデータで構成されていてもよい。
【0083】
また、本実施形態では、教師データは、第3教師データTD3を備えていたが、該第3教師データTD3を備えていなくてもよい。
【0084】
また、本実施形態では、人工知能18が教師データを用いた教師あり学習により学習されていたが、該教師データを用いた教師あり学習と教師なし学習とを組み合わせた半教師あり学習により学習されるようにしてもよい。
【0085】
また、本実施形態では、推定部15に判定部19が備えられていたが、推定部15とは別に判定部19を備えるようにしてもよい。
【0086】
また、本実施形態では、判定部19がステップS15においてディスプレイ20に警告表示させるようにしていたが、該警告表示に代えて、或いは、警告表示に加えて警告音が出力されるようにしてもよい。
【産業上の利用可能性】
【0087】
本発明は、例えば、穀物原料などの被分別物の流通過程に備えられたトレーサビリティシステムに適している。
【符号の説明】
【0088】
1 トレーサビリティシステム
7 光学式選別機(分別部)
11 撮像部(画像取得部)
15a 第1推定部
15b 第2推定部
15c 第3推定部
18 人工知能
19 判定部
P 工場
TD1 第1教師データ
TD2 第2教師データ
【手続補正書】
【提出日】2023-09-20
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、穀物原料などの被分別物の流通過程に備えられたトレーサビリティシステムに関する。
【背景技術】
【0002】
米穀類の流通管理システムとして、特許文献1に開示されたものがある。また、穀物原料に含まれる不良品の種類(被害粒、青未熟粒、籾米、乳白粒又は異物)を分析できる管理システムとして、特許文献2に開示されたものがある。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2017-205724号公報
【特許文献2】特開2022-15784号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に開示されたシステムでは、流通される米穀類に関し、公開される情報の信頼性を向上させ得ることを目的とするものであるが、必ずしも流通過程における品質が充分に担保されているとは言えない。一方で、特許文献2では、光学検出装置がR(赤)、G(緑)、B(青)の感度を有する素子を備えており、該素子を用いて検出した不良品のR、G、Bの各値と所定の判別式とを比較することで、不良品の種類を分析するようにしているが、その精度には改善の余地があった。
【0005】
本発明は、斯かる点に鑑みてなされたものであり、その目的とするところは、流通過程における品質を担保すべく、不良品等の基準外と区分された物の種類の推定を行い、流通過程の信頼性、安全性を高めることが可能なトレーサビリティシステムを提供することにある。
【課題を解決するための手段】
【0006】
上記の目的を達成するために、本発明は、人工知能を用いて基準外と区分された物の種類を推定するようにしたことを特徴とする。
【0007】
具体的には、トレーサビリティシステムを対象とし、次のような解決手段を講じた。
【0008】
すなわち、第1の発明では、工場に搬入された原料を製品に加工して出荷する際、前記製品を検査して基準内の物と基準外の物とに分別する分別部と、前記基準外と区分された物を撮像して対象画像を取得する画像取得部と、学習用画像を用いて学習した人工知能に前記対象画像を入力して、前記基準外と区分された物の種類を推定する第1推定部と、前記基準外と区分された物が、前記工場の搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを前記人工知能を用いて推定する第2推定部と、前記第2推定部において前記それ以外の由来であると推定された場合に、前記基準外と区分された物が、前記工場内で混入したことを示す工場由来であると推定する第3推定部と、前記第3推定部において前記基準外と区分された物が前記工場由来であると推定された場合に、オペレータへの警告又はオペレータへの前工程へのフィードバックの指示を行う判定部と、を備えていることを特徴とする。
【0009】
第2の発明では、第1の発明において、前記搬入前由来は、前記原料の生産地において混入したことを示す原料由来、及び、前記原料が生産地から前記工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であり、前記人工知能は、前記基準外とされた物の第1学習用画像と前記工場由来の原因ラベルとが関連付けられた第1教師データ、及び、前記基準外とされた物の第2学習用画像と前記原料由来の原因ラベルとが関連付けられた第2教師データによって学習されたものであることを特徴とする。
【発明の効果】
【0010】
第1の発明では、基準外と区分された物を撮像した対象画像が第1推定部の人工知能に入力されると、該第1推定部において基準外と区分された物の種類が推定されるようになる。ここで、人工知能は、学習用画像を用いて学習されているため、特許文献1の如きR、G、Bの各値と所定の判別式とを比較する場合に比べて、基準外と区分された物の種類の推定をより詳細に行うことができる。これにより、流通過程における品質を担保することが可能となる。また、第1の発明では、工場において原料から製品に加工して出荷する際、分別部において検査が行われて、基準内の物と基準外の物とに分別されるようになる。そして、基準外の物を撮像した対象画像が第1推定部の人工知能に入力されて、該第1推定部において基準外と区分された物の種類を推定することができる。これにより、上述の特許文献1の場合に比べて、基準外と区分された物の種類を詳細に推定可能となるので、工場内の加工処理工程における品質を担保することができる。また、第1の発明では、第2推定部によって、基準外と区分された物の混入由来が工場の搬入前由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、原料が工場に搬入された後であっても、基準外と区分された物が工場の搬入前に混入されたものであるか否かを推定することが可能となる。また、第1の発明では、第3推定部が、第2推定部において搬入前由来(原料由来或いは原料流通由来)以外であると推定された基準外と区分された物を工場由来であると推定することができる。また、第1の発明では、基準外と区分された物が工場由来であると推定された場合に、その旨がオペレータに警告されるか、又は、前工程へのフィードバックの指示をオペレータに報知されるようになる。これにより、例えば、工場由来の基準外とされた物に関連する装置等の点検や停止などオペレータに促すことができる。
【0011】
第2の発明では、基準外と区分された物が工場の搬入前由来である場合において、原料の生産地において混入したことを示す原料由来、及び、原料が生産地から工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であることを推定することができる。また、第2の発明では、第3推定部が第1教師データと第2教師データによって学習された人工知能を用いて基準外と区分された物の混入由来の推定を行うことができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態に係るトレーサビリティシステムが備えられた工場の全体 構成を示す図である。
【
図2】学習部の制御処理を示すフローチャートである。
【
図4】学習部による人工知能の学習処理の一例を示す図である。
【
図5】推定部の制御処理を示すフローチャートである。
【
図6】推定部による対象分類画像を用いた推定処理の一例を示す図である。
【
図7】推定部による推定結果の出力例を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎない。
【0014】
図1は、本発明の実施形態に係るトレーサビリティシステム1を示す。該トレーサビリティシステム1は、工場P(例えば、精米工場)に備えられており、該工場Pは、農家等から搬入された玄米(穀物原料)を精米して袋詰めした後、スーパーマーケット等に出荷されるようになっている。
【0015】
また、工場Pには、例えば、荷受ホッパ2、粗選機3、精米機4、石抜機5、シフター6、光学式選別機(分別部)7、第1コンベヤ8、計量包装機9、及び、第2コンベヤ10が備えられている。
【0016】
農家等の産地から工場Pに搬入された玄米は、荷受ホッパ2に投入されるようになっている。本実施形態では、玄米の荷受けの際、プラスチック製のカルトンを用いた目視による荷受け検査が行われるようになっている。
【0017】
次に、荷受ホッパ2に投入された玄米は、該荷受ホッパ2から粗選機3に供給されるようになっている。
【0018】
粗選機3では、例えば、金属製の粒選別網により粗選別が行われる。そして、粗選機3によって粗選別が行われた後の玄米は、精米機4に供給される。
【0019】
該精米機4では、例えば、金属製の精米スクリーン網によって種皮等が取り除かれることで、玄米から精米に加工されるようになっている。
【0020】
次に、精米は、石抜機5に供給され、該石抜機5において精米に混入している石が取り除かれるようになっている。その後、精米は、シフター6に供給されるようになっている。そして、シフター6に供給された良品等は、シフター6において篩分けが行われるようになっている。シフター6において篩分けられた良品等は、光学式選別機7に投入され、該光学式選別機7において検査され、基準内の物と基準外の物とに分けられる、つまり、分別されるようになっている。基準内の物は、基準内の製品である良品(精米)又は産品(以下、「良品等」という。)である。また、基準外の物は、基準外の製品である不良品、糠などの副産物、流通過程や工場P内で混入されるプラスチック片、ゴム片、石、ゴミなどの異物(以下、「不良品等」という。)である。なお、特許請求の範囲における「基準内の物」は、本実施形態における「良品等」に対応する。また、特許請求の範囲における「基準外の物」は、本実施形態における「不良品等」に対応する。
【0021】
該良品等は、第1排出部7aを介して光学式選別機7の外部に排出され、第1コンベヤ8によって計量包装機9に供給されるようになっている。また、該良品等は、計量包装機9において袋詰めされた後、工場Pからスーパーマーケット等に出荷されるようになっている。
【0022】
一方、光学式選別機7において検査された不良品等は、第2排出部7bを介して光学式選別機7の外部に排出された後、第2コンベヤ10によって、例えば、図示しない不良品回収部まで搬送されるようになっている。
【0023】
該第2コンベヤ10の上方には、撮像部11と照明部12とが配設されている。該撮像部11は、不良品等を撮像可能なカメラであって、該不良品等を撮影することで、対象分類画像を取得するようになっている。本実施形態では、撮像部11は、第2コンベヤ10によって搬送されている全ての不良品等を撮像するよう構成されている。なお、特許請求の範囲における「画像取得部」は、本実施形態における「撮像部」に対応する。また、特許請求の範囲における「対象画像」は、本実施形態における「対象分類画像」に対応する。
【0024】
照明部12は、例えば、LED照明であって、第2コンベヤ10の上面における撮像部11の撮像範囲を照らすように構成されている。本実施形態では、該照明部12によって不良品等が照らされることで、工場P内の比較的暗い環境下においても撮像部11が不良品等を安定して撮像することが可能となっている。
【0025】
また、工場Pには、コンピュータ13が備えられている。該コンピュータ13には、入力部14、推定部15、出力部16及び学習部17が備えられており、撮像部11によって撮像された不良品等の対象分類画像が入力部14に入力されるようになっている。また、コンピュータ13は、図示しないプロセッサが備えられており、該プロセッサが図示しない記憶装置に記憶されたプログラムに基づいて推定部15等の処理を実行するように構成されている。
【0026】
推定部15には、第1推定部15aと、第2推定部15bと、第3推定部15cと、図示しない記憶装置に記憶された学習済の人工知能18と、判定部19とが備えられている。また、推定部15には、撮像部11が取得した対象分類画像が入力部14を介して入力されるようになっている。
【0027】
第1推定部15aは、入力された対象分類画像と人工知能18とを用いて、該対象分類画像に係る不良品等の種類を推定するよう構成されている。
【0028】
第2推定部15bは、上記対象分類画像と人工知能18とを用いて、上記対象分類画像に係る不良品等の混入由来(混入原因)を推定するように構成されている。より詳細には、第2推定部15bは、対象分類画像に係る不良品等が工場Pの搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを推定するように構成されている。ここで、搬入前由来として、例えば、原料の生産地において混入したことを示す原料由来、原料が生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す流通過程由来がある。本実施形態では、第2推定部15bは、対象分類画像に係る不良品等が原料由来であるか、又は、それ以外の由来であるかを推定するようになっている。
【0029】
第3推定部15cは、第2推定部15bにおいてそれ以外の由来、つまり、搬入前由来(原料由来)以外の由来であると推定された場合に、上記対象分類画像に係る不良品が工場内で混入したことを示す工場由来であると推定するように構成されている。
【0030】
推定部15(第1推定部15a~第3推定部15c)による推定結果は、出力部16を介してディスプレイ20に出力されるようになっている。本実施形態では、推定部15は、上記推定結果がディスプレイ20に表示されるように、出力部16を介してディスプレイ20に所定の信号を送信するようになっている。
【0031】
学習部17は、人工知能18の機械学習を行うよう構成されている。次に、
図2を用いて、学習部17による人工知能18の学習処理について説明する。本実施形態では、学習部17の処理は、工場Pが稼働する前に予め実行されるようになっている。
【0032】
ステップS1では、予め用意された教師データの読み込みが実行される。該教師データは、分類画像とその混入原因である原因ラベルとが関連付けられたデータであって、本実施形態では、
図3に示すように、第1教師データTD1、第2教師データTD2、及び、第3教師データTD3が備えられている。
【0033】
第1教師データTD1は、ブラスチック片の第1分類画像とプラスチック片の第1原因ラベルR1とが関連付けられたデータと、ゴム片の第1分類画像とゴム片の第2原因ラベルR2とが関連付けられたデータと、金属片の第1分類画像と金属片の第3原因ラベルR3とが関連付けられたデータと、ガラス片の第1分類画像とガラス片の第4原因ラベルR4と、石の第1分類画像と石の第5原因ラベルR5とが関連付けられたデータとを備えている。第1原因ラベルR1~第5原因ラベルR5は、混入原因が工場由来に設定されている。また、第1原因ラベルR1が荷受検査の際に用いられるカルトンの破片、第2原因ラベルR2が工場P内に設置された搬送ベルトの破片、第3原因ラベルR3が粗選機3(粒選別網)の破片や精米機4(精米スクリーン網)の破片、第4原因ラベルR4が工場P内のガラスの破片、第5原因ラベルR5が石抜機5の異常、にそれぞれ詳細な混入由来、つまり、不良品等の混入原因が設定されている。これにより、対象分類画像を用いて不良品等の種類を推定することで、該不良品等の混入原因となった工場P内の装置等を特定できるようになっている。なお、特許請求の範囲における「第1学習用画像」が、本実施形態における「第1分類画像」に対応する。
【0034】
第2教師データTD2は、ガラス片の第2分類画像とガラス片の第6原因ラベルR6とが関連付けえられたデータと、籾の第2分類画像と籾の第7原因ラベルR7とが関連付けられたデータと、石の第2分類画像と石の第8原因ラベルR8とが関連付けられたデータと、着色粒の第2分類画像と着色粒の第9原因ラベルR9とが関連付けられたデータとを備えている。第6原因ラベルR6~第9原因ラベルR9は混入原因が原料由来(穀物原料の生産地)に設定されている。また、本実施形態では、図示されていないが、第6原因ラベルR6が玄米の生産地(圃場、収穫機等)、第7原因ラベルR7が籾摺機(工場Pへの搬入前の籾摺の際に用いられる)の異常、第8原因ラベルR8が玄米の生産地(圃場、収穫機等)、第9原因ラベルR9が玄米の生産地(圃場、天候不順、害虫異常発生等の生育条件)にそれぞれ詳細な混入由来、つまり、不良品等の混入原因が設定されている。これにより、玄米(穀物原料)を生産した農家等に不良品等の混入原因の情報を適切にフィードバックすることが可能となっている。なお、特許請求の範囲における「第2学習用画像」が、本実施形態における「第2分類画像」に対応する。
【0035】
第3教師データTD3は、整粒の第3分類画像と整粒の第10原因ラベルR10とが関連付けられたデータである。なお、特許請求の範囲における「学習用画像」は、本実施形態における「第1分類画像」、「第2分類画像」及び「第3分類画像」を含むものである。
【0036】
図2のステップS2では、第1教師データTD1~第3教師データTD3を用いて人工知能18(
図1)の学習が行われ、学習済みの人工知能18が生成される。ここで、人工知能18は、
図4に示すように、ニューラルネットワークNを備えている。該ニューラルネットワークNは、入力層ILと、隠れ層HLと、出力層OLと、パラメータ(重み付け値、バイアス)とを含んでおり、各層にはニューロンが備えられている。本実施形態では、ニューラルネットワークNは、畳み込みニューラルネットワーク(Convolutional Neural Network)であって、隠れ層HLには、畳み込み層、プーリング層及び全結合層が備えられている。
【0037】
また、ステップS2では、第1教師データTD1~第3教師データTD3の分類画像(例題)の各画素値が入力層ILに入力される。ニューラルネットワークNは、入力層ILに入力された上記分類画像に基づいて隠れ層HLにおいて推定を行い、その推定結果を出力層OLに出力する。次に、該出力された出力層OLの推定結果と第1教師データTD1~第3教師データTD3の正解(ラベル)との誤差に基づいて、該誤差が少なくなるようにニューラルネットワークNの各ニューロンのパラメータ(重み付け値、バイアス)を最適化する学習処理が行われる。
【0038】
図4では、第1教師データTD1におけるプラスチック片の第1分類画像を用いたニューラルネットワークN(人工知能18)の学習処理の一例を示している。まず、第1教師データTD1におけるプラスチック片の第1分類画像の各画素値が入力層ILに入力される。すると、隠れ層HLでは、入力層ILに入力された上記第1分類画像の各画素値に基づいて推定が行われ、その推定結果が出力層OLから出力される。なお、
図4に示す例では、ニューラルネットワークNの推定結果が、プラスチック片の可能性が0.4(40パーセント)、ゴム片の可能性が0.2(20%)、金属片の可能性が0.2(20%)、ガラス片の可能性が0.0(0%)、籾の可能性が0.1(10%)、石の可能性が0.1(10%)、着色米の可能性が0.0(0%)、整粒の可能性が0.0(0%)となっている例を示している。
【0039】
次に、出力層OLから出力された推定結果と、第1教師データTD1の正解(ラベル)との誤差に基づいて、上記推定結果と上記第1教師データTD1の正解(ラベル)との誤差がより少なくなるように、ニューラルネットワークNの各ニューロンの重み付け値とバイアスとを最適化する学習が行われる。なお、
図4では、第1教師データTD1の正解(ラベル)は、プラスチック片であるため、プラスチック片が1.0、ゴム片、金属片、ガラス片、籾、石、着色米、整粒が0.0に設定されている例について記載している。
【0040】
また、第1教師データTD1の他のデータ、第2教師データTD2、及び、第3教師データTD3についても上述と同様の学習が行われる。なお、本実施形態では、上記推定結果と第1教師データTD1~第3教師データTD3の正解(ラベル)との誤差が所定値以下となるまで学習が繰り返し行われることで、学習済みの人工知能18が生成されるようになっている。
【0041】
ステップS3では、ステップS2において生成した学習済みの人工知能18を保存した後、エンドに進んで本処理を終了する。本実施形態では、推定部15における図示しない記憶装置に上記学習済みの人工知能18を記憶させて保存するようになっている。
【0042】
次に、
図5~6を用いて、工場Pの稼働中において実行される推定部15(第1推定部15a~第3推定部15c)の処理について説明する。
【0043】
ステップS11では、対象分類画像の読み込みが行われる。該対象分類画像は、撮像部11によって撮像された不良品等の画像であって、該撮像部11から入力部14を介して推定部15に入力される。
【0044】
ステップS12では、入力された対象分類画像と、学習済みの人工知能18とに基づいて推定が行われ、
図6に示すように、出力層OLから推定結果が出力される。その後、ステップS13とステップS14とが並列に処理が行われる。なお、
図6に示す一例では、プラスチック片の可能性が0.9(90%)、ゴム片の可能性が0.1(10%)、金属片、ガラス片、籾、石、着色米及び整粒の可能性が0.0(0%)となっているため、対象分類画像の不良品等の種類はプラスチック片であり、かつ、その混入原因は工場由来(カルトンの破片)と推定される。該ステップS12の処理をより詳細に説明すると、第1推定部15aは、対象分類画像と人工知能18とに基づいて対象分類画像の不良品等の種類を推定し(
図6に示す一例では「プラスチック片」であると推定)、第2推定部15bは、対象分類画像と人工知能18とに基づいて不良品等が原料由来であるか否かを推定している(
図6に示す一例では「原料由来ではない」と推定している)。また、第3推定部15cは、第2推定部15bにおける「原料由来ではない」、つまり、「原料由来」以外であるとの推定結果に基づいて、「工場由来」であると推定している。
【0045】
ステップS13では、ステップS12の推定結果を出力した後、エンドに進んで処理を終了する。本実施形態では、出力部16を介して推定部15からディスプレイ20に上記推定結果についての信号を送信することで、該信号を受信したディスプレイ20に上記推定結果が表示されるようになっている。
【0046】
ステップS14では、判定部19がステップS12において推定された不良品等が警告対象の不良品等であるか否かを判断する。該判断がYesの場合は、ステップS15に進む一方、上記判断がNoの場合は、エンドに進み処理を終了する。本実施形態では、警告対象の不良品等は、工場由来のプラスチック片、ゴム片、金属片、ガラス片、石に設定されている。
【0047】
ステップS15では、工場Pのラインに異常状態の可能性があるため、判定部19がオペレータに警告を行った後、エンドに進んで処理を終了する。本実施形態では、出力部16を介して判定部19がディスプレイ20において警告表示がなされるよう信号をディスプレイ20に送信する。該警告表示では、不良品等が、プラスチック片の場合、カルトンの点検等、ゴム片の場合、搬送ベルトの点検等、金属片の場合、粗選機3(粒選別網)又は精米機4(精米スクリーン網)の点検等をオペレータに促すようになっている。オペレータは、ディスプレイ20に表示された警告表示を確認し、該警告表示に係る箇所の点検等を行うことで、工場P内の装置等の故障や異常を早期に発見することが可能となる。
【0048】
以上より、本実施形態によれば、不良品等を撮像した対象分類画像が第1推定部15aの人工知能18に入力されると、該第1推定部15aにおいて基準外と区分された物の種類が推定されるようになる。ここで、人工知能18は、第1分類画像や第2分類画像を用いて学習されているため、特許文献1の如きR、G、Bの各値と所定の判別式とを比較する場合に比べて、不良品等の種類の推定をより詳細に行うことができる。これにより、被分別物(例えば、玄米)の流通過程における品質を担保することが可能となる。
【0049】
また、工場Pにおいて原料(例えば、玄米)から製品(例えば、精米)に加工して出荷する際、光学式選別機7において検査が行われて、良品等と不良品等とに分別されるようになる。そして、不良品等を撮像した対象分類画像が第1推定部15aの人工知能18に入力されて、該第1推定部15aにおいて不良品等の種類を推定することができる。これにより、上述の特許文献1の場合に比べて、不良品等の種類を詳細に推定可能となるので、工場P内の加工処理工程における品質を担保することができる。
【0050】
また、第2推定部15bによって、不良品等の混入由来が穀物原料の生産地において混入したことを示す原料由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、穀物原料が工場Pに搬入された後であっても、不良品等が工場Pの搬入前の穀物原料の生産地に混入したものであるか否かを推定することが可能となる。
【0051】
また、第2推定部15bにおいて原料由来以外であると推定された不良品等を、第3推定部15cにおいて工場由来であると推定することができる。
【0052】
また、第3推定部15cが不良品等の種類とその混入由来とが関連付けられた教師データによって学習された人工知能18を用いて不良品等の混入由来の推定を行うことができる。
【0053】
第3推定部15cが第1教師データTD1と第2教師データTD2によって学習された人工知能18を用いて不良品等の混入由来の推定を行うことができる。
【0054】
不良品等が警告対象であると推定された場合に、その旨がオペレータに警告されるようになる。これにより、例えば、不良品等に関連する装置等の点検や停止などをオペレータに促すことができる。
【0055】
なお、本実施形態では、被分別物として玄米及び精米の例を用いて説明したが、玄米及び精米以外の原料(例えば、小麦、大麦、大豆、トウモロコシ、魚介類、野菜、果物、石炭、鉄鉱石、機械部品、電気部品、電子部品、半導体材料、樹脂材料など)としてもよい。また、トレーサビリティシステム1を玄米及び精米以外の原料の加工処理等を行う工場、スナック菓子や冷凍食品を製造する食品工場、機械製品、電気製品、半導体製品或いはプラスチック製品等を製造する製造工場、又は、工場以外に適用してもよい。工場以外の適用例として、例えば、原料の生産地、該生産地から工場への流通経路、又は、該工場から出荷された製品の流通経路がある。
【0056】
また、本実施形態では、分別部として光学式選別機7の例について説明したが、被分別物を検査して基準内の物と基準外の物とに分別可能であれば、光学式選別機7以外の装置等を用いてもよい。
【0057】
また、本実施形態では、撮像部11は、光学式選別機7において分別された不良品等のみを撮像していたが、不良品等及び良品等を撮像し、不良品等の画像(対象分類画像)のみを入力部14に送信するようにしてもよく、或いは、不良品等及び良品等の画像を入力部14に送信し、コンピュータ13において該画像から対象分類画像のみを抽出し、推定部15において抽出された対象分類画像を用いて推定処理を行うようにしてもよい。被分別物を検査するために撮像部11を設けたが、画像データ以外の波形データや数値データを扱う構成でもよい。
【0058】
また、本実施形態では、コンピュータ13に学習部17が備えられていたが、コンピュータ13とは別のコンピュータに備えられていてもよい。この場合、該別のコンピュータにおいて人工知能18の学習が行われた後、該人工知能18をコンピュータ13の推定部15の図示しない記憶装置に記憶するようにしてもよい。
【0059】
また、本実施形態では、推定部15が学習済みの人工知能18を用いて推定を行っていたが、工場Pの稼働していないとき等に人工知能18を更に学習するようにしてもよい。
【0060】
また、本実施形態では、人工知能18は、畳み込みニューラルネットワーク(Convolutional Neural Network)を備えていたが、完全畳み込みネットワーク(Fully Convolutional Network)等の他のニューラルネットワークを備えていてもよい。また、人工知能18には、実験計画法、ディープラーニング、ファジィ理論、多変量解析(例えば、マハラノビス距離、重回帰分析)、スパースモデリング、サポートベクターマシン等が用いられるようにしてもよい。
【0061】
また、本実施形態では、ステップS12において不良品等の混入原因(混入由来)を推定するようにしていたが、該混入原因が不明の場合、つまり、推定できない場合は、その旨を、ディスプレイ20に出力するようにしてもよく、テクニカルレポートTRに記載するようにしてもよく、或いは、オペレータに警告するようにしてもよい。
【0062】
また、本実施形態では、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地において混入したことを示す原料由来であるか又はそれ以外の由来であるかを推定する例について説明したが、対象分類画像に係る不良品等が工場Pの搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを推定するようにしてもよい。このようにすることで、第2推定部15bによって、不良品等の混入由来が工場の搬入前由来であるか、又は、それ以外の由来であるかを推定することができる。これにより、原料が工場Pに搬入された後であっても、不良品等が工場Pの搬入前に混入したものであるか否かを推定することが可能となる。
【0063】
また、変形例として、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地において混入したことを示す原料由来であるか、工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるか、又は、それ以外の由来であるかの推定するようにしてもよい。このようにすることで、不良品等が工場Pの搬入前由来である場合において、原料の生産地において混入したことを示す原料由来、又は、原料が生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるかを推定することができる。さらに、変形例として、第2推定部15bが、対象分類画像に係る不良品等の混入由来が原料の生産地から工場Pへ搬入されるまでの流通過程において混入したことを示す原料流通由来であるか、又は、それ以外の由来であるかを推定するようにしてもよい。
【0064】
また、本実施形態では、ステップS13において推定部15による推定結果がディスプレイ20に出力されるようにしていたが、
図7に示すように推定結果を集計したテクニカルレポートTRを作成し、該テクニカルレポートTRをディスプレイ20に表示する、或いは、上記テクニカルレポートTRが記載された紙を図示しないプリンタから出力するようにしてもよい。さらに、
図7に示すように、工場由来の不良品等の数値等が記載されたテクニカルレポートTRを示すことで、工場Pの品質を顧客にアピールするようにしてもよい。
【0065】
また、本実施形態では行われていなかったが、推定部15による推定結果を履歴情報として図示しない記憶装置に記憶しておき、推定部15による推定結果に変化が生じた際に、ディスプレイ20(テクニカルレポートTR)の表示、オペレータへの警告を行うことで工場P内の装置等の異常等を早期に発見できるようにしてもよく、或いは、顧客から不良品等の混入の問い合わせがあった際に過去のテクニカルレポートTRや上記推定結果の履歴情報を参照することで、上記問い合わせがあった不良品等の混入原因を把握するようにしてもよい。さらに、ディスプレイ20(テクニカルレポートTR)に被分別物の画像を表示してもよい。
【0066】
また、本実施形態では、ステップS14における警告対象の不良品等が工場由来のプラスチック片、ゴム片、金属片、ガラス片及び石に設定されていたが、整粒が異常に多い場合(整粒の数が所定数以上の場合)には、該整粒を警告対象の不良品等に設定してもよい。整粒が異常に多い場合は、光学式選別機7が動作異常である可能性があるので、ステップS15において警告を行うことにより、光学式選別機7の点検等をオペレータに促すようにしてもよい。このようにすることで、上記警告(警告表示)を視認したオペレータによって、光学式選別機7が点検等されることで、該光学式選別機7の動作異常を早期に発見することが可能となる。
【0067】
また、本実施形態では、ステップS14における警告対象の不良品等に設定されていなかったが、ステップS12において推定された不良品等が石の場合には、石抜機5が動作異常である可能性があるので、ステップS15において警告を行うことにより、石抜機5の点検等をオペレータに促すようにしてもよい。このようにすることで、上記警告(警告表示)を視認したオペレータによって、石抜機5が点検等されることで、該石抜機5の動作異常を早期に発見することが可能となる。
【0068】
また、本実施形態では、ステップS14において不良品等が警告対象の不良品等であると判断された場合、オペレータへの前工程のフィードバック(不良品等に関連する工場P内の装置の停止等)の指示を判定部19が行うようにしてもよい。このようにすることで、不良品等が警告対象であると推定された場合に、前工程へのフィードバックの指示をオペレータに報知することができる。これにより、例えば、警告対象の不良品等に関連する装置等の停止などをオペレータに促すことができる。
【0069】
また、本実施形態では、第1教師データTD1は、プラスチック片、ゴム片、金属片、ガラス片及び石のデータで構成されていたが、プラスチック片、ゴム片及び金属片のデータのうち少なくとも1つのデータで構成されていてもよい。
【0070】
また、本実施形態では、第2教師データTD2は、ガラス片、籾、石及び着色粒のデータで構成されていたが、ガラス片、籾、石及び着色粒のデータのうち少なくとも1つのデータで構成されていてもよい。
【0071】
また、本実施形態では、教師データは、第3教師データTD3を備えていたが、該第3教師データTD3を備えていなくてもよい。
【0072】
また、本実施形態では、人工知能18が教師データを用いた教師あり学習により学習されていたが、該教師データを用いた教師あり学習と教師なし学習とを組み合わせた半教師あり学習により学習されるようにしてもよい。
【0073】
また、本実施形態では、推定部15に判定部19が備えられていたが、推定部15とは別に判定部19を備えるようにしてもよい。
【0074】
また、本実施形態では、判定部19がステップS15においてディスプレイ20に警告表示させるようにしていたが、該警告表示に代えて、或いは、警告表示に加えて警告音が出力されるようにしてもよい。
【産業上の利用可能性】
【0075】
本発明は、例えば、穀物原料などの被分別物の流通過程に備えられたトレーサビリティシステムに適している。
【符号の説明】
【0076】
1 トレーサビリティシステム
7 光学式選別機(分別部)
11 撮像部(画像取得部)
15a 第1推定部
15b 第2推定部
15c 第3推定部
18 人工知能
19 判定部
P 工場
TD1 第1教師データ
TD2 第2教師データ
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
トレーサビリティシステムであって、
工場に搬入された原料を製品に加工して出荷する際、前記製品を検査して基準内の物と基準外の物とに分別する分別部と、
前記基準外と区分された物を撮像して対象画像を取得する画像取得部と、
学習用画像を用いて学習した人工知能に前記対象画像を入力して、前記基準外と区分された物の種類を推定する第1推定部と、
前記基準外と区分された物が、前記工場の搬入前に混入していたことを示す搬入前由来であるか、又は、それ以外の由来であるかを前記人工知能を用いて推定する第2推定部と、
前記第2推定部において前記それ以外の由来であると推定された場合に、前記基準外と区分された物が、前記工場内で混入したことを示す工場由来であると推定する第3推定部と、
前記第3推定部において前記基準外と区分された物が前記工場由来であると推定された場合に、オペレータへの警告又はオペレータへの前工程へのフィードバックの指示を行う判定部と、
を備えていることを特徴とするトレーサビリティシステム。
【請求項2】
請求項1に記載のトレーサビリティシステムにおいて、
前記搬入前由来は、前記原料の生産地において混入したことを示す原料由来、及び、前記原料が生産地から前記工場へ搬入されるまでの流通過程において混入したことを示す原料流通由来の少なくとも一方であり、
前記人工知能は、前記基準外とされた物の第1学習用画像と前記工場由来の原因ラベルとが関連付けられた第1教師データ、及び、前記基準外とされた物の第2学習用画像と前記原料由来の原因ラベルとが関連付けられた第2教師データによって学習されたものであることを特徴とするトレーサビリティシステム。