特許 7292766 生鮮食品の品質判定方法及びその品質判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-06-09

(45)【発行日】2023-06-19

(54)【発明の名称】生鮮食品の品質判定方法及びその品質判定システム

(51)【国際特許分類】

   G01N 33/12 20060101AFI20230612BHJP

   G06T 7/00 20170101ALI20230612BHJP

   G06V 10/82 20220101ALI20230612BHJP

   G06V 20/68 20220101ALI20230612BHJP

【ＦＩ】

G01N33/12

G06T7/00 350B

G06V10/82

G06V20/68

【請求項の数】 7

(21)【出願番号】P 2022130851

(22)【出願日】2022-08-19

【審査請求日】2022-10-18

【早期審査対象出願】

(73)【特許権者】

【識別番号】504165591

【氏名又は名称】国立大学法人岩手大学

(74)【代理人】

【識別番号】100161355

【弁理士】

【氏名又は名称】野崎 俊剛

(72)【発明者】

【氏名】袁 春紅

(72)【発明者】

【氏名】盧 忻

(72)【発明者】

【氏名】于 克鋒

(72)【発明者】

【氏名】木村 彰男

(72)【発明者】

【氏名】今野 晃市

(72)【発明者】

【氏名】高木 浩一

(72)【発明者】

【氏名】萩原 義裕

(72)【発明者】

【氏名】高橋 克幸

(72)【発明者】

【氏名】高野 健太

(72)【発明者】

【氏名】荘司 美夏子

【審査官】大瀧 真理

(56)【参考文献】

【文献】特開２０１６－０８５１１７（ＪＰ，Ａ）

【文献】特開２０２１－１４９１４２（ＪＰ，Ａ）

【文献】特開２０２２－０２１２６４（ＪＰ，Ａ）

【文献】特開２０２１－０９６１０９（ＪＰ，Ａ）

【文献】特開２０２０－０８６８４１（ＪＰ，Ａ）

【文献】特開２０２０－０５１８７８（ＪＰ，Ａ）

【文献】Qiping Huang et al.，Non-destructively sensing pork’s freshness indicator using near infrared multispectral imaging technique，Journal of Food Engineering，2015年，Vol.154，pp.69-75

【文献】Emre Yavuzer & Memduh Kose，Prediction of fish quality level with machine learning，International Journal of Food Science and Technology，2022年，Vol.57，pp.5250-5255

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ３３／０２ － ３３／１２

Ｇ０Ｎ ２１／２７

Ｇ０６Ｖ ２０／６８

Ｇ０６Ｖ １０／８２

Ｇ０６Ｔ ７／００

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

生鮮食品の画像データから前記生鮮食品の品質を判定する生鮮食品の品質判定方法であって、
学習用の前記生鮮食品を撮影した学習用の画像データと学習用の前記生鮮食品を計測して得た生化学指標とからデータベースを構築する画像・生化学指標データベース構築工程と、
前記データベースの教師データとしての前記画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し判定モデルを学習する判定モデル学習工程と、
品質判定の対象となる前記生鮮食品を撮影した判定用の画像データから最も近い前記判定モデルを推定することにより品質判定の対象となる前記生鮮食品の品質を判定する生鮮食品の品質判定工程とを有し、
前記画像・生化学指標データベース構築工程は、
水揚げ後もしくは収穫後０日目の前記生鮮食品を準備し、所定の色温度の照明を学習用の前記生鮮食品に当てた状態にてカメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で所定の角度だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することをｎ回繰り返し、
さらに前記色温度を所定の値だけ変更し前記カメラで撮影して学習用の前記画像データを作成することをｍ回繰り返し、
さらに取れたて０日目の前記生鮮食品が所定の時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の前記画像データを作成する画像データ作成サブ工程を備えていることを特徴とする生鮮食品の品質判定方法。

【請求項2】

請求項１記載の生鮮食品の品質判定方法であって、
前記画像・生化学指標データベース構築工程は、
前記生化学指標が、ATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸のうちいずれか１つ以上を含むものであり、これらの生化学指標を計測機器で計測して得る生化学指標計測サブ工程と、
前記画像データ作成サブ工程による学習用の前記画像データと、前記生化学指標計測サブ工程による前記生化学指標とからデータベースを構築するデータベース構築サブ工程とを備え、
学習用の前記生鮮食品が所定の保存期間を過ぎた場合に処理を終了する生鮮食品の品質判定方法。

【請求項3】

請求項１又は請求項２記載の生鮮食品の品質判定方法であって、
前記判定モデル学習工程は、
前記データベースの前記画像データを解析部に入力する画像データ入力サブ工程と、
計測した前記生化学指標を前記解析部に入力する生化学指標入力サブ工程と、
前記解析部で、機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し、前記生化学指標と、学習用の前記生鮮食品の取れたて０日目からの経過時間と対応させて判定モデルを学習する判定モデル学習サブ工程とを備えている生鮮食品の品質判定方法。

【請求項4】

請求項３記載の生鮮食品の品質判定方法であって、
前記生鮮食品の品質判定工程は、
品質判定の対象となる前記生鮮食品をカメラで撮影した品質判定対象の前記画像データを前記解析部に入力する品質判定用画像データ入力サブ工程と、
前記解析部で、入力した品質判定対象の前記画像データから特徴量を抽出し、前記データベースから最も近い特徴量を有する前記判定モデルを推定する判定モデル推定サブ工程と、
前記判定モデル推定サブ工程で推定した前記判定モデルの前記生化学指標を用いて品質判定対象の前記生鮮食品の生化学指標を出力する生化学指標出力サブ工程とを備えている生鮮食品の品質判定方法。

【請求項5】

請求項１記載の生鮮食品の品質判定方法であって、
前記画像・生化学指標データベース構築工程は、
取れたて０日目の前記生鮮食品を準備し、所定の色温度の照明を学習用の前記生鮮食品に当てた状態にてカメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で３６０°／３２だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することを３２回繰り返し、
さらに前記色温度を３３００Ｋから５６００Ｋまでの間で前記色温度を７段階に分けてそれぞれの前記色温度に対して前記カメラで撮影して学習用の前記画像データを作成することを７回繰り返し、
さらに取れたて０日目の前記生鮮食品が１２時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することを１４回繰り返して７日分の学習用の前記画像データを作成する生鮮食品の品質判定方法。

【請求項6】

生鮮食品の画像データから前記生鮮食品の品質を判定する生鮮食品の品質判定システムであって、
教師データ作成部と、生化学指標測定部と、解析部と、品質判定対象撮影表示部とを備え、
前記教師データ作成部は、色温度を変更可能にして前記生鮮食品を照らす照明と、前記生鮮食品を撮影するカメラと、平面視にて所定の角度で回転可能に設けられ前記生鮮食品を載せる回転台とを備え、
所定の色温度の照明を学習用の前記生鮮食品に当てた状態にて前記カメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で所定の角度だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することをｎ回繰り返し、
さらに前記色温度を所定の値だけ変更し前記カメラで撮影して学習用の前記画像データを作成することをｍ回繰り返し、
さらに取れたて０日目の前記生鮮食品が所定の時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の前記画像データを作成するものであり、
前記生化学指標測定部は、少なくともATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸のうちいずれか１つ以上を含む生化学指標を計測する計測機器であり、
前記解析部は、学習用の前記画像データとこれらの画像データに対応した前記生化学指標とを含み構成されたデータベースを備え、
前記データベースの教師データとしての前記画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し前記生化学指標に関連付けて判定モデルを学習するものであり、
前記品質判定対象撮影表示部は、品質判定の対象となる前記生鮮食品を撮影した判定用の画像データを用い、前記解析部で判定用の前記画像データと最も近い前記判定モデルを推定することにより品質判定の対象となる前記生鮮食品の品質を判定し、前記生化学指標を表示するものであることを特徴とする生鮮食品の品質判定システム。

【請求項7】

請求項６記載の生鮮食品の品質判定システムであって、
前記照明は、色温度を３３００Ｋから５６００Ｋまでの間で７段階に変えて照射可能であり、
前記回転台は、平面視で３６０°／３２ずつ回転可能である生鮮食品の品質判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生鮮食品の画像データから生鮮食品の品質を判定する生鮮食品の品質判定技術に関する。

【背景技術】

【0002】

近年、生鮮食品の流通、販売等では、より高鮮度且つ高品質なものが求められている。例えば、魚介類ではそれが顕著に求められている。魚介類は死後変化が大きく、鮮度の低下も早いため、高鮮度の商品を提供できる体制を構築するためには鮮度を含めた品質保持の良否を判定する技術が必要である。この技術の社会実装化されることで、産地・消費地の卸売市場や輸送中の魚介類商品の品質を簡便に判定することが可能になり、水産物のブランド化・高品質化に貢献することができる。

【0003】

現在鮮度を含めた品質の指標として基本的に次のものがある。一方は、官能評価法による、外観，匂いや色の変化である。他方は、化学成分の分析法による、ATP関連化合物の組成（K値）、揮発性塩基窒素（VBN）、pH値、筋肉色素などである。ここで、官能評価法は、魚介類の外観、匂いや色の変化から総合的な判断が必要となり個人差が大きい。また、化学成分の分析方法は、専門の分析技術が必要であったり、測定また分析にも時間がかかり短時間での判定が難しかったり、装置が高価なため市場や店や家庭などに設置することが困難であったりする。

【0004】

これらの課題を解決するために、いくつかの鮮度判定技術が知られており、例えば、熟練の職人がマグロを目利きしたデータを蓄積し、画像解析技術によりマグロを最上級、上級、並の３種類に判定するものがある。しかし、このような魚介類の鮮度判定技術は、職人の官能評価以上の精度にならないため、魚介類の貯蔵に対する精密化・高品質化への要求を満たすことができない。

【0005】

また、別技術では、人工知能を活用してシラウオの鮮度を評価するものであり、水揚げされたシラウオを画像撮影した後に、目利きのある漁業従事者が透明感に焦点を当てて等級ラベル付けを行い、データを蓄積し、４段階で判定鮮度するものである。鮮度評価対象のシラウオの画像を、蓄積されたデータと比較して鮮度判定するものであるが、これも漁業従事者による官能評価以上の精度にならない。

【0006】

また、特許文献１の人工知能による漁獲物識別システムは、漁獲物の魚種ごとの魚種特徴量を記憶する魚種特徴量記憶部と、漁獲物を個別に撮像して特徴量を抽出する撮像部と、特徴量を魚種特徴量と比較し、漁獲物の魚種を判定する魚種判定部と、漁獲物に識別番号を付与する識別番号付与部と、特徴量から同種の他の漁獲物と識別可能な個別特徴量を抽出する個別特徴量抽出部と、個別特徴量を漁獲物ごとに識別番号に紐付けして保存する個別漁獲物データベースとを備えている。しかし、特許文献１の人工知能による漁獲物識別システムは、魚種を判定するものであり魚そのものの鮮度を判定することができない。

【0007】

また、特許文献２の魚の鮮度推定方法は、３１５ｎｍ～４５０ｎｍの波長帯域の全て又は一部を含む光を魚の眼に照射して得られる吸光度スペクトルを取得する吸光度スペクトル取得ステップと、取得された吸光度スペクトルの形状を用いて、魚の鮮度を推定するものである。しかし、３１５ｎｍ～４５０ｎｍの波長帯域では可視光の利用ができないうえ、魚眼のない状態では鮮度が推定できない。

【先行技術文献】

【特許文献】

【0008】

【文献】特許第６４０１４１１号公報

【文献】特開２０１５－２３２５４３号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

本発明は、以上の点に鑑み、可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる生鮮食品の品質判定技術を提供することを課題とする。

【課題を解決するための手段】

【0010】

［１］生鮮食品の画像データから前記生鮮食品の品質を判定する生鮮食品の品質判定方法であって、
学習用の前記生鮮食品を撮影した学習用の画像データと学習用の前記生鮮食品を計測して得た生化学指標とからデータベースを構築する画像・生化学指標データベース構築工程と、
前記データベースの教師データとしての前記画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し生化学指標に関連付けて判定モデルを学習する判定モデル学習工程と、
品質判定の対象となる前記生鮮食品を撮影した判定用の画像データから最も近い前記判定モデルを推定することにより品質判定の対象となる前記生鮮食品の品質を判定する生鮮食品の品質判定工程とを有し、
前記画像・生化学指標データベース構築工程は、
水揚げ後もしくは収穫後０日目の前記生鮮食品を準備し、所定の色温度の照明を学習用の前記生鮮食品に当てた状態にてカメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で所定の角度だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することをｎ回繰り返し、
さらに前記色温度を所定の値だけ変更し前記カメラで撮影して学習用の前記画像データを作成することをｍ回繰り返し、
さらに取れたて０日目の前記生鮮食品が所定の時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の前記画像データを作成する画像データ作成サブ工程を備えていることを特徴とする。

【0011】

かかる構成によれば、学習用の生鮮食品を撮影した学習用の画像データと学習用の生鮮食品を計測して得た生化学指標とからデータベースを構築する画像・生化学指標データベース構築工程を有するので、目利き職人による感覚ではなく、生鮮食品を計測して得た生化学指標と画像データを対応させ、生化学指標の値で生鮮食品の鮮度を含めた品質を判定することができる。データベースの教師データとしての画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し生化学指標に関連付けて判定モデルを学習する判定モデル学習工程と、品質判定の対象となる生鮮食品を撮影した判定用の画像データから最も近い判定モデルを推定することにより品質判定の対象となる生鮮食品の品質を判定する生鮮食品の品質判定工程とを有するので、可視光のもとで人工知能により瞬時に生鮮食品の品質を判定することができる。

【0012】

さらに、本発明では、画像・生化学指標データベース構築工程は、水揚げ後もしくは収穫後０日目の生鮮食品を準備し、所定の色温度の照明を学習用の生鮮食品に当てた状態にてカメラで撮影して学習用の画像データを作成し、次に学習用の生鮮食品を平面視で所定の角度だけ回転させてカメラで撮影して学習用の画像データを作成することをｎ回繰り返し、さらに色温度を所定の値だけ変更しカメラで撮影して学習用の画像データを作成することをｍ回繰り返し、さらに取れたて０日目の生鮮食品が所定の時間経過毎にカメラで撮影して学習用の画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の画像データを作成する画像データ作成サブ工程を備えている。このため、色温度の違いと角度の違いからなる多数の学習用の画像データから判定モデルを学習するので、品質判定の対象となる生鮮食品を撮影する環境の明暗や撮影角度に影響されずに、正確に品質判定を行うことができる。このように可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる。

【0013】

［２］好ましくは、前記画像・生化学指標データベース構築工程は、
前記生化学指標が、ATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸のうちいずれか１つ以上を含むものであり、これらの生化学指標を計測機器で計測して得る生化学指標計測サブ工程と、
前記画像データ作成サブ工程による学習用の前記画像データと、前記生化学指標計測サブ工程による前記生化学指標とからデータベースを構築するデータベース構築サブ工程とを備え、
学習用の前記生鮮食品が所定の保存期間を過ぎた場合に処理を終了する。

【0014】

かかる構成によれば、生化学指標が、ATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素を含むものであり、生化学指標計測サブ工程でこれらの生化学指標を計測機器で計測して得るので、官能試験のように個人差が生じず、だれが生鮮食品の判定をしても同じ判定結果を得ることができ、品質判定を安定して高精度にすることができる。

【0015】

［３］好ましくは、前記判定モデル学習工程は、
前記データベースの前記画像データを解析部に入力する画像データ入力サブ工程と、
計測した前記生化学指標を前記解析部に入力する生化学指標入力サブ工程と、
前記解析部で、機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し、前記生化学指標と、学習用の前記生鮮食品の取れたて０日目からの経過時間と対応させて判定モデルを学習する判定モデル学習サブ工程とを備えている。

【0016】

かかる構成によれば、判定モデル学習サブ工程では、解析部で、機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し、学習用の生鮮食品の取れたて０日目からの経過時間と対応させて判定モデルを学習するので、日数経過に応じた生鮮食品の品質も判定することができる。

【0017】

［４］好ましくは、前記生鮮食品の品質判定工程は、
品質判定の対象となる前記生鮮食品をカメラで撮影した品質判定対象の前記画像データを前記解析部に入力する品質判定用画像データ入力サブ工程と、
前記解析部で、入力した品質判定対象の前記画像データから特徴量を抽出し、前記データベースから最も近い特徴量を有する前記判定モデルを推定する判定モデル推定サブ工程と、
前記判定モデル推定サブ工程で推定した前記判定モデルの前記生化学指標を用いて品質判定対象の前記生鮮食品の生化学指標を出力する生化学指標出力サブ工程を備えている。

【0018】

かかる構成によれば、解析部のおける、機械学習による入力した品質判定対象の画像データからの特徴量を抽出し等に際し、いわゆるニューラルネットワークによる深層学習手法や、本発明者の発明でもある特願２０２２－５２１７１に開示された「統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム」による深層学習手法を用いることでも、判定モデルの学習品質を向上させて生鮮食品の品質判定の精度を向上させることができる。

【0019】

［５］好ましくは、前記画像・生化学指標データベース構築工程は、
取れたて０日目の前記生鮮食品を準備し、所定の色温度の照明を学習用の前記生鮮食品に当てた状態にてカメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で３６０°／３２だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することを３２回繰り返し、
さらに前記色温度を３３００Ｋから５６００Ｋまでの間で前記色温度を７段階に分けてそれぞれの前記色温度に対して前記カメラで撮影して学習用の前記画像データを作成することを７回繰り返し、
さらに取れたて０日目の前記生鮮食品が１２時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することを１４回繰り返して７日分の学習用の前記画像データを作成する。

【0020】

かかる構成によれば、色温度を３３００Ｋから５６００Ｋまでの間で色温度を７段階に分け、それぞれ色温度に対して学習用の生鮮食品を平面視で３６０°／３２だけ回転させてカメラで撮影して学習用の画像データを作成することを３２回繰り返すので、判定モデルの学習品質を向上させて生鮮食品の品質判定の精度を向上させることができる。

【0021】

［６］好ましくは、生鮮食品の画像データから前記生鮮食品の品質を判定する生鮮食品の品質判定システムであって、
教師データ作成部と、生化学指標測定部と、解析部と、品質判定対象撮影表示部とを備え、
前記教師データ作成部は、色温度を変更可能にして前記生鮮食品を照らす照明と、前記生鮮食品を撮影するカメラと、平面視にて所定の角度で回転可能に設けられ前記生鮮食品を載せる回転台とを備え、
所定の色温度の照明を学習用の前記生鮮食品に当てた状態にて前記カメラで撮影して学習用の前記画像データを作成し、次に学習用の前記生鮮食品を平面視で所定の角度だけ回転させて前記カメラで撮影して学習用の前記画像データを作成することをｎ回繰り返し、
さらに前記色温度を所定の値だけ変更し前記カメラで撮影して学習用の前記画像データを作成することをｍ回繰り返し、
さらに取れたて０日目の前記生鮮食品が所定の時間経過毎に前記カメラで撮影して学習用の前記画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の前記画像データを作成するものであり、
前記生化学指標測定部は、少なくともATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸のうちいずれか１つ以上を含む生化学指標を計測する計測機器であり、
前記解析部は、学習用の前記画像データとこれらの画像データに対応した前記生化学指標とを含み構成されたデータベースを備え、
前記データベースの教師データとしての前記画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し前記生化学指標に関連付けて判定モデルを学習するものであり、
前記品質判定対象撮影表示部は、品質判定の対象となる前記生鮮食品を撮影した判定用の画像データを用い、前記解析部で判定用の前記画像データと最も近い前記判定モデルを推定することにより品質判定の対象となる前記生鮮食品の品質を判定し、前記生化学指標を表示するものであることを特徴とする。

【0022】

かかる構成によれば、教師データ作成部と、生化学指標測定部と、解析部と、品質判定対象撮影表示部により、水揚げ後もしくは収穫後０日目の生鮮食品を準備し、所定の色温度の照明を学習用の生鮮食品に当てた状態にてカメラで撮影して学習用の画像データを作成し、次に学習用の生鮮食品を平面視で所定の角度だけ回転させてカメラで撮影して学習用の画像データを作成することをｎ回繰り返し、さらに色温度を所定の値だけ変更しカメラで撮影して学習用の画像データを作成することをｍ回繰り返し、さらに取れたて０日目の生鮮食品が所定の時間経過毎にカメラで撮影して学習用の画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の画像データを作成することができる。このため、色温度の違いと角度の違いからなる多数の学習用の画像データから判定モデルを学習するので、品質判定の対象となる生鮮食品を撮影する環境の明暗や撮影角度に影響されずに、正確に品質判定を行うことができる。このように可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる。

【0023】

［７］好ましくは、前記照明は、色温度を３３００Ｋから５６００Ｋまでの間で７段階に変えて照射可能であり、
前記回転台は、平面視で３６０°／３２ずつ回転可能である。

【0024】

かかる構成によれば、色温度を３３００Ｋから５６００Ｋまでの間で色温度を７段階に分け、それぞれ色温度に対して学習用の生鮮食品を平面視で３６０°／３２だけ回転させてカメラで撮影して学習用の画像データを作成することを３２回繰り返すので、判定モデルの学習品質を向上させて生鮮食品の品質判定の精度を向上させることができる。

【発明の効果】

【0025】

可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる生鮮食品の品質判定技術を提供することができる。

【図面の簡単な説明】

【0026】

【図1】本発明の生鮮食品の品質判定方法及びその品質判定システムの概要を説明する図である。

【図2】生鮮食品の品質判定方法のメインのフローを説明する図である。

【図3】画像・生化学指標データベース構築工程のサブ工程を説明するフロー図である。

【図4】教師データ作成部を説明する図である。

【図5】画像・生化学指標データベース構築工程で撮影した学習用の画像データを説明する図である。

【図6】生化学指標計測サブ工程を説明する図である。

【図7】生のマグロの切り身における水揚げ０日目の画像の一例である。

【図8】生のマグロの切り身における水揚げ２日目の画像の一例である。

【図9】生のマグロの切り身における水揚げ４日目の画像の一例である。

【図10】冷凍のマグロの切り身における水揚げ０日目の画像の一例である。

【図11】冷凍のマグロの切り身における水揚げ２日目の画像の一例である。

【図12】冷凍のマグロの切り身における水揚げ４日目の画像の一例である。

【図13】判定モデル学習工程のサブ工程を説明するフロー図である。

【図14】判定モデル学習工程を説明する図である。

【図15】生鮮食品の品質判定工程のサブ工程を説明するフロー図である。

【図16】生鮮食品をブリにした判定モデルのテストの結果を説明する図である。

【図17】生鮮食品をイカにした判定モデルのテストの結果を説明する図である。

【図18】生鮮食品をマグロにした判定モデルのテストの結果を説明する図である。

【発明を実施するための形態】

【0027】

本発明の実施の形態を添付図に基づいて以下に説明する。なお、図面は、生鮮食品の品質判定システムの各装置等は概念的（模式的）に示すものとする。

【実施例】

【0028】

図１、図４、図６に示されるように、生鮮食品の品質判定システム１０は、生鮮食品５０の画像データ５１（図５、図７～図１２、図１４参照）から生鮮食品５０の品質を判定するシステムであり、教師データ作成部２０と、生化学指標測定部（生化学指標）４０と、解析部３０と、品質判定対象撮影表示部（不図示）とを備えている。

【0029】

次に、教師データ作成部２０のハード面を説明する。
教師データ作成部２０は、前面が開口した箱状の筐体２１と、この筐体２１の開口を開閉可能にするとともに内部を見通し可能にする透明な窓が設けられた扉２４と、色温度を変更可能にして生鮮食品５０を照らす照明（光源）２２と、生鮮食品５０を撮影するカメラ２５と、平面視にて所定の角度で回転可能に設けられ生鮮食品５０を載せる回転台２３とを備えている。照明２２は、色温度を３３００Ｋから５６００Ｋまでの間で７段階に変えて照射可能である。回転台２３は、例えばステッピングモーターを備えて平面視で３６０°／３２ずつ回転可能とするものである。

【0030】

また、作用としては、所定の色温度の照明２２を学習用の生鮮食品５０に当てた状態にてカメラ２５で撮影して学習用の画像データ５１を作成し、次に学習用の生鮮食品５０を平面視で所定の角度だけ回転させてカメラ２５で撮影して学習用の画像データ５１を作成することをｎ回繰り返す。さらに色温度を所定の値だけ変更しカメラ２５で撮影して学習用の画像データ５１を作成することをｍ回繰り返す。さらに取れたて０日目の生鮮食品５０が所定の時間経過毎にカメラ２５で撮影して学習用の画像データ５１を作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の画像データ５１を作成するものである。

【0031】

次に、生化学指標測定部４０について説明する。
生化学指標測定部４０は、少なくともATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、及び筋肉色素、クロロフィル、カロチノイド、及びアスコルビン酸を含む生化学指標を計測する計測機器である。なお、生化学指標測定部４０を計測機器そのものだけでなく、計測機器による計測によって得られる生化学指標の各計測値と定義してもよい。

【0032】

次に、解析部３０について説明する。
解析部３０は、学習用の画像データ５１とこれらの画像データ５１に対応してセットにして入力・保存された生化学指標４０とを含み構成されたデータベースを備えている。また、解析部３０は人工知能（ＡＩ：Artificial Intelligence ）も備えており、この人工知能により、データベースの教師データとしての画像データ５１から機械学習を用いて生鮮食品５０の色、反射した光量及び表面形状を表現する特徴量を抽出し生化学指標に関連付けて判定モデルを学習するものである。

【0033】

解析部３０の人工知能は一般的なものでもよい。一般的には、機械学習とは、データから規則性や判断基準を学習し、学習した規則性や判断基準に基づき未知のものを予測、判断する技術と、人工知能に関わる分析技術をいう。機械学習に包含される関係にあるディープラーニング（深層学習手法）を用いてもよく、ディープラーニングはより基礎的で広範な機械学習の手法であるニューラルネットワークの分析手法を拡張したものであり、高精度の分析や活用を可能する手法である。本発明の一実施例では、いわゆる教師あり学習といわれる正解にあたる教師データが与えられる機械学習を用いている。なお、教師あり学習の分析手法として、回帰分析や決定木などある。

【0034】

また、ニューラルネットワークは、画像認識の分野にも応用されており、中間層（隠れ層）を２層以上に多層化したニューラルネットワークがディープラーニングと言われている。ディープラーニングは、与えられたデータのどこに着目すればよいか、具体的な特徴量を人間が指示せずとも自らそのデータの特徴づける特徴量を抽出し、データに含まれるルールや規則性を学習する手法である。

【0035】

なお、本発明の解析部３０の人工知能は、一般的のものだけでなく、本発明者の発明でもある特願２０２２－５２１７１に開示された「統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム」による深層学習手法を用いてもよい。統計的距離行列を用いてディープラーニングの畳み込み層の構造を最適化し，ディープラーニングの精度を向上させることができる。

【0036】

品質判定対象撮影表示部（不図示）について説明する。
品質判定対象撮影表示部は、品質判定の対象となる生鮮食品５０を撮影した判定用の画像データを用い、解析部３０で判定用の画像データと最も近い判定モデルを推定することにより品質判定の対象となる生鮮食品の品質を判定し、生化学指標を表示するものである。

【0037】

品質判定対象撮影表示部は、教師データ作成部２０を利用してＰＣなどを接続したものでもよいが、教師データ作成部２０とは異なる外部のカメラとＰＣの組み合せでもよく、さらには一般的なスマートフォンやタブレットであってもよい。インターネットなどのネットワークを介して生鮮食品の品質室判定システム１０（解析部３０）に接続して、スマートフォンから生鮮食品の品質室判定システム１０（解析部３０）へ品質判定の対象となる生鮮食品５０を撮影した判定用の画像データを送信し、解析部３０での判定結果をスマートフォンに返して判定結果を表示するものとしてもよい。

【0038】

また、品質判定の対象となる生鮮食品５０の撮影環境は、例えば任意の施設の居室内やスパーマーケットの店内などでもよく、一般の方が通常生活する可視光の当たる環境でもよい。本発明は、教師データから判定モデルを作成する画像・生化学指標データベース構築工程及び判定モデル学習工程（詳細は後述する）の時点で、複数の色温度、複数の撮影方向（角度）から教師データを得て判定モデルを学習するため、品質判定の対象となる生鮮食品５０の撮影環境は可視光が当たる範囲であれば対応することができる。

【0039】

次に、生鮮食品の品質判定方法について説明する。
図１、図２に示されるように、生鮮食品の品質判定方法は、生鮮食品５０の画像データ５１から生鮮食品５０の品質を判定する方法であり、学習用の生鮮食品５０を撮影した学習用の画像データ５１と学習用の生鮮食品５０を計測して得た生化学指標４０とからデータベース（不図示）を構築する画像・生化学指標データベース構築工程ＳＴＥＰ１（Ｓ１、図面ではＳＴＥＰをＳと示す）と、データベースの教師データとしての画像データ５１から機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し判定モデルを学習する判定モデル学習工程ＳＴＥＰ２と、品質判定の対象となる生鮮食品５０を撮影した判定用の画像データ５１から最も近い判定モデルを推定することにより品質判定の対象となる生鮮食品５０の品質を判定する生鮮食品の品質判定工程ＳＴＥＰ３とを有する。

【0040】

次に、ＳＴＥＰ１の画像・生化学指標データベース構築工程について説明する。
図２～図６に示されるように、画像・生化学指標データベース構築工程ＳＴＥＰ１は、水揚げ後もしくは収穫後０日目の生鮮食品（ブリの切り身）５０を準備し、所定の色温度の照明２２を学習用の生鮮食品５０に当てた状態にてカメラ２５で撮影して学習用の画像データ５１を作成し、次に学習用の生鮮食品５０を平面視で所定の角度だけ回転させてカメラ２５で撮影して学習用の画像データ５１を作成することをｎ回繰り返し、さらに色温度を所定の値だけ変更しカメラ２５で撮影して学習用の画像データ５１を作成することをｍ回繰り返し、さらに取れたて０日目の生鮮食品５０が所定の時間経過毎にカメラ２５で撮影して学習用の画像データ５１を作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の画像データ５１を作成する画像データ作成サブ工程ＳＴＥＰ１－１を備えている。

【0041】

さらに、画像・生化学指標データベース構築工程ＳＴＥＰ１は、生化学指標が、ATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸を含むものであり、これらの生化学指標を計測機器（生化学指標測定部４０）で計測して得る生化学指標計測サブ工程ＳＴＥＰ１－２と、画像データ作成サブ工程ＳＴＥＰ１－１による学習用の画像データ５１と、生化学指標計測サブ工程ＳＴＥＰ１－２による生化学指標とからデータベースを構築するデータベース構築サブ工程ＳＴＥＰ１－３とを備え、ＳＴＥＰ１－４として学習用の生鮮食品５０が所定の保存期間を過ぎた場合（ＹＥＳ）に処理を終了し、保存期間を過ぎていない場合（ＮＯ）はＳＴＥＰ１－１の画像データ作成サブ工程にもどる。

【0042】

また、詳細には画像・生化学指標データベース構築工程ＳＴＥＰ１は、取れたて０日目の生鮮食品５０を準備し、所定の色温度の照明を学習用の生鮮食品５０に当てた状態にてカメラ２５で撮影して学習用の画像データ５１を作成し、次に学習用の生鮮食品５０を平面視で３６０°／３２だけ回転させてカメラ２５で撮影して学習用の画像データ５１を作成することを３２回繰り返し、さらに色温度を３３００Ｋから５６００Ｋまでの間で色温度を７段階に分けてそれぞれの色温度に対してカメラ２５で撮影して学習用の画像データ５１を作成することを７回繰り返し、さらに取れたて０日目の生鮮食品が１２時間経過毎にカメラ２５で撮影して学習用の画像データ５１を作成することを１４回繰り返して７日分の学習用の画像データ５１を作成する。また、それぞれの画像データ５１に対応した生鮮食品５０の生化学指標も計測する。

【0043】

このようにして撮影した生鮮食品５０の画像データ５１を、図７～図１２に示す。図７は、生のマグロの切り身における水揚げ０日目の画像の一例であり、縦の欄で３３００Ｋから５６００Ｋまでの間で色温度を７段階に分けており、横の欄で２つの生鮮食品５０を平面視で３６０°／３２ずつ回転させてある。ATP関連化合物の組成であるK値は、１２．８％であり、pH値は、６．１６である。

【0044】

図８は、生のマグロの切り身における水揚げ２日目の画像の一例である。K値は、１６．８％であり、pH値は、６．１０である。

【0045】

図９は、生のマグロの切り身における水揚げ４日目の画像の一例である。K値は、２４．８％であり、pH値は、６．０５である。

【0046】

また、図１０は、冷凍のマグロの切り身における水揚げ０日目の画像の一例である。K値は、４０．７％であり、pH値は、６．０７である。

【0047】

図１１は、冷凍のマグロの切り身における水揚げ２日目の画像の一例である。K値は、６１．５％であり、pH値は、５．９８である。

【0048】

図１２は、冷凍のマグロの切り身における水揚げ４日目の画像の一例である。K値は、８３．１％であり、pH値は、５．９２である。

【0049】

次に、ＳＴＥＰ２の判定モデル学習工程について説明する。
図２、図１３、図１４に示されるように、判定モデル学習工程ＳＴＥＰ２は、データベースの画像データ５１を解析部３０に入力する画像データ入力サブ工程ＳＴＥＰ２－１と、計測した生化学指標を解析部３０に入力する生化学指標入力サブ工程ＳＴＥＰ２－２と、解析部３０で、機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し、学習用の生鮮食品５０の取れたて０日目からの経過時間と対応させて判定モデルを学習する判定モデル学習サブ工程ＳＴＥＰ２－３とを備えている。

【0050】

次に、ＳＴＥＰ３の生鮮食品の品質判定工程について説明する。
図２、図１５に示されるように、生鮮食品の品質判定工程ＳＴＥＰ３は、品質判定の対象となる生鮮食品５０をカメラ２５で撮影した品質判定対象の画像データを解析部３０に入力する品質判定用画像データ入力サブ工程ＳＴＥＰ３－１と、解析部３０で入力した品質判定対象の画像データから特徴量を抽出し、データベースから最も近い特徴量を有する判定モデルを推定する判定モデル推定サブ工程ＳＴＥＰ３－２と、判定モデル推定サブ工程ＳＴＥＰ３－２で推定した判定モデルの生化学指標を用いて品質判定対象の生鮮食品の生化学指標を出力する生化学指標出力サブ工程ＳＴＥＰ３－３と、を備えている。

【0051】

次に、判定モデルの学習とテスト結果について説明する。
図１６に示されるように、生鮮食品５０をブリとした場合、精度は９９．７％となり、損失関数の値は０．００１８となった。なお、エポック数（学習回数）を１００として学習を行った。

【0052】

図１７に示されるように、生鮮食品５０をイカとした場合、精度は１００％となり、損失関数の値は０．００１以下となった。

【0053】

図１８に示されるように、生鮮食品５０をマグロとした場合、精度は１００％となり、損失関数の値は０．００１以下となった。

【0054】

次に以上に述べた生鮮食品の品質判定方法及びその品質判定システムの作用、効果について説明する。

【0055】

本発明の実施例によれば、学習用の生鮮食品を撮影した学習用の画像データと学習用の生鮮食品を計測して得た生化学指標とからデータベースを構築する画像・生化学指標データベース構築工程を有するので、目利き職人による感覚ではなく、生鮮食品を計測して得た生化学指標と画像データを対応させ、生化学指標の値で生鮮食品の鮮度を含めた品質を判定することができる。データベースの教師データとしての画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し判定モデルを学習する判定モデル学習工程と、品質判定の対象となる生鮮食品を撮影した判定用の画像データから最も近い判定モデルを推定することにより品質判定の対象となる生鮮食品の品質を判定する生鮮食品の品質判定工程とを有するので、可視光のもとで人工知能により瞬時に生鮮食品の品質を判定することができる。

【0056】

さらに、画像・生化学指標データベース構築工程は、水揚げ後もしくは収穫後０日目の生鮮食品を準備し、所定の色温度の照明を学習用の生鮮食品に当てた状態にてカメラで撮影して学習用の画像データを作成し、次に学習用の生鮮食品を平面視で所定の角度だけ回転させてカメラで撮影して学習用の画像データを作成することをｎ回繰り返し、さらに色温度を所定の値だけ変更しカメラで撮影して学習用の画像データを作成することをｍ回繰り返し、さらに取れたて０日目の生鮮食品が所定の時間経過毎にカメラで撮影して学習用の画像データを作成することをｐ回繰り返し、合計ｎ×ｍ×ｐ回分の学習用の画像データを作成する画像データ作成サブ工程を備えている。このため、色温度の違いと角度の違いからなる多数の学習用の画像データから判定モデルを学習するので、品質判定の対象となる生鮮食品を撮影する環境の明暗や撮影角度に影響されずに、正確に品質判定を行うことができる。このように可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる。

【0057】

さらに本発明の実施例によれば、生化学指標が、ATP関連化合物の組成であるK値、揮発性塩基窒素であるVBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸を含むものであり、生化学指標計測サブ工程でこれらの生化学指標を計測機器で計測して得るので、官能試験のように個人差が生じず、だれが生鮮食品の判定をしても同じ判定結果を得ることができ、品質判定を安定して高精度にすることができる。

【0058】

さらに本発明の実施例によれば、判定モデル学習サブ工程では、解析部で、機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し、学習用の生鮮食品の取れたて０日目からの経過時間と対応させて判定モデルを学習するので、日数経過に応じた生鮮食品の品質も判定することができる。

【0059】

さらに本発明の実施例によれば、解析部のおける、機械学習による入力した品質判定対象の画像データからの特徴量を抽出し等に際し、いわゆるニューラルネットワークによる深層学習手法や、本発明者の発明でもある特願２０２２－５２１７１に開示された「統計的距離行列の計算方法、統計的距離行列の可視化方法及び装置及びプログラム」による深層学習手法を用いることで、判定モデルの学習品質を向上させて生鮮食品の品質判定の精度を向上させることができる。

【0060】

さらに本発明の実施例によれば、色温度を３３００Ｋから５６００Ｋまでの間で色温度を７段階に分け、それぞれ色温度に対して学習用の生鮮食品を平面視で３６０°／３２だけ回転させてカメラで撮影して学習用の画像データを作成することを３２回繰り返すので、判定モデルの学習品質を向上させて生鮮食品の品質判定の精度を向上させることができる。

【0061】

尚、実施例では、生鮮食品５０を魚介類のブリ、イカ、マグロとしたが、これに限定されず、生鮮食品５０をアジ、ホタテ、カツオなど他の魚介類でもよく、さらには、牛肉、豚肉、鶏肉などの肉類、レタス、キャベツ、リンゴなどの青果類としても差し支えない。即ち、本発明の作用及び効果を奏する限りにおいて、本発明は、実施例に限定されるものではない。

【0062】

また、実施例では、照明を３３００Ｋから５６００Ｋまでの間で色温度を７段階に分けたが、これに限定されず、３０００Ｋから６０００Ｋまでの間で色温度を９段階に分けてもよく、色温度の範囲や分ける段階の数を変えてもよい。

【0063】

また、実施例では学習用の生鮮食品を平面視で３６０°／３２ずつ回転させてカメラで撮影したが、これに限定されず、１０°毎、１５°毎などでもよく、細かく分けるほど判定モデル精度は向上するところ、カメラを回転させる角度は他の値であってもよい。さらには、所定の時間経過毎に画像データを取るところ、時間の間隔も１２時間毎だけでなく、６時間毎、２４時間毎などでもよい。また、データをとる日数も４日分、７日分、１０日分など生鮮食品の素材に合わせて適宜変更してもよい。また、実施例では、生化学指標をK値、VBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸としたが、これに限定されず、品質に関連すれば他の指標を用いてもよい。

【産業上の利用可能性】

【0064】

本発明は、生鮮食品の画像データから生鮮食品の品質を判定する生鮮食品の品質判定技術に好適である。

【符号の説明】

【0065】

１０…生鮮食品の品質判定システム、２０…教師データ作成部、２２…照明（光源）、２３…回転台、２５…カメラ、３０…解析部（データベース、ライブラリ、人工知能）、４０…生化学指標測定部（生化学指標、K値、VBN、pH値、筋肉色素、クロロフィル、カロチノイド、アスコルビン酸）、５０…生鮮食品（ブリ、イカ、マグロ、魚介類、牛肉、豚肉、鶏肉、肉類、レタス、キャベツ、リンゴ、青果類）、５１…画像データ。

【要約】

【課題】可視光の環境下で、魚介類、肉類、青果類などの種類を問わず生鮮食品の品質を、生化学指標を用いて品質判定できる生鮮食品の品質判定技術を提供すること。
【解決手段】生鮮食品の品質判定方法は、生鮮食品の画像データから生鮮食品の品質を判定するものであり、生鮮食品を撮影した学習用の画像データと学習用の生鮮食品を計測して得た生化学指標とからデータベースを構築する画像・生化学指標データベース構築工程と、データベースの画像データから機械学習を用いて色、反射した光量及び表面形状を表現する特徴量を抽出し生化学指標に関連付けて判定モデルを学習する判定モデル学習工程と、品質判定の対象となる生鮮食品を撮影した判定用の画像データから最も近い判定モデルを推定することにより品質判定の対象となる生鮮食品の品質を判定する生鮮食品の品質判定工程とを有する。
【選択図】図２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】