特開 2022-98763 鮮度管理システム、鮮度管理方法および、鮮度管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022098763

(43)【公開日】2022-07-04

(54)【発明の名称】鮮度管理システム、鮮度管理方法および、鮮度管理プログラム

(51)【国際特許分類】

   F25D 23/00 20060101AFI20220627BHJP

   F25D 11/00 20060101ALI20220627BHJP

   F25D 29/00 20060101ALI20220627BHJP

   G06Q 10/00 20120101ALI20220627BHJP

【ＦＩ】

F25D23/00 301L

F25D23/00 301J

F25D11/00 101B

F25D11/00 101E

F25D11/00 101D

F25D11/00 101F

F25D29/00 Z

G06Q10/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2020212345

(22)【出願日】2020-12-22

(71)【出願人】

【識別番号】520287356

【氏名又は名称】株式会社ＧＩＡＮＴ

(74)【代理人】

【識別番号】100137338

【弁理士】

【氏名又は名称】辻田 朋子

(72)【発明者】

【氏名】リー ジュンソク

(72)【発明者】

【氏名】伊藤 隆彦

(72)【発明者】

【氏名】磯部 孝

【テーマコード（参考）】

3L045

3L345

5L049

【Ｆターム（参考）】

3L045AA02

3L045AA04

3L045AA05

3L045BA01

3L045BA02

3L045CA02

3L045LA15

3L045LA16

3L045MA02

3L045NA19

3L045PA01

3L045PA02

3L045PA03

3L045PA04

3L345AA02

3L345AA03

3L345AA05

3L345AA21

3L345AA30

3L345BB01

3L345EE02

3L345EE04

3L345EE33

3L345EE34

3L345EE36

3L345EE53

3L345EE55

3L345JJ02

3L345JJ11

3L345JJ14

3L345JJ16

3L345JJ26

3L345JJ27

3L345JJ28

3L345KK01

3L345KK02

3L345KK03

3L345KK04

5L049AA22

(57)【要約】

【課題】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システム、鮮度管理方法および、鮮度管理プログラムを提供する。
【解決手段】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、
前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、
前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、
前記鮮度を前記食材庫に通知する通知手段と、を備える鮮度管理システム。

【請求項2】

前記特定手段は、前記画像データに基づいて個別の食材の画像領域を特定し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データの少なくとも１つにおける対応する画像領域を特定し、
前記鮮度推定手段は、前記画像領域における前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項１に記載の鮮度管理システム。

【請求項3】

前記特定手段は、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのそれぞれに基づいて前記食材に含有される水分量、油分量、脂肪分量、糖酸度、および蛋白質量を特定し、
前記鮮度推定手段は、前記食材に含有される前記水分量、油分量、脂肪分量、糖酸度および蛋白質量をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項１又は請求項２に記載の鮮度管理システム。

【請求項4】

前記特定手段は、前記画像データに基づいて前記食材庫の開閉部における所定時間内の開閉回数及び開閉時間を特定し、
前記鮮度推定手段は、前記開閉回数及び前記開閉時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項１～請求項３の何れかに記載の鮮度管理システム。

【請求項5】

前記画像データ取得手段は、温度分布画像データを更に画像データとして取得し、
前記特定手段は、温度分布画像データに基づいて温度分布を特定し、
前記鮮度推定手段は、前記温度分布をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項１～請求項４の何れかに記載の鮮度管理システム。

【請求項6】

前記特定手段は、前記温度分布画像データに基づいて前記食材の温度と前記食材庫の内部の温度を特定し、
前記鮮度推定手段は、前記食材の温度及び前記食材庫の内部の温度をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項５に記載の鮮度管理システム。

【請求項7】

前記特定手段は、前記食材が前記食材庫に保管される保管時間を特定し、
前記鮮度推定手段は、前記保管時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項５又は請求項６に記載の鮮度管理システム。

【請求項8】

前記温度分布画像データに基づいて推定された前記鮮度が基準値の範囲から外れる場合、特定された前記食材に予め設定される適正な温度となるように温度制御指示を前記食材庫に対して出力する温度制御手段を備える請求項５～請求項７の何れかに記載の鮮度管理システム。

【請求項9】

前記画像データ取得手段は、前記画像データを、可視光カメラにより撮影することで取得し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを、近赤外光カメラにより撮影することで取得し、前記温度分布画像データを、サーマルカメラにより撮影することで取得し、
前記可視光カメラと、前記近赤外光カメラと、前記サーマルカメラと、は、それぞれの光軸が略平行となるように配置される請求項５～請求項８の何れかに記載の鮮度管理システム。

【請求項10】

食材庫の内部に保管される食材の鮮度を管理するための鮮度管理方法であって、
前記食材庫の内部を撮影した画像データを取得する画像データ取得ステップと、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定ステップと、
前記水分分布、油分分布、脂肪分分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定ステップと、
前記鮮度を前記食材庫に通知する通知ステップと、をコンピュータが実行する鮮度管理方法。

【請求項11】

食材庫の内部に保管される食材の鮮度を管理するための鮮度管理プログラムであって、
コンピュータを、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、
前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、
前記鮮度を前記食材庫に通知する通知手段と、として機能させる鮮度管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、食材庫の内部における食材の鮮度を管理するための鮮度管理システム、鮮度管理方法および、鮮度管理プログラムに関する。

【背景技術】

【0002】

従来、食品の鮮度を維持するために、食品が保管される温度や湿度が重要な要素であることが知られている。

【0003】

特許文献１では、食品貯蔵後の庫内温度および湿度の履歴を記憶する貯蔵履歴記憶手段の出力をもとに食品の鮮度を推定し、管理する冷蔵庫に関する技術が開示されている。特許文献１に記載される冷蔵庫は、使用者が食品の形、光沢、色、臭いなどから判断する食品の初期鮮度と、食品貯蔵後の庫内温度および湿度の履歴と、をもとに食品の鮮度を推定することが記載されている。

【0004】

特許文献２では、食材の各々の収納庫に収納された日時を検出し、収納された日時の画像と現在の画像との出力に応じて、食材の色の変化や、経過日数などから対象即材の鮮度を判定する技術が開示されている。

【0005】

特許文献３では、食品の水分量変化を電界センサの測定値から検出し、当該水分量の変化に基づいて、食品の鮮度を算出する冷蔵庫が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開第２００１－４１６４０号公報

【特許文献2】特開第２０１６－５７０２２号公報

【特許文献3】特開第２０１２－４２１７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特許文献１に記載の技術は、使用者が判断する初期鮮度からは正確な鮮度を推定できないという問題点があった。

【0008】

特許文献２に記載の技術は、画像データの比較による食材の色の変化、賞味期限からの経過日数、重量センサにより測定される重量の変化、臭いセンサの値などによって、収納庫内の食材の各々の鮮度を判定することが開示される。しかしながら、特許文献２の画像データは、食材の内部において鮮度が劣化している場合、正確に鮮度を判定できない点において課題があった。

【0009】

特許文献３に記載の技術は、食品が全体として含有する水分量について電界センサの測定値から検出できるものの、例えば、食品の可食部の水分量と可食部でない部分の水分量とを区別して検出することはできず、精度の高い鮮度の判定とはいえなかった。

【0010】

上述したような課題に鑑みて、本発明は、食材庫の内部に保管される食材の鮮度をより精度よく判定し、管理することを解決すべき課題とする。

【課題を解決するための手段】

【0011】

上述した課題を解決するために、本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、を備える。

【0012】

このような構成とすることで、食材の水分分布などに基づいてより精度よく食材の鮮度を推定し、通知することができる。

【0013】

本発明の好ましい形態では、前記特定手段は、前記画像データに基づいて個別の食材の画像領域を特定し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データの少なくとも１つにおける対応する画像領域を特定し、前記鮮度推定手段は、前記画像領域における前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、画像データにおいて特定される画像領域により特定される水分分布画像データなどと対応する画像領域を用いて、好適に食材の鮮度を推定することができる。

【0014】

本発明の好ましい形態では、前記特定手段は、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのそれぞれに基づいて前記食材に含有される水分量、油分量、脂肪分量、糖酸度および蛋白質量を特定し、前記鮮度推定手段は、前記食材に含有される前記水分量、油分量、脂肪分量、糖酸度および蛋白質量をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、特定された水分量などを用いることで、精度よく食材の鮮度を推定することができる。

【0015】

本発明の好ましい形態では、前記特定手段は、前記画像データに基づいて前記食材庫の開閉部における所定時間内の開閉回数及び開閉時間を特定し、前記鮮度推定手段は、前記開閉回数及び前記開閉時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、食材庫の開閉という外因的な要素にさらに基づき食材の鮮度をより高精度に推定することができる。

【0016】

本発明の好ましい形態では、前記画像データ取得手段は、温度分布画像データを更に画像データとして取得し、前記特定手段は、温度分布画像データに基づいて温度分布を特定し、前記鮮度推定手段は、前記温度分布をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、水分分布などとの相関関係があると把握することができる温度分布を複合的に用いてより精度よく食材の鮮度を推定することができる。また、学習済みモデルが一定水準の精度を得るまでに必要な機械学習に用いられるデータ量を削減することができる。

【0017】

本発明の好ましい形態では、前記特定手段は、前記温度分布画像データに基づいて前記食材の温度と前記食材庫の内部の温度を特定し、前記鮮度推定手段は、前記食材の温度及び前記食材庫の内部の温度を入力とする前記学習済みモデルを用いて、前記鮮度を推定する。

【0018】

本発明の好ましい形態では、前記特定手段は、前記食材が前記食材庫に保管される保管時間を特定し、前記鮮度推定手段は、前記保管時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、温度分布と保管時間を用いることで、より精度よく食材の鮮度を推定することができる。

【0019】

本発明の好ましい形態では、前記温度分布画像データに基づいて推定された前記鮮度が基準値の範囲を外れる場合、特定された前記食材に予め設定される適正な温度となるように温度制御指示を前記食材庫に対して出力する温度制御手段を備える。
このような構成とすることで、鮮度を維持するための適切な温度となるよう自動で食材庫の温度を制御することができる。

【0020】

本発明の好ましい形態では、前記画像データ取得手段は、前記画像データを、可視光カメラにより撮影することで取得し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを、近赤外光カメラにより撮影することで取得し、前記温度分布画像データを、サーマルカメラにより撮影することで取得し、前記可視光カメラと、前記近赤外光カメラと、前記サーマルカメラと、は、それぞれの光軸が略平行となるように配置される。
このような構成とすることで、それぞれのカメラにより撮影される画像の領域が、略一致し、それぞれの画像データにおける画像領域の特定が容易となる。

【0021】

本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理方法であって、前記食材庫の内部を撮影した画像データを取得する画像データ取得ステップと、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定ステップと、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とし、機械学習された学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定ステップと、前記鮮度を前記食材庫に通知する通知ステップと、をコンピュータが実行する。

【0022】

本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理プログラムであって、コンピュータを、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、少なくとも前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とし、機械学習された学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、として機能させる。

【発明の効果】

【0023】

本発明によれば、食材庫の内部に保管される食材の鮮度を精度よく管理するための鮮度管理システム、鮮度管理方法および鮮度管理プログラムを提供することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態における、鮮度管理システムの機能ブロック図を示す。

【図2】本発明の実施形態における、撮像モジュールによる撮影の概要図を示す。

【図3】本発明の実施形態における、鮮度管理サーバのハードウェア構成図を示す。

【図4】本発明の実施形態における、食材情報記憶部に格納されるデータの構造例を示す。

【図5】本発明の実施形態における、結果データのデータ構造例を示す。

【図6】本発明の実施形態における、機械学習の処理フローチャートを示す。

【図7】本発明の実施形態における、鮮度に関する推定値を取得するまでの処理フローチャートを示す。

【発明を実施するための形態】

【0025】

以下、図面を用いて、本発明の実施形態に関する鮮度管理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。

【0026】

本実施形態では、食材庫および鮮度管理サーバを含む鮮度管理システムの構成、動作等について説明するが、同様の構成の方法、コンピュータのプログラムおよび当該プログラムを記録したプログラム記録媒体等も、同様の作用効果を奏する。プログラム記録媒体を用いれば、例えば、コンピュータに当該プログラムをインストールすることができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、ＣＤ－ＲＯＭやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。

【0027】

鮮度管理システムの各手段と、鮮度管理方法の各ステップと、は同様の作用効果を実現する。鮮度管理システム、鮮度管理プログラムおよび鮮度管理プログラム記録媒体のそれぞれにおける各手段は、ＣＰＵ等の演算装置により実現される。また、鮮度管理方法の各ステップも同様に演算装置により実現される。

【0028】

図１は、本実施形態にかかる鮮度管理システムの機能ブロック図を示す。図１において、鮮度管理システムは、鮮度管理システム１として具体化されている。鮮度管理システム１は、開閉部２２を備え、内部に食材を保管可能な食材庫２と、食材庫２から食材に関する情報を取得し、鮮度管理に関する情報処理を行う鮮度管理サーバ３と、を備える。食材庫２と鮮度管理サーバ３は、通信ネットワークＮＷを介して通信可能に構成される。通信ネットワークＮＷは、インターネットなどのＩＰ（Internet Protocol）網や専用回線などとから構成される。なお、以下の説明では、不明確にならない限り通信ネットワークＮＷの介在を省略する。

【0029】

本実施形態において、鮮度管理システム１は、例えば、食材の販売店舗において食材の鮮度を把握することで、フードロスの削減や、鮮度に応じた調理や発注を行うことなどを目的として利用される。この場合、食材庫２と鮮度管理サーバ３は、それぞれの店舗において設置されてもよい。また、食材庫２はそれぞれの店舗において設置され、鮮度管理システム１の管理拠点において設置される鮮度管理サーバ３に通信接続する構成としてもよい。なお、食材庫２は、１店舗において複数設置されてもよい。

【0030】

本実施形態において、食材庫２は、画像を撮影する複数のカメラにより構成される撮像モジュール２１と、扉等の開閉部２２と、ヒートポンプ等により構成される温度制御部２３と、通信ネットワークＮＷに接続しデータ通信を行うための通信部２４と、を備える。通信部２４は、撮像モジュール２１のモジュールに含まれる構成であってもよい。食材庫２は、温度制御部２３により食材を冷蔵又は冷凍により保管する構成とすることが好ましいが、例えば、温度制御部２３を設けず常温により保管する構成としてもよい。また、食材庫２は、既存の冷蔵庫／冷凍庫や常温の保管庫に撮像モジュール２１と通信部２４などとを取り付ける構成としてもよい。

【0031】

撮像モジュール２１は、画像を撮影するカメラとして、可視光カメラ２１１と、近赤外光カメラ２１２と、サーマルカメラ２１３と、を備える。可視光カメラ２１１は、可視光スペクトル（波長３６０ｎｍ－７８０ｎｍ程度）に受光感度を有するイメージセンサを有し、撮像対象となる食材の可視光イメージを画像データとして取得する。

【0032】

近赤外光カメラ２１２は、例えば、イメージセンサにＩｎＧａＡｓを用いる場合、波長９５０ｎｍ－１７００ｎｍの近赤外光に対して受光感度を有する。本実施形態において、近赤外光カメラ２１２は、水の吸収スペクトルとなる波長１４００ｎｍを中心として１２００ｎｍ、１６００ｎｍの近赤外光を撮像対象に同時照射し、その反射特性、吸収特性または透過特性をイメージセンサを用いて評価することで、撮像対象となる食材に含まれる水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを取得する。ここで、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データは、複数の次元量を有する領域（ピクセル）の集合として適宜、取り扱われ得る。

【0033】

サーマルカメラ２１３は、撮像対象となる食材が放射する赤外線エネルギーを検出するボロメータを有する。サーマルカメラ２１３は、検出された赤外線エネルギー量を温度に変換し、温度分布画像データを取得する。

【0034】

本実施形態において、図２に示すように、撮像モジュール２１における可視光カメラ２１１、近赤外光カメラ２１２、サーマルカメラ２１３のそれぞれの光軸は略平行となるように構成される。これによって、それぞれのカメラにより撮影される画像データは、共通の領域が含まれるように取得され、後に詳述するように画像データに含まれる食材Ｆと、当該対象に含まれる水分および温度に関するデータと、が簡便に対応付けられる。

【0035】

撮像モジュール２１の配置位置は、食材庫２の内部を広く視野角に収める位置であれば特に制限はなく、例えば、食材庫２の壁面や上面に埋め込まれる配置としてもよい。また、食材庫２は、棚や仕切りにより複数の格納スペースを有する場合、それぞれのスペースに撮像モジュール２１が配置されてもよい。

【0036】

撮像モジュール２１は、食材庫２の内部を撮影した可視光イメージ画像データ、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データ、蛋白質分布画像データおよび温度分布画像データを取得する。それぞれのカメラは、動画データを取得するビデオカメラとして構成され、所定時間ごとの場面を画像データとして取得してもよい。撮像モジュール２１は、それぞれ固有のＩＤ情報を有し、撮像モジュール２１により撮影された画像データは、ＩＤ情報が対応付けられている。これによって、画像データが何れの食材庫２において撮影されたものであるか、また、食材庫２が複数の格納スペースを有する場合、何れの格納スペースにおいて撮影されたものであるかが特定される。

【0037】

図３は、鮮度管理サーバ３におけるハードウェア構成図を示す。鮮度管理サーバ３は、ハードウェア構成要素として、演算装置（ＣＰＵ）３１と、作業用メモリとしての主記憶装置（ＲＡＭ）３２と、ＨＤＤやＳＳＤ、フラッシュメモリ等の補助記憶装置３３と、外部の装置と通信するための通信装置３４と、各構成部をそれぞれ接続するバス３５などとを備える。また、補助記憶装置３３は、オペレーティングシステム（ＯＳ）３６と、ＯＳ３６と協働してその機能を発揮する鮮度管理プログラム３７と、各種情報（データを含む）などとを記憶している。

【0038】

鮮度管理サーバ３は、食材庫２より取得される各種画像データやその解析結果などを記憶する記憶部４を内部または外部に備え、通信可能に構成される。記憶部４は、教師データを記憶する教師データ記憶部４１と、教師データを用いた機械学習により生成される学習済みモデルを記憶するモデル記憶部４２と、食材庫２より取得される可視光画像データ、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データ、蛋白質分布画像データおよび温度分布画像データを記憶する画像データ記憶部４３と、画像データの解析により得られる食材情報を記憶する食材情報記憶部４４と、を備える。

【0039】

鮮度管理サーバ３は、食材庫２の撮像モジュール２１において撮影された画像データに基づいて、食材庫２に保管される食材の鮮度を管理する各種機能構成要素を備える。鮮度管理サーバ３は、後に詳述する機能構成要素として、食材庫２より画像データを取得する画像データ取得手段３０１と、取得された画像データに含まれる食材の特徴量等を特定する特定手段３０２と、画像データを学習済みモデルに入力することで、画像データに含まれる食材の鮮度を推定する鮮度推定手段３０３と、食材の鮮度を通知する通知手段３０４と、食材の鮮度を食材庫２に対して通知する通知手段３０４と、推定された鮮度に基づいて食材庫２に対して温度制御指示を出力する温度制御手段３０５と、教師データを用いた機械学習により学習済みモデルを生成する学習手段３０６と、を備える。

【0040】

なお、食材庫２が、記憶部４における一部または全部の各種記憶部を備える構成としてもよい。

【0041】

本実施形態において、鮮度管理サーバ３が処理する各種データについて説明する。

【0042】

図４は、教師データ記憶部４１に格納される教師データのデータ構造の例を示す。教師データの構造は、各種画像データに付与されるラベルをキーとして、撮像モジュール２１のＩＤ情報、何れのカメラで撮影された画像データであるかを示すデータ種別、画像データに含まれる特徴量および、ファイル名などを有する。ＩＤ情報は、１店舗において複数の撮像モジュール２１が設置される場合、それらの対応関係が記憶されている。また、ＩＤ情報は、各店舗に適した教師データによりモデルを最適化するため用いられるが、例えば、店舗別のモデルによる画像認識処理の精度を統一したい場合、教師データの構造に含めなくてもよい。なお、教師データとする画像データには、個別の食材のみが含まれる構成が好ましい。

【0043】

特徴量は、学習手段３０６が画像データに対して画像認識処理することで得られる画素ごとの輝度や色などのデータ群として格納される。学習手段３０６は、例えば、ディープラーニングによる機械学習の手法により、画像データに含まれる特徴量を自動で取得する。ディープラーニングでは、ユーザによる特徴量の設定を必要とせず、コンピュータが画像データにおける対象物の特徴量を自動で抽出し、対象物を分類・特定することができる。なお、本実施形態は、機械学習の手法としてこれに限定されず従来技術を採用できる。

【0044】

本実施形態において、ラベルは、データ種別に応じて複数付与される。可視光画像データにおけるラベルは、食材の種類、色、腐食の有無などを含む。水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのラベルは、食材の種類、水分量、油分量、脂肪分量、糖酸度、蛋白質量、内部欠損および、腐食の有無などを含む。温度分布画像データのラベルは、食材の種類、食材の温度、食材庫の温度などを含む。教師データにおいて、上述した全てのラベルが付与される必要はなく、一部のラベルが欠けていてもよい。

【0045】

また、本実施形態において、それぞれの画像データは、売上データによりラベル付けされる。売上データは、例えば、鮮度管理システム１と連動するＰＯＳシステムから取得され、食材庫２において撮影された画像データに含まれる食材がどの程度売れたかを示すデータである。ＰＯＳシステムは、各店舗において導入され、各店舗における購入された食材の種類、数量、売上高、購入時刻、購入者の年齢などが売上データとして記録される。より好ましい形態として、特定手段３０２は、食材の種類を特定し、特定された食材の売上データを後に取得し、取得した売上データを対応する画像データのラベルとして格納してよい。すなわち、食材の購入者は、鮮度が高いと判断した食材を購入する傾向にあるため、売上データは、鮮度の高い食材の画像データと鮮度の低い食材の画像データにおける特徴量を示すラベルとして用いることができる。ここで、食材のそれぞれにおいて、ＰＯＳ番号と個体番号とは対応付けられている。本発明は、販売された食材（固体）の鮮度と色などとのデータなどから、購入傾向にある食材の特性を評価可能である。

【0046】

なお、画像データは、売上データに替えて、鮮度が良好か否か示す評価情報によりレベル付けされてもよい。この場合、評価情報は、評価者により画像データから把握される鮮度に基づいて決定される。

【0047】

本実施形態において、学習手段３０６は、ラベル付けされた可視光画像データを教師データとして機械学習することで、対象となる食材の種類を少なくとも特定する種類特定モデルを生成する。

【0048】

学習手段３０６は、ラベル付けされた水分分布画像データを教師データとして機械学習することで、水分分布の特徴に基づいて対象となる食材の鮮度を推定する鮮度推定モデルを生成する。また、学習手段３０６は、水分分布の特徴に基づいて対象となる食材の水分量を特定する水分量特定モデルを生成する。

【0049】

学習手段３０６は、ラベル付けされた温度分布画像データを教師データとして機械学習することで、温度分布の特徴に基づいて対象となる食材の鮮度を推定する鮮度推定モデルを生成する。また、学習手段３０６は、温度分布の特徴に基づいて対象となる食材の温度および食材庫の内部の温度を特定する温度特定モデルを生成する。なお、温度分布画像データによる鮮度推定モデルは、対象となる食材の温度が当該温度で保管された保管時間を更に教師データとして機械学習することで生成される構成とすることが好ましい。

【0050】

学習手段３０６は、食材庫２の開閉部２２の開閉状況によりラベル付けされた可視光画像データを教師データとして機械学習することで、開閉部２２の開閉状況を特定する開閉状況特定モデルを生成する。また、学習手段３０６は、開閉回数および開閉時間を教師データとして機械学習することで、食材の鮮度を推定する鮮度推定モデルを生成する。

【0051】

なお、開閉状況は、可視光画像データの輝度値の変化により特定され、例えば、輝度値が暗から明に変化した時刻を開閉部２２の開時刻と判定し、明から暗に変化した時刻を閉時刻と判定する。なお、開閉状況は、画像データに含まれる彩度（ＲＧＢ値）の変化により開閉を判定してもよい。また、開閉状況は、可視光画像データが開閉部２２を画像領域に含むように撮像モジュール２１を設置することで、開閉部２２の開閉動作を直接的に撮影する構成としてもよい。

【0052】

学習手段３０６により生成される各種学習済みモデルは、モデル記憶部４２に格納される。なお、学習済みモデルは、画像データに含まれる特徴量を特定する特定モデル（種類、水分量、油分量、脂肪分量、糖酸度、蛋白質量、温度）と、画像データに含まれる対象となる食材の鮮度を推定する鮮度推定モデルと、に分類される。また、学習手段３０６は、特定モデルにより特定される特徴量である水分量、油分量、脂肪分量、糖酸度、蛋白質量、温度、開閉状況を教師データとして機械学習することで、対象となる食材の鮮度を推定する鮮度推定モデルを更に生成する。

【0053】

画像データ取得手段３０１は、撮像モジュール２１より画像データを取得し、画像データ記憶部４３に格納する。画像データ記憶部４３は、データが取得された撮像モジュール２１のＩＤ情報をキーとして、データ種別、ファイル名（画像データ）、データの取得日時などを含むデータを格納する。

【0054】

図５は、画像データ記憶部４３に格納されるデータに対してモデル記憶部４２に格納される学習済みモデルを適用することで得られる結果データを食材情報記憶部４４に格納する。食材情報記憶部４４は、ＩＤ情報をキーとして、データ種別、ファイル名、特定モデルを用いて特定される結果情報を結果データとして格納する。結果情報は、特定モデルにより特定される特徴量と、鮮度推定モデルにより推定される鮮度を含む。

【0055】

結果情報として格納される特徴量には、それぞれ重みが付与されている。鮮度推定手段３０３は、特徴量とその重みに基づいて、食材の鮮度を推定する。

【0056】

本実施形態において、鮮度は、数値（推定値）として出力され、結果情報として格納される。鮮度推定手段３０３は、撮像モジュール２１により取得された画像データを学習済みモデルに入力することで、学習済みモデルから鮮度に関する推定値を取得することができる。また、鮮度推定手段３０３は、鮮度に関する推定値に基づいて、値が一定以上の場合「良好」とし、一定未満の場合「劣化」として出力してもよい。

【0057】

なお、鮮度推定手段３０３により推定される鮮度は、食材庫２に保管される食材のリアルタイムにおける鮮度と、食材庫２に保管される食材の保管状況や鮮度から予測される所定時間経過後の鮮度（予測鮮度）と、を含む。

【0058】

なお、記憶部４および鮮度管理サーバ３の各種手段は、食材庫２が備える構成とすることで、食材庫２は鮮度管理サーバ３との通信を不要となる。

【0059】

図６は、本実施形態における機械学習の処理フローチャートを示す。本実施形態において、鮮度管理サーバ３において機械学習に関する処理が行われる例を説明するが、食材庫２において機械学習に関する処理が行われる構成としてもよい。また、機械学習に関する処理は、鮮度管理システム１の外部におけるサーバや端末装置により行われ、学習済みモデルが鮮度管理システム１に提供される構成としてもよい。

【0060】

はじめに、画像データ取得手段３０１は、撮像モジュール２１により撮影された画像データを取得し、ラベルを付与して教師データ記憶部４１に格納する（ステップＳ１１）。ここで、教師データとなる画像データは、インターネットなどにおいて取得可能なデータセットを用いてもよい。学習手段３０６は、ステップＳ１１において取得された教師データにより機械学習させることで、各種画像データに含まれる特徴量を抽出する（ステップＳ１２）。学習手段３０６は、学習が完了するまで、ステップＳ１１、Ｓ１２における機械学習に関する処理を繰り返すことで特徴量を更新していく（ステップＳ１３）。これにより、学習済みモデル（特定モデル、鮮度推定モデル）が生成され、生成された各種学習済みモデルはモデル記憶部４２に格納される（ステップＳ１４）。

【0061】

図７は、本実施形態における、鮮度を推定するための画像データの処理フローチャートを示す。

【0062】

はじめに、画像データ取得手段３０１は、食材庫２から撮像モジュール２１により撮影された各種画像データを取得し、画像データ記憶部４３に格納する（ステップＳ２１）。特定手段３０２は、画像データ記憶部４３に格納される可視光画像データを種類特定モデルに入力することで食材の種類を特定する（ステップＳ２２）。また、特定手段３０２は、特定した個別の食材が含まれる所定の画像領域を特定する（ステップＳ２３）。画像領域は、画像データにおける座標およびサイズにより定義される。

【0063】

特定手段３０２は、ステップＳ２３において特定された画像領域に基づいて、水分分布画像データの画像領域を特定する（ステップＳ２４）。特定手段３０２は、水分量特定モデルなどの特定モデルを用いて水分分布画像データの画像領域に含まれる食材の水分量を含む特徴量を特定する（ステップＳ２５）。鮮度推定手段３０３は、水分分布画像データの画像領域を入力とし、機械学習された鮮度推定モデルを用いて、食材の種類に応じた鮮度を推定する（ステップＳ２６）。また、鮮度推定手段３０３は、特定された水分量を入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する。このとき、使用される学習済みモデルは、ステップＳ２２において特定された食材の種類に応じて決定される構成とすることで、適当な学習済みモデルを用いて精度よく鮮度を推定することができる。なお、油分量、脂肪分量、糖酸度および蛋白質量についても同様である。

【0064】

特定手段３０２は、ステップＳ２４と同様に温度分布画像データの画像領域を特定する（ステップＳ２７）。特定手段３０２、温度特定モデルを用いて温度分布画像データの画像領域に含まれる食材の温度および食材庫２の内部の温度を特定する（ステップＳ２８）。また、このとき特定手段３０２は、更に食材と食材庫の温度差、食材がその温度により保管された保管時間、また温度および保管時間に基づいて換算される熱量などを特定してもよい。鮮度推定手段３０３は、温度分画像データの画像領域を入力とし、機械学習された鮮度推定モデルを用いて、食材の種類に応じた鮮度を推定する（ステップＳ２９）。また、鮮度推定手段３０３は、ステップＳ２８で特定された食材の温度および食材庫２の温度などを入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する。この時使用される学習済みモデルは、同様にステップＳ２２において特定された食材の種類に応じて決定される構成としてもよい。

【0065】

特定手段３０２は、可視光画像データに開閉状況特定モデルを適用し、開閉部２２の開閉回数および開閉時間を特定する（ステップＳ３０）。鮮度推定手段３０３は、特定された開閉回数および開閉時間を入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する（ステップＳ３１）。

【0066】

鮮度推定手段３０３は、上述した各ステップにおいてそれぞれ推定した鮮度に基づいて、総合的な鮮度を出力する。鮮度推定手段３０３は、それぞれの鮮度に重み付けすることで、精度よく総合的な鮮度を出力することができる。例えば、食材庫２の外部における気温が高い場合、開閉回数および開閉時間の特徴量の重み付けを大きくするような構成としてもよい。

【0067】

上述した処理によって推定された食材の鮮度は、食材庫２を設置する店舗などにおいて鮮度管理のために活用される。通知手段３０４は、推定された食材の鮮度を、食材庫２に対して通知指示を出力することで通知する。食材庫２は、データ表示や操作パネルとして用いられるディスプレイを備える。ディスプレイは、食材庫２の内部において撮影され、取得日時が最新の画像データとともに、画像データに含まれる食材に対応する鮮度に関する通知指示を受け取ることで表示する。また、通知手段３０４は、予め送信先として指定される端末装置に対して鮮度を通知し、表示させる構成としてもよい。これにより、店舗等において保管される食材の画像データに基づいて、食材の鮮度が高精度に可視化され、フードロスの削減や食材の鮮度に応じた調理などに活用することができる。

【0068】

また、通知手段３０４は、推定された鮮度が基準値の範囲を外れる場合、食材庫２または端末装置に対してアラート指示を出力する。アラート指示は、鮮度が低下したと判定される食材および、鮮度が低下すると予測される食材について、アラートするメッセージを表示させるための指示である。また、アラート指示は、アラート音やランプの点灯・点滅など、食材庫２の外部から区別できる形態であればアラートの形式に特に制限はない。ここで、通知手段３０４は、表示部３８および音声アラート部３９の少なくとも１つを用いて適宜、アラート指示を行う構成であってもよい。

【0069】

温度制御手段３０５は、温度分布画像データに基づいて推定された鮮度が基準値外となる場合、特定された食材に予め設定される適正な温度となるように温度制御指示を食材庫２に対して出力する。食材庫２は、受信した温度制御指示を温度制御部２３に受け渡すことで、食材庫２の内部における温度を制御する。

【0070】

なお、食材庫２が店舗等に設置される例について説明したが、本発明は、これに限定されない。例えば、鮮度管理システム１は、食材を生産者から店舗まで輸送する間の鮮度を監視／維持する目的で利用される。この場合、食材庫２は、輸送機器の貨物部分に相当する。輸送機器には、自動車、鉄道、船舶、航空機などを含む。貨物部分は、例えば、トラックにおける荷台や貨物コンテナなどを含み、より好ましくは冷蔵庫または冷凍庫として構成される。このとき、記憶部４に格納される画像データや結果データについて、後に店舗における鮮度管理システム１に継続して利用することが可能であり、食材の鮮度に関するデータを一元的に監視することができる。

【符号の説明】

【0071】

１ 鮮度管理システム
２ 食材庫
２１ 撮像モジュール
２１１ 可視光カメラ
２１２ 近赤外光カメラ
２１３ サーマルカメラ
２２ 開閉部
２３ 温度制御部
２４ 通信部
３８ 表示部
３９ 音声アラート部
３ 鮮度管理サーバ
３１ 演算装置（ＣＰＵ）
３２ 主記憶装置（ＲＡＭ）
３３ 補助記憶装置
３４ 通信装置
３５ 通信バス
３６ オペレーティングシステム（ＯＳ）
３７ 鮮度管理プログラム
３０１ 画像データ取得手段
３０２ 特定手段
３０３ 鮮度推定手段
３０４ 通知手段
３０５ 温度制御手段
３０６ 学習手段
４ 記憶部
４１ 教師データ記憶部
４２ モデル記憶部
４３ 画像データ記憶部
４４ 食材情報記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】