(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022098763
(43)【公開日】2022-07-04
(54)【発明の名称】鮮度管理システム、鮮度管理方法および、鮮度管理プログラム
(51)【国際特許分類】
F25D 23/00 20060101AFI20220627BHJP
F25D 11/00 20060101ALI20220627BHJP
F25D 29/00 20060101ALI20220627BHJP
G06Q 10/00 20120101ALI20220627BHJP
【FI】
F25D23/00 301L
F25D23/00 301J
F25D11/00 101B
F25D11/00 101E
F25D11/00 101D
F25D11/00 101F
F25D29/00 Z
G06Q10/00
【審査請求】未請求
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2020212345
(22)【出願日】2020-12-22
(71)【出願人】
【識別番号】520287356
【氏名又は名称】株式会社GIANT
(74)【代理人】
【識別番号】100137338
【弁理士】
【氏名又は名称】辻田 朋子
(72)【発明者】
【氏名】リー ジュンソク
(72)【発明者】
【氏名】伊藤 隆彦
(72)【発明者】
【氏名】磯部 孝
【テーマコード(参考)】
3L045
3L345
5L049
【Fターム(参考)】
3L045AA02
3L045AA04
3L045AA05
3L045BA01
3L045BA02
3L045CA02
3L045LA15
3L045LA16
3L045MA02
3L045NA19
3L045PA01
3L045PA02
3L045PA03
3L045PA04
3L345AA02
3L345AA03
3L345AA05
3L345AA21
3L345AA30
3L345BB01
3L345EE02
3L345EE04
3L345EE33
3L345EE34
3L345EE36
3L345EE53
3L345EE55
3L345JJ02
3L345JJ11
3L345JJ14
3L345JJ16
3L345JJ26
3L345JJ27
3L345JJ28
3L345KK01
3L345KK02
3L345KK03
3L345KK04
5L049AA22
(57)【要約】
【課題】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システム、鮮度管理方法および、鮮度管理プログラムを提供する。
【解決手段】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、
前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、
前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、
前記鮮度を前記食材庫に通知する通知手段と、を備える鮮度管理システム。
【請求項2】
前記特定手段は、前記画像データに基づいて個別の食材の画像領域を特定し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データの少なくとも1つにおける対応する画像領域を特定し、
前記鮮度推定手段は、前記画像領域における前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項1に記載の鮮度管理システム。
【請求項3】
前記特定手段は、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのそれぞれに基づいて前記食材に含有される水分量、油分量、脂肪分量、糖酸度、および蛋白質量を特定し、
前記鮮度推定手段は、前記食材に含有される前記水分量、油分量、脂肪分量、糖酸度および蛋白質量をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項1又は請求項2に記載の鮮度管理システム。
【請求項4】
前記特定手段は、前記画像データに基づいて前記食材庫の開閉部における所定時間内の開閉回数及び開閉時間を特定し、
前記鮮度推定手段は、前記開閉回数及び前記開閉時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項1~請求項3の何れかに記載の鮮度管理システム。
【請求項5】
前記画像データ取得手段は、温度分布画像データを更に画像データとして取得し、
前記特定手段は、温度分布画像データに基づいて温度分布を特定し、
前記鮮度推定手段は、前記温度分布をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項1~請求項4の何れかに記載の鮮度管理システム。
【請求項6】
前記特定手段は、前記温度分布画像データに基づいて前記食材の温度と前記食材庫の内部の温度を特定し、
前記鮮度推定手段は、前記食材の温度及び前記食材庫の内部の温度をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項5に記載の鮮度管理システム。
【請求項7】
前記特定手段は、前記食材が前記食材庫に保管される保管時間を特定し、
前記鮮度推定手段は、前記保管時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する請求項5又は請求項6に記載の鮮度管理システム。
【請求項8】
前記温度分布画像データに基づいて推定された前記鮮度が基準値の範囲から外れる場合、特定された前記食材に予め設定される適正な温度となるように温度制御指示を前記食材庫に対して出力する温度制御手段を備える請求項5~請求項7の何れかに記載の鮮度管理システム。
【請求項9】
前記画像データ取得手段は、前記画像データを、可視光カメラにより撮影することで取得し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを、近赤外光カメラにより撮影することで取得し、前記温度分布画像データを、サーマルカメラにより撮影することで取得し、
前記可視光カメラと、前記近赤外光カメラと、前記サーマルカメラと、は、それぞれの光軸が略平行となるように配置される請求項5~請求項8の何れかに記載の鮮度管理システム。
【請求項10】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理方法であって、
前記食材庫の内部を撮影した画像データを取得する画像データ取得ステップと、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定ステップと、
前記水分分布、油分分布、脂肪分分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定ステップと、
前記鮮度を前記食材庫に通知する通知ステップと、をコンピュータが実行する鮮度管理方法。
【請求項11】
食材庫の内部に保管される食材の鮮度を管理するための鮮度管理プログラムであって、
コンピュータを、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、
水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、
前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、
前記鮮度を前記食材庫に通知する通知手段と、として機能させる鮮度管理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、食材庫の内部における食材の鮮度を管理するための鮮度管理システム、鮮度管理方法および、鮮度管理プログラムに関する。
【背景技術】
【0002】
従来、食品の鮮度を維持するために、食品が保管される温度や湿度が重要な要素であることが知られている。
【0003】
特許文献1では、食品貯蔵後の庫内温度および湿度の履歴を記憶する貯蔵履歴記憶手段の出力をもとに食品の鮮度を推定し、管理する冷蔵庫に関する技術が開示されている。特許文献1に記載される冷蔵庫は、使用者が食品の形、光沢、色、臭いなどから判断する食品の初期鮮度と、食品貯蔵後の庫内温度および湿度の履歴と、をもとに食品の鮮度を推定することが記載されている。
【0004】
特許文献2では、食材の各々の収納庫に収納された日時を検出し、収納された日時の画像と現在の画像との出力に応じて、食材の色の変化や、経過日数などから対象即材の鮮度を判定する技術が開示されている。
【0005】
特許文献3では、食品の水分量変化を電界センサの測定値から検出し、当該水分量の変化に基づいて、食品の鮮度を算出する冷蔵庫が開示されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開第2001-41640号公報
【特許文献2】特開第2016-57022号公報
【特許文献3】特開第2012-42173号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、特許文献1に記載の技術は、使用者が判断する初期鮮度からは正確な鮮度を推定できないという問題点があった。
【0008】
特許文献2に記載の技術は、画像データの比較による食材の色の変化、賞味期限からの経過日数、重量センサにより測定される重量の変化、臭いセンサの値などによって、収納庫内の食材の各々の鮮度を判定することが開示される。しかしながら、特許文献2の画像データは、食材の内部において鮮度が劣化している場合、正確に鮮度を判定できない点において課題があった。
【0009】
特許文献3に記載の技術は、食品が全体として含有する水分量について電界センサの測定値から検出できるものの、例えば、食品の可食部の水分量と可食部でない部分の水分量とを区別して検出することはできず、精度の高い鮮度の判定とはいえなかった。
【0010】
上述したような課題に鑑みて、本発明は、食材庫の内部に保管される食材の鮮度をより精度よく判定し、管理することを解決すべき課題とする。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理システムであって、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、を備える。
【0012】
このような構成とすることで、食材の水分分布などに基づいてより精度よく食材の鮮度を推定し、通知することができる。
【0013】
本発明の好ましい形態では、前記特定手段は、前記画像データに基づいて個別の食材の画像領域を特定し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データの少なくとも1つにおける対応する画像領域を特定し、前記鮮度推定手段は、前記画像領域における前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、画像データにおいて特定される画像領域により特定される水分分布画像データなどと対応する画像領域を用いて、好適に食材の鮮度を推定することができる。
【0014】
本発明の好ましい形態では、前記特定手段は、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのそれぞれに基づいて前記食材に含有される水分量、油分量、脂肪分量、糖酸度および蛋白質量を特定し、前記鮮度推定手段は、前記食材に含有される前記水分量、油分量、脂肪分量、糖酸度および蛋白質量をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、特定された水分量などを用いることで、精度よく食材の鮮度を推定することができる。
【0015】
本発明の好ましい形態では、前記特定手段は、前記画像データに基づいて前記食材庫の開閉部における所定時間内の開閉回数及び開閉時間を特定し、前記鮮度推定手段は、前記開閉回数及び前記開閉時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、食材庫の開閉という外因的な要素にさらに基づき食材の鮮度をより高精度に推定することができる。
【0016】
本発明の好ましい形態では、前記画像データ取得手段は、温度分布画像データを更に画像データとして取得し、前記特定手段は、温度分布画像データに基づいて温度分布を特定し、前記鮮度推定手段は、前記温度分布をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、水分分布などとの相関関係があると把握することができる温度分布を複合的に用いてより精度よく食材の鮮度を推定することができる。また、学習済みモデルが一定水準の精度を得るまでに必要な機械学習に用いられるデータ量を削減することができる。
【0017】
本発明の好ましい形態では、前記特定手段は、前記温度分布画像データに基づいて前記食材の温度と前記食材庫の内部の温度を特定し、前記鮮度推定手段は、前記食材の温度及び前記食材庫の内部の温度を入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
【0018】
本発明の好ましい形態では、前記特定手段は、前記食材が前記食材庫に保管される保管時間を特定し、前記鮮度推定手段は、前記保管時間をさらに入力とする前記学習済みモデルを用いて、前記鮮度を推定する。
このような構成とすることで、温度分布と保管時間を用いることで、より精度よく食材の鮮度を推定することができる。
【0019】
本発明の好ましい形態では、前記温度分布画像データに基づいて推定された前記鮮度が基準値の範囲を外れる場合、特定された前記食材に予め設定される適正な温度となるように温度制御指示を前記食材庫に対して出力する温度制御手段を備える。
このような構成とすることで、鮮度を維持するための適切な温度となるよう自動で食材庫の温度を制御することができる。
【0020】
本発明の好ましい形態では、前記画像データ取得手段は、前記画像データを、可視光カメラにより撮影することで取得し、前記水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを、近赤外光カメラにより撮影することで取得し、前記温度分布画像データを、サーマルカメラにより撮影することで取得し、前記可視光カメラと、前記近赤外光カメラと、前記サーマルカメラと、は、それぞれの光軸が略平行となるように配置される。
このような構成とすることで、それぞれのカメラにより撮影される画像の領域が、略一致し、それぞれの画像データにおける画像領域の特定が容易となる。
【0021】
本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理方法であって、前記食材庫の内部を撮影した画像データを取得する画像データ取得ステップと、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定ステップと、前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とし、機械学習された学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定ステップと、前記鮮度を前記食材庫に通知する通知ステップと、をコンピュータが実行する。
【0022】
本発明は、食材庫の内部に保管される食材の鮮度を管理するための鮮度管理プログラムであって、コンピュータを、前記食材庫の内部を撮影した画像データを取得する画像データ取得手段と、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを含む前記画像データに基づいて、前記食材の種類、水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を特定する特定手段と、少なくとも前記水分分布、油分分布、脂肪分分布、糖酸度分布および蛋白質分布を入力とし、機械学習された学習済みモデルを用いて、前記食材の種類に応じた鮮度を推定する鮮度推定手段と、前記鮮度を前記食材庫に通知する通知手段と、として機能させる。
【発明の効果】
【0023】
本発明によれば、食材庫の内部に保管される食材の鮮度を精度よく管理するための鮮度管理システム、鮮度管理方法および鮮度管理プログラムを提供することができる。
【図面の簡単な説明】
【0024】
【
図1】本発明の実施形態における、鮮度管理システムの機能ブロック図を示す。
【
図2】本発明の実施形態における、撮像モジュールによる撮影の概要図を示す。
【
図3】本発明の実施形態における、鮮度管理サーバのハードウェア構成図を示す。
【
図4】本発明の実施形態における、食材情報記憶部に格納されるデータの構造例を示す。
【
図5】本発明の実施形態における、結果データのデータ構造例を示す。
【
図6】本発明の実施形態における、機械学習の処理フローチャートを示す。
【
図7】本発明の実施形態における、鮮度に関する推定値を取得するまでの処理フローチャートを示す。
【発明を実施するための形態】
【0025】
以下、図面を用いて、本発明の実施形態に関する鮮度管理システムについて説明する。なお、以下に示す実施形態は本発明の一例であり、本発明を以下の実施形態に限定するものではなく、様々な構成を採用することもできる。
【0026】
本実施形態では、食材庫および鮮度管理サーバを含む鮮度管理システムの構成、動作等について説明するが、同様の構成の方法、コンピュータのプログラムおよび当該プログラムを記録したプログラム記録媒体等も、同様の作用効果を奏する。プログラム記録媒体を用いれば、例えば、コンピュータに当該プログラムをインストールすることができる。以下で説明する本実施形態にかかる一連の処理は、コンピュータで実行可能なプログラムとして提供され、CD-ROMやフレキシブルディスクなどの非一過性コンピュータ可読記録媒体、更には通信回線を経て提供可能である。
【0027】
鮮度管理システムの各手段と、鮮度管理方法の各ステップと、は同様の作用効果を実現する。鮮度管理システム、鮮度管理プログラムおよび鮮度管理プログラム記録媒体のそれぞれにおける各手段は、CPU等の演算装置により実現される。また、鮮度管理方法の各ステップも同様に演算装置により実現される。
【0028】
図1は、本実施形態にかかる鮮度管理システムの機能ブロック図を示す。
図1において、鮮度管理システムは、鮮度管理システム1として具体化されている。鮮度管理システム1は、開閉部22を備え、内部に食材を保管可能な食材庫2と、食材庫2から食材に関する情報を取得し、鮮度管理に関する情報処理を行う鮮度管理サーバ3と、を備える。食材庫2と鮮度管理サーバ3は、通信ネットワークNWを介して通信可能に構成される。通信ネットワークNWは、インターネットなどのIP(Internet Protocol)網や専用回線などとから構成される。なお、以下の説明では、不明確にならない限り通信ネットワークNWの介在を省略する。
【0029】
本実施形態において、鮮度管理システム1は、例えば、食材の販売店舗において食材の鮮度を把握することで、フードロスの削減や、鮮度に応じた調理や発注を行うことなどを目的として利用される。この場合、食材庫2と鮮度管理サーバ3は、それぞれの店舗において設置されてもよい。また、食材庫2はそれぞれの店舗において設置され、鮮度管理システム1の管理拠点において設置される鮮度管理サーバ3に通信接続する構成としてもよい。なお、食材庫2は、1店舗において複数設置されてもよい。
【0030】
本実施形態において、食材庫2は、画像を撮影する複数のカメラにより構成される撮像モジュール21と、扉等の開閉部22と、ヒートポンプ等により構成される温度制御部23と、通信ネットワークNWに接続しデータ通信を行うための通信部24と、を備える。通信部24は、撮像モジュール21のモジュールに含まれる構成であってもよい。食材庫2は、温度制御部23により食材を冷蔵又は冷凍により保管する構成とすることが好ましいが、例えば、温度制御部23を設けず常温により保管する構成としてもよい。また、食材庫2は、既存の冷蔵庫/冷凍庫や常温の保管庫に撮像モジュール21と通信部24などとを取り付ける構成としてもよい。
【0031】
撮像モジュール21は、画像を撮影するカメラとして、可視光カメラ211と、近赤外光カメラ212と、サーマルカメラ213と、を備える。可視光カメラ211は、可視光スペクトル(波長360nm-780nm程度)に受光感度を有するイメージセンサを有し、撮像対象となる食材の可視光イメージを画像データとして取得する。
【0032】
近赤外光カメラ212は、例えば、イメージセンサにInGaAsを用いる場合、波長950nm-1700nmの近赤外光に対して受光感度を有する。本実施形態において、近赤外光カメラ212は、水の吸収スペクトルとなる波長1400nmを中心として1200nm、1600nmの近赤外光を撮像対象に同時照射し、その反射特性、吸収特性または透過特性をイメージセンサを用いて評価することで、撮像対象となる食材に含まれる水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データを取得する。ここで、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データは、複数の次元量を有する領域(ピクセル)の集合として適宜、取り扱われ得る。
【0033】
サーマルカメラ213は、撮像対象となる食材が放射する赤外線エネルギーを検出するボロメータを有する。サーマルカメラ213は、検出された赤外線エネルギー量を温度に変換し、温度分布画像データを取得する。
【0034】
本実施形態において、
図2に示すように、撮像モジュール21における可視光カメラ211、近赤外光カメラ212、サーマルカメラ213のそれぞれの光軸は略平行となるように構成される。これによって、それぞれのカメラにより撮影される画像データは、共通の領域が含まれるように取得され、後に詳述するように画像データに含まれる食材Fと、当該対象に含まれる水分および温度に関するデータと、が簡便に対応付けられる。
【0035】
撮像モジュール21の配置位置は、食材庫2の内部を広く視野角に収める位置であれば特に制限はなく、例えば、食材庫2の壁面や上面に埋め込まれる配置としてもよい。また、食材庫2は、棚や仕切りにより複数の格納スペースを有する場合、それぞれのスペースに撮像モジュール21が配置されてもよい。
【0036】
撮像モジュール21は、食材庫2の内部を撮影した可視光イメージ画像データ、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データ、蛋白質分布画像データおよび温度分布画像データを取得する。それぞれのカメラは、動画データを取得するビデオカメラとして構成され、所定時間ごとの場面を画像データとして取得してもよい。撮像モジュール21は、それぞれ固有のID情報を有し、撮像モジュール21により撮影された画像データは、ID情報が対応付けられている。これによって、画像データが何れの食材庫2において撮影されたものであるか、また、食材庫2が複数の格納スペースを有する場合、何れの格納スペースにおいて撮影されたものであるかが特定される。
【0037】
図3は、鮮度管理サーバ3におけるハードウェア構成図を示す。鮮度管理サーバ3は、ハードウェア構成要素として、演算装置(CPU)31と、作業用メモリとしての主記憶装置(RAM)32と、HDDやSSD、フラッシュメモリ等の補助記憶装置33と、外部の装置と通信するための通信装置34と、各構成部をそれぞれ接続するバス35などとを備える。また、補助記憶装置33は、オペレーティングシステム(OS)36と、OS36と協働してその機能を発揮する鮮度管理プログラム37と、各種情報(データを含む)などとを記憶している。
【0038】
鮮度管理サーバ3は、食材庫2より取得される各種画像データやその解析結果などを記憶する記憶部4を内部または外部に備え、通信可能に構成される。記憶部4は、教師データを記憶する教師データ記憶部41と、教師データを用いた機械学習により生成される学習済みモデルを記憶するモデル記憶部42と、食材庫2より取得される可視光画像データ、水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データ、蛋白質分布画像データおよび温度分布画像データを記憶する画像データ記憶部43と、画像データの解析により得られる食材情報を記憶する食材情報記憶部44と、を備える。
【0039】
鮮度管理サーバ3は、食材庫2の撮像モジュール21において撮影された画像データに基づいて、食材庫2に保管される食材の鮮度を管理する各種機能構成要素を備える。鮮度管理サーバ3は、後に詳述する機能構成要素として、食材庫2より画像データを取得する画像データ取得手段301と、取得された画像データに含まれる食材の特徴量等を特定する特定手段302と、画像データを学習済みモデルに入力することで、画像データに含まれる食材の鮮度を推定する鮮度推定手段303と、食材の鮮度を通知する通知手段304と、食材の鮮度を食材庫2に対して通知する通知手段304と、推定された鮮度に基づいて食材庫2に対して温度制御指示を出力する温度制御手段305と、教師データを用いた機械学習により学習済みモデルを生成する学習手段306と、を備える。
【0040】
なお、食材庫2が、記憶部4における一部または全部の各種記憶部を備える構成としてもよい。
【0041】
本実施形態において、鮮度管理サーバ3が処理する各種データについて説明する。
【0042】
図4は、教師データ記憶部41に格納される教師データのデータ構造の例を示す。教師データの構造は、各種画像データに付与されるラベルをキーとして、撮像モジュール21のID情報、何れのカメラで撮影された画像データであるかを示すデータ種別、画像データに含まれる特徴量および、ファイル名などを有する。ID情報は、1店舗において複数の撮像モジュール21が設置される場合、それらの対応関係が記憶されている。また、ID情報は、各店舗に適した教師データによりモデルを最適化するため用いられるが、例えば、店舗別のモデルによる画像認識処理の精度を統一したい場合、教師データの構造に含めなくてもよい。なお、教師データとする画像データには、個別の食材のみが含まれる構成が好ましい。
【0043】
特徴量は、学習手段306が画像データに対して画像認識処理することで得られる画素ごとの輝度や色などのデータ群として格納される。学習手段306は、例えば、ディープラーニングによる機械学習の手法により、画像データに含まれる特徴量を自動で取得する。ディープラーニングでは、ユーザによる特徴量の設定を必要とせず、コンピュータが画像データにおける対象物の特徴量を自動で抽出し、対象物を分類・特定することができる。なお、本実施形態は、機械学習の手法としてこれに限定されず従来技術を採用できる。
【0044】
本実施形態において、ラベルは、データ種別に応じて複数付与される。可視光画像データにおけるラベルは、食材の種類、色、腐食の有無などを含む。水分分布画像データ、油分分布画像データ、脂肪分分布画像データ、糖酸度分布画像データおよび蛋白質分布画像データのラベルは、食材の種類、水分量、油分量、脂肪分量、糖酸度、蛋白質量、内部欠損および、腐食の有無などを含む。温度分布画像データのラベルは、食材の種類、食材の温度、食材庫の温度などを含む。教師データにおいて、上述した全てのラベルが付与される必要はなく、一部のラベルが欠けていてもよい。
【0045】
また、本実施形態において、それぞれの画像データは、売上データによりラベル付けされる。売上データは、例えば、鮮度管理システム1と連動するPOSシステムから取得され、食材庫2において撮影された画像データに含まれる食材がどの程度売れたかを示すデータである。POSシステムは、各店舗において導入され、各店舗における購入された食材の種類、数量、売上高、購入時刻、購入者の年齢などが売上データとして記録される。より好ましい形態として、特定手段302は、食材の種類を特定し、特定された食材の売上データを後に取得し、取得した売上データを対応する画像データのラベルとして格納してよい。すなわち、食材の購入者は、鮮度が高いと判断した食材を購入する傾向にあるため、売上データは、鮮度の高い食材の画像データと鮮度の低い食材の画像データにおける特徴量を示すラベルとして用いることができる。ここで、食材のそれぞれにおいて、POS番号と個体番号とは対応付けられている。本発明は、販売された食材(固体)の鮮度と色などとのデータなどから、購入傾向にある食材の特性を評価可能である。
【0046】
なお、画像データは、売上データに替えて、鮮度が良好か否か示す評価情報によりレベル付けされてもよい。この場合、評価情報は、評価者により画像データから把握される鮮度に基づいて決定される。
【0047】
本実施形態において、学習手段306は、ラベル付けされた可視光画像データを教師データとして機械学習することで、対象となる食材の種類を少なくとも特定する種類特定モデルを生成する。
【0048】
学習手段306は、ラベル付けされた水分分布画像データを教師データとして機械学習することで、水分分布の特徴に基づいて対象となる食材の鮮度を推定する鮮度推定モデルを生成する。また、学習手段306は、水分分布の特徴に基づいて対象となる食材の水分量を特定する水分量特定モデルを生成する。
【0049】
学習手段306は、ラベル付けされた温度分布画像データを教師データとして機械学習することで、温度分布の特徴に基づいて対象となる食材の鮮度を推定する鮮度推定モデルを生成する。また、学習手段306は、温度分布の特徴に基づいて対象となる食材の温度および食材庫の内部の温度を特定する温度特定モデルを生成する。なお、温度分布画像データによる鮮度推定モデルは、対象となる食材の温度が当該温度で保管された保管時間を更に教師データとして機械学習することで生成される構成とすることが好ましい。
【0050】
学習手段306は、食材庫2の開閉部22の開閉状況によりラベル付けされた可視光画像データを教師データとして機械学習することで、開閉部22の開閉状況を特定する開閉状況特定モデルを生成する。また、学習手段306は、開閉回数および開閉時間を教師データとして機械学習することで、食材の鮮度を推定する鮮度推定モデルを生成する。
【0051】
なお、開閉状況は、可視光画像データの輝度値の変化により特定され、例えば、輝度値が暗から明に変化した時刻を開閉部22の開時刻と判定し、明から暗に変化した時刻を閉時刻と判定する。なお、開閉状況は、画像データに含まれる彩度(RGB値)の変化により開閉を判定してもよい。また、開閉状況は、可視光画像データが開閉部22を画像領域に含むように撮像モジュール21を設置することで、開閉部22の開閉動作を直接的に撮影する構成としてもよい。
【0052】
学習手段306により生成される各種学習済みモデルは、モデル記憶部42に格納される。なお、学習済みモデルは、画像データに含まれる特徴量を特定する特定モデル(種類、水分量、油分量、脂肪分量、糖酸度、蛋白質量、温度)と、画像データに含まれる対象となる食材の鮮度を推定する鮮度推定モデルと、に分類される。また、学習手段306は、特定モデルにより特定される特徴量である水分量、油分量、脂肪分量、糖酸度、蛋白質量、温度、開閉状況を教師データとして機械学習することで、対象となる食材の鮮度を推定する鮮度推定モデルを更に生成する。
【0053】
画像データ取得手段301は、撮像モジュール21より画像データを取得し、画像データ記憶部43に格納する。画像データ記憶部43は、データが取得された撮像モジュール21のID情報をキーとして、データ種別、ファイル名(画像データ)、データの取得日時などを含むデータを格納する。
【0054】
図5は、画像データ記憶部43に格納されるデータに対してモデル記憶部42に格納される学習済みモデルを適用することで得られる結果データを食材情報記憶部44に格納する。食材情報記憶部44は、ID情報をキーとして、データ種別、ファイル名、特定モデルを用いて特定される結果情報を結果データとして格納する。結果情報は、特定モデルにより特定される特徴量と、鮮度推定モデルにより推定される鮮度を含む。
【0055】
結果情報として格納される特徴量には、それぞれ重みが付与されている。鮮度推定手段303は、特徴量とその重みに基づいて、食材の鮮度を推定する。
【0056】
本実施形態において、鮮度は、数値(推定値)として出力され、結果情報として格納される。鮮度推定手段303は、撮像モジュール21により取得された画像データを学習済みモデルに入力することで、学習済みモデルから鮮度に関する推定値を取得することができる。また、鮮度推定手段303は、鮮度に関する推定値に基づいて、値が一定以上の場合「良好」とし、一定未満の場合「劣化」として出力してもよい。
【0057】
なお、鮮度推定手段303により推定される鮮度は、食材庫2に保管される食材のリアルタイムにおける鮮度と、食材庫2に保管される食材の保管状況や鮮度から予測される所定時間経過後の鮮度(予測鮮度)と、を含む。
【0058】
なお、記憶部4および鮮度管理サーバ3の各種手段は、食材庫2が備える構成とすることで、食材庫2は鮮度管理サーバ3との通信を不要となる。
【0059】
図6は、本実施形態における機械学習の処理フローチャートを示す。本実施形態において、鮮度管理サーバ3において機械学習に関する処理が行われる例を説明するが、食材庫2において機械学習に関する処理が行われる構成としてもよい。また、機械学習に関する処理は、鮮度管理システム1の外部におけるサーバや端末装置により行われ、学習済みモデルが鮮度管理システム1に提供される構成としてもよい。
【0060】
はじめに、画像データ取得手段301は、撮像モジュール21により撮影された画像データを取得し、ラベルを付与して教師データ記憶部41に格納する(ステップS11)。ここで、教師データとなる画像データは、インターネットなどにおいて取得可能なデータセットを用いてもよい。学習手段306は、ステップS11において取得された教師データにより機械学習させることで、各種画像データに含まれる特徴量を抽出する(ステップS12)。学習手段306は、学習が完了するまで、ステップS11、S12における機械学習に関する処理を繰り返すことで特徴量を更新していく(ステップS13)。これにより、学習済みモデル(特定モデル、鮮度推定モデル)が生成され、生成された各種学習済みモデルはモデル記憶部42に格納される(ステップS14)。
【0061】
図7は、本実施形態における、鮮度を推定するための画像データの処理フローチャートを示す。
【0062】
はじめに、画像データ取得手段301は、食材庫2から撮像モジュール21により撮影された各種画像データを取得し、画像データ記憶部43に格納する(ステップS21)。特定手段302は、画像データ記憶部43に格納される可視光画像データを種類特定モデルに入力することで食材の種類を特定する(ステップS22)。また、特定手段302は、特定した個別の食材が含まれる所定の画像領域を特定する(ステップS23)。画像領域は、画像データにおける座標およびサイズにより定義される。
【0063】
特定手段302は、ステップS23において特定された画像領域に基づいて、水分分布画像データの画像領域を特定する(ステップS24)。特定手段302は、水分量特定モデルなどの特定モデルを用いて水分分布画像データの画像領域に含まれる食材の水分量を含む特徴量を特定する(ステップS25)。鮮度推定手段303は、水分分布画像データの画像領域を入力とし、機械学習された鮮度推定モデルを用いて、食材の種類に応じた鮮度を推定する(ステップS26)。また、鮮度推定手段303は、特定された水分量を入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する。このとき、使用される学習済みモデルは、ステップS22において特定された食材の種類に応じて決定される構成とすることで、適当な学習済みモデルを用いて精度よく鮮度を推定することができる。なお、油分量、脂肪分量、糖酸度および蛋白質量についても同様である。
【0064】
特定手段302は、ステップS24と同様に温度分布画像データの画像領域を特定する(ステップS27)。特定手段302、温度特定モデルを用いて温度分布画像データの画像領域に含まれる食材の温度および食材庫2の内部の温度を特定する(ステップS28)。また、このとき特定手段302は、更に食材と食材庫の温度差、食材がその温度により保管された保管時間、また温度および保管時間に基づいて換算される熱量などを特定してもよい。鮮度推定手段303は、温度分画像データの画像領域を入力とし、機械学習された鮮度推定モデルを用いて、食材の種類に応じた鮮度を推定する(ステップS29)。また、鮮度推定手段303は、ステップS28で特定された食材の温度および食材庫2の温度などを入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する。この時使用される学習済みモデルは、同様にステップS22において特定された食材の種類に応じて決定される構成としてもよい。
【0065】
特定手段302は、可視光画像データに開閉状況特定モデルを適用し、開閉部22の開閉回数および開閉時間を特定する(ステップS30)。鮮度推定手段303は、特定された開閉回数および開閉時間を入力とし、機械学習された鮮度推定モデルを用いて、食材の鮮度を推定する(ステップS31)。
【0066】
鮮度推定手段303は、上述した各ステップにおいてそれぞれ推定した鮮度に基づいて、総合的な鮮度を出力する。鮮度推定手段303は、それぞれの鮮度に重み付けすることで、精度よく総合的な鮮度を出力することができる。例えば、食材庫2の外部における気温が高い場合、開閉回数および開閉時間の特徴量の重み付けを大きくするような構成としてもよい。
【0067】
上述した処理によって推定された食材の鮮度は、食材庫2を設置する店舗などにおいて鮮度管理のために活用される。通知手段304は、推定された食材の鮮度を、食材庫2に対して通知指示を出力することで通知する。食材庫2は、データ表示や操作パネルとして用いられるディスプレイを備える。ディスプレイは、食材庫2の内部において撮影され、取得日時が最新の画像データとともに、画像データに含まれる食材に対応する鮮度に関する通知指示を受け取ることで表示する。また、通知手段304は、予め送信先として指定される端末装置に対して鮮度を通知し、表示させる構成としてもよい。これにより、店舗等において保管される食材の画像データに基づいて、食材の鮮度が高精度に可視化され、フードロスの削減や食材の鮮度に応じた調理などに活用することができる。
【0068】
また、通知手段304は、推定された鮮度が基準値の範囲を外れる場合、食材庫2または端末装置に対してアラート指示を出力する。アラート指示は、鮮度が低下したと判定される食材および、鮮度が低下すると予測される食材について、アラートするメッセージを表示させるための指示である。また、アラート指示は、アラート音やランプの点灯・点滅など、食材庫2の外部から区別できる形態であればアラートの形式に特に制限はない。ここで、通知手段304は、表示部38および音声アラート部39の少なくとも1つを用いて適宜、アラート指示を行う構成であってもよい。
【0069】
温度制御手段305は、温度分布画像データに基づいて推定された鮮度が基準値外となる場合、特定された食材に予め設定される適正な温度となるように温度制御指示を食材庫2に対して出力する。食材庫2は、受信した温度制御指示を温度制御部23に受け渡すことで、食材庫2の内部における温度を制御する。
【0070】
なお、食材庫2が店舗等に設置される例について説明したが、本発明は、これに限定されない。例えば、鮮度管理システム1は、食材を生産者から店舗まで輸送する間の鮮度を監視/維持する目的で利用される。この場合、食材庫2は、輸送機器の貨物部分に相当する。輸送機器には、自動車、鉄道、船舶、航空機などを含む。貨物部分は、例えば、トラックにおける荷台や貨物コンテナなどを含み、より好ましくは冷蔵庫または冷凍庫として構成される。このとき、記憶部4に格納される画像データや結果データについて、後に店舗における鮮度管理システム1に継続して利用することが可能であり、食材の鮮度に関するデータを一元的に監視することができる。
【符号の説明】
【0071】
1 鮮度管理システム
2 食材庫
21 撮像モジュール
211 可視光カメラ
212 近赤外光カメラ
213 サーマルカメラ
22 開閉部
23 温度制御部
24 通信部
38 表示部
39 音声アラート部
3 鮮度管理サーバ
31 演算装置(CPU)
32 主記憶装置(RAM)
33 補助記憶装置
34 通信装置
35 通信バス
36 オペレーティングシステム(OS)
37 鮮度管理プログラム
301 画像データ取得手段
302 特定手段
303 鮮度推定手段
304 通知手段
305 温度制御手段
306 学習手段
4 記憶部
41 教師データ記憶部
42 モデル記憶部
43 画像データ記憶部
44 食材情報記憶部