特許 6600145 食品管理方法および食品管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6600145

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】食品管理方法および食品管理システム

(51)【国際特許分類】

   F25D 23/00 20060101AFI20191021BHJP

【ＦＩ】

   F25D23/00 301L

【請求項の数】9

【全頁数】22

(21)【出願番号】特願2015-62538(P2015-62538)

(22)【出願日】2015年3月25日

(65)【公開番号】特開2016-180577(P2016-180577A)

(43)【公開日】2016年10月13日

【審査請求日】2018年1月24日

(73)【特許権者】

【識別番号】503376518

【氏名又は名称】東芝ライフスタイル株式会社

(74)【代理人】

【識別番号】110000567

【氏名又は名称】特許業務法人 サトー国際特許事務所

(72)【発明者】

【氏名】古田 和浩

(72)【発明者】

【氏名】丸谷 裕樹

(72)【発明者】

【氏名】井澤 浩一

(72)【発明者】

【氏名】渡邊 浩太

【審査官】 庭月野 恭

(56)【参考文献】

【文献】 特開２００３−１８５３２７（ＪＰ，Ａ）

【文献】 特開２００４−２８６３５５（ＪＰ，Ａ）

【文献】 特開２０１０−１２１７８４（ＪＰ，Ａ）

【文献】 特開平０５−０４５０４１（ＪＰ，Ａ）

【文献】 特開２０１４−１９６８３４（ＪＰ，Ａ）

【文献】 特開２０１４−０７０７４０（ＪＰ，Ａ）

【文献】 特開２０１４−２０９０４８（ＪＰ，Ａ）

【文献】 特開２０１５−００４４７７（ＪＰ，Ａ）

【文献】 特開２０１２−２５１７２２（ＪＰ，Ａ）

【文献】 特開２０００−３５７１４６（ＪＰ，Ａ）

【文献】 特開２００１−３１７８５８（ＪＰ，Ａ）

【文献】 特開平１０−００９７５３（ＪＰ，Ａ）

【文献】 特開２００３−０９０６７３（ＪＰ，Ａ）

【文献】 特開２０１２−１１２６４６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｆ２５Ｄ ２３／００

(57)【特許請求の範囲】

【請求項1】

冷蔵庫内を撮像し、
前記冷蔵庫内の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の数または食品の種類毎の態様を検出し、
前記食品についての在庫情報の検出結果を当該検出結果より前の検出結果と比較し、所定よりも前記食品が大きくなっていた場合に新たな食品が投入されたと判断することで前記食品の在庫期間を管理する食品管理方法。

【請求項2】

前記冷蔵庫内の撮像結果から前記食品の在庫情報として数を検出し、
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。

【請求項3】

前記冷蔵庫内の撮像結果から前記食品の在庫情報として大きさまたは長さまたは量を検出し、
前記食品についての在庫情報の検出結果が当該検出結果より前の検出結果に比べて大きい場合または長い場合または多い場合に前記食品として新たなものが前記冷蔵庫内に入庫されたとする請求項１に記載の食品管理方法。

【請求項4】

前記冷蔵庫内の撮像結果から前記食品として容器内に入れられたものを検出する請求項１から３のいずれか一項に記載の食品管理方法。

【請求項5】

前記食品として複数のものを個別に認識し、前記食品毎に在庫期間を管理する請求項１から４のいずれか一項に記載の食品管理方法。

【請求項6】

前記食品を前記冷蔵庫内のどこに置くかを指定する請求項１から５のいずれか一項に記載の食品管理方法。

【請求項7】

前記冷蔵庫内の所定領域を複数の位置から撮像し、
前記冷蔵庫内の複数の撮像結果から前記食品の在庫情報を検出する請求項１から６のいずれか一項に記載の食品管理方法。

【請求項8】

前記食品の在庫期間が所定期間に比べて長い場合には、前記冷蔵庫内の撮像結果を表示する場合に在庫期間が所定期間に比べて長いことを報知するための表示をする請求項１から７のいずれか一項に記載の食品管理方法。

【請求項9】

冷蔵庫内を撮像する撮像器と、
前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として食品の種類毎の数または食品の種類毎の態様を検出する在庫情報検出手段と、
前記食品についての在庫情報の検出結果を当該検出結果より前の検出結果と比較し、所定よりも前記食品が大きくなっていた場合に新たな食品が投入されたと判断することで前記食品の在庫期間を管理する在庫期間管理手段を備えた食品管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

実施例は食品管理方法および食品管理システムに関する。

【背景技術】

【0002】

従来では冷蔵庫内の食品の在庫期間を管理する場合に使用者が自ら在庫期間を入力したり、バーコード等を読取らせたり、食品に専用のＩＣタグを付加していた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特願２００５−１５０１７９号公報

【特許文献2】特願２０１４−１９６８５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来の食品管理方法では在庫期間の更新に手間がかかる問題がある。

【課題を解決するための手段】

【0005】

実施例の食品管理方法は、冷蔵庫内を撮像し、前記冷蔵庫内の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として数または態様を検出し、前記食品についての在庫情報の検出結果を当該検出結果より前の検出結果と比較することに応じて前記食品の在庫期間を管理するものである。

【0006】

実施例の食品管理システムは、冷蔵庫内を撮像する撮像器と、前記撮像器の撮像結果から前記冷蔵庫内に収納された食品の在庫情報として数または態様を検出する在庫情報検出手段と、前記食品についての在庫情報の検出結果を当該検出結果より前の検出結果と比較することに応じて前記食品の在庫期間を管理する在庫期間管理手段を備えたものである。

【図面の簡単な説明】

【0007】

【図1】実施例１を示す図（家電ネットワークシステムを示す図）

【図2】冷蔵庫を冷蔵室の開放状態で示す図

【図3】冷蔵庫を野菜室の開放状態で示す図

【図4】家電ネットワークシステムの電気的な構成を示す図

【図5】撮像制御装置の撮像処理を示す図

【図6】画像データを説明するための図

【図7】クラウドサーバの画像データ処理１を示す図

【図8】クラウドサーバの記憶内容を説明するための図

【図9】クラウドサーバの画像データ処理２を示す図

【図10】クラウドサーバの記憶内容を説明するための図

【図11】クラウドサーバの画像解析処理１を示す図

【図12】クラウドサーバの画像解析処理２を示す図

【図13】携帯端末の在庫一覧画面を示す図

【図14】実施例２を示す図（紙パック入り牛乳の注ぎ口を示す図）

【図15】実施例３を示す図６の（ａ）相当図

【図16】実施例４を示す図６の（ａ）相当図

【図17】実施例５を示す図（ペットボトル入り飲料のキャップを示す図）

【図18】実施例６を示す図６の（ａ）相当図

【図19】実施例７を示す図１３相当図

【図20】実施例８を示す図２相当図

【図21】実施例９を示す図２相当図

【図22】実施例１０を示す図（携帯端末の在庫変動画面を示す図）

【発明を実施するための形態】

【実施例1】

【0008】

図１の冷蔵庫１は家屋内に設置されたものであり、断熱性のキャビネット２を有している。このキャビネット２は前面が開口する縦長な箱状をなすものであり、キャビネット１内には上から下に向けて順に冷蔵室３と野菜室４と冷凍室５が形成されている。このキャビネット１にはＦ扉６が装着されており、冷凍室５の前面はＦ扉６が操作されることに応じて開閉される。

【0009】

冷蔵室３内には、図２に示すように、無色透明な複数の棚板７が装着されている。これら複数の棚板７は上下方向に間隔を置いて配置されたものであり、複数の棚板７のそれぞれの上面には食品が載置される。この冷蔵室３内には無色透明なチルドケース８が収納されている。このチルドケース８は上面が開口するものであり、最下段の棚板７の下方に配置されている。このチルドケース８は肉および魚等の生鮮食料品が収納されるものであり、冷蔵室３内に収納された収納状態および収納状態に比べて前へ引出された引出し状態間で前後方向へ移動可能にされている。

【0010】

キャビネット２には、図１に示すように、ＬＲ扉９およびＲＲ扉１０が装着されている。ＬＲ扉９は左端部の垂直な軸１１を中心に閉鎖状態および開放状態間で回転可能にされたものであり、ＲＲ扉１０は右端部の垂直な軸１２を中心に閉鎖状態および開放状態間で回転可能にされたものであり、冷蔵室３の前面はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で閉鎖される。

【0011】

ＬＲ扉９には、図２に示すように、複数のＬポケット１３が固定されている。これら複数のＬポケット１３のそれぞれは無色透明なものであり、上面が開口している。これら複数のＬポケット１３は上下方向に間隔を置いて配置されたものであり、複数のＬポケット１３内のそれぞれには食品が収納される。これら複数のＬポケット１３はＬＲ扉９の閉鎖状態での後面に配置されたものであり、ＬＲ扉９の閉鎖状態で冷蔵室３内に収納される。

【0012】

ＲＲ扉１０には、図２に示すように、複数のＲポケット１４が固定されている。これら複数のＲポケット１４のそれぞれは無色透明なものであり、上面が開口している。これら複数のＲポケット１４は上下方向に間隔を置いて配置されたものであり、複数のＲポケット１４内のそれぞれには食品が収納される。これら複数のＲポケット１４はＲＲ扉１０の閉鎖状態での後面に配置されたものであり、ＲＲ扉１０の閉鎖状態で冷蔵室３内に収納される。

【0013】

冷蔵室３内には、図２に示すように、庫内灯１５が固定されている。この庫内灯１５は冷蔵室３の天井面に配置されたものであり、上から下に向けて光を照射するＬＥＤを有している。この庫内灯１５はＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で消灯状態とされるものであり、ＬＲ扉９およびＲＲ扉１０の少なくとも一方の開放状態で点灯状態とされる。

【0014】

キャビネット１には、図１に示すように、Ｖ扉１６が装着されている。このＶ扉１６は閉鎖状態および閉鎖状態に比べて前の開放状態間で前後方向へ移動可能にされたものであり、野菜室４の前面はＶ扉１６が操作されることに応じて開閉される。このＶ扉１６には、図３に示すように、上面が開口する野菜容器１７が装着されている。この野菜容器１７はＶ扉１６と共に移動するものであり、Ｖ扉１６の閉鎖状態で野菜室４内に収納され、Ｖ扉１６の開放状態で野菜室４内から前へ引出される。

【0015】

キャビネット２には、図４に示すように、ＬＲ扉スイッチ１８とＲＲ扉スイッチ１９とＶ扉スイッチ２０が装着されている。ＬＲ扉スイッチ１８はＬＲ扉９が開閉されることに応じて電気的な状態が変化するものであり、ＲＲ扉スイッチ１９はＲＲ扉１０が開閉されることに応じて電気的な状態が変化するものであり、Ｖ扉スイッチ２０はＶ扉１６が開閉されることに応じて電気的な状態が変化するものである。

【0016】

図４の主制御装置２１はＣＰＵとＲＯＭとＲＡＭを有するものである。この主制御装置２１はＲＲ扉１０内に装着されたものであり、庫内灯１５を電気的に制御することで点灯状態および消灯状態間で切換え、冷凍サイクル２２を電気的に制御することで冷蔵室３内と野菜室４内と冷凍室５内を温度コントロールする。この主制御装置２１はＶ扉スイッチ２０の電気的な状態に応じてＶ扉１６の開閉を検出するものであり、Ｖ扉１６が閉鎖状態から開放状態とされたことを検出した場合に撮像指令Ｖを出力する。

【0017】

主制御装置２１はＬＲ扉スイッチ１８の電気的な状態に応じてＬＲ扉９の開閉を検出し、ＲＲ扉スイッチ１９の電気的な状態に応じてＲＲ扉１０の開閉を検出するものであり、次の１）〜３）のいずれかを検出した場合には冷蔵室３が開放状態から閉鎖状態にされたと判断する。
１）ＲＲ扉１０の閉鎖状態でＬＲ扉９が開放状態から閉鎖状態とされたこと。
２）ＬＲ扉９の閉鎖状態でＲＲ扉１０が開放状態から閉鎖状態とされたこと。
３）ＬＲ扉９およびＲＲ扉１０の双方の開放状態でＬＲ扉９およびＲＲ扉１０の双方が閉鎖状態とされたこと。

【0018】

主制御装置２１は冷蔵室３が開放状態から閉鎖状態にされたと判断した場合に庫内灯１５を消灯状態から点灯状態に切換えるものである。この主制御装置２１は庫内灯１５を点灯状態に切換えた場合に撮像指令Ｒを出力するものであり、撮像指令Ｒを出力したことを基準に一定時間が経過した場合に庫内灯１５を点灯状態から消灯状態に切換える。

【0019】

ＲＲ扉１０には、図２に示すように、Ｒカメラ２３が固定されている。このＲカメラ２３はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、ＲＲ扉１０の閉鎖状態での後面に配置されている。このＲカメラ２３は庫内灯１５からの光を照明としてＬＲ扉９およびＲＲ扉１０の双方の閉鎖状態で冷蔵室３内を前からカラーで撮像するものであり、撮像器に相当する。

【0020】

野菜容器１７内には、図３に示すように、Ｖカメラ２４が固定されている。このＶカメラ２４はＣＣＤまたはＣＭＯＳ等の撮像素子を有するものであり、野菜容器１７内の前端部に配置されている。このＶカメラ２４はＶ扉１６の開放状態で家屋内の照明器からの光を照明として野菜容器１７内を前からカラーで撮像するものであり、撮像器に相当する。

【0021】

図４の撮像制御装置２５はＣＰＵとＲＯＭとＲＡＭを有するものである。この撮像制御装置２５はＲＲ扉１０内に装着されたものであり、主制御装置２１との間で送受信を行う。この撮像制御装置２５はＲカメラ２３およびＶカメラ２４のそれぞれを電気的に制御するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。このクラウドサーバ２８は在庫情報検出手段および在庫期間管理手段に相当する。

【0022】

図４のパソコン２９は家屋内に設置されたものである。このパソコン２９はディスプレイ３０および操作パネル３１を有するものであり、通信機器２６およびインターネット２７を通してクラウドサーバ２８との間で送受信を行う。携帯端末３２は冷蔵庫１の所有者が携帯するものである。この携帯端末３２はタッチパネルディスプレイ３３を有するものであり、インターネット２７を通してクラウドサーバ２８との間で送受信を行う。
［１］撮像制御装置２５の処理内容
図５の撮像処理は撮像制御装置２５のＣＰＵが行うものであり、ＣＰＵはステップＳ１で主制御装置２１からの撮像指令Ｒがあるか否かを判断する。ここで撮像指令Ｒがあると判断した場合にはステップＳ２でＲカメラ２３をオンすることで冷蔵室３内を撮像し、ステップＳ３でＲカメラ２３から画像データＲを検出する。そして、ステップＳ４で画像データＲの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。即ち、冷蔵室３が開放状態から閉鎖状態にされた場合にはＲカメラ２３が庫内灯１５の点灯状態でオンされ、冷蔵室３内の画像データＲが撮像制御装置２５からクラウドサーバ２８に送信される。

【0023】

図６の（ａ）はＲカメラ２３の画像データＲを説明するものである。ここで食品画像Ｎは白色のトレイに入れられた納豆であり、食品画像ＥＧは卵であり、食品画像Ｐは不透明な紙パック入り牛乳であり、食品画像Ｂは缶ビールである。

【0024】

ＣＰＵは図５のステップＳ１で撮像指令Ｒがないと判断すると、ステップＳ５で主制御装置２１からの撮像指令Ｖがあるか否かを判断する。ここで撮像指令Ｖがあると判断した場合にはステップＳ６でＶカメラ２４をオンすることで野菜容器１７内を撮像し、ステップＳ３でＶカメラ２５から画像データＶを検出する。そして、ステップＳ４で画像データＶの検出結果を通信機器２６からインターネット２７を通してクラウドサーバ２８に送信し、ステップＳ１に復帰する。

【0025】

即ち、野菜容器１７が野菜室４内から前へ引出された場合にはＶカメラ２４がオンされ、野菜容器１７内の画像データＶが撮像制御装置２５からクラウドサーバ２８に送信される。図６の（ｂ）はＶカメラ２５の画像データＶを説明するものである。ここ食品画像ＣＡはキャベツであり、食品画像Ｇは長ネギであり、食品画像ＣＵはキュウリである。
［２］クラウドサーバ２８の処理内容
クラウドサーバ２８は撮像制御装置２５から画像データＲおよび画像データＶのそれぞれが送信された場合に画像データＲおよび画像データＶのそれぞれの送信結果を記憶するものであり、画像データＶを記憶した場合に画像データ処理１を起動し、画像データＲを記憶した場合に画像データ処理２を起動する。
［２−１］画像データ処理１
クラウドサーバ２８は画像データ処理１を起動すると、図７のステップＳ１１で画像データＶの記憶結果を検出し、ステップＳ１２で画像データＶの検出結果から食品データを切取る。この処理は色彩または濃度等に急な変化があるところを辿ることで食品データの輪郭線を抽出し、輪郭線の抽出結果に沿って画像データＶを切取るものであり、クラウドサーバ２８はステップＳ１２で画像データＶから食品データを切取った場合にはステップＳ１３へ移行する。

【0026】

クラウドサーバ２８は、図８に示すように、今回記憶領域Ｖおよび前回記憶領域Ｖを有している。今回記憶領域Ｖは今回の画像データ処理１で画像データＶから切取った食品データと共に現在月日および現在時分からなる日付データが記憶される領域であり、前回記憶領域Ｖは今回記憶領域Ｖから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図７のステップＳ１３へ移行した場合には今回記憶領域Ｖの全ての食品データを日付データと共に前回記憶領域Ｖにシフトし、ステップＳ１４で画像データＶから切取った全ての食品データを日付データと共に今回記憶領域Ｖに記憶する。
［２−２］画像データ処理２
クラウドサーバ２８は画像データ処理２を起動すると、図９のステップＳ２１で画像データＲの記憶結果を検出し、ステップＳ２２で画像データＲの検出結果から食品データを切取る。この処理は画像データ処理１と同様のプロセスで行われるものであり、クラウドサーバ２８はステップＳ２２で画像データＲから食品データを切取った場合にはステップＳ２３へ移行する。

【0027】

クラウドサーバ２８は、図１０に示すように、今回記憶領域Ｒおよび前回記憶領域Ｒを有している。今回記憶領域Ｒは今回の画像データ処理２で画像データＲから切取った食品データと共に現在の月日および現在の時分からなる日付データが記憶される領域であり、前回記憶領域Ｒは今回記憶領域Ｒから食品データおよび日付データがシフトされる領域であり、クラウドサーバ２８は図９のステップＳ２３へ移行した場合には今回記憶領域Ｒの全ての食品データを日付データと共に前回記憶領域Ｒにシフトし、ステップＳ２４で画像データＲから切取った全ての食品データを日付データと共に今回記憶領域Ｒに記憶する。
［２−２］画像解析処理１
図１１の画像解析処理１はクラウドサーバ２８が画像データ処理１を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理１を起動した場合にはステップＳ３１のキャベツ解析処理とステップＳ３２の長ネギ解析処理とステップＳ３３のキュウリ解析処理へ順に移行する。
［２−２−１］キャベツ解析処理
クラウドサーバ２８はステップＳ３１のキャベツ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域ＶのみにキャベツＣＡの食品データが記憶されていると判断した場合にはキャベツＣＡの在庫期間ＣＡを（０）にリセットする。即ち、使用者が野菜容器１７内にキャベツＣＡを新たに投入した場合には在庫期間ＣＡがリセットされる。

【0028】

クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキャベツＣＡの食品データが記憶されていると判断すると、今回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、前回記憶領域ＶのキャベツＣＡの食品データからキャベツＣＡの大きさを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で大きさの判定結果を比較する。このキャベツＣＡの大きさは食品の在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて小さいまたは同じと判断した場合には経過期間Ｔを算出する。この経過期間Ｔは今回記憶領域Ｖの日付データおよび前回記憶領域Ｖの日付データ間の差分であり、クラウドサーバ２８は経過期間Ｔを算出した場合に在庫期間ＣＡに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキャベツＣＡを全く使わなかった場合には在庫期間ＣＡが加算され、野菜容器１７内のキャベツＣＡを一部だけ使って野菜容器１７内に使いかけのキャベツＣＡを戻した場合にも在庫期間ＣＡが更新される。
２）クラウドサーバ２８は今回記憶領域Ｖの大きさの判定結果が前回記憶領域Ｖの大きさの判定結果に比べて大きいと判断した場合には在庫期間ＣＡをリセットする。即ち、使用者が野菜容器１７内のキャベツＣＡを使い切って新たなキャベツＣＡを野菜容器１７内に投入した場合には在庫期間ＣＡがリセットされる。

【0029】

［２−２−２］長ネギ解析処理
クラウドサーバ２８は図１１のステップＳ３２の長ネギ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されているか否かを判断する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は今回記憶領域Ｖのみに長ネギＧの食品データが記憶されていると判断した場合には長ネギＧの在庫期間Ｇを（０）にリセットする。即ち、使用者が野菜容器１７内に長ネギＧを新たに投入した場合には在庫期間Ｇがリセットされる。

【0030】

クラウドサーバ２８は今回記憶領域Ｖおよび前回記憶領域Ｖのそれぞれに長ネギＧの食品データが記憶されていると判断すると、今回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、前回記憶領域Ｖの長ネギＧの食品データから長ネギＧの長さを判定し、今回記憶領域Ｖおよび前回記憶領域Ｖ間で長さの判定結果を比較する。この長ネギＧの長さは食品の在庫情報に相当する。
１）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）≧（今回記憶領域Ｖの長さの判定結果）≧（前回記憶領域Ｖの長さの判定結果）」と判定した場合には経過期間Ｔを算出し、在庫期間Ｇに経過期間Ｔの算出結果を加算する。この成長量は長ネギＧが野菜容器１７内で成長することを考慮して決められたものであり、使用者が野菜容器１７内の長ネギＧを一部だけ使って野菜容器１７内に使いかけの長ネギＧを戻した場合には在庫期間Ｇが更新され、使用者が野菜容器１７内の長ネギＧを全く使わなかった場合にも在庫期間Ｇが更新される。
２）クラウドサーバ２８は「（前回記憶領域Ｖの長さの判定結果＋成長量）＜（今回記憶領域Ｖの長さの判定結果）」と判定した場合には在庫期間Ｇをリセットする。即ち、使用者が野菜容器１７内の長ネギＧを全て使って新たな長ネギＧを野菜容器１７内に投入した場合には在庫期間Ｇがリセットされる。

【0031】

［２−２−３］キュウリ解析処理
クラウドサーバ２８は図１１のステップＳ３３のキュウリ解析処理へ移行すると、今回記憶領域Ｖおよび前回記憶領域ＶのそれぞれにキュウリＣＵの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はキュウリＣＵの食品データの数を判定した場合には今回記憶領域Ｖおよび前回記憶領域Ｖ間で数の判定結果を比較する。このキュウリＣＵの数は食品の在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、キュウリＣＵの在庫期間ＣＵに経過期間Ｔの算出結果を加算する。即ち、使用者が野菜容器１７内のキュウリＣＵを全く消費しなかった場合には在庫期間ＣＵが更新され、野菜容器１７内のキュウリＣＵを一部だけ消費した場合にも在庫期間ＣＵが更新される。
２）クラウドサーバ２８は今回記憶領域Ｖの数の判定結果が前回記憶領域Ｖの数の判定結果に比べて多いと判断した場合には在庫期間ＣＵを（０）にリセットする。即ち、使用者が野菜容器１７内のキュウリＣＵを全て消費した後に野菜容器１７内にキュウリＣＵを新たに投入した場合には在庫期間ＣＵがリセットされる。

【0032】

［２−３］画像解析処理２
図１２の画像解析処理２はクラウドサーバ２８が画像データ処理２を終えた場合に起動するものであり、クラウドサーバ２８は画像解析処理２を起動した場合にはステップＳ４１の納豆解析処理とステップＳ４２の紙パック解析処理とステップＳ４３のビール解析処理とステップＳ４４の卵解析処理へ順に移行する。

【0033】

［２−３−１］納豆解析処理
クラウドサーバ２８は図１２のステップＳ４１の納豆解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに納豆Ｎの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は納豆Ｎの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この納豆Ｎの数は食品の在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、納豆Ｎの在庫期間Ｎに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の納豆Ｎを全く消費しなかった場合には在庫期間Ｎが更新され、冷蔵室３内の納豆Ｎを一部だけ消費した場合にも在庫期間Ｔが更新される。
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判定した場合には在庫期間Ｎを（０）にリセットする。即ち、使用者が冷蔵室３内の納豆Ｎを全て消費した後に冷蔵室３内に納豆Ｎを投入した場合には在庫期間Ｎがリセットされる。

【0034】

［２−３−２］紙パック解析処理
クラウドサーバ２８は図１２のステップＳ４２の紙パック解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに紙パック入り牛乳ＰＭの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は紙パック入り牛乳ＰＭの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この紙パック入り牛乳ＰＭの数は在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同一であると判断した場合には経過期間Ｔを算出し、紙パック入り牛乳ＰＭの在庫期間ＰＭに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全く消費しなかった場合には在庫期間ＰＭが更新され、冷蔵室３内の紙パック入り牛乳ＰＭを一部だけ消費した場合にも在庫期間ＰＭが更新される。
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＰＭを（０）にリセットする。即ち、使用者が冷蔵室３内の紙パック入り牛乳ＰＭを全て消費した後に冷蔵室３内に紙パック入り牛乳ＰＭを投入した場合には在庫期間ＰＭがリセットされる。

【0035】

［２−３−３］ビール解析処理
クラウドサーバ２８は図１２のステップＳ４３のビール解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにビールＢの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８はビールＢの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。このビールＢの数は食品の在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判断した場合には経過期間Ｔを算出し、ビールＢの在庫期間Ｂに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内のビールＢを全く消費しなかった場合には在庫期間Ｂが更新され、冷蔵室３内のビールＢを一部だけ消費した場合にも在庫期間Ｂが更新される。
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間Ｂを（０）にリセットする。即ち、使用者が冷蔵室３内のビールＢを全て消費した後に冷蔵室３内にビールＢを投入した場合には在庫期間Ｂがリセットされる。

【0036】

［２−３−４］卵解析処理
クラウドサーバ２８は図１２のステップＳ４４の卵解析処理へ移行すると、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに卵ＥＧの食品データがいくつ記憶されているかを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較することで行われるものであり、クラウドサーバ２８は卵ＥＧの食品データの数を判定した場合には今回記憶領域Ｒおよび前回記憶領域Ｒ間で数の判定結果を比較する。この卵ＥＧの数は食品の在庫情報に相当する。
１）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、卵ＥＧの在庫期間ＥＧに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の卵ＥＧを全く消費しなかった場合には在庫期間ＥＧが更新され、冷蔵室３内の卵ＥＧを一部だけ消費した場合にも在庫期間ＥＧが更新される。
２）クラウドサーバ２８は今回記憶領域Ｒの数の判定結果が前回記憶領域Ｒの数の判定結果に比べて多いと判断した場合には在庫期間ＥＧを（０）にリセットする。即ち、使用者が冷蔵室３内の卵ＥＧを全て消費した後に冷蔵室３内に新たに卵ＥＧを投入した場合には在庫期間ＥＧがリセットされる。

【0037】

［２−４］食品情報処理
クラウドサーバ２８はパソコン２９からの情報要求指令を受信した場合にパソコン２９に在庫情報を送信するものであり、携帯端末３２からの情報要求指令を受信した場合には携帯端末３２に在庫情報を送信する。パソコン２９はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてディスプレイ３０に在庫一覧画面を表示するものであり、携帯端末３２はクラウドサーバ２８からの在庫情報を受信した場合に在庫情報の受信結果に応じてタッチパネルディスプレイ３３に在庫一覧画面を表示する。

【0038】

図１３は携帯端末３２のタッチパネルディスプレイ３３に表示される在庫一覧画面である。この在庫一覧画面は今回記憶領域Ｖに記憶されている食品データの名称および今回記憶領域Ｒに記憶されている食品データの名称を上下方向に並べて表示したものであり（左列参照）、食品データの名称の右側には当該食品データに応じた数の判定結果（中列参照）および在庫期間の検出結果（右列参照）が左右方向に並べて表示される。この食品データの名称は下から上に向けて在庫期間が長くなるように配列されるものであり、在庫期間が所定期間１に比べて長い食品データについては名称と数と在庫期間のそれぞれが黄色の色彩で表示され（納豆参照）、在庫期間が所定期間２（＞所定期間１）に比べて長い食品データについては名称と数と在庫期間のそれぞれが赤色の色彩で表示される（たまご参照）。

【0039】

携帯端末３２は在庫一覧画面の表示状態で赤色の食品データの名称がタッチされると、クラウドサーバ２８に食品データの名称に応じた種類の画像要求指令を送信する。このクラウドサーバ２８は画像要求指令を受信した場合に最新の画像データＲおよび最新の画像データＶのうちから画像要求指令の受信結果に応じた１つを検出し、画像データの検出結果から画像要求指令の種類に応じた食品データを検出する。そして、画像データの検出結果のうちの食品データの検出結果を赤枠で囲み、画像データの検出結果を携帯端末３２に送信する。

【0040】

携帯端末３２はクラウドサーバ２８からの画像データを受信すると、画像データの受信結果を在庫一覧画面の上に重ねて表示する。図１３の（ｂ）は食品データの名称（たまご）がタッチされた場合である。この場合にはクラウドサーバ２８が最新の画像データＲを検出し、画像データＲのうち卵ＥＧの食品データを赤枠で囲むことで卵ＥＧの在庫期間ＥＧが所定期間２に比べて長いことを使用者に報知する。

【0041】

上記実施例１によれば次の効果を奏する。
冷蔵庫１内の撮像結果から冷蔵庫１内に収納された食品の在庫情報として数または大きさまたは長さを検出し、当該食品についての今回の在庫情報の検出結果を前回の検出結果と比較することに応じて当該食品の在庫期間を管理した。従って、使用者が在庫期間を入力する手間とバーコード等を読取らせる手間と食品に専用のＩＣタグを付加する手間が不要になるので、在庫期間の管理が簡単になる。

【0042】

納豆Ｎと紙パック入り牛乳ＰとビールＢと卵ＥＧのそれぞれについて、食品の数の今回の検出結果が前回の検出結果に比べて多い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たな食品の入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。

【0043】

キャベツＣＡについて、食品の大きさの今回の検出結果が前回の検出結果に比べて大きい場合に食品として新たなものが冷蔵庫１内に入庫されたと判定した。従って、新たなキャベツＣＡの入庫を自動的に検出して在庫期間を自動的にリセットできるので、在庫期間を正確に管理できる。しかも、一度に全てが消費されずに徐々に消費されるキャベツＣＡの実際の消費形態に合わせてキャベツＣＡの在庫期間を正確に更新できる。

【0044】

長ネギＧについて、食品の長さの今回の検出結果が前回の検出結果に比べて長い場合に食品として新たなものが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。しかも、長ネギＧが萎れることで長さが短くなった場合に新たな長ネギＧと認識されないので、在庫期間Ｇを正確に更新できる。しかも、長ネギＧの長さを比較する場合に長ネギＧの冷蔵庫１内での成長量を補正したので、長ネギＧが冷蔵庫１内で成長することに影響されずに在庫期間を正確に管理できる。

【0045】

食品の在庫期間が所定期間２に比べて長い場合には冷蔵庫１内の撮像結果を表示する場合に当該食品を赤枠で囲むことで当該食品の在庫期間が所定期間２に比べて長いことを表示したので、どの食品の保存期間が長くて早く消費するべきかを使用者が一目で知ることができる。

【実施例2】

【0046】

図１４はクラウドサーバ２８に予め記憶された紙パック入り牛乳ＰＭ用の判定データである。図１４の（ａ）は「未開封」の紙パック入り牛乳ＰＭに関するものであり、図１４の（ｂ）は「開封済」の紙パック入り牛乳ＰＭに関するものであり、両者は注ぎ口の形状が相違する。

【0047】

クラウドサーバ２８は図１２のステップＳ４２で紙パック入り牛乳ＰＭの食品データを図１４の（ａ）および（ｂ）のそれぞれの判定データと比較することに応じて当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれに「未開封」および「開封済」の判定結果を記憶する。このクラウドサーバ２８は前回記憶領域Ｒの判定結果が「未開封」で今回記憶領域Ｒの判定結果が「開封済」と判断した場合に紙パック入り牛乳ＰＭの在庫期間ＰＭをリセットする。

【0048】

上記実施例２によれば次の効果を奏する。
紙パック入り牛乳ＰＭが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＭをリセットしたので、紙パック入り牛乳ＰＭが開封されたことを基準に在庫期間ＰＭを正確に管理できる。

【実施例3】

【0049】

クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、チューブ解析処理へ移行する。このチューブ解析処理は、図１５に示すように、冷蔵室３の左ポケット１３内に透明なチューブ入りマヨネーズＴＢが縦向きに入れられている場合にチューブ入りマヨネーズＴＢの在庫期間ＴＢを検出するものであり、クラウドサーバ２８はチューブ解析処理で今回記憶領域Ｒおよび前回記憶領域Ｒのそれぞれにチューブ入りマヨネーズＴＢの食品データが記憶されているか否かを判定する。この処理は食品データの輪郭線および色彩等を予め記憶されたデータと比較するものであり、チューブの輪郭形状を検出することで行われる。

【0050】

クラウドサーバ２８は今回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定すると、当該食品データからチューブ内のマヨネーズの残量を判定する。この残量はチューブの上端からマヨネーズの上面までの距離に応じて判定されるものであり、クラウドサーバ２８は前回記憶領域Ｒにチューブ入りマヨネーズＴＢの食品データが記憶されていると判定した場合には当該食品データからチューブ内のマヨネーズの残量を判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の判定結果を比較する。このマヨネーズの残量は食品の在庫情報に相当し、チューブは容器に相当する。
１）クラウドサーバ２８は開封済フラグのオフ状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないと判断した場合には開封済フラグをオン状態に設定し、チューブ入りマヨネーズＴＢの在庫期間ＴＢを（０）にリセットする。即ち、使用者が冷蔵室３内の新品のチューブ入りマヨネーズＴＢを開封して消費し、使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合には在庫期間ＴＢがリセットされる。
２）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて少ないまたは同じと判定した場合には経過期間Ｔを算出し、在庫期間ＴＢに経過期間Ｔの算出結果を加算する。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを全く使用しなかった場合には在庫期間ＴＢが更新され、冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使った後に使いかけのチューブ入りマヨネーズＴＢを冷蔵室３内に戻した場合にも在庫期間ＴＢが更新される。
３）クラウドサーバ２８は開封済フラグのオン状態で今回記憶領域Ｒの残量の判定結果が前回記憶領域Ｒの残量の判定結果に比べて多いと判定した場合には開封済フラグをオフ状態に設定し、在庫期間ＴＢをリセットする。即ち、使用者が冷蔵室３内の開封済のチューブ入りマヨネーズＴＢを使い切り、冷蔵室３内に未開封のチューブ入りマヨネーズＴＢを新たに投入した場合には在庫期間ＴＢがリセットされる。

【0051】

上記実施例３によれば次の効果を奏する。
冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢの在庫情報として残量を検出し、チューブ入りマヨネーズＴＢについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなチューブ入りマヨネーズＴＢが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。

【0052】

冷蔵庫１内の撮像結果から食品として透光性のチューブに入れられたマヨネーズを検出した。従って、マヨネーズの残量をチューブに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。

【0053】

冷蔵庫１内の撮像結果からチューブ入りマヨネーズＴＢが「未開封」および「開封済」のいずれであるかを判定し、判定結果が「未開封」から「開封済」に変化した場合に在庫期間をリセットした。従って、チューブ入りマヨネーズＴＢが開封されたことを基準に在庫期間を正確に管理できる。

【実施例4】

【0054】

クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、ペットボトル解析処理へ移行する。このペットボトル解析処理は、図１６に示すように、冷蔵室３の右ポケット１４内に透明なペットボトル入り飲料ＰＥが縦向きに保存されている場合にペットボトル入り飲料ＰＥの在庫期間ＰＥを検出するものであり、クラウドサーバ２８は今回記憶領域Ｒおよび前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されているか否かを判断する。この処理はペットボトルの輪郭形状を判断することで行われるものである。

【0055】

クラウドサーバ２８は今回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、前回記憶領域Ｒにペットボトル入り飲料ＰＥの食品データが記憶されていると判断した場合には当該食品データから飲料の残量を検出し、チューブ解析処理と同様に今回記憶領域Ｒおよび前回記憶領域Ｒ間で残量の検出結果を比較することに応じて在庫期間ＴＢを検出する。このペットボトル入り飲料ＰＥの残量は在庫情報に相当し、ペットボトルは容器に相当する。

【0056】

上記実施例４によれば次の効果を奏する。
冷蔵庫１内の撮像結果からペットボトル入り飲料ＰＥの在庫情報として残量を検出し、ペットボトル入り飲料ＰＥについての今回の在庫情報の検出結果が前回の検出結果に比べて多い場合に新たなペットボトル入り飲料ＰＥが冷蔵庫１内に入庫されたと判定したので、在庫期間を正確に管理できる。

【0057】

冷蔵庫１内の撮像結果から食品として透光性のペットボトルに入れられた飲料を検出した。従って、飲料の残量をペットボトルに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。

【実施例5】

【0058】

図１７はクラウドサーバ２８に予め記憶されたペットボトル入り飲料ＰＥ用の判定データである。図１７の（ａ）は「未開封」のペットボトル入り飲料ＰＥに関するものであり、図１７の（ｂ）は「開封済」のペットボトル入り飲料ＰＥに関するものであり、両者はキャップＣＰおよびフランジＦ間に隙間があるか否かで相違する。

【0059】

クラウドサーバ２８はペットボトル解析処理でペットボトル入り飲料ＰＥの食品データを図１７の（ａ）および（ｂ）のそれぞれの判定データと比較することで当該食品データが「未開封」および「開封済」のいずれであるかを判定し、今回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「開封済」で前回記憶領域Ｒのペットボトル入り飲料ＰＥの食品データが「未開封」であると判断した場合に在庫期間ＰＥをリセットする。

【0060】

上記実施例５によれば次の効果を奏する。
ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを判定し、「未開封」から「開封済」に変化したと判定した場合に在庫期間ＰＥをリセットしたので、ペットボトル入り飲料ＰＥが開封されたことを基準に在庫期間ＰＥを管理できる。

【実施例6】

【0061】

クラウドサーバ２８は図１２のステップＳ４４の卵解析処理を終えると、トレイ解析処理へ移行する。このトレイ解析処理は、図１８に示すように、冷蔵室３内に白色のトレイＴが保存されている場合にトレイＴに盛られた中身Ｓの種類を判定し、中身Ｓの在庫期間Ｓを計測するものであり、クラウドサーバ２８はトレイ解析処理へ移行した場合には今回記憶領域Ｒおよび前回記憶領域ＲのそれぞれにトレイＴの食品データが記憶されているか否かを判断する。

【0062】

クラウドサーバ２８は今回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取り、前回記憶領域ＲにトレイＴの食品データが記憶されていると判断した場合には当該食品データからトレイＴに盛られた中身Ｓの食品データを切取る。そして、今回記憶領域Ｒの中身Ｓの食品データおよび前回記憶領域Ｒの中身Ｓの食品データのそれぞれについて大きさを判定し、今回記憶領域Ｒおよび前回記憶領域Ｒ間で大きさの判定結果を比較する。
１）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて小さいまたは同じと判定した場合には経過期間Ｔを算出し、中身Ｓの在庫期間Ｓに経過期間Ｔの算出結果を加算する。即ち、使用者がトレイＴの中身Ｓを全く使わなかった場合には在庫期間Ｓが更新され、トレイＴの中身Ｓを一部だけ使って冷蔵室３内にトレイＴを戻した場合にも在庫期間Ｓが更新される。
２）クラウドサーバ２８は今回記憶領域Ｒの大きさの判定結果が前回記憶領域Ｒの大きさの判定結果に比べて大きいと判定した場合には在庫期間Ｓを（０）にリセットする。即ち、使用者がトレイＴの中身Ｓを使い切って新たなトレイＴを冷蔵室３内に投入した場合には在庫期間Ｓがリセットされ、使用者が冷蔵室３内にトレイＴを新たに投入した場合にも在庫期間Ｓがリセットされる。

【0063】

上記実施例６によれば次の効果を奏する。
冷蔵庫１内の撮像結果から食品としてトレイＴに入れられた中身Ｓを検出した。従って、中身Ｓの大きさをトレイＴに影響されることなく正確に検出できるので、在庫期間を正確に管理できる。

【実施例7】

【0064】

クラウドサーバ２８は図１２のステップＳ４４の卵解析処理で今回記憶領域Ｒの卵ＥＧの食品データの数が前回記憶領域Ｒの卵ＥＧの食品データの数に比べて多いと判断すると、前回記憶領域Ｒの卵ＥＧの食品データについて輪郭線および色彩等を個別に今回記憶領域Ｒの卵ＥＧの食品データと比較する。このクラウドサーバ２８は今回記憶領域Ｒの卵ＥＧの食品データ毎に在庫期間ＥＧを計測するものであり、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと同一のものについては在庫期間ＥＧに経過期間Ｔの算出結果を加算することで在庫期間ＥＧを更新し、今回記憶領域Ｒの卵ＥＧの食品データのうち前回記憶領域Ｒの卵ＥＧの食品データと異なるものについては在庫期間ＥＧをリセットする。

【0065】

図１９の（ａ）は携帯端末３２がタッチパネルディスプレイ３３に表示する在庫一覧画面であり、「たまご」は在庫期間ＥＧが更新された古いもの（下段参照）および、在庫期間ＥＧがリセットされた新しいもの（上段参照）に分けて個数が表示される。図１９の（ｂ）は携帯端末３２がクラウドサーバ２８からの画像データＲを受信することに応じて在庫一覧画面の上に重ねて表示する画像であり、卵ＥＧの食品画像のうち在庫期間ＥＧが更新された古いものは赤色の色彩で表示される（ハッチング参照）。

【0066】

上記実施例７によれば次の効果を奏する。
複数の卵ＥＧを個別に認識し、卵ＥＧ毎に在庫期間ＥＧを管理したので、冷蔵庫１内に卵ＥＧが残っている状態で卵ＥＧが足された場合にどの卵ＥＧが古くてどの卵ＥＧが新しいかを検出できる。従って、古い卵ＥＧを新しい卵ＥＧとは異なる色彩で携帯端末３２に表示することができるので、どの卵ＥＧの保存期間が長くて早く消費するべきかを使用者に簡単に知らせることができる。

【0067】

上記実施例７においては、図１１のステップＳ３１のキャベツ解析処理でキャベツＣＡの食品データから輪郭線を抽出する等の個体認識を行っても良い。この場合には今回記憶領域ＲのキャベツＣＡの食品データの大きさが前回記憶領域ＲのキャベツＣＡの食品データの大きさ以下であっても輪郭線の相違に応じて冷蔵室３内にキャベツＣＡが新たに投入されたと判定し、在庫期間ＣＡをリセットすることができる。

【実施例8】

【0068】

冷蔵室３内には、図２０に示すように、マーキング３４が施されている。このマーキング３４は使用者に卵ＥＧを置く場所を報知するものであり、最下段の棚板７の左端部に設定されている。

【0069】

クラウドサーバ２８は図９のステップＳ２２でＲカメラ２３の画像データＲから食品データを切取る場合に特定領域を残りの領域に比べて高解像度で処理する。この特定領域は予め決められたものであり、画像データＲのうちマーキング３４が施された領域に設定されている。

【0070】

上記実施例８によれば次の効果を奏する。
卵ＥＧを冷蔵庫１内のどこに置くかをマーキング３４で指定したので、使用者が卵ＥＧをマーキング３４上に載せることで画像データＲのうち高解像度で処理される領域内に配置できる。従って、卵ＥＧを個別に認識する場合に解像度が高まるので、卵ＥＧの認識精度が向上する。

【0071】

上記実施例８においては、ペットボトル入り飲料ＰＥを冷蔵庫１内のどこに置くかをマーキング等で指定しても良い。この場合には画像データＲのうちマーキング等で指定された領域を高解像度で処理することができるので、ペットボトル入り飲料ＰＥが「未開封」および「開封済」のいずれであるかを正確に判別できる。

【実施例9】

【0072】

冷蔵室３内には、図２１に示すように、庫内カメラ３５が固定されている。この庫内カメラ３５は冷蔵室３内を後から前に向けて撮像するものであり、撮像制御装置２５は図５のステップＳ１で主制御装置２１からの撮像指令Ｒを検出した場合に庫内カメラ３５を庫内灯１５の点灯状態でオンすることに応じて冷蔵室３内を撮像し、庫内カメラ３５からの画像データＤの検出結果をクラウドサーバ２８に送信する。この庫内カメラ３５は撮像器に相当する。

【0073】

クラウドサーバ２８は図９のステップＳ２２で画像データＲおよび画像データＤのそれぞれから食品データを切取り、ステップＳ２３で前回記憶領域Ｒに画像データＲおよびＤ毎に食品データをシフトし、ステップＳ２４で今回記憶領域Ｒに画像データＲおよびＤ毎に食品データを記憶する。このクラウドサーバ２８は図１２のステップＳ４１〜Ｓ４４のそれぞれで同種の食品データの数が画像データＲおよび画像データＤ間で相違する場合には多数を有効なものとし、チューブ入りマヨネーズ解析処理でマヨネーズの残量が画像データＲおよび画像データＤ間で相違する場合には多量を有効なものとする。

【0074】

上記実施例９によれば次の効果を奏する。
冷蔵庫１の冷蔵室３内をＲカメラ２３および庫内カメラ３５によって複数の位置から撮像し、Ｒカメラ２３の撮像結果および庫内カメラ３５の撮像結果から食品の在庫情報を検出した。従って、食品を複数のアングルで撮像できるので、食品の在庫情報を正確に検出できる。

【実施例10】

【0075】

図２２の在庫変動画面は携帯端末３２のタッチパネルディスプレイ３３に表示されるであり、携帯端末３２がクラウドサーバ２８からの画像データに応じて表示する。この画像データはクラウドサーバ２８が作成するものであり、クラウドサーバ２８は携帯端末３２からの画像要求指令を受信することで携帯端末３２に画像データを送信する。この在庫変動画面は食品（卵ＥＧ）の数の検出結果を在庫期間の更新結果と共に日毎に表示するものであり、タッチパネルディスプレイ３３には食品の数の検出結果が少なくなった時点（２個／１２／６）で使用者に「残りが少なくなったので、追加して下さい」が表示される。

【0076】

上記実施例１〜１０のそれぞれにおいては、キャベツＣＡは１０日間、チューブ入りマヨネーズＴＢは残量が減り始めたことを基準に３週間等、クラウドサーバ２８が食品の種類毎に所定期間１および２を記憶する構成としても良い。この場合にはクラウドサーバ２８が食品の種類毎に在庫期間を所定期間１および２と比較し、在庫期間が所定期間１または２を越えている場合にこれを在庫一覧画面で食品の種類毎に使用者に報知しても良い。

【0077】

上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＶカメラ２４の画像データＶから大根または白菜の食品データを切取って記憶し、キャベツ解析処理と同様のプロセスで大根または白菜の在庫期間を管理しても良い。

【0078】

上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから缶ジュースの食品データを切取って記憶し、ビール解析処理と同様のプロセスで缶ジュースの在庫期間を管理しても良い。

【0079】

上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明な容器入りのケチャップ、ソース、しょう油等の調味料の食品データを切取って記憶し、チューブ解析処理と同様のプロセスで調味料の在庫期間を管理しても良い。

【0080】

上記実施例１〜１０のそれぞれにおいては、クラウドサーバ２８がＲカメラ２３の画像データＲから透明なタッパ入りの食材（あんこ、惣菜）の食品データを切取って記憶し、トレイ解析処理と同様のプロセスで食材の在庫期間を管理しても良い。

【0081】

上記実施例１〜１０のそれぞれにおいては、主制御装置２１または撮像制御装置２５にクラウドサーバ２８と同一の機能を持たせ、主制御装置２１または撮像制御装置２５が在庫期間を管理する構成としても良い。

【0082】

上記実施例１〜１０のそれぞれにおいては、携帯端末３２にクラウドサーバ２８からの画像データを表示する場合に特定の色彩を食品に付与または食品を矢印で指すことで食品の在庫期間が所定期間１または２に比べて長いことを使用者に報知しても良い。

【0083】

以上、本発明のいくつかの実施例を示したが、これらは例として提示したものであり、発明の範囲を限定することは意図していない。これらの新規な実施例はその他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置換、変更を行うことができる。これらの実施例や変形例は発明の範囲や要旨に含まれると共に特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0084】

１は冷蔵庫、２３はＲカメラ（撮像器）、２４はＶカメラ（撮像器）、２８はクラウドサーバ（在庫情報検出手段，在庫期間管理手段）、３５は庫内カメラ（撮像器）である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】