特許 7581815 食品情報取得装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-05

(45)【発行日】2024-11-13

(54)【発明の名称】食品情報取得装置

(51)【国際特許分類】

   F25D 23/00 20060101AFI20241106BHJP

【ＦＩ】

F25D23/00 301L

【請求項の数】 5

(21)【出願番号】P 2020202976

(22)【出願日】2020-12-07

(65)【公開番号】P2022090531

(43)【公開日】2022-06-17

【審査請求日】2023-11-10

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】110003199

【氏名又は名称】弁理士法人高田・高橋国際特許事務所

(72)【発明者】

【氏名】澤田 大治

【審査官】笹木 俊男

(56)【参考文献】

【文献】特開２０１７－０８９９１３（ＪＰ，Ａ）

【文献】特開２０１４－２０９０４８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１０２６１６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２５Ｄ １／００ ～ ３１／００

(57)【特許請求の範囲】

【請求項1】

食品が収納される貯蔵室内の画像を撮影する撮影手段と、
前記撮影手段が撮影した画像から、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、
撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、当該食品の鮮度を判定する鮮度判定手段と、
撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、前記貯蔵室内の食品の収納量を判定する収納量判定手段と、
撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、前記貯蔵室内の食品の移動を判定する移動判定手段と、
前記鮮度判定手段の判定結果を報知する報知手段と、を備え、
食品画像情報抽出部は、前記撮影手段が撮影した画像において、Ｌ＊ａ＊ｂ＊表色系のＬ＊値の差から食品領域と背景の境界を求め、境界の内側の画素を食品領域として特定するとともに、ａ＊値及びｂ＊値の一方又は両方をヒストグラム化して、その平均値を算出し、
前記貯蔵室内は、複数のエリアに分割され、
前記食品移動判定手段は、前記エリア毎に食品の移動の有無を判定し、
報知手段は、前記移動判定手段により食品の移動がなかったと判定された前記エリアをさらに報知する食品情報取得装置。

【請求項2】

前記収納量判定手段及び前記移動判定手段は、食品の上側にある空白領域の大きさから食品投入可否を判定し、食品投入不可であれば当該空白領域を食品が存在する領域とする請求項１に記載の食品情報取得装置。

【請求項3】

前記収納量判定手段により判定された前記貯蔵室内の食品の収納量に基づいて、前記貯蔵室の空き率を算出する空き率算出手段をさらに備えた請求項１又は請求項２に記載の食品情報取得装置。

【請求項4】

前記貯蔵室は、冷蔵庫に設けられ、
前記撮影手段は、前記冷蔵庫の前記貯蔵室内に設けられた請求項１から請求項３のいずれか一項に記載の食品情報取得装置。

【請求項5】

前記撮影手段を前記貯蔵室内において上下方向に移動させる移動手段をさらに備えた請求項４に記載の食品情報取得装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、食品情報取得装置に関するものである。

【背景技術】

【0002】

野菜を収納する収納部（貯蔵室）と、収納部内に光を照射する光源と、光源から収納部内に照射された光の特定波長の分光反射率を測定する測定部と、収納タイミングに取得された分光反射率と劣化確認タイミングに取得された分光反射率との差に基づいて野菜の劣化を判定する判定部とを備えた冷蔵庫が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１６－１３３２９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に示されるような技術は、特定波長の分光反射率を用いて野菜の鮮度を判定するものであるところ、貯蔵室内の食品の収納状況によっては、照明の当たる方向、光量が変わると分光反射率も変化してしまうため、鮮度の判定精度が低下してしまうおそれがある。

【0005】

本開示は、このような課題を解決するためになされたものである。その目的は、貯蔵室内の食品の収納状況によらずに、精度よく食品の鮮度を判定できる食品情報取得装置を提供することにある。

【課題を解決するための手段】

【0006】

本開示に係る食品情報取得装置は、食品が収納される貯蔵室内の画像を撮影する撮影手段と、前記撮影手段が撮影した画像から、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段と、撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、当該食品の鮮度を判定する鮮度判定手段と、撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、前記貯蔵室内の食品の収納量を判定する収納量判定手段と、撮影時点の異なるそれぞれの画像から前記食品画像情報抽出手段が抽出した食品の色情報に基づいて、前記貯蔵室内の食品の移動を判定する移動判定手段と、前記鮮度判定手段の判定結果を報知する報知手段と、を備え、食品画像情報抽出部は、前記撮影手段が撮影した画像において、Ｌ＊ａ＊ｂ＊表色系のＬ＊値の差から食品領域と背景の境界を求め、境界の内側の画素を食品領域として特定するとともに、ａ＊値及びｂ＊値の一方又は両方をヒストグラム化して、その平均値を算出し、前記貯蔵室内は、複数のエリアに分割され、前記食品移動判定手段は、前記エリア毎に食品の移動の有無を判定し、報知手段は、前記移動判定手段により食品の移動がなかったと判定された前記エリアをさらに報知する。

【発明の効果】

【0007】

本開示に係る食品情報取得装置によれば、貯蔵室内の食品の収納状況によらずに、精度よく食品の鮮度を判定できるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】実施の形態１に係る食品情報取得装置を備えた冷蔵庫の構成を示す断面図である。

【図2】実施の形態１に係る食品情報取得装置を備えた冷蔵庫の制御系統の機能的な構成を示すブロック図である。

【図3】実施の形態１に係る食品情報取得装置を備えた冷蔵庫の制御装置の機能的構成を示すブロック図である。

【図4】実施の形態１に係る食品情報取得装置による牛ひき肉の保存前後の画像と二値化処理の例を示す図である。

【図5】実施の形態１に係る食品情報取得装置による牛ひき肉画像の赤色成分ａ＊値のヒストグラムの例を示す図である。

【図6】実施の形態１に係る食品情報取得装置による牛ひき肉の保存前後におけるａ＊値の変化量の例を示す図である。

【図7】実施の形態１に係る食品情報取得装置によるほうれん草の保存前後の画像の例を示す図である。

【図8】実施の形態１に係る食品情報取得装置によるほうれん草の保存前後の色変化例を示す図である。

【図9】実施の形態１に係る食品情報取得装置によるほうれん草の保存前後におけるａ＊値及びｂ＊値の変化量の例を示す図である。

【図10】実施の形態１に係る食品情報取得装置における処理の流れの一例を示すフロー図である。

【図11】実施の形態１に係る食品情報取得装置における食品収納量及び移動判定処理の概要を説明する図である。

【図12】実施の形態１に係る食品情報取得装置における画像のノイズ除去処理を説明する図である。

【図13】実施の形態１に係る食品情報取得装置における画像の上側空白域処理を説明する図である。

【図14】実施の形態１に係る食品情報取得装置における貯蔵室内のエリア分割例を説明する図である。

【図15】実施の形態１に係る食品情報取得装置における食品収納量及び移動判定結果の例を示す図である。

【図16】実施の形態１に係る食品情報取得装置における処理の流れの一例を示すフロー図である。

【発明を実施するための形態】

【0009】

本開示に係る食品情報取得装置を実施するための形態について添付の図面を参照しながら説明する。各図において、同一又は相当する部分には同一の符号を付して、重複する説明は適宜に簡略化又は省略する。以下の説明においては便宜上、図示の状態を基準に各構造の位置関係を表現することがある。なお、本開示は以下の実施の形態に限定されることなく、本開示の趣旨を逸脱しない範囲において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。

【0010】

実施の形態１．
図１から図１６を参照しながら、本開示の実施の形態１について説明する。図１は食品情報取得装置を備えた冷蔵庫の構成を示す断面図である。図２は食品情報取得装置を備えた冷蔵庫の制御系統の機能的な構成を示すブロック図である。図３は食品情報取得装置を備えた冷蔵庫の制御装置の機能的構成を示すブロック図である。図４は食品情報取得装置による牛ひき肉の保存前後の画像と二値化処理の例を示す図である。図５は食品情報取得装置による牛ひき肉画像の赤色成分ａ＊値のヒストグラムの例を示す図である。図６は食品情報取得装置による牛ひき肉の保存前後におけるａ＊値の変化量の例を示す図である。図７は食品情報取得装置によるほうれん草の保存前後の画像の例を示す図である。図８は食品情報取得装置によるほうれん草の保存前後の色変化例を示す図である。図９は食品情報取得装置によるほうれん草の保存前後におけるａ＊値及びｂ＊値の変化量の例を示す図である。図１０は食品情報取得装置における処理の流れの一例を示すフロー図である。図１１は食品情報取得装置における食品収納量及び移動判定処理の概要を説明する図である。図１２は食品情報取得装置における画像のノイズ除去処理を説明する図である。図１３は食品情報取得装置における画像の上側空白域処理を説明する図である。図１４は食品情報取得装置における貯蔵室内のエリア分割例を説明する図である。図１５は食品情報取得装置における食品収納量及び移動判定結果の例を示す図である。図１６は食品情報取得装置における処理の流れの一例を示すフロー図である。

【0011】

なお、各図においては、各構成部材の寸法の関係や形状等が実際のものとは異なる場合がある。また、各構成部材同士の位置関係（例えば、上下関係等）は、原則として、食品情報取得装置を備えた冷蔵庫を使用可能な状態に設置したときのものである。

【0012】

この実施の形態に係る食品情報取得装置を備えた冷蔵庫１は、図１に示すように断熱箱体４０を有している。断熱箱体４０は、前面（正面）が開口されて内部に貯蔵空間が形成されている。断熱箱体４０は、外箱、内箱及び断熱材を有している。外箱は鋼鉄製である。内箱は樹脂製である。内箱は外箱の内側に配置される。断熱材は、例えば発泡ウレタン等であり、外箱と内箱との間の空間に充填されている。断熱箱体４０の内部に形成された貯蔵空間は、１つ又は複数の仕切り部材により、食品を収納保存する複数の貯蔵室に区画されている。

【0013】

図１に示すように、ここでは、冷蔵庫１は、複数の貯蔵室として、例えば、冷蔵室２、切替室３、製氷室（図示せず）、冷凍室４及び野菜室５を備えている。これらの貯蔵室は、断熱箱体４０において上下方向に４段構成となって配置されている。

【0014】

冷蔵室２は、断熱箱体４０の最上段に配置されている。切替室３は冷蔵室２の下方における左右の一側に配置されている。切替室３の保冷温度帯は、複数の温度帯のうちのいずれかを選択して切り替えることができる。切替室３の保冷温度帯として選択可能な複数の温度帯は、例えば、冷凍温度帯（例えば－１８℃程度）、冷蔵温度帯（例えば３℃程度）、チルド温度帯（例えば０℃程度）及びソフト冷凍温度帯（例えば－７℃程度）等である。製氷室は、切替室３の側方に隣接して切替室３と並列に、すなわち、冷蔵室２の下方における左右の他側に配置されている。

【0015】

冷凍室４は、切替室３及び製氷室の下方に配置されている。冷凍室４は、主に貯蔵対象を比較的長期にわたって冷凍保存する際に用いるためのものである。野菜室５は、冷凍室４の下方の最下段に配置されている。野菜室５は、主に野菜、果物等を収納するためのものである。

【0016】

冷蔵室２の前面に形成された開口部には、当該開口部を開閉する回転式の冷蔵室扉２ａが設けられている。ここでは、冷蔵室扉２ａは両開き式（観音開き式）であり、右扉及び左扉により構成されている。冷蔵庫１の前面の冷蔵室扉２ａ（例えば、左扉）の外側表面には、操作パネル３０が設けられている。

【0017】

冷蔵室２以外の各貯蔵室（切替室３、製氷室、冷凍室４及び野菜室５）は、それぞれ引き出し式の扉によって開閉される。これらの引き出し式の扉は、扉に固定して設けられたフレームを各貯蔵室の左右の内壁面に水平に形成されたレールに対してスライドさせることにより、冷蔵庫１の奥行方向（前後方向）に開閉できるようになっている。また、切替室３の内部及び冷凍室４の内部には、食品等を内部に収納できる切替室収納ケース及び冷凍室収納ケースがそれぞれ引き出し自在に格納されている。そして、野菜室５の内部には、野菜、果物等の食品を内部に収納できる野菜室収納ケースが引き出し自在に格納されている。

【0018】

冷蔵庫１は、各貯蔵室へ供給する空気を冷却する冷凍サイクル回路を備えている。冷凍サイクル回路は、圧縮機８、凝縮器（図示せず）、絞り装置（図示せず）及び冷却器９等によって構成されている。圧縮機８は、冷凍サイクル回路内の冷媒を圧縮し吐出する。凝縮器は、圧縮機８から吐出された冷媒を凝縮させる。絞り装置は、凝縮器から流出した冷媒を膨張させる。冷却器９は、絞り装置で膨張した冷媒によって各貯蔵室へ供給する空気を冷却する。圧縮機８は、例えば、冷蔵庫１の背面側の下部に配置される。

【0019】

冷蔵庫１には、冷凍サイクル回路によって冷却された空気を各貯蔵室へ供給するための風路６が形成されている。この風路６は、主に冷蔵庫１内の背面側に配置されている。冷凍サイクル回路の冷却器９は、この風路６内に設置される。また、風路６内には、冷却器９で冷却された空気を各貯蔵室へ送るための送風ファン７も設置されている。

【0020】

送風ファン７が動作すると、冷却器９で冷却された空気（冷気）が風路６を通って冷凍室４、切替室３、製氷室及び冷蔵室２へと送られ、これらの貯蔵室内を冷却する。野菜室５は、冷蔵室２からの戻り冷気を冷蔵室用帰還風路を介して野菜室５内に導入することで冷却される。野菜室５を冷却した冷気は、野菜室用帰還風路を通って冷却器９のある風路６内へと戻される（これらの帰還風路は図示せず）。そして、冷却器９によって再度冷却されて、冷蔵庫１内を冷気が循環される。

【0021】

風路６からそれぞれの貯蔵室へと通じる中途の箇所には、図示しないダンパが設けられている。各ダンパは、風路６の各貯蔵室へと通じる箇所を開閉する。ダンパの開閉状態を変化させることで、各貯蔵室へと供給する冷気の送風量を調節することができる。また、冷気の温度は圧縮機８の運転を制御することで調節することができる。以上のようにして設けられた圧縮機８及び冷却器９からなる冷凍サイクル回路、送風ファン７、風路６及びダンパは、貯蔵室の内部に送る空気を冷却する冷却手段を構成している。

【0022】

冷蔵室扉２ａの内側には、冷蔵室カメラ１０が設置されている。冷蔵室カメラ１０は、冷蔵室扉２ａの側から貯蔵室（ここでは冷蔵室２）の内部の画像を撮影可能である。この実施の形態に係る冷蔵庫１は、カメラ移動装置１１を備えている。カメラ移動装置１１は、冷蔵室カメラ１０を上下方向に移動させる装置である。カメラ移動装置１１は、冷蔵室扉２ａの内側に上下方向にわたって設けられている。

【0023】

カメラ移動装置１１は、冷蔵室カメラ１０を可動範囲内で上下方向に移動させる。可動範囲は、予め設定された範囲である。ここでは、可動範囲の上端は、冷蔵室２内の上端部である。また、可動範囲の下端は、冷蔵室２内の下端部である。

【0024】

カメラ移動装置１１は、例えば、図示しないステッピングモータにより前述した可動範囲にわたって上下方向に沿って冷蔵室カメラ１０を移動させる。この場合、冷蔵室カメラ１０の移動量はステッピングモータの回転量に比例する。そして、ステッピングモータの回転量は、ステップ数を用いて制御することができる。したがって、カメラ移動装置１１は、ステッピングモータのステップ数を用いて冷蔵室カメラ１０の移動量を制御することができる。

【0025】

また、この実施の形態に係る冷蔵庫１は、野菜室カメラ１２を備えている。野菜室カメラ１２は、野菜室５内部の背面部に取り付けられている。野菜室カメラ１２は、貯蔵室である野菜室５内の画像を撮影可能である。野菜室カメラ１２の位置は、野菜室５内の背面に限られない。野菜室５内の食品の画像を撮影できるのであれば、野菜室カメラ１２を野菜室５内の天井面等に設置してもよい。また、野菜室カメラ１２を野菜室５内の複数箇所に設置してもよい。冷蔵室カメラ１０についても、同様に、冷蔵室２内の複数箇所に設置してもよい。冷蔵室カメラ１０及び野菜室カメラ１２は、食品が収納される貯蔵室内の画像を撮影する撮影手段である。撮影手段であるカメラは、冷蔵室２、野菜室５に限らず、他の貯蔵室（冷凍室４、切替室３等）に設けてもよい。

【0026】

冷蔵庫１は、制御装置２０を備えている。制御装置２０は、例えば、図１に示すように、冷蔵庫１の断熱箱体４０の背面側における上部に設けられる。制御装置２０には、冷蔵庫１の動作を制御するための制御回路等が備えられている。制御装置２０の各機能は、この制御回路によって実現される。

【0027】

図２は、この実施の形態に係る冷蔵庫１の制御系統の要部構成を機能的に示すブロック図である。制御装置２０の制御回路には、例えば、プロセッサ２０ａ及びメモリ２０ｂが備えられている。制御装置２０は、メモリ２０ｂに記憶されたプログラムをプロセッサ２０ａが実行することによって予め設定された処理を実行し、冷蔵庫１を制御する。

【0028】

プロセッサ２０ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータあるいはＤＳＰともいう。メモリ２０ｂには、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリー、ＥＰＲＯＭ及びＥＥＰＲＯＭ等の不揮発性又は揮発性の半導体メモリ、又は磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク及びＤＶＤ等が該当する。

【0029】

なお、制御装置２０の制御回路は、例えば、専用のハードウェアとして形成されてもよい。制御装置２０の制御回路の一部が専用のハードウェアとして形成され、かつ、当該制御回路にプロセッサ２０ａ及びメモリ２０ｂが備えられていてもよい。一部が専用のハードウェアとして形成される制御回路には、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、又は、これらを組み合わせたもの等が該当する。

【0030】

操作パネル３０は、操作部３１及び報知部３２を備えている。操作部３１は、各貯蔵室の保冷温度等を設定するための操作スイッチ等である。報知部３２は、各貯蔵室の温度等の各種情報を表示する液晶表示部、表示ランプ、スピーカ等である。操作パネル３０は、操作部３１と報知部３２の液晶表示部を兼ねるタッチパネルを備えていてもよい。操作部３１は、使用者による当該操作部３１の操作に応じた信号を制御装置２０へ出力する。そして、制御装置２０には、操作パネル３０の操作部３１からの信号が入力される。また、制御装置２０は、操作パネル３０の報知部３２に報知制御信号を出力し、報知部３２の動作を制御する。

【0031】

冷蔵庫１は、サーミスタ１３及び扉開閉検知スイッチ１５を備えている。サーミスタ１３は、各貯蔵室内の温度を検出する。サーミスタ１３は、それぞれの貯蔵室に設置される。扉開閉検知スイッチ１５は、貯蔵室の扉の開閉を検知する開閉検知手段である。扉開閉検知スイッチ１５は、例えば、冷蔵室２の冷蔵室扉２ａの開閉を検知する。扉開閉検知スイッチ１５は、例えば、一般的なマグネット方式のスイッチである。すなわち、扉開閉検知スイッチ１５は、例えば、冷蔵室扉２ａに埋め込まれた磁石の近接を、冷蔵庫１本体側に設置された一対のリードスイッチによって検出する。

【0032】

制御装置２０には、サーミスタ１３から各貯蔵室の内部の温度の検知信号が入力される。また、制御装置２０には、扉開閉検知スイッチ１５からの検知信号も入力される。制御装置２０は、入力された信号に基づいて、各貯蔵室の内部が設定された温度に維持されるように、圧縮機８、送風ファン７及びダンパ１４等の動作を制御する処理を実行する。すなわち、制御装置２０は前述した冷却手段等を制御して、冷蔵庫１の動作を制御する。また、制御装置２０は、冷蔵室カメラ１０及び野菜室カメラ１２の撮影動作並びにカメラ移動装置１１による冷蔵室カメラ１０の移動についても制御する。冷蔵室カメラ１０及び野菜室カメラ１２が撮影した画像データは、制御装置２０に入力される。

【0033】

また、制御装置２０は、通信部２０ｃを備えている。通信部２０ｃは、冷蔵庫１の制御装置２０が外部機器との通信を行うための回路である。冷蔵庫１と通信する外部機器としては、例えば、スマートフォン等の携帯端末、外部サーバ等を挙げることができる。例えば、使用者が携帯端末を操作して冷蔵庫１の設定温度の変更を指示したり、庫内状況を確認したりすることができるようにすることが考えられる。また、後述する制御装置２０の各部の一部又は全部の機能を外部サーバに備えるようにしてもよい。

【0034】

図３に示すように、制御装置２０は、カメラ制御部２１、食品画像情報抽出部２２、鮮度判定部２３、収納量判定部２４、移動判定部２５、ノイズ除去部２６、空き率算出部２７、報知制御部２８及び記憶部２９を備えている。これらの各部の機能は、例えば、メモリ２０ｂに記憶されたプログラムをプロセッサ２０ａが実行することによって予め設定された処理を実行することで実現される。

【0035】

カメラ制御部２１、冷蔵室カメラ１０及び野菜室カメラ１２とカメラ移動装置１１の動作を制御する。カメラ制御部２１は、例えば、冷蔵室扉２ａが開閉された時に冷蔵室カメラ１０に冷蔵室２内を撮影させる。冷蔵室扉２ａが開閉されると、冷蔵室２内の食品が出し入れされ、冷蔵室２内の収納状態が変化する可能性があるためである。同様に、カメラ制御部２１は、野菜室５の扉が開閉された時に野菜室カメラ１２に野菜室５内を撮影させる。

【0036】

カメラ制御部２１は、扉開閉検知スイッチ１５から出力された信号に基づいて、冷蔵室扉２ａの開閉を検出する。カメラ制御部２１は、閉じていた冷蔵室扉２ａが開かれたこと、及び、開いていた冷蔵室扉２ａが閉じられたことを検出可能である。カメラ制御部２１は、例えば、開かれていた冷蔵室扉２ａが閉じられたことを検知した後、冷蔵室２内が照明されている間に冷蔵室カメラ１０に撮影を行わせる。同様に、カメラ制御部２１は、例えば、開かれていた野菜室５の扉が閉じられたことを検知した後、野菜室５内が照明されている間に野菜室カメラ１２に撮影を行わせる。

【0037】

カメラ制御部２１は、冷蔵室カメラ１０による冷蔵室２内の撮影を、カメラ移動装置１１による冷蔵室カメラ１０の移動と連係して行わせる。次に、冷蔵室カメラ１０とカメラ移動装置１１とが連係した撮影動作について説明する。ここでいう「撮影動作」とは、開始位置から終了位置まで冷蔵室カメラ１０が移動しながら冷蔵室２内の画像を撮影する動作である。この撮影動作において、カメラ移動装置１１は、開始位置から終了位置まで冷蔵室カメラ１０を移動させる。開始位置は、例えば前述の可動範囲の一端である。終了位置は、例えば前述の可動範囲の他端である。

【0038】

具体例を挙げると、開始位置を前述の可動範囲の上端とする。そして、終了位置を前述の可動範囲の下端とする。この例では、撮影動作において、カメラ移動装置１１は、冷蔵室カメラ１０を前述の可動範囲の上端から下端まで冷蔵室カメラ１０を下方向に移動させる。そして、冷蔵室カメラ１０は、この移動中において特定の位置を通過する時に撮影を行う。または、カメラ移動装置１１は、特定の位置で冷蔵室カメラ１０を停止させ、この停止中に冷蔵室カメラ１０が撮影を行うようにしてもよい。冷蔵室カメラ１０が撮影を行う特定の位置は、１回の撮影動作により冷蔵室２内の全体が撮影できるように設定される。このような特定の位置は、例えば隣合う棚板同士の間である。

【0039】

なお、冷蔵室カメラ１０の移動方向は、以上で説明した下方向に限られない。すなわち、カメラ制御部２１は、カメラ移動装置１１により冷蔵室カメラ１０を前述の可動範囲の下端から上端まで冷蔵室カメラ１０を上方向に移動させながら、冷蔵室カメラ１０による撮影を行ってもよい。この場合には、開始位置を前述の可動範囲の下端とし、終了位置を前述の可動範囲の上端とする。

【0040】

冷蔵室カメラ１０の移動量は、カメラ移動装置１１のステッピングモータの回転量に比例する。そして、ステッピングモータの回転量は、ステップ数を用いて制御することができる。この実施の形態では、カメラ制御部２１は、カメラ移動装置１１のステッピングモータのステップ数を用いて冷蔵室カメラ１０の移動量を制御している。すなわち、カメラ制御部２１は、冷蔵室カメラ１０による撮影を行う特定の位置を、ステッピングモータのステップ数を計数することで特定できる。

【0041】

冷蔵室カメラ１０及び野菜室カメラ１２が撮影した画像は、記憶部２９に時系列で記憶される。したがって、記憶部２９には、撮影時点の異なる撮影画像が記憶されている。また、記憶部２９には、貯蔵室内に何も収納されていない空の状態の画像も予め記憶されている。

【0042】

食品画像情報抽出部２２は、撮影手段である冷蔵室カメラ１０及び野菜室カメラ１２が撮影した画像から、Ｌ＊ａ＊ｂ＊（ＣＩＥＬＡＢ）表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する食品画像情報抽出手段である。食品画像情報抽出部２２は、まず、撮影手段が撮影した、食品領域を抽出したい画像を取り込む。次に、食品画像情報抽出部２２は、取り込んだ画像のそれぞれの画素毎に、Ｌ＊ａ＊ｂ＊表色系の輝度情報Ｌ＊値を取り出す。画像中の食品と背景には輝度を表すＬ＊値に差が出る。そこで、食品画像情報抽出部２２は、Ｌ＊値の差から各画素について食品と背景を切り分ける。また、食品と背景との境界部分もＬ＊値に差が出ることから、この特徴を利用して、食品画像情報抽出部２２は、食品領域と背景の境界を求め、境界の内側の画素を食品領域とし、外側の画素を背景としてもよい。さらに、冷蔵庫１の貯蔵室内の壁は白色を基調としているため、輝度情報Ｌ＊値でなく、色情報ａ＊値及びｂ＊値の一方又は両方を用いてもよい。この場合、食品画像情報抽出部２２は、例えば、ａ＊値及びｂ＊値の一方又は両方が、予め設定された基準値以上の画素を食品領域であるとする。

【0043】

そして、食品画像情報抽出部２２は、食品領域と判定した画素値を白色にし、背景と判定した画素値を黒色とした二値化画像を生成する。図４に示すのは、対象食品が牛ひき肉の場合の撮影画像と二値化画像の一例である。このような二値化画像を生成することで、食品領域が抽出できているか否かを容易に確認することができる。

【0044】

続いて、食品画像情報抽出部２２は、生成した二値化画像の画素値が白色である領域中における、元の画像すなわち撮影手段により撮影された画像の画素の情報を抽出する。この際、元の画像の画素情報はＲＧＢ表色系であるが、食品画像情報抽出部２２は、これをＬ＊ａ＊ｂ＊表色系に変換する。そして、食品画像情報抽出部２２は、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する。食品画像情報抽出部２２により抽出されたａ＊値及びｂ＊値を、例えば図５に示すようにヒストグラム化することで、対象食品の色の分布を確認できる。ここで説明する例は対象食品が牛ひき肉であるため、図５では赤色を表すａ＊値をヒストグラムで示している。また、食品画像情報抽出部２２により抽出されたａ＊値及びｂ＊値の平均値を算出してもよい。

【0045】

鮮度判定部２３は、撮影時点の異なるそれぞれの撮影画像から食品画像情報抽出部２２が抽出した食品の色情報に基づいて、当該食品の鮮度を判定する鮮度判定手段である。鮮度判定部２３による食品の鮮度判定について、図６に示す例で説明する。同図に示すのは、冷蔵庫１で牛ひき肉を３週間保存した際の色変化の実験結果例である。同図の（ａ）は設定温度を－８℃にした切替室３、（ｂ）は設定温度を－７℃にした切替室３、（ｃ）は設定温度を－１８℃にした冷凍室４に、それぞれ牛ひき肉を保存している。

【0046】

肉の赤色はミオグロビンの発色によるもので、酸素の吸収が進むとメト化し、茶色に変わる。さらに酸化が進むと、コールミオグロビンに変化し、緑色に変色する。したがって、鮮度判定部２３は、対象食品が牛ひき肉の場合、ａ＊値の変化量Δａ＊に基づいて、当該対象食品の鮮度を判定できる。同図に示すように、３週間保存した牛ひき肉のａ＊値の変化量Δａ＊は、（ａ）が－１４程度、（ｂ）が－２０程度、（ｃ）が－３程度である。一般に、切替室３での３週間保存が牛ひき肉の品質維持の目安とされていることから、保存開始時と比較してａ＊値が２０減少したら、保存の限界であると考えることができる。そこで、鮮度判定部２３は、牛ひき肉についてΔａ＊が第１基準値－１５に達したら、消費を促進する必要がある鮮度であると判定する。そして、鮮度判定部２３は、牛ひき肉についてΔａ＊が第２基準値－２０に達したら、廃棄を促す必要がある鮮度であると判定する。

【0047】

報知制御部２８は、例えば、操作パネル３０の報知部３２の動作を制御して、鮮度判定部２３の判定結果を使用者に報知させる。報知制御部２８及び報知部３２は、鮮度判定部２３の判定結果を報知する報知手段である。例えば、鮮度判定部２３が対象食品について消費を促進する必要がある鮮度であると判定した場合、報知制御部２８は、報知部３２の動作を制御して、例えば、液晶ディスプレイに当該食品の消費を促すメッセージを表示させる。また、鮮度判定部２３が対象食品について廃棄を促す必要がある鮮度であると判定した場合、報知制御部２８は、報知部３２の動作を制御して、例えば、液晶ディスプレイに当該食品の廃棄を促すメッセージを表示させる。

【0048】

次に、鮮度判定部２３による食品の鮮度判定について、図７から図９に示す例でも説明する。これら図に示すのは、冷蔵庫１でほうれん草を１週間保存した際の色変化の実験結果例である。図７の（ａ）は設定温度を－１８℃にした冷凍室４、（ｂ）は設定温度を－７℃にした切替室３、（ｃ）は設定温度を６℃にした野菜室５に、それぞれほうれん草を保存している。ほうれん草は、保存期間が長くなり品質が低下すると、まず緑色の葉が退色する。そして、さらに品質が低下すると、ほうれん草は黄変する。黄変後は食べられなくなってしまうため、黄変する前に注意を喚起するのが望ましい。

【0049】

図８は、それぞれの貯蔵室の保存前後におけるａ＊値及びｂ＊値でプロットしたものである。図９は、それぞれの貯蔵室の保存前後ａ＊値の変化量Δａ＊、及び、ｂ＊値の変化量Δｂ＊を示している。図８及び図９から分かるように、野菜室５で保存した場合、ａ＊値に大きな変化は見られず、ｂ＊値のみが大きく増加する。これに対し、冷凍室４及び切替室３で保存した場合は、ａ＊値がやや増加し、ｂ＊値が減少する。そこで、鮮度判定部２３は、まず、ほうれん草についてΔａ＊が基準値４に達し、かつ、Δｂ＊が基準値－６に達した場合に、消費又は廃棄を促す必要がある鮮度であると判定する。また、鮮度判定部２３は、ほうれん草についてΔｂ＊が基準値０を上回った場合にも、消費又は廃棄を促す必要がある鮮度であると判定する。

【0050】

以上のように構成された食品情報取得装置によれば、撮影手段が撮影した貯蔵室画像から、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出して、当該食品の鮮度を判定することで、輝度情報（Ｌ＊値）の影響を抑えて、当該食品の色彩変化を評価して当該食品の鮮度を判定できる。このため、貯蔵室内の食品の収納状況によらずに、すなわち、食品の向き、照明の当たる方向、光量等の変化の影響を抑えて、精度よく赤色の肉・魚類、緑色の野菜類等の食品の鮮度を判定できる。また、食品鮮度低下を使用者に報知することで、使用を促し、食品の廃棄ロス等を抑制することが可能である。

【0051】

次に、図１０のフロー図を参照しながら、以上のように構成された食品情報取得装置を備えた冷蔵庫１における処理の流れの一例を説明する。まず、ステップＳ１１において、カメラ制御部２１は、撮影手段である冷蔵室カメラ１０及び野菜室カメラ１２を制御し、これらの撮影手段により、冷蔵庫１の貯蔵室（この場合、冷蔵室２及び野菜室５）内の画像を撮影する。

【0052】

続くステップＳ１２において、食品画像情報抽出部２２は、ステップＳ１１で撮影した画像について、食品領域を抽出し、二値化した画像を生成する。なお、記憶部２９に記憶されている過去の撮影画像については、予め二値化画像を生成して記憶部２９に記憶しておいてもよいし、必要になる都度、二値化処理を行ってもよい。ステップＳ１２の後、制御装置２０はステップＳ１３の処理を行う、

【0053】

ステップＳ１３においては、食品画像情報抽出部２２は、ステップＳ１２で抽出した食品領域中における、元の画像すなわちステップＳ１１で撮影された画像の画素情報をＬ＊ａ＊ｂ＊表色系に変換する。続くステップＳ１４において、食品画像情報抽出部２２は、食品領域中の画素についてＬ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する。そして、食品画像情報抽出部２２により抽出されたａ＊値及びｂ＊値を、ヒストグラム化するとともに、その平均値を算出する。ステップＳ１４の後、制御装置２０はステップＳ１５の処理を行う、

【0054】

ステップＳ１５においては、鮮度判定部２３は、撮影時点の異なる画像について抽出されたａ＊値及びｂ＊値の一方又は両方の変化量を算出する。そして、続くステップＳ１６において、鮮度判定部２３は、ａ＊値及びｂ＊値の一方又は両方の変化量が、予め設定された鮮度判定基準に達しているか否かを判定する。ａ＊値、ｂ＊値の変化量が鮮度判定基準に達していない場合、制御装置２０は、ステップＳ１１に戻って処理を続ける。

【0055】

一方、ａ＊値及びｂ＊値の一方又は両方の変化量が、予め設定された鮮度判定基準に達している場合、制御装置２０はステップＳ１７の処理を行う。ステップＳ１７においては、報知制御部２８は、例えば、操作パネル３０の報知部３２の動作を制御して、鮮度判定結果を使用者に報知させる。ステップＳ１７が完了すれば、一連の処理は終了となる。

【0056】

制御装置２０の収納量判定部２４は、撮影時点の異なるそれぞれの画像から食品画像情報抽出部２２が抽出した食品の色情報に基づいて、貯蔵室内の食品の収納量を判定する収納量判定手段である。また、制御装置２０の移動判定部２５は、撮影時点の異なるそれぞれの画像から食品画像情報抽出部２２が抽出した食品の色情報に基づいて、貯蔵室内の食品の移動を判定する移動判定手段である。

【0057】

図１１に示すのは、収納量判定部２４による食品収納量の判定処理、及び、移動判定部２５による食品の移動の判定処理の概要である。まず、収納量判定部２４による食品収納量の判定について説明する。収納量判定部２４は、撮影時点の異なる画像として、貯蔵室内に何も収納されていない空の状態の画像Ａ（以下、「空画像Ａ」ともいう）と、最新時点の貯蔵室内の撮影画像Ｃ（以下、「現在画像Ｃ」ともいう）とを用いて食品収納量を判定する。なお、前述したように、空画像Ａは例えば記憶部２９に予め記憶されている。

【0058】

収納量判定部２４は、まず、それぞれの画素において、食品画像情報抽出部２２が抽出した食品の色情報、すなわちＬ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方について、空画像Ａに対する現在画像Ｃの差分をとる。そして、それぞれの画素について、空画像Ａに対する現在画像Ｃの差分の絶対値が基準値以上であるか否かによって、二値化した画像を生成する。図１１では、差分の絶対値が基準値以上である画素を白色とし、基準値未満の画素を黒色としている。

【0059】

ただし、このようにして生成された二値化画像には、ノイズとなる孤立点も多く含まれる。ノイズとなる孤立点は、例えば、背景と食品表面の一部の色が酷似していたり、凹凸がある外形の食品の位置、向き等が微妙に変わったりすること等で生じ得る。そこで、次に、ノイズ除去部２６により、収納量判定部２４が生成した二値化画像から孤立点によるノイズを除去する。

【0060】

ノイズ除去部２６は、二値化画像の各画素について走査しつつ、対象画素の画素値と周囲の画素値とを比較する。そして、対象画素の画素値と周囲の画素値と大きく異なる場合は孤立点であると判定する。一方、対象画素の画素値と周囲の画素値と同じか又は近い場合は孤立点でないと判定する。ノイズ除去部２６によるノイズ除去処理の具体例について、図１２を参照しながら説明する。ノイズ除去部２６は、対象画素の画素距離Ｎ＝２の範囲の画素群について、画素値の平均値を算出する。そして、算出した平均値が予め設定された基準値以上である場合、対象画素の値を白色表示値に置き換える。一方、算出した平均値が基準値未満である場合、対象画素の値を黒色表示値に置き換える。

【0061】

次に、収納量判定部２４は、ノイズ除去部２６によりノイズを除去した後の二値化画像について、食品の上側にある空白領域を除去して、食品が存在する領域とする。これは、食品の上側における当該食品と棚又は天井との間の部分には食品をそれ以上積んで収納することはできないと仮定しているためである。具体的に例えば、図１３に示すように、収納量判定部２４は、二値化画像の各画素について走査しつつ、対象画素よりも下側の画素値が白色表示値であれば、対象画素から上側の判定画素の値を天井又は棚部分まで白色表示値に置き換える。同図では、対象画素よりも下側の画素について、画素距離Ｎ＝２と画素距離Ｎ＝４の画素を判定に用いた場合の例を示している。

【0062】

なお、対象画素から上側の棚又は天井までにある判定画素の数が、予め設定された数よりも多い場合、食品の上側における当該食品と棚又は天井との間に、追加で食品を収納できるスペースが十分あると判断することもできる。したがって、対象画素から上側の棚又は天井までにある判定画素の数が、予め設定された数よりも多い場合、判定画素の値を天井又は棚部分まで黒色表示値としてもよい。

【0063】

収納量判定部２４は、以上の処理を行った二値化画像に基づいて、貯蔵室内の食品の収納量を判定する。すなわち、二値化画像において画素値が白色である部分に食品が収納され、画素値が黒色である部分は空いていると判定する。この際、貯蔵室内を複数のエリアに分割しておき、収納量判定部２４は、このエリア毎に食品の有無を判定してもよい。貯蔵室内を複数のエリアに分割した例を図１４に示す。図１４の（ａ）は貯蔵室である冷蔵室２の実際の様子であり、図１４の（ｂ）はこの冷蔵室２内のエリア分割の一例である。図１４の（ｂ）において、異なる網掛けの領域は、異なる分割エリアを示している。

【0064】

次に、移動判定部２５による食品の移動の判定について説明する。移動判定部２５は、撮影時点の異なる画像として、食品が移動される直前の時点における貯蔵室内の撮影画像Ｂ（以下、「移動前画像Ｂ」ともいう）と、最新時点すなわち食品移動後の貯蔵室内の撮影画像Ｃ（以下、「現在画像Ｃ」ともいう）とを用いて食品の移動を判定する。なお、移動前画像Ｂは、撮影手段による撮影後に記憶部２９に記憶されている。

【0065】

移動判定部２５は、まず、それぞれの画素において、食品画像情報抽出部２２が抽出した食品の色情報、すなわちＬ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方について、移動前画像Ｂに対する現在画像Ｃの差分をとる。そして、それぞれの画素について、移動前画像Ｂに対する現在画像Ｃの差分の絶対値が基準値以上であるか否かによって、二値化した画像を生成する。図１１では、差分の絶対値が基準値以上である画素を白色とし、基準値未満の画素を黒色としている。

【0066】

次に、ノイズ除去部２６により、移動判定部２５が生成した二値化画像からノイズを除去する。続いて、移動判定部２５は、ノイズ除去部２６によりノイズを除去した後の二値化画像について、食品の上側にある空白領域を除去して、食品が存在する領域とする。これは、前述した収納量判定部２４における処理と同様である。

【0067】

移動判定部２５は、以上の処理を行った二値化画像に基づいて、貯蔵室内の食品の移動を判定する。すなわち、二値化画像において画素値が白色である部分で食品が移動され、画素値が黒色である部分は食品が移動されていないと判定する。この際、収納量判定部２４による食品収納量の判定と同様に、貯蔵室内を複数のエリアに分割しておき、このエリア毎に食品の移動を判定してもよい。この場合、移動判定部２５は、それぞれのエリア内の画素値の平均値が予め設定された基準値以上であるか否かを判定することで、当該エリア内における食品移動の有無を判定してもよい。

【0068】

なお、移動判定部２５により判定される食品の移動は、当該箇所に食品が新たに置かれたか、又は、当該箇所から食品が取り除かれたかのいずれかを指している。移動判定部２５により食品の移動がないと判定された箇所においては、当該箇所に食品がある状態又は食品がない状態が継続している。

【0069】

収納量判定部２４の判定結果と、移動判定部２５の判定結果とを組み合わせることで、貯蔵室内における食品の増減を判定できる。すなわち、移動判定部２５により食品の移動があったと判定された箇所において、収納量判定部２４により食品があると判定されていれば、当該箇所に新たに食品が置かれた、つまり食品が増加したと判定できる。また、移動判定部２５により食品の移動があった判定された箇所において、収納量判定部２４により食品がないと判定されていれば、当該箇所から食品が取り出された、つまり食品が減少したと判定できる。

【0070】

空き率算出部２７は、収納量判定部２４により判定された貯蔵室内の食品の収納量に基づいて、貯蔵室の空き率を算出する空き率算出手段である。以上で説明した構成例では、収納量判定部２４による判定結果として二値化画像が得られる。そこで、空き率算出部２７は、収納量判定部２４による判定結果として得られた二値化画像に基づいて、貯蔵室の空き率を算出する。なお、収納量判定部２４による判定結果として得られた二値化画像は、前述したように、食品画像情報抽出部２２が抽出した食品の色情報についての空画像Ａに対する現在画像Ｃの差分に基づく二値化画像から、ノイズ除去部２６によりノイズを除去し、さらに食品の上側にある空白領域を除去して食品が存在する領域としたものである。空き率算出部２７は、収納量判定部２４による判定結果として得られた二値化画像から、以下の（１）式を用いて貯蔵室の空き率（％）を算出する。

【0071】

（貯蔵室の空き率）＝１００－｛（白色画素数）／（全画素数）｝×１００ ・・・ （１）

【0072】

また、空き率算出部２７は、移動判定部２５により判定された貯蔵室内の食品の移動に基づいて、貯蔵室の収納状態の変化率を算出してもよい。以上で説明した構成例では、移動判定部２５による判定結果として二値化画像が得られる。そこで、空き率算出部２７は、移動判定部２５による判定結果として得られた二値化画像に基づいて、貯蔵室の収納状態の変化率を算出する。なお、移動判定部２５による判定結果として得られた二値化画像は、前述したように、食品画像情報抽出部２２が抽出した食品の色情報についての移動前画像Ｂに対する現在画像Ｃの差分に基づく二値化画像から、ノイズ除去部２６によりノイズを除去し、さらに食品の上側にある空白領域を除去して食品が存在する領域としたものである。空き率算出部２７は、移動判定部２５による判定結果として得られた二値化画像から、以下の（２）式を用いて貯蔵室の収納状態の変化率（％）を算出する。

【0073】

（貯蔵室の収納状態変化率）＝｛（白色画素数）／（全画素数）｝×１００ ・・・ （２）

【0074】

報知制御部２８は、例えば、操作パネル３０の報知部３２の動作を制御して、収納量判定部２４及び移動判定部２５の判定結果並びに空き率算出部２７の算出結果を使用者に報知させてもよい。例えば、収納量判定部２４及び移動判定部２５の判定結果として、貯蔵室内のエリア毎に食品の増加／減少を異なる色で表した貯蔵室画像を報知部３２の液晶ディスプレイに表示させる。具体例として、貯蔵室内の撮影画像において、食品の移動がなかったエリアを赤色、食品が増加したエリアを緑色、食品が減少したエリアを青色等で表示する。また、例えば、空き率算出部２７が算出した貯蔵室の空き率、収納状態変化率を報知部３２の液晶ディスプレイに表示させる。図１５に、６つのパターンについて、移動前画像Ｂ、現在画像Ｃ、収納量判定部２４及び移動判定部２５の判定結果の表示例、並びに、貯蔵室の空き率、収納状態変化率の算出結果を示す。

【0075】

以上のように構成された食品情報取得装置によれば、撮影手段が撮影した貯蔵室画像から、Ｌ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出して、食品の有無、収納状態、移動等を判定することで、輝度情報（Ｌ＊値）の影響を抑えて食品の形状等を評価して食品の有無を判定できる。このため、貯蔵室内の食品の収納状況によらずに、すなわち、食品の向き、照明の当たる方向、光量等の変化の影響を抑えて、精度よく食品の有無等の状態を判定できる。また、食品の収納量、収納位置、貯蔵室の空き状況を使用者に知らせることで買い物時の購入量の参考にすることが可能となる。また、長期間にわたって位置の変更が食品については使用の際、注意を促すことができる。

【0076】

次に、図１６のフロー図を参照しながら、以上のように構成された食品情報取得装置を備えた冷蔵庫１における処理の流れの一例を説明する。まず、ステップＳ２１において、カメラ制御部２１は、撮影手段である冷蔵室カメラ１０及び野菜室カメラ１２を制御し、これらの撮影手段により、冷蔵庫１の貯蔵室（この場合、冷蔵室２及び野菜室５）内の画像を撮影する。

【0077】

続くステップＳ２２において、食品画像情報抽出部２２は、ステップＳ２１で撮影した画像について、食品領域を抽出し、二値化した画像を生成する。なお、記憶部２９に記憶されている過去の撮影画像については、予め二値化画像を生成して記憶部２９に記憶しておいてもよいし、必要になる都度、二値化処理を行ってもよい。次に、食品画像情報抽出部２２は、抽出した食品領域中における、元の画像すなわちステップＳ１１で撮影された画像の画素情報をＬ＊ａ＊ｂ＊表色系に変換する。そして、食品画像情報抽出部２２は、食品領域中の画素についてＬ＊ａ＊ｂ＊表色系のａ＊値及びｂ＊値の一方又は両方を食品の色情報として抽出する。ステップＳ２２の後、制御装置２０はステップＳ２３の処理を行う。

【0078】

ステップＳ２３においては、収納量判定部２４及び移動判定部２５は、撮影時点の異なるそれぞれの画像からステップＳ２２で抽出した食品の色情報（ａ＊値、ｂ＊値）について差分を算出し、差分の絶対値を基準値と比較して二値化画像を生成する。続くステップＳ２４において、ノイズ除去部２６は、ステップＳ２３で生成された二値化画像からノイズを除去する。さらに続くステップＳ２５において、収納量判定部２４及び移動判定部２５は、ステップＳ２２でノイズが除去されたそれぞれの二値化画像において、食品の上側にある空白領域の大きさから食品投入可否を判定し、食品投入不可であれば当該空白領域を除去して、当該領域を食品が存在する領域とする。ステップＳ２５の後、制御装置２０はステップＳ２６の処理を行う。

【0079】

ステップＳ２６においては、収納量判定部２４は、ステップＳ２５の処理を行った二値化画像に基づいて、貯蔵室内の食品の収納量を判定する。すなわち、収納量判定部２４は、空画像Ａ及び現在画像Ｃを比較した二値化画像から食品の収納量を判定する。また、移動判定部２５は、ステップＳ２５の処理を行った二値化画像に基づいて、貯蔵室内の食品の移動を判定する。移動判定部２５は、移動前画像Ｂ及び現在画像Ｃを比較した二値化画像から食品の移動を判定する。そして、制御装置２０は、収納量判定部２４の判定結果及び移動判定部２５の判定結果から、貯蔵室内の食品の増減を判定する。ステップＳ２６の後、制御装置２０はステップＳ２７の処理を行う。

【0080】

ステップＳ２７においては、報知制御部２８は、例えば、操作パネル３０の報知部３２の動作を制御して、ステップＳ２６での判定結果を使用者に報知させる。ステップＳ２７が完了すれば、一連の処理は終了となる。

【0081】

なお、以上においては、食品情報取得装置を冷蔵庫１に設けた場合の構成例について説明した。しかし、これに限られず、食品情報取得装置を、冷蔵庫１とは別に設けてもよい。具体的に例えば、前述したように、冷蔵庫１の制御装置２０と通信可能な外部サーバに貯蔵室内を撮影した画像を送信し、外部サーバに、食品画像情報抽出部２２、鮮度判定部２３、収納量判定部２４、移動判定部２５、ノイズ除去部２６、空き率算出部２７及び記憶部２９等を設けて食品情報取得装置を構成してもよい。また、食品情報取得装置が対象とする貯蔵室は、冷蔵庫１のものでなくともよい。

【符号の説明】

【0082】

１ 冷蔵庫
２ 冷蔵室
２ａ 冷蔵室扉
３ 切替室
４ 冷凍室
５ 野菜室
６ 風路
７ 送風ファン
８ 圧縮機
９ 冷却器
１０ 冷蔵室カメラ
１１ カメラ移動装置
１２ 野菜室カメラ
１３ サーミスタ
１４ ダンパ
１５ 扉開閉検知スイッチ
２０ 制御装置
２０ａ プロセッサ
２０ｂ メモリ
２０ｃ 通信部
２１ カメラ制御部
２２ 食品画像情報抽出部
２３ 鮮度判定部
２４ 収納量判定部
２５ 移動判定部
２６ ノイズ除去部
２７ 空き率算出部
２８ 報知制御部
２９ 記憶部
３０ 操作パネル
３１ 操作部
３２ 報知部
４０ 断熱箱体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】