(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-09
(45)【発行日】2024-10-18
(54)【発明の名称】貯蔵庫
(51)【国際特許分類】
F25D 23/00 20060101AFI20241010BHJP
【FI】
F25D23/00 301K
F25D23/00 301Q
(21)【出願番号】P 2021080638
(22)【出願日】2021-05-11
【審査請求日】2023-10-13
(73)【特許権者】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110000279
【氏名又は名称】弁理士法人ウィルフォート国際特許事務所
(72)【発明者】
【氏名】林 大介
(72)【発明者】
【氏名】浜田 宏一
(72)【発明者】
【氏名】仁木 亨
(72)【発明者】
【氏名】森 泰久
【審査官】庭月野 恭
(56)【参考文献】
【文献】特開2015-068525(JP,A)
【文献】特開2000-244906(JP,A)
【文献】米国特許出願公開第2014/0045433(US,A1)
【文献】中国特許出願公開第106979647(CN,A)
【文献】特開2017-110846(JP,A)
【文献】国際公開第2019/229949(WO,A1)
【文献】特開2018-146120(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
F25D 1/00-31/00
(57)【特許請求の範囲】
【請求項1】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新す
る
貯蔵庫。
【請求項2】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記制御部は、前記所定の収容部に前記対象物品を収容させるための空間がないと判定した場合、前記所定のテーブルの中から、前記所定の収容部の優先順位よりも低い優先順位を持つ収容部を新たな所定の収容部として選択す
る
貯蔵庫。
【請求項3】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記制御部は、前記対象物品が前記所定のテーブルに登録されていない未登録物品である場合、前記所定のテーブルに登録されている物品のうち、前記対象物品に最も類似する物品の優先順位にしたがって前記所定の収容部を選択す
る
貯蔵庫。
【請求項4】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記制御部は、前記対象物品が前記所定のテーブルに登録されていない未登録物品である場合、ユーザにより指定された優先順位にしたがって前記所定の収容部を選択す
る
貯蔵庫。
【請求項5】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記制御部は、前記対象物品が前記所定のテーブルに登録されていない未登録物品である場合、ユーザにより指定された優先順位にしたがって前記所定の収容部を選択し、
前記制御部は、前記
画像認識処理による認識結果に対するユーザからの修正を受け付けて、前記画像認識処理の使用する機械学習モデルを更新す
る
貯蔵庫。
【請求項6】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記通知部は、前記複数の収容部に個別に配置されており、
前記所定の収容部に配置された通知部が作動してユーザへ案内す
る
貯蔵庫。
【請求項7】
貯蔵庫本体と、
前記貯蔵庫本体内を撮影するカメラ部と、
前記貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、
前記貯蔵庫本体へ対象物品が収容される場合に、前記カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、前記認識された対象物品を収容させる前記所定の収容部を選択し、選択された前記所定の収容部を前記通知部から通知させる制御部と
を備え、
前記所定のテーブルでは、前記物品の認識精度が高くなる順番で前記収容部の前記優先順位が設定され、
前記制御部は、前記対象物品が前記所定の収容部以外の他の収容部に収容された場合、前記所定のテーブルにおける前記対象物品についての前記他の収容部の優先順位を高めるように更新し、さらに、前記他の収容部に収容される前記対象物品の認識精度が向上するように前記画像認識処理のパラメータを更新し、
前記通知部は、前記複数の収容部に個別に配置されており、
前記所定の収容部に配置された通知部が作動してユーザへ案内し、
前記通知部は、前記収容部の床面にマトリクス状に配置された発光体を含
む
貯蔵庫。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、貯蔵庫および貯蔵庫への物品収容方法に関する。
【背景技術】
【0002】
冷蔵庫などの貯蔵庫において、庫内に入る食品を自動識別する技術が提案されている(特許文献1)。この特許文献1には、「収容室に入庫される食品を適切なタイミングで撮像することにより、収容室に入庫される食品の情報をより確実に取得することができる」という記載がある。なお、貯蔵庫内の在庫を自動的に管理できるようにした技術も知られている(特許文献2)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2019-70476
【文献】特許第6473523号
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、庫内に食品を置く場所が定まっていないため、食品を撮影した画像に基づいて、その食品を認識する精度に改善の余地がある。
【0005】
本発明は上記課題に鑑みてなされたもので、その目的は、食品を認識する精度を向上できるようにした貯蔵庫および貯蔵庫への物品収容方法を提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決すべく、本発明に従う貯蔵庫は、貯蔵庫本体と、貯蔵庫本体内を撮影するカメラ部と、貯蔵庫本体の複数の収容部のうち所定の収容部をユーザへ通知する通知部と、貯蔵庫本体へ対象物品が収容される場合に、カメラ部で前記対象物品を撮影して画像認識処理により認識し、物品を収容させる収容部の優先順位を管理する所定のテーブルに基づいて、認識された対象物品を収容させる所定の収容部を選択し、選択された所定の収容部を通知部から通知させる制御部と備える。
【発明の効果】
【0007】
本発明によれば、物品を収容する収容部を管理することができ、物品の認識精度を向上させることができる。
【図面の簡単な説明】
【0008】
【
図1】冷蔵庫の庫内管理システムの全体構成図である。
【
図4】魚眼カメラおよびミラーと上段棚との関係を示す説明図である。
【
図6】魚眼カメラの画像を平面画像に変換した画像の例である。
【
図8】食品の置き場所を管理するテーブルの例である。
【
図9】ユーザの携帯端末に表示される食品リストの例である。
【
図10】食品発注処理を示すフローチャートである。
【
図11】携帯端末に表示される発注画面の例である。
【
図13】第2実施例に係り、庫内管理処理を示すフローチャートである。
【
図14】更新後の置き場所管理テーブルの例である。
【
図15】第3実施例に係り、庫内管理処理を示すフローチャートである。
【
図16】第4実施例に係り、庫内管理処理を示すフローチャートである。
【
図17】置き場所管理テーブルに新たな食品を登録する処理を示すフローチャートである。
【
図18】第5実施例に係り、食品の認識結果の正否についてユーザが情報を入力する処理を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面に基づいて、本発明の実施の形態を説明する。本実施形態では、以下に述べるように、貯蔵庫内の各収容部のうち、物品を認識しやすい置き場所をあらかじめ調べておき、その物品を置く収容部の優先順位をつけて所定のテーブルで管理する。そして、ユーザが貯蔵庫に物品を収容しようとする際に、その対象物品を撮影して画像認識処理し、認識された物品を収容させる収容部をユーザに案内する。物品の種類に応じて収容部に物品が収容されるため、貯蔵庫を使用すればするほど画像認識処理による認識精度が向上していく。
【0010】
後述の実施例では、貯蔵庫として冷蔵庫を例に挙げて説明する。物品として、食品を例に挙げて説明する。ただし、本実施形態は、冷蔵庫に食品を収容する場合に限らず、冷蔵庫に薬品などの非食品を収容する場合、物品棚に部品などの物品を収容する場合にも広く適用することができる。
【0011】
本実施形態は、以下のように表現することもできる。すなわち、プロセッサとメモリを有する制御部と、開閉可能な扉と、を有する冷蔵庫であって、前記扉の開度を検出する開度センサと、前記扉が開放された場合に前記貯蔵庫の庫内を情報から撮影可能なカメラと、前記扉が開いた場合に前記庫内を前記カメラへ反射する反射鏡と、を有し、前記制御部は、前記開度センサが検出する開度が所定の閾値を超えた場合には、前記カメラで前記庫内と前記反射鏡の画像をカメラ画像として撮影する撮影部と、前記カメラで撮影した前記カメラ画像から物品を認識する認識部と、前記認識部が認識した物品ごとに優先順位を定めたテーブル制御部と、前記認識部が認識した物品ごとに前記テーブル制御部に基づきユーザに食品を置く位置を光と音で通知する通知部と、前記認識された物品の情報をテキストで出力する認識結果出力部と、を有する。
【0012】
物品毎に庫内に認識しやすい置き場所の優先順位を決定したテーブル制御部を有してもよい。
【実施例1】
【0013】
図1~
図12を用いて第1実施例を説明する。冷蔵庫1は、制御部10と、「貯蔵庫本体」としての冷蔵庫本体20とを含む。冷蔵庫システムは、冷蔵庫1と、冷蔵庫1と通信ネットワークCNで双方向通信可能に接続された外部装置7,8,9を含む。
【0014】
外部装置としての携帯端末7は、冷蔵庫1のユーザにより使用される端末である。携帯端末7は、後述のように、冷蔵庫1から送信された食品リストを表示する。外部装置8は、ウェブサーバである。外部装置9は計算機である。ウェブサーバ8には、例えば、ネットスーパーおよびレシピサイトなどが含まれる。計算機9は、機械学習モデルなどを配信するための計算機である。
【0015】
冷蔵庫本体20は、開閉自在に取り付けられた左扉21Lおよび右扉21Rと、各扉21L,21Rにそれぞれ取りつけられたドアポケット上段23Uと、ドアポケット中段23Mと、ドアポケット下段23Lと、冷蔵庫本体20の上側から高さ方向の略中央にかけて設けられた冷蔵室内の上段棚22Uと、中段棚22Mと、下段棚22Lと、チルド室24と、製氷室25と、新鮮凍結ルーム26と、野菜室上段27Uと、野菜室下段27Lと、冷凍室28と、を含む。
【0016】
なお、以下の説明では、特に区別しない場合、左右の扉21L,21Rを扉21と、ドアポケット上段23U,ドアポケット中段23M,ドアポケット下段23Lをドアポケット23と、上段棚22U,中段棚22M,下段棚22Lを棚22とそれぞれ略記する場合がある。
【0017】
冷蔵庫本体20の上部には、後述するように左右の扉21の開度を検出する開度センサ40がそれぞれ設けられる。さらに、冷蔵庫本体20の上部には、後述するように、庫内を撮影するカメラ50が取り付けられる。
【0018】
冷蔵庫1を制御する制御部10は、例えば、プロセッサ11と、記憶装置12と、ネットワークCNに接続された通信部(図中、I/F)14と、開度センサ40およびカメラ50に接続されたI/Oインタフェース(図中I/O)13を含む。なお、記憶装置12は、揮発性または不揮発性のメモリから構成される主記憶装置と、フラッシュメモリまたはハードディスクドライブなどから構成される補助記憶装置とを含む。記憶装置12に記憶されたコンピュータプログラムおよびデータの一部または全部を通信ネットワークCNを介して外部に送信することもできる。逆に、外部の計算機9などから通信ネットワークCNを介して記憶装置12にコンピュータプログラムおよびデータを送信して記憶させることもできる。
【0019】
制御部10にフラッシュメモリまたはハードディスクドライブなどの記憶媒体MMを接続し、記憶装置12と記憶媒体MMとの間でコンピュータプログラムおよびデータの一部または全部を転送することもできる。
【0020】
記憶装置12には、撮影部121と、画像バッファ122と、画像変換部123と、認識部124と、テーブル制御部125と、案内部126と、認識結果出力部127と、庫内制御部128とを実現する所定のコンピュータプログラムが記憶されている。プロセッサ11がそれら所定のコンピュータプログラムを実行することにより、各機能部121~128が実現される。
【0021】
すなわち、プロセッサ11は、所定のコンピュータプログラムに従って処理を実行することにより、所定の機能を提供する機能部として稼働する。例えば、プロセッサ11は、画像変換プログラムに従って処理を実行することで画像変換部123として機能する。他のコンピュータプログラムについても同様である。さらに、プロセッサ11は、各コンピュータプログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。
【0022】
撮影部121は、I/Oインタフェース13を介してカメラ50からカメラ画像を取得し、取得したカメラ画像を画像バッファ122へ格納する。「カメラ部」としてのカメラ50は、魚眼カメラとして構成される。カメラ50は、例えば、魚眼または広角のレンズ52(
図4参照)を有する。
【0023】
撮影部121は、後述のように、開度センサ40により検出された扉21の開度が所定の閾値Th1を超えた場合であって、且つ、扉21の開扉が停止した場合に、カメラ50で冷蔵庫1の庫内を撮影し、撮影した画像をカメラ画像として画像バッファ122へ格納する。庫内とは、冷蔵庫本体20の内部である。
【0024】
なお、庫内の撮影タイミングは、左右の開度センサ40の少なくとも一方が所定の閾値Th1を超えた場合であって、且つ扉21の開扉が停止した場合でもよい。すなわち、左右の扉21L,21Rの両方が閾値Th1以上開いた場合に限らず、いずれか一方の扉21が開いた場合に、カメラ50は庫内を撮影してもよい。
【0025】
画像変換部123は、魚眼または広角のレンズ52で撮影されたカメラ画像を平面画像に変換する。魚眼または広角のレンズで撮影された画像を平面画像に展開する場合、公知の技術を利用できるため、説明を省略する。
【0026】
認識部124は、学習ベース画像認識部1241と、ルールベース画像認識部1242と、置き場所検出部1243とを含む。学習ベース画像認識部1241とルールベース画像認識部1242は、それぞれ、変換された平面画像から庫内の食品を認識する。学習ベース画像認識部1241は、例えば、予め学習が行われたニューラルネットワーク等の機械学習モデルを含んでおり、平面画像が入力されると、平面画像に含まれる食品(物品)の認識結果を出力する。
【0027】
ルールベース画像認識部1242は、平面画像が入力されると、ルールベースによって庫内の食品を認識する。ルールベース画像認識部1242は、入力された平面画像に対して領域分割を行い、各領域毎に物品のラベリングを行って、認識したラベルの内容をテキストで出力する。学習ベース画像認識部1241とルールベース画像認識部1242には、それぞれ公知の技術を適用可能である。
【0028】
テーブル制御部125は、食品毎に置く位置の優先順位を定めた置き場所管理テーブルT1(
図8参照)の内容を制御する。「所定のテーブル」としての置き場所管理テーブルT1は、テーブル制御部125の内部に設けられている。
【0029】
ここで、置き場所または置く位置とは、食品を収容させる場所である。食品を収容させる場所とは、食品を収容する収容部である。本実施例では、ドアポケット上段23U、ドアポケット中段23M、ドアポケット下段23L、上段棚22U、中段棚22M、下段棚22L、チルド室24、製氷室25、新鮮凍結ルーム26、野菜室上段27U、野菜室下段27L、冷凍室28を収容部の例として挙げる。すなわち、収容部とは、冷蔵庫本体20内に設けられた、区切られた空間である。
【0030】
案内部126は、認識部124で認識された食品の置き場所を置き場所管理テーブルT1から探して選択し、選択された置き場所に対応する通知手段30を作動させる。「通知部」としての通知手段30は、各置き場所に個別に設けられている。各置き場所の通知手段30は、例えば、スピーカ31またはライト32の少なくともいずれか一方を含む。本実施例の通知手段30は、スピーカ31とライト32の両方を有する。
【0031】
スピーカ31は、選択された置き場所の存在を音でユーザへ通知する。通知音は、冷蔵庫1の工場出荷時に記憶された音楽でもよいし、ユーザが冷蔵庫1の購入後に登録した音楽でもよい。通知音は、「牛乳はドアポケット下段に入れて下さい」などの音声メッセージでもよい。音声メッセージには、認識部124による食品の認識結果を含めることができる。通知音は、音楽と音声メッセージを組み合わせたものでもよい。スピーカ31の形状および個数は問わない。
【0032】
ライト32は、選択された置き場所の存在を光でユーザへ通知する。ライト32は、複数の発光素子をマトリックス状に配置したライトでもよいし、または一つまたは複数の面発光ライトでもよい。ライト32には、LED(Light Emitting Diode)のような発熱しない発光素子を用いることができる。LED以外の発熱しない素子を用いてもよい。冷蔵庫1のように低温を要求される貯蔵庫ではなく、常温での保存が前提となっている貯蔵庫の場合は、発熱しながら発光する素子を用いてもよい。
【0033】
図2は、通知手段30の配置例を示す。
図2では、チルド室24と野菜室27を例に挙げて、通知手段30の配置例を説明する。本実施例では、平面状のスピーカ31と、点状のLED発光素子をマトリックス状に配置したライト32とを、それぞれの置き場所の底面に配置する。底面とは、食品を置く平面である。
【0034】
図1に戻る。置き場所検出部1243は、ユーザが庫内のどこへ食品を置いたかを検出する。置き場所検出部123は、公知の技術を用いて、食品の置かれた場所を検出することができる。
【0035】
認識結果出力部127は、機械学習モデルによる認識結果とルールベースによる認識結果とから、庫内の食品の種類および数量を集計して、庫内の食品リスト72(
図9参照)を生成する。そして、認識結果出力部127は、生成された食品リスト72を予め設定された携帯端末7へ送信するよう通信部14に指令する。携帯端末7は、図示しない庫内管理アプリケーションを実行しており、冷蔵庫1から受信した食品リストを携帯端末7の表示部71(
図9参照)へ表示させる。
【0036】
庫内制御部128は、図示しないモータやコンプレッサを制御して、冷蔵庫1の庫内の温度や湿度を制御する。
【0037】
図3は、冷蔵庫1の上部を一部拡大して示す斜視図である。冷蔵庫本体20の上部の天板200では、その左右両側にヒンジ部201がそれぞれ取り付けられている。左右の扉21は、ヒンジ部201によって開閉自在に支持される。本実施例では、左右の扉21がいわゆる観音開き方式の扉であり、冷蔵庫1の開口部202を左右両側で独立して開閉できる例を示す。
【0038】
左右のヒンジ部201の上側には、扉21の開度(角度)を検出する開度センサ40が取り付けられている。天板200の上面には、左右のヒンジ部201の中間に位置して、カメラ50が取り付けられている。カメラ50の前端部51は、冷蔵庫1の開口部202よりも冷蔵庫1の前方へ突出しており、扉21が開いたときに庫内を上方から撮影するようになっている。
【0039】
図4は、カメラ50の取り付け例を示す。カメラ50は、冷蔵庫1の前方へ向けて端部(または端面)51を開口部202(天板200の端部)から所定量だけ突出させて、天板200の上面に取り付けられる。
【0040】
カメラ50は、魚眼カメラとして構成されており、カメラ50の前側には段差が形成されており、その段差の下面には魚眼レンズ52が設けられている。そして、ミラー60は、魚眼レンズ52をカメラ50の前方から覆うようにして設けられている。
【0041】
すなわち、開口部202よりも突出したカメラ50の端部51には、ミラー60が垂下されて設けられている。ミラー60は、冷蔵庫本体20の有する各収容部のうち、少なくとも、上段棚22Uの床面(平面)に置かれた物品の像と中段棚22Mの床面(平面)に置かれた物品の像とを、カメラ50へ導くための反射鏡として機能する。
【0042】
なお、扉21の開閉の際に、ミラー60と扉21が干渉する場合には、ミラー60を折りたたみ可能または変位可能な構造にすればよい。また、図示の例では、ミラー60は、カメラ50の端部51に取り付けられた例を示したが、これに限定されるものではなく、端部51よりもさらに冷蔵庫1の前方に設置されてもよい。
【0043】
図5は、カメラ50で撮影したカメラ画像GCの一例を示す図である。魚眼のレンズ52で撮影したカメラ画像GCには、レンズ52から直接撮影した冷蔵庫1の庫内および左右の扉21のポケット23と、ミラー60に反射した上段棚22Uと中段棚22Mおよび下段棚22Lの上面と、チルド室24と、新鮮凍結ルーム26と、野菜室27に載置された食品が含まれる。
【0044】
魚眼のレンズ52であっても、レンズ52から直接撮影した画像では、最上位の棚22Uの上面の物品は一部しか撮影することができない。これに対して、ミラー60で反射された画像では、最上段棚22Uの上面に置かれた食品を庫内の奥まで撮影できる。
【0045】
ただし、魚眼のレンズ52で撮影したカメラ画像GCをそのまま利用して、認識部124の学習ベース画像認識部1241やルールベース画像認識部1242に食品の認識を実施させるのは難しい。すなわち、機械学習モデルの学習フェーズでは、歪みのない画像で学習を実施するため、魚眼または広角のレンズ52で歪んだカメラ画像GCをそのまま認識することは難しい。
【0046】
このため、画像変換部123は、魚眼のレンズ52で撮影した歪みを含む画像を平面画像に変換する。
図6は、魚眼カメラ画像GCを平面画像に変換した様子を示す。
【0047】
画像変換部123は、魚眼のレンズ52で撮影したカメラ画像GCから、レンズ52から直接撮影した庫内直接画像(第1画像)45と、レンズ52からミラー60を介して撮影したミラー画像(第2画像)41を抽出して、庫内直接画像45とミラー画像41のそれぞれについてレンズ52の歪みを除去した平面画像に変換する。
【0048】
歪除去の方法としては公知のカメラキャリブレーション技術を用いてよい。一例としては、予めチェックボードなど歪補正後のパターンが既知の画像を用いて、歪補正前と補正後の画像の特徴点を抽出し、これらの特徴店の位置座標をもとに、魚眼カメラのパラメータを推定してもよい。
【0049】
庫内直接画像G10は、右扉画像G11と、庫内正面画像G12と、左扉画像G13から構成され、
図5のカメラ画像GCのうち略上半分の領域である。ミラー画像G20は、
図5のカメラ画像GCのうち下部のミラー60に反射した庫内の画像である。
【0050】
画像変換部123は、庫内直接画像G10のうち、右扉画像G11を平面画像に変換して右扉展開画像G32を生成する。また、画像変換部123は、庫内正面画像G12を平面画像に変換して正面展開画像G33を生成する。さらに、画像変換部123は、左扉画像G34を平面画像に変換して左扉展開画像G34を生成する。
【0051】
また、画像変換部123は、ミラー画像G20を平面画像に変換して上段展開画像G31を生成する。
【0052】
そして、画像変換部123は、歪みを除去した右扉展開画像G32と正面展開画像G33と左扉展開画像G34と上段展開画像G31とを合成することにより、認識用画像G30を生成する。
【0053】
画像変換部123は、レンズ52から直接撮影するのが難しい最上段棚22Uの上面に転置されている食品の画像を、ミラー画像G20から平面画像に展開した上段展開画像G31とし、他の平面画像と結合することで来ない全体の食品または物品を映し出した認識用画像G30を生成することが可能となる。
【0054】
図7は、制御部10で行われる庫内管理処理の一例を示すフローチャートである。この処理は、扉21が開いた場合に開始される。
【0055】
まず、撮影部121は、開度センサ40の検出した扉21の開度(角度)を取得する(S11)。撮影部121は、開度センサ40の検出値(角度)の変化率から、扉21の角速度を算出する(S12)。角度の変化率には、前回値からの変化率や、所定時間(100ms等)内の変化率を用いることができる。角速度は、開扉方向を正の値とし、閉扉方向を負の値とする。
【0056】
撮影部121は、扉21の角速度が開扉方向(正の値)であるか否かを判定する(S13)。開扉方向であれば(S13:YES)、ステップS14へ進む。閉扉方向であれば(S13:NO)、本処理を終了する。
【0057】
ステップS14では、扉21の開度が予め設定した閾値Th1以上であるか否かを判定する。扉21の開度が閾値Th1以上であれば(S14:YES)、ステップS15へ進む。扉21の開度が閾値Th1未満であれば(S14:NO)、ステップS11に戻って上記処理を繰り返す。閾値Th1は、例えば、扉21のポケット23に載置されている食品が撮影可能な値(例えば、100度前後の値)に設定される。
【0058】
ステップS15では、扉21が停止したか否かを判定する。扉21が停止した場合(S15:YES)、ステップS16へ進む。扉21が開閉中の場合(S15:NO)、ステップS11に戻って上記処理を繰り返す。
【0059】
ステップS16では、撮影部121がカメラ50で撮影される可視光画像を取得し、取得した可視光画像をカメラ画像GCとして画像バッファ122に格納する。
【0060】
扉21が停止した位置は、その開度が閾値Th1以上であり、扉21の内側のポケット23を撮影可能な開度であるため、庫内の食品をより多く撮影することができる。また、撮影部121は、扉21の動きが停止してからカメラ50で撮影するため、ポケット23等に収容された食品の画像がブレるのを抑制して、鮮明な静止画を取得できる。
【0061】
画像変換部123は、ステップS16で撮影されたカメラ画像GCを画像バッファ122から読み込んで、魚眼の画像を平面画像に展開する(S17)。画像変換部123は、
図6で示したように、魚眼のカメラ画像GCから、ミラー画像G20と右扉画像G11と庫内正面画像G12と左扉画像G13とを抽出して、それら画像G11~G13をそれぞれ平面画像に変換し、これら変換された平面画像と上段展開画像G31とを結合させることにより、認識用画像G30を生成する。
【0062】
学習ベース画像認識部1241は、画像変換部123により生成された認識用画像G30が入力されると、機械学習モデルに食品の画像認識を実行させ、その認識結果をテキストで出力する(S18)。ルールベース画像認識部1242は、画像変換部123により生成された認識用画像G30が入力されると、食品の画像認識をルールベースで実行し、その認識結果をテキストで出力する(S19)。
【0063】
なお、学習ベース画像認識部1241とルールベース画像認識部1242の処理順序は上記に限定されるものではなく、並列で実行してもよい。
【0064】
認識された食品の置き場所は、テーブル制御部125から取得する(S20)。
図8は、初期状態の置き場所管理テーブルT1の一例を示すである。置き場所管理テーブルT1とは、食品毎に、庫内に置く位置の優先順位を設定したものである。テーブルT1は、予め実験で、食品毎に認識しやすい場所を決定して作成される。例えば、冷蔵庫1のメーカーが、食品毎に置き場所を変えて認識精度を出力することで、食品毎にどの場所に置いたら認識精度が高くなるのか調べる。優先順位は、優先順位1が最も高く、優先順位2、優先順位3となるにつれて低くなる。
【0065】
案内部126は、ユーザに対して、食品毎に適した置き場所を通知手段30により光と音で通知する(S21)。案内部126は、認識部124で認識された食品の置き場所をテーブル制御部125から参照して、ユーザに光と音で通知する。例として、置き場所管理テーブルT1が
図8に示す初期状態の場合、案内部126は、納豆119は冷蔵室中段22Mへ、ビール120は冷蔵室上段22Uへ、牛乳121はドアポケット下段23Lへ、置かれるように、案内先の置き場所(22M,22U,23L)のスピーカ31を鳴動させると共にライト32を点灯させることにより、ユーザに通知する。
【0066】
認識結果出力部127は、学習ベース画像認識部1241の認識結果と、ルールベース画像認識部1242の認識結果とが入力されると、認識結果のテキストから食品の種類と数量とを算出して、食品リスト72を生成する(S22)。認識結果出力部127は、認識結果のうち食品以外の物品を食品リスト72から除外する。
【0067】
認識結果出力部127は、学習ベース画像認識部1241の認識結果とルールベース画像認識部1242の認識結果の論理積によって、食品の種類と数を決定できる。あるいは、認識結果出力部127は、学習ベース画像認識部1241の認識結果を、ルールベース画像認識部1242の認識結果で補正してもよい。認識結果出力部127は、予め設定された携帯端末7に対して、生成した食品リスト72を送信する。
【0068】
図9は、携帯端末7に表示される食品リスト72の一例を示す。携帯端末7は、例えばいわゆるスマートフォンである。携帯端末7は、スマートフォンに限らず、タブレット型端末、ウェアラブル端末、ラップトップ型端末などでもよい。携帯端末7で稼働する庫内管理用のアプリケーション(不図示)は、ネットワークCNを介して、冷蔵庫1と定期的または不定期に通信する。
【0069】
携帯端末7の表示画面71には、受信された食品リスト72が表示される。食品リスト72は、食品の種類と数量とが対になったテキストである。冷蔵庫1のユーザは、食品リスト72を参照することにより、冷蔵庫1に貯蔵されている食品の種類と数量とを迅速且つ容易に把握できる。
【0070】
撮影部121が冷蔵庫1の庫内を撮影してから、食品の画像認識と食品リスト72の生成および送信とを実施する例を示したが、これに限定されない。例えば、制御部10は、カメラ画像GCの認識結果から算出された食品リスト72を記憶装置12に保持しておき、携帯端末7から食品リスト72の要求を受け付けた場合に、最新の食品リスト72を携帯端末7へ送信してもよい。これにより、冷蔵庫1のユーザは、携帯端末7を参照することで、外出中であってもどのような食品がいくつ入っているかを迅速に把握できる。
【0071】
以上のように、本実施例では、食品ごとに認識精度が高くなるように置き場所の優先度を規定してテーブルに格納しておき、ユーザが食品を入れる際に、このテーブルを参照して食品ごとに置き場所の推奨位置を通知することで、食品を識別する精度を向上させることが可能となる。
【0072】
本実施例では、認識部124の機械学習モデルは、食品のパッケージの変更や追加などに応じて、最新の機械学習モデルに更新することができ、例えば、図示しないサーバから受信した機械学習モデルを学習ベース画像認識部1241の機械学習モデルとして更新してもよい。
【0073】
テーブル制御部125は、予め実験等で認識精度が高くなる食品毎に置き場所を定めているが、ユーザが携帯端末7等から食品毎に置き場所の優先順位を設定してもよい。
【0074】
案内部126は、音と光でユーザに食品の置き場所を通知としたが、ユーザの好みに応じて音または光のどちらかのみの通知に変更してもよい。
【0075】
図10~
図12を用いて、食品リスト72に基づいてネットスーパーに食品を発注する応用例を説明する。
【0076】
この応用例では、冷蔵庫1のユーザが、冷蔵庫1に常時貯蔵しておきたい食品の種類と数とをストックテーブルT2(
図12参照)にあらかじめ設定して、記憶装置12へ格納させておく。冷蔵庫1の制御部10は、最新の食料リスト72とストックテーブルT2とを定期的または不定期に比較し、ストックテーブルT2に登録された食品のうち、不足している食品を抽出してネットスーパーへ発注する。
【0077】
図12は、ストックテーブルT2の一例を示す図である。ストックテーブルT2は、冷蔵庫1のユーザ等が携帯端末7等から予め設定したテーブルである。ストックテーブルT2は、食品の種類を格納する品目C21と、当該食品を常時貯蔵しておくべき数量を格納する定数C22と、当該食品の発注するサイトを格納する発注先C23とを、一つのレコードに含む。
【0078】
図10は、制御部10で行われる食品発注処理の例を示すフローチャートである。ユーザが冷蔵庫1の扉21を開いて食品を収容しようとする状況を前提に説明する。したがって、ここでは、扉21の状態を判断するステップの説明を割愛する。
【0079】
制御部10は、カメラ50から可視光画像を取得し、取得した可視光画像をカメラ画像GCとして画像バッファ122に格納する(S31)。
【0080】
画像変換部123は、ステップS16で撮影されたカメラ画像GCを画像バッファ122から読み込んで、魚眼の画像を平面画像に展開する(S32)。
【0081】
学習ベース画像認識部1241は、認識用画像G30が入力されると、機械学習モデルに食品の画像認識を実行させ、その認識結果をテキストで出力する(S33)。ルールベース画像認識部1242は、認識用画像G30が入力されると、食品の画像認識をルールベースで実行し、その認識結果をテキストで出力する(S34)。制御部10は、認識された食品の置き場所をテーブル制御部125から取得する(S35)。
【0082】
制御部10は、ユーザへ置き場所を通知する(S36)。制御部10は、食品リスト72を生成する(S37)。制御部10は、認識結果出力部127がストックテーブルT2を読み込んで、食品リスト72に記載された食品の数量とストックテーブルT2の定数C22とを比較する(S38)。
【0083】
認識結果出力部127は、食品リスト72に記載された食品の数量がストックテーブルT2の定数C22に設定された値よりも少ない食品の有無を判定する(S39)。制御部10は、食品の数量(現在の在庫数)がストックテーブルT2の定数C22未満である不足食品を発見すると(S39:YES)、ステップS40へ進み、そうでない場合にはステップS41へ進む。
【0084】
ステップS40では、認識結果出力部127が不足食品について現在の数量と定数C22との差分を発注数として算出し、発注リスト73(
図11参照)を生成して、予め設定された携帯端末7へ送信する。
【0085】
冷蔵庫1のユーザは、携帯端末7に表示される発注リスト73を確認し、予め設定された発注先C23へ食品をオンライン注文する。一方、ステップS41では、不足食品は発見されないため、食品リスト72を予め設定された携帯端末7へ送信する。
【0086】
なお、食品リスト72の送信先の携帯端末7と、発注リスト73の送信先の携帯端末7とは異なっていてもよい。例えば、冷蔵庫1のユーザと食品購入権限を持つ管理者とが別人の場合には、冷蔵庫1のユーザに食品リスト72を送信し、食品購入権限を持つ管理者には発注リスト73(または発注リスト73と食品リスト72)を送信してもよい。これにより、例えば、離れて暮らす子供の使用する冷蔵庫の在庫を親が遠隔管理して、食事や栄養状態を見守ることができる。あるいは、離れて暮らす親の使用する冷蔵庫の在庫を子が遠隔管理して、親の食事状態を推測し、見守ることもできる。さらには、ダイエット中のユーザが使用する冷蔵庫の在庫をコーチが遠隔から管理することもできる。
【0087】
図11は、携帯端末7に表示される発注リスト73の一例を示す。携帯端末7の表示画面71上には、冷蔵庫1から受信した発注リスト73が表示される。発注リスト73は、ストックテーブルT2の定数C22に達していない品目C21と、定数C22に対して不足している数量が対になって表示される。
【0088】
発注リスト73の下方には、発注先74と発注ボタン75が表示される。冷蔵庫1のユーザによる発注ボタン75の操作が検出されると、発注リスト73の内容が発注先74へ送信される。
【0089】
なお、
図11では、単一の発注先74が表示される例を示すが、複数の発注先74を表示し、ユーザが発注時に選択できるようにしてもよい。あるいは、あらかじめ登録された複数の発注先の中から、食品の種類に応じて発注先が選択されてもよい。
【0090】
認識結果出力部127が発注リスト73を生成するタイミングは、カメラ50で庫内を撮影した直後に限定されるものではなく、定期的または不定期に実施可能である。
【実施例2】
【0091】
図13と
図14を用いて、第2実施例を説明する。本実施例を含む以下の各実施例では、第1実施例との相違を中心に説明する。本実施例では、冷蔵庫1が推奨する置き場所とは異なる場所へユーザが食品を置いた場合に、ユーザの希望に合わせて置き場所管理テーブルT1を修正することにより、ユーザにとっての使い勝手をさらに改善する。
【0092】
すなわち、本実施例では、ユーザが通知された優先順位1の場所と異なる場所に食品を置いた場合、その食品の置き場所の優先順位を変更することで、ユーザにとって適したテーブルT1に更新する。
【0093】
図13は、庫内管理処理の例を示すフローチャートである。本処理でも、ユーザが冷蔵庫1の扉21を開いて食品を収容しようとする状況を前提に説明する。
【0094】
制御部10は、カメラ50から可視光画像を取得し、取得した可視光画像をカメラ画像GCとして画像バッファ122に格納する(S51)。画像変換部123は、カメラ画像GCを平面画像に展開する(S52)。
【0095】
学習ベース画像認識部1241は、認識用画像G30が入力されると、機械学習モデルに食品の画像認識を実行させ、その認識結果をテキストで出力する(S53)。ルールベース画像認識部1242は、認識用画像G30が入力されると、食品の画像認識をルールベースで実行し、その認識結果をテキストで出力する(S54)。制御部10は、認識された食品の置き場所をテーブル制御部125から取得する(S55)。制御部10は、ユーザへ置き場所を通知する(S56)。
【0096】
制御部10は、カメラ50で撮影された画像を処理することにより、ユーザが実際に食品を置いた場所を検出し(S57)、実際に置かれた場所と冷蔵庫1が案内した置き場所(通知手段30により通知された置き場所。推奨された置き場所とも呼ぶ)とが一致しているか判定する(S58)。
【0097】
ユーザが実際に食品を置いた場所と冷蔵庫1が案内した置き場所とが一致する場合(S58:YES)、制御部10は、食品リスト72を生成する(S59)。制御部10は、食品リスト72を出力する(S60)。
【0098】
これに対し、ユーザが実際に食品を置いた場所と冷蔵庫1が案内した置き場所とが異なる場合(S58:NO)、置き場所検出処理(S57)に含まれる検知パラメータ(例えば閾値)を更新する(S61)。検知パラメータは、置き場所検出部1243のパラメータであり、置き場所毎に定まっている。検知パラメータを高めることで、置き場所管理テーブルT1が更新され(S62)、ユーザの使い方に沿った置き場所を提案できる。
【0099】
ユーザが牛乳を庫内に置く場合を説明する。
図8の置き場所管理テーブルT1を参照すると、牛乳の優先順位が最も高い置き場所は、ドアポケット下段23Lである。しかし、ユーザが、牛乳を、ドアポケット下段23Lよりも優先順位が低い冷蔵室上段22Uに置いた場合、置き場所検出処理S57は冷蔵室上段22Uの検知パラメータを最も高い値に設定する。これにより、牛乳の置き場所の優先順位は、冷蔵室上段22Uが最も高くなり、次回以降のテーブルが更新される(
図14)。
【0100】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、ユーザが食品を庫内に置いた場所と冷蔵庫1が推奨した場所とが異なる場合、置き場所の優先順位を変更してテーブルT1を更新すると共に、さらに実際に食品が置かれた場所の認識精度が高くなるように検知パラメータを調整する。これにより、ユーザの好み、挙動に応じて、食品の認識精度が高まる置き場所を案内できる。
【実施例3】
【0101】
図15を用いて第3実施例を説明する。本実施例では、ユーザに推奨した置き場所(通知した置き場所)が既に他の食品で埋まっており、新たな食品を入れることができない場合の処理方法を説明する。
【0102】
本実施例では、認識部124で認識された食品の置き場所をテーブル制御部125から参照したが、参照した場所に食品を置くスペースがない場合、次に優先順位の高い置き場所を選択する。食品を置くスペースの有無は、置き場所検出部1243が判定する。
【0103】
図15は、制御部10で行われる庫内管理処理の例を示すフローチャートである。以下では、冷蔵庫1の扉21が開いており、ユーザが食品を収容しようとする過程もフローチャートに図示する。
【0104】
本処理のステップS11~S20,S21~S23は、
図7で述べたステップS11~S20,S21~S23と同様のため、説明を割愛する。本処理では、ステップS20とステップS21の間に新ステップS71,S72が追加されている。
【0105】
ステップS71では、認識部124で認識された食品の置き場所をテーブル制御部125から参照し、参照した場所に食品を置けるスペースがある場合にはステップS21へ進み、スペースがない場合にはステップS72に進む。ステップS72では、食品の置き場所の次の優先順位をテーブルT1から参照する。
【0106】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、ユーザへ通知した場所に食品を置くスペースがない場合、食品の置き場所の次の優先順位をテーブル制御部125から参照し、その食品に適した置き場所をユーザへ通知できるため、ユーザにとっての使い勝手が向上する。
【実施例4】
【0107】
図16および
図17を用いて第4実施例を説明する。本実施例では、置き場所管理テーブルT1に登録されていない食品を冷蔵庫1に収容する場合に、テーブルT1に新たな食品を追加する処理を説明する。
【0108】
図16は、制御部10で行われる庫内管理処理の例を示すフローチャートである。本処理のステップS11~S23は、
図7で述べたステップS11~S23と同様であるため、説明を省略する。本実施例では、ステップS19とステップS20の間に、新規なステップS81,S82が追加されている。
【0109】
ステップS81では、認識部124で認識された食品がテーブル制御部125の管理するテーブルT1に登録済であるかを判定し、テーブルT1に登録済みの場合はステップS20へ進み、登録済みでない場合はステップS82へ進む。
【0110】
ステップS82において、テーブルT1に登録されていない食品は、テーブルT1に登録済みの食品の中で最も類似する食品と同じ優先順位で、登録される。食品の類似は認識部124が判定する。
【0111】
図17は、本実施例の変形例である。変形例の庫内管理処理では、
図16のステップS81,S82に代えて、ステップS91,S92が設けられている。ただし、ステップS91とステップS81とは実質的に同一内容である。
【0112】
ステップS92において、テーブル制御部125のテーブルT1に登録されていない食品は、ユーザが携帯端末7から手動で優先順位を設定することにより、テーブルT1に登録する。
【0113】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、テーブルT1に未登録の食品が冷蔵庫に収容されようとした場合、ユーザは、携帯端末7からテーブルT1にその未登録食品の優先順位を設定することができ、ユーザにとっての使い勝手が向上する。
【実施例5】
【0114】
図18を用いて第5実施例を説明する。本実施例では、本発明の実施例5を示し、食品が誤認識であった場合に、ユーザが正解を告知する例を示す。本実施例では、食品の認識結果が誤っている場合に、ユーザが正解を制御部10に教示することにより、次回以降の認識精度を向上させる。
【0115】
図18は、制御部10で行われる庫内管理処理の例を示すフローチャートである。本処理のステップS11~S23は、
図7で述べたステップS11~S23と同様のため、説明を割愛する。本処理では、ステップS19とステップS20の間に新規ステップS101~ステップS103が追加されている。
【0116】
冷蔵庫1の制御部10は、認識部124で認識された食品名を、音声でユーザに通知する(S101)。制御部10は、読み上げられた食品名の正否がユーザから入力されると、認識された食品名が正解であったか判定する(S102)。認識された食品の名称が正解の場合はステップS20へ進み、正解でない場合はステップS103へ進む。
【0117】
ユーザが食品名の正解を制御部10へ教示する方法には、例えば、ユーザが携帯端末7から正解の食品名を手動入力する方法と、ユーザが音声で正解の食品名を告げる方法とがある。
【0118】
誤認識された食品の正解がユーザから制御部10へ入力されると(S103)、ユーザから入力された正解に基づいて、食品を認識する学習ベース画像認識部1241の機械学習モデルが更新される(S104)。
【0119】
このように構成される本実施例も第1実施例と同様の作用効果を奏する。さらに本実施例では、認識部124で認識された食品が誤っていた場合、ユーザが正解の食品名を告知することで、次回以降、誤認識した食品の認識精度が向上する。
【0120】
以上で本発明の説明を終えるが、本発明は上述した各実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述の各実施例は、本発明のより良い理解のために詳細に説明したのであり、必ずしも上述の説明の全ての構成を備えるものに限定されものではない。
【0121】
ある実施例の構成の一部を他の実施例の構成に置き換えることも可能である。ある実施例の構成に他の実施例の構成を加えることも可能である。各実施例の構成の一部について、削除したり、他の構成を追加したり、他の構成に置換したりすることもできる。
【0122】
上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によってハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによってソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、不揮発性半導体メモリ、ハードディスクドライブ、SSD(Solid State Drive)等の記憶デバイス、または、ICカード、SDカード、DVD等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。
【0123】
また、制御線および情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線および情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
【0124】
さらに、上述した実施例は適宜組み合わせることができ、それら実施例の組み合わせも本発明の範囲に含む。
【符号の説明】
【0125】
1:冷蔵庫、7:携帯端末、8:ウェブサーバ、9:計算機、10:制御部、12:記憶装置、20:冷蔵庫本体、21:扉、22:棚、23:ドアポケット、30:通知手段、40:開度センサ、50:カメラ、60:ミラー、撮影部121、123:画像変換部、124:認識部、125:テーブル制御部、126:案内部