特許 7565545 食品検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-03

(45)【発行日】2024-10-11

(54)【発明の名称】食品検出装置

(51)【国際特許分類】

   F25D 23/00 20060101AFI20241004BHJP

【ＦＩ】

F25D23/00 301K

【請求項の数】 7

(21)【出願番号】P 2022179237

(22)【出願日】2022-11-09

(62)【分割の表示】P 2020148478の分割

【原出願日】2020-09-03

(65)【公開番号】P2023001274

(43)【公開日】2023-01-04

【審査請求日】2023-09-01

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】堀井 愼一

(72)【発明者】

【氏名】ラフィー，ザリナ

(72)【発明者】

【氏名】松井 巌徹

(72)【発明者】

【氏名】仮屋崎 拓

(72)【発明者】

【氏名】西山 明雄

【審査官】西山 真二

(56)【参考文献】

【文献】特開２０２１－００９００８（ＪＰ，Ａ）

【文献】特開２００７－０１７０２０（ＪＰ，Ａ）

【文献】特開２０１８－１４６１７７（ＪＰ，Ａ）

【文献】特開２０１４－２０９０５３（ＪＰ，Ａ）

【文献】特開２０１４－２０９０４７（ＪＰ，Ａ）

【文献】特開２０１７－１２９３３２（ＪＰ，Ａ）

【文献】特開２０１９－０７０４６７（ＪＰ，Ａ）

【文献】特開２０１５－１１１０２５（ＪＰ，Ａ）

【文献】特開２０１５－１１１０２６（ＪＰ，Ａ）

【文献】特開２０１４－１９９１７３（ＪＰ，Ａ）

【文献】特開２０１６－０２３８５４（ＪＰ，Ａ）

【文献】特開２００３－０４２６２６（ＪＰ，Ａ）

【文献】特開２０１５－１２５５３５（ＪＰ，Ａ）

【文献】特開２０１５－０８１７６２（ＪＰ，Ａ）

【文献】登録実用新案第３１６３０８４（ＪＰ，Ｕ）

【文献】米国特許出願公開第２０１８／０３３５２５２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／００８７８２９（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０２１１２８５（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１１４４４８８０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｆ２５Ｄ ２３／００

(57)【特許請求の範囲】

【請求項1】

ユーザーによって冷蔵庫の上部に取り付けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
前記冷蔵庫のドア及び引出の少なくともいずれかの開閉状態を検出する開閉センサーを有するセンサーモジュールと、
前記カメラモジュール及び前記センサーモジュールに電力を供給する電力供給部と、を備え
前記食品検出装置の電源ケーブルが前記冷蔵庫の外部の商用交流電源に接続され、
前記電力供給部は、前記電源ケーブルを介して前記商用交流電源から供給される電力に基づいて、前記カメラモジュール及び前記センサーモジュールに電力を供給する、
食品検出装置。

【請求項2】

冷蔵庫の上部に設けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、
前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、
前記冷蔵庫のドア及び引出の少なくともいずれかの開閉状態を検出する開閉センサーを有するセンサーモジュールと、
前記カメラモジュール及び前記センサーモジュールに電力を供給する電力供給部と、を備え、
前記食品検出装置の電源ケーブルが前記冷蔵庫の外部の商用交流電源に接続され、
前記電力供給部は、前記電源ケーブルを介して前記商用交流電源から供給される電力に基づいて、前記カメラモジュール及び前記センサーモジュールに電力を供給する、
食品検出装置。

【請求項3】

前記電力供給部は、交流を直流に変換する回路を備える、
請求項１又は２に記載の食品検出装置。

【請求項4】

前記カメラは、前記開閉センサーが開状態を検出した場合に撮影を開始し、前記開閉センサーが閉状態を検出した場合に撮影を終了する、
請求項１から３のいずれか一項に記載の食品検出装置。

【請求項5】

前記センサーモジュールは、前記冷蔵庫の設置場所の照度を検出する照度センサーと、前記冷蔵庫の周囲に存在する人物を検出する人感センサーとを有し、
前記カメラは、前記照度センサー及び前記人感センサーの少なくともいずれかの検出結果が、前記冷蔵庫の周囲に人物が存在することを示す結果である場合、前記開閉センサーが閉状態を検出していても撮影を開始する、
請求項４に記載の食品検出装置。

【請求項6】

前記センサーモジュールは、前記冷蔵庫の周囲に存在する人物を検出する人感センサーを有し、
前記カメラは、前記人感センサーの検出結果が、前記冷蔵庫の周囲に人物が存在することを示す結果である場合、前記開閉センサーが閉状態を検出していても撮影を開始する、
請求項４に記載の食品検出装置。

【請求項7】

前記カメラは、動画像を撮影する、
請求項１から６のいずれか一項に記載の食品検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、食品検出装置に関する。

【背景技術】

【0002】

特許文献１は、遠隔地でも冷蔵庫の庫内をユーザーが確認可能なシステムを開示している。当該システムは、冷蔵庫のドアポケットに設けられたカメラユニットにより冷蔵庫の庫内を撮影し、撮影画像をユーザーの通信端末に送信する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１１１０２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、冷蔵庫に入出庫される食品をカメラによって精度良く検出できる食品検出装置を提供する。

【課題を解決するための手段】

【0005】

本開示における食品検出装置は、ユーザーによって冷蔵庫の上部に取り付けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、前記冷蔵庫のドア及び引出の少なくともいずれかの開閉状態を検出する開閉センサーを有するセンサーモジュールと、前記カメラモジュール及び前記センサーモジュールに電力を供給する電力供給部と、を備え前記食品検出装置の電源ケーブルが前記冷蔵庫の外部の商用交流電源に接続され、前記電力供給部は、前記電源ケーブルを介して前記商用交流電源から供給される電力に基づいて、前記カメラモジュール及び前記センサーモジュールに電力を供給する。

【0006】

本開示における食品検出装置は、冷蔵庫の上部に設けられ、カメラにより前記冷蔵庫に入出庫される食品を検出する食品検出装置であって、前記冷蔵庫の前上方から前記冷蔵庫を撮影する前記カメラを有するカメラモジュールと、前記冷蔵庫のドア及び引出の少なくともいずれかの開閉状態を検出する開閉センサーを有するセンサーモジュールと、前記カメラモジュール及び前記センサーモジュールに電力を供給する電力供給部と、を備え、前記食品検出装置の電源ケーブルが前記冷蔵庫の外部の商用交流電源に接続され、前記電力供給部は、前記電源ケーブルを介して前記商用交流電源から供給される電力に基づいて、前記カメラモジュール及び前記センサーモジュールに電力を供給する。

【発明の効果】

【0009】

本開示における食品検出装置は、冷蔵庫に入出庫される食品を当該食品の上方から撮影できるため、冷蔵庫に入出庫される食品を精度良く撮影結果に含めることができる。そのため、冷蔵庫に入出庫される食品をカメラによって精度良く検出できる。

【図面の簡単な説明】

【0010】

【図1】食品管理システムの構成を示す図

【図2】冷蔵庫及び食品検出装置を前方側からみた図

【図3】冷蔵庫及び食品検出装置を右側方側からみた図

【図4】食品検出装置の構成を示すブロック図

【図5】端末装置及び食品管理サーバーの構成を示すブロック図

【図6】食品管理データベースの一例を示す図

【図7】取付用画面の一例を示す図

【図8】食品検出装置の動作を示すフローチャート

【図9】食品検出装置及び食品管理サーバーの動作を示すフローチャート

【図10】食品管理画面の一例を示す図

【図11】端末装置及び食品管理サーバーの動作を示すフローチャート

【発明を実施するための形態】

【0011】

（本開示の基礎となった知見等）
上記従来技術は、冷蔵室の正面側から奥側に向けて撮影を行う構成のため、ある食品の背面側に他の食品が存在しても撮影画像にはこの他の食品が含まれない可能性がある。そのため、上記従来技術のような撮影を行うカメラの撮影結果からでは、冷蔵庫に入出庫される食品を精度良く検出することが難しい。
そこで、本開示は、冷蔵庫に入出庫される食品をカメラによって精度良く検出できる食品検出装置を提供する。

【0012】

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

【0013】

（実施の形態１）
まず、実施の形態１について説明する。
［１－１．構成］
図１は、食品管理システム１０００の構成を示す図である。

【0014】

食品管理システム１０００は、冷蔵庫１が収容する食品について、残量や、保存が開始された保存開始日、賞味期限または消費期限の期限日等を管理するシステムである。

【0015】

食品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａ及び右ドア１１Ｂが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、食品を収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａが設けられている。
以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付して総称する。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付して総称する。

【0016】

食品管理システム１０００は、食品検出装置２を備える。食品検出装置２は、冷蔵庫１に入出庫される食品を検出する装置であり、冷蔵庫１の上部として冷蔵庫１の上面に設けられる。

【0017】

ここで、図２及び図３を参照して食品検出装置２の構成について説明する。
図２は、冷蔵庫１及び食品検出装置２を前方側からみた図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１及び食品検出装置２を右側からみた図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。

【0018】

図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

【0019】

食品検出装置２は、冷蔵室用カメラ２１及び引出用カメラ２２を有する。食品検出装置２は、冷蔵庫１の前上方から冷蔵室用カメラ２１及び引出用カメラ２２が冷蔵庫１の前面を撮影するように、冷蔵庫１の上面に設けられる。

【0020】

冷蔵室用カメラ２１は、冷蔵室１１に入出庫される食品を検出するためのカメラである。

【0021】

冷蔵室用カメラ２１の撮影範囲は、冷蔵室１１に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。

【0022】

例えば、冷蔵室用カメラ２１の撮影範囲は、正面視において、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態において、左ドア１１Ａに設けられるドアポケット１１Ａ１、１１Ａ２、１１Ａ３、１１Ａ４、右ドア１１Ｂに設けられるドアポケット１１Ｂ１、１１Ｂ２、１１Ｂ３、１１Ｂ４、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２１の撮影範囲は、側面視において、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから、棚１１１、１１２、１１３、１１４の前方端部までを含む範囲であり、且つ、上下方向において冷蔵室１１の開口部を含む範囲である。なお、棚１１１、１１２、１１３、１１４は、冷蔵室１１内に設けられ冷蔵室１１を複数エリアに区画する部材である。

【0023】

引出用カメラ２２は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に入出庫される食品を検出するためのカメラである。

【0024】

引出用カメラ２２の撮影範囲は、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の各々に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。

【0025】

例えば、引出用カメラ２２の撮影範囲は、正面視において、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の正面視において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを含む範囲である。また、引出用カメラ２２の撮影範囲は、側面視において、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、引き出された状態の引出１２Ａ、１３Ａ、１４Ａ、１５Ａの上面を含む範囲である。

【0026】

食品検出装置２は、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を有する。左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５は、開閉センサーの一例に対応する。以下の説明において、左ドア用測距センサー２３、右ドア用測距センサー２４、及び引出用測距センサー２５を区別しない場合、「開閉用測距センサー」といい「２８」の符号を付す。開閉用測距センサー２８は、検出値を後述するセンサーモジュール制御部２１１に出力する。

【0027】

左ドア用測距センサー２３は、左ドア１１Ａの開閉状態を検出するための測距センサーである。左ドア用測距センサー２３は、左ドア１１Ａの開閉状態として、左ドア１１Ａとの間の距離を検出する。

【0028】

右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態を検出するための測距センサーである。右ドア用測距センサー２４は、右ドア１１Ｂの開閉状態として、右ドア１１Ｂとの間の距離を検出する。

【0029】

引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態を検出するための測距センサーである。なお、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが開状態であるとは、対応する収容室から引き出された状態である。また、引出１２Ａ、１３Ａ、１４Ａ、１５Ａが閉状態であるとは、対応する収容室に収容された状態である。引出用測距センサー２５は、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々の開閉状態として、引出１２Ａ、１３Ａ、１４Ａ、１５の各々との間の距離を検出する。

【0030】

食品検出装置２は、照度センサー２６及び人感センサー２７を有する。照度センサー２６及び人感センサー２７は、検出値をセンサーモジュール制御部２１１に出力する。

【0031】

照度センサー２６は、食品検出装置２が配置される場所、すなわち冷蔵庫１が配置される場所の照度を検出する。

【0032】

人感センサー２７は、冷蔵庫１の周囲に存在する人物を検出する。本実施の形態では、人感センサー２７は、食品検出装置２の前面に設けられ、冷蔵庫１の周囲において冷蔵庫１の前方に存在する人物を検出する。

【0033】

なお、図２では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が左右方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２の説明便宜のための図示であり、図２のように設けられていなくてもよい。
また、図３では、引出用測距センサー２５、引出用カメラ２２、及び冷蔵室用カメラ２１が前後方向においてこの順番で並んで設けられているように図示している。しかしながら、これは、食品検出装置２のための図示であり、図３のように設けられていなくてもよい。

【0034】

図１の説明に戻り、食品管理システム１０００は、タッチパネル３２を有する端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末により構成される。端末装置３は、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムがインストールされており、当該アプリケーションの機能によって食品管理サーバー４と通信する。
以下の説明では、冷蔵庫１に収容される食品を管理するためのアプリケーションプログラムを、「食品管理用アプリ」といい「３２３」の符号を付す。

【0035】

図１では、在宅するユーザーＰを実線で示し、自宅Ｈから外出したユーザーＰを点線で示している。端末装置３は、在宅するユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介して、或いは通信装置５を介さずに、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。また、端末装置３は、自宅Ｈから外出したユーザーＰに使用される場合、食品管理用アプリ３２３の機能によって、通信装置５を介すことなく食品管理サーバー４と通信する。

【0036】

通信装置５は、インターネット、電話網、その他の通信網を含むグローバルネットワークＧＮに接続し、グローバルネットワークＧＮに接続する食品管理サーバー４と通信する。通信装置５は、端末装置３をグローバルネットワークＧＮに接続するためのインターフェイス装置である。通信装置５は、モデムに係る機能や、ルーター機能、ＮＡＴ（Network Address Translation）機能等の機能を有する。通信装置５は、端末装置３と、グローバルネットワークＧＮに接続する食品管理サーバー４との間で送受信されるデータを転送する。

【0037】

食品管理システム１０００は、食品管理サーバー４を備える。食品管理サーバー４は、冷蔵庫１に収容される食品を管理するサーバー装置であり、グローバルネットワークＧＮに接続する。なお、各図では、食品管理サーバー４を、１つのブロックによって表現するが、これは必ずしも食品管理サーバー４が単一のサーバー装置により構成されることを意味するものではない。例えば、食品管理サーバー４は、処理内容が異なる複数のサーバー装置を含んで構成されたものでもよい。

【0038】

次に、食品検出装置２、端末装置３、及び食品管理サーバー４の構成について説明する。

【0039】

図４は、食品検出装置２の構成を示すブロック図である。
食品検出装置２は、センサーモジュール２１０、カメラモジュール２２０、及び電力供給部２３０を備える。

【0040】

センサーモジュール２１０は、センサーモジュール制御部２１１、センサー部２１２、及びセンサー側モジュール間通信部２１３を備える。

【0041】

センサーモジュール制御部２１１は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるセンサープロセッサー２１１１、及び、センサー記憶部２１１２を備え、センサーモジュール２１０の各部を制御する。センサーモジュール制御部２１１は、センサープロセッサー２１１１が、センサー記憶部２１１２に記憶された制御プログラム２１１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。

【0042】

センサー記憶部２１１２は、センサープロセッサー２１１１が実行するプログラムや、センサープロセッサー２１１１に処理されるデータを記憶する記憶領域を有する。センサー記憶部２１１２は、センサープロセッサー２１１１が実行する制御プログラム２１１３、センサーモジュール２１０の設定に係る設定データ２１１４、その他の各種データを記憶する。センサー記憶部２１１２は、不揮発性の記憶領域を有する。また、センサー記憶部２１１２は、揮発性の記憶領域を備え、センサープロセッサー２１１１のワークエリアを構成してもよい。

【0043】

センサー部２１２は、左ドア用測距センサー２３、右ドア用測距センサー２４、引出用測距センサー２５、照度センサー２６、及び人感センサー２７を備え、センサーごとに検出値をセンサーモジュール制御部２１１に出力する。なお、センサー部２１２は、上記５種のセンサー以外のセンサーを備えていてもよい。

【0044】

センサー側モジュール間通信部２１３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、センサーモジュール制御部２１１の制御に従って、カメラモジュール２２０と通信する。

【0045】

カメラモジュール２２０は、カメラモジュール制御部２２１、撮影部２２２、カメラモジュール通信部２２３、及びカメラ側モジュール間通信部２２４を備える。

【0046】

カメラモジュール制御部２２１、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるカメラプロセッサー２２１１、及びカメラ記憶部２２１２を備え、カメラモジュール２２０の各部を制御する。カメラモジュール制御部２２１は、カメラプロセッサー２２１１が、カメラ記憶部２２１２に記憶された制御プログラム２２１３を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。カメラモジュール制御部２２１は、制御プログラム２２１３を読み出して実行することにより、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。

【0047】

カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行するプログラムや、カメラプロセッサー２２１１に処理されるデータを記憶する記憶領域を有する。カメラ記憶部２２１２は、カメラプロセッサー２２１１が実行する制御プログラム２２１３、カメラモジュール２２０の設定に係る設定データ２２１４、食品検出装置ＩＤ２２１５、その他の各種データを記憶する。食品検出装置ＩＤ２２１５については後述する。カメラ記憶部２２１２は、不揮発性の記憶領域を有する。また、カメラ記憶部２２１２は、揮発性の記憶領域を備え、カメラプロセッサー２２１１のワークエリアを構成してもよい。

【0048】

撮影部２２２は、冷蔵室用カメラ２１と引出用カメラ２２とを備える。撮影部２２２は、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果をカメラモジュール制御部２２１に出力する。本実施の形態では、冷蔵室用カメラ２１及び引出用カメラ２２は、動画像を撮影する。そのため、撮影部２２２は、撮影結果として動画像のデータをカメラモジュール制御部２２１に出力する。

【0049】

カメラモジュール通信部２２３は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御で食品管理サーバー４と通信する。本実施の形態では、カメラモジュール通信部２２３が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

【0050】

カメラ側モジュール間通信部２２４は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、カメラモジュール制御部２２１の制御に従って、センサーモジュール２１０と通信する。

【0051】

上述したように、カメラモジュール制御部２２１は、検出値処理部２２１Ａ、撮影制御部２２１Ｂ、動画像処理部２２１Ｃ、及び食品検出部２２１Ｄとして機能する。

【0052】

検出値処理部２２１Ａは、センサーモジュール２１０から出力される各種センサーの検出値に基づいて、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの各々について開状態か閉状態かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、開状態か閉状態かを判定する。なお、この所定の閾値は、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａごとに異なっていてもよい。検出値処理部２２１Ａは、いずれかが開状態であると判定した場合、開状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。また、検出値処理部２２１Ａは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれも閉状態であると判定した場合、閉状態であることを示す開閉状態情報を、撮影制御部２２１Ｂ及び動画像処理部２２１Ｃに出力する。

【0053】

また、検出値処理部２２１Ａは、センサーモジュール２１０から出力される照度センサー２６及び人感センサー２７の検出値に基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。例えば、検出値処理部２２１Ａは、検出値が所定の閾値を下回るか否かに基づいて、冷蔵庫１の周囲に人物が存在するか否かを判定する。検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在すると判定した場合、人物が存在することを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。また、検出値処理部２２１Ａは、冷蔵庫１の周囲に人物が存在しないと判定した場合、人物が存在しないことを示す人物存在有無情報を、撮影制御部２２１Ｂに出力する。

【0054】

撮影制御部２２１Ｂは、撮影部２２２を制御して、冷蔵室用カメラ２１及び引出用カメラ２２に動画像を撮影させる。撮影制御部２２１Ｂの詳細については、図８を参照して説明する。

【0055】

動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に各種処理を行い、処理を施した撮影結果をカメラ記憶部２２１２に記憶させる。動画像処理部２２１Ｃの詳細については、図８を参照して説明する。

【0056】

食品検出部２２１Ｄは、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づいて、冷蔵庫１に入出庫される食品を検出する。食品検出部２２１Ｄの詳細については、図９を参照して説明する。

【0057】

電力供給部２３０は、電力を供給する回路等のハードウェアを備え、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、本実施の形態のように、センサーモジュール２１０及びカメラモジュール２２０の各々に並列して電力を供給する構成でもよいし、いずれか一方のモジュールを介して他のモジュールに電力を供給する構成でもよい。

【0058】

本実施の形態の電力供給部２３０は、外部の商用交流電源７から供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。商用交流電源７は、商用電源の一例に対応する。食品検出装置２の電源ケーブルが商用交流電源７に接続されており、電力供給部２３０は、電源ケーブルを介して商用交流電源７から電力供給を受け、供給された電力に基づいて、センサーモジュール２１０及びカメラモジュール２２０の各々に電力を供給する。電力供給部２３０は、ハードウェアとして、例えば、交流を直流に変換する回路や、降圧する回路等を備える。

【0059】

なお、電力供給部２３０に電力を供給する供給元は、外部の商用交流電源７に限定されず、冷蔵庫１或いはバッテリーでもよい。供給元が前者の場合、電力供給部２３０及び冷蔵庫１は、ＵＳＢの給電可能な規格に従ったハードウェアを備える。そして、供給元が前者の場合では、食品検出装置２のＵＳＢケーブルが冷蔵庫１のＵＳＢポートに接続し、ＵＳＢケーブルを介して冷蔵庫１が電力供給部２３０に電力を供給する。供給元が後者の場合、食品検出装置２は、バッテリーを備える。

【0060】

図５は、端末装置３と食品管理サーバー４の構成を示すブロック図である。

【0061】

まず、食品管理サーバー４の構成について説明する。

【0062】

食品管理サーバー４は、サーバー制御部４０及びサーバー通信部４１を備える。

【0063】

サーバー制御部４０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーであるサーバープロセッサー４１０、及び、サーバー記憶部４２０を備え、食品管理サーバー４の各部を制御する。サーバー制御部４０は、サーバープロセッサー４１０が、サーバー記憶部４２０に記憶された制御プログラム４２１を読み出して処理を実行するように、ハードウェア、及びソフトウェアの協働により各種処理を実行する。サーバー制御部４０は、制御プログラム４２１を読み出して実行することにより、食品認識部４１００として機能する。

【0064】

サーバー記憶部４２０は、サーバープロセッサー４１０が実行するプログラムや、サーバープロセッサー４１０により処理されるデータを記憶する記憶領域を有する。サーバー記憶部４２０は、サーバープロセッサー４１０が実行する制御プログラム４２１、食品管理サーバー４の設定に係る設定データ４２２、食品管理データベース４２３、その他の各種データを記憶する。サーバー記憶部４２０は、不揮発性の記憶領域を有する。また、サーバー記憶部４２０は、揮発性の記憶領域を備え、サーバープロセッサー４１０のワークエリアを構成してもよい。

【0065】

図６は、食品管理データベース４２３の一例を示す図である。
食品管理データベース４２３は、冷蔵庫１が収容する食品に係る各種情報を格納するデータベースである。

【0066】

食品管理データベース４２３が格納する１件のレコードＲは、ユーザーＩＤ４２３１、食品検出装置ＩＤ２２１５、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９を有する。

【0067】

なお、食品管理データベース４２３が格納する１件のレコードＲは、さらに１又は複数の別種類の情報を有していてもよい。

【0068】

ユーザーＩＤ４２３１は、食品管理用アプリ３２３を利用するユーザーＰを識別する識別情報であり、食品管理用アプリ３２３を利用するユーザーＰに対して適切に割り当てられる。

【0069】

食品検出装置ＩＤ２２１５は、食品検出装置２を識別するための識別情報である。食品検出装置ＩＤ２２１５は、例えば、食品検出装置２の製造番号や、食品検出装置２のシリアル番号、カメラモジュール２２０の製造番号、カメラモジュール２２０のシリアル番号等である。

【0070】

食品名情報４２３２は、食品の名称を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対して、１又は複数の食品名情報４２３２が対応付けられる。

【0071】

残量情報４２３３は、食品の残量を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の残量情報４２３３が対応付けられる。図６の残量情報４２３３が示す食品の残量は、食品の名称に対応する単位で示されている。残量情報４２３３が示す残量は、サーバー制御部４０によって適切に更新される。

【0072】

保存場所情報４２３４は、食品の保存場所を示す情報である。本実施の形態では、保存場所情報４２３４は、保存場所として、冷蔵庫１が有する収容室のいずれかを示す。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存場所情報４２３４が対応付けられる。

【0073】

保存開始日情報４２３５は、食品の保存開始日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の保存開始日情報４２３５が対応付けられる。

【0074】

期限日情報４２３６は、食品の賞味期限または消費期限の期限日を示す情報である。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日情報４２３６が対応付けられる。

【0075】

期限日通知タイミング情報４２３７は、対応付く期限日情報４２３６が示す期限日を、ユーザーＰに通知するタイミングを示す情報である。図６に示すように、期限日通知タイミング情報４２３７が示すタイミングは、期限日情報４２３６が示す期限日から何日前といったタイミングである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の期限日通知タイミング情報４２３７が対応付けられる。

【0076】

新規通知タイミング情報４２３８は、新規に食品が冷蔵庫１に収容されたことを通知するタイミングを示す情報である。図６に示すように、新規通知タイミング情報４２３８が示すタイミングは、保存開始日情報４２３５が示す保存開始日から何日間といったタイミングである。

【0077】

食品画像データ４２３９は、食品の画像である食品画像ＦＧの画像データである。１件のレコードＲでは、ユーザーＩＤ４２３１に対応付く食品名情報４２３２と同数の食品画像データ４２３９が対応付けられる。

【0078】

図５の説明に戻り、サーバー通信部４１は、所定の通信規格に従った通信回路やコネクタ等の通信ハードウェアを備え、サーバー制御部４０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態においてサーバー通信部４１は、食品検出装置２及び端末装置３と通信する。

【0079】

上述した通り、サーバー制御部４０は、食品認識部４１００として機能する。
食品認識部４１００は、食品検出装置２が検出した食品を認識する。食品認識部４１００の詳細については、図９を参照して説明する。

【0080】

次に、端末装置３の機能的構成について説明する。
端末装置３は、端末制御部３０、端末通信部３１、及びタッチパネル３２を備える。

【0081】

端末制御部３０は、ＣＰＵやＭＰＵ等のプログラムを実行するプロセッサーである端末プロセッサー３１０、及び端末記憶部３２０を備え、端末装置３の各部を制御する。端末制御部３０は、端末プロセッサー３１０が、端末記憶部３２０に記憶された制御プログラム３２１を読み出して処理を実行するように、ハードウェア及びソフトウェアの協働により各種処理を実行する。端末装置３には、食品管理用アプリ３２３が事前にインストールされる。食品管理用アプリ３２３は、端末プロセッサー３１０により端末記憶部３２０から読み出されて実行されることで、端末制御部３０を、アプリ実行部３１００として機能させるプログラムである。

【0082】

端末記憶部３２０は、端末プロセッサー３１０が実行するプログラムや、端末プロセッサー３１０により処理されるデータを記憶する記憶領域を有する。端末記憶部３２０は、端末プロセッサー３１０が実行する制御プログラム３２１、端末装置３の設定に係る設定データ３２２、食品管理用アプリ３２３、ユーザーＩＤ４２３１、その他の各種データを記憶する。端末記憶部３２０は、不揮発性の記憶領域を有する。また、端末記憶部３２０は、揮発性の記憶領域を備え、端末プロセッサー３１０のワークエリアを構成してもよい。

【0083】

端末通信部３１は、所定の通信規格に従った通信回路等の通信ハードウェアを備え、端末制御部３０の制御により、グローバルネットワークＧＮと接続する機器と所定の通信規格に従って通信する。本実施の形態において端末通信部３１は、アプリ実行部３１００の制御に従って、食品管理サーバー４と所定の通信規格に従って通信する。本実施の形態では、端末通信部３１が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

【0084】

タッチパネル３２は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。表示パネルは、端末制御部３０の制御で、各種画像を表示する。タッチセンサーは、タッチ操作を検出し、端末制御部３０に出力する。端末制御部３０は、タッチセンサーからの入力に基づいて、タッチ操作に対応する処理を実行する。

【0085】

上記の通り、端末制御部３０は、アプリ実行部３１００として機能する。
アプリ実行部３１００は、端末通信部３１を制御して、食品管理サーバー４と各種情報を送受信する。アプリ実行部３１００は、端末装置３と通信装置５とが通信接続が可能である場合、通信装置５を介して食品管理サーバー４と各種情報を送受信し、そうでない場合、通信装置５を介さず食品管理サーバー４と各種情報を送受信する。このため、ユーザーＰが自宅Ｈ内或いは自宅Ｈの周辺に位置しなくても、端末装置３は、食品管理用アプリ３２３の機能によって、食品管理サーバー４と各種情報を送受信できる。

【0086】

また、アプリ実行部３１００は、冷蔵庫１に収容される食品を管理に係るユーザーインターフェースを、タッチパネル３２に表示させる。以下の説明において、このユーザーインターフェースを、「食品管理用ＵＩ」といい「３２００」の符号を付す。アプリ実行部３１００は、食品管理用ＵＩ３２００をタッチパネル３２に表示させることで、冷蔵庫１に収容される食品に係る各種情報をユーザーＰに提供し、また、冷蔵庫１に収容される食品に係る各種入力をユーザーＰから受け付ける。

【0087】

［１－２．動作］
次に、食品管理システム１０００の各部の動作について説明する。
本実施の形態では、食品検出装置２が冷蔵庫１と別体である場合を例示している。そのため、食品検出装置２は、ユーザーＰによって冷蔵庫１の上面に取り付けられる。

【0088】

まず、食品検出装置２が冷蔵庫１に取り付けられる場合の食品管理システム１０００の各部の動作について説明する。

【0089】

食品検出装置２が冷蔵庫１に取り付けられる場合においては、アプリ実行部３１００は、取付用画面ＴＧの食品管理用ＵＩをタッチパネル３２に表示させる。

【0090】

図７は、取付用画面ＴＧの一例を示す図である。
取付用画面ＴＧは、撮影結果表示領域ＨＡ１が設けられる。撮影結果表示領域ＨＡ１は、矩形の領域であり、冷蔵室用カメラ２１及び引出用カメラ２２のいずれかの撮影結果を表示する領域である。撮影結果表示領域ＨＡ１には、図中の左右方向における略中央に、上下方向に延びる線Ｌ１が設けられている。

【0091】

取付用画面ＴＧは、取付方法情報Ｊ１を含む。取付方法情報Ｊ１は、食品検出装置２を冷蔵庫１の上面に取り付ける際、どのように取り付けるかを示す情報である。図７に示す取付方法情報Ｊ１は、撮影結果表示領域ＨＡ１が表示する撮影結果に写る冷蔵庫１の左右方向の中心が、撮影結果表示領域ＨＡ１に設けられる線Ｌ１となるように取り付けることを示す。

【0092】

ユーザーＰが、取付方法情報Ｊ１が示す取り付け方に倣って食品検出装置２を冷蔵庫１の上面に取り付けることで、冷蔵室用カメラ２１の撮影範囲及び引出用カメラ２２の撮影範囲は、図２及び図３を参照して説明した撮影範囲に設定される。すなわち、食品検出装置２は、冷蔵庫１に入出庫される食品を、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影範囲に含ませることができるように、冷蔵庫１に取り付けられる。

【0093】

ここで、食品検出装置２が冷蔵庫１に取り付けられる場合における食品管理システム１０００の各部の動作について説明する。当該場合の動作においては、電力供給部２３０が、少なくともカメラモジュール２２０に電力を供給しており、カメラモジュール２２０が、冷蔵室用カメラ２１及び引出用カメラ２２のいずれかの撮影結果を端末装置３に送信可能である。なお、食品検出装置２が冷蔵庫１に取り付けられる場合においてカメラモジュール２２０と端末装置３とは、食品管理サーバー４を介して通信してもよいし、近距離無線通信等によって直接通信してもよい。

【0094】

端末装置３のアプリ実行部３１００は、取付用画面ＴＧの表示指示を受け付けた場合、撮影結果を要求する要求情報を、端末通信部３１により食品検出装置２に送信する。
食品検出装置２のカメラモジュール２２０のカメラモジュール制御部２２１は、カメラモジュール通信部２２３により要求情報を受信すると、冷蔵室用カメラ２１及び引出用カメラ２２のいずれかの撮影結果を、カメラモジュール通信部２２３により端末装置３に送信する。
そして、アプリ実行部３１００は、受信した撮影結果を撮影結果表示領域ＨＡ１に表示する。

【0095】

以上のように、アプリ実行部３１００が、取付用画面ＴＧの食品管理用ＵＩ３２００をタッチパネル３２に表示させることにより、ユーザーＰは、簡単且つ適切に、食品検出装置２を冷蔵庫１に取り付けることができる。

【0096】

次に、食品の管理に係わる食品管理システム１０００の各部の動作について説明する。

【0097】

まず、冷蔵室用カメラ２１及び引出用カメラ２２の撮影に係わる食品検出装置２の動作について説明する。
図８は、食品検出装置２の動作を示すフローチャートである。
図８に示す動作では、センサー部２１２が有する各種センサーの検出値を、センサーモジュール２１０がセンサー側モジュール間通信部２１３によってカメラモジュール２２０に送信し、且つ、カメラモジュール２２０がカメラ側モジュール間通信部２２４によって当該検出値を受信している。そして、図８に示す動作では、検出値処理部２２１Ａがセンサーモジュール２１０から受信した各種の検出値に基づいて処理を実行している。

【0098】

カメラモジュール２２０の撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ１）。

【0099】

撮影制御部２２１Ｂは、検出値処理部２２１Ａから、人物が存在することを示す人物存在有無情報を取得した場合、ステップＳＡ１において肯定判別し、検出値処理部２２１Ａから、人物が存在しないことを示す人物存在有無情報を取得した場合、ステップＳＡ１において否定判別する。

【0100】

撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による動画像の撮影を開始する（ステップＳＡ３）。

【0101】

一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ１：ＮＯ）、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれかが開状態であるか否かを判別する（ステップＳＡ２）。

【0102】

撮影制御部２２１Ｂは、検出値処理部２２１Ａから開状態を示す開閉状態情報を取得した場合、ステップＳＡ２において肯定判別し、検出値処理部２２１Ａから閉状態を示す開閉状態情報を取得した場合、ステップＳＡ２において否定判別する。

【0103】

撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４、１５Ａのいずれも開状態でないと判別した場合（ステップＳＡ２：ＮＯ）、処理をステップＳＡ１に戻し、再度、ステップＳＡ１の処理を実行する。

【0104】

撮影制御部２２１Ｂは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかが開状態であると判別した場合（ステップＳＡ２：ＹＥＳ）、ステップＳＡ３の処理を実行する。

【0105】

ステップＳＡ３において撮影が開始すると、カメラモジュール２２０の動画像処理部２２１Ｃは、動画像を構成するフレームごとに、ステップＳＡ４－ステップＳＡ８の処理を実行する。

【0106】

冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を開始すると、動画像処理部２２１Ｃは、開閉状態情報を検出値処理部２２１Ａから取得する（ステップＳＡ４）。

【0107】

次いで、動画像処理部２２１Ｃは、冷蔵室用カメラ２１及び引出用カメラ２２の各々の撮影結果について、１フレーム分の撮影画像を縮小する（ステップＳＡ５）。ここでいう縮小とは、いわゆるリサイズである。

【0108】

動画像処理部２２１Ｃは、縮小した１フレーム分の撮影画像と、ステップＳＡ４で取得した開閉状態情報とを対応付けて、カメラ記憶部２２１２に記憶する（ステップＳＡ６）。なお、動画像処理部２２１Ｃは、ステップＳＡ６を行うたびに、時系列に並べて記憶していく。

【0109】

次いで、撮影制御部２２１Ｂは、ステップＳＡ１と同様に、冷蔵庫１の周囲に人物が存在するか否かを判別する（ステップＳＡ７）。

【0110】

撮影制御部２２１Ｂが、冷蔵庫１の周囲に人物が存在すると判別した場合（ステップＳＡ７：ＹＥＳ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。

【0111】

一方、撮影制御部２２１Ｂは、冷蔵庫１の周囲に人物が存在しないと判別した場合（ステップＳＡ７：ＮＯ）、ステップＳＡ２と同様に、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であるか否かを判別する（ステップＳＡ８）。

【0112】

撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、及び引出１２Ａ、１３Ａ、１４Ａ、１５Ａの全てが閉状態でないと判別した場合（ステップＳＡ８：ＮＯ）、動画像処理部２２１Ｃは、再度、ステップＳＡ４以降の処理を実行する。

【0113】

一方、撮影制御部２２１Ｂが、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれもが閉状態であると判別した場合（ステップＳＡ８：ＹＥＳ）、冷蔵室用カメラ２１及び引出用カメラ２２による撮影を終了する（ステップＳＡ９）。

【0114】

次に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に基づく食品の管理に係わる動作について説明する。
図９は、食品検出装置２及び食品管理サーバー４の動作を示すフローチャートである。図９において、フローチャートＦＢは、食品検出装置２の動作を示す。また、図９において、フローチャートＦＣは、食品管理サーバー４の動作を示す。

【0115】

食品検出装置２のカメラモジュール２２０の食品検出部２２１Ｄは、カメラ記憶部２２１２に、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果である動画像が記憶されたか否かを判別する（ステップＳＢ１）。

【0116】

食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されていないと判別した場合（ステップＳＢ１：ＮＯ）、再度、ステップＳＢ１の処理を実行する。

【0117】

一方、食品検出部２２１Ｄは、動画像がカメラ記憶部２２１２に記憶されたと判別した場合（ステップＳＢ１：ＹＥＳ）、有効フレーム判定処理を実行する（ステップＳＢ２）。

【0118】

有効フレーム判定処理は、カメラ記憶部２２１２に記憶された動画像を構成するフレームから有効フレームを判定し、有効フレームとして判定されたフレームを動画像から抽出する一方、有効フレームとして特定されなかったフレームについては動画像から破棄する処理である。有効フレームとは、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａの少なくともいずれかが開状態である場合の像が写るフレームである。

【0119】

ここで、有効フレーム判定処理における有効フレームの判定方法について、複数の方法を説明する。
＜第１の方法＞
第１の方法は、フレームに対応付く開閉状態情報による判定である。
食品検出部２２１Ｄは、有効フレームの判定において、開状態を示す開閉状態情報が対応付くフレームを有効フレームと判定し、閉状態を示す開閉状態情報が対応付くフレームを有効フレームでないと判定する。

【0120】

＜第２の方法＞
第２の方法は、画像の差分抽出による判定である。
食品検出部２２１Ｄは、動画像を構成するフレームの差分抽出を行うことで、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかが開状態である場合の像が写るフレームを特定する。そして、食品検出部２２１Ｄは、特定したフレームを有効フレームと判定し、特定したフレーム以外のフレームを有効フレームでないと判定する。例えば、食品検出部２２１Ｄは、閉状態のフレームに対して差分抽出を行っていき、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかに差分があるフレームを、有効フレームと判定する。なお、差分抽出の基準となる閉状態のフレームは、例えば、動画像を構成するフレームのうち最も古いフレームである。

【0121】

＜第３の方法＞
第３の方法は、第１の方法と第２の方法とに基づく判定である。
食品検出部２２１Ｄは、開状態を示す開閉状態情報が対応付くフレームを有効フレームと判定する。次いで、食品検出部２２１Ｄは、閉状態を示す開閉状態情報が対応付くフレームを対象に、閉状態のフレームに対する差分抽出を行い、左ドア１１Ａ、右ドア１１Ｂ、引出１２Ａ、１３Ａ、１４Ａ、１５Ａのいずれかに差分があるフレームを、有効フレームと判定する。

【0122】

食品検出部２２１Ｄは、有効フレーム判定処理を実行すると、有効フレームから、冷蔵庫１に入出庫された食品を検出する（ステップＳＢ３）。ステップＳＢ３の処理では、有効フレームから食品が検出できた場合、検出できた食品について食品の種類及び入出庫された収容室も併せて検出する。なお、食品検出部２２１Ｄは、食品の種類として、食品名より広義な分類で検出する。例えば実際に入出庫された食品が牛乳である場合、食品検出部２２１Ｄは、ステップＳＢ３において、食品の種類を、「パックの飲料物」と検出する。

【0123】

例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、有効フレームから冷蔵庫１に入出庫された食品を検出する。また、例えば、食品検出部２２１Ｄは、形状や色等の特徴量に基づいて、検出できた食品の種類を検出する。また、例えば、食品検出部２２１Ｄは、カメラの種類や、有効フレームに写る引出１６Ａのサイズ等に基づいて、検出できた食品が入出庫された収容室を検出する。
ステップＳＢ３において検出に必要なデータは、カメラモジュール制御部２２１が取得可能な記憶領域に記憶されている。

【0124】

食品検出部２２１Ｄは、有効フレームから、冷蔵庫１に入出庫された食品を検出できか否かを判別する（ステップＳＢ４）。

【0125】

食品検出部２２１Ｄは、有効フレームから冷蔵庫１に入出庫された食品を検出できなかったと判別した場合（ステップＳＢ４：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を実行する。なお、ステップＳＢ４において否定判別してからステップＳＢ１を再度実行するまでの間に、食品検出部２２１Ｄは、有効フレームの破棄を行ってもよい。これにより、食品が検出できなかった不要な動画像がカメラ記憶部２２１２に記憶され続けることを防止できる。

【0126】

一方、食品検出部２２１Ｄは、冷蔵庫１に入出庫された食品を検出できたと判別した場合（ステップＳＢ４：ＹＥＳ）、入出庫判定処理を行う（ステップＳＢ５）。

【0127】

入出庫判定処理は、ステップＳＢ３が検出できた食品が、冷蔵庫１に入庫された食品であるか出庫された食品であるかを判定する処理である。
例えば、食品検出部２２１Ｄは、入出庫判定処理において、ステップＳＢ３で検出できた食品の像の動画像における移動方向を、有効フレームに基づいて判定する。食品検出部２２１Ｄは、食品の像の移動方向が、後方、すなわち冷蔵庫１に近づく方向である場合、検出した食品が冷蔵庫１から入庫された食品であると判定する。また、食品検出部２２１Ｄは、食品の像の移動方向が、前方、すなわち冷蔵庫１から離れる方向である場合、検出した食品が冷蔵庫１から出庫された食品であると判定する。

【0128】

次いで、食品検出部２２１Ｄは、検出できた食品の食品画像ＦＧを有効フレームから切り出す（ステップＳＢ６）。以下の説明において、切り出された食品画像ＦＧを「切り出し食品画像」という。

【0129】

食品検出部２２１Ｄは、食品管理サーバー４に食品の管理を要求する食品管理要求情報を、カメラモジュール通信部２２３により食品管理サーバー４に送信する（ステップＳＢ７）。

【0130】

食品管理サーバー４に送信される食品管理要求情報は、カメラ記憶部２２１２が記憶する食品検出装置ＩＤ２２１５を含む。
また、食品管理サーバー４に送信される食品管理要求情報は、動画像の撮影が行われた日時を示す日時情報を含む。
また、食品管理サーバー４に送信される食品管理要求情報は、ステップＳＢ３において検出された食品ごとに、切り出し食品画像の画像データ、入出庫判定処理の判定結果を示す入出庫判定結果情報、検出した入庫先又は出庫先を示す保存場所情報４２３４、及び検出した食品の種類を示す食品種類情報を含む。

【0131】

フローチャートＦＣを参照し、食品管理サーバー４のサーバー制御部４０の食品認識部４１００は、サーバー通信部４１により、食品管理要求情報を受信したか否かを判別する（ステップＳＣ１）。

【0132】

食品認識部４１００は、食品管理要求情報を受信していないと判別した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の処理を実行する。

【0133】

一方、食品認識部４１００は、食品管理要求情報を受信したと判別した場合（ステップＳＣ１：ＹＥＳ）、食品管理要求情報に含まれる画像データが示す切り出し食品画像に基づいて、食品認識処理を行う（ステップＳＣ２）。

【0134】

本実施の形態における食品認識処理は、切り出し食品画像から食品を認識し、認識した食品について食品画像ＦＧと食品名情報４２３２とを食品情報データベースから取得する処理である。

【0135】

食品情報データベースは、食品に係わる情報を格納するデータベースであり、例えば、食品ごとに、食品画像ＦＧの画像データ及び食品名情報４２３２を格納する。食品情報データベースは、食品管理サーバー４に記憶されていてもよいし、食品管理サーバー４が通信可能な機器に記憶されていてもよい。

【0136】

例えば、食品の認識は、以下のように行われる。
食品認識部４１００は、食品情報データベースに格納される食品画像ＦＧから、切り出し食品画像と最も一致度の高い食品画像ＦＧを特定する。一致度は、例えば、形状や、色等の特徴量に基づいて所定のアルゴリズムにより算出される。そして、食品認識部４１００は、特定した食品画像ＦＧが示す食品が、切り出し食品画像が示す食品であると認識する。

【0137】

なお、食品認識部４１００は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）によって食品認識を行ってもよい。例えば教師用の食品画像ＦＧから食品の色や形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、サーバー記憶部４２０に記憶させておく。食品認識部４１００は、食品管理要求情報に含まれる食品画像ＦＧを入力データとして、学習済みモデルを参照し当該食品画像ＦＧが示す食品を認識する。ここで、この学習済みモデルがグローバルネットワークＧＮに接続する食品管理サーバー４以外の機器に記憶させており、食品管理サーバー４において食品を認識する構成でもよい。この構成の場合、食品認識部４１００は、食品管理要求情報に含まれる食品画像を、学習済みモデルを記憶する機器に送信し、この機器から食品の特定結果を取得する。そして、食品認識部４１００は、取得した特定結果が示す食品を、切り出し食品画像が示す食品であると認識する。

【0138】

食品認識部４１００は、食品の認識を行うと、認識した食品について食品画像ＦＧ及び食品名情報４２３２を、食品情報データベースから取得する。

【0139】

次いで、食品認識部４１００は、食品認識処理を行うと、食品認識処理の処理結果に基づいて食品管理データベース４２３を更新する（ステップＳＣ３）。

【0140】

ここで、ステップＳＣ３について詳述する。
まず、食品認識部４１００は、食品管理要求情報に含まれる食品検出装置ＩＤ２１２５を有するレコードＲを食品管理データベース４２３から特定する。

【0141】

次いで、食品認識部４１００は、受信した食品管理要求情報に含まれる入出庫判定結果情報に基づいて、認識した食品が、冷蔵庫１に入庫された食品であるか、冷蔵庫１から出庫された食品であるかを判定する。

【0142】

食品認識部４１００は、認識した食品が、冷蔵庫１から出庫された食品であると判定した場合、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を減らす処理を行う。減らす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる食品画像ＦＧに基づいて算出される。ここで、更新後の残量情報４２３３がゼロを示す場合、食品認識部４１００は、保存開始日情報４２３５が示す保存開始日、及び期限日情報４２３６が示す期限日をブランクにしてもよい。

【0143】

食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのある食品については、特定したレコードＲにおいて、認識した食品の食品名情報４２３２に対応付く情報を更新する。
より具体的には、食品認識部４１００は、残量情報４２３３が示す残量を増やす処理を行う。増やす数量は、例えば食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出される。また、食品認識部４１００は、食品管理要求情報に含まれる日時情報が示す日付を、保存開始日情報４２３５が示す保存開始日に変更する処理を行う。また、食品認識部４１００は、演算や問い合わせ等の所定の方法によって、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日を取得し、期限日情報４２３６が示す期限日を取得した期限日に変更する処理を行う。

【0144】

また、食品認識部４１００は、認識した食品が、冷蔵庫１に入庫された食品であると判定した場合、過去に入庫したことのない食品については、特定したレコードＲのユーザーＩＤ４２３１に対して、新たな各種情報を対応付ける。

【0145】

特定したレコードＲのユーザーＩＤ４２３１に対応付けられる各種情報には、食品名情報４２３２、残量情報４２３３、保存場所情報４２３４、保存開始日情報４２３５、期限日情報４２３６、期限日通知タイミング情報４２３７、新規通知タイミング情報４２３８、及び食品画像データ４２３９が含まれる。
ここで、食品名情報４２３２は、食品認識処理の際に取得した食品名情報４２３２である。
また、残量情報４２３３は、例えば、食品認識処理の際に、食品管理要求情報に含まれる切り出し食品画像に基づいて算出された残量を示す。
また、保存場所情報４２３４は、食品管理要求情報に含まれる保存場所情報４２３４である。
また、保存開始日情報４２３５は、食品管理要求情報に含まれる日時情報が示す日付を示す。
また、期限日情報４２３６は、食品管理要求情報に含まれる日時情報が示す日付に基づく期限日、或いはブランクを示す。
また、期限日通知タイミング情報４２３７及び新規通知タイミング情報４２３８は、デフォルトのタイミング、或いはブランクを示す。
また、食品画像データ４２３９は、食品認識処理の際に取得した食品画像ＦＧを示す。

【0146】

以上のようにして、食品管理システム１０００では、食品検出装置２が、撮影結果の動画像から有効フレームを判定し、有効フレームから食品を検出し、検出した食品の食品画像ＦＧを有効フレームから切り出す。そして、食品管理システム１０００では、食品管理サーバー４が、切り出し食品画像から食品の認識を行う。このような役割分担により、食品検出装置２が食品管理サーバー４に送信するデータ量を抑えつつ食品管理サーバー４において食品の認識ができる。よって、食品管理システム１０００において、通信量の増大を抑制しつつ、冷蔵庫１に入出庫された食品を認識できる。

【0147】

次に、アプリ実行部３１００が、食品管理用ＵＩ３２００において食品管理画面ＳＫＧを表示する際の食品管理システム１０００の動作について説明する。食品管理画面ＳＫＧは、冷蔵庫１に収容される食品の管理に係わる画面である。

【0148】

まず、動作の説明の前に、食品管理画面ＳＫＧについて説明する。
図１０は、食品管理画面ＳＫＧの一例を示す図である。

【0149】

食品管理画面ＳＫＧは、食品ごとに、食品に係るオブジェクトＯＢを含む。図１０に示す食品管理画面ＳＫＧは、牛乳に係るオブジェクトＯＢ１、ビールに係るオブジェクトＯＢ２、及び卵に係るオブジェクトＯＢ３を含む。

【0150】

１のオブジェクトＯＢは、食品画像ＦＧと残量情報４２３３と保存開始日情報４２３５とを含む。また、１のオブジェクトＯＢは、食品の期限日が、期限日通知タイミング情報４２３７が示すタイミングに該当している場合、食品の期限日が近いことを警告する期限日警告情報ＫＪを含む。また、１のオブジェクトＯＢは、食品の保存開始日が、新規通知タイミング情報４２３８が示すタイミングに該当している場合、新規に収容された食品であることを明示する新規収容明示情報ＭＪを含む。

【0151】

図１０に示すオブジェクトＯＢ１は、牛乳を示す食品画像ＦＧ１、牛乳の残量を示す残量情報４２３３、牛乳の保存開始日を示す保存開始日情報４２３５、及び期限日警告情報ＫＪを含む。
また、図１０に示すオブジェクトＯＢ２は、ビールを示す食品画像ＦＧ２、ビールの残量を示す残量情報４２３３、ビールの保存開始日を示す保存開始日情報４２３５、及び新規収容明示情報ＭＪを含む。
また、図１０に示すオブジェクトＯＢ３は、卵を示す食品画像ＦＧ３、卵の残量を示す残量情報４２３３、及び卵の保存開始日を示す保存開始日情報４２３５を含む。

【0152】

食品管理画面ＳＫＧは、収容室切り替えボタンＢ１を有する。収容室切り替えボタンＢ１は、食品管理画面ＳＫＧに表示するオブジェクトＯＢの種類を、冷蔵庫１の収容室ごとに切り替えるためのソフトウェアボタンである。収容室切り替えボタンＢ１がタッチ操作されると、食品管理画面ＳＫＧでは、冷蔵庫１の収容室の名称が一覧表示される。一覧の中から１の収容室がタッチ操作により選択されると、食品管理画面ＳＫＧでは、選択された収容室を示す保存場所情報４２３４についてのオブジェクトＯＢが表示される。

【0153】

食品管理画面ＳＫＧは、消去ボタンＢ２を有する。消去ボタンＢ２は、食品管理画面ＳＫＧにおける表示からオブジェクトＯＢを消去するためのソフトウェアボタンである。食品管理画面ＳＫＧでは、１又は複数のオブジェクトＯＢが選択された状態で消去ボタンＢ２がタッチ操作により選択された場合、選択されているオブジェクトＯＢが非表示になる。また、食品管理データベース４２３では、消去ボタンＢ２が操作されたときに選択されていたオブジェクトＯＢが示す食品に係わる各種情報が、消去される。

【0154】

食品管理画面ＳＫＧは、更新ボタンＢ３と、最新の更新日時を示す更新日時情報Ｊ２を有する。更新ボタンＢ３は、食品管理画面ＳＫＧが表示するオブジェクトＯＢと、オブジェクトＯＢが有する各種情報と、を更新するためのソフトウェアボタンである。更新ボタンＢ３がタッチ操作されると、更新日時情報Ｊ２が示す更新日時は、更新が行われた最新の日時に変わる。

【0155】

図１１を参照して、アプリ実行部３１００が、食品管理用ＵＩ３２００において食品管理画面ＳＫＧを表示する際の食品管理システム１０００の動作について説明する。

【0156】

図１１は、端末装置３及び食品管理サーバー４の動作を示すフローチャートである。図１１において、フローチャートＦＤは端末装置３の動作を示し、フローチャートＦＥは食品管理サーバー４の動作を示す。

【0157】

端末装置３のアプリ実行部３１００は、食品管理サーバー４からレコードＲを要求するか否かを判別する（ステップＳＤ１）。

【0158】

例えば、アプリ実行部３１００は、食品管理用Ｕ３２００において、食品管理画面ＳＫＧの表示を指示するタッチ操作を受け付けた場合に、ステップＳＤ１において肯定判別する。
また、例えば、アプリ実行部３１００は、食品管理画面ＳＫＧにおいて更新ボタンＢ３がタッチ操作された場合、ステップＳＤ１において肯定判別する。

【0159】

アプリ実行部３１００は、レコードＲを要求すると判別した場合（ステップＳＤ１：ＹＥＳ）、レコードＲを要求するレコード要求情報を、端末通信部３１によって食品管理サーバー４に送信する（ステップＳＤ２）。ステップＳＤ２で送信されるレコード要求情報には、端末記憶部３２０が記憶するユーザーＩＤ４２３１が含まれる。

【0160】

フローチャートＦＥを参照し、食品管理サーバー４のサーバー制御部４０は、サーバー通信部４１によってレコード要求情報を受信すると（ステップＳＥ１）、受信したレコード要求情報に含まれるユーザーＩＤ４２３１を含むレコードＲを食品管理データベース４２３から特定する（ステップＳＥ２）。

【0161】

そして、サーバー制御部４０は、サーバー通信部４１によって特定したレコードＲを端末装置３に送信する（ステップＳＥ３）。

【0162】

フローチャートＦＤを参照して、端末装置３のアプリ実行部３１００は、端末通信部３１によってレコードＲを受信すると（ステップＳＤ３）、食品管理画面ＳＫＧを生成する（ステップＳＤ４）。

【0163】

ここで、図６に示すレコードＲを受信して図１０に示す食品管理画面ＳＫＧを生成する場合を例に挙げて、ステップＳＤ４の処理を詳述する。

【0164】

アプリ実行部３１００は、現在日が、牛乳を示す食品名情報４２３２に対応付く期限日通知タイミング情報４２３７示すタイミングに該当するか否かを判別する。図１０のオブジェクトＯＢ１の生成の場合では、アプリ実行部３１００は、肯定判別し、期限日警告情報ＫＪを生成する。なお、否定判別した場合、期限日警告情報ＫＪは、生成されない。
次いで、アプリ実行部３１００は、牛乳を示す食品名情報４２３２に対応付く保存開始日情報４２３５が示す保存開始日が、牛乳を示す食品名情報４２３２に対応付く新規通知タイミング情報４２３８示すタイミングに該当するか否かを判別する。図１０のオブジェクトＯＢの生成では、アプリ実行部３１００は、否定判別し、新規収容明示情報ＭＪを生成しない。なお、肯定判別した場合、アプリ実行部３１００は、新規収容明示情報ＭＪを生成する。
アプリ実行部３１００は、生成した期限日警告情報ＫＪ、牛乳を示す食品名情報４２３２に対応付く食品画像データ４２３９が示す食品画像ＦＧと、及び牛乳を示す食品名情報４２３２に対応付く保存開始日情報４２３５を含むオブジェクトＯＢ１を生成する。
なお、アプリ実行部３１００は、期限日警告情報ＫＪを生成していない場合、オブジェクトＯＢ１に期限日警告情報ＫＪを含めず、新規収容明示情報ＭＪを生成している場合、オブジェクトＯＢ１に新規収容明示情報ＭＪを含める。

【0165】

アプリ実行部３１００は、オブジェクトＯＢ２、ＯＢ３のそれぞれについてもオブジェクトＯＢ１と同様に生成し、生成したオブジェクトＯＢ１、ＯＢ２、ＯＢ３を食品管理画面ＳＫＧに含ませる。

【0166】

なお、アプリ実行部３１００は、玉葱に係わるオブジェクトＯＢを生成するが、図１０に示す食品管理画面ＳＫＧが冷蔵室１１に収容されるオブジェクトＯＢを表示する画面であるため、玉葱に係わるオブジェクトＯＢを図１０に示す食品管理画面ＳＫＧに含ませない。玉葱に係わるオブジェクトＯＢは、野菜室１５に収容されるオブジェクトＯＢを表示する食品管理画面ＳＫＧに含まれる。

【0167】

図１１に示すフローチャートＦＤの説明に戻り、アプリ実行部３１００は、食品管理画面ＳＫＧを生成すると、生成した食品管理画面ＳＫＧを食品管理用ＵＩ３２００において表示する（ステップＳＤ５）。

【0168】

なお、上述した食品管理画面ＳＫＧにおいては、食品ごと、表示する情報をユーザーＰによって修正可能である。修正可能な情報は、食品管理データベース４２３において、ユーザーＩＤ４２３１に対応付く各種情報である。アプリ実行部３１００は、食品管理画面ＳＫＧにおいて、情報の修正がなされた場合、食品管理データベース４２３の更新を要求する更新要求情報を食品管理サーバー４に送信する。そして、食品管理サーバー４は、受信した更新要求情報に基づいて食品管理データベース４２３を更新する。例えば、ビールの残量情報４２３３が、３本から２本にする修正が行われた場合、アプリ実行部３２００は、ビールの食品名情報４２３２に対応付く残量情報４２３３を、２本の残量を示す残量情報４２３３に更新する更新要求情報を食品管理サーバー４に送信する。そして、食品管理サーバー４は、残量情報４２３３が示す残量を、３本から２本に更新する。このように、ユーザーＰによって情報を修正可能であるため、食品検出装置２での誤検出、及び食品管理サーバー４での食品の誤認識があった場合でも、食品管理システム１０００は、適切な食品の管理を行える。なお、食品認識部４１００がＡＩによって食品の認識を行う場合、食品認識部４１００は、ユーザーＰによって修正された内容を機械学習し、修正された内容を学習済みモデルに反映させてもよい。

【0169】

［１－３．効果等］
以上、説明したように、食品検出装置２は、ユーザーＰによって冷蔵庫１の上部に取り付けられ、冷蔵室用カメラ２１及び引出用カメラ２２により冷蔵庫１に入出庫される食品を検出する。食品検出装置２は、冷蔵庫１の前上方から冷蔵庫１を撮影する冷蔵室用カメラ２１と、冷蔵庫１の前上方から冷蔵庫１を撮影する引出用カメラ２２とを有するカメラモジュール２２０を備える。また、食品検出装置２は、少なくともカメラモジュール２２０に電力を供給する電力供給部２３０を備える。

【0170】

この構成によれば、冷蔵庫１に入出庫される食品を当該食品の上方から撮影できるため、冷蔵庫１に入出庫される食品を精度良く撮影結果に含めることができる。よって、食品検出装置２は、冷蔵庫１に入出庫される食品をカメラにより精度良く検出できる。

【0171】

電力供給部２３０は、商用交流電源７、冷蔵庫１、及び食品検出装置２が備えるバッテリーのいずれかから供給される電力に基づいて、少なくともカメラモジュール２２０に電力を供給する。

【0172】

この構成によれば、食品検出装置２が単体で、冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を行うことができる。よって、食品検出装置２が冷蔵庫１と別体で構成される場合でも、冷蔵庫１に入出庫される食品をカメラにより精度良く検出できる。

【0173】

また、食品検出装置２は、冷蔵庫１の上部に設けられ、冷蔵室用カメラ２１及び引出用カメラ２２により冷蔵庫１に入出庫される食品を検出する。食品検出装置２は、冷蔵庫１の前上方から冷蔵庫１を撮影する冷蔵室用カメラ２１及び引出用カメラ２２を有するカメラモジュール２２０と、少なくともカメラモジュール２２０に電力を供給する電力供給部２３０と、を備える。食品検出装置２の電源ケーブルが商用交流電源７に接続される。電力供給部２３０は、この電源ケーブルを介して供給される電力に基づいて、少なくともカメラモジュール２１０に電力を供給する。

【0174】

この構成によれば、食品検出装置２が単体で、冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を行うことができる。よって、食品検出装置２が冷蔵庫１と別体で構成される場合でも、商用交流電源７からの給電によって、冷蔵庫１に入出庫される食品をカメラにより精度良く検出できる。

【0175】

食品検出装置２は、冷蔵庫１の上部に設けられ、冷蔵室用カメラ２１及び引出用カメラ２２により冷蔵庫１に入出庫される食品を検出する。食品検出装置２は、冷蔵庫１の前上方から冷蔵庫１を撮影する冷蔵室用カメラ２１及び引出用カメラ２２を有するカメラモジュール２２０と、少なくともカメラモジュール２２０に電力を供給する電力供給部２３０と、を備える。食品検出装置２のＵＳＢケーブルは冷蔵庫１に接続される。電力供給部２３０は、このＵＳＢケーブルを介して供給される電力に基づいて、少なくともカメラモジュール２２０に電力を供給する。

【0176】

この構成によれば、食品検出装置２が単体で、冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を行うことができる。よって、食品検出装置２が冷蔵庫１と別体で構成される場合でも、ＵＳＢ規格による給電によって、冷蔵庫１に入出庫される食品をカメラにより精度良く検出できる。

【0177】

食品検出装置２は、冷蔵庫１の上部に設けられ、冷蔵室用カメラ２１及び引出用カメラ２２により冷蔵庫１に入出庫される食品を検出する。食品検出装置２は、冷蔵庫１の前上方から冷蔵庫１を撮影する冷蔵室用カメラ２１及び引出用カメラ２２を有するカメラモジュール２２０と、少なくともカメラモジュール２２０に電力を供給する電力供給部２３０と、バッテリーと、を備える。電力供給部２３０は、このバッテリーから供給される電力に基づいて、少なくともカメラモジュール２２０に電力を供給する。

【0178】

この構成によれば、食品検出装置２が単体で、冷蔵室用カメラ２１及び引出用カメラ２２によって撮影を行うことができる。よって、食品検出装置２が冷蔵庫１と別体で構成される場合でも、具備するバッテリーからの給電によって、冷蔵庫１に入出庫される食品をカメラにより精度良く検出できる。

【0179】

食品検出装置２は、冷蔵庫１のドア１１Ｃ及び引出１６Ａの少なくともいずれかの開閉状態を検出する開閉用測距センサー２８を有するセンサーモジュール２１０を備える。冷蔵室用カメラ２１及び引出用カメラ２２は、開閉用測距センサー２８が開状態を検出した場合に撮影を開始し、測距センサーが閉状態を検出した場合に撮影を終了する。

【0180】

この構成によれば、冷蔵庫１に入出庫される食品をより精度良く撮影結果に含ませることができると共に、不必要な撮影を防止できる。よって、不必要な撮影を防止しつつ、冷蔵庫１に入出庫される食品を、カメラによって、より精度度良く検出できる。

【0181】

センサーモジュール２１０は、冷蔵庫１の設置場所の照度を検出する照度センサー２６と、冷蔵庫１の周囲に存在する人物の有無を検出する人感センサー２７とを有する。冷蔵室用カメラ２１及び引出用カメラ２２は、照度センサー２６及び人感センサー２７の少なくともいずれかの検出結果が、冷蔵庫１の周囲に人物が存在することを示す結果である場合、開閉用測距センサー２８が閉状態を検出していても撮影を開始する。

【0182】

この構成によれば、ユーザーＰが冷蔵庫１のドア１１Ｃ及び引出１６Ａのいずれかを開状態にする前から撮影を開始するため、冷蔵庫１に入出庫される食品を、カメラによって、より精度度良く検出できる。

【0183】

冷蔵室用カメラ２１及び引出用カメラ２２は、動画像を撮影する。

【0184】

この構成によれば、入出庫される食品の速度や入出庫する手の角度等に依ることなく、冷蔵庫１に入出庫される食品を撮影結果に精度良く含めることができる。そのため、カメラによって、冷蔵庫１に入出庫される食品をより精度度良く検出できる。

【0185】

（実施の形態２）
実施の形態２は、実施の形態１と比較して、カメラモジュール２２０が備えるカメラの台数が異なる。実施の形態１のカメラモジュール２２０は、冷蔵室用カメラ２１及び引出用カメラ２２の２台のカメラを備える構成である。実施の形態２のカメラモジュール２２０は、１台のカメラを備える。以下、このカメラを冷蔵庫撮影用カメラという。

【0186】

実施の形態２において、食品検出装置２は、冷蔵庫１の前上方から冷蔵庫撮影用カメラが冷蔵庫１の前面を撮影するように、冷蔵庫１の上面に設けられる。冷蔵庫撮影用カメラは、動画像を撮影する。

【0187】

冷蔵庫撮影用カメラの撮影範囲は、冷蔵庫１に入出庫される食品を冷蔵庫１の前上方から撮影可能な範囲に設定される。

【0188】

例えば、冷蔵庫撮影用カメラの撮影範囲は、冷蔵室用カメラ２１の撮影範囲及び引出用カメラ２２の撮影範囲を含む範囲である。当該範囲の場合、冷蔵庫撮影用カメラの撮影範囲は、正面視において、図２に示す範囲Ａ１、Ａ２を含み、側面視において、図３に示す範囲Ａ３、Ａ４を含む範囲である。

【0189】

実施の形態２では、冷蔵室用カメラ２１及び引出用カメラ２２の撮影結果に変わって、冷蔵庫撮影用カメラの撮影結果に基づいて、食品検出装置２、端末装置３、及び食品管理サーバー４が、上述した実施の形態１と同様の動作を実行する。

【0190】

実施の形態２によれば、実施の形態１と同様の効果を奏する。

【0191】

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

【0192】

上述した実施の形態では、引出用カメラ２２の撮影範囲が製氷室１２、新鮮凍結室１３、冷凍室１４及び野菜室１５を含む構成である。しかしながら、引出用カメラ２２の撮影範囲は、この範囲に限定されず、１又は複数の任意の収容室を組み合わせた範囲としてもよい。例えば、引出用カメラ２２の撮影範囲は、冷凍室１４及び野菜室１のみを含む範囲でもよいし、野菜室１５のみ含む範囲でもよい。

【0193】

上述した実施の形態では、センサーモジュール２１０とカメラモジュール２２０とが別対である場合を例に挙げたが、一体で構成されてもよい。

【0194】

例えば、上述した実施の形態では、本発明の開閉センサーとして、距離を測定する測距センサーを例示したが、本発明の開閉センサーは、ドア１１Ｃ及び引出１６Ａの開閉状態を検出可能であればよく、例えばカメラでもよい。

【0195】

例えば、上述した実施の形態では、食品検出装置２を冷蔵庫１と別体の装置として例示したが、食品検出装置２は、冷蔵庫１に組み込まれ冷蔵庫１が備える装置でもよい。

【0196】

例えば、上述した実施の形態では、レコードＲが食品管理データベース４２３に格納され、食品検出装置２が検出する食品の管理を食品管理サーバー４が行う構成であるが、レコードＲが端末記憶部３２０に記憶され、食品検出装置２が検出する食品に係る各種情報を食品管理用アプリ３２３が管理する構成でもよい。この構成の場合、アプリ実行部３１００は、食品認識部４１００として機能して食品認識を行い、また、端末記憶部３２０に記憶されるレコードＲの内容を、上述した食品管理サーバー４と同様に適宜更新する。この構成の場合、食品管理システム１０００は食品管理サーバー４を具備する必要がなくシステム構成が簡易となる。

【0197】

例えば、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５に限定されず、少なくてもよいし、さらに別の種類の部屋が形成されてもよい。また、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。

【0198】

例えば、センサーモジュール制御部２１１、カメラモジュール制御部２２１、端末制御部３０、及びサーバー制御部４０の機能は、複数のプロセッサー、又は、半導体チップにより実現してもよい。

【0199】

図４及び図５に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、食品検出装置２、端末装置３、及び食品管理サーバー４の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。

【0200】

また、例えば、図８、図９、及び図１１に示す動作のステップ単位は、食品管理システム１０００の各部の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。

【0201】

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0202】

以上のように、本発明に係る食品検出装置は、冷蔵庫に入出庫される食品の検出の用途に利用可能である。

【符号の説明】

【0203】

１ 冷蔵庫
２ 食品検出装置
３ 端末装置
４ 食品管理サーバー
７ 商用交流電源（商用電源）
１１ 冷蔵室
１１Ａ 左ドア（ドア）
１１Ｂ 右ドア（ドア）
１１Ｃ ドア
１２Ａ、１３Ａ、１４Ａ、１５Ａ、１６Ａ 引出
２１ 冷蔵室用カメラ（カメラ）
２２ 引出用カメラ（カメラ）
２３ 左ドア用測距センサー（開閉センサー）
２４ 右ドア用測距センサー（開閉センサー）
２５ 引出用測距センサー（開閉センサー）
２６ 照度センサー
２７ 人感センサー
２８ 開閉用測距センサー（開閉センサー）
２１０ センサーモジュール
２２０ カメラモジュール
２２１Ａ 検出値処理部
２２１Ｂ 撮影制御部
２２１Ｃ 動画像処理部
２２１Ｄ 食品検出部
２３０ 電力供給部
４１００ 食品認識部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】