知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023079898
(43)【公開日】2023-06-08
(54)【発明の名称】検出装置、検出装置の制御方法、及びプログラム
(51)【国際特許分類】
F25D 23/00 20060101AFI20230601BHJP
F25D 29/00 20060101ALI20230601BHJP
【ＦＩ】
F25D23/00 301G
F25D23/00 301J
F25D29/00 Z
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021193593
(22)【出願日】2021-11-29
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】110001081
【氏名又は名称】弁理士法人クシブチ国際特許事務所
(72)【発明者】
【氏名】仮屋崎 拓
(72)【発明者】
【氏名】持永 和寛
(72)【発明者】
【氏名】須田 渉
(72)【発明者】
【氏名】堀井 愼一
【テーマコード（参考）】
3L045
3L345
【Ｆターム（参考）】
3L045AA02
3L045AA05
3L045BA01
3L045CA02
3L045LA01
3L045LA18
3L045NA00
3L045NA15
3L045PA01
3L045PA02
3L045PA03
3L045PA04
3L345AA02
3L345AA21
3L345AA26
3L345BB01
3L345BB02
3L345BB05
3L345BB06
3L345BB07
3L345DD42
3L345EE03
3L345EE13
3L345EE32
3L345EE45
3L345EE53
3L345EE55
3L345HH14
3L345HH42
3L345JJ02
3L345JJ05
3L345JJ14
3L345KK01
3L345KK02
3L345KK03
3L345KK04
(57)【要約】
【課題】貯蔵室に入庫される物品又は貯蔵室に出庫される物品を検出装置が検出したことを、貯蔵庫のユーザが把握できるようにする。
【解決手段】検出装置は、貯蔵庫の上部に設けられる検出装置であって、前記貯蔵庫の前上方から貯蔵室を撮影するカメラと、前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部と、を備える。
【選択図】図４
【解決手段】検出装置は、貯蔵庫の上部に設けられる検出装置であって、前記貯蔵庫の前上方から貯蔵室を撮影するカメラと、前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部と、を備える。
【選択図】図４
【特許請求の範囲】
【請求項1】
貯蔵庫の上部に設けられる検出装置であって、
前記貯蔵庫の前上方から貯蔵室を撮影するカメラと、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部と、を備える、
検出装置。
前記貯蔵庫の前上方から貯蔵室を撮影するカメラと、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部と、を備える、
検出装置。
【請求項2】
前記貯蔵庫の周辺に人が存在するか否かを判定する第１判定部を備え、
前記カメラは、前記第１判定部が前記貯蔵庫の周辺に人が存在すると判定してから、前記第１判定部が前記貯蔵庫の周辺に人が存在しないと判定するまでの間、撮影を行い、
前記検出部は、前記カメラが撮影している間、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する、
請求項１に記載の検出装置。
前記カメラは、前記第１判定部が前記貯蔵庫の周辺に人が存在すると判定してから、前記第１判定部が前記貯蔵庫の周辺に人が存在しないと判定するまでの間、撮影を行い、
前記検出部は、前記カメラが撮影している間、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する、
請求項１に記載の検出装置。
【請求項3】
前記検出部は、
特定領域内で所定時間静止する物品が前記カメラの撮影結果に写る場合、当該物品を、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品として検出する、
請求項１に記載の検出装置。
特定領域内で所定時間静止する物品が前記カメラの撮影結果に写る場合、当該物品を、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品として検出する、
請求項１に記載の検出装置。
【請求項4】
前記検出部は、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品として、マーカーが付された物品を検出する、
請求項１から３のいずれか一項に記載の検出装置。
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品として、マーカーが付された物品を検出する、
請求項１から３のいずれか一項に記載の検出装置。
【請求項5】
前記貯蔵室に設けられたドアが開いたか否かを判定する第２判定部を備え、
前記通知部は、
前記ドアが開いたと前記第２判定部が判定した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品の検出を開始したことを、前記貯蔵庫のユーザに通知する、
請求項１から４のいずれか一項に記載の検出装置。
前記通知部は、
前記ドアが開いたと前記第２判定部が判定した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品の検出を開始したことを、前記貯蔵庫のユーザに通知する、
請求項１から４のいずれか一項に記載の検出装置。
【請求項6】
前記検出部が検出した物品が前記貯蔵室に入庫された物品であるか前記貯蔵室から出庫された物品であるかを判定する第３判定部を備え、
前記通知部は、
前記検出部が検出した物品について前記第３判定部が入出庫の判定を行った場合、前記検出部が検出した物品について入出庫を判定したことを、前記貯蔵庫のユーザに通知する、
請求項１から５のいずれか一項に記載の検出装置。
前記通知部は、
前記検出部が検出した物品について前記第３判定部が入出庫の判定を行った場合、前記検出部が検出した物品について入出庫を判定したことを、前記貯蔵庫のユーザに通知する、
請求項１から５のいずれか一項に記載の検出装置。
【請求項7】
スピーカを備え、
前記通知部は、前記スピーカによって通知する、
請求項１から６のいずれか一項に記載の検出装置。
前記通知部は、前記スピーカによって通知する、
請求項１から６のいずれか一項に記載の検出装置。
【請求項8】
前記貯蔵庫は、冷蔵庫であり、
前記貯蔵室は、冷蔵室である、
請求項１から７のいずれか一項に記載の検出装置。
前記貯蔵室は、冷蔵室である、
請求項１から７のいずれか一項に記載の検出装置。
【請求項9】
貯蔵庫の上部に設けられる検出装置の制御方法であって、
カメラによって、前記貯蔵庫の前上方から貯蔵室を撮影し、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出し、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する、
検出装置の制御方法。
カメラによって、前記貯蔵庫の前上方から貯蔵室を撮影し、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出し、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する、
検出装置の制御方法。
【請求項10】
貯蔵庫の上部に設けられる検出装置のプロセッサを、
前記貯蔵庫の前上方から貯蔵室を撮影するカメラに撮影させる撮影制御部と、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部として機能させる、
プログラム。
前記貯蔵庫の前上方から貯蔵室を撮影するカメラに撮影させる撮影制御部と、
前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、
前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部として機能させる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、検出装置、検出装置の制御方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１は、冷蔵庫の上部にカメラを設け、冷蔵庫の開口部を通過する物体を検出した際に撮影を実行し、撮影結果に基づいて冷蔵庫に収容される食品を管理する技術を開示する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－０７０４７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本開示は、貯蔵室に入庫される物品又は貯蔵室に出庫される物品を検出装置が検出したことを、貯蔵庫のユーザが把握できる検出装置、検出装置の制御方法、及びプログラムを提供する。
【課題を解決するための手段】
【0005】
本開示における検出装置は、貯蔵庫の上部に設けられる検出装置であって、前記貯蔵庫の前上方から貯蔵室を撮影するカメラと、前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部と、を備える。
【0006】
また、本開示における検出装置の制御方法は、貯蔵庫の上部に設けられる検出装置の制御方法であって、カメラによって、前記貯蔵庫の前上方から貯蔵室を撮影し、前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出し、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する。
【0007】
また、本開示におけるプログラムは、貯蔵庫の上部に設けられる検出装置のプロセッサを、前記貯蔵庫の前上方から貯蔵室を撮影するカメラに撮影させる撮影制御部と、前記カメラの撮影結果に基づいて、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出する検出部と、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を前記検出部が検出した場合、前記貯蔵室に入庫される物品又は前記貯蔵室から出庫される物品を検出したことを、前記貯蔵庫のユーザに通知する通知部として機能させる。
【発明の効果】
【0008】
本開示における検出装置、検出装置の制御方法、及びプログラムは、貯蔵室に入庫される物品又は貯蔵室に出庫される物品を検出装置が検出したことを、貯蔵庫のユーザが把握できる。
【図面の簡単な説明】
【0009】
【図1】物品管理システムの構成を示す図
【図2】検出装置を前方側からみた正面図
【図3】検出装置を右方側からみた平面図
【図4】検出装置の構成を示すブロック図
【図5】端末装置及び物品管理サーバの構成を示すブロック図
【図6】物品管理ＤＢが格納するレコードの一例を示す図
【図7】検出装置の動作を示すフローチャート
【図8】特定領域を説明する説明図
【図9】切り出し範囲を説明する説明図
【図10】入出庫判定を説明する説明図
【図11】入出庫判定を説明する説明図
【図12】物品管理システムの動作を示すフローチャート
【図13】物品管理システムの動作を示すフローチャート
【図14】入力画面の一例を示す図
【発明を実施するための形態】
【0010】
（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫などの貯蔵庫に入出庫される物品を検出する技術があった。しかしながら、従来の技術では、貯蔵庫に入出庫される物品を検出装置が検出したのか否かを貯蔵庫のユーザが把握できないと言う課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵室に入庫される物品又は貯蔵室に出庫される物品を検出装置が検出したことを、貯蔵庫のユーザが把握できる検出装置、検出装置の制御方法、及びプログラムを提供する。
発明者らが本開示に想到するに至った当時、冷蔵庫などの貯蔵庫に入出庫される物品を検出する技術があった。しかしながら、従来の技術では、貯蔵庫に入出庫される物品を検出装置が検出したのか否かを貯蔵庫のユーザが把握できないと言う課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、貯蔵室に入庫される物品又は貯蔵室に出庫される物品を検出装置が検出したことを、貯蔵庫のユーザが把握できる検出装置、検出装置の制御方法、及びプログラムを提供する。
【0011】
以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。
【0012】
（実施の形態１）
実施の形態１について説明する。
［１．構成］
［１－１．物品管理システムの構成］
図１は、物品管理システム１０００の構成を示す図である。
物品管理システム１０００は、冷蔵室１１が収容する物品ＢＰについて、物品ＢＰの名称である物品名や、冷蔵室１１に収容開始された日時である収容開始日時などを管理するシステムである。
冷蔵室１１は、本開示の「貯蔵室」に相当する。
実施の形態１について説明する。
［１．構成］
［１－１．物品管理システムの構成］
図１は、物品管理システム１０００の構成を示す図である。
物品管理システム１０００は、冷蔵室１１が収容する物品ＢＰについて、物品ＢＰの名称である物品名や、冷蔵室１１に収容開始された日時である収容開始日時などを管理するシステムである。
冷蔵室１１は、本開示の「貯蔵室」に相当する。
【0013】
本実施の形態において、物品ＢＰは、食品や、食品を収容する容器などを含む。また、本実施の形態において、物品管理システム１０００で管理される物品ＢＰは、マーカーＭＫが付されている。マーカーＭＫは、物品ＢＰに印刷されていてもよいし、物品ＢＰに貼り付けられていてもよい。マーカーＭＫは、物品ＢＰを、物品管理システム１０００において管理対象とするための目印として機能する。マーカーＭＫは、ＱＲコード（登録商標）などの２次元コードでもよいし、バーコードでもよいし、文字列でもよく、具体的な態様は制限されない。
【0014】
物品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１内には、チルド室１１Ｄが設けられている。なお、チルド室１１Ｄとは、庫内温度が冷蔵室１１より低い収容室である。チルド室１１Ｄの庫内温度は、例えば０℃～３℃の間に設定される。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａと回転式の右ドア１１Ｂとが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５のそれぞれには、物品ＢＰを収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａがそれぞれ設けられている。
以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。
冷蔵庫１は、本開示の「貯蔵庫」に相当する。
以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。
冷蔵庫１は、本開示の「貯蔵庫」に相当する。
【0015】
物品管理システム１０００は、検出装置２を備える。検出装置２は、冷蔵庫１に入庫される物品ＢＰを検出する。また、検出装置２は、冷蔵庫１から出庫される物品ＢＰを検出する。検出装置２は、冷蔵庫１の主箱体１０の上面１０Ａに設けられる。
【0016】
物品管理システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、冷蔵室１１が収容する物品ＢＰの管理に係わるアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって物品管理サーバ４と通信する。
以下の説明では、このアプリケーションプログラムを、「物品管理アプリ」といい「３１１」の符号を付す。
以下の説明では、このアプリケーションプログラムを、「物品管理アプリ」といい「３１１」の符号を付す。
【0017】
図１では、在宅するユーザＰを実線で示し、自宅Ｈから外出したユーザＰを点線で示している。端末装置３は、在宅するユーザＰに使用される場合、物品管理アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、物品管理サーバ４と通信する。また、端末装置３は、自宅Ｈから外出したユーザＰに使用され、且つ、通信装置５と通信接続を確立できない場合、物品管理アプリ３１１の機能によって、通信装置５を介すことなく物品管理サーバ４と通信する。
【0018】
通信装置５は、通信ネットワークＮＷに接続し、通信ネットワークＮＷを介して物品管理サーバ４と通信する。通信ネットワークＮＷは、公衆回線網、専用線、その他の通信回線、及び、各種の通信設備で構成されるネットワークであり、具体的な態様は制限されない。例えば、通信ネットワークＮＷは、広域ネットワークでもよい。通信ネットワークＮＷは、無線通信回路及び有線通信回路の少なくともいずれかを含む構成でもよい。通信装置５は、検出装置２及び端末装置３を通信ネットワークＮＷに接続するためのインターフェイス装置として機能する。
【0019】
物品管理システム１０００は、物品管理サーバ４を備える。物品管理サーバ４は、冷蔵室１１が収容する物品ＢＰを管理するサーバ装置である。物品管理サーバ４は、通信ネットワークＮＷに接続する。なお、各図では、物品管理サーバ４を、１つのブロックによって表現するが、これは必ずしも物品管理サーバ４が単一のサーバ装置により構成されることを意味していない。例えば、物品管理サーバ４は、処理内容が異なる複数のサーバ装置を含んで構成されてもよい。
【0020】
［１－２．検出装置の構成］
図２－図４を参照して検出装置２について説明する。
図２－図４では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。
図２－図４を参照して検出装置２について説明する。
図２－図４では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。
【0021】
図２は、冷蔵庫１に設けられた検出装置２を前方からみた正面図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１に設けられた検出装置２を右方からみた平面図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。
【0022】
検出装置２は、冷蔵室用カメラ２７及び引出用カメラ２８を備える。
冷蔵室用カメラ２７は、引出用カメラ２８より広角のカメラである。冷蔵室用カメラ２７は、検出装置２が冷蔵庫１に設置された状態において、冷蔵庫１の前上方から冷蔵庫１を撮影する。冷蔵室用カメラ２７の撮影結果は、動画像である。
冷蔵室用カメラ２７は、本開示の「カメラ」に相当する。
冷蔵室用カメラ２７は、引出用カメラ２８より広角のカメラである。冷蔵室用カメラ２７は、検出装置２が冷蔵庫１に設置された状態において、冷蔵庫１の前上方から冷蔵庫１を撮影する。冷蔵室用カメラ２７の撮影結果は、動画像である。
冷蔵室用カメラ２７は、本開示の「カメラ」に相当する。
【0023】
例えば、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の前方からみて、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である場合に、ドア１１Ｃのドアポケット１１１、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の右方からみて、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから棚１１２の前端部までを含む範囲であり、且つ、上下方向において、冷蔵室１１の開口部を含む範囲である。
【0024】
引出用カメラ２８は、冷蔵庫１の前上方から冷蔵庫１を撮影する。引出用カメラ２８の撮影結果は、動画像である。
例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前方側からみて、引出１６Ａを含む範囲である。また、例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。
例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前方側からみて、引出１６Ａを含む範囲である。また、例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。
【0025】
検出装置２は、左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５を備える。
左ドア用測距センサ２３は、測距センサである。左ドア用測距センサ２３は、所定の周期で、左ドア１１Ａと左ドア用測距センサ２３との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
右ドア用測距センサ２４は、測距センサである。右ドア用測距センサ２４は、所定の周期で、右ドア１１Ｂと右ドア用測距センサ２４との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
引出用測距センサ２５は、測距センサである。引出用測距センサ２５は、所定の周期で、引出１６Ａと引出用測距センサ２５との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
左ドア用測距センサ２３は、測距センサである。左ドア用測距センサ２３は、所定の周期で、左ドア１１Ａと左ドア用測距センサ２３との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
右ドア用測距センサ２４は、測距センサである。右ドア用測距センサ２４は、所定の周期で、右ドア１１Ｂと右ドア用測距センサ２４との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
引出用測距センサ２５は、測距センサである。引出用測距センサ２５は、所定の周期で、引出１６Ａと引出用測距センサ２５との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
【0026】
左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５は、光学式の測距センサでもよいし、超音波式の測距センサでもよい。
【0027】
検出装置２は、人感センサ２６を備える。人感センサ２６は、所定の周期で検出値を検出装置プロセッサ２０に出力する。人感センサ２６は、赤外線式のセンサでも、超音波式のセンサでも、可視光式のセンサでもよい。
【0028】
なお、図２及び図３における各カメラ及び各センサの並び順及び設置位置は、検出装置２の説明便宜のための図示されたものであり、各カメラ及び各センサの並び順及び設置位置は、図２及び図３が示す並び順及び設置位置に限定されない。
【0029】
図４は、検出装置２の構成を示すブロック図である。
検出装置２は、ＣＰＵ（Central Processing Unit）やＭＰＣ（Micro-processing unit）等のプロセッサである検出装置プロセッサ２０、及びプログラムやデータを記憶するメモリである検出装置メモリ２１を備える。
検出装置プロセッサ２０は、本開示の「プロセッサ」に相当する。
検出装置２は、ＣＰＵ（Central Processing Unit）やＭＰＣ（Micro-processing unit）等のプロセッサである検出装置プロセッサ２０、及びプログラムやデータを記憶するメモリである検出装置メモリ２１を備える。
検出装置プロセッサ２０は、本開示の「プロセッサ」に相当する。
【0030】
検出装置プロセッサ２０は、検出装置メモリ２１に記憶された制御プログラム２１１を読み出して実行することにより、検出装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、検出部２０６、入出庫判定部２０７、通知部２０８、記録部２０９、及び生成部２１０として機能する。
人物存在判定部２０２は、本開示の「第１判定部」に相当する。開閉判定部２０３は、本開示の「第２判定部」に相当する。入出庫判定部２０７は、本開示の「第３判定部」に相当する。制御プログラム２１１は、本開示の「プログラム」に相当する。
人物存在判定部２０２は、本開示の「第１判定部」に相当する。開閉判定部２０３は、本開示の「第２判定部」に相当する。入出庫判定部２０７は、本開示の「第３判定部」に相当する。制御プログラム２１１は、本開示の「プログラム」に相当する。
【0031】
検出装置メモリ２１は、検出装置プロセッサ２０が実行するプログラムや、検出装置プロセッサ２０に処理されるデータを記憶する。検出装置メモリ２１は、検出装置プロセッサ２０が実行する制御プログラム２１１、検出装置ＩＤ（Identification）２１２、音声データ２１３、その他の各種データを記憶する。また、検出装置メモリ２１は、消去されるまでの間、録画データ２１４を記憶する。検出装置メモリ２１は、不揮発性の記憶領域を有する。また、検出装置メモリ２１は、揮発性の記憶領域を備え、検出装置プロセッサ２０のワークエリアを構成してもよい。
【0032】
検出装置ＩＤ２１２は、検出装置２の識別情報である。検出装置ＩＤ２１２としては、シリアル番号や製造番号が例に挙げられる。
音声データ２１３は、通知部２０８がスピーカ２９によって出力する音声のデータである。
本実施形態の録画データ２１４は、冷蔵室用カメラ２７の撮影結果を示すデータである。
音声データ２１３は、通知部２０８がスピーカ２９によって出力する音声のデータである。
本実施形態の録画データ２１４は、冷蔵室用カメラ２７の撮影結果を示すデータである。
【0033】
検出装置プロセッサ２０には、検出装置通信ユニット２２、左ドア用測距センサ２３、右ドア用測距センサ２４、引出用測距センサ２５、人感センサ２６、冷蔵室用カメラ２７、引出用カメラ２８、及びスピーカ２９が接続する。なお、検出装置プロセッサ２０には、これらデバイス以外のデバイスが接続していてもよい。
【0034】
検出装置通信ユニット２２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、検出装置プロセッサ２０の制御に従って物品管理サーバ４と通信する。本実施の形態では、検出装置通信ユニット２２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
【0035】
上述したように、検出装置プロセッサ２０は、検出装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、検出部２０６、入出庫判定部２０７、通知部２０８、記録部２０９、及び生成部２１０として機能する。
【0036】
検出装置通信制御部２０１は、検出装置通信ユニット２２を介して、物品管理サーバ４と通信する。
【0037】
人物存在判定部２０２は、人感センサ２６が出力する検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。例えば、人物存在判定部２０２は、所定値以上の検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在すると判定し、所定値を下回る検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在しないと判定する。人物存在判定部２０２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す第１存在情報を、撮影制御部２０４に出力する。また、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す第２存在情報を、撮影制御部２０４に出力する。
【0038】
開閉判定部２０３は、左ドア用測距センサ２３の検出値に基づいて、左ドア１１Ａが開状態か閉状態かを判定する。開閉判定部２０３は、左ドア１１Ａが閉状態に対応する検出値より離間距離が大きい検出値を、左ドア用測距センサ２３が出力した場合、左ドア１１Ａが開状態であると判定する。開閉判定部２０３は、左ドア１１Ａが閉状態に対応する検出値を、左ドア用測距センサ２３が出力した場合、左ドア１１Ａが閉状態であると判定する。
開閉判定部２０３は、右ドア用測距センサ２４の検出値に基づいて、右ドア１１Ｂが開状態か閉状態かを判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値より離間距離が大きい検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが開状態であると判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが閉状態であると判定する。
開閉判定部２０３は、引出用測距センサ２５の検出値が示す離間距離に応じて、引出１６Ａが開状態か閉状態かを判定する。
開閉判定部２０３は、右ドア用測距センサ２４の検出値に基づいて、右ドア１１Ｂが開状態か閉状態かを判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値より離間距離が大きい検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが開状態であると判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値を、右ドア用測距センサ２４が出力した場合、右ドア１１Ｂが閉状態であると判定する。
開閉判定部２０３は、引出用測距センサ２５の検出値が示す離間距離に応じて、引出１６Ａが開状態か閉状態かを判定する。
【0039】
開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂの少なくともいずれかが開状態であると判定した場合、ドア１１Ｃが開状態であることを示す第１ドア開閉情報を、録画制御部２０５に出力する。開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂが閉状態であると判定した場合、左ドア１１Ａ及び右ドア１１Ｂが閉状態であることを示す第２ドア開閉情報を、録画制御部２０５に出力する。
開閉判定部２０３は、引出１６Ａのいずれかが開状態であると判定した場合、引出１６Ａのいずれかが開状態であることを示す第１引出開閉情報を、録画制御部２０５に出力する。開閉判定部２０３は、引出１６Ａのいずれも閉状態であると判定した場合、引出１６Ａのいずれも閉状態であることを示す第２引出開閉情報を、録画制御部２０５に出力する。
開閉判定部２０３は、引出１６Ａのいずれかが開状態であると判定した場合、引出１６Ａのいずれかが開状態であることを示す第１引出開閉情報を、録画制御部２０５に出力する。開閉判定部２０３は、引出１６Ａのいずれも閉状態であると判定した場合、引出１６Ａのいずれも閉状態であることを示す第２引出開閉情報を、録画制御部２０５に出力する。
【0040】
撮影制御部２０４は、人物存在判定部２０２が第１存在情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる。撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影開始後、人物存在判定部２０２が第２存在情報を出力した場合、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる。
【0041】
録画制御部２０５は、開閉判定部２０３が第１ドア開閉情報を出力した場合、冷蔵室用カメラ２７の撮影結果の録画を開始する。すなわち、録画制御部２０５は、開閉判定部２０３が第１ドア開閉情報を出力した場合、検出装置メモリ２１に対して、冷蔵室用カメラ２７の撮影結果を示す録画データ２１４の記録を開始する。録画制御部２０５は、録画を開始すると、録画を開始したことを示す録画開始情報を通知部２０８に出力する。録画制御部２０５は、第２ドア開閉情報を開閉判定部２０３が出力した場合、冷蔵室用カメラ２７の撮影結果の録画を終了する。すなわち、録画制御部２０５は、開閉判定部２０３が第２ドア開閉情報を出力した場合、検出装置メモリ２１への録画データ２１４の記録を終了する。また、録画制御部２０５は、第１引出開閉情報を開閉判定部２０３が出力した場合、引出用カメラ２８の撮影結果の録画を開始する。録画制御部２０５は、第２引出開閉情報を開閉判定部２０３が出力した場合、開始した引出用カメラ２８の撮影結果の録画を終了する。
【0042】
検出部２０６は、検出装置メモリ２１への記録が開始されている録画データ２１４に基づいて、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出する。検出部２０６の検出方法の詳細については、後述する。検出部２０６は、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出した場合、冷蔵室１１に入出庫される物品ＢＰを検出したことを示す物品検出情報を、通知部２０８に出力する。より詳述すると、検出部２０９は、録画データ２１４が示す動画像から物品画像ＢＰＧを切り出せたときに、物品ＢＰを検出したと判定し、物品検出情報を通知部２０８に出力する。なお、物品画像ＢＰＧは、物品ＢＰの画像である。
【0043】
入出庫判定部２０７は、入出庫判定を行う。入出庫判定は、検出部２０６が検出した物品ＢＰが、冷蔵室１１に入庫された物品ＢＰであるか冷蔵室１１から出庫された物品ＢＰであるかを判定する処理である。入出庫判定部２０７の判定方法の詳細については、後述する。入出庫判定部２０７は、入出庫判定を行うと、入出庫判定が完了したことを示す判定完了情報を、通知部２０８に出力する。
【0044】
通知部２０８は、検出装置メモリ２１に記憶されている音声データ２１３が示す音声をスピーカ２９に出力させることで、各種の通知を行う。通知部２０８は、録画制御部２０５が録画開始情報を出力した場合、検出部２０６が物品検出情報を出力した場合、及び、入出庫判定部２０７が判定完了情報を出力した場合のそれぞれで、ユーザＰに通知を行う。
【0045】
記録部２０９は、録画が開始されている撮影結果の録画データ２１４に対して、各種情報を対応付けて記録する。記憶部２０９が記録する各種情報については、後述する。
【0046】
生成部２１０は、アップロードデータを生成する。アップロードデータは、物品管理サーバ４に送信する対象のデータである。生成部２１０は、生成したアップロードデータを検出装置通信制御部２０１に出力する。
【0047】
［１－３．物品管理サーバの構成］
図５は、端末装置３及び物品管理サーバ４の構成を示すブロック図である。
まず、物品管理サーバ４の構成について説明する。
物品管理サーバ４は、ＣＰＵやＭＰＣ等のプロセッサであるサーバプロセッサ４０、プログラムやデータを記憶するメモリであるサーバメモリ４１、及びサーバ通信ユニット４２を備える。
図５は、端末装置３及び物品管理サーバ４の構成を示すブロック図である。
まず、物品管理サーバ４の構成について説明する。
物品管理サーバ４は、ＣＰＵやＭＰＣ等のプロセッサであるサーバプロセッサ４０、プログラムやデータを記憶するメモリであるサーバメモリ４１、及びサーバ通信ユニット４２を備える。
【0048】
サーバプロセッサ４０は、サーバメモリ４１が記憶する制御プログラム４１１を読み出して実行することにより、サーバ通信制御部４０１、及びサーバ処理部４０２として機能する。
【0049】
サーバメモリ４１は、メモリであって、サーバプロセッサ４０が実行するプログラムや、サーバプロセッサ４０に処理されるデータを記憶する。サーバメモリ４１は、サーバプロセッサ４０が実行する制御プログラム４１１、物品管理ＤＢ（database）４１２、その他の各種データを記憶する。サーバメモリ４１は、不揮発性の記憶領域を有する。また、サーバメモリ４１は、揮発性の記憶領域を備え、サーバプロセッサ４０のワークエリアを構成してもよい。
【0050】
図６は、物品管理ＤＢ４１２が格納するレコードＲの一例を示す図である。
物品管理ＤＢ４１２が格納する１件のレコードＲは、アカウントＩＤ４１２１と、通信情報４１２２、検出装置ＩＤ２１２、及び、１又は複数のサブレコードＳＲを有する。サブレコードＳＲは、レコードＲ内に格納されるレコードである。１件のサブレコードＳＲは、マーカーＩＤ４１２３、物品名情報４１２４、収容エリア情報４１２５、収容開始日時情報４１２６、及び物品画像データ４１２７を有する。
物品管理ＤＢ４１２が格納する１件のレコードＲは、アカウントＩＤ４１２１と、通信情報４１２２、検出装置ＩＤ２１２、及び、１又は複数のサブレコードＳＲを有する。サブレコードＳＲは、レコードＲ内に格納されるレコードである。１件のサブレコードＳＲは、マーカーＩＤ４１２３、物品名情報４１２４、収容エリア情報４１２５、収容開始日時情報４１２６、及び物品画像データ４１２７を有する。
【0051】
アカウントＩＤ４１２１は、物品管理アプリ３１１を利用するユーザＰに割り当てられたアカウントを識別する識別情報である。
【0052】
通信情報４１２２は、ユーザＰが使用する端末装置３と通信するための情報である。通信情報４１２２は、例えばアドレス情報である。
【0053】
マーカーＩＤ４１２３は、物品ＢＰに付されたマーカーＭＫの識別情報である。
【0054】
物品名情報４１２４は、物品名を示す情報である。
【0055】
収容エリア情報４１２５は、収容エリアを示す情報である。収容エリア情報４１２５が示す収容エリアは、冷蔵室１１におけるエリアである。本実施形態の収容エリア情報４１２５は、収容エリアとして、収容エリアごとに割り当てられた数字を示す。
【0056】
収容開始日時情報４１２６は、冷蔵室１１に収容が開始された収容開始日時を示す情報である。
【0057】
物品画像データ４１２７は、物品画像ＢＰＧの画像データである。
【0058】
図５の説明に戻り、サーバ通信ユニット４２は、所定の通信規格に従った通信回路などを備える通信インターフェイスであり、所定の通信規格に従って通信ネットワークＮＷと接続する機器と通信する。本実施形態においてサーバ通信ユニット４２は、検出装置２及び端末装置３と通信する。
【0059】
上述したように、サーバプロセッサ４０は、サーバ通信制御部４０１、及びサーバ処理部４０２として機能する。
【0060】
サーバ通信制御部４０１は、サーバ通信ユニット４２を介して、検出装置２及び端末装置３と通信する。
【0061】
サーバ処理部４０２は、検出装置２及び端末装置３をクライアントとして各種の情報処理を行う。
【0062】
［１－４．端末装置の構成］
次に、端末装置３の機能的構成について説明する。
端末装置３は、ＣＰＵやＭＰＣ等のプロセッサである端末プロセッサ３０、プログラムやデータを記憶するメモリである端末メモリ３１、端末通信ユニット３２、及び、タッチパネル３３を備える。
次に、端末装置３の機能的構成について説明する。
端末装置３は、ＣＰＵやＭＰＣ等のプロセッサである端末プロセッサ３０、プログラムやデータを記憶するメモリである端末メモリ３１、端末通信ユニット３２、及び、タッチパネル３３を備える。
【0063】
端末プロセッサ３０は、端末メモリ３１が記憶する物品管理アプリ３１１を読み出して実行することにより、アプリ実行部３００として機能する。
【0064】
端末メモリ３１は、端末プロセッサ３０が実行するプログラムや、端末プロセッサ３０に処理されるデータを記憶する。端末メモリ３１は、端末プロセッサ３０が実行する物品管理アプリ３１１、その他の各種データを記憶する。端末メモリ３１は、不揮発性の記憶領域を有する。また、端末メモリ３１は、揮発性の記憶領域を備え、端末プロセッサ３０のワークエリアを構成してもよい。
【0065】
端末通信ユニット３２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、端末プロセッサ３０の制御に従って物品管理サーバ４と通信する。本実施の形態では、端末通信ユニット３２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。
【0066】
タッチパネル３３は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサとを備える。
【0067】
上述した通り、端末プロセッサ３０は、アプリ実行部３００として機能する。
アプリ実行部３００は、端末通信ユニット３２を介して、物品管理サーバ４と通信する。
また、アプリ実行部３００は、冷蔵庫１が収容する物品の管理に係るユーザーインターフェースを、タッチパネル３３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３３０」の符号を付す。アプリ実行部３００は、アプリＵＩ３３０をタッチパネル３３に表示させることで、冷蔵庫１が収容する物品ＢＰに係る各種情報をユーザＰに提供し、また、冷蔵庫１が収容する物品ＢＰに係る各種入力をユーザＰから受け付ける。
アプリ実行部３００は、端末通信ユニット３２を介して、物品管理サーバ４と通信する。
また、アプリ実行部３００は、冷蔵庫１が収容する物品の管理に係るユーザーインターフェースを、タッチパネル３３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３３０」の符号を付す。アプリ実行部３００は、アプリＵＩ３３０をタッチパネル３３に表示させることで、冷蔵庫１が収容する物品ＢＰに係る各種情報をユーザＰに提供し、また、冷蔵庫１が収容する物品ＢＰに係る各種入力をユーザＰから受け付ける。
【0068】
［２．動作］
次に、物品管理システム１０００の各部の動作について説明する。
［２－１．物品の検出に係わる動作］
まず、冷蔵室１１に入出庫される物品ＢＰの検出に係わる動作について説明する。
図７は、検出装置２の動作を示すフローチャートＦＡである。
次に、物品管理システム１０００の各部の動作について説明する。
［２－１．物品の検出に係わる動作］
まず、冷蔵室１１に入出庫される物品ＢＰの検出に係わる動作について説明する。
図７は、検出装置２の動作を示すフローチャートＦＡである。
【0069】
人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１）。
【0070】
人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる（ステップＳＡ２）。
【0071】
次いで、開閉判定部２０３は、ドア１１Ａ及びドア１１Ｂの少なくともいずれかが開状態になったか否かを判定する（ステップＳＡ３）。
【0072】
開閉判定部２０３が、ドア１１Ａ及びドア１１Ｂが開状態になっていないと判定した場合（ステップＳＡ３：ＮＯ）、検出装置プロセッサ２０は、ステップＳＡ１６の処理を行う。
【0073】
開閉判定部２０３が、ドア１１Ａ及びドア１１Ｂの少なくともいずれかが開状態になったと判定した場合（ステップＳＡ３：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７の撮影結果の録画を開始する（ステップＳＡ４）。
【0074】
次いで、通知部２０８は、スピーカ２９によって、物品ＢＰの検出を開始したことをユーザＰに通知する（ステップＳＡ５）。
【0075】
次いで、検出部２０６は、ステップＳＡ４で録画が開始された撮影結果を示す録画データ２１４に基づいて、特定領域ＴＡ内においてマーカーＭＫを検出したか否かを判定する（ステップＳＡ６）。
【0076】
図８を参照して、特定領域ＴＡについて説明する。
図８は、特定領域ＴＡを説明する説明図である。図８は、ドア１１Ａ及びドア１１Ｂが開状態である場合の冷蔵庫１を冷蔵室用カメラ２７が撮影した撮影結果を示している。
図８は、特定領域ＴＡを説明する説明図である。図８は、ドア１１Ａ及びドア１１Ｂが開状態である場合の冷蔵庫１を冷蔵室用カメラ２７が撮影した撮影結果を示している。
【0077】
特定領域ＴＡは、冷蔵室１１内の底面においてチルド室１１Ｄの前方に形成された前方領域ＭＡ内の領域である。なお、特定領域ＴＡは、前方領域ＭＡと同じ領域としてもよい。
【0078】
検出部２０６は、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４が示す動画像を解析して、特定領域ＴＡ内でマーカーＭＫを検出したか否かを判定する。検出部２０６は、例えば、形状や色などの特徴量から動画像に写るマーカーＭＫを認識する。なお、図８は、マーカーＭＫが特定領域ＴＡ内に位置していない場合を示している。したがって、図８のマーカーＭＫの位置では、検出部２０６は、特定領域ＴＡ内でマーカーＭＫを検出していないと判定する。
【0079】
図７のフローチャートの説明に戻り、検出部２０６は、特定領域ＴＡ内でマーカーＭＫを検出していないと判定した場合（ステップＳＡ６：ＮＯ）、処理をステップＳＡ１４に移す。
【0080】
一方、検出部２０６は、特定領域ＴＡ内でマーカーＭＫを検出したと判定した場合（ステップＳＡ６：ＹＥＳ）、検出したマーカーＭＫが特定領域ＴＡ内で所定時間静止したか否かを判定する（ステップＳＡ７）。
【0081】
ステップＳＡ７について詳述する。
例えば、検出部２０６は、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４が示す動画像を解析して、特定領域ＴＡ内で検出したマーカーＭＫの中心位置、及び当該マーカーＭＫの面積が、連続する複数のフレーム間で差異が無くなったときに、検出したマーカーＭＫが特定領域ＴＡ内で所定時間静止したと判定する。所定時間の静止判定で比較するフレームの枚数は、予め定められている。なお、マーカーＭＫの中心位置及び面積は、例えば、マーカーＭＫが矩形である場合、録画データ２１４が示す動画像の画像領域におけるマーカーＭＫの四隅の位置に基づいて決定される。
例えば、検出部２０６は、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４が示す動画像を解析して、特定領域ＴＡ内で検出したマーカーＭＫの中心位置、及び当該マーカーＭＫの面積が、連続する複数のフレーム間で差異が無くなったときに、検出したマーカーＭＫが特定領域ＴＡ内で所定時間静止したと判定する。所定時間の静止判定で比較するフレームの枚数は、予め定められている。なお、マーカーＭＫの中心位置及び面積は、例えば、マーカーＭＫが矩形である場合、録画データ２１４が示す動画像の画像領域におけるマーカーＭＫの四隅の位置に基づいて決定される。
【0082】
検出部２０６は、検出したマーカーＭＫが特定領域ＴＡ内で所定時間静止していないと判定した場合（ステップＳＡ７：ＮＯ）、処理をステップＳＡ６に移す。
【0083】
一方、検出部２０６は、検出したマーカーＭＫが特定領域ＴＡ内で所定時間静止したと判定した場合（ステップＳＡ７：ＹＥＳ）、所定時間静止したと判定したマーカーＭＫからマーカーＩＤ４１２３を読み出す（ステップＳＡ８）。
【0084】
次いで、検出部２０６は、マーカーＩＤ４１２３を読み出したマーカーＭＫが付された物品ＢＰの物品画像ＢＰＧを、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４が示す動画像から切り出す（ステップＳＡ９）。ステップＳＡ９において、検出部２０６は、例えば、特定領域ＴＡ内にマーカーＭＫが位置するフレームから物品画像ＢＰＧを切り出す。
【0085】
物品画像ＢＰＧの切り出し範囲ＫＨについて図９を参照して説明する。
図９は、切り出し範囲ＫＨを説明する説明図である。図９に示す画像は、ドア１１Ａ及びドア１１Ｂが開状態である場合の冷蔵庫１を、冷蔵室用カメラ２７が撮影した画像である。また、図９に示す画像は、ユーザＰが物品ＢＰを特定領域ＴＡ内に位置させている。
図９は、切り出し範囲ＫＨを説明する説明図である。図９に示す画像は、ドア１１Ａ及びドア１１Ｂが開状態である場合の冷蔵庫１を、冷蔵室用カメラ２７が撮影した画像である。また、図９に示す画像は、ユーザＰが物品ＢＰを特定領域ＴＡ内に位置させている。
【0086】
図９で示すように、切り出し範囲ＫＨは、特定領域ＴＡ内の範囲である。図９では、切り出し範囲ＫＨが特定領域ＴＡより狭い範囲である場合を例示しているが、切り出し範囲ＫＨは、特定領域ＴＡと同じ形状としてもよい。
【0087】
切り出し範囲ＫＨは、ステップＳＡ８で読み出したマーカーＩＤ４１２３に対応する範囲でもよい。また、切り出し範囲ＫＨは、特定領域ＴＡ内に位置する物品ＢＰの画像差分によって推定された範囲でもよい。切り出し範囲ＫＨが画像差分によって推定された範囲の場合、検出部２０６は、例えば、特定領域ＴＡ内にマーカーＭＫが位置する複数のフレームから物品ＢＰを認識し、認識した物品ＢＰの特定領域ＴＡ内における移動範囲を認識し、認識した移動範囲を切り出し範囲ＫＨとする。
【0088】
図７のフローチャートの説明に戻り、検出部２０６が物品画像ＢＰＧを切り出すと、通知部２０８は、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ１０）。
【0089】
次いで、入出庫判定部２０７は、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４に基づいて、入出庫判定を行う（ステップＳＡ１１）。
【0090】
ステップＳＡ１１の入出庫判定は、ステップＳＡ９で切り出された物品画像ＢＰＧが示す物品ＢＰが、冷蔵庫１に入庫された物品ＢＰであるか冷蔵庫１から出庫された物品ＢＰであるかを判定する処理である。
【0091】
入出庫判定部２０７は、録画データ２１４を画像解析して、録画データ２１４が示す動画像に第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４を設定する。第１領域Ｒ１は、冷蔵室１１に対応する領域である。第２領域Ｒ２は、左ドア１１Ａに対応する領域である。第３領域Ｒ３は、右ドア１１Ｂに対応する領域である。第４領域Ｒ４は、冷蔵庫１の庫外に対応する領域である。
【0092】
図１０は、入出庫判定を説明する説明図であり、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４の境界線を示す図である。
冷蔵室１１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度が異なっても、録画画像２１５における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部２０７は、録画データ２１４が示す動画像の予め設定された範囲を第１領域Ｒ１に設定する。図１０に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。
冷蔵室１１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度が異なっても、録画画像２１５における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部２０７は、録画データ２１４が示す動画像の予め設定された範囲を第１領域Ｒ１に設定する。図１０に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。
【0093】
また、左ドア１１Ａに対応する第２領域Ｒ２や、右ドア１１Ｂに対応する第３領域Ｒ３は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度によって領域が変更される。このため、入出庫判定部２０７は、例えば、左ドア１１Ａや、右ドア１１Ｂに設けられたドアポケット１１１のエッジを検出し、検出したドアポケット１１１のエッジに基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。また、左ドア１１Ａや右ドア１１Ｂのドアポケット１１１の端部に、ドアポケット１１１を識別するマーク等を配置し、入出庫判定部２０７は、録画データ２１４が示す動画像から検出したマークの位置に基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定してもよい。また、入出庫判定部２０７は、設定した第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３以外の領域を、冷蔵室１１の庫外である第４領域Ｒ４に設定する。図１０に示す境界線５０２が第２領域Ｒ２の境界を示し、境界線５０３が第３領域Ｒ３の境界を示す。
【0094】
入出庫判定部２０７は、録画データ２１４が示す動画像を解析することで、移動するマーカーＭＫの軌跡を検出する。入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３のいずれの領域で終了したのかを判定して、物品ＢＰがいずれの領域に入庫されたのかを判定する。また、入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第４領域Ｒ４で終了した場合、物品ＢＰが冷蔵室１１の庫外に取り出されたと判定する。
【0095】
入出庫判定部２０７は、入出庫判定において、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４が示す動画像に対して、入出庫判定画像ＨＧを重畳させてもよい。
【0096】
【0097】
入出庫判定画像ＨＧは、境界線Ｌ１を有する。
境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方に位置する。
境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方に位置する。
【0098】
入出庫判定画像ＨＧの画像領域は、境界線Ｌ１によって、第１領域ＨＡ１と第２領域ＨＡ２とに分割される。第１領域ＨＡ１は、冷蔵室用カメラ２７が撮影した動画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方側の領域である。第２領域ＨＡ２は、冷蔵室用カメラ２７が撮影した動画像に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の後方側の領域である。
【0099】
入出庫判定部２０７は、入出庫判定画像ＨＧが重畳された動画像を解析することで、特定領域ＴＡ内で所定時間静止したマーカーＭＫが、ステップＳＡ１０の通知を行ってから所定時間以内に、特定領域ＴＡから第１領域ＨＡ１に移動したか否か、特定領域ＴＡから第２領域ＨＡ２に移動したか否かを判定する。入出庫判定部２０７は、特定領域ＴＡ内で所定時間静止したマーカーＭＫが第１領域ＨＡ１に移動したと判定した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１から出庫された物品ＢＰであると判定する。一方、入出庫判定部２０７は、特定領域ＴＡ内で所定時間静止したマーカーＭＫが第１領域ＨＡ１に移動しなかった、すなわち特定領域ＴＡから第２領域ＨＡ２に移動したと判定した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１に入庫された物品ＢＰであると判定する。
【0100】
図７のフローチャートの説明に戻り、入出庫判定部２０７が入出庫判定を行うと、通知部２０８は、検出された物品ＢＰの入出庫が判定されたことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ１２）。
【0101】
記録部２０９は、ステップＳＡ４で録画が開始された撮影結果の録画データ２１４に対して、ステップＳＡ８で読み出されたマーカーＩＤ４１２３、ステップＳＡ９で切り出された物品画像ＢＰＧの物品画像データ４１２７、及びステップＳＡ１１の入出庫判定の判定結果を対応付けて検出装置メモリ２１に記録する（ステップＳＡ１３）。
【0102】
次いで、開閉判定部２０３は、開いていたドア１１Ｃが閉状態になったか否かを判定する（ステップＳＡ１４）。
【0103】
開閉判定部２０３が、開いていたドア１１Ｃが閉状態になっていないと判定した場合（ステップＳＡ１４：ＮＯ）、検出装置プロセッサ２０は、処理をステップＳＡ６に移す。
【0104】
一方、開閉判定部２０３が、開いていたドア１１Ｃが閉状態になったと判定した場合（ステップＳＡ１４：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７の撮影結果の録画を終了する（ステップＳＡ１５）。
【0105】
次いで、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１６）。
【0106】
人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判定した場合（ステップＳＡ１６：ＹＥＳ）、検出装置プロセッサ２０は、処理をステップＳＡ３に移す。
【0107】
一方、人物存在判定部２０２が、冷蔵庫１の周辺に人が存在しないと判定した場合（ステップＳＡ１７：ＮＯ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる（ステップＳＡ１７）。
【0108】
検出装置プロセッサ２０は、ステップＳＡ１７の処理を行うと処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。
【0109】
［２－２．アップロードデータの送信に係わる動作］
次に、アップロードデータの送信に係わる物品管理システム１０００の動作について説明する。
図１２は、物品管理システム１０００の動作を示すフローチャートである。
図１２において、フローチャートＦＢは検出装置２の動作を示し、フローチャートＦＣは物品管理サーバ４の動作を示す。
次に、アップロードデータの送信に係わる物品管理システム１０００の動作について説明する。
図１２は、物品管理システム１０００の動作を示すフローチャートである。
図１２において、フローチャートＦＢは検出装置２の動作を示し、フローチャートＦＣは物品管理サーバ４の動作を示す。
【0110】
フローチャートＦＢで示すように、検出装置２の生成部２０９は、アップロードデータを物品管理サーバ４に送信するトリガーが発生したか否かを判定する（ステップＳＢ１）。
【0111】
アップロードデータを送信するトリガーとしては、冷蔵室用カメラ２７の撮影結果の録画が終了したことや、現在時刻が予め定められた時刻に至ったことなどが例に挙げられる。
【0112】
生成部２０９は、検出装置メモリ２１に記憶されている録画データ２１４から１つの録画データ２１４を特定する（ステップＳＢ２）。
【0113】
次いで、生成部２０９は、特定した録画データ２１４に対応付く入出庫判定の判定結果が、入庫を示すか出庫を示すかを判定する（ステップＳＢ３）。
【0114】
生成部２０９は、入庫を示すと判定した場合（ステップＳＢ３：入庫）、特定した録画データ２１４に対応付く物品画像データ４１２７が示す物品ＢＰが入庫された収容エリアを、特定する（ステップＳＢ４）。
【0115】
例えば、生成部２０９は、特定した録画データ２１４が示す動画像の解析によって、物品が入庫された冷蔵室１１の収容エリアを特定する。また、例えば、棚１１２の各々の先端、及びドアポケット１１１の各々の中に収容エリアを識別するマークが付されていて、生成部２０９は、動画像におけるこのマークと検出した物品ＢＰに付されたマーカーＭＫとの位置関係に基づいて、収容エリアを特定する。
【0116】
生成部２０９は、収容エリアを特定すると、第１アップロードデータを生成する（ステップＳＢ５）。
【0117】
ステップＳＢ６で生成される第１アップロードデータは、特定した録画データ２１４に対応付くマーカーＩＤ４１２３及び物品画像データ４１２７と、ステップＳＢ６で特定された収容エリアに対応する数字を示す収容エリア情報４１２５と、検出装置メモリ２１が記憶する検出装置ＩＤ２１２と、を含む。なお、収容エリアと、収容エリアに割り当てられた数字との対応関係は、予め検出装置メモリ２１に記憶されている。
【0118】
検出装置通信制御部２０１は、ステップＳＢ５で生成された第１アップロードデータを物品管理サーバ４に送信する（ステップＳＢ６）。
【0119】
次いで、生成部２０９は、ステップＳＢ２で特定した録画データ２１４を検出装置メモリ２１から消去する（ステップＳＢ７）。
【0120】
ステップＳＢ３の説明に戻り、生成部２０９は、出庫を示すと判定した場合（ステップＳＢ３：出庫）、第２アップロードデータを生成する（ステップＳＢ８）。
【0121】
ステップＳＢ８で生成される第２アップロードデータは、特定した録画データ２１４に対応付くマーカーＩＤ４１２３及び物品画像データ４１２７と、検出装置メモリ２１が記憶する検出装置ＩＤ２１２とを含む。
【0122】
検出装置通信制御部２０１は、ステップＳＢ８で生成された第２アップロードデータを物品管理サーバ４に送信する（ステップＳＢ９）。
【0123】
次いで、生成部２０９は、ステップＳＢ２で特定した録画データ２１４を検出装置メモリ２１から消去する（ステップＳＢ７）。
【0124】
生成部２０９は、検出装置メモリ２１に録画データ２１４があるか否かを判定する（ステップＳＢ１０）。
【0125】
生成部２０９は、検出装置メモリ２１に録画データ２１４があると判定した場合（ステップＳＢ１０：ＹＥＳ）、処理をステップＳＢ２に戻し、再度、ステップＳＢ２以降の処理を行う。
【0126】
一方、生成部２０９は、検出装置メモリ２１に録画データ２１４がないと判定した場合（ステップＳＢ１０：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を行う。
【0127】
フローチャートＦＣで示すように、物品管理サーバ４のサーバ通信制御部４０１は、第１アップロードデータ及び第２アップロードデータのいずれかのアップロードデータを受信したか否かを判定する（ステップＳＣ１）。
【0128】
サーバ通信制御部４０１は、アップロードデータを受信していないと判定した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の判定を行う。
【0129】
一方、サーバ通信制御部４０１が、アップロードデータを受信したと判定した場合（ステップＳＣ１：ＹＥＳ）、サーバ処理部４０２は、サーバ通信制御部４０１が受信したアップロードデータに基づいて物品管理ＤＢ４１２を更新する（ステップＳＣ２）。
【0130】
ステップＳＣ２について詳述する。
サーバ通信制御部４０１が受信したアップロードデータが第１アップロードデータである場合、サーバ処理部４０２は、第１アップロードデータに含まれる検出装置ＩＤ２１２を有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、次のサブレコードＳＲを格納する。格納されるサブレコードＳＲは、第１アップロードデータに含まれるマーカーＩＤ４１２３、収容エリア情報４１２５、及び物品画像データ４１２７と、ブランクの物品名情報４１２４と、収容開始日時を示す収容開始日時情報４１２６とを対応付けて格納する。収容開始日時としては、例えば、第１アップロードデータが受信された日時である。
サーバ通信制御部４０１が受信したアップロードデータが第２アップロードデータである場合、サーバ処理部４０２は、第２アップロードデータに含まれる検出装置ＩＤ２１２とマーカーＩＤ４１２３とを有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲから、第２アップロードデータに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを消去する。
サーバ通信制御部４０１が受信したアップロードデータが第１アップロードデータである場合、サーバ処理部４０２は、第１アップロードデータに含まれる検出装置ＩＤ２１２を有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、次のサブレコードＳＲを格納する。格納されるサブレコードＳＲは、第１アップロードデータに含まれるマーカーＩＤ４１２３、収容エリア情報４１２５、及び物品画像データ４１２７と、ブランクの物品名情報４１２４と、収容開始日時を示す収容開始日時情報４１２６とを対応付けて格納する。収容開始日時としては、例えば、第１アップロードデータが受信された日時である。
サーバ通信制御部４０１が受信したアップロードデータが第２アップロードデータである場合、サーバ処理部４０２は、第２アップロードデータに含まれる検出装置ＩＤ２１２とマーカーＩＤ４１２３とを有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲから、第２アップロードデータに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを消去する。
【0131】
［２－３．物品名の登録に係わる動作］
次に、物品名の登録に係わる物品管理システム１０００の動作について説明する。
図１３は、物品管理システム１０００の動作を示すフローチャートである。
図１３において、フローチャートＦＤは物品管理サーバ４の動作を示し、フローチャートＦＥは端末装置３の動作を示す。
次に、物品名の登録に係わる物品管理システム１０００の動作について説明する。
図１３は、物品管理システム１０００の動作を示すフローチャートである。
図１３において、フローチャートＦＤは物品管理サーバ４の動作を示し、フローチャートＦＥは端末装置３の動作を示す。
【0132】
フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、新たなサブレコードＳＲが物品管理ＤＢ４１２に格納されたか否かを判定する（ステップＳＤ１）。
【0133】
物品管理サーバ４のサーバ通信制御部４０１は、サブレコードＳＲが物品管理ＤＢ４１２に格納されたと判定した場合（ステップＳＤ１：ＹＥＳ）、入力画面表示データを端末装置３に送信する（ステップＳＤ２）。
入力画面表示データは、アプリＵＩ３３０において入力画面ＮＧを表示させるためのデータである。入力画面ＮＧは、物品ＢＰの名称である物品名の入力を受け付ける画面である。
入力画面表示データは、アプリＵＩ３３０において入力画面ＮＧを表示させるためのデータである。入力画面ＮＧは、物品ＢＰの名称である物品名の入力を受け付ける画面である。
【0134】
ステップＳＤ２について説明する。
サーバ通信制御部４０１は、新たに格納されたサブレコードＳＲに含まれるマーカーＩＤ４１２３と物品画像データ４１２７とを含む入力画面表示データを生成する。次いで、サーバ通信制御部４０１は、サブレコードＳＲが追加されたレコードＲが有する通信情報４１２２に基づいて、生成した入力画面表示データを端末装置３に送信する。
サーバ通信制御部４０１は、新たに格納されたサブレコードＳＲに含まれるマーカーＩＤ４１２３と物品画像データ４１２７とを含む入力画面表示データを生成する。次いで、サーバ通信制御部４０１は、サブレコードＳＲが追加されたレコードＲが有する通信情報４１２２に基づいて、生成した入力画面表示データを端末装置３に送信する。
【0135】
フローチャートＦＥで示すように、端末装置３のアプリ実行部３００は、物品管理サーバ４から入力画面表示データを受信する（ステップＳＥ１）。
【0136】
次いで、アプリ実行部３００は、入力画面ＮＧを表示したアプリＵＩ３３０をタッチパネル３３に表示させる（ステップＳＥ２）。
【0137】
図１４は、入力画面ＮＧの一例を示す図である。
入力画面ＮＧは、物品画像ＢＰＧを表示する。入力画面ＮＧが表示する物品画像ＢＰＧは、入力画面表示データに含まれる物品画像データ４１２７が示す物品画像ＢＰＧである。
入力画面ＮＧは、物品画像ＢＰＧを表示する。入力画面ＮＧが表示する物品画像ＢＰＧは、入力画面表示データに含まれる物品画像データ４１２７が示す物品画像ＢＰＧである。
【0138】
入力画面ＮＧは、物品名を入力する入力欄ＮＬを表示する。入力画面ＮＧが表示する入力欄ＮＬには、端末装置３のユーザＰによって物品名が入力される。図１４の入力画面ＮＧでは、「ゆで卵」の物品名が入力欄ＮＬに入力されている場合を例示している。
【0139】
入力画面ＮＧは、確定ボタンＢ１を表示する。確定ボタンＢ１は、入力欄ＮＬに入力された内容を確定するためのソフトウェアボタンである。
【0140】
図１３のフローチャートの説明に戻り、アプリ実行部３００は、ユーザＰによって物品名が入力され（ステップＳＸ１）、ユーザＰによって確定ボタンＢ１が操作されると（ステップＳＣ３）、更新データを物品管理サーバ４に送信する（ステップＳＥ３）。ステップＳＥ３で送信される更新データには、入力画面ＮＧで入力された物品名を示す物品名情報４１２４、及び、ステップＳＦ１で受信された入力画面表示データに含まれるマーカーＩＤ４１２３を含む。
【0141】
フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、端末装置３から更新データを受信する（ステップＳＤ３）。
【0142】
次いで、サーバ処理部４０２は、ステップＳＤ３で受信された更新データに基づいて物品管理ＤＢ４１２を更新する（ステップＳＤ４）。
【0143】
ステップＳＤ４について詳述する。
サーバ処理部４０２は、更新データに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したサブレコードＳＲの物品名情報４１２４を、更新データが含む物品名情報４１２４に更新する。
サーバ処理部４０２は、更新データに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したサブレコードＳＲの物品名情報４１２４を、更新データが含む物品名情報４１２４に更新する。
【0144】
［３．効果等］
以上、説明したように、検出装置２は、冷蔵庫１の上部に設けられる。検出装置２は、冷蔵庫１の前上方から冷蔵室１１を撮影する冷蔵室用カメラ２７と、冷蔵室用カメラ２７の撮影結果に基づいて、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出する検出部２０６と、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出部２０６が検出した場合、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、冷蔵庫１のユーザＰに通知する通知部２０８と、を備える。
以上、説明したように、検出装置２は、冷蔵庫１の上部に設けられる。検出装置２は、冷蔵庫１の前上方から冷蔵室１１を撮影する冷蔵室用カメラ２７と、冷蔵室用カメラ２７の撮影結果に基づいて、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出する検出部２０６と、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出部２０６が検出した場合、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、冷蔵庫１のユーザＰに通知する通知部２０８と、を備える。
【0145】
これにより、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１に出庫される物品ＢＰを検出装置２が検出したことを、冷蔵庫１のユーザＰが把握できる。
【0146】
検出装置２は、冷蔵庫１の周辺に人が存在するか否かを判定する人物存在判定部２０２を備える。冷蔵室用カメラ２７は、人物存在判定部２０２が冷蔵庫１の周辺に人が存在すると判定してから、人物存在判定部２０２が冷蔵庫１の周辺に人が存在しないと判定するまでの間、撮影を行う。検出部２０６は、冷蔵室用カメラ２７が撮影している間、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出する。
【0147】
これにより、検出装置２は、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、冷蔵庫１のユーザＰが物品ＢＰの入出又は出庫を行っている間に、冷蔵庫１のユーザＰに通知できる。よって、冷蔵庫１のユーザＰは、リアルタイムで検出装置２が物品ＢＰを検出したことを把握できる。
【0148】
検出部２０６は、特定領域ＴＡ内で所定時間静止する物品ＢＰが冷蔵室用カメラ２７の撮影結果に写る場合、当該物品ＢＰを、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰとして検出する。
【0149】
これにより、特定領域ＴＡ内で所定時間静止する物品ＢＰを検出対象とすることで、検出対象とする物品ＢＰを限定できる。そのため、ユーザＰが検出させたいと所望する物品ＢＰ以外の物品ＢＰを検出してしまうことを抑制でき、ユーザＰが検出させたいと所望する物品ＢＰを正確に検出できるようになる。よって、ユーザＰが検出させたいと所望しない物品ＢＰを誤検出して、冷蔵庫１のユーザＰに誤って通知してしまうといった事態の発生を抑制できる。
【0150】
検出部２０６は、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰとして、マーカーＭＫが付された物品ＢＰを検出する。
【0151】
これにより、マーカーＭＫが付された物品ＢＰを検出装置２が検出したことを、冷蔵庫１のユーザＰが把握できる。
【0152】
検出装置２は、冷蔵室１１に設けられたドア１１Ｃが開いたか否かを判定する開閉判定部２０３を備える。通知部２０８は、ドア１１Ｃが開いたと開閉判定部２０３が判定した場合、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰの検出を開始したことを、冷蔵庫１のユーザＰに通知する。
【0153】
これにより、物品ＢＰの検出を検出装置２が開始していることを、冷蔵庫１のユーザＰが把握できる。よって、冷蔵庫１のユーザＰがどのタイミングを起点として検出装置２に物品ＢＰを検出させればよいのかを把握できる。
【0154】
検出装置２は、検出部２０６が検出した物品ＢＰが冷蔵室１１に入庫された物品ＢＰであるか冷蔵室１１から出庫された物品ＢＰであるかを判定する入出庫判定部２０７を備える。通知部２０８は、検出部２０６が検出した物品ＢＰについて入出庫判定部２０７が入出庫の判定を行った場合、検出部２０６が検出した物品ＢＰについて入出庫を判定したことを、冷蔵庫１のユーザＰに通知する。
【0155】
これにより、検出された物品ＢＰの入出庫を検出装置２が判定したことを、冷蔵庫１のユーザＰが把握できる。
【0156】
検出装置２は、スピーカ２９を備える。通知部２０８は、スピーカ２９によって通知する。
【0157】
これにより、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１に出庫される物品ＢＰを検出装置２が検出したことを、冷蔵庫１のユーザＰが容易に把握できる。
【0158】
冷蔵庫１の上部に設けられる検出装置２の制御方法は、冷蔵室用カメラ２７によって、冷蔵庫１の前上方から冷蔵室１１を撮影し、冷蔵室用カメラ２７の撮影結果に基づいて、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出し、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出した場合、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、冷蔵庫１のユーザＰに通知する。
【0159】
これにより、上述した検出装置２の効果と同様の効果を奏する。
【0160】
制御プログラム２１１は、冷蔵庫１の上部に設けられる検出装置２の検出装置プロセッサ２０を、冷蔵庫１の前上方から冷蔵室１１を撮影する冷蔵室用カメラ２７に撮影させる撮影制御部２０４と、冷蔵室用カメラ２７の撮影結果に基づいて、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出する検出部２０６と、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出部２０６が検出した場合、冷蔵室１１に入庫される物品ＢＰ又は冷蔵室１１から出庫される物品ＢＰを検出したことを、冷蔵庫１のユーザＰに通知する通知部２０８として機能させる。
【0161】
これにより、上述した検出装置２の効果と同様の効果を奏する。
【0162】
（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
【0163】
上述した実施の形態では、本開示の「貯蔵庫」として冷蔵庫１を例示した。しかしながら、本開示の「貯蔵庫」は、冷蔵庫１に限定されず、冷凍庫や、常温保存庫などの他の貯蔵庫でもよい。
【0164】
上述した実施の形態では、本開示の「貯蔵室」として冷蔵室１１を例示した。しかしながら、本開示の「貯蔵室」は冷蔵室１１に限定されず、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５でもよい。また、本開示の「貯蔵庫」が冷蔵庫１以外の貯蔵庫である場合、本開示の「貯蔵室」は、冷蔵庫１以外の貯蔵庫の貯蔵室に対応する。
【0165】
上述した実施の形態では、物品ＢＰにマーカーＭＫが付されている場合を例示したが、物品管理システム１０００が管理する物品ＢＰは、マーカーＭＫが付された物品ＢＰでなくてもよい。
【0166】
上述した実施の形態は、物品ＢＰの検出を開始した場合、物品ＢＰを検出した場合、及び検出した物品ＢＰについて入出庫判定が完了した場合の各々で、ユーザＰに通知を行う構成である。しかしながら、ユーザＰへの通知は、少なくとも、物品ＢＰを検出した場合に行われればよい。換言すると、物品ＢＰの検出を開始した場合の通知、及び検出した物品ＢＰについて入出庫判定が完了した場合の通知は、行われなくてもよい。物品ＢＰの検出を開始した場合の通知の有無は、ユーザＰが任意に設定できる構成としてもよい。入出庫判定が完了した場合の通知の有無は、ユーザＰが任意に設定できる構成としてもよい。
【0167】
上述した実施の形態は、検出装置２が音声で通知を行う構成である。しかしながら、通知態様は、音声に限定されない。例えば、検出装置２は、ライトを備え、ライトを点消灯させることで、各種の通知を行ってもよい。また、例えば、冷蔵庫１がディスプレイを備える場合、検出装置２は、冷蔵庫１に通知情報をディスプレイで表示させることで、各種の通知を行ってもよい。この構成の場合、検出装置２と冷蔵庫１とは互いに通信接続している。
【0168】
上述した入出庫判定画像ＨＧが有する境界線Ｌ１は、図１１に示す境界線Ｌ１に限定されない。例えば、入出庫判定画像ＨＧが有する境界線Ｌ１は、分割する画像領域のうち特定領域ＴＡを含む領域が、重畳される動画像に写るドア１１Ｃを含むような凸凹の線としてもよい。
【0169】
例えば、他の実施の形態の物品管理システム１０００は、収容開始日時以外に、物品ＢＰの残量や、物品ＢＰの消費期限日、物品ＢＰの賞味期限日などの他の項目も管理してもよい。
【0170】
上述した実施の形態では、人物存在判定部２０２が人感センサ２６の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部２０２は、人感センサ２６の代わりに、照度センサや、冷蔵庫１の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫１と検出装置２とが通信可能であり、冷蔵庫１は、静電センサの検出値を検出装置２に送信する。
【0171】
他の実施の形態では、レコードＲを端末装置３が記憶してもよい。この構成の場合、アプリ実行部３００は、端末装置３が記憶するレコードＲの内容を、上述した物品管理サーバ４と同様に適宜更新する。これにより、物品管理システム１０００は物品管理サーバ４を具備する必要がなくシステム構成が簡易となる。
【0172】
他の実施の形態では、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５以外の収容室があってもよいし、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。
【0173】
例えば、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成される。
【0174】
図４及び図５に示した検出装置２、端末装置３、及び物品管理サーバ４の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、検出装置２、端末装置３、及び物品管理サーバ４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。
【0175】
図７、図１２、及び図１３に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。
【0176】
検出装置プロセッサ２０が実行する制御プログラム２１１は、可搬型の情報記録媒体に制御プログラム２１１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Universal Serial Bus）メモリやＳＳＤ（Solid State Drive）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。
【0177】
なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【産業上の利用可能性】
【0178】
本開示の検出装置、検出装置の制御方法、及びプログラムは、貯蔵庫に入出庫される物品を検出する用途に利用可能である。
【符号の説明】
【0179】
１ 冷蔵庫（貯蔵庫）
２ 検出装置
１１ 冷蔵室（貯蔵室）
１１Ｃ ドア
２０ 検出装置プロセッサ（プロセッサ）
２７ 冷蔵室用カメラ（カメラ）
２９ スピーカ
２０２ 人物存在判定部（第１判定部）
２０３ 開閉判定部（第２判定部）
２０４ 撮影制御部
２０６ 検出部
２０７ 入出庫判定部（第３判定部）
２０８ 通知部
２１１ 制御プログラム（プログラム）
ＢＰ 物品
ＭＫ マーカー
ＴＡ 特定領域
２ 検出装置
１１ 冷蔵室（貯蔵室）
１１Ｃ ドア
２０ 検出装置プロセッサ（プロセッサ）
２７ 冷蔵室用カメラ（カメラ）
２９ スピーカ
２０２ 人物存在判定部（第１判定部）
２０３ 開閉判定部（第２判定部）
２０４ 撮影制御部
２０６ 検出部
２０７ 入出庫判定部（第３判定部）
２０８ 通知部
２１１ 制御プログラム（プログラム）
ＢＰ 物品
ＭＫ マーカー
ＴＡ 特定領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】