特開 2023-79894 検出システム、プログラム及び入出庫管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023079894

(43)【公開日】2023-06-08

(54)【発明の名称】検出システム、プログラム及び入出庫管理方法

(51)【国際特許分類】

   F25D 23/00 20060101AFI20230601BHJP

   F25D 29/00 20060101ALI20230601BHJP

【ＦＩ】

F25D23/00 301G

F25D29/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021193589

(22)【出願日】2021-11-29

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】堀井 愼一

(72)【発明者】

【氏名】仮屋崎 拓

【テーマコード（参考）】

3L045

3L345

【Ｆターム（参考）】

3L045AA02

3L045AA05

3L045BA01

3L045CA02

3L045LA01

3L045LA15

3L045LA16

3L045LA18

3L045MA00

3L045NA19

3L045PA01

3L045PA02

3L045PA03

3L045PA04

3L345AA02

3L345AA21

3L345AA26

3L345EE03

3L345EE13

3L345EE45

3L345EE53

3L345EE55

3L345HH34

3L345HH36

3L345HH42

3L345HH45

3L345JJ02

3L345JJ05

3L345JJ14

3L345JJ16

3L345JJ23

3L345JJ26

3L345JJ28

3L345KK01

3L345KK02

3L345KK03

3L345KK04

(57)【要約】

【課題】冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができるようにする。
【解決手段】検出システムは、物品に付されたマーカーと、前記マーカーを検出する検出装置と、を備える検出システムであって、前記検出装置は、冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影する撮影部と、前記撮影部が撮影した撮影画像から前記マーカーの画像を検出する検出部と、前記検出部が検出した前記マーカーの画像に基づき、前記マーカーが付された物品の前記庫内への入庫、又は、前記物品の庫内からの出庫を判定する判定部と、を備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

物品に付されたマーカーと、前記マーカーを検出する検出装置と、を備える検出システムであって、
前記検出装置は、
冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影する撮影部と、
前記撮影部が撮影した撮影画像から前記マーカーの画像を検出する検出部と、
前記検出部が検出した前記マーカーの画像に基づき、前記マーカーが付された物品の前記庫内への入庫、又は、前記物品の前記庫内からの出庫を判定する判定部と、
を備える、検出システム。

【請求項2】

前記検出部は、前記撮影画像の予め設定された検出領域内において前記マーカーを検出する、請求項１記載の検出システム。

【請求項3】

前記判定部は、前記検出領域内において前記マーカーを検出後、前記マーカーの移動方向に基づいて前記物品が前記庫内に入庫したのか、前記庫内から出庫したのかを判定する、請求項１又は２記載の検出システム。

【請求項4】

前記判定部は、前記検出領域内において前記マーカーを検出後、前記ドアのドアポケットに対応する前記撮影画像の領域内への前記マーカーの移動が検出された場合、前記マーカーが付された物品が前記庫内に入庫したと判定する、請求項３記載の検出システム。

【請求項5】

前記判定部は、前記検出領域内において前記マーカーを検出後、前記マーカーの移動方向と、前記庫内に複数設けられた収容エリアの前記庫内における配置と、に基づき、前記物品が収容された収容エリアを判定する、請求項３又は４記載の検出システム。

【請求項6】

前記検出装置は、通信情報を記憶する記憶部を備え、
前記マーカーは、矩形形状の背景領域と、前記背景領域内に形成され、前記マーカーに付与された識別情報に対応したパターン画像と、を含み、
前記判定部は、前記撮影画像に撮影された前記背景領域の面積を、前記撮影画像の撮影順に算出し、算出した前記背景領域の面積に変化が検出されなくなると、前記マーカーの画像により決定される前記撮影画像の範囲を切り出し、切り出した前記画像を、前記通信情報が示す送信先に送信する、請求項１から５のいずれか一項に記載の検出システム。

【請求項7】

前記検出部が検出した前記パターン画像に対応した識別情報を取得する取得部を備え、
前記判定部は、前記予め設定された設定時間内に前記取得部が同一の識別情報を取得した場合、検出したマーカーが付された物品が再度、前記庫内に入庫したと判定する、請求項６記載の検出システム。

【請求項8】

前記検出部が検出した前記パターン画像に対応した識別情報を取得する取得部を備え、
前記判定部は、前記取得部が取得した前記識別情報が、出庫と判定した物品に付された前記マーカーから検出した前記識別情報と同一である場合、前記識別情報に対応した物品が再度、前記庫内に入庫したと判定する、請求項６記載の検出システム。

【請求項9】

物品に付されたマーカーを検出する検出装置に搭載されたコンピューターに、
冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、
撮影された撮影画像から前記マーカーの画像を検出し、
検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、処理を実行させる、プログラム。

【請求項10】

冷蔵庫への物品の入出庫を管理する入出庫管理方法であって、
前記冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、
撮影された撮影画像から物品に付されたマーカーの画像を検出し、
検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の前記庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、
入出庫管理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、検出システム、プログラム及び入出庫管理方法に関する。

【背景技術】

【0002】

特許文献１は、収容室に設けられた開口部を通過する物体を通過物体検出部により検出し、通過物体検出部により物体が検出されたときにカメラによる撮像を行い、撮像により得られた画像から、収容室に入庫される物品の情報を取得する冷蔵庫を開示する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０７０４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる検出システム、プログラム及び入出庫管理方法を提供する。

【課題を解決するための手段】

【0005】

本開示における検出装置は、物品に付されたマーカーと、前記マーカーを検出する検出装置と、を備える検出システムであって、前記検出装置は、冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影する撮影部と、前記撮影部が撮影した撮影画像から前記マーカーの画像を検出する検出部と、前記検出部が検出した前記マーカーの画像に基づき、前記マーカーが付された物品の前記庫内への入庫、又は、前記物品の前記庫内からの出庫を判定する判定部と、を備える。

【0006】

本開示におけるプログラムは、物品に付されたマーカーを検出する検出装置に搭載されたコンピューターに、冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、撮影された撮影画像から前記マーカーの画像を検出し、検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する、処理を実行させる。

【0007】

本開示における入出庫管理方法は、冷蔵庫への物品の入出庫を管理する入出庫管理方法であって、前記冷蔵庫のドアが開状態であるときに、前記冷蔵庫の庫内の少なくとも一部を含む範囲を前記庫内の上方から撮影部に撮影させ、撮影された撮影画像から物品に付されたマーカーの画像を検出し、検出した前記マーカーの画像に基づいて、前記マーカーが付された物品の前記庫内への入庫、又は、前記マーカーが付された物品の前記庫内からの出庫を判定する。

【発明の効果】

【0008】

本開示における検出システム、プログラム及び入出庫管理方法は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる。

【図面の簡単な説明】

【0009】

【図1】物品管理システムの構成を示す図

【図2】検出装置の正面図

【図3】検出装置の右側面図

【図4】検出システムの構成を示すブロック図

【図5】物品に付されたマーカーの一例を示す図

【図6】端末装置及び物品管理サーバの構成を示すブロック図

【図7】物品管理ＤＢが格納するレコードの一例を示す図

【図8】検出装置の動作を示すフローチャート

【図9】検出領域を説明する説明図

【図10】録画画像に撮影された検出領域を拡大して表示した図

【図11】切り出し範囲を説明する説明図

【図12】入出庫判定を説明する説明図

【図13】入出庫判定を説明する説明図

【図14】物品管理システムの動作を示すフローチャート

【図15】物品管理システムの動作を示すフローチャート

【図16】入力画面の一例を示す図

【発明を実施するための形態】

【0010】

（本開示の基礎となった知見等）
発明者らが本開示に想到するに至った当時、冷蔵庫に入出庫される物品を検出する技術があった。しかしながら、従来の技術では、冷蔵庫に入出庫される物品の情報をより確実に取得したいという課題を発明者らは発見し、その課題を解決するために、本開示の主題を構成するに至った。
そこで、本開示は、冷蔵庫に入庫、又は冷蔵庫から出庫される物品の情報をより確実に取得することができる検出システム、プログラム及び入出庫管理方法を提供する。

【0011】

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

【0012】

（実施の形態１）
実施の形態１について説明する。
［１．構成］
［１－１．物品管理システムの構成］
図１は、物品管理システム１０００の構成を示す図である。
物品管理システム１０００は、冷蔵室１１が収容する物品ＢＰについて、物品ＢＰの名称や、冷蔵室１１に収容された収容開始日時などを管理するシステムである。

【0013】

本実施の形態において、物品ＢＰは、食品や、食品を収容する容器などを含む。また、本実施の形態において、物品管理システム１０００で管理される物品ＢＰは、マーカーＭＫが付された物品である。マーカーＭＫは、物品ＢＰに印刷されたマーカーでもよいし、物品ＢＰに貼り付けられたマーカーでもよい。マーカーＭＫは、付された物品ＢＰを、物品管理システム１０００において管理対象とするための目印として機能する。マーカーＭＫは、ＱＲコード（登録商標）などの２次元コードでもよいし、バーコードでもよいし、文字列でもよく、具体的な態様は制限されない。

【0014】

物品管理システム１０００は、冷蔵庫１を備える。冷蔵庫１は、前面が開口した主箱体１０を備える。主箱体１０には、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５が形成されている。冷蔵室１１内には、チルド室１１Ｄが設けられている。冷蔵室１１の前面の開口部には、回転式の左ドア１１Ａと回転式の右ドア１１Ｂとが設けられている。製氷室１２、新鮮凍結室１３、冷凍室１４、野菜室１５のそれぞれには、物品ＢＰを収容する引出１２Ａ、１３Ａ、１４Ａ、１５Ａがそれぞれ設けられている。
以下の説明において、左ドア１１Ａ及び右ドア１１Ｂを区別しない場合、「ドア」といい「１１Ｃ」の符号を付す。また、以下の説明において、引出１２Ａ、１３Ａ、１４Ａ、１５Ａを区別しない場合、「引出」といい「１６Ａ」の符号を付す。

【0015】

物品管理システム１０００は、検出装置２を備える。検出装置２は、冷蔵庫１に入庫される物品ＢＰを検出する。また、検出装置２は、冷蔵庫１から出庫される物品ＢＰを検出する。検出装置２は、冷蔵庫１の主箱体１０の上部である上面１０Ａに設けられる。

【0016】

物品管理システム１０００は、端末装置３を備える。端末装置３は、例えばスマートフォンやタブレット端末である。端末装置３は、冷蔵室１１が収容する物品ＢＰを管理するためのアプリケーションプログラムがインストールされており、このアプリケーションプログラムの機能によって物品管理サーバ４と通信する。
以下の説明では、このアプリケーションプログラムを、「物品管理アプリ」といい「３１１」の符号を付す。

【0017】

図１では、在宅するユーザＰを実線で示し、自宅Ｈから外出したユーザＰを点線で示している。端末装置３は、在宅するユーザＰに使用される場合、物品管理アプリ３１１の機能によって、通信装置５を介して、或いは通信装置５を介さずに、物品管理サーバ４と通信する。また、端末装置３は、自宅Ｈから外出したユーザＰに使用され、且つ、通信装置５と通信接続を確立できない場合、物品管理アプリ３１１の機能によって、通信装置５を介すことなく物品管理サーバ４と通信する。

【0018】

通信装置５は、通信ネットワークＮＷに接続し、通信ネットワークＮＷを介して物品管理サーバ４と通信する。通信ネットワークＮＷは、公衆回線網、専用線、その他の通信回線、及び、各種の通信設備で構成されるネットワークであり、具体的な態様は制限されない。例えば、通信ネットワークＮＷは、広域ネットワークでもよい。通信ネットワークＮＷは、無線通信回路及び有線通信回路の少なくともいずれかを含む構成でもよい。通信装置５は、検出装置２及び端末装置３を通信ネットワークＮＷに接続するためのインターフェイス装置として機能する。

【0019】

物品管理システム１０００は、物品管理サーバ４を備える。物品管理サーバ４は、冷蔵室１１が収容する物品ＢＰを管理するサーバ装置である。物品管理サーバ４は、通信ネットワークＮＷに接続する。なお、各図では、物品管理サーバ４を、１つのブロックによって表現するが、これは必ずしも物品管理サーバ４が単一のサーバ装置により構成されることを意味していない。例えば、物品管理サーバ４は、処理内容が異なる複数のサーバ装置を含んで構成されてもよい。

【0020】

［１－２．検出装置の構成］
図２及び図３を参照して検出装置２について説明する。
図２及び図３では、Ｘ軸、Ｙ軸、及びＺ軸を図示している。Ｘ軸、Ｙ軸、及びＺ軸は互いに直交する。Ｚ軸は、上下方向を示す。Ｘ軸及びＹ軸は、水平方向と平行である。Ｘ軸は左右方向を示す。Ｙ軸は前後方向を示す。Ｘ軸の正方向は右方向を示す。Ｙ軸の正方向は前方向を示す。Ｚ軸の正方向は上方向を示す。

【0021】

図２は、冷蔵庫１の正面図である。図２に示す冷蔵庫１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である。図３は、冷蔵庫１及び検出装置２の右側面図である。図３に示す冷蔵庫１は、引出１５Ａが、開状態、すなわち引き出された状態である。

【0022】

検出装置２は、冷蔵室用カメラ２７及び引出用カメラ２８を備える。
冷蔵室用カメラ２７には、引出用カメラ２８よりも画角が広いカメラが用いられる。冷蔵室用カメラ２７は、検出装置２が冷蔵庫１の上部に設置された状態において、冷蔵庫１の前上方から下方を撮影する。冷蔵室用カメラ２７は、冷蔵庫１のドア１１Ｃが開状態であるときに、冷蔵庫１の庫内の少なくとも一部を含む範囲を庫内の上方から撮影する。冷蔵室用カメラ２７は、本開示の「撮影部」に相当する。

【0023】

例えば、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ１を含む。範囲Ａ１は、左ドア１１Ａ及び右ドア１１Ｂが開状態である場合に、ドア１１Ｃのドアポケット１１１、及び冷蔵室１１の開口部を含む範囲である。また、冷蔵室用カメラ２７の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ３を含む。範囲Ａ３は、前後方向において、開状態のドア１１Ｃから棚１１２の前端部までを含む範囲であり、且つ、上下方向において、冷蔵室１１の開口部を含む範囲である。

【0024】

引出用カメラ２８は、冷蔵庫１の前上方から下方を撮影する。
例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の前方側からみて、図２に示す範囲Ａ２を含む。範囲Ａ２は、冷蔵庫１の前方側からみて、引出１６Ａを含む範囲である。また、例えば、引出用カメラ２８の撮影範囲は、冷蔵庫１の右方側からみて、図３に示す範囲Ａ４を含む。範囲Ａ４は、前後方向において、最も引き出された状態の引出１６Ａを含む範囲である。

【0025】

検出装置２は、左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５を備える。
左ドア用測距センサ２３は、測距センサである。左ドア用測距センサ２３は、所定の周期で、左ドア１１Ａと左ドア用測距センサ２３との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
右ドア用測距センサ２４は、測距センサである。右ドア用測距センサ２４は、所定の周期で、右ドア１１Ｂと右ドア用測距センサ２４との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。
引出用測距センサ２５は、測距センサである。引出用測距センサ２５は、所定の周期で、引出１６Ａと引出用測距センサ２５との離間距離を検出し、検出した離間距離を示す検出値を検出装置プロセッサ２０に出力する。

【0026】

左ドア用測距センサ２３、右ドア用測距センサ２４、及び引出用測距センサ２５は、光学式の測距センサでもよいし、超音波式の測距センサでもよい。

【0027】

検出装置２は、人感センサ２６を備える。人感センサ２６は、所定の周期で検出値を検出装置プロセッサ２０に出力する。人感センサ２６は、赤外線式のセンサでも、超音波式のセンサでも、可視光式のセンサでもよい。

【0028】

なお、図２及び図３における各カメラ及び各センサの並び順及び設置位置は、検出装置２の説明便宜のための図示されたものであり、各カメラ及び各センサの並び順及び設置位置は、図２及び図３が示す並び順及び設置位置に限定されない。

【0029】

図４は、検出システム１００の構成を示すブロック図である。
検出システム１００は、物品ＢＰに付されたマーカーＭＫと、マーカーＭＫを検出する検出装置２と、を備える。
検出装置２は、ＣＰＵ（Central Processing Unit）やＭＰＣ（Micro-processing unit）等のプロセッサである検出装置プロセッサ２０と、プログラムやデータを記憶するメモリである検出装置メモリ２１とを備えるコンピューター装置である。検出装置メモリ２１は、本開示の記憶部に相当する。

【0030】

検出装置メモリ２１は、不揮発性の記憶領域を有する。また、検出装置メモリ２１は、不揮発性の記憶領域に加え、揮発性の記憶領域を備える構成としてもよい。検出装置メモリ２１は、検出装置プロセッサ２０が実行するプログラムや、検出装置プロセッサ２０に処理されるデータを記憶する。検出装置メモリ２１は、プログラムやデータとして、制御プログラム２１１、検出装置ＩＤ（Identification）２１２、音声データ２１３、通信情報２１４等を記憶する。

【0031】

検出装置ＩＤ２１２は、検出装置２の識別情報である。検出装置ＩＤ２１２としては、シリアル番号や製造番号が例に挙げられる。
音声データ２１３は、通知部２０９がスピーカ２９によって出力する音声のデータである。
通信情報２１４は、例えば、物品管理サーバ４との通信に用いるＩＰアドレス等のアドレス情報であってもよいし、端末装置３を所持するユーザＰのメールアドレスであってもよい。

【0032】

検出装置プロセッサ２０には、検出装置通信ユニット２２、左ドア用測距センサ２３、右ドア用測距センサ２４、引出用測距センサ２５、人感センサ２６、冷蔵室用カメラ２７、引出用カメラ２８及びスピーカ２９が接続される。検出装置プロセッサ２０には、これらデバイス以外のデバイスが接続していてもよい。

【0033】

検出装置通信ユニット２２は、所定の通信規格に従った通信回路やコネクタなどを有する通信装置であり、検出装置プロセッサ２０の制御に従い、検出装置メモリ２１に記憶した通信情報２１４の通信先である物品管理サーバ４と通信する。本実施の形態では、検出装置通信ユニット２２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

【0034】

検出装置プロセッサ２０は、検出装置メモリ２１に記憶された制御プログラム２１１を読み出して実行することにより、検出装置通信制御部２０１、人物存在判定部２０２、開閉判定部２０３、撮影制御部２０４、録画制御部２０５、検出部２０６、入出庫判定部２０７、取得部２０８、通知部２０９及び生成部２１０として機能する。入出庫判定部２０７は、本開示の判定部に相当する。

【0035】

検出装置通信制御部２０１は、検出装置通信ユニット２２を介して、物品管理サーバ４と通信する。

【0036】

人物存在判定部２０２は、人感センサ２６が出力する検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する。例えば、人物存在判定部２０２は、所定値以上の検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在すると判定し、所定値を下回る検出値を人感センサ２６が出力した場合、冷蔵庫１の周辺に人が存在しないと判定する。人物存在判定部２０２は、冷蔵庫１の周辺に人が存在すると判定した場合、人が存在することを示す第１存在情報を撮影制御部２０４に出力する。また、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在しないと判定した場合、人が存在しないことを示す第２存在情報を撮影制御部２０４に出力する。

【0037】

開閉判定部２０３は、左ドア用測距センサ２３の検出値に基づいて、左ドア１１Ａが開状態であるのか閉状態であるのかを判定する。開閉判定部２０３は、左ドア１１Ａが閉状態に対応する検出値より離間距離が大きい検出値を、左ドア用測距センサ２３から入力した場合、左ドア１１Ａが開状態であると判定する。
開閉判定部２０３は、右ドア用測距センサ２４の検出値に基づいて、右ドア１１Ｂが開状態か閉状態かを判定する。開閉判定部２０３は、右ドア１１Ｂが閉状態に対応する検出値より離間距離が大きい検出値を、右ドア用測距センサ２４から入力した場合、右ドア１１Ｂが開状態であると判定する。

【0038】

また、開閉判定部２０３は、引出用測距センサ２５の検出値が示す離間距離に応じて、引出１６Ａが開状態であるのか閉状態であるのかを判定する。

【0039】

開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂの少なくとも一方が開状態であると判定した場合、ドア１１Ｃが開状態であることを示す第１ドア開閉情報を、録画制御部２０５及び通知部２０９に出力する。開閉判定部２０３は、左ドア１１Ａ及び右ドア１１Ｂが閉状態であると判定した場合、左ドア１１Ａ及び右ドア１１Ｂが閉状態であることを示す第２ドア開閉情報を、録画制御部２０５に出力する。

【0040】

開閉判定部２０３は、引出１６Ａの少なくとも一方が開状態であると判定した場合、第１引出開閉情報を録画制御部２０５に出力する。第１引出開閉情報は、引出１６Ａの少なくとも一方が開状態であることを通知する情報である。
開閉判定部２０３は、引出１６Ａのいずれも閉状態であると判定した場合、第２引出開閉情報を録画制御部２０５に出力する。第２引出開閉情報は、引出１６Ａのいずれもが閉状態であることを通知する情報である。

【0041】

撮影制御部２０４は、人物存在判定部２０２から第１存在情報が入力されると、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる。撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８の撮影開始後、人物存在判定部２０２から第２存在情報が入力されると、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる。

【0042】

録画制御部２０５は、開閉判定部２０３から第１ドア開閉情報が入力されると、冷蔵室用カメラ２７が撮影した撮影画像を検出装置メモリ２１に記録する。すなわち、録画制御部２０５は、録画を開始する。検出装置メモリ２１に記録した撮影画像を、以下、録画画像２１５という。録画制御部２０５は、録画を開始すると、録画を開始したことを示す録画開始情報を通知部２０９に出力する。

【0043】

録画制御部２０５は、開閉判定部２０３から第２ドア開閉情報が入力されると、撮影画像の検出装置メモリ２１への記録を終了する。すなわち、録画制御部２０５は、録画を終了する。
また、録画制御部２０５は、開閉判定部２０３から第１引出開閉情報が入力されると、引出用カメラ２８が撮影した撮影画像を検出装置メモリ２１に記録する。また、録画制御部２０５は、開閉判定部２０３から第２引出開閉情報が入力されると、引出用カメラ２８が撮影した撮影画像の録画を終了する。

【0044】

検出部２０６は、検出装置メモリ２１に記録された録画画像２１５に基づいて、冷蔵室１１に入庫される物品ＢＰに付されたマーカーＭＫの画像、又は、冷蔵室１１から出庫される物品ＢＰに付されたマーカーＭＫの画像を検出する。検出部２０６の検出方法の詳細については後述する。検出部２０６は、マーカーＭＫの画像を検出した場合、マーカーＭＫの画像を検出したことを通知部２０９に通知する。

【0045】

入出庫判定部２０７は、入出庫判定処理を行う。入出庫判定処理は、マーカーＭＫの画像が付された物品ＢＰが冷蔵室１１に入庫されたのか、冷蔵室１１から出庫されたのかを判定する処理である。物品ＢＰは、検出部２０６が、画像を検出したマーカーＭＫが付された物品ＢＰである。入出庫判定部２０７の判定方法の詳細については後述する。入出庫判定部２０７は、入出庫判定処理が終了すると、入出庫判定処理が終了したことを通知部２０９に出力する。

【0046】

取得部２０８は、検出部２０６が検出したマーカーＭＫの画像を解析して、マーカーＩＤ４１２３を取得する。マーカーＩＤ４１２３は、マーカーＭＫに付与されたマーカーＭＫの識別情報である。例えば、マーカーＭＫの画像がＱＲコード等の二次元コードである場合、取得部２０８は、ＱＲコードに含まれるマーカーＩＤ４１２３を取得する。取得部２０８は、取得したマーカーＩＤ４１２３を検出装置メモリ２１に一時的に記憶させる。

【0047】

図５は、物品ＢＰに付されたマーカーＭＫの一例を示す図である。
ここで、図５を参照しながらマーカーＭＫについて説明する。図５には、物品ＢＰが食品の保存容器である場合を示すが、食材自体を物品ＢＰとし、食材にマーカーＭＫを付与してもよい。保存容器の中には、例えば、ユーザＰが調理した調理済みの料理が保存される。

【0048】

マーカーＭＫは、背景領域ＭＫＡと、背景領域ＭＫＡ内に形成されたパターン画像ＭＫＢとを含む。背景領域ＭＫＡは、矩形の領域であって、例えば、単色で形成された領域である。背景領域ＭＫＡの色は、録画画像２１５からパターン画像ＭＫＢを検出するときに、パターン画像ＭＫＢの検出を阻害しない色が好ましい。

【0049】

パターン画像ＭＫＢは、ＱＲコード等の二次元コードであってもよいし、バーコード等の一次元コードであってもよい。また、食品の包装に付された製造番号をマーカーＭＫとして使用してもよい。さらに、パターン画像ＭＫＢであるシリアル番号が印刷されたシールを物品ＢＰに貼り付けてマーカーＭＫとして用いてもよい。

【0050】

通知部２０９は、検出装置メモリ２１に記憶されている音声データ２１３が示す音声をスピーカ２９に出力させることで、各種の通知を行う。通知部２０９は、録画制御部２０５から録画開始情報が入力され、検出部２０６によりマーカーＭＫの画像が検出されると、ユーザＰに通知を行う。また、通知部２０９は、録画制御部２０５から録画開始情報が入力され、入出庫判定部２０７の入出庫判定処理が終了すると、ユーザＰに通知を行う。

【0051】

生成部２１０は、アップロードデータを生成する。アップロードデータは、物品管理サーバ４にアップロードする対象のデータである。生成部２１０は、検出装置通信制御部２０１に、生成したアップロードデータを物品管理サーバ４に送信させる。

【0052】

［１－３．物品管理サーバの構成］
図６は、端末装置３及び物品管理サーバ４の構成を示すブロック図である。
まず、物品管理サーバ４の構成について説明する。
物品管理サーバ４は、ＣＰＵやＭＰＣ等のプロセッサであるサーバプロセッサ４０、プログラムやデータを記憶するメモリであるサーバメモリ４１、及びサーバ通信ユニット４２を備える。

【0053】

サーバプロセッサ４０は、サーバメモリ４１が記憶する制御プログラム４１１を読み出して実行することにより、サーバ通信制御部４０１及びサーバ処理部４０２として機能する。

【0054】

サーバメモリ４１は、サーバプロセッサ４０が実行するプログラムや、サーバプロセッサ４０に処理されるデータを記憶する。サーバメモリ４１は、サーバプロセッサ４０が実行する制御プログラム４１１、物品管理ＤＢ（database）４１２、その他の各種データを記憶する。サーバメモリ４１は、不揮発性の記憶領域を有する。また、サーバメモリ４１は、揮発性の記憶領域を備え、サーバプロセッサ４０のワークエリアを構成してもよい。

【0055】

図７は、物品管理ＤＢ４１２が格納するレコードＲの一例を示す図である。
物品管理ＤＢ４１２が格納する１件のレコードＲは、アカウントＩＤ４１２１と、通信情報４１２２、検出装置ＩＤ２１２、及び、１又は複数のサブレコードＳＲを有する。サブレコードＳＲは、レコードＲ内に格納されるレコードである。１件のサブレコードＳＲは、マーカーＩＤ４１２３、物品名情報４１２４、収容エリア情報４１２５、収容開始日時情報４１２６、及び物品画像データ４１２７を有する。

【0056】

アカウントＩＤ４１２１は、物品管理アプリ３１１を利用するユーザＰに割り当てられたアカウントを識別する識別情報である。

【0057】

通信情報４１２２は、ユーザＰが使用する端末装置３と通信に使用するＩＰアドレス等のアドレス情報である。

【0058】

物品名情報４１２４は、物品ＢＰの名称である物品名を示す情報である。

【0059】

収容エリア情報４１２５は、収容エリアを示す情報である。収容エリア情報４１２５が示す収容エリアは、冷蔵室１１におけるエリアである。本実施形態の収容エリア情報４１２５は、収容エリアとして、収容エリアに割り当てられた数字を示す。

【0060】

収容開始日時情報４１２６は、冷蔵室１１に収容された日時を示す情報である。

【0061】

物品画像データ４１２７は、物品ＢＰの画像である物品画像ＢＰＧの画像データである。

【0062】

図６の説明に戻り、サーバ通信ユニット４２は、所定の通信規格に従った通信回路などを備える通信インターフェイスであり、所定の通信規格に従って通信ネットワークＮＷと接続する機器と通信する。本実施形態においてサーバ通信ユニット４２は、検出装置２及び端末装置３と通信する。

【0063】

上述したように、サーバプロセッサ４０は、サーバ通信制御部４０１及びサーバ処理部４０２として機能する。

【0064】

サーバ通信制御部４０１は、サーバ通信ユニット４２を介して、検出装置２及び端末装置３と通信する。

【0065】

サーバ処理部４０２は、検出装置２及び端末装置３をクライアントとして各種の情報処理を行う。

【0066】

［１－４．端末装置の構成］
次に、端末装置３の機能的構成について説明する。
端末装置３は、ＣＰＵやＭＰＣ等のプロセッサである端末プロセッサ３０、プログラムやデータを記憶するメモリである端末メモリ３１、端末通信ユニット３２、及び、タッチパネル３３を備える。

【0067】

端末プロセッサ３０は、端末メモリ３１が記憶する物品管理アプリ３１１を読み出して実行することにより、アプリ実行部３００として機能する。

【0068】

端末メモリ３１は、端末プロセッサ３０が実行するプログラムや、端末プロセッサ３０に処理されるデータを記憶する。端末メモリ３１は、端末プロセッサ３０が実行する物品管理アプリ３１１、その他の各種データを記憶する。端末メモリ３１は、不揮発性の記憶領域を有する。また、端末メモリ３１は、揮発性の記憶領域を備え、端末プロセッサ３０のワークエリアを構成してもよい。

【0069】

端末通信ユニット３２は、所定の通信規格に従った通信回路やコネクタなどを有する通信インターフェイスであり、端末プロセッサ３０の制御に従って物品管理サーバ４と通信する。本実施の形態では、端末通信ユニット３２が使用する通信規格は、無線通信規格を例示するが、有線通信規格でもよい。

【0070】

タッチパネル３３は、液晶表示パネル等の表示パネルと、表示パネルに重ねて、或いは一体に設けられたタッチセンサーとを備える。

【0071】

上述した通り、端末プロセッサ３０は、アプリ実行部３００として機能する。
アプリ実行部３００は、端末通信ユニット３２を介して、物品管理サーバ４と通信する。
また、アプリ実行部３００は、冷蔵庫１が収容する物品の管理に係るユーザーインターフェースを、タッチパネル３３に表示させる。以下の説明において、このユーザーインターフェースを、「アプリＵＩ」といい「３３０」の符号を付す。アプリ実行部３００は、アプリＵＩ３３０をタッチパネル３３に表示させることで、冷蔵庫１が収容する物品ＢＰに係る各種情報をユーザＰに提供し、また、冷蔵庫１が収容する物品ＢＰに係る各種入力をユーザＰから受け付ける。

【0072】

［２．動作］
次に、物品管理システム１０００の各部の動作について説明する。
［２－１．物品の検出に係わる動作］
まず、冷蔵室１１に入出庫される物品ＢＰの検出に係わる動作について説明する。
図８は、検出装置２の動作を示すフローチャートである。

【0073】

人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１）。

【0074】

人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判別した場合（ステップＳＡ１：ＹＥＳ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を開始させる（ステップＳＡ２）。

【0075】

次いで、開閉判定部２０３は、ドア１１Ｃが開状態になったか否かを判定する（ステップＳＡ３）。

【0076】

開閉判定部２０３が、ドア１１Ｃが開状態になっていないと判定した場合（ステップＳＡ３：ＮＯ）、検出装置プロセッサ２０は、ステップＳＡ１４の処理を行う。

【0077】

開閉判定部２０３が、ドア１１Ｃが開状態になったと判定した場合（ステップＳＡ３：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７が撮影した撮影画像の録画を開始する（ステップＳＡ４）。

【0078】

次いで、通知部２０９は、スピーカ２９によって、物品ＢＰの検出を開始したことをユーザＰに通知する（ステップＳＡ５）。

【0079】

次いで、検出部２０６は、ステップＳＡ４の処理によって記録が開始された録画画像２１５に基づいて、検出領域ＴＡ内においてマーカーＭＫを検出したか否かを判定する（ステップＳＡ６）。

【0080】

図９を参照して、検出領域ＴＡについて説明する。
図９は、検出領域ＴＡを説明する説明図である。

【0081】

検出領域ＴＡは、冷蔵室１１内の底面においてチルド室１１Ｄの前方に形成された前方領域ＭＡ内の領域である。本実施形態の検出領域ＴＡは、前方領域ＭＡより面積の小さい領域を例示するが、同じ面積でもよい。

【0082】

検出部２０６は、記録が開始された録画画像２１５を解析して、検出領域ＴＡ内においてマーカーＭＫを検出したか否かを判定する。検出部２０６は、例えば、形状や色などの特徴量から録画画像２１５に写るマーカーＭＫを認識する。なお、図９は、マーカーＭＫが検出領域ＴＡ内に位置していない場合を示している。従って、図９に示す場合では、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出していないと判定する。

【0083】

図８のフローチャートの説明に戻り、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出していないと判定した場合（ステップＳＡ６：ＮＯ）、処理をステップＳＡ１２に移す。

【0084】

一方、検出部２０６は、検出領域ＴＡ内においてマーカーＭＫを検出したと判定した場合（ステップＳＡ６：ＹＥＳ）、検出したマーカーＭＫからマーカーＩＤ４１２３を読み出す（ステップＳＡ７）。

【0085】

次いで、検出部２０６は、録画画像２１５から切り出し範囲ＫＨを切り出して（ステップＳＡ８）、物品画像ＢＰＧを生成する。すなわち、録画画像２１５の切り出し範囲ＫＨに撮像された画像が、物品画像ＢＰＧとなる。切り出し範囲ＫＨについて図１０を参照して説明する。

【0086】

図１０は、切り出し範囲ＫＨを説明する説明図である。
検出部２０６は、例えば、算出済みの４頂点Ｃ１、Ｃ２、Ｃ３及びＣ４の座標に基づいて切り出し範囲ＫＨを設定する。例えば、検出部２０６は、４頂点Ｃ１、Ｃ２、Ｃ３及びＣ４の座標に、予め設定された設定値を加算又は減算した座標の範囲を切り出し範囲ＫＨに設定する。このとき、切り出し範囲ＫＨは、背景領域ＭＫＡよりも大きくても小さくてもよい。また、予め設定された設定値は、縦方向と横方向とで値が異なっていてもよい。
また、検出部２０６は、物品ＢＰが検出される前と、物品ＢＰが検出された後との差分画像を生成し、画像に差が生じた範囲を切り出し範囲ＫＨに設定してもよい。
また、図１１では、切り出し範囲ＫＨが検出領域ＴＡより狭い範囲である場合を例示しているが、切り出し範囲ＫＨは、検出領域ＴＡと同じ領域としてもよい。

【0087】

また、本実施形態では、検出領域ＴＡ内においてマーカーＭＫを検出して、録画画像２１５の切り出し範囲ＫＨを設定したが、録画画像２１５から検出領域ＴＡを切り出し、切り出した検出領域ＴＡの録画画像２１５に物品ＢＰの画像が含まれている場合に、マーカーＭＫの検出を開始してもよい。

【0088】

図８のフローチャートの説明に戻り、検出部２０６が物品画像ＢＰＧを切り出すと、通知部２０９は、物品ＢＰを検出したことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ９）。

【0089】

次いで、入出庫判定部２０７は、検出装置メモリ２１に記録した録画画像２１５に基づいて、入出庫判定を行う（ステップＳＡ１０）。

【0090】

ステップＳＡ１０の入出庫判定は、ステップＳＡ８で切り出された物品画像ＢＰＧの物品ＢＰが、冷蔵庫１に入庫された物品ＢＰであるのか、冷蔵庫１から出庫された物品ＢＰであるのかを判定する処理である。

【0091】

入出庫判定部２０７は、録画画像２１５を画像解析して第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４を設定する。第１領域Ｒ１は、冷蔵室１１に対応する領域である。第２領域Ｒ２は、左ドア１１Ａに対応する領域である。第３領域Ｒ３は、右ドア領域１１Ｂに対応する領域である。第４領域Ｒ４は、冷蔵庫１の庫外に対応する領域である。

【0092】

図１２は、入出庫判定を説明する説明図であり、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４の境界線を示す図である。
冷蔵室１１に対応する第１領域Ｒ１は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度が異なっても、録画画像２１５における第１領域Ｒ１の範囲は常に一定である。このため、入出庫判定部２０７は、録画画像２１５の予め設定された範囲を第１領域Ｒ１に設定する。図１２に示す境界線５０１が、第１領域Ｒ１と、第２領域Ｒ２、第３領域Ｒ３及び第４領域Ｒ４との境界に対応する。

【0093】

また、左ドア１１Ａに対応する第２領域Ｒ２や、右ドア１１Ｂに対応する第３領域Ｒ３は、ユーザが開閉する左ドア１１Ａや右ドア１１Ｂの開度によって領域が変更される。このため、入出庫判定部２０７は、例えば、左ドア１１Ａや、右ドア１１Ｂに設けられたドアポケット１１１のエッジを検出し、検出したドアポケット１１１のエッジに基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定する。また、左ドア１１Ａや右ドア１１Ｂのドアポケット１１１の端部に、ドアポケット１１１を識別するマーク等を配置し、入出庫判定部２０７は、録画画像２１５から検出したマークの位置に基づいて第２領域Ｒ２及び第３領域Ｒ３の範囲を設定してもよい。また、入出庫判定部２０７は、設定した第１領域Ｒ１、第２領域Ｒ２及び第３領域Ｒ３以外の領域を、冷蔵室１１の庫外である第４領域Ｒ４に設定する。図１２に示す境界線５０２が第２領域Ｒ２の境界を示し、境界線５０３が第３領域Ｒ３の境界を示す。

【0094】

入出庫判定部２０７は、連続して撮影された録画画像２１５を解析することで、移動するマーカーＭＫの軌跡を検出する。入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３のいずれの領域で終了したのかを判定して、物品ＢＰがいずれの領域に入庫されたのかを判定する。また、入出庫判定部２０７は、検出したマーカーＭＫの軌跡が、第４領域Ｒ４で終了した場合、物品ＢＰが冷蔵室１１の庫外に取り出されたと判定する。

【0095】

図１３は、入出庫判定画像ＨＧを説明するための図である。
また、入出庫判定部２０７は、録画画像２１５に入出庫判定画像ＨＧを重畳させて、物品ＢＰの入庫と、出庫を判定してもよい。
図１３には、マーカーＭＫが付された物品ＢＰを冷蔵室１１に入庫させるシーンを撮影した録画画像２１５に、入出庫判定画像ＨＧを重畳した場合を示す。

【0096】

入出庫判定画像ＨＧは、境界線Ｌ１を有する。
境界線Ｌ１は、入出庫判定画像ＨＧの図中略中央において、入出庫判定画像ＨＧの図中左端から右端まで延びる線である。境界線Ｌ１は、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方に位置する。

【0097】

入出庫判定画像ＨＧの画像領域は、境界線Ｌ１によって、第１領域ＨＡ１と第２領域ＨＡ２とに分割される。第１領域ＨＡ１は、録画画像２１５に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の前方側に対応する。第２領域ＨＡ２は、録画画像２１５に入出庫判定画像ＨＧが重畳された際、冷蔵室用カメラ２７の撮影結果に写る冷蔵室１１の開口部より冷蔵庫１の後方側に対応する。

【0098】

入出庫判定部２０７は、入出庫判定画像ＨＧが重畳された録画画像２１５を解析することで、検出領域ＴＡで検出されたマーカーＭＫが、第１領域ＨＡ１に移動したのか、第２領域ＨＡ２に移動したのかを判定する。入出庫判定部２０７は、検出領域ＴＡ内で検出されたマーカーＭＫが第１領域ＨＡ１に移動したと判定した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１から出庫された物品ＢＰであると判定する。一方、入出庫判定部２０７は、検出領域ＴＡ内で検出されたマーカーＭＫが第２領域ＨＡ２に移動した場合、検出部２０６が検出した物品ＢＰが冷蔵室１１に入庫された物品ＢＰであると判定する。

【0099】

入出庫判定部２０７は、物品ＢＰが庫内に入庫されたと判定した場合、物品ＢＰが入庫された収容エリアを判定する。入出庫判定部２０７は、録画画像２１５を解析して、物品が入庫された冷蔵室１１の収容エリアを特定する。そして、入出庫判定部２０７は、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。
例えば、冷蔵庫１の棚１１２のドア１１Ｃ側の先端や、ドアポケット１１１の各々には、収容エリアを識別するマークが付されている。入出庫判定部２０７は、録画画像２１５から収容エリアを識別するマークを検出し、検出したマークと、物品ＢＰに付されたマーカーＭＫとの位置関係に基づいて、収容エリアを特定する。

【0100】

また、入出庫判定部２０７は、物品ＢＰが冷蔵庫１の庫内に再入庫された物品であるか否かを判定してもよい。例えば、ユーザＰが使用するために冷蔵庫１から食材を取り出し、取り出した食材の一部を使用して、残った食材を冷蔵庫１に再入庫させる場合や、物品ＢＰである保存容器内に保存した食材を使用し、保存容器内に新たに食材を補充して冷蔵庫１に再入庫させる場合が想定される。

【0101】

入出庫判定部２０７は、取得部２０８により取得済みのマーカーＩＤ４１２３と同一のマーカーＩＤを、予め設定された設定時間内に再度、取得部２０８が取得した場合、物品ＢＰが冷蔵庫１内に再入庫されたと判定する。また、入出庫判定部２０７は、出庫と判定した物品ＢＰに付されたマーカーＩＤ４１２３と同一のＩＤを取得部２０８が取得し、入出庫判定処理の判定結果が入庫である場合、物品ＢＰが冷蔵庫１内に再入庫されたと判定する。

【0102】

このとき、入出庫判定部２０７は、食品が新しくなったか否かを問い合わせる案内を、物品管理サーバ４を介して端末装置３に表示させてもよい。また、入出庫判定部２０７は、スピーカ２９から食品が新しくなったか否かを問い合わせる音声を出力し、ユーザＰに、端末装置３を操作させて、物品ＢＰが新しくなったか否かの設定を入力させてもよい。また、検出装置２に表示パネルを設けると共に、検出装置２を操作するリモコンを設けて、表示パネルに、食品が新しくなったか否かを問い合わせる案内を表示させ、この案内に対するユーザＰの操作をリモコンにより受け付けてもよい。

【0103】

入出庫判定部２０７は、庫内に物品ＢＰが入庫されたと判定した場合、入庫判定との判定結果を検出装置メモリ２１に記憶させる。入出庫判定部２０７は、この判定結果の他に、物品ＢＰのマーカーＩＤ４１２３や、録画画像２１５から切り出し範囲ＫＨを切り出した物品画像ＢＰＧ、物品ＢＰが収容された収納エリアを示す収容エリア情報４１２５を検出装置メモリ２１に記憶させる。また、入出庫判定部２０７は、物品ＢＰが冷蔵庫１内に再入庫されたと判定した場合、再入庫との判定結果を検出装置メモリ２１に記憶させる。

【0104】

また、入出庫判定部２０７は、庫内から物品ＢＰが出庫されたと判定した場合、出庫判定との判定結果を検出装置メモリ２１に記憶させる。入出庫判定部２０７は、この判定結果の他に、物品ＢＰのマーカーＩＤ４１２３や、録画画像２１５の切り出し範囲ＫＨを切り出した物品画像ＢＰＧを検出装置メモリ２１に記憶させる。

【0105】

図８のフローチャートの説明に戻り、入出庫判定部２０７が入出庫判定を行うと、通知部２０９は、検出された物品ＢＰの入出庫が判定されたことを、スピーカ２９によってユーザＰに通知する（ステップＳＡ１１）。

【0106】

次いで、開閉判定部２０３は、開いていたドア１１Ｃが閉状態になったか否かを判定する（ステップＳＡ１２）。

【0107】

開閉判定部２０３が、開いていたドア１１Ｃが閉状態になっていないと判定した場合（ステップＳＡ１２：ＮＯ）、検出装置プロセッサ２０は、処理をステップＳＡ６に移す。

【0108】

一方、開閉判定部２０３が、開いていたドア１１Ｃが閉状態になったと判定した場合（ステップＳＡ１２：ＹＥＳ）、録画制御部２０５は、冷蔵室用カメラ２７が撮影した撮影画像の録画を終了する（ステップＳＡ１３）。

【0109】

次いで、人物存在判定部２０２は、冷蔵庫１の周辺に人が存在するか否かを判定する（ステップＳＡ１４）。

【0110】

人物存在判定部２０２が、冷蔵庫１の周辺に人が存在すると判定した場合（ステップＳＡ１４：ＹＥＳ）、検出装置プロセッサ２０は、処理をステップＳＡ３に移す。

【0111】

一方、人物存在判定部２０２が、冷蔵庫１の周辺に人が存在しないと判定した場合（ステップＳＡ１４：ＮＯ）、撮影制御部２０４は、冷蔵室用カメラ２７及び引出用カメラ２８に撮影を終了させる（ステップＳＡ１５）。

【0112】

検出装置プロセッサ２０は、ステップＳＡ１５の処理を行うと、処理をステップＳＡ１に移し、再度、ステップＳＡ１以降の処理を行う。

【0113】

［２－２．アップロードデータの送信に係わる動作］
次に、アップロードデータの送信に係わる物品管理システム１０００の動作について説明する。
図１４は、物品管理システム１０００の動作を示すフローチャートである。
図１４において、フローチャートＦＢは検出装置２の動作を示し、フローチャートＦＣは物品管理サーバ４の動作を示す。

【0114】

フローチャートＦＢで示すように、検出装置２の生成部２１０は、アップロードデータを物品管理サーバ４に送信するトリガーが発生したか否かを判定する（ステップＳＢ１）。

【0115】

アップロードデータを送信するトリガーとして、入出庫判定部２０７が、入出庫判定処理の判定結果を検出装置メモリ２１に記憶させたこと、が挙げられる。この他に、冷蔵室用カメラ２７の撮影画像の録画が終了したことや、現在時刻が予め定められた時刻に至ったこと等をトリガーとしてもよい。

【0116】

生成部２１０は、トリガーが発生した場合（ステップＳＢ１：ＹＥＳ）、入出庫判定処理の判定結果が入庫であるのか、出庫であるのかを判定する（ステップＳＢ２）。生成部２１０は、入出庫判定処理の判定結果が入庫である場合（ステップＳＢ：入庫）、第１アップロードデータを生成する（ステップＳＢ３）。第１アップロードデータには、マーカーＩＤ４１２３や、物品画像、収容エリア情報４１２５、検出装置ＩＤ２１２が含まれる。また、入出庫判定処理により再入庫と判定された場合、生成部２１０は、再入庫との判定情報を第１アップロードデータに含ませる。

【0117】

生成部２１０は、生成した第１アップロードデータを検出装置通信制御部２０１に出力する。検出装置通信制御部２０１は、入力された第１アップロードデータを物品管理サーバ４に送信する（ステップＳＢ４）。その後、生成部２１０は、ステップＳＢ７の判定に移行する。

【0118】

また、ステップＳＢ２において、出庫を示すと判定した場合（ステップＳＢ２：出庫）、生成部２１０は、第２アップロードデータを生成する（ステップＳＢ５）。第２アップロードデータには、マーカーＩＤ４１２３や、物品画像、検出装置ＩＤ２１２が含まれる。

【0119】

生成部２１０は、生成した第２アップロードデータを検出装置通信制御部２０１に出力する。検出装置通信制御部２０１は、入力された第２アップロードデータを物品管理サーバ４に送信する（ステップＳＢ６）。

【0120】

次いで、生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されているか否かを判定する（ステップＳＢ７）。生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されている場合（ステップＳＢ７：ＹＥＳ）、処理をステップＳＢ２に戻し、再度、ステップＳＢ２以降の処理を行う。一方、生成部２１０は、入出庫判定処理の他の判定結果が検出装置メモリ２１に記録されていない場合（ステップＳＢ７：ＮＯ）、処理をステップＳＢ１に戻し、再度、ステップＳＢ１以降の処理を行う。

【0121】

次に、物品管理サーバ４の動作を、フローチャートＦＣを参照しながら説明する。物品管理サーバ４のサーバ通信制御部４０１は、第１アップロードデータ及び第２アップロードデータのいずれかのアップロードデータを受信したか否かを判定する（ステップＳＣ１）。

【0122】

サーバ通信制御部４０１は、アップロードデータを受信していないと判定した場合（ステップＳＣ１：ＮＯ）、再度、ステップＳＣ１の判定を行う。

【0123】

一方、サーバ通信制御部４０１が、アップロードデータを受信したと判定した場合（ステップＳＣ１：ＹＥＳ）、サーバ処理部４０２は、サーバ通信制御部４０１が受信したアップロードデータに基づいて物品管理ＤＢ４１２を更新する（ステップＳＣ２）。

【0124】

ステップＳＣ２について詳述する。
サーバ通信制御部４０１が受信したアップロードデータが第１アップロードデータである場合、サーバ処理部４０２は、第１アップロードデータに含まれる検出装置ＩＤ２１２を有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲに対して、次のサブレコードＳＲを格納する。格納されるサブレコードＳＲは、第１アップロードデータに含まれるマーカーＩＤ４１２３、収容エリア情報４１２５、及び物品画像データ４１２７と、ブランクの物品名情報４１２４と、収容開始日時を示す収容開始日時情報４１２６とを対応付けて格納する。

【0125】

また、サーバ処理部４０２は、第１アップロードデータに再入庫との判定情報が含まれる場合、新たなレコードＲや、サブレコードＳＲの生成は行わない。この場合、サーバ処理部４０２は、第１アップロードデータからマーカーＩＤ４１２３を取得し、取得したマーカーＩＤ４１２３に対応するサブレコードＳＲを更新する情報があるか否かを判定する。例えば、サーバ処理部４０２は、収容エリアが変更された場合には、サブレコードＳＲの収容エリア情報４１２５を更新する。

【0126】

サーバ通信制御部４０１が受信したアップロードデータが第２アップロードデータである場合、サーバ処理部４０２は、第２アップロードデータに含まれる検出装置ＩＤ２１２とマーカーＩＤ４１２３とを有するレコードＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したレコードＲから、第２アップロードデータに含まれるマーカーＩＤ４１２３を有するサブレコードＳＲを消去する。

【0127】

［２－３．物品名の登録に係わる動作］
次に、物品名の登録に係わる物品管理システム１０００の動作について説明する。
図１５は、物品管理システム１０００の動作を示すフローチャートである。
図１５において、フローチャートＦＤは物品管理サーバ４の動作を示し、フローチャートＦＥは端末装置３の動作を示す。

【0128】

フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、新たなサブレコードＳＲが物品管理ＤＢ４１２に格納されたか否かを判定する（ステップＳＤ１）。

【0129】

物品管理サーバ４のサーバ通信制御部４０１は、サブレコードＳＲが物品管理ＤＢ４１２に格納されたと判定した場合（ステップＳＤ１：ＹＥＳ）、入力画面データを端末装置３に送信する（ステップＳＤ２）。
入力画面データは、入力画面ＮＧをアプリＵＩにおいて表示させるデータである。入力画面ＮＧは、物品ＢＰの名称である物品名の入力を受け付ける画面である。

【0130】

ステップＳＤ２について説明する。
サーバ通信制御部４０１は、新たに格納されたサブレコードＳＲに含まれるマーカーＩＤ４１２３と物品画像データ４１２７とを含む表示データを生成する。次いで、サーバ通信制御部４０１は、サブレコードＳＲが追加されたレコードＲが有する通信情報４１２２に基づいて、生成した入力画面データを端末装置３に送信する。

【0131】

フローチャートＦＥで示すように、端末装置３のアプリ実行部３００は、物品管理サーバ４から入力画面データを受信する（ステップＳＥ１）。

【0132】

次いで、アプリ実行部３００は、入力画面ＮＧを表示したアプリＵＩ３３０をタッチパネル３３に表示させる（ステップＳＥ２）。

【0133】

図１６は、入力画面ＮＧの一例を示す図である。
入力画面ＮＧは、物品画像ＢＰＧを表示する。入力画面ＮＧが表示する物品画像ＢＰＧは、新規物品通知情報に含まれる物品画像データ４１２７が示す物品画像ＢＰＧである。

【0134】

入力画面ＮＧは、物品名を入力する入力欄ＮＬを表示する。入力画面ＮＧが表示する入力欄ＮＬには、端末装置３のユーザＰによって物品名が入力される。図１６の入力画面ＮＧでは、ゆで卵との物品名が入力欄ＮＬに入力されている場合を例示している。

【0135】

入力画面ＮＧは、確定ボタンＢ１を表示する。確定ボタンＢ１は、入力欄ＮＬに入力された内容を確定するためのソフトウェアボタンである。

【0136】

図１５のフローチャートの説明に戻り、アプリ実行部３００は、ユーザＰによって物品名が入力され（ステップＳＸ１）、ユーザＰによって確定ボタンＢ１が操作されると（ステップＳＣ３）、更新情報を物品管理サーバ４に送信する（ステップＳＥ３）。ステップＳＥ３で送信される更新情報には、入力画面ＮＧで入力された物品名を示す物品名情報、及び入力画面データに含まれるマーカーＩＤ４１２３を含む。

【0137】

フローチャートＦＤで示すように、物品管理サーバ４のサーバ通信制御部４０１は、端末装置３から更新情報を受信する（ステップＳＤ３）。

【0138】

次いで、サーバ処理部４０２は、ステップＳＤ３で受信された更新情報に基づいて物品管理ＤＢ４１２を更新する（ステップＳＤ４）。

【0139】

ステップＳＤ４について詳述する。
サーバ処理部４０２は、更新情報に含まれるマーカーＩＤを有するサブレコードＳＲを物品管理ＤＢ４１２から特定する。次いで、サーバ処理部４０２は、特定したサブレコードＳＲの物品名情報４１２４を、更新情報が含む物品名情報４１２４に更新する。

【0140】

［３．効果等］
以上説明したように本実施形態の検出システム１００は、物品ＢＰに付されたマーカーＭＫと、マーカーＭＫを検出する検出装置２と、を備える。
検出装置２は、冷蔵室用カメラ２７、検出部２０６及び入出庫判定部２０７を備える。

【0141】

冷蔵室用カメラ２７は、冷蔵庫１のドア１１Ｃが開状態であるときに、冷蔵庫１の庫内を含む範囲を庫内の上方から撮影する。
検出部２０６は、冷蔵室用カメラ２７が撮影した撮影画像からマーカーＭＫの画像を検出する。
入出庫判定部２０７は、検出部２０６が検出したマーカーＭＫの画像に基づき、マーカーＭＫが付された物品ＢＰの庫内への入庫、又は、物品ＢＰの庫内からの出庫を判定する。

【0142】

従って、物品ＢＰに付されたマーカーＭＫの画像を検出することで、物品ＢＰの庫内への入庫、又は、物品ＢＰの庫内からの出庫が判定される。例えば、物品ＢＰごとに異なるマーカーＭＫを付することで、物品ＢＰの判定制度を高め、冷蔵庫に入庫、又は冷蔵庫から出庫される物品ＢＰの情報をより確実に取得することができる。

【0143】

検出部２０６は、撮影画像の予め設定された検出領域ＴＡ内においてマーカーＭＫを検出する。

【0144】

従って、マーカーＭＫの検出時間を短縮し、検出装置２の処理負荷を軽減することができる。

【0145】

入出庫判定部２０７は、検出領域ＴＡ内においてマーカーＭＫを検出後、マーカーＭＫの移動方向に基づいて物品ＢＰが庫内に入庫したのか、庫内から出庫したのかを判定する。

【0146】

従って、マーカーＭＫが付された物品ＢＰが冷蔵庫１の庫内に入庫されたのか、庫内から出庫したのかを判定することができる。

【0147】

入出庫判定部２０７は、検出領域ＴＡ内においてマーカーＭＫを検出後、ドア１１Ｃのドアポケット１１１に対応する撮影画像の領域内へのマーカーＭＫの移動が検出された場合、マーカーＭＫが付された物品ＢＰが庫内に入庫したと判定する。

【0148】

従って、マーカーＭＫが付された物品ＢＰのドアポケット１１１への収容を精度よく検出することができる。

【0149】

入出庫判定部２０７は、検出領域ＴＡにおいてマーカーＭＫを検出後、マーカーＭＫの移動方向と、庫内に複数設けられた収容エリアの庫内における配置と、に基づき、物品ＢＰが収容された収容エリアを判定する。

【0150】

従って、マーカーＭＫが付された物品ＢＰが、冷蔵庫１の庫内に複数設けられた収容エリアのどこに収容されたのかを判定することができる。

【0151】

検出装置２は、通信情報２１４を記憶する検出装置メモリ２１を備える。
マーカーＭＫは、矩形形状の背景領域ＭＫＡと、背景領域ＭＫＡ内に形成され、マーカーに付与された識別情報に対応したパターン画像ＭＫＢと、を含む。
入出庫判定部２０７は、撮影画像に撮影された背景領域ＭＫＡの面積を、撮影画像の撮影順に算出し、算出した背景領域ＭＫＡの面積に変化が検出されなくなると、マーカーの画像により決定される撮影画像の範囲を切り出し、切り出した画像を、通信情報２１４が示す送信先に送信する。

【0152】

従って、静止した物品ＢＰの画像を切り出して、通信情報２１４の送信先に送信することができる。このため、例えば、通信情報２１４として、物品管理サーバ４のＩＰアドレスや、端末装置３を所持するユーザＰのメールアドレスを登録しておくことで、冷蔵庫１内に収容された物品ＢＰの画像を確認することができる。

【0153】

検出装置２は、検出部２０６が検出したパターン画像ＭＫＢに対応した識別情報を取得する取得部２０８を備える。
入出庫判定部２０７は、予め設定された設定時間内に取得部２０８が同一の識別情報を取得した場合、検出したマーカーＭＫが付された物品ＢＰが再度、庫内に入庫したと判定する。

【0154】

従って、冷蔵庫１内から取り出された物品ＢＰの庫内への再入庫を判定することができる。

【0155】

また、入出庫判定部２０７は、取得部２０８が取得した識別情報が、出庫と判定した物品ＢＰに付されたマーカーＭＫから検出した識別情報と同一である場合、識別情報に対応した物品ＢＰが再度、庫内に入庫したと判定する。

【0156】

従って、冷蔵庫１内から取り出された物品ＢＰの庫内への再入庫を判定することができる。

【0157】

（他の実施の形態）
以上のように、本出願において開示する例示として、上記実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。

【0158】

例えば、検出装置２は、録画画像２１５から切り出し範囲ＫＨを切り出して物品画像ＢＰＧを生成すると、生成した物品画像ＢＰＧを、通信情報２１４としてのユーザＰのメールアドレス宛てに送信してもよい。これにより物品画像ＢＰＧが物品管理サーバ４を介することなく、端末装置３に送信され、端末装置３に物品画像ＢＰＧが表示されるまでの時間を短縮させることができる。

【0159】

また、物品管理サーバ４は、収容開始日時以外に、物品ＢＰの残量や、物品ＢＰの消費期限日、物品ＢＰの賞味期限日などの他の項目も管理してもよい。
物品管理サーバ４は、消費期限日に基づき、ユーザＰに通知する通知日を設定する。通知日は、例えば、消費期限日と同日であってもよいし、消費期限日の前日であってもよい。また、ユーザＰが端末装置３を操作して、物品ＢＰごとに通知日を設定してもよい。
物品管理サーバ４は、設定された通知日までに、物品ＢＰである食品が冷蔵庫１から出庫されていない場合、通知日となった物品ＢＰがあることを検出装置２や端末装置３により通知させる。

【0160】

上述した実施の形態では、人物存在判定部２０２が人感センサ２６の検出値に基づいて、冷蔵庫１の周辺に人が存在するか否かを判定する構成を例示した。しかしながら、人物存在判定部２０２は、人感センサ２６の代わりに、照度センサや、冷蔵庫１の把持部に設けられる静電センサ等の検出値に基づいて判定してもよい。この静電センサの場合、冷蔵庫１と検出装置２とが通信可能であり、冷蔵庫１は、静電センサの検出値を検出装置２に送信する。

【0161】

上述した実施の形態では、物品ＢＰの冷蔵庫１の庫内への入庫と、庫内からの出庫とを判定したが、物品ＢＰが新鮮凍結室１３や冷凍室１４、野菜室１５等のいずれに入庫されたのかを録画画像２１５から判定することもできる。また、カメラの設置位置や、設置台数を変更することで、これら新鮮凍結室１３や冷凍室１４、野菜室１５のいずれに物品ＢＰが保存されたのかの判定精度を高めることも可能である。

【0162】

他の実施の形態では、レコードＲを端末装置３が記憶してもよい。この構成の場合、アプリ実行部３００は、端末装置３が記憶するレコードＲの内容を、上述した物品管理サーバ４と同様に適宜更新する。これにより、物品管理システム１０００は物品管理サーバ４を具備する必要がなくシステム構成が簡易となる。

【0163】

他の実施の形態では、冷蔵庫１の主箱体１０に形成される部屋の種類は、冷蔵室１１、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５以外の収容室があってもよいし、製氷室１２、新鮮凍結室１３、冷凍室１４、及び野菜室１５の少なくともいずれかがなくてもよい。また、他の実施の形態では、冷蔵室１１の前面の開口部に設けられるドアの数は、１つでもよい。

【0164】

例えば、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、単一のプロセッサにより構成されてもよいし、複数のプロセッサにより構成されていてもよい。検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、対応する機能部を実現するようプログラムされたハードウェアでもよい。すなわち、検出装置プロセッサ２０、端末プロセッサ３０、及びサーバプロセッサ４０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）で構成される。

【0165】

図４に示した検出装置２の構成、及び図６に示した端末装置３及び物品管理サーバ４の構成は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。その他、検出装置２、端末装置３、及び物品管理サーバ４の他の各部の具体的な細部構成についても、本開示の趣旨を逸脱しない範囲で任意に変更可能である。

【0166】

図８、図１４及び図１５に示す動作のステップ単位は、動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、動作が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本開示の趣旨に支障のない範囲で適宜に入れ替えてもよい。

【0167】

検出装置プロセッサ２０が実行する制御プログラム２１１は、可搬型の情報記録媒体に制御プログラム２１１を記録させた状態で実現することも可能である。情報記録媒体は、ハードディスク等の磁気的記録媒体、ＣＤ等の光学的記録媒体、ＵＳＢ（Universal Serial Bus）メモリやＳＳＤ（Solid State Drive）等の半導体記憶デバイスが挙げられるが、その他の記録媒体を用いることも可能である。

【0168】

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0169】

本開示の検出装置、検出装置の制御方法、及びプログラムは、冷蔵庫に入出庫される物品を検出する用途に利用可能である。

【符号の説明】

【0170】

１ 冷蔵庫
２ 検出装置
５ 通信装置
１１ 冷蔵室
１１Ｃ ドア
２０ 検出装置プロセッサ
２７ 冷蔵室用カメラ
２９ スピーカ
２０２ 人物存在判定部
２０３ 開閉判定部
２０４ 撮影制御部
２０６ 検出部
２０７ 入出庫判定部
２０８ 通知部
２１１ 制御プログラム
ＢＰ 物品
ＭＫ マーカー
ＭＫＡ 背景領域
ＭＫＢ パターン画像
ＴＡ 検出領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】