特許 7504670 食品管理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-14

(45)【発行日】2024-06-24

(54)【発明の名称】食品管理システム

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20240617BHJP

   F25D 23/00 20060101ALI20240617BHJP

   G06Q 50/10 20120101ALI20240617BHJP

【ＦＩ】

G06Q10/087

F25D23/00 301K

G06Q50/10

【請求項の数】 4

(21)【出願番号】P 2020100140

(22)【出願日】2020-06-09

(65)【公開番号】P2021196636

(43)【公開日】2021-12-27

【審査請求日】2023-04-05

(73)【特許権者】

【識別番号】503376518

【氏名又は名称】東芝ライフスタイル株式会社

(74)【代理人】

【識別番号】110000110

【氏名又は名称】弁理士法人 快友国際特許事務所

(72)【発明者】

【氏名】氏田 慶彦

【審査官】菅原 浩二

(56)【参考文献】

【文献】特開２０１２－１９３８７３（ＪＰ，Ａ）

【文献】特開２０１９－１６８８４４（ＪＰ，Ａ）

【文献】特開２０１７－０８９９１３（ＪＰ，Ａ）

【文献】特開２０１９－１１７５５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１７８６５４（ＵＳ，Ａ１）

【文献】米国特許第０９９６５７９８（ＵＳ，Ｂ１）

【文献】特開２００６－２７５３２４（ＪＰ，Ａ）

【文献】特開２０１３－００４０３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｆ２５Ｄ ２３／００

(57)【特許請求の範囲】

【請求項1】

冷蔵庫内に貯蔵される食品を管理する食品管理システムであって、
所定形式の対象データを取得する取得部と、
取得済みの前記対象データに対応する食品の種類を示す情報である食品情報が入力される入力部と、
前記取得済みの対象データ又は前記取得済みの対象データに基づく情報と、入力済みの前記食品情報と、が関連付けられている関連情報を特定の前記冷蔵庫におけるものとして記憶する記憶部と、
前記記憶部に１以上の前記関連情報が記憶されている状態において、前記取得部が特定の対象データを取得する場合に、前記記憶部に記憶されている前記１以上の関連情報を利用して、前記特定の対象データを解析し、前記特定の対象データに対応する特定の食品情報を推定する推定部と、
を備え、
前記食品管理システムは、複数の端末装置を備え、
前記複数の端末装置のそれぞれは、前記特定の冷蔵庫を識別するための識別情報を共有しており、
前記推定部は、過去に第２の端末装置で取得された第１の対象データ又は前記第１の対象データに基づく情報を含む第１の関連情報が前記記憶部に記憶されている状態において、第１の端末装置で取得された前記特定の対象データに対応する前記特定の食品情報を推定する場合に、前記第１の関連情報を利用する、
食品管理システム。

【請求項2】

前記特定の対象データに対応する前記特定の食品情報が推定された後に、前記特定の食品情報とは異なる食品情報が前記入力部に入力される場合に、前記特定の対象データに対応する食品情報の推定に失敗したと判断し、前記特定の対象データ又は前記特定の対象データに基づく情報と、前記異なる食品情報と、が関連付けられている特定の関連情報を前記特定の冷蔵庫におけるものとして前記記憶部に記憶する、請求項１に記載の食品管理システム。

【請求項3】

前記推定部は、過去に前記第１の端末装置で取得された第２の対象データ又は前記第２の対象データに基づく情報を含む第２の関連情報と、過去に前記第２の端末装置で取得された第３の対象データ又は前記第３の対象データに基づく情報を含む第３の関連情報と、が記憶されている状態において、前記第１の端末装置で取得された前記特定の対象データに対応する前記特定の食品情報を推定する場合に、前記第３の関連情報よりも前記第２の関連情報を優先的に利用する、請求項１又は２に記載の食品管理システム。

【請求項4】

前記推定部は、前記第１の端末装置で取得された前記特定の対象データに対応する前記特定の食品情報の推定において、過去に前記第１の端末装置で取得された第４の対象データ又は前記第４の対象データを含む第４の関連情報を利用した推定が失敗し、過去に前記第２の端末装置で取得された第５の対象データ又は前記第５の対象データに基づく第５の関連情報を利用した推定が成功する場合に、前記第１の端末装置で取得される前記対象データに対応する前記食品情報の推定における前記第５の関連情報の影響度を大きくする、請求項１から３のいずれか一項に記載の食品管理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示する技術は、冷蔵庫に貯蔵される食品を管理する食品管理システムに関する。

【背景技術】

【0002】

特許文献１には、冷蔵庫の庫内に貯蔵される食品を撮像するカメラを備える冷蔵庫が開示されている。カメラで撮像された食品の撮像データは、インターネットを介してサーバに送信される。サーバは、冷蔵庫から受信する撮像データを利用して、撮像された食品の食品名を推定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－１４６１７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１は、１つの家庭で利用される冷蔵庫に貯蔵される食品の推定精度を高めることについて、何ら考慮されていない。本明細書では、１つの家庭で利用される冷蔵庫に貯蔵される食品の推定精度を高めることができる技術を提供する。

【課題を解決するための手段】

【0005】

本明細書で開示される技術は、冷蔵庫内に貯蔵される食品を管理する食品管理システムに関する。食品管理システムは、取得済みの前記対象データに対応する食品の種類を示す情報である食品情報が入力される入力部と、前記取得済みの対象データ又は前記取得済みの対象データに基づく情報と、入力済みの前記食品情報と、が関連付けられている関連情報を特定の前記冷蔵庫におけるものとして記憶する記憶部と、前記記憶部に１以上の前記関連情報が記憶されている状態において、前記取得部が特定の対象データを取得する場合に、前記記憶部に記憶されている前記１以上の関連情報を利用して、前記特定の対象データを解析し、前記特定の対象データに対応する特定の食品情報を推定する推定部と、を備えていてもよい。

【図面の簡単な説明】

【0006】

【図1】食品管理システムの構成を示す。

【図2】端末装置によって実行される端末処理のフローチャートである。

【図3】第１のユーザが食品「みかん」を貯蔵する際のケースＡのシーケンス図である。

【図4】第１のユーザが食品「みかん」を追加的に貯蔵する際のケースＢのシーケンス図である。

【図5】第１のユーザが食品「柿」を貯蔵する際のケースＣのシーケンス図である。

【図6】第２のユーザが食品「りんご」を貯蔵する際のケースＤのシーケンス図である。

【図7】第１のユーザが食品「りんご」を貯蔵する際のケースＥのシーケンス図である。

【発明を実施するための形態】

【0007】

（実施例）
（食品管理システム２の構成）
図１に示されるように、食品管理システム２は、冷蔵庫１０と、第１の端末装置１００と、第２の端末装置２００と、を備える。冷蔵庫１０は、家４内に設置されている。第１の端末装置１００、及び、第２の端末装置２００は、家４の居住者によって利用される装置である。冷蔵庫１０、第１の端末装置１００、及び、第２の端末装置２００は、互いに通信可能である。

【0008】

（冷蔵庫１０の構成）
冷蔵庫１０は、例えば、冷蔵室、冷凍室、野菜室、製氷室等（図示省略）等の貯蔵室を備えている。冷蔵庫１０の庫内には複数の食品が保管されている。例えば、冷蔵庫１０の冷蔵室の中に卵、飲料水等が保管されており、野菜室の中に人参等が保管されている。冷蔵庫１０は、庫内に保管されている食材を冷却する。冷蔵庫１０には、冷蔵庫１０を識別する機器ＩＤ「ＲＦ１」が割り当てられている。

【0009】

（第１の端末装置１００、第２の端末装置２００の構成）
第１の端末装置１００は、例えば、スマートフォン、タブレット端末等の可搬型の端末装置であり、冷蔵庫１０と別体の装置である。なお、変形例では、第１の端末装置１００は、冷蔵庫１０と一体化された装置であってもよい。第１の端末装置１００は、操作部１１２と、表示部１１４と、カメラ１１６と、マイク１１８と、通信インターフェース（以下では、「Ｉ／Ｆ」と記載する）１２０と、制御部１３０と、メモリ１３２と、を備える。

【0010】

操作部１１２は、複数のキーを備える。ユーザは、操作部１１２を操作することによって、様々な指示を第１の端末装置１００に入力することができる。表示部１１４は、様々な情報を表示するためのディスプレイである。表示部１１４は、いわゆるタッチパネルとしても機能する。即ち、表示部１１４は、操作部としても機能する。

【0011】

カメラ１１６は、物体を撮影するためのデバイスであり、本実施例では、特に、冷蔵庫１０の庫内に貯蔵する食品を撮影するために利用される。マイク１１８は、音波信号を受信するためのインターフェースである。通信Ｉ／Ｆ１２０は、外部装置（例えば、第２の端末装置２００等）との通信を実行するためのインターフェースである。

【0012】

制御部１３０は、揮発性メモリ、不揮発性メモリなどによって構成されるメモリ１３２に記憶されているプログラム（図示省略）に従って、第１の端末装置１００の動作を制御する。メモリ１３２には、管理アプリケーション（以下では、単に、「管理アプリ」と記載する）１３４と推定テーブル１３６とが記憶されている。管理アプリ１３４は、冷蔵庫１０のベンダによって提供されるアプリケーションであり、例えば、インターネット上のサーバから第１の端末装置１００にインストールされる。管理アプリ１３４は、冷蔵庫１０の庫内に貯蔵される食品を管理するためのアプリケーションである。第１の端末装置１００は、推定テーブル１３６に冷蔵庫１０の機器ＩＤ「ＲＦ１」を対応付けて記憶している。即ち、制御部１３０は、推定テーブル１３６を冷蔵庫１０におけるものとして記憶している。また、メモリ１３２には、冷蔵庫１０の庫内に貯蔵されている食品を示す貯蔵リストＳＬが記憶されている。

【0013】

第２の端末装置２００の操作部２１２、表示部２１４、カメラ２１６、マイク２１８、通信Ｉ／Ｆ２２０、制御部２３０、メモリ２３２、管理アプリ２３４は、それぞれ、第１の端末装置１００の操作部１１２、表示部１１４、カメラ１１６、マイク１１８、通信Ｉ／Ｆ１２０、制御部１３０、メモリ１３２、管理アプリ１３４と同様である。メモリ２３２には、推定テーブル２３６が記憶されている。第２の端末装置２００は、推定テーブル１３６に冷蔵庫１０の機器ＩＤ「ＲＦ１」を対応付けて記憶している。即ち、第１の端末装置１００、及び、第２の端末装置２００は、冷蔵庫１０の機器ＩＤ「ＲＦ１」を共有している。

【0014】

（推定テーブル１３６、２３６の説明）
推定テーブル１３６、２３６は、後述する推定処理（図２のＳ２０、Ｓ５４）において、冷蔵庫１０の庫内に貯蔵する食品を推定するために利用される情報である。推定テーブル１３６、２３６には、１個以上の推定情報が記憶されている。推定情報は、食品名と、特徴量情報と、を含む。特徴量情報は、食品の形状を数値化した情報である形状特徴量と、食品の色彩を数値化した情報である色彩特徴量と、を含む。なお、特徴量情報は、同じ食品であっても、当該食品を撮像する角度、明るさ等が異なる場合に、異なる情報である。

【0015】

（端末処理；図２）
図２を参照して、第１の端末装置１００の制御部１３０が、管理アプリ１３４に従って実行する端末処理について説明する。制御部１３０は、管理アプリ１３４を起動するための操作を受付ける場合に、トップ画面を表示部１１４に表示させる。トップ画面は、冷蔵庫１０の庫内に貯蔵されている食品のリストを示す貯蔵リスト画面の表示、冷蔵庫１０の庫内に食品を貯蔵することを受付けるための画面である。制御部１３０は、トップ画面が表示されている状態において、冷蔵庫１０の庫内に食品を貯蔵する際に、ユーザによって実行される操作である登録操作を受付ける場合に、図２の処理を開始する。なお、制御部１３０は、トップ画面が表示されている状態において、貯蔵リスト画面を第１の端末装置１００に表示させるための操作であるリスト選択操作を受付けると、図２の処理を実行することなく、貯蔵リスト画面を表示部１１４に表示させる。なお、第１の端末装置１００から外部装置（例えば第２の端末装置２００）に送信される情報には、機器ＩＤ「ＲＦ１」が必ず含まれるが、以下では、機器ＩＤ「ＲＦ１」の記載及び図示を省略する。

【0016】

Ｓ１０において、制御部１３０は、カメラ１１６を起動させ、撮像操作を受付けることを監視する。制御部１３０は、撮像操作を受付ける場合に、Ｓ１０でＹＥＳと判断して、Ｓ１２に進む。なお、制御部１３０は、Ｓ１０でＹＥＳと判断する場合に、カメラ１１６を駆動させ、撮像データを取得する。

【0017】

Ｓ１２において、制御部１３０は、撮像データに対する画像処理を実行する。具体的には、制御部１３０は、Ｓ１０で取得した撮像データを解析して、撮像データ内の食品に対応する形状特徴量及び色彩特徴量を含む特徴量情報（以下では、「対象特徴量情報」と記載する）を取得する。

【0018】

Ｓ２０において、制御部１３０は、対象特徴量情報とメモリ１３２内の推定テーブル１３６とを利用して、撮像データに表示されている食品を推定する推定処理を実行する。具体的には、制御部１３０は、推定テーブル１３６に記憶されている特徴量情報の中から、対象特徴量情報との照合率が所定割合以上である特徴量情報を特定する。一般的に、同じ食品に対応する２つの特徴量情報の照合率は高い。しかしながら、同じ食品に対応する２つの特徴量情報であっても、食品を撮像した角度、明るさが異なる場合、一方の撮像データによって示される画像が不鮮明である場合などにおいては、照合率は低くなる。次いで、制御部１３０は、推定テーブル１３６において、特定した特徴量情報に対応する食品名を特定する。制御部１３０は、対象特徴量情報との照合率が所定割合以上である特徴量情報を複数特定した場合、それぞれの特徴量情報に対応する食品名を特定する。なお、制御部１３０は、推定テーブル１３６内の特徴量情報の中に、対象特徴量情報との照合率が所定割合以上である特徴量情報が存在しない場合、食品名を特定（推定）しない。この場合、制御部１３０は、対象特徴量情報と推定テーブル１３６とを利用した推定処理が失敗したと判断する。

【0019】

Ｓ２２において、制御部１３０は、Ｓ２０の推定処理において食品名が特定されたのか否かを判断する。制御部１３０は、食品名が特定された場合（Ｓ２２でＹＥＳ）に、Ｓ２４に進む。一方、制御部１３０は、食品名が特定されなかった場合、即ち、推定処理が失敗した場合（Ｓ２２でＮＯ）に、Ｓ５０に進む。

【0020】

Ｓ２４において、制御部１３０は、Ｓ２０の推定処理で特定された食品名と、キャンセルボタンと、を含む選択画面を表示部１１４に表示させる。図４に示すように、選択画面は、推定処理で特定（推定）された１以上の食品名と、キャンセルボタンと、を含む。Ｓ２６において、制御部１３０は、選択画面内の食品名が選択されたのか否かを判断する。制御部１３０は、選択画面内の食品名が選択された場合（Ｓ２６でＹＥＳ）に、Ｓ４０に進む。一方、制御部１３０は、選択画面内の食品名が選択されなかった場合、即ち、キャンセルボタンが選択された場合（Ｓ２６でＮＯ）に、Ｓ２８に進む。

【0021】

Ｓ２８において、制御部１３０は、入力画面を表示部１１４に表示させる。図３に示すように、入力画面は、ユーザが貯蔵しようとしている食品の食品名の入力をユーザに促すためのメッセージと、食品名入力欄と、ＯＫボタンと、を含む。Ｓ３０において、制御部１３０は、食品名を入力する入力操作を受付ける。

【0022】

Ｓ３２において、制御部１３０は、Ｓ３０で入力された食品名と、Ｓ１２で特定した対象特徴量情報と、を含む推定情報を推定テーブル１３６に記憶させる。これにより、当該推定情報が、冷蔵庫１０におけるものとして記憶される。

【0023】

Ｓ４０において、制御部１３０は、Ｓ２６で選択された食品名、又は、Ｓ３０で入力された食品名をメモリ１３２内の貯蔵リストＳＬに記憶させる。また、制御部１３０は、最新の貯蔵リストＳＬを外部装置に送信する。制御部１３０は、Ｓ４０が終了すると、図２の処理を終了する。

【0024】

また、制御部１３０は、上記のＳ２２でＮＯと判断する場合に、Ｓ５０において、データ要求を外部装置に送信する。データ要求は、外部装置に記憶されている推定情報の送信を要求する信号である。

【0025】

Ｓ５２において、制御部１３０は、推定情報を受信したのか否かを判断する。制御部１３０は、外部装置から推定情報を受信する場合（Ｓ５２でＹＥＳ）に、Ｓ５４に進む。一方、制御部１３０は、データ要求を送信してから所定時間（例えば、５秒）が経過しても、外部装置から推定情報を受信しない場合（Ｓ５２でＮＯ）に、Ｓ８０に進む。

【0026】

Ｓ５４において、制御部１３０は、対象特徴量情報と、Ｓ５２で受信した推定情報と、を利用して、推定処理を実行する。当該処理の内容は、上記のＳ２０の推定処理の内容と同様である。

【0027】

Ｓ５６において、制御部１３０は、Ｓ５４の推定処理において食品名が特定されたのか否かを判断する。制御部１３０は、食品名が特定された場合（Ｓ５６でＹＥＳ）に、Ｓ６０に進む。一方、制御部１３０は、食品名が特定されなかった場合（Ｓ５６でＮＯ）に、Ｓ８０に進む。

【0028】

Ｓ６０において、制御部１３０は、Ｓ５４の推定処理で特定された食品名と、キャンセルボタンと、を含む選択画面を表示部１１４に表示させる。Ｓ６２において、制御部１３０は、選択画面内の食品名が選択されたのか否かを判断する。制御部１３０は、選択画面内の食品名が選択された場合（Ｓ６２でＹＥＳ）に、Ｓ７０に進む。一方、制御部１３０は、選択画面内の食品名が選択されなかった場合（Ｓ６２でＮＯ）に、Ｓ８０に進む。

【0029】

Ｓ７０において、制御部１３０は、Ｓ５２で受信した推定情報の中から、Ｓ６２で選択された食品名を含む推定情報を特定し、当該推定情報を推定テーブル１３６に記憶させる。これにより、当該推定情報が、冷蔵庫１０におけるものとして記憶される。Ｓ７２において、制御部１３０は、Ｓ６２で選択された食品名をメモリ１３２内の貯蔵リストＳＬに記憶させる。また、制御部１３０は、最新の貯蔵リストＳＬを外部装置に送信する。制御部１３０は、Ｓ７２が終了すると、図２の処理を終了する。

【0030】

また、制御部１３０は、上記のＳ５２でＮＯ、Ｓ５６でＮＯ、又は、Ｓ６２でＮＯと判断する場合に、Ｓ８０において、入力画面を表示する。Ｓ８２において、制御部１３０は、食品名を入力する入力操作を受付ける。

【0031】

Ｓ９０において、制御部１３０は、Ｓ８２で入力された食品名と、Ｓ１２で特定した対象特徴量情報と、を含む推定情報を推定テーブル１３６に記憶させる。これにより、当該推定情報が、冷蔵庫１０におけるものとして記憶される。Ｓ９２において、制御部１３０は、Ｓ８２で入力された食品名をメモリ１３２内の貯蔵リストＳＬに記憶させる。また、制御部１３０は、最新の貯蔵リストＳＬを外部装置に送信する。制御部１３０は、Ｓ９２が終了すると、図２の処理を終了する。

【0032】

（具体的なケース）
続いて、図３～図７を参照して、図２の処理によって実行される具体的なケースＡ～ケースＥについて説明する。

【0033】

（ケースＡ；図３）
図３を参照して、第１の端末装置１００を利用するユーザ（以下では、「第１のユーザ」と記載する）が、冷蔵庫１０の庫内に食品「みかん」を貯蔵するプロセスについて説明する。図３の初期状態において、第１の端末装置１００の推定テーブル１３６、及び、第２の端末装置２００の推定テーブル２３６は、空の状態である。また、冷蔵庫１０の庫内も空の状態である。

【0034】

第１の端末装置１００は、Ｔ１０において、アプリ起動操作を受付けると、Ｔ１２において、トップ画面を表示し、Ｔ１４において、登録操作を受付ける。次いで、第１の端末装置１００は、Ｔ１６において、カメラ１１６を利用した食品「みかん」の撮像操作を受付けると（Ｓ１０でＹＥＳ）、Ｔ１８において、食品「みかん」を撮像し、撮像データＩＤ１を取得する。次いで、第１の端末装置１００は、撮像データＩＤ１に対して画像処理を実行し（Ｓ１２）、Ｔ２０において、撮像データＩＤ１に対応する形状特徴量ＳＦ１と色彩特徴量ＣＦ１とを含む特徴量情報ＦＩ１を特定する。次いで、第１の端末装置１００は、特徴量情報ＦＩ１とメモリ１３２内の推定テーブル１３６とを利用する推定処理を実行する（Ｓ２０）。本ケースでは、推定テーブル１３６内に推定情報が記憶されていないために、第１の端末装置１００は、食品名を特定しない（Ｓ２２でＮＯ）。この場合、第１の端末装置１００は、Ｔ２２において、データ要求を第２の端末装置２００に送信する（Ｓ５０）。

【0035】

第２の端末装置２００は、Ｔ２２において、第１の端末装置１００からデータ要求を受信すると、推定テーブル２３６内の情報が空であると判断する。この場合、第２の端末装置２００は、推定情報を送信しない。

【0036】

第１の端末装置１００は、データ要求を送信してから所定時間が経過しても、第２の端末装置２００から推定情報を受信しないと判断し（Ｓ５２でＮＯ）、Ｔ３０において、入力画面を表示する（Ｓ８０）。次いで、第１の端末装置１００は、Ｔ３２において、食品名「みかん」を入力する入力操作を受付けると（Ｓ８２）、Ｔ３４において、食品名「みかん」と、特徴量情報ＦＩ１と、を含む推定情報ＥＩ１を推定テーブル１３６に記憶する（Ｓ８４）。これにより、推定情報ＥＩ１が、冷蔵庫１０におけるものとして記憶される。次いで、第１の端末装置１００は、Ｔ３６において、貯蔵リストＳＬに食品名「みかん」を追加して（Ｓ９２）、Ｔ３８において、最新の貯蔵リストＳＬを第２の端末装置２００に送信する（Ｓ９２）。

【0037】

第２の端末装置２００は、Ｔ３８において、第１の端末装置１００から貯蔵リストＳＬを受信すると、Ｔ４０において、受信した貯蔵リストＳＬを利用して、メモリ２３２内の貯蔵リストＳＬを更新する。

【0038】

（ケースＢ；図４）
続いて、図３のケースＡの後に、第１のユーザが、冷蔵庫１０の庫内に食品「みかん」を追加的に貯蔵するプロセスについて説明する。ケースＢの初期状態において、第１の端末装置１００の推定テーブル１３６には、推定情報ＥＩ１が記憶されている。

【0039】

Ｔ１１０～Ｔ１１８は、ケースＡのＴ１０～Ｔ１８と同様である。第１の端末装置１００は、Ｔ１１８で撮像した撮像データＩＤ２に対して画像処理を実行し（Ｓ１２）、Ｔ１２０において、撮像データＩＤ２に対応する形状特徴量ＳＦ２と色彩特徴量ＣＦ２とを含む特徴量情報ＦＩ２を特定する。次いで、第１の端末装置１００は、特徴量情報ＦＩ２とメモリ１３２内の推定テーブル１３６とを利用する推定処理を実行する（Ｓ２０）。ケースＡとケースＢとでは、食品「みかん」を撮像するユーザが同じため、特徴量情報ＦＩ２と、推定テーブル１３６内の特徴量情報ＦＩ１と、の照合率は所定割合以上となる。このため、第１の端末装置１００は、推定テーブル１３６において、特徴量情報ＦＩ１に対応付けられている食品名「みかん」を特徴量情報ＦＩ２に対応する食品名として特定する。次いで、第１の端末装置１００は、食品名「みかん」が特定できたと判断し（Ｓ２２でＹＥＳ）、Ｔ１２２において、食品名「みかん」を含む選択画面を表示し（Ｓ２４）、Ｔ１２４において、食品名「みかん」の選択を受付ける（Ｓ２６でＹＥＳ）。Ｔ１２６～Ｔ１３０は、Ｔ３６～Ｔ４０と同様である。

【0040】

（ケースＣ；図５）
続いて、図５を参照して、第１のユーザが、冷蔵庫１０の庫内に食品「柿」を追加するプロセスについて説明する。ケースＣは、図４のケースＢの後の状態である。このため、第１の端末装置１００の推定テーブル１３６には、推定情報ＥＩ１が記憶されている。

【0041】

Ｔ２１０～Ｔ２１６は、図３のＴ１０～Ｔ１６と同様である。Ｔ２１８は、撮像対象が食品「柿」である点を除いて、Ｔ１８と同様である。第１の端末装置１００は、Ｔ２１８で撮像した撮像データＩＤ３に対して画像処理を実行し（図２のＳ１２）、Ｔ２２０において、撮像データＩＤ３に対応する形状特徴量ＳＦ３と色彩特徴量ＣＦ３とを含む特徴量情報ＦＩ３を特定する。次いで、第１の端末装置１００は、特徴量情報ＦＩ３とメモリ１３２内の推定テーブル１３６とを利用する推定処理を実行する（Ｓ２０）。食品「みかん」と「柿」は、形状、色彩が類似する。このため、第１の端末装置１００は、特徴量情報ＦＩ１と特徴量情報ＦＩ３との照合率が所定割合以上であるとして、特徴量情報ＦＩ１に対応付けられている食品名「みかん」を特徴量情報ＦＩ３に対応する食品名として特定する。次いで、第１の端末装置１００は、食品名「みかん」が特定できたと判断し（Ｓ２２でＹＥＳ）、Ｔ２２２において、食品名「みかん」を含む選択画面を表示し（Ｓ２４）、Ｔ２２４において、キャンセルボタンの選択を受付けると（Ｓ２６でＮＯ）、Ｔ２２６において、入力画面を表示する（Ｓ２８）。次いで、第１の端末装置１００は、Ｔ２２８において、食品名「柿」の入力を受付けると（Ｓ３０）、Ｔ２３０において、食品名「柿」と、特徴量情報ＦＩ３と、を含む推定情報ＥＩ３を推定テーブル１３６に記憶する（Ｓ３２）。これにより、推定情報ＥＩ３が、冷蔵庫１０におけるものとして記憶される。次いで、第１の端末装置１００は、Ｔ２３２において、貯蔵リストＳＬに食品名「柿」を追加する（Ｓ４０）。Ｔ２３４、Ｔ２３６は、Ｔ３８、Ｔ４０と同様である。

【0042】

（ケースＣの効果）
第１の端末装置１００のメモリ１３２に記憶されている推定情報が少ない場合、推定処理における食品名の推定精度は低い。ケースＣに示されるように、第１の端末装置１００は、撮像データＩＤ３に対応する食品名として食品名「みかん」が推定された後に、食品名「みかん」とは異なる食品名「柿」が入力される場合（Ｔ２２８）に、特徴量情報ＦＩ３と、食品名「柿」と、が関連付けられている推定情報ＥＩ３を冷蔵庫１０におけるものとしてメモリ１３２に記憶する。上記の構成によると、第１の端末装置１００は、第１の端末装置１００による食品名の推定が修正された場合に、入力された食品名「柿」を含む推定情報ＥＩ３を冷蔵庫１０におけるものとして記憶する。入力された食品名「柿」は正しい情報である。このため、第１の端末装置１００は、その後の推定処理において、推定情報ＥＩ３を利用することができ、この結果、推定処理における食品名の推定精度を向上させることができる。

【0043】

（ケースＤ；図６）
続いて、図６を参照して、第２の端末装置２００を利用するユーザ（以下では、「第２のユーザ」と記載する）が、冷蔵庫１０の庫内に食品「りんご」を貯蔵するプロセスについて説明する。ケースＤは、図５のケースＣの後の状態である。このため、第１の端末装置１００の推定テーブル１３６には、推定情報ＥＩ１、ＥＩ３が記憶されており、第２の端末装置２００の推定テーブル２３６は、空の状態である。なお、第２の端末装置２００の制御部２３０は、管理アプリ２３４に従って、図２の端末処理と同様の処理を実行することができる。

【0044】

Ｔ３１０～Ｔ３１６は、対象装置が第２の端末装置２００である点を除いて、図３のＴ１０～Ｔ１６と同様である。Ｔ３１８は、撮像対象が食品「りんご」である点、及び、対象装置が第２の端末装置２００である点を除いて、Ｔ３１８と同様である。第２の端末装置２００は、Ｔ３１８で撮像した撮像データＩＤ４に対して画像処理を実行し、Ｔ３２０において、撮像データＩＤ４に対応する形状特徴量ＳＦ４と色彩特徴量ＣＦ４とを含む特徴量情報ＦＩ４を特定する。次いで、第２の端末装置２００は、特徴量情報ＦＩ４とメモリ２３２内の推定テーブル２３６とを利用する推定処理を実行する。本ケースでは、推定テーブル２３６内に特徴量情報が記憶されていないために、第２の端末装置２００は、食品名を特定しない。この場合、第２の端末装置２００は、Ｔ３２２において、データ要求を第１の端末装置１００に送信する。

【0045】

第１の端末装置１００は、Ｔ３２２において、第２の端末装置２００からデータ要求を受信すると、推定テーブル１３６内の推定情報ＥＩ１、ＥＩ３を特定し、Ｔ３２４において、推定情報ＥＩ１、ＥＩ３を第２の端末装置２００に送信する。

【0046】

第２の端末装置２００は、Ｔ３２４において、第１の端末装置１００から推定情報ＥＩ１、ＥＩ３を受信すると、特徴量情報ＦＩ４と推定情報ＥＩ１、ＥＩ３とを利用する推定処理を実行する。第２の端末装置２００は、特徴量情報ＦＩ４と推定情報ＥＩ１内の特徴量情報ＦＩ１との照合率、及び、特徴量情報ＦＩ４と推定情報ＥＩ３内の特徴量情報ＦＩ３との照合率が所定割合未満であることを特定し、食品名を特定しない。この場合、第２の端末装置２００は、Ｔ３３０において、入力画面を表示する。次いで、第２の端末装置２００は、Ｔ３３２において、食品名「りんご」の入力を受付けると、Ｔ３３４において、食品名「りんご」と、特徴量情報ＦＩ４と、を含む推定情報ＥＩ４を推定テーブル２３６に記憶する。次いで、第２の端末装置２００は、Ｔ３３６において、貯蔵リストＳＬに食品名「りんご」を追加して、Ｔ３３８において、最新の貯蔵リストＳＬを第１の端末装置１００に送信する。

【0047】

第１の端末装置１００は、Ｔ３３８において、第２の端末装置２００から貯蔵リストＳＬを受信すると、Ｔ３４０において、受信した貯蔵リストＳＬを利用して、メモリ１３２内の貯蔵リストＳＬを更新する。

【0048】

（ケースＥ；図７）
続いて、図７を参照して、第１のユーザが、冷蔵庫１０の庫内に食品「りんご」を貯蔵するプロセスについて説明する。本ケースは、図６のケースＤの後の状態である。即ち、第１の端末装置１００の推定テーブル１３６には、推定情報ＥＩ１、ＥＩ３が記憶されており、第２の端末装置２００の推定テーブル２３６には、推定情報ＥＩ４が記憶されている。

【0049】

Ｔ４１０～Ｔ４１６は、図３のＴ１０～Ｔ１６と同様である。Ｔ４１８は、撮像対象が食品「りんご」である点を除いて、Ｔ１８と同様である。第１の端末装置１００は、Ｔ４１８で撮像した撮像データＩＤ５に対して画像処理を実行し（図２のＳ１２）、Ｔ４２０において、撮像データＩＤ５に対応する形状特徴量ＳＦ５と色彩特徴量ＣＦ５とを含む特徴量情報ＦＩ５を特定する。次いで、第１の端末装置１００は、特徴量情報ＦＩ５とメモリ１３２内の推定テーブル１３６とを利用する推定処理を実行し（Ｓ２０）、特徴量情報ＦＩ５と推定情報ＥＩ１内の特徴量情報ＦＩ１との照合率、及び、特徴量情報ＦＩ５と推定情報ＥＩ３内の特徴量情報ＦＩ３との照合率が所定割合未満であることを特定し、食品名を特定しない（Ｓ２２でＮＯ）。この場合、第１の端末装置１００は、Ｔ４２２において、データ要求を第２の端末装置２００に送信し（Ｓ５０）、Ｔ４２４において、第２の端末装置２００から推定情報ＥＩ４を受信する（Ｓ５２でＹＥＳ）。

【0050】

次いで、第１の端末装置１００は、特徴量情報ＦＩ５と推定情報ＥＩ４とを利用する推定処理を実行する（Ｓ５４）。第１の端末装置１００は、特徴量情報ＦＩ５と推定情報ＥＩ４内の特徴量情報ＦＩ４との照合率が所定割合以上であると判断し、推定情報ＥＩ４内の食品名「りんご」を特徴量情報ＦＩ５に対応する食品名として特定する。次いで、第１の端末装置１００は、食品名「りんご」が特定できたと判断し（Ｓ５６でＹＥＳ）、Ｔ４３０において、食品名「りんご」を含む選択画面を表示する（Ｓ６０）。次いで、第１の端末装置１００は、Ｔ４３２において、食品名「りんご」の選択を受付けると（Ｓ６２でＹＥＳ）、Ｔ４３４において、推定情報ＥＩ４を推定テーブル１３６に記憶し（Ｓ７０）、Ｔ４３６において、貯蔵リストＳＬに食品名「りんご」を追加する（Ｓ７２）。これにより、推定情報ＥＩ４が、冷蔵庫１０におけるものとして記憶される。Ｔ４３８、Ｔ４４０は、図３のＴ３８、Ｔ４０と同様である。なお、変形例では、第１の端末装置１００は、Ｔ４３４において、食品名「りんご」と、特徴量情報ＦＩ５と、を含む推定情報を推定テーブル１３６に記憶してもよい。

【0051】

（ケースＥの効果）
ケースＥに示されるように、第１の端末装置１００は、過去に第２の端末装置２００で取得された撮像データＩＤ４に基づく特徴量情報ＦＩ４を含む推定情報ＥＩ４が記憶されている状態において、第１の端末装置１００で取得された撮像データＩＤ５に対応する食品名を推定する場合に、推定情報ＥＩ４を利用する。上記の構成によると、過去に第１の端末装置１００で撮像したことのない食品であっても、当該食品の食品名を推定し得る。

【0052】

また、第１の端末装置１００は、過去に第１の端末装置１００で取得された撮像データＩＤ１、ＩＤ３に基づく特徴量情報ＦＩ１、ＦＩ３を含む推定情報ＥＩ１、ＥＩ３と、過去に第２の端末装置２００で取得された撮像データＩＤ４に基づく特徴量情報ＦＩ４を含む推定情報ＥＩ４と、が記憶されている状態において、第１の端末装置１００で取得された撮像データＩＤ５に対応する食品名を推定する場合に、推定情報ＥＩ４よりも推定情報ＥＩ１、ＥＩ３を優先的に利用する。本実施例において、最初に推定情報ＥＩ、ＥＩ３を利用し、その後に推定情報ＥＩ４を利用することが、「推定情報ＥＩ４よりも推定情報ＥＩ１、ＥＩ３を優先的に利用する」の一例である。なお、変形例では、例えば、推定情報ＥＩ４よりも推定情報ＥＩ１、ＥＩ３の影響が大きくなるように推定情報ＥＩ１、ＥＩ３、ＥＩ４を利用することが、「推定情報ＥＩ４よりも推定情報ＥＩ１、ＥＩ３を優先的に利用する」の一例であってもよい。第１のユーザが冷蔵庫１０の庫内に貯蔵しようとしている食品は、当該ユーザが過去に冷蔵庫１０の庫内に貯蔵したことのある食品である可能性が高い。このため、過去に第１の端末装置１００で取得された撮像データＩＤ１、ＩＤ３に基づく特徴量情報ＦＩ１、ＦＩ３を含む推定情報ＥＩ１、ＥＩ３を利用して、第１の端末装置１００で取得された撮像データＩＤ５に対応する食品名を推定できる可能性が高い。上記の構成によると、第１の端末装置１００で取得された撮像データＩＤ５に対応する食品名を推定する場合に、過去に第２の端末装置２００で取得された撮像データに基づく特徴量情報を含む推定情報を過去に第１の端末装置１００で取得された撮像データに基づく特徴量情報を含む推定情報よりも優先的に利用する構成と比較して、第１の端末装置１００の処理負荷を低減することができる。

【0053】

また、第１の端末装置１００は、第１の端末装置１００で取得された撮像データＩＤ５に対応する食品名の推定において、過去に第１の端末装置１００で取得された撮像データＩＤ１、ＩＤ３に基づく特徴量情報ＦＩ１、ＦＩ３を含む推定情報ＥＩ１、ＥＩ３を利用した推定が失敗し、過去に第２の端末装置２００で取得された撮像データＩＤ４に基づく特徴量情報ＦＩ４を含む推定情報ＥＩ４を利用した推定が成功する場合に、第１の端末装置１００で取得される撮像データに対応する食品名の推定における推定情報ＥＩ４の影響度を大きくする。本実施例では、第１の端末装置１００は、推定情報ＥＩ４を記憶する（図７のＴ４３４）ことで、推定情報ＥＩ４の影響度を大きくしている。このような構成によると、第１の端末装置１００は、第２の端末装置２００から推定情報ＥＩ４を受信することなく、推定情報ＥＩ４を利用することができるようになるため、推定情報ＥＩ４の影響度が大きくなる。上記の構成によると、推定情報ＥＩ４の影響度が大きくなった後に、第１の端末装置１００で食品「りんご」が撮像される場合に、第１の端末装置１００は、第２の端末装置２００から推定情報ＥＩ４を受信しなくても、当該撮像データに対応する食品名として「りんご」を推定することができる。従って、第１の端末装置１００で取得された撮像データの推定精度を高めることができる。

【0054】

（本実施例の効果）
上述のように、第１の端末装置１００は、撮像データを取得し（図２のＳ１０でＹＥＳ）、当該撮像データに対応する食品名が入力される場合（Ｓ３０、Ｓ８２）に、当該撮像データに基づく特徴量情報と、入力された食品名と、が関連付けられている推定情報を冷蔵庫１０におけるものとしてメモリ１３２に記憶する（Ｓ３２、９０）。そして、第１の端末装置１００は、１以上の推定情報が記憶されている状態において、撮像データを取得する場合に、メモリ１３２に記憶されている推定情報を利用して、撮像データを解析し、当該撮像データに対応する食品名を推定する（Ｓ２０）。上記の構成によると、推定情報が冷蔵庫１０におけるものとしてメモリ１３２に蓄積されていく。冷蔵庫１０を利用するユーザが冷蔵庫１０に貯蔵する食品は、過去に当該ユーザが冷蔵庫１０に貯蔵した食品である可能性が高い。このため、推定情報がメモリ１３２に蓄積されていくことで、冷蔵庫１０を利用するユーザが冷蔵庫１０に貯蔵する食品の推定精度を高めることができる。従って、家４で利用する冷蔵庫１０に貯蔵される食品の推定精度を高めることができ、家４に居住するユーザの利便性を向上させることができる。

【0055】

（対応関係）
撮像データが、「所定形式の対象データ」の一例である。第１の端末装置１００のカメラ１１６、及び、第２の端末装置２００のカメラ２１６が、「取得部」の一例である。第１の端末装置１００の表示部１１４、及び、第２の端末装置２００の表示部２１４が、「入力部」の一例である。第１の端末装置１００のメモリ１３２、及び、第２の端末装置２００のメモリ２３２が、「記憶部」の一例である。食品名が、「食品情報」の一例である。推定情報が、「関連情報」の一例である。撮像データＩＤ１～ＩＤ５が、「特定の対象データ」の一例である。機器ＩＤ「ＲＦ１」が、「識別情報」の一例である。図２のＳ２０、Ｓ５４が、「推定部」によって実行される処理の一例である。

【0056】

撮像データＩＤ４、推定情報ＥＩ４が、「第１の対象データ」、「第１の関連情報」の一例である。撮像データＩＤ１、ＩＤ３、推定情報ＥＩ１、ＥＩ３が、それぞれ、「第２の対象データ」、「第２の関連情報」の一例である。撮像データＩＤ４、推定情報ＥＩ４が、「第３の対象データ」、「第３の関連情報」の一例である。撮像データＩＤ１、ＩＤ３、推定情報ＥＩ１、ＥＩ３が、それぞれ、「第４の対象データ」、「第４の関連情報」の一例である。撮像データＩＤ４、推定情報ＥＩ４が、「第５の対象データ」、「第５の関連情報」の一例である。

【0057】

以上、本発明の具体例を詳細に説明したが、これらは例示に過ぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

【0058】

（第１変形例）「所定形式の対象データ」は、撮像データに限定されず、音声データであってもよい。本変形例では、第１の端末装置１００のメモリ１３２には、食品名と、音声データを解析することによって得られる音声特徴量（「データ関連情報」の一例）と、を含む推定情報が記憶される。本変形例では、第１の端末装置１００のマイク１１８、及び、第２の端末装置２００のマイク２１８が、「取得部」の一例である。

【0059】

（第２変形例）推定テーブル１３６において、食品名と、撮像データと、が関連付けられていてもよい。

【0060】

（第３変形例）冷蔵庫１０が、カメラを備えていてもよい。本変形例では、第１の端末装置１００は、冷蔵庫１０から、冷蔵庫１０のカメラによって撮像された撮像データを取得する場合に、図２のＳ１２以降の処理を実行する。

【0061】

（第４変形例）図２のＳ３２を省略可能である。

【0062】

（第５変形例）第１の端末装置１００と第２の端末装置２００との間で、第１の端末装置１００のメモリ１３２内の推定情報と第２の端末装置２００のメモリ２３２内の推定情報とが共有されていなくてもよい。本変形例では、図２のＳ５０～Ｓ７２を省略可能である。

【0063】

（第６変形例）第１の端末装置１００は、Ｓ２０よりも前に、Ｓ５０、Ｓ５２を実行してもよい。本変形例では、第１の端末装置１００は、Ｓ２０の推定処理において、第２の端末装置２００のメモリ２３２内の推定情報を第１の端末装置１００のメモリ１３２内の推定情報よりも優先的に利用する。

【0064】

（第７変形例）図２のＳ７０を省略可能である。

【0065】

（第８変形例）食品管理システム２は、サーバを備えていてもよい。本変形例では、サーバのメモリに、推定テーブルが記憶されている。また、サーバは、第１の端末装置１００、又は、第２の端末装置２００から、撮像データを受信する場合に、推定処理を実行するように構成されている。なお、本変形例では、サーバは、第１の端末装置１００、及び、第２の端末装置２００から受信した情報を識別するために、第１の端末装置１００、及び、第２の端末装置２００のそれぞれを識別する情報を記憶しているとよい。本変形例では、サーバのメモリが、「記憶部」の一例である。また、本変形例では、サーバによって実行される推定処理が、「推定部」によって実行される処理の一例である。

【0066】

本明細書または図面に説明した技術要素は、単独であるいは各種の組合せによって技術的有用性を発揮するものであり、出願時請求項記載の組合せに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成し得るものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。

【符号の説明】

【0067】

２：食品管理システム、４：家、１０：冷蔵庫、１００：第１の端末装置、１１２：操作部、１１４：表示部、１１６：カメラ、１１８：マイク、１２０：通信Ｉ／Ｆ、１３０：制御部、１３２：メモリ、１３４：管理アプリ、１３６：推定テーブル、２００：第２の端末装置、２１２：操作部、２１４：表示部、２１６：カメラ、２１８：マイク、２２０：通信Ｉ／Ｆ、２３０：制御部、２３２：メモリ、２３４：管理アプリ、２３６：推定テーブル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】