(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163666
(43)【公開日】2024-11-22
(54)【発明の名称】情報処理装置、情報処理方法及び収納システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241115BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023079479
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】399048917
【氏名又は名称】日立グローバルライフソリューションズ株式会社
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】樋口 晴彦
(72)【発明者】
【氏名】林 大介
(72)【発明者】
【氏名】稲田 圭介
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA25
5L096DA01
5L096EA35
5L096FA69
5L096GA34
5L096KA04
5L096KA15
(57)【要約】
【課題】学習データの画像に対し、正確なラベルを付す。
【解決手段】本発明の情報処理装置は、単位画像に含まれる物体を認識する物体認識部と、異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、を備えること、を特徴とする。さらに、情報処理装置は、前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求するラベル要求部を備えること、を特徴とする。
【選択図】図１
【解決手段】本発明の情報処理装置は、単位画像に含まれる物体を認識する物体認識部と、異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、を備えること、を特徴とする。さらに、情報処理装置は、前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求するラベル要求部を備えること、を特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
単位画像に含まれる物体を認識する物体認識部と、
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、
を備えること、
を特徴とする情報処理装置。
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、
を備えること、
を特徴とする情報処理装置。
【請求項2】
前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求するラベル要求部を備えること、
を特徴とする請求項１に記載の情報処理装置。
を特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記物体認識部は、
前記ラベル情報が付された前記単位画像を学習データとして、前記単位画像を入力とし前記物体の品目を出力とするモデルを学習すること、
を特徴とする請求項２に記載の情報処理装置。
前記ラベル情報が付された前記単位画像を学習データとして、前記単位画像を入力とし前記物体の品目を出力とするモデルを学習すること、
を特徴とする請求項２に記載の情報処理装置。
【請求項4】
前記ラベル要求部は、
前記単位画像から前記物体が撮像されている部分を切り出し、前記切り出した物体の部分を前記関心度が高い前記ユーザに表示すること、
を特徴とする請求項３に記載の情報処理装置。
前記単位画像から前記物体が撮像されている部分を切り出し、前記切り出した物体の部分を前記関心度が高い前記ユーザに表示すること、
を特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記ラベル要求部は、
前記ユーザの属性に応じて前記ユーザを複数の群に分類し、
前記複数の群のそれぞれに属する前記ユーザに、同じ前記物体を含む単位画像にラベル情報を付すことを要求し、又は、異なる前記物体を含む単位画像にラベルを付すことを要求すること、
を特徴とする請求項４に記載の情報処理装置。
前記ユーザの属性に応じて前記ユーザを複数の群に分類し、
前記複数の群のそれぞれに属する前記ユーザに、同じ前記物体を含む単位画像にラベル情報を付すことを要求し、又は、異なる前記物体を含む単位画像にラベルを付すことを要求すること、
を特徴とする請求項４に記載の情報処理装置。
【請求項6】
前記関心度算出部は、
前記ユーザが前記物体を取り扱った位置又は前記ユーザが前記物体を取り扱った回数に基づき、前記関心度を算出すること、
を特徴とする請求項５に記載の情報処理装置。
前記ユーザが前記物体を取り扱った位置又は前記ユーザが前記物体を取り扱った回数に基づき、前記関心度を算出すること、
を特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記関心度算出部は、
前記関心度を前記物体ごとに算出し、
前記ラベル要求部は、
前記関心度の高い順に前記物体を含む単位画像を前記関心度が高い前記ユーザに表示すること、
を特徴とする請求項６に記載の情報処理装置。
前記関心度を前記物体ごとに算出し、
前記ラベル要求部は、
前記関心度の高い順に前記物体を含む単位画像を前記関心度が高い前記ユーザに表示すること、
を特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記ラベル要求部は、
収納庫内の所定の位置に収納される物体について、前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求すること、
を特徴とする請求項７に記載の情報処理装置。
収納庫内の所定の位置に収納される物体について、前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求すること、
を特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記ラベル要求部は、
特徴空間内の距離が近い複数の物体に係る前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求すること、
を特徴とする請求項８に記載の情報処理装置。
特徴空間内の距離が近い複数の物体に係る前記単位画像にラベル情報を付すことを、所定の基準を満たす程度に前記関心度が高い前記ユーザに要求すること、
を特徴とする請求項８に記載の情報処理装置。
【請求項10】
前記物体認識部は、
前記ユーザごとに前記モデルを学習すること、
を特徴とする請求項３に記載の情報処理装置。
前記ユーザごとに前記モデルを学習すること、
を特徴とする請求項３に記載の情報処理装置。
【請求項11】
情報処理装置の物体認識部は、
単位画像に含まれる物体を認識し、
前記情報処理装置の関心度算出部は、
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出すること、
を特徴とする情報処理方法。
単位画像に含まれる物体を認識し、
前記情報処理装置の関心度算出部は、
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出すること、
を特徴とする情報処理方法。
【請求項12】
単位画像に含まれる物体を認識する物体認識部と、
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、
を備える情報処理装置と、
前記物体を収納する収納庫と、
を備えることを特徴とする収納システム。
異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、
前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、
を備える情報処理装置と、
前記物体を収納する収納庫と、
を備えることを特徴とする収納システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及び収納システムに関する。
【背景技術】
【0002】
近時、内部にどのような食材が保管されているかを自動的に推論する冷蔵庫が普及している。
特許文献１の物品収納装置は、物品を撮像した画像の特徴量を、当該特徴量が検出されたエリアに紐付けて管理し、類似する特徴量が同じエリアに繰り返し現れている場合、その特徴量は、常備物品の特徴量であると決定する。
特許文献２の冷蔵庫システムは、冷蔵庫内の食材の画像の特徴量と当該食材との関係を学習した学習済データを予め記憶しておき、新たな識別機会において識別結果が正しかった場合、その識別に係る画像の特徴量と当該食材との関係を使用して再学習を行う。
特許文献１の物品収納装置は、物品を撮像した画像の特徴量を、当該特徴量が検出されたエリアに紐付けて管理し、類似する特徴量が同じエリアに繰り返し現れている場合、その特徴量は、常備物品の特徴量であると決定する。
特許文献２の冷蔵庫システムは、冷蔵庫内の食材の画像の特徴量と当該食材との関係を学習した学習済データを予め記憶しておき、新たな識別機会において識別結果が正しかった場合、その識別に係る画像の特徴量と当該食材との関係を使用して再学習を行う。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６７７５４６７号明細書
【特許文献2】特許第７０４０１９３号明細書
【発明の概要】
【発明が解決しようとする課題】
【0004】
冷蔵庫内の食材の品目を推論するためにニューラルネットワーク等のモデルを使用する場合、モデルの精度が問題となる。精度が低い場合、モデルを学習するための学習データを更新しなければならない。
特許文献１の物品収納装置は、モデルを使用することを想定してない。特許文献２の冷蔵庫システムは、食材の品目を意識しておらず、その結果、識別精度の低い品目についてどのように学習データを準備するかという視点に欠ける。
特許文献１の物品収納装置は、モデルを使用することを想定してない。特許文献２の冷蔵庫システムは、食材の品目を意識しておらず、その結果、識別精度の低い品目についてどのように学習データを準備するかという視点に欠ける。
【課題を解決するための手段】
【0005】
本発明の情報処理装置は、単位画像に含まれる物体を認識する物体認識部と、異なる複数の前記単位画像に基づき、ユーザが前記物体を取り扱う傾向を推定し、前記推定した傾向に基づき、前記物体に対する関心度を前記ユーザごとに算出する関心度算出部と、を備えること、を特徴とする。
その他の手段については、発明を実施するための形態のなかで説明する。
その他の手段については、発明を実施するための形態のなかで説明する。
【図面の簡単な説明】
【0006】
【図1】情報処理装置の構成等を説明する図である。
【図2】収納庫使用情報の一例である。
【図3】ユーザ情報の一例である。
【図4】関心度算出処理手順のフローチャートである。
【図5】ラベル要求処理手順のフローチャートである。
【図6】ラベル要求画面の一例である。
【図7】ラベル設定画面の一例である。
【発明を実施するための形態】
【0007】
以降、本発明を実施するための形態（“本実施形態”という）を、図等を参照しながら詳細に説明する。本実施形態は、冷蔵庫内に収納されている食材の品目を認識モデルが認識（推論）する例である。しかしながら、本発明は、冷蔵庫以外の収納庫内に、食品以外の物体を収納する場合にも適用され得る。また、冷蔵庫に食材以外の品目として、薬品、検体等を収納する場合にも本発明は適用され得る。
【0008】
（用語）
物体とは、形状を有し、その画像を撮像し得る有体物である。
食材とは、人が食し得る物体である。
品目とは、物体の種類を示す普通名詞である。
単位画像とは、１個の物体が写り込んだ画像（写真）である。
認識モデルとは、単位画像を入力とし品目を出力とする関数である。典型的な認識モデルは、入力層、中間層及び出力層を有するニューラルネットワーク（人工知能）である。
物体とは、形状を有し、その画像を撮像し得る有体物である。
食材とは、人が食し得る物体である。
品目とは、物体の種類を示す普通名詞である。
単位画像とは、１個の物体が写り込んだ画像（写真）である。
認識モデルとは、単位画像を入力とし品目を出力とする関数である。典型的な認識モデルは、入力層、中間層及び出力層を有するニューラルネットワーク（人工知能）である。
【0009】
教師付き学習データとは、単位画像及びラベルの組み合わせの集合である。
ラベルとは、単位画像に対して付された、物体の品目である。
ユーザとは、物体を格納する収納庫の使用者である。ユーザは、情報処理装置の使用者でもある。
要求ユーザとは、単位画像に正しいラベルを付すことを求めるユーザである。
協力ユーザとは、単位画像に正しいラベルを付すユーザである。
関心度とは、ユーザ（特に協力ユーザ）が品目に対して興味を抱く程度であり、ユーザ及び品目の組み合わせに対して定義される。
ラベルとは、単位画像に対して付された、物体の品目である。
ユーザとは、物体を格納する収納庫の使用者である。ユーザは、情報処理装置の使用者でもある。
要求ユーザとは、単位画像に正しいラベルを付すことを求めるユーザである。
協力ユーザとは、単位画像に正しいラベルを付すユーザである。
関心度とは、ユーザ（特に協力ユーザ）が品目に対して興味を抱く程度であり、ユーザ及び品目の組み合わせに対して定義される。
【0010】
（認識モデルの学習及び関心度）
認識モデルにおいて、中間層のあるノードの情報を次の中間層のどのノードにどれだけ伝搬するかを示す伝播パラメータが、中間層のノードのそれぞれに対し定義される。教師付き学習データを使用して、認識モデルの伝播パラメータを最適化することができる。このことは、一般的に、認識モデルを“学習する”と表現される。学習済の認識モデルは、高い精度で正しい品目を出力することができる。仮に、ユーザＡの品目Ｂに対する関心度が充分に高いとする。この場合、品目Ｂが写り込んでいると思われる単位画像に対してユーザＡがラベル“品目Ｂ”を付したものを教師付き学習データとする。この教師付き学習データを使用して認識モデルを学習すると、認識モデルが品目Ｂを認識する精度は上がる。以降において“学習データ”とは、別段の説明がない限り教師付き学習データを意味する。
認識モデルにおいて、中間層のあるノードの情報を次の中間層のどのノードにどれだけ伝搬するかを示す伝播パラメータが、中間層のノードのそれぞれに対し定義される。教師付き学習データを使用して、認識モデルの伝播パラメータを最適化することができる。このことは、一般的に、認識モデルを“学習する”と表現される。学習済の認識モデルは、高い精度で正しい品目を出力することができる。仮に、ユーザＡの品目Ｂに対する関心度が充分に高いとする。この場合、品目Ｂが写り込んでいると思われる単位画像に対してユーザＡがラベル“品目Ｂ”を付したものを教師付き学習データとする。この教師付き学習データを使用して認識モデルを学習すると、認識モデルが品目Ｂを認識する精度は上がる。以降において“学習データ”とは、別段の説明がない限り教師付き学習データを意味する。
【0011】
（情報処理装置の構成）
図１は、情報処理装置１の構成等を説明する図である。情報処理装置１は、一般的なコンピュータである。情報処理装置１は、中央制御装置１１、キーボード、マウス等の入力装置１２、ディスプレイ等の出力装置１３、主記憶装置１４、補助記憶装置１５及び通信装置１６を備える。
図１は、情報処理装置１の構成等を説明する図である。情報処理装置１は、一般的なコンピュータである。情報処理装置１は、中央制御装置１１、キーボード、マウス等の入力装置１２、ディスプレイ等の出力装置１３、主記憶装置１４、補助記憶装置１５及び通信装置１６を備える。
【0012】
主記憶装置１４内の物体認識部２１、関心度算出部２２及びラベル要求部２３は、プログラムであり、後記する各処理の主体である。以降において“〇〇部は”と記すとき、それは、中央制御装置１１が各プログラムを補助記憶装置１５から読み出し、主記憶装置１４にロードしたうえで、各処理を実行することを意味する。補助記憶装置１５は、収納庫使用情報３１（詳細後記）、ユーザ情報３２（詳細後記）、学習データ３３及び認識モデル３４を格納する。
【0013】
情報処理装置１から離れた場所に、複数のキッチン２が存在する。キッチン２には、冷蔵庫６及びユーザ４が存在する。冷蔵庫６は、その内部又は外部にカメラ７を備える。カメラ７は、冷蔵庫６内に収納されている食材８の単位画像を撮像する。ユーザ４は、端末装置５を操作する。端末装置５は、典型的には携帯式のスマートフォンであるが、据置式のパーソナルコンピュータであってもよい。カメラ７及び端末装置５は、有線又は無線のネットワーク３を介して情報処理装置１に接続されている。情報処理装置１及び冷蔵庫（収納庫）６は、収納システムを構成する。
【0014】
（収納庫使用情報）
図２は、収納庫使用情報３１の一例である。収納庫使用情報３１においては、単位画像ＩＤ欄１０１に記憶された単位画像ＩＤに関連付けて、ユーザＩＤ欄１０２にはユーザＩＤが、撮像時刻欄１０３には撮像時刻が、品目欄１０４には品目が、傾向情報欄１０５には傾向情報が、関心度欄１０６には関心度が記憶されている。
図２は、収納庫使用情報３１の一例である。収納庫使用情報３１においては、単位画像ＩＤ欄１０１に記憶された単位画像ＩＤに関連付けて、ユーザＩＤ欄１０２にはユーザＩＤが、撮像時刻欄１０３には撮像時刻が、品目欄１０４には品目が、傾向情報欄１０５には傾向情報が、関心度欄１０６には関心度が記憶されている。
【0015】
単位画像ＩＤ欄１０１の単位画像ＩＤは、単位画像を一意に特定する識別子である。
ユーザＩＤ欄１０２のユーザＩＤは、ユーザを一意に特定する識別子である。本実施形態では、１人のユーザが１つの冷蔵庫６を使用するので、ユーザＩＤは、冷蔵庫６を一意に特定する識別子でもある。
撮像時刻欄１０３の撮像時刻は、カメラ７が食材８の単位画像を撮像した時刻の年月日時分秒である。カメラ７は、ユーザ４が冷蔵庫６の扉を開閉する都度、又は、周期的（例えば１時間ごと）に冷蔵庫６内のすべての食材８を撮像する。“＃”は、異なる値を省略的に示している（以下同様）。
ユーザＩＤ欄１０２のユーザＩＤは、ユーザを一意に特定する識別子である。本実施形態では、１人のユーザが１つの冷蔵庫６を使用するので、ユーザＩＤは、冷蔵庫６を一意に特定する識別子でもある。
撮像時刻欄１０３の撮像時刻は、カメラ７が食材８の単位画像を撮像した時刻の年月日時分秒である。カメラ７は、ユーザ４が冷蔵庫６の扉を開閉する都度、又は、周期的（例えば１時間ごと）に冷蔵庫６内のすべての食材８を撮像する。“＃”は、異なる値を省略的に示している（以下同様）。
【0016】
品目欄１０４の品目は、食材８の品目である。ここでの品目は、単位画像の入力に対する認識モデル３４の出力であってもよいし、他の手段で得られたものであってもよい。他の手段とは、例えば、食材８に付されたタグに記憶された品目をタグ読取機（図示せず）で読み取る方法である。品目が認識モデル３４の出力である場合、それが完全に正しいとは限らない。
【0017】
傾向情報欄１０５の傾向情報は、収納位置（欄１０５ａ）、収納期間（欄１０５ｂ）及び収納回数（欄１０５ｃ）である。このうちの収納位置は、冷蔵庫６内において、その食材８が収納されている（出し入れされる）位置の３次元座標値である。ここでの３次元座標系は、例えば、冷蔵庫６内のある点を原点とするローカル座標系である。ユーザは、関心のある食材８を、出し入れしやすい特定の収納場所（例えば胸の高さの手前側）に収納する傾向がある。ここでの特定の収納場所は、“関心領域”と呼ばれる。“［#,#,#］”は、その位置が関心領域に含まれることを示す。関心領域は、ユーザごとに定義される。
【0018】
収納期間は、同一個体としての食材８が冷蔵庫６に収納され続けていた期間である。収納回数は、所定の期間において、同一個体としての食材８が冷蔵庫に対して出し入れされた回数である。
ここに記載した収納位置、収納期間及び収納回数は、あくまでも傾向情報の一例である。一般的に、傾向情報は、異なる複数の前記単位画像に基づき推定される、ユーザが前記物体を取り扱う傾向を意味する。
ここに記載した収納位置、収納期間及び収納回数は、あくまでも傾向情報の一例である。一般的に、傾向情報は、異なる複数の前記単位画像に基づき推定される、ユーザが前記物体を取り扱う傾向を意味する。
【0019】
関心度欄１０６の関心度は、ユーザが品目に対して興味を抱く程度である。関心度は、収納場所、収納期間及び収納回数に応じて任意の方法で算出される。例えば、収納場所が関心領域にある時間が長いほど、収納期間が長いほど、かつ、収納回数が多いほど、関心度は高い。ここでの関心度は、１～１０に正規化されている。数字が大きいほど、関心度は高い。
【0020】
図２を見ると、例えば、以下のことがわかる。
・ユーザＵ００１は、自身の冷蔵庫６に、りんご、缶ビール及びその他を収納している。ユーザＵ００１は、りんごを関心領域に収納している。
・ユーザＵ００１のりんごについての収納期間及び収納回数は、充分に大きい。
・したがって、ユーザＵ００１のりんごに対する関心度は“１０”である。
・仮にユーザＵ００１が、品目が“りんご”でありそうな単位画像に対してラベル“りんご”を付した場合、その単位画像及びラベルの組み合わせである学習データで学習された認識モデル３４は、りんごを正しく認識する精度が高そうである。さらに、りんごをより細かく“青森りんご”、“長野りんご”等に認識することもできるかも知れない。
・同様に、仮にユーザＵ００２が、品目が“納豆”でありそうな単位画像に対してラベル“納豆”を付した場合、その単位画像及びラベルの組み合わせである学習データで学習された認識モデル３４は、納豆を認識する精度が高そうである。さらに、納豆をより細かく“ひきわり納豆”、“大粒納豆”等に認識することもできるかも知れない。
・ユーザＵ００１は、自身の冷蔵庫６に、りんご、缶ビール及びその他を収納している。ユーザＵ００１は、りんごを関心領域に収納している。
・ユーザＵ００１のりんごについての収納期間及び収納回数は、充分に大きい。
・したがって、ユーザＵ００１のりんごに対する関心度は“１０”である。
・仮にユーザＵ００１が、品目が“りんご”でありそうな単位画像に対してラベル“りんご”を付した場合、その単位画像及びラベルの組み合わせである学習データで学習された認識モデル３４は、りんごを正しく認識する精度が高そうである。さらに、りんごをより細かく“青森りんご”、“長野りんご”等に認識することもできるかも知れない。
・同様に、仮にユーザＵ００２が、品目が“納豆”でありそうな単位画像に対してラベル“納豆”を付した場合、その単位画像及びラベルの組み合わせである学習データで学習された認識モデル３４は、納豆を認識する精度が高そうである。さらに、納豆をより細かく“ひきわり納豆”、“大粒納豆”等に認識することもできるかも知れない。
【0021】
（ユーザ情報）
図３は、ユーザ情報３２の一例である。ユーザ情報３２においては、ユーザＩＤ欄１１１に記憶されたユーザＩＤに関連付けて、属性情報欄１１２には属性情報が、品目欄１１３には品目が、関心度欄１１４には関心度が、関心品目欄１１５には関心品目が記憶されている。
図３は、ユーザ情報３２の一例である。ユーザ情報３２においては、ユーザＩＤ欄１１１に記憶されたユーザＩＤに関連付けて、属性情報欄１１２には属性情報が、品目欄１１３には品目が、関心度欄１１４には関心度が、関心品目欄１１５には関心品目が記憶されている。
【0022】
ユーザＩＤ欄１１１のユーザＩＤは、図２のユーザＩＤと同じである。
属性情報欄１１２の属性情報は、性別（欄１１２ａ）、年齢（欄１１２ｂ）、職業（欄１１２ｃ）、家族構成（欄１１２ｄ）、住所（欄１１２ｅ）及び関心語（欄１１２ｆ）である。このうちの性別は、ユーザの性別である。年齢は、ユーザの年齢である。職業は、ユーザの職業である。家族構成は、ユーザと同居している家族の続柄である。住所は、ユーザが居住する自治体名である。関心語は、直近の所定期間において、ユーザが自身の端末装置５を使用して閲覧した文書に出現した１又は複数の特徴語である。
属性情報欄１１２の属性情報は、性別（欄１１２ａ）、年齢（欄１１２ｂ）、職業（欄１１２ｃ）、家族構成（欄１１２ｄ）、住所（欄１１２ｅ）及び関心語（欄１１２ｆ）である。このうちの性別は、ユーザの性別である。年齢は、ユーザの年齢である。職業は、ユーザの職業である。家族構成は、ユーザと同居している家族の続柄である。住所は、ユーザが居住する自治体名である。関心語は、直近の所定期間において、ユーザが自身の端末装置５を使用して閲覧した文書に出現した１又は複数の特徴語である。
【0023】
品目欄１１３の品目は、図２の品目と同じである。
関心度欄１１４の関心度は、図２の関心度と同じである。
関心品目欄１１５の関心品目は、そのユーザの関心度が高いことに起因して、そのユーザが単位画像に対してラベルを付すことを推奨される品目である。ここでは、ある品目に対する関心度が所定の閾値（ここでは“８”である）以上である場合、その品目は、関心品目となる。
関心度欄１１４の関心度は、図２の関心度と同じである。
関心品目欄１１５の関心品目は、そのユーザの関心度が高いことに起因して、そのユーザが単位画像に対してラベルを付すことを推奨される品目である。ここでは、ある品目に対する関心度が所定の閾値（ここでは“８”である）以上である場合、その品目は、関心品目となる。
【0024】
図３を見ると、例えば、以下のことがわかる。
・ユーザＵ００１は、どの品目に対しても関心度が総じて高い。そのうち、りんごと牛肉に対する関心度は、閾値以上である。
・ユーザＵ００１は、都会で一人暮らしの壮年女性会社員である。ユーザＵ００１は、可処分所得が大きいので牛肉を好んで食べるのかも知れない。また、ユーザＵ００１は、ストレス解消のため、甘いりんごを好んで食べるのかも知れない。
・ユーザＵ００２は、納豆に対する関心度が閾値以上である。
・ユーザＵ００２は、郊外に夫婦で暮らす高齢男性農家である。ユーザＵ００２は、大豆を耕作しており、自家消費もしているので、納豆を好んで食べるのかも知れない。
・ユーザＵ００１は、どの品目に対しても関心度が総じて高い。そのうち、りんごと牛肉に対する関心度は、閾値以上である。
・ユーザＵ００１は、都会で一人暮らしの壮年女性会社員である。ユーザＵ００１は、可処分所得が大きいので牛肉を好んで食べるのかも知れない。また、ユーザＵ００１は、ストレス解消のため、甘いりんごを好んで食べるのかも知れない。
・ユーザＵ００２は、納豆に対する関心度が閾値以上である。
・ユーザＵ００２は、郊外に夫婦で暮らす高齢男性農家である。ユーザＵ００２は、大豆を耕作しており、自家消費もしているので、納豆を好んで食べるのかも知れない。
【0025】
（関心度算出処理手順）
図４は、関心度算出処理手順のフローチャートである。
ステップＳ２０１において、情報処理装置１の関心度算出部２２は、属性情報を取得する。具体的には、第１に、関心度算出部２２は、すべてのユーザ４が、自身の端末装置５を介して、性別、年齢、職業、家族構成、及び、住所を入力するのを受け付ける。
第２に、関心度算出部２２は、すべてのユーザ４が使用する端末装置５から直近の過去の所定期間（例えば、１週間）におけるブラウザの閲覧履歴を取得し、その閲覧履歴に基づき、１又は複数の関心語を取得する。
図４は、関心度算出処理手順のフローチャートである。
ステップＳ２０１において、情報処理装置１の関心度算出部２２は、属性情報を取得する。具体的には、第１に、関心度算出部２２は、すべてのユーザ４が、自身の端末装置５を介して、性別、年齢、職業、家族構成、及び、住所を入力するのを受け付ける。
第２に、関心度算出部２２は、すべてのユーザ４が使用する端末装置５から直近の過去の所定期間（例えば、１週間）におけるブラウザの閲覧履歴を取得し、その閲覧履歴に基づき、１又は複数の関心語を取得する。
【0026】
ステップＳ２０２において、関心度算出部２２は、ユーザ情報３２（図３）を作成する。具体的には、関心度算出部２２は、ステップＳ２０１において受け付けた又は取得した情報を使用して、ユーザ情報３２のユーザＩＤ欄１１１及び属性情報欄１１２を埋める。この段階では、品目欄１１３、関心度欄１１４及び関心品目欄１１５は、空欄である。
【0027】
ステップＳ２０３において、情報処理装置１の物体認識部２１は、単位画像を取得する。具体的には、所定の期間に亘り、物体認識部２１は、すべてのユーザ４について、カメラ７が撮像した食材８の単位画像を取得する。物体認識部２１は、例えば７日間、冷蔵庫６の扉が開閉される都度、又は、所定の周期が経過する都度、その時刻とともに単位画像を取得し続ける。
【0028】
ステップＳ２０４において、情報処理装置１の関心度算出部２２は、関心度を算出する。具体的には、第１に、関心度算出部２２は、ステップＳ２０３において取得した情報を使用して、収納庫使用情報３１（図２）の単位画像ＩＤ欄１０１、ユーザＩＤ欄１０２、撮像時刻欄１０３、品目欄１０４及び傾向情報欄１０５を埋める。このとき、関心度算出部２２は、既存の認識モデル３４を使用して品目（正しいとは限らない）を取得してもよい。関心度算出部２２は、ステップＳ２０３において取得した単位画像を時系列で分析することによって、すべてのユーザ４について傾向情報を作成・算出する。
【0029】
第２に、関心度算出部２２は、傾向情報に基づき前記した方法で関心度を算出し、その結果を、収納庫使用情報３１の関心度欄１０６に記憶する。
【0030】
ステップＳ２０５において、関心度算出部２２は、ユーザ情報３２（図３）を完成する。具体的には、関心度算出部２２は、ステップＳ２０４の“第２”において算出した関心度を使用して、ユーザ情報３２の品目欄１１３及び関心度欄１１４を埋める。そして、関心度算出部２２は、関心度が所定の閾値以上である品目を、ユーザごとに関心品目として特定することによって、関心品目欄１１５を埋める。あるユーザに対して、関心品目が１つも特定されない場合もある。その後、関心度算出処理手順を終了する。
【0031】
（ラベル要求処理手順）
図５は、ラベル要求処理手順のフローチャートである。図５の説明の途中で、適宜図６及び図７を参照する。説明の便宜のため、いま、ユーザＵ１０１が認識モデル３４の精度に不満を抱いているとする。ユーザＵ１０１は、“要求ユーザ”である。
図５は、ラベル要求処理手順のフローチャートである。図５の説明の途中で、適宜図６及び図７を参照する。説明の便宜のため、いま、ユーザＵ１０１が認識モデル３４の精度に不満を抱いているとする。ユーザＵ１０１は、“要求ユーザ”である。
【0032】
ステップＳ３０１において、情報処理装置１のラベル要求部２３は、ラベル要求画面５１（図６）を表示する。具体的には、ラベル要求部２３は、ユーザＵ１０１の端末装置５に対する操作に応じて、ユーザＵ１０１の端末装置５にラベル要求画面５１を表示する。ラベル要求部２３は、例えば以下の方法で、過去に認識精度が低かった単位画像５２ａ～５２ｄを特定したうえで、これらをラベル要求画面５１に表示する。単位画像５２ａ～５２ｄは、“候補単位画像”とも呼ばれる。
【0033】
〈方法１〉ラベル要求部２３は、ユーザＵ１０１が冷蔵庫６に収納した食材８の単位画像のうち過去に認識精度が低かった（認識モデル３４が誤った品目を出力した）単位画像を候補単位画像とする。認識モデル３４を学習した際の学習データのうち、候補単位画像の品目として付されたラベルは、誤っている可能性がある。
〈方法２〉ラベル要求部２３は、ユーザＵ１０１が初めて冷蔵庫６に収納した食材８の単位画像を候補単位画像とする。認識モデル３４は、このような候補単位画像に対して、そもそも正しい品目を出力できない。
〈方法２〉ラベル要求部２３は、ユーザＵ１０１が初めて冷蔵庫６に収納した食材８の単位画像を候補単位画像とする。認識モデル３４は、このような候補単位画像に対して、そもそも正しい品目を出力できない。
【0034】
ステップＳ３０２において、ラベル要求部２３は、ラベル要求を受け付ける。具体的には、ラベル要求部２３は、ユーザＵ１０１が要求ボタン５３ａ～５３ｄを押下することによって、候補単位画像５２ａ～５２ｄのうちから、１又は複数の“対象単位画像”を選択するのを受け付ける。説明の便宜上、ユーザＵ１０１は、要求ボタン５３ａを押下したとする。ラベル要求部２３は、過去の大勢の認識結果に基づき、対象単位画像５２ａが示している品目は、“りんご”であると判断する。しかしながら、ラベル要求部２３は、ユーザＵ１０１が認識精度を上げたいと考えている品目（対象品目）をユーザＵ１０１が文字列で入力するのを受け付けてもよい。なぜなら、ユーザは、外見が“りんご”に類似する“梨”の認識精度を上げたいと考えているかもしれないからである。説明の便宜上、ユーザＵ１０１は、文字列“りんご”を入力したとする。対象品目は“りんご”であることが確認された。
【0035】
ステップＳ３０３において、ラベル要求部２３は、協力ユーザを特定する。具体的には、ラベル要求部２３は、“りんご”を検索キーとしてユーザ情報３２（図３）の関心品目欄１１５を検索し、該当したレコードのユーザＩＤを取得する。この例では、ユーザＵ００１が、“協力ユーザ”となる。
【0036】
ステップＳ３０４において、ラベル要求部２３は、ラベル設定画面６１（図７）を表示する。具体的には、ラベル要求部２３は、ユーザＵ００１の端末装置５にラベル設定画面６１を表示する。ラベル要求部２３は、ラベル設定画面６１の単位画像欄６２に、対象品目“りんご”が写っていると思われる単位画像６４ａ～６４ｄを可能な限り多数表示する。ここで表示される単位画像の最大の母集団は、すべてのユーザ４の冷蔵庫６において撮像された“りんご”の単位画像である。
【0037】
ステップＳ３０５において、ラベル要求部２３は、ラベルを受け付ける。具体的には、第１に、ラベル要求部２３は、ラベル設定画面６１の分類欄６３に、複数のクラスタ６５ａ～６５ｄを表示する。クラスタ６５ａ～６５ｄのそれぞれは、ラベル入力窓６６ａ～６６ｄを有する。ラベル要求部２３は、ユーザＵ００１がラベル入力窓６６ａ～６６ｄのそれぞれにラベルとなる文字列（りんご、青森りんご、長野リンゴ、●●、・・・）を入力するのを受け付ける。次いで、ラベル要求部２３は、単位画像６４ａ～６４ｄのそれぞれをクラスタ６５ａ～６５ｄのいずれかにコピー（ドラッグ＋ペースト）するのを受け付ける。さらに、ラベル要求部２３は、コピー後の任意の単位画像に対して、文字列等のメタ情報６７を付すのを受け付けてもよい。なお、“ラベル情報”は、ラベル及びメタ情報を含む概念である。
【0038】
第２に、ラベル要求部２３は、単位画像及びラベルの組み合わせを、学習データ３３として記憶する。ラベル要求部２３は、例えば、単位画像６４ａ及びラベル“リンゴ”６６ａの組合せを学習データ３３として補助記憶装置１５に格納する。ラベル要求部２３は、例えば、単位画像６４ｄ、ラベル“青森リンゴ”６６ｂ及びメタ情報“今年豊作、特に甘い。”６７の組合せを学習データ３３として補助記憶装置１５に格納する。その後、ラベル要求処理手順を終了する。
【0039】
物体認識部２１は、このようにして蓄積された学習データ３３を使用して、認識モデル３４を学習する。そして、物体認識部２１は、学習済の認識モデル３４を使用して、単位画像に含まれる物体の品目を認識する。さらに、物体認識部２１は、要求ユーザごとに認識モデル３４を学習してもよい。つまり、物体認識部２１は、要求ユーザを特定するユーザＩＤを認識モデル３４に関連付けて記憶しておく。そして、物体認識部２１は、例えばユーザＵ１０３からのラベル要求に対してラベル付けされた学習データで、ユーザＵ１０３に関連付けられている認識モデル３４を学習する。
【0040】
（変形例１）
ステップＳ３０４において、ラベル要求部２３は、単位画像から物体が撮像されている部分を切り出し、切り出した部分を単位画像欄６２に表示してもよい。そして、ラベル要求部２３は、切り出し前の単位画像を切り出し後の単位画像で置き換えてもよい。
ステップＳ３０４において、ラベル要求部２３は、単位画像から物体が撮像されている部分を切り出し、切り出した部分を単位画像欄６２に表示してもよい。そして、ラベル要求部２３は、切り出し前の単位画像を切り出し後の単位画像で置き換えてもよい。
【0041】
（変形例２）
ラベル要求部２３は、属性情報（図３の欄１１２）を使用して、協力ユーザを複数の群に分類してもよい。ここでの分類の例としては、以下が想定される。
・住所が近接するユーザ同士で群を作る。
・年齢、職業又は家族構成が類似するユーザ同士で群を作る。
・関心語が類似するユーザ同士で群を作る。
ラベル要求部２３は、属性情報（図３の欄１１２）を使用して、協力ユーザを複数の群に分類してもよい。ここでの分類の例としては、以下が想定される。
・住所が近接するユーザ同士で群を作る。
・年齢、職業又は家族構成が類似するユーザ同士で群を作る。
・関心語が類似するユーザ同士で群を作る。
【0042】
そして、ラベル要求部２３は、複数の群のそれぞれに属するユーザに対し異なる品目の単位画像にラベルを付すことを要求してもよい（例えば、群Ａには、りんご、群Ｂには、牛肉、群Ｃには、納豆、・・・）。さらに、ラベル要求部２３は、複数の群のそれぞれに属するユーザに対し同じ品目の単位画像にラベルを付すことを要求してもよい（例えば、群Ａ、群Ｂ及び群Ｃにりんご）。
【0043】
（変形例３）
ステップＳ３０４において、ラベル要求部２３は、ある１人の協力ユーザに対し複数の品目の単位画像を表示してもよい。このとき、ラベル要求部２３は、関心度が高い順に単位画像を表示する。例えば、関心度が、りんご＞缶ビール＞納豆である場合、ラベル要求部２３は、りんごの単位画像を時間的に最も先に表示しもよいし、画面の最も上に表示してもよい。
ステップＳ３０４において、ラベル要求部２３は、ある１人の協力ユーザに対し複数の品目の単位画像を表示してもよい。このとき、ラベル要求部２３は、関心度が高い順に単位画像を表示する。例えば、関心度が、りんご＞缶ビール＞納豆である場合、ラベル要求部２３は、りんごの単位画像を時間的に最も先に表示しもよいし、画面の最も上に表示してもよい。
【0044】
（変形例４）
ステップＳ３０４において、ラベル要求部２３は、所定の位置に収納されることが多い品目（例えば、冷凍室に収納されるアイスクリーム）についてのみ、単位画像にラベルを付すことを要求してもよい。所定の位置は、関心領域であってもよい。
ステップＳ３０４において、ラベル要求部２３は、所定の位置に収納されることが多い品目（例えば、冷凍室に収納されるアイスクリーム）についてのみ、単位画像にラベルを付すことを要求してもよい。所定の位置は、関心領域であってもよい。
【0045】
（変形例５）
ステップＳ３０４において、ラベル要求部２３は、例えば、品目が“りんご”である単位画像に加えて、品目が“梨”である単位画像を単位画像欄６２に表示してもよい。このとき、ラベル要求部２３は、これらの単位画像が“りんご”に見えるかそれとも“梨”に見えるかに関わらず、これらは特徴空間内の距離が近いと判断している。特徴空間とは、単位画像の特徴ベクトル又はその単位画像に写り込んでいる品目を示す文字列の特徴ベクトルの各要素を軸に有する多次元空間である。
ステップＳ３０４において、ラベル要求部２３は、例えば、品目が“りんご”である単位画像に加えて、品目が“梨”である単位画像を単位画像欄６２に表示してもよい。このとき、ラベル要求部２３は、これらの単位画像が“りんご”に見えるかそれとも“梨”に見えるかに関わらず、これらは特徴空間内の距離が近いと判断している。特徴空間とは、単位画像の特徴ベクトル又はその単位画像に写り込んでいる品目を示す文字列の特徴ベクトルの各要素を軸に有する多次元空間である。
【0046】
（本実施形態の効果）
本実施形態の情報処理装置の効果は、以下の通りである。
（１）情報処理装置は、物体に対する関心度が高いユーザがその食材の画像にラベルを付すことを可能にする。
（２）情報処理装置は、ラベルが付された画像を学習データとして使用してモデルを学習することができる。
（３）情報処理装置は、画像から物体が撮像されている部分だけを切り出してユーザに表示することができる。
（４）情報処理装置は、ユーザが、ユーザの属性に応じて同じ又は異なる物体の画像にラベルを付すことを可能にする。
本実施形態の情報処理装置の効果は、以下の通りである。
（１）情報処理装置は、物体に対する関心度が高いユーザがその食材の画像にラベルを付すことを可能にする。
（２）情報処理装置は、ラベルが付された画像を学習データとして使用してモデルを学習することができる。
（３）情報処理装置は、画像から物体が撮像されている部分だけを切り出してユーザに表示することができる。
（４）情報処理装置は、ユーザが、ユーザの属性に応じて同じ又は異なる物体の画像にラベルを付すことを可能にする。
【0047】
（５）情報処理装置は、ユーザが物体を取り扱った位置等に基づき関心度を算出することができる。
（６）情報処理装置は、関心度の高い順に物体の画像をユーザに表示することができる。
（７）情報処理装置は、ユーザが、所定の位置に収納される物体の画像にラベルを付すことを可能にする。
（８）情報処理装置は、ユーザが、よく似た特徴を有する物体の画像にまとめてラベルを付すことを可能にする。
（９）情報処理装置は、ユーザごとにモデルを学習することができる。
（６）情報処理装置は、関心度の高い順に物体の画像をユーザに表示することができる。
（７）情報処理装置は、ユーザが、所定の位置に収納される物体の画像にラベルを付すことを可能にする。
（８）情報処理装置は、ユーザが、よく似た特徴を有する物体の画像にまとめてラベルを付すことを可能にする。
（９）情報処理装置は、ユーザごとにモデルを学習することができる。
【0048】
なお、本発明は、前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0049】
また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0050】
１ 情報処理装置
２ キッチン
３ ネットワーク
４ ユーザ
５ 端末装置
６ 冷蔵庫（収納庫）
７ カメラ
８ 食材（物体）
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置
１５ 補助記憶装置
１６ 通信装置
２１ 物体認識部
２２ 関心度算出部
２３ ラベル要求部
３１ 収納庫使用情報
３２ ユーザ情報
３３ 学習データ（教師付き学習データ）
３４ 認識モデル
５１ ラベル要求画面
６１ ラベル設定画面
２ キッチン
３ ネットワーク
４ ユーザ
５ 端末装置
６ 冷蔵庫（収納庫）
７ カメラ
８ 食材（物体）
１１ 中央制御装置
１２ 入力装置
１３ 出力装置
１４ 主記憶装置
１５ 補助記憶装置
１６ 通信装置
２１ 物体認識部
２２ 関心度算出部
２３ ラベル要求部
３１ 収納庫使用情報
３２ ユーザ情報
３３ 学習データ（教師付き学習データ）
３４ 認識モデル
５１ ラベル要求画面
６１ ラベル設定画面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】