特開 2024-157387 画像選定装置、画像選定方法及び収納庫システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024157387

(43)【公開日】2024-11-07

(54)【発明の名称】画像選定装置、画像選定方法及び収納庫システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241030BHJP

【ＦＩ】

G06T7/00 350B

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2023071723

(22)【出願日】2023-04-25

(71)【出願人】

【識別番号】399048917

【氏名又は名称】日立グローバルライフソリューションズ株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】林 大介

(72)【発明者】

【氏名】樋口 晴彦

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096CA02

5L096DA02

5L096FA59

5L096FA77

5L096GA51

5L096KA04

(57)【要約】

【課題】認識結果の精度を向上するために、学習データを効率的に選定する。
【解決手段】
本発明の画像選定装置は、品目を撮影した画像の認識精度を出力する認識推論処理部と、複数の画像から認識精度が所定の基準を満たす程度に低い低精度品目を選定し、前記低精度品目を含む画像のうち、前記低精度品目の認識精度が所定の基準を満たす程度に低い低精度画像を選定する画像選定部と、を備えること、を特徴とする。
【選択図】図７

【特許請求の範囲】

【請求項1】

品目を撮影した画像の認識精度を出力する認識推論処理部と、
複数の画像から認識精度が所定の基準を満たす程度に低い低精度品目を選定し、前記低精度品目を含む画像のうち、前記低精度品目の認識精度が所定の基準を満たす程度に低い低精度画像を選定する画像選定部と、
を備えること、
を特徴とする画像選定装置。

【請求項2】

前記選定した低精度画像を、モデルを学習するための学習データセットに追加するデータセット更新部を備えること、
を特徴とする請求項１に記載の画像選定装置。

【請求項3】

前記学習データセットを使用して、前記モデルを学習するモデル学習部を備えること、
を特徴とする請求項２に記載の画像選定装置。

【請求項4】

前記画像選定部は、
前記モデルが前記品目を認識した結果が、所定の認識精度を満たすまで、前記低精度画像を選定する処理を繰り返すこと、
を特徴する請求項２に記載の画像選定装置。

【請求項5】

前記画像選定部は、
学習が行われた前記モデルが前記品目を認識した結果が、所定の認識精度を満たした場合、前記選別した低精度画像を任意の装置に表示すること、
を特徴とする請求項４に記載の画像選定装置。

【請求項6】

前記画像の質を示す検知対象情報を取得する検知対象情報処理部と、
前記検知対象情報に基づき、追加学習重要度を出力する重要度指標出力部と、
を備えること、
を特徴とする請求項１に記載の画像選定装置。

【請求項7】

前記検知対象情報処理部は、
前記画像の検知枠のうち過剰なものを、前記検知対象情報の１つである重複割合情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項8】

前記検知対象情報処理部は、
合体している検知枠又は暗部にある検知枠を、前記検知対象情報の1つである色彩情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項9】

前記検知対象情報処理部は、
品目の一部のみが写っている検知枠を、前記検知対象情報の１つである面積情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項10】

前記検知対象情報処理部は、
事前に学習していない特徴量である品目の検知枠を、前記検知対象情報の１つである特徴量距離情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項11】

前記検知対象情報処理部は、
ブレ画像の検知枠を、前記検知対象情報の１つである精細度情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項12】

前記検知対象情報処理部は、
収納庫本体が写っている検知枠を、前記検知対象情報の１つである本体情報として検出すること、
を特徴とする請求項６に記載の画像選定装置。

【請求項13】

前記画像選定部は、
前記選定した低精度画像に含まれる低精度品目情報を取得し、
前記画像選定装置は、
前記低精度品目情報に基づき追加学習重要度を出力する重要度指標出力部を備えること、
を特徴とする請求項１に記載の画像選定装置。

【請求項14】

画像選定装置の認識推論処理部は、
品目を撮影した画像の認識精度を出力し、
前記画像選定装置の画像選定部は、
複数の画像から認識精度が所定の基準を満たす程度に低い低精度品目を選定し、前記低精度品目を含む画像のうち、前記低精度品目の認識精度が所定の基準を満たす程度に低い低精度画像を選定すること、
を特徴とする画像選定方法。

【請求項15】

品目を撮影した画像の認識精度を出力する認識推論処理部と、
複数の画像から認識精度が所定の基準を満たす程度に低い低精度品目を選定し、前記低精度品目を含む画像のうち、前記低精度品目の認識精度が所定の基準を満たす程度に低い低品質画像を選定する画像選定部と、
を備える画像選定装置と、
前記品目に係る物品を収納する収納庫と、
を備えること、
を特徴とする収納庫システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像選定装置、画像選定方法及び収納庫システムに関する。

【背景技術】

【0002】

近時、内部にどのような食材が保管されているかを自動的に推論する冷蔵庫が普及し始めている。
特許文献１においては、同じ冷蔵庫を使用する複数のユーザのそれぞれが、食材ごとに特徴量情報を記憶した端末装置を操作し、ある端末装置が食材の種類を認識できない場合、他の端末装置に食材の種類の認識を依頼する。このことによって、ある端末装置ではある食材の種類を認識できない場合も、他の端末装置は、当該食材の種類を認識できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６６３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、食材の種類を推論するには、食材を撮影した多量の画像を学習データとして使用し、画像を入力とし食材の種類を出力とするモデルを機械学習しなければならない。認識の精度は、学習データの数と質に大きく左右される。認識結果の向上に真に資する学習データを選定することが重要である。
しかしながら、特許文献１は、認識結果の精度を向上するために、学習データを選定することについては言及していない。

【課題を解決するための手段】

【0005】

本発明の画像選定装置は、品目を撮影した画像の認識精度を出力する認識推論処理部と、複数の画像から認識精度が所定の基準を満たす程度に低い低精度品目を選定し、前記低精度品目を含む画像のうち、前記低精度品目の認識精度が所定の基準を満たす程度に低い低精度画像を選定する画像選定部と、を備えること、を特徴とする。

【図面の簡単な説明】

【0006】

【図1】冷蔵庫及び画像選定装置の構成等を説明する図である。

【図2】平均認識精度リストの例である。

【図3】画像選定部の処理の全体像を示す図である。

【図4】低精度画像自動選定処理を説明する図である。

【図5】低精度品目数及び追加学習重要度の関係を示す図である。

【図6】検知対象情報処理部の詳細を説明する図である。

【図7】画像選定処理手順のフローチャートである。

【図8】図７に低精度品目情報の取得及び追加学習重要度の出力を追加したフローチャートである。

【図9】図８に検知対象情報の取得を追加したフローチャートである。

【図10】携帯端末の構成等を説明する図である。

【発明を実施するための形態】

【0007】

以下、本発明を実施するための形態（実施形態という）を説明する。
（モデルの精度と学習データの質）
あるモデルは、食材が撮影された画像を入力とし、その食材の種類（卵、豆腐、牛乳、納豆、・・・）を出力とする。このモデルは、例えば、入力層、複数の中間層及び出力層を有するニューラルネットワークである。各層のノードには、次の層のどのノードにどれだけの情報を伝えるかという伝搬パラメータが設定される。この伝播パラメータが無作為的な初期値である場合、モデルが真の食材の種類を出力する可能性は低い。

【0008】

そこで、学習データを使用して、モデルの伝播パラメータを機械学習（最適化）することが一般的に行われる。ここでの学習データは、１以上の食材が写り込んだ膨大な数の画像の集合であり、その１つ１つに人間の目で検証した“ラベル”（正解）が付された“教師付き学習データ”である。

【0009】

以降では、図面に基づいて、本実施形態を説明する。本実施形態は、冷蔵庫内に保管された食材の種類を認識する例である。しかしながら、本発明は、より一般的に、常温保管庫、温蔵庫、冷蔵庫等を含む収納庫に適用可能である。本実施形態の食材は、より広義の物品の代表例である。食材は、素材でもよいし、調理済の食品又は調味料でもよい。

【0010】

本実施形態は、カメラが食材の画像を撮影する例を説明する。但し、重量センサ、マイコトキシン（カビ）検出センサ、ＩＣタグ読み取り機、文字読み取り機等が、カメラに代替して又は追加して使用されてもよい。

【0011】

本実施形態では、認識推論処理部が、貯蔵領域における食材の存在、ユーザが消費した食材の使用状況等を認識する。本実施形態では、認識推論処理部は、画像データ処理部を介して取得したカメラ画像を使用して認識を行うが、スマートフォン等の携帯端末及び貯蔵庫自身に対するユーザからの入力に応じて、認識推論処理部が認識を行う構成としてもよい。本実施形態は、実施例１及び実施例２を有する。

【0012】

〈実施例１〉
図１は、冷蔵庫及び画像選定装置の構成を説明する図である。冷蔵庫１００は、ネットワーク１１７を介して、携帯端末１１５及び計算機１１６と接続されている。

【0013】

冷蔵庫１００は、画像選定装置１０１及び冷蔵庫本体１１８を備える。冷蔵庫１００は、収納庫の一例である。外部記憶装置としての携帯端末１１５は、冷蔵庫１００のユーザが使用する、タブレット、スマートフォン、パーソナルコンピュータ等の情報処理装置である。また、本実施形態の主な処理を、画像選定装置１０１及び携帯端末１１５が分担して実行してもよい。計算機１１６は、画像選定装置１０１に対して各種の情報、機械学習モデル等を配信する。

【0014】

図１は、冷蔵庫１００が画像選定装置１０１を含む構成を示している。しかしながら、画像選定装置１０１が冷蔵庫１００から独立した構成であってもよい。この場合、冷蔵庫（収納庫）１００及び画像選定装置１０１は、収納庫システムを構成する。

【0015】

冷蔵庫１００には、庫内を撮影するカメラ（図示せず）が取り付けられている。カメラの位置は、庫内でもよいし、庫外でもよい。カメラの台数は、１以上の任意の数である。より一般的には、カメラは、必ずしも冷蔵庫１００に取り付けられている必要はなく、例えば、携帯端末１１５に組み込まれていてもよい。

【0016】

冷蔵庫１００を制御する画像選定装置１０１は、例えば、プロセッサ１１３、記憶装置１０２、ネットワーク１１７に接続された通信部１１４及び入出力インタフェース１１２を備える。記憶装置１０２は、揮発性又は不揮発性のメモリから構成される主記憶装置、及び、フラッシュメモリ又はハードディスクドライブ等から構成される補助記憶装置である。

【0017】

画像選定装置１０１は、記憶装置１０２に記憶されたコンピュータプログラム及びデータの一部又は全部を、ネットワーク１１７を介して、外部に送信することもできる。逆に、画像選定装置１０１は、外部の計算機１１６等からネットワーク１１７を介して、コンピュータプログラム及びデータを受信したうえで、記憶装置１０２に記憶することもできる。

【0018】

画像選定装置１０１は、自身に接続されたフラッシュメモリ又はハードディスクドライブ等の記憶媒体１１１との間で、コンピュータプログラム及びデータの一部又は全部を送信・受信することもできる。

【0019】

記憶装置１０２は、画像データ処理部１０３、認識推論処理部１０４、画像選定部１０５、重要度指標出力部１０６、検知対象情報処理部１０７、データセット更新部１０８、モデル学習部１０９及び庫内制御部１１０を記憶している。これらは、所定の機能を実現するコンピュータプログラムである。

【0020】

プロセッサ１１３が、これらの各コンピュータプログラムを実行することにより、各機能が実現される。このため、これら各部を各コンピュータプログラムと読み替えることが可能であり、後記する各部の処理及び機能を、プロセッサ１１３が各コンピュータプログラムと協働して実現する。但し、これら各部は、専用ハードウェア、ＦＰＧＡ（Field Programmable Gate Array）等で実現されてもよい。さらに、これらコンピュータプログラムは、図示した数未満の数で構成されてもよい。この場合、各部はコンピュータモジュールとして構成され得る。

【0021】

以上のように、プロセッサ１１３は、コンピュータプログラムに従って処理を実行することにより、所定の機能を提供する機能部として稼働する。例えば、プロセッサ１１３は、画像データ処理プログラムに従って処理を実行することで画像データ処理部１０３として機能する。他のコンピュータプログラムについても同様である。さらに、プロセッサ１１３は、各コンピュータプログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。なお、本実施形態では、１つのプロセッサ１１３がコンピュータプログラムを実行しているが、複数のプロセッサが実行してもよい。

【0022】

画像データ処理部１０３は、入出力インタフェース１１２を介して冷蔵庫本体１１８から画像を取得し、取得した画像を記憶装置１０２に格納する。また、画像データ処理部１０３は、魚眼又は広角のレンズで撮影した画像を取得した場合、それらを平面画像（標準的な画像の歪のない画像）に変換してもよい。魚眼又は広角のレンズで撮影した画像を平面画像に変換する技術は公知である。また、教師付き学習データは、手動でのアノテーション作業（データにタグ又はメタデータと呼ばれる情報を付けて行く処理）の他に、機械学習によって自動的にアノテーションを出力することで作成されてもよい。

【0023】

認識推論処理部１０４は、貯蔵領域を撮影した画像から貯蔵領域内の食材を認識する。このとき、認識推論処理部１０４は、例えば、予め深層学習等の機械学習が行われたモデルに画像を入力し、そのモデルに食材の種類を出力させる。モデルに入力される画像のそれぞれには、卵、納豆、牛乳、豆腐、・・・のように、複数の食材が同時に写り込んでいる。そこで、モデルは、認識結果として、卵、納豆、牛乳、豆腐、・・・のような複数の文字列（品目）を出力する。図１の説明の途中であるが、説明は一旦図２に移る。

【0024】

図２は、平均認識精度リスト２０１の例である。認識推論処理部１０４は、モデルが処理した教師付き学習データが含む複数の画像に写り込んでいる品目ごとの認識精度の平均値（平均認識精度）を、図２のようにリスト化する。つまり、認識推論処理部１０４は、画像及び品目（ラベル）の組み合わせの集合である教師付き学習データを構成する複数の画像をモデルに入力する。すると、モデルは、品目を出力する。出力された品目は、当該画像に付された品目（ラベル）と同じであるとは限らない。そこで、品目ごとの平均認識精度が定義される。平均認識精度リスト２０１は、品目ごとの平均認識精度をリスト化している。品目とは、食材を含む物品の種類を示す普通名詞（卵、豆腐、牛乳、納豆、・・・）である。

【0025】

平均認識精度の指標は、例えばＦ値（＝適合率と再現率の調和平均又は加重平均）である。適合率は、食材Ａであると認識した画像のうち、実際に食材Ａである割合である。再現率は、実際に食材Ａである画像のうち、正しく食材Ａと認識できた割合である。誤検知を減らしたい場合は適合率を重視し、未検知を減らしたい場合は再現率を重視する。なお、認識精度として、Ｆ値の代わりに、適合率、再現率、正解率、特異度、不確実性、ＡＵＣ（Area Under the Curve）等が用いられてもよい。説明は、図１に戻る。

【0026】

本実施形態の認識推論処理部１０４は、画像を使用して冷蔵庫１００内の食材を認識するが、これに限定されない。画像以外の情報を使用する場合、画像データ処理部１０３は、省略され得る。そして、これの代わりに、認識推論処理部１０４による認識に使用するための構成が別途設けられる。例えば、重量センサが使用される場合、重量と食材とを対応付けるための処理を行う機能部が設けられる。

【0027】

認識推論処理部１０４は、食材のパッケージの変更及び追加等に応じて、モデルを最新のものに更新することができる。認識推論処理部１０４は、例えば、図示しないサーバから受信したモデルを、自身が使用するモデルとして更新してもよい。

【0028】

一般に、“認識”とは、物品の種類を出力することである。“学習”とは、モデルが認識を行う場合において、モデルを最適化することである。“推論”とは、学習済のモデルが物品の種類を自動的に出力することである。本実施形態は、モデルを使用する例であるので、“認識”と“推論”には、本質的な違いはない。そして、認識推論処理部１０４は、学習済のモデルが認識（＝推論）を行うという意味で、このように命名されている。

【0029】

画像選定部１０５は、平均認識精度が低い品目の平均認識精度を向上させるのに好適な低精度画像を自動選定する。図１の説明の途中であるが、説明は一旦図３に移る。

【0030】

図３は、画像選定部１０５の処理の全体像を示す図である。画像選定部１０５の処理は、低精度品目自動選定処理３０６及び低精度画像自動選定処理３０７の２ステップ（２本の矢印に相当）からなる。円３０１は、複数画像を示しており、円３０２は、画像選定部１０５が複数画像から平均認識精度が低い品目（低精度品目）を選定した結果である。円３０３は、画像選定部１０５が低精度品目を含む画像のうち、より低精度な画像（低精度画像）を選定した結果である。これにより、画像選定部１０５は、低精度品目を多く含む低精度画像を選定することができる。

【0031】

すなわち、画像選定部１０５は、低精度品目の認識精度向上に好適な画像を選定することにより、低精度品目の認識精度向上を実現することができる。円３０１、３０２及び３０３の大きさは、画像数の規模を示しており、円が大きいほど画像数が多い。また、破線の長方形３０４は高精度品目を示し、実線の長方形３０５は低精度品目を示している。

【0032】

低精度品目自動選定処理３０６において、画像選定部１０５は、複数画像から平均認識精度が低い低精度品目（平均認識精度＜β）を選定する。“β”は、閾値である。図２の平均認識精度リスト２０１の例において、例えば、β＝８０%であったとする。この場合、画像選定部１０５は、平均認識精度＜８０%である牛乳及び納豆を低精度品目に自動選定する（符号２０２）。
次に、低精度画像自動選定処理３０７において、画像選定部１０５は、低精度品目を含む画像のうち、その品目が写り込んでいる部分の画像が低精度である画像（認識精度＜β）を選定する。説明は、さらに図４に移る。

【0033】

図４は、低精度画像自動選定処理を説明する図である。図４において、“卵込画像”とは、その画像に写り込んでいる複数の品目（正解ラベル）のうちに卵が含まれる画像である。同様に、“豆腐込画像”とは、その画像に写り込んでいる複数の品目のうちに豆腐が含まれる画像である。その他の食材についても同様である。したがって、ある卵込画像が、同時に豆腐込画像である場合もある。

【0034】

卵込画像４０１は、複数個（ここでは４個）の□４０２を含む。□４０２は、個々の卵込画像を示す。□４０２に付された百分率は、その画像に写り込んでいる卵の認識精度である。他の品目についても同様である。仮に、複数の卵込画像に同じ個体としての卵が写り込んでいても、その位置、画像の明るさ、他の食材との干渉等の状態は、変化する。よって、卵の認識精度は、卵込画像ごとに異なる。また、例えば、正解が卵であるのに対して、ペットボトルと誤検知してしまうと、卵の認識精度（Ｆ値等）の低下を招いてしまうため、卵の認識精度は、他の品目の状態によっても変化する。他の品目についても同様である。

【0035】

点線４０３には、牛乳込画像及び納豆込画像が含まれる。牛乳及び納豆は、平均認識精度が低い品目（低精度品目）である（図２参照）。破線４０４内の“□６５％”は、その牛乳込画像のうち牛乳の認識精度が６５％であることを示す。破線４０５内の“□７５％”、“□６２％”及び“□５８％”は、３個の納豆込画像の納豆の認識精度がそれぞれ、７５％、６２％及び５８％であることを示す。破線４０４内の牛乳込画像が、牛乳の平均認識精度を下げている可能性が高い。破線４０５内の納豆込画像が、納豆の平均認識精度を下げている可能性が高い。

【0036】

画像選定部１０５は、平均認識精度リスト２０１（図２）から、低精度品目として牛乳及び納豆を選定している。図４において、画像選定部１０５は、牛乳込画像のうち、牛乳の認識精度＜８０％である破線４０４内の画像を低精度画像として選定する。同様に、画像選定部１０５は、納豆込画像のうち、納豆の認識精度＜８０％である破線４０５内の画像を低精度画像として選定する。

【0037】

平均認識精度は、品目に対して定義される。これに対し、図４において“〇の認識精度”と記載され、□に紐付けられている百分率は、画像に写り込んでいる特定の品目に対して定義される“認識精度”である。平均認識精度に適用される閾値βは、認識精度に適用される閾値βと同じであってもよいし、異なっていてもよい。なお、平均認識精度及び認識精度を算出（出力）する主体は、認識推論処理部１０４である。低精度品目及び低精度画像を選定する主体は、画像選定部１０５である。また、画像選定部１０５は、低精度品目を含む画像のうち、その品目が写り込んでいる部分のみの画像を切り出して、切り出した画像を低精度画像として選定してもよい。説明は、図１に戻る。

【0038】

画像選定部１０５は、自身が選定した低精度画像のそれぞれについて、低精度品目情報を出力する。重要度指標出力部１０６は、低精度品目情報に基づき、画像ごとの追加学習重要度を出力する。低精度品目情報とは、例えば、ある画像に写り込んでいる低精度品目の数（低精度品目数）である。低精度品目数が多いほど、その画像の追加学習重要度は高くなる。図１の説明の途中であるが、説明は、一旦図５に移る。

【0039】

図５は、低精度品目数及び追加学習重要度の関係を説明する図である。図５において、選定された低精度画像５０１に含まれる（写り込んでいる）品目は、卵、豆腐、牛乳及び納豆の４つである。このうち、認識精度＜８０％である品目は、納豆のみである。このとき、選定された低精度画像５０１の低精度品目数は、“１”となる。選定された低精度画像５０２に含まれる品目も、卵、豆腐、牛乳及び納豆の４つである。このうち、認識精度＜８０％である品目は、牛乳及び納豆の２つである。このとき、選定された低精度画像５０２の低精度品目数は、“２”となる。

【0040】

これより、追加学習重要度が高い“選定された低精度画像”５０２が、追加学習のための教師付き学習データとして優先的に使用される。また、追加学習重要度は、低精度品目数に応じて算出される場合に限定されず、認識精度の高低等に応じて算出されてもよい。例えば、低精度画像が２つ選定され、その一方の納豆の認識精度が５８％であり、他方の納豆の認識精度が７８％であるとする。この場合、前者の追加学習重要度が高くなってもよい。また、選定された低精度画像５０２に偶々写り込んでいる“豆腐”の認識精度は、８０％未満である。しかしながら、豆腐は、低精度品目ではないので、ここでは低精度品目数にカウントされない。もちろん、豆腐もまた、低精度品目数にカウントされてもよい。説明は、図１に戻る。

【0041】

結局、画像選定部１０５は、再学習の対象となる画像を、認識精度が低い品目が写り込んでいるものに絞り込み、さらに、そのうちその品目が写り込んでいる部分の認識精度が実際に低いものに絞り込む。重要度指標出力部１０６は、絞り込まれた画像のうち、いわば“一石二鳥”を狙える画像の追加学習重要度を高くする。

【0042】

検知対象情報処理部１０７は、認識推論処理部１０４が出力した検知枠に基づき検知対象情報（詳細後記）を出力する。この場合、重要度指標出力部１０６は、検知対象情報及び低精度品目情報に基づき追加学習重要度を出力する。図１の説明の途中であるが、説明は、一旦図６に移る。

【0043】

図６は、検知対象情報処理部１０７の詳細を説明する図である。検知対象情報処理部１０７は、過剰検知モジュール６０１、色彩検知モジュール６０２、低画質検知モジュール６０３、人体検知モジュール６０４、局所検知モジュール６０５、本体検知モジュール６０６及び未学習検知モジュール６０７を有する。

【0044】

過剰検知モジュール６０１は、同一の食材が過剰に（重複して）検出された場合、その検知枠を、重複割合情報として検出する。
色彩検知モジュール６０２は、周囲の色彩が食材と類似しているため、周囲及び食材が合体してしまっている検知枠又は暗部に写っている検知枠を、色彩情報として検出する。
低画質検知モジュール６０３は、検知枠内の解像度を出力し、透明棚を通して写っている検知枠及びブレ画像の検知枠を、精細度情報として検出する。

【0045】

人体検知モジュール６０４は、人体を検出し、人の手等の検知枠を、環境情報として検出する。
局所検知モジュール６０５は、食材の面積が小さく、かつ、食材が周囲と重複しているため食材一部のみが写っている検知枠を、面積情報として検出する。
本体検知モジュール６０６は、冷蔵庫本体１１８の仕切り板等を検出し、検知枠内に仕切り板等の収納庫本体が写っている検知枠を、本体情報として検出する。
未学習検知モジュール６０７は、特徴量の距離情報に基づき、事前に学習していない特徴量の検知枠を、特徴量距離情報として検出する。

【0046】

重複割合情報、色彩情報、精細度情報、環境情報、面積情報、本体情報及び特徴距離情報は、まとめて検知対象情報と総称される。検知対象情報は、画像の質を示す情報であり、質的な不具合に起因してその画像（検知枠）の品目が正しく認識されない恐れがある、という情報である。検知対象情報処理部１０７は、検知対象情報に該当する画像の追加学習重要度を高く設定することで、優先的に追加学習に低精度画像が適用されやすくする。検知対象情報を出力するモジュールとして、前記７つのモジュールのすべてが使用される必要はなく、少なくとも１つが使用されればよい。また、検知対象情報を出力するモジュールは、前記７つのみに限定されず、他のモジュールを適宜追加・削除・置換してもよい。説明は、図１に戻る。

【0047】

データセット更新部１０８は、画像選定部１０５又は重要度指標出力部１０６が選定した低精度画像を教師付き学習データセットに追加する。教師付き学習データセットとは、食材を認識するモデルを機械学習するための教師付き学習データとなり得る画像の最大の母集合である。なお、データセット更新部１０８は、画像選定部１０５等が選定した低精度画像に対して回転、シフト、水平反転等のデータ拡張により低精度画像のデータ量を増加させたうえで、教師付き学習データセットに追加してもよい。

【0048】

モデル学習部１０９は、例えば、深層学習等により教師付き学習データセットを使用して、庫内の食材を認識するモデルを機械学習する。モデル学習部１０９は、学習モデルの汎化性能の向上及び過学習の抑制のために、交差検証によって学習回数を増やしてもよい。また、モデル学習部１０９は、学習済モデルに対してさらにファインチューニング（微調整）や移転学習を行い、教師付き学習データセットの未使用部分等を使用してモデルを再度学習することで、汎化性能の向上を図ってもよい。モデル学習部１０９は、必要に応じ、誤ったラベルを正しいラベルに更新してもよい。

【0049】

例えば、トマトのように光沢のあるりんごの画像にラベル“トマト”が付されている場合、モデル学習部１０９は、そのラベルを“りんご”で更新する。いちごのような形状を有するプチトマトの画像にラベル“プチトマト”が付されている場合、厳しい例ではあるが、ラベルを更新せず、学習回数を増やす。

【0050】

庫内制御部１１０は、図示しないモータ及びコンプレッサを制御して、冷蔵庫１００の庫内の温度及び湿度を制御する。

【0051】

図７は、画像選定処理手順のフローチャートである。
ステップＳ２０１において、画像データ処理部１０３は、既存の教師付き学習データから、カメラで撮影した画像を取得し、必要に応じて魚眼画像を平面画像に変換する。

【0052】

ステップＳ２０２において、認識推論処理部１０４は、複数画像に基づき、すべての品目ごとの平均認識精度を算出する。認識推論処理部１０４は、平均認識精度として、例えば、“重み付け後の適合率＝重み付け後の再現率”となるようなＦ値を算出する。つまり、認識推論処理部１０４は、必ずしも“適合率＝再現率”となるようなＦ値を算出する必要はなく、“適合率≧再現率”となるＦ値、又は、“適合率≦再現率”となるＦ値を算出してもよい。適合率、再現率、Ｆ値が、正解率、特異度、不確実性、ＡＵＣ等に代替されてもよい。なお、“所定の認識精度”は、適合率、再現率、Ｆ値、正解率、特異度、不確実性及びＡＵＣを含む概念である。

【0053】

ステップＳ２０３において、画像選定部１０５は、すべての品目ごとの平均認識精度がβ以上であるか否かを判定し、繰り返しモデルを機械学習するべきか否かを判定する。画像選定部１０５は、すべての品目ごとの平均認識精度がβ以上でない場合（ステップＳ２０３“Ｎо”）、Ｓ２０４に進む。画像選定部１０５は、すべての品目ごとの平均認識精度がβ以上である場合（ステップＳ２０３“Ｙｅｓ”）、直前の繰り返し処理において選定した低精度画像を任意の装置（例えば、携帯端末１１５、入出力インタフェース１１２等）に表示（出力）した後、画像選定処理を終了する。
また、画像選定部１０５は、繰り返しモデルを機械学習するべきか否かを判定する指標として、すべての品目ごとの平均認識精度がβ以上であるか否かに加えて、低精度品目数＝０、又は、低精度画像選定数＝０であるか否かを使用して、前記指標のいずれにも該当しない場合、ステップＳ２０４に進んでもよい。

【0054】

ステップＳ２０４において、画像選定部１０５は、複数画像から、低精度品目（平均認識精度＜β）を選定する。
ステップＳ２０５において、画像選定部１０５は、低精度品目を含む画像のうち、低精度画像（認識精度＜β）を選定する。このとき、認識推論処理部１０４は、認識精度を算出する。
ステップＳ２０６において、データセット更新部１０８は、ステップＳ２０５において選定された低精度画像を学習データセットに追加する。データセット更新部１０８は、この段階で前記したデータ拡張を実行してもよい。

【0055】

ステップＳ２０７において、モデル学習部１０９は、ステップＳ２０６において追加された学習データセットを使用して、食材を認識するモデルを機械学習する。この段階で使用される学習データセットは、メーカ、ユーザ及び／又は機械学習によって“教師データ”が付与されたものである。モデル学習部１０９は、この段階で、前記したファインチューニングや移転学習を実行してもよい。ステップＳ２０７の処理の後、ステップＳ２０２に戻る。

【0056】

ステップＳ２０２～Ｓ２０７の繰り返し処理において、すべての品目ごとの平均認識精度に適用される閾値βは、“所定の認識精度”に相当する。したがって、画像選定部１０５は、機械学習が行われたモデルが物品を認識した結果が、所定の認識精度を満たすまで、教師付き学習データを前記画像から選定する処理を繰り返すことになる。このことに伴い、モデル学習部１０９は、すべての品目ごとの平均認識精度が一定以上になるまで繰り返しモデルを機械学習することにより、低精度品目に対しても高精度で認識可能なモデルを構築できる。

【0057】

以上のように、本実施形態は、追加学習ごとに複数画像から平均認識精度が低い低精度な品目を選定し、低精度品目を含む画像のうち、より低精度な画像を選定することで、低精度品目の認識精度向上に好適な画像を選定できる。

【0058】

図８は、図７に低精度品目情報の取得及び追加学習重要度の出力を追加したフローチャートである。図８では、図７との相違を中心に説明する。図７の特徴的な処理は、選定された低精度画像中の低精度品目情報に基づき追加学習重要度を出力することである。

【0059】

図８のステップＳ２０１～Ｓ２０５、Ｓ２０６及びＳ２０７は、図７で述べたステップＳ２０１～Ｓ２０５、Ｓ２０６及びＳ２０７と同様であるため、ここでは説明を省略する。図８では、ステップＳ３０１～Ｓ３０３が新たに追加されている。

【0060】

ステップＳ３０１において、画像選定部１０５は、ステップＳ２０５で選定された低精度画像に含まれる低精度品目の個数等の低精度品目情報を取得する。
ステップＳ３０２において、重要度指標出力部１０６は、低精度品目情報に基づき、追加学習重要度を任意の装置に出力する。

【0061】

ステップＳ３０３において、画像選定部１０５は、追加学習重要度に応じて学習データセットに追加するべき低精度画像を選定する。つまり、画像選定部１０５は、追加学習重要度が高い画像ほど優先的に学習データセットに追加されやすくする。
以上のように、本実施形態は、低精度品目情報に基づき出力した追加学習重要度が高い低精度画像ほど、低精度品目の認識精度を向上するのに好適であるとし、優先的に学習データセットに追加されやすくする。

【0062】

図９は、図８に検知対象情報の取得を追加したフローチャートである。図９では、実施図８との相違を中心に説明する。図９の特徴的な処理は、選定された低精度画像中の低精度品目情報及び検知対象情報に基づき追加学習重要度を出力することである。

【0063】

図９のステップＳ２０１～Ｓ２０５、Ｓ２０６及びＳ２０７は、図７で述べたステップＳ２０１～Ｓ２０５、Ｓ２０６及びＳ２０７と同様であり、かつ、図９のステップＳ３０１及びＳ３０３は、図８で述べたステップＳ３０１及びＳ３０３と同様であるため、説明を省略する。

【0064】

ステップＳ４０１において、検知対象情報処理部１０７は、重複割合情報、色彩情報、精細度情報等の検知対象情報を取得する。
ステップＳ４０２において、重要度指標出力部１０６は、低精度品目情報及び検知対象情報に基づき、追加学習重要度を任意の装置に出力する。重要度指標出力部１０６は、例えば“追加学習重要度＝低精度品目数×該当する検知対象情報の数”という計算式で追加学習重要度を算出する。

【0065】

以上のように、本実施形態は、重複割合情報、色彩情報、精細度情報等の検知対象情報に該当する画像であるほど低精度画像とし、低精度品目情報及び検知対象情報に基づき出力した追加学習重要度を用いることで、低精度品目及び／又は低精度画像の認識精度を向上するのに好適な画像を選定できる。

【0066】

〈実施例２〉
実施例１においては、冷蔵庫１００の一部である画像選定装置１０１が画像選定処理を実行している。しかしながら、冷蔵庫１００から独立した別筐体の構成が、画像選定処理を実行してもよい。以下では、携帯端末１１５が画像選定処理を実行する変形例を説明する。

【0067】

図１０は、携帯端末１１５の構成等を説明する図である。携帯端末１１５は、プロセッサ９０２、記憶装置９０４、タッチパネル９０１及び通信部９０３を備える。携帯端末１１５は、スマートフォン等のコンピュータである。

【0068】

プロセッサ９０２及び記憶装置９０４は、図１に示すプロセッサ１１３及び記憶装置１０２と同様の機能を備える。タッチパネル９０１は、入出力部として機能する。通信部９０３は、ネットワーク１１７と接続される。この接続は、無線、有線を問わない。

【0069】

記憶装置９０４は、実施例２の処理を実行する画像選定プログラム９１２を記憶している。画像選定プログラム９１２は、画像データ処理モジュール９０５、認識推論処理モジュール９０６、画像選定モジュール９０７、重要度指標出力モジュール９０８、検知対象情報処理モジュール９０９、データセット更新モジュール９１０、モデル学習モジュール９１１及び庫内制御モジュール９１３で構成される。これらのモジュールのうちの複数の一部がまとまって、より大きなモジュールを構成してもよい。

【0070】

例えば、図１０の画像データ処理モジュール９０５は、図１の画像データ処理部１０３と同様の機能を有する。他のモジュールについても同様である。但し、庫内制御モジュール９１３は、さらに庫内食材等の使用状況を管理することが望ましい。例えば、庫内制御モジュール９１３は、ユーザからの入力情報及び食材のコードから読み取られた情報を取得し、認識推論処理モジュール９０６が該当の食材を認識する。
画像選定プログラム９１２は、ネットワーク１１７を介して、携帯端末１１５に配信されることが望ましい。このため、ネットワーク１１７は、インターネットで実現されることになる。

【0071】

以上のように、実施例１及び２によれば、追加学習ごとに複数の画像から平均認識精度が低い低精度品目を選定し、低精度品目を含む画像のうち、より精度が低い低精度画像を選定することで、低精度品目の認識精度を向上するのに好適な画像を選定することができる。また、低精度品目情報に基づき出力した追加学習重要度が高い画像ほど、低精度品目の認識精度を向上するのに好適であるとし、優先的に学習データセットに追加されやすくなる。このことで、低精度品目の認識精度を向上するのに好適な画像を選定することができる。重複割合情報、色彩情報、精細度情報等の検知対象情報に該当する画像ほど低精度画像とし、低精度品目情報及び検知対象情報に基づき出力した追加学習重要度を使用することで、低精度品目及び／又は低精度画像の認識精度を向上するのに好適な画像を選定することができる。さらに、実施例１及び２によれば、処理対象の画像を限定することにより、画像選定装置の処理負担（負荷）を減らすことができる。

【0072】

なお、本発明（画像選定装置又は貯蔵庫）は、前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0073】

また、前記の各構成、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムで解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線及び情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線及び情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。画像選定装置の各種情報は、クラウド上に存在していてもよい。

【符号の説明】

【0074】

１００ 冷蔵庫
１０１ 画像選定装置
１０２ 記憶装置
１０３ 画像データ処理部
１０４ 認識推論処理部
１０５ 画像選定部
１０６ 重要度指標出力部
１０７ 検知対象情報処理部
１０８ データセット更新部
１０９ モデル学習部
１１０ 庫内制御部
１１１ 記憶媒体
１１２ 入出力インタフェース
１１３ プロセッサ
１１４ 通信部
１１５ 携帯端末
１１６ 計算機
１１７ ネットワーク
９０１ タッチパネル
９０２ プロセッサ
９０３ 通信部
９０４ 記憶装置
９０５ 画像データ処理モジュール
９０６ 認識推論処理モジュール
９０７ 画像選定モジュール
９０８ 重要度指標出力モジュール
９０９ 検知対象情報処理モジュール
９１０ データセット更新モジュール
９１１ モデル学習モジュール
９１２ 画像選定プログラム
９１３ 庫内制御モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】