特開 2024-73155 学習データ選別装置、貯蔵庫及び学習データ選別方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024073155

(43)【公開日】2024-05-29

(54)【発明の名称】学習データ選別装置、貯蔵庫及び学習データ選別方法

(51)【国際特許分類】

   G06V 10/72 20220101AFI20240522BHJP

【ＦＩ】

G06V10/72

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022184222

(22)【出願日】2022-11-17

(71)【出願人】

【識別番号】399048917

【氏名又は名称】日立グローバルライフソリューションズ株式会社

(74)【代理人】

【識別番号】110001807

【氏名又は名称】弁理士法人磯野国際特許商標事務所

(72)【発明者】

【氏名】林 大介

(72)【発明者】

【氏名】樋口 晴彦

(72)【発明者】

【氏名】稲田 圭介

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096DA01

5L096HA11

5L096KA04

(57)【要約】

【課題】指標に基づき、効果的な学習データとなる画像を低負荷で選別する。
【解決手段】本発明の学習データ選別装置は、物品を貯蔵する貯蔵領域を撮像した画像に含まれる前記物品の認識難易度に影響する前記貯蔵領域の環境情報、前記画像の分解能に関する精細度情報、及び／又は、前記物品を認識するモデルの出力に基づく推論情報を、前記画像のメタ情報として前記画像に付与する情報付与部と、前記メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別する画像選別部を備えること、を特徴とする。
【選択図】図３

【特許請求の範囲】

【請求項1】

物品を貯蔵する貯蔵領域を撮像した画像に含まれる前記物品の認識難易度に影響する前記貯蔵領域の環境情報、前記画像の分解能に関する精細度情報、及び／又は、前記物品を認識するモデルの出力に基づく推論情報を、前記画像のメタ情報として前記画像に付与する情報付与部と、
前記メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別する画像選別部を備えること、
を特徴とする学習データ選別装置。

【請求項2】

前記選別した画像を、前記モデルを機械学習するための学習データセットに追加するデータセット更新部を備えること、
を特徴とする請求項１に記載の学習データ選別装置。

【請求項3】

前記画像選別部は、
前記画像が不良である程度を示す指標に応じて、前記画像を選別すること、
を特徴とする請求項１に記載の学習データ選別装置。

【請求項4】

前記画像選別部は、
学習頻度の希少性を示す指標に応じて、前記画像を選別すること、
を特徴とする請求項１に記載の学習データ選別装置。

【請求項5】

前記画像選別部は、
前記物品が既知の物品として認識されない程度を示す指標に応じて、前記画像を選別すること、
を特徴とする請求項１に記載の学習データ選別装置。

【請求項6】

前記学習データセットを使用して、前記モデルを機械学習するモデル学習部を備えること、
を特徴とする請求項２に記載の学習データ選別装置。

【請求項7】

前記画像選別部は、
前記モデルが前記物品を認識した結果が、所定の精度を満たすまで、前記画像を選別する処理を繰り返すこと、
を特徴とする請求項２に記載の学習データ選別装置。

【請求項8】

前記画像選別部は、
機械学習が行われた前記モデルが前記物品を認識した結果が、所定の精度を満たした場合、前記選別した画像を任意の装置に表示すること、
を特徴とする請求項７に記載の学習データ選別装置。

【請求項9】

物品を貯蔵する貯蔵領域を撮像した画像に含まれる前記物品の認識難易度に影響する前記貯蔵領域の環境情報、前記画像の分解能に関する精細度情報、及び／又は、前記物品を認識するモデルの出力に基づく推論情報を、前記画像のメタ情報として前記画像に付与する情報付与部と、
前記メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別する画像選別部を備えること、
を特徴とする貯蔵庫。

【請求項10】

学習データ選別装置の情報付与部は、
物品を貯蔵する貯蔵領域を撮像した画像に含まれる前記物品の認識難易度に影響する前記貯蔵領域の環境情報、前記画像の分解能に関する精細度情報、及び／又は、前記物品を認識するモデルの出力に基づく推論情報を、前記画像のメタ情報として前記画像に付与し、
前記学習データ選別装置の画像選別部は、
前記メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別すること、
を特徴とする学習データ選別方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習データ選別装置、貯蔵庫及び学習データ選別方法に関する。

【背景技術】

【0002】

近時、内部にどのような食材が保管されているかを自動的に推論する冷蔵庫が普及している。
特許文献１においては、同じ冷蔵庫を使用する複数のユーザのそれぞれが、食材ごとに特徴量情報を記憶した端末装置を操作し、ある端末装置が食材の種類を認識できない場合、他の端末装置に食材の種類の認識を依頼する。このことによって、ある端末装置ではある食材の種類を認識できない場合も、他の端末装置は、当該食材の種類を認識できる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－１９６６３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、食材の種類を推論するには、食材を撮像した多量の画像を学習データとして使用し、画像を入力とし食材の種類を出力とするモデルを機械学習しなければならない。推論結果の精度は、学習データの数と質に大きく左右される。推論結果の向上に真に資する学習データを、低負荷で選別することが重要である。

【0005】

しかしながら、特許文献１は、推論結果の精度を向上するために、学習データを膨大な候補のうちから選別することについては言及していない。

【課題を解決するための手段】

【0006】

本発明の学習データ選別装置は、物品を貯蔵する貯蔵領域を撮像した画像に含まれる前記物品の認識難易度に影響する前記貯蔵領域の環境情報、前記画像の分解能に関する精細度情報、及び／又は、前記物品を認識するモデルの出力に基づく推論情報を、前記画像のメタ情報として前記画像に付与する情報付与部と、前記メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別する画像選別部を備えること、を特徴とする。
その他の手段については、発明を実施するための形態の中で説明する。

【図面の簡単な説明】

【0007】

【図1】冷蔵庫及び学習データ選別装置の構成等を説明する図である。

【図2】学習データ選別処理手順のフローチャートである。

【図3】図２のＳ２０５の詳細を説明する図である。

【図4】図３のＳ３０３の詳細を説明する図である。

【図5】携帯端末の構成等を説明する図である。

【発明を実施するための形態】

【0008】

以下、本発明の学習データ選別装置、貯蔵庫及び学習データ選別方法（学習データ選別プログラム）の実施形態を説明する。

【0009】

（モデルの精度と学習データの質）
あるモデルは、食材が撮像された画像を入力とし、その食材の種類（鶏卵、牛乳、タマネギ、・・・）を出力とする。このモデルは、例えば、入力層、複数の中間層及び出力層を有するニューラルネットワークである。各層のノードには、次の層のどのノードにどれだけの情報を伝えるかという伝播パラメータが設定される。この伝播パラメータが無作為的な初期値である場合、モデルが真の食材の種類を出力する可能性は低い。

【0010】

そこで、学習データを使用して、モデルの伝播パラメータを機械学習（最適化）することが一般的に行われる。ここでの学習データは、１以上の食材が写り込んだ膨大な数の画像の集合であり、その１つ１つに人間の目で検証した“正解ラベル”が付された“教師付き”学習データである。

【0011】

実際の学習データの質は、様々である。スタジオで撮像した見本のように、充分な照度で食材が正面から他の食材との重なりもなく撮像されている画像もある。しかしながら、他の食材と重なっている、照度が不足している、人が写り込んでいる、歪んでいる、複数の別時点の画像が誤って合成されている等の“不良画像”も多く存在する。

【0012】

不良画像を学習データから除くことも、モデルの精度を向上させるための一法である。しかしながら、実際に発生しがちな不良画像に対して正しく“正解ラベル”を付したうえで、この不良画像を学習データに加えると、モデルの精度が向上することもある。本発明は、このような効果を奏する“不良画像”を選別するためのものである。

【0013】

以降では、図面に基づいて、本実施形態（実施例１及び実施例２）を説明する。本実施形態は、冷蔵庫内に保管された食材の種類を認識（推論）する例である。しかしながら、本発明は、冷蔵庫以外にも貯蔵庫としての温蔵庫、冷蔵庫等にも適用可能であり、より一般的には、物品を貯蔵するための貯蔵領域に対して適用可能である。本実施形態において、食材は、より広義の物品の代表例である。食材とは、素材でもよいし、調理済の食品又は調味料でもよい。

【0014】

本実施形態は、カメラが食材の画像を撮像する例を説明する。但し、重量センサ、マイコトキシン（カビ）検出センサ、ＩＣタグ読取機、文字読取機等が、カメラに代替して又は追加して使用されてもよい。

【0015】

本実施形態では、認識推論処理部が、貯蔵領域における食材の存在、ユーザが消費した食材の利用状況等を認識する。本実施形態では、認識推論処理部は、画像データ処理部を介して取得したカメラ画像を使用して認識を行うが、スマートフォン等の携帯端末及び貯蔵庫自身に対するユーザからの入力に応じて、認識推論処理部が認識を行う構成としてもよい。

【0016】

〈実施例１〉
（冷蔵庫及び学習データ選別装置）
図１は、冷蔵庫及び学習データ選別装置の構成等を説明する図である。冷蔵庫１００は、ネットワーク１１６を介して、携帯端末１１３及び計算機１１５と接続されている。

【0017】

冷蔵庫１００は、学習データ選別装置１０１及び冷蔵庫本体１１８を備える。外部装置としての携帯端末１１３は、冷蔵庫１００のユーザが使用する、タブレット、スマートフォン、パーソナルコンピュータ等の情報処理装置である。また、本実施形態の主な処理を、学習データ選別装置１０１が実行してもよいし、携帯端末１１３が実行してもよいし、学習データ選別装置１０１及び携帯端末１１３が分担して実行してもよい。計算機１１５は、学習データ選別装置１０１に対して各種の情報、機械学習モデル等を配信する。

【0018】

冷蔵庫１００には、庫内を撮像するカメラ（図示せず）が取り付けられている。カメラの位置は、庫内でもよいし、庫外でもよい。カメラの台数は、１以上の任意の数である。より一般的には、カメラは、必ずしも冷蔵庫１００に取り付けられている必要はなく、例えば、携帯端末１１３に組み込まれていてもよい。

【0019】

冷蔵庫１００を制御する学習データ選別装置１０１は、例えば、プロセッサ１１１、記憶装置１０２、ネットワーク１１６に接続された通信部１１２、入出力インタフェース１１０を備える。記憶装置１０２は、揮発性又は不揮発性のメモリから構成される主記憶装置、及び、フラッシュメモリ又はハードディスクドライブ等から構成される補助記憶装置である。

【0020】

学習データ選別装置１０１は、記憶装置１０２に記憶されたコンピュータプログラム及びデータの一部又は全部を、ネットワーク１１６を介して外部に送信することもできる。逆に、学習データ選別装置１０１は、外部の計算機１１５等からネットワーク１１６を介して、コンピュータプログラム及びデータを受信したうえで、記憶装置１０２に記憶することもできる。

【0021】

学習データ選別装置１０１は、自身に接続されたフラッシュメモリ又はハードディスクドライブ等の記憶媒体１０９との間で、コンピュータプログラム及びデータの一部又は全部を送信・受信することもできる。

【0022】

記憶装置１０２は、冷蔵庫情報処理部１０３、画像データ処理部１０４、認識推論処理部１０５、画像選別部１０６、データセット更新部１０７、モデル学習部１０８及び庫内制御部１１９を記憶している。これらは、所定の機能を実現するコンピュータプログラムである。記憶装置１０２（記憶部）は、メタ情報（詳細後記）が付与された画像を複数記憶している。

【0023】

プロセッサ１１１が、これらの各コンピュータプログラムを実行することにより、各機能が実現される。このため、これら各部を各コンピュータプログラムと読み替えることが可能であり、後記する各部の処理及び機能を、プロセッサ１１１が各コンピュータプログラムと協働して実現する。但し、これら各部は、専用ハードウエア、ＦＰＧＡ（Field Programmable Gate Array）等で実現されてもよい。さらに、これらコンピュータプログラムは、図示した数未満の数で構成されてもよい。この場合、各部はコンピュータモジュールとして構成され得る。

【0024】

以上のように、プロセッサ１１１は、コンピュータプログラムに従って処理を実行することにより、所定の機能を提供する機能部として稼働する。例えば、プロセッサ１１１は、冷蔵庫情報処理プログラムに従って処理を実行することで冷蔵庫情報処理部１０３として機能する（例えば学習データ選別方法を実行する）。他のコンピュータプログラムについても同様である。さらに、プロセッサ１１１は、各コンピュータプログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。なお、本実施形態では、１つのプロセッサ１１１がコンピュータプログラムを実行しているが、複数のプロセッサが実行してもよい。

【0025】

冷蔵庫情報処理部１０３は、冷蔵庫情報を取得する。冷蔵庫情報とは、主に、環境情報及び精細度情報である。
環境情報は、食材の認識難易度に影響する貯蔵領域の環境に関する情報であって、より具体的には、冷蔵庫のセンサから取得したドア開角度、冷蔵庫の型式から得られる内部の壁面色、冷蔵庫内外の明暗度、撮像時刻、庫内密度等の情報である。
精細度情報は、画像の画質、分解能、フォーマット（ｊｐｇ、ｐｎｇ、・・・）等に関する情報である。

【0026】

画像データ処理部１０４は、入出力インタフェース１１０を介して冷蔵庫本体１１８から画像を取得し、取得した画像を記憶装置１０２に格納する。また、画像データ処理部１０４は、魚眼又は広角のレンズで撮像された画像を取得した場合、それらを平面画像（標準的な画角の歪のない画像）に変換してもよい。魚眼又は広角のレンズで撮像された画像を平面画像に変換する技術は公知である。

【0027】

認識推論処理部１０５は、貯蔵領域を撮像した画像から貯蔵領域内の食材を認識する。このとき、認識推論処理部１０５は、例えば、予め深層学習等の機械学習が行われたモデルに画像を入力し、そのモデルに食材の種類を出力させる。また、認識推論処理部１０５は、推論情報（直ちに後記）を作成する。さらに、認識推論処理部１０５は、画像に対して、環境情報、精細度情報及び／又は推論情報を関連付ける。因みに、環境情報、精細度情報及び推論情報は、いずれもメタ情報である。メタ情報とは、あるデータや情報そのものではなく、そのデータや情報を表す属性や関連する情報を記述したデータや情報のことである。即ち、認識推論処理部１０５は、画像に対して、環境情報、精細度情報及び／又は推論情報を、画像のメタ情報として付与する“情報付与部”である。

【0028】

推論情報は、モデルの出力そのもの、及び、認識推論処理部１０５がモデルの出力に基づき演算した結果であり、例えば、以下を含む。
・画像に含まれる食材の種類をモデルが推論した結果
・モデルが推論した食材の種類の正誤
・適合率：食材Ａであると予測したデータのうち、実際に食材Ａである割合
・再現率：実際に食材Ａであるもののうち、正しく食材Ａと予測できた割合
・Ｆ値：適合率と再現率との調和平均又は加重平均
・不確実性：モデル内外で発生する確率的な要因による予測の分散
・検知枠：画像のサイズ、形状、縦横比等

【0029】

より具体的には、認識推論処理部１０５は、これらの推論情報のうち、適合率、再現率、Ｆ値及び不確実性を、同じ一群の学習データによって学習されたモデルの推論対象となった一群の画像に対して関連付ける。認識推論処理部１０５は、その他の推論情報を、推論対象となった個々の画像に対して関連付ける。

【0030】

誤検知を減らしたい場合、適合率が重視される。未検知を減らしたい場合、再現率が重視される。なお、本実施形態は、画像１枚ごとに１つの推論を行うことを想定しているが、複数画像に対してまとめて１つの推論を行ってもよい。

【0031】

本実施形態の認識推論処理部１０５は、画像を用いて冷蔵庫１００の食材を認識するが、前記のようにこれに限定されない。画像以外の情報を使用する場合、画像データ処理部１０４は省略され得る。そして、これの代わりに、認識推論処理部１０５による認識に使用するための構成が別途設けられる。例えば、重量センサが使用される場合、重量と食材とを対応付けるための処理を行う機能部が設けられる。

【0032】

一般に、“認識”とは、物品の種類を出力することである。“学習”とは、モデルが認識を行う場合において、モデルを最適化することである。“推論”とは、学習済のモデルが物品の種類を自動的に出力することである。本実施形態は、モデルを使用する例であるので、“認識”と“識別”には、本質的な違いはない。そして、認識推論処理部１０５は、学習済のモデルが認識を行うという意味で、このように命名されている。

【0033】

画像選別部１０６は、環境情報、精細度情報及び又は推論情報に応じて、画像を選別する。つまり、画像選別部１０６は、メタ情報が付与された画像が複数記憶されている記憶部の画像を、前記メタ情報に応じて選別する。選別された画像は、モデルを機械学習するための学習データとなる。
データセット更新部１０７は、画像選別部１０６が選別した画像を、学習データセットに追加更新する。学習データセットとは、食材を認識するモデルを機械学習するための学習データとなり得る画像の最大の母集合である。なお、データセット更新部１０７は、画像選別部１０６が選別した画像に対して回転、シフト、水平反転等のデータ拡張等により画像データを増量して、学習データセットに追加更新してもよい。

【0034】

モデル学習部１０８は、例えば深層学習法等により学習データセットを使用して、庫内の食材を認識するモデルを機械学習する。モデル学習部１０８は、学習モデルの汎化性能の向上及び過学習の抑制のために、交差検証によって学習回数を増やしてもよい。モデル学習部１０８は、学習済モデルに対してさらにファインチューニング（微調整）を行い、学習データセットの未使用部分を使用してモデルを再度学習することで、汎化性能の向上を図ってもよい。

【0035】

庫内制御部１１９は、図示しないモータ及びコンプレッサを制御して、冷蔵庫１００の庫内の温度及び湿度を制御する。

【0036】

（学習データ選別処理手順）
図２は、学習データ選別処理手順のフローチャートである。
ステップＳ２０１において、冷蔵庫情報処理部１０３は、冷蔵庫のセンサ等から環境情報、及び／又は、精細度情報を取得する。

【0037】

ステップＳ２０２において、画像データ処理部１０４は、カメラで撮像された画像を取得し、必要に応じて魚眼画像を平面画像に変換する。

【0038】

ステップＳ２０３において、認識推論処理部１０５は、“重み付け後の適合率＝重み付け後の再現率”となるようなＦ値を算出する。つまり、認識推論処理部１０５は、必ずしも“適合率＝再現率”となるようなＦ値を算出する必要はなく、“適合率≧再現率”となるＦ値、又は、“適合率≦再現率”となるＦ値を算出してもよい。適合率、再現率、Ｆ値が、正解率、特異度、不確実性、ＡＵＣ（Area Under the Curve）等に代替されてもよい。なお、“所定の精度”は、適合率、再現率、Ｆ値、正解率、特異度、不確実性及びＡＵＣを含む概念である。

【0039】

さらに、認識推論処理部１０５は、ステップＳ２０１において取得した環境情報、精細度情報、及び／又は、自身が演算した推論情報を、ステップＳ２０２において取得した画像に関連付ける。

【0040】

ステップＳ２０４において、認識推論処理部１０５は、Ｆ値が閾値ｃ以下であるか否かを判定し、Ｆ値が閾値ｃ以下（不良画像）である場合（ステップＳ２０４“ｙｅｓ”）、Ｓ２０５に進み、Ｆ値が閾値ｃより大きい場合（ステップＳ２０４“ｎｏ”）、学習データ選別処理を終了する。閾値ｃは、画像が不良画像であるか否かを判定するためのものであり、効果的な画像の選別を低負荷で行うことに貢献する。認識推論処理部１０５は、食材の種類（品目）の認識において、特定の種類の認識精度が低い場合、当該認識精度が低い種類を含む画像を優先的に選別してもよい。

【0041】

ステップＳ２０３及びＳ２０４（破線箇所）は、図３にて後記する認識推論処理Ｓ２０９に該当する。

【0042】

ステップＳ２０５において、画像選別部１０６は、環境情報、精細度情報及び／又は推論情報に応じて、画像を選別する。例えば、画像選別部１０６は、推論情報としての“じゃがいも”及び環境情報としての“壁面が茶色”の組合せに該当する画像を、多くの画像の候補から選別する。画像選別部１０６は、環境情報、精細度情報及び推論情報のうちの少なくとも１つを選別のための指標（選別基準）とすることによって、不良画像を選別しやすくする。なお、ステップＳ２０５の詳細を後記する。

【0043】

ステップＳ２０６において、データセット更新部１０７は、ステップＳ２０５において選別された画像を学習データセットに追加更新する。

【0044】

ステップＳ２０７において、モデル学習部１０８は、ステップＳ２０６において追加更新された学習データセットを使用して、食材を認識するモデルを機械学習する。この段階で使用される学習データセットは、ユーザ及び／又はメーカによって“正解ラベル”が付されたものである。モデル学習部１０８は、この段階で、前記したファインチューニングを実行してもよい。ステップＳ２０７の処理の後、ステップＳ２０３に戻る。

【0045】

ステップＳ２０４“ｙｅｓ”に続いてステップＳ２０５を経由した後、学習データ選別処理が終了する前に、画像選別部１０６は、ステップＳ２０５において選別された画像（不良画像）の一部又は全部を、学習データ選別装置１０１の出力装置（図示せず）を含む任意の装置に表示してもよい。

【0046】

ステップＳ２０３～Ｓ２０７の繰り返し処理において、Ｆ値は、“所定の精度”に相当する。したがって、画像選別部１０６は、機械学習が行われたモデルが物品を認識した結果が、所定の精度を満たすまで、学習データを前記画像から選別する処理を繰り返すことになる。このことに伴い、モデル学習部１０８は、画像の認識精度が一定以上になるまで繰り返しモデルを機械学習することにより、不良画像に対しても高精度で認識可能なモデルを構築することができる。

【0047】

認識推論処理部１０５は、食材のパッケージの変更及び追加等に応じて、モデルを最新のものに更新できる。認識推論処理部１０５は、例えば、図示しないサーバから受信したモデルを、自身が使用するモデルとして更新してもよい。

【0048】

以上のように、本実施形態は、環境情報、精細度情報及び／又は推論情報に応じて、不良画像を選別し、選別された画像を学習データセットに追加更新することによって、以前は認識できなかったパターンの画像に対しても認識精度を向上させることができる。つまり、本実施形態は、学習に効果的なデータの選別に使用できる新たな指標を提供し、これを使って効果的なデータの選別を低負荷で行うことが可能となる。

【0049】

（Ｓ２０５の詳細）
図３は、図２のＳ２０５の詳細を説明する図である。画像選別部１０６は、環境情報、精細度情報及び／又は推論情報に応じて画像を選別する処理を、例えば、状態変化検出処理Ｓ３０１、組合せ生成処理Ｓ３０２、未知クラス検出処理Ｓ３０３及び人検知処理Ｓ３０４のうちの少なくとも１つにより実行する。認識推論処理Ｓ２０９は、図２のステップＳ２０３及びＳ２０４に該当し、処理Ｓ３０１～Ｓ３０５は、図２のステップＳ２０５に該当する。

【0050】

認識推論処理Ｓ２０９において、認識推論処理部１０５は、前記したように、環境情報、精細度情報及び／又は推論情報を画像に関連付ける。

【0051】

状態変化検出処理Ｓ３０１において、画像選別部１０６は、環境情報、精細度情報及び／又は推論情報から得られる位置情報等の変化量に基づき、状態変化情報Ｐを算出する。状態変化検出処理Ｓ３０１において選別され得る不良画像は、合成補正の時系列ズレ画像、暗部画像、庫内魚眼カメラ由来の画質低下画像、雑多で不特定の画像、白っぽくなった画像等である。

【0052】

合成補正の時系列ズレ画像は、冷蔵庫の両開き扉において片側の扉のみ開閉した場合、片側の冷蔵室の食材位置のみが最新の状態に更新されることに起因し、冷蔵室の左右で時系列ズレが生じてしまう現象である。合成補正の時系列ズレ画像が発生すると、情報が欠落した食材、又は、仕切り物のような不明瞭な物体が発生し、これらが誤検知又は未検知を引き起こす可能性がある。合成補正の時系列ズレ画像は、扉開閉情報、画像内の画質差等によって選別される。

【0053】

暗部画像は、部屋が暗いときに生じやすい画像であり、認識率の低下を招きやすい画像である。暗部画像は、庫内外明暗度、撮像時刻（深夜の方が部屋が暗くなりやすい）、画像の輝度情報等によって選別される。

【0054】

庫内魚眼カメラ由来の画質低下画像は、例えば、冷蔵室の下段が映っている画像で発生しやすい。魚眼カメラが冷蔵室の上部に付いている場合、冷蔵室下段はカメラから遠い場所であるので、魚眼カメラ画像を平面画像に展開する際の歪み補正が不十分になり、画質低下を招きやすい。庫内魚眼カメラ由来の画質低下画像は、冷蔵庫型式から得られる情報、画像内の画質差等の情報より選別される。

【0055】

雑多で不特定な画像は、食材が過剰に冷蔵庫に収納されているため、食材の種類を認識しにくい画像である。雑多で不特定な画像は、食材密度等より選別される。
白っぽくなった画像は、例えば、カメラが庫内に設けられていることで、多湿によりカメラのレンズが雲り、白っぽくなってしまった画像である。白っぽくなった画像は、扉開閉情報、湿度センサ等の情報より選別される。

【0056】

画像選別部１０６は、状態変化情報Ｐが大きい不良画像を選別することができる。なお、状態変化情報Ｐは、“画像が不良である程度を示す指標”に相当する。以下に、状態変化情報Ｐの具体例を挙げる。
・Ｐ＝異時点の画像が重複している面積／画像全体の面積
・Ｐ＝画像のうち明度が所定の閾値以下である部分の面積／画像全体の面積

【0057】

組合せ生成処理Ｓ３０２において、画像選別部１０６は、環境情報、精細度情報及び／又は推論情報のうちの個々の事象が同時に発生する程度である希少度Ｒを算出する。画像選別部１０６は、これまで学習に使用したことのない事象の組合せであるほど、希少度を大きくする。組合せ生成処理Ｓ３０２は、誤認識になった組合せ情報に基づき希少度Ｒを算出し、希少度Ｒの高い画像を選別し追加学習に適用することによって、誤認識の類似パターンに対して認識精度を向上できる。組合せ生成処理Ｓ３０２において選別できる不良画像は、合成補正の時系列ズレ画像、庫内魚眼カメラ由来の画質低下画像、雑多で不特定な画像、白っぽくなった画像等である。

【0058】

画像選別部１０６は、Ｒが大きい不良画像を選別することができる。なお、希少度Ｒは、“学習頻度の希少性を示す指標”に相当する。以下に、希少度Ｒの具体例を挙げる。
・Ｒ（ｘ，ｙ）＝頻度の全数／壁面の色がｘであるという事象と、認識結果（食材の種類）がｙであるという事象が同時に発生する頻度

【0059】

例えば、冷蔵庫内部の塗色“茶色”に希少性がある場合、“Ｒ（茶色，じゃがいも）＞Ｒ（白色，じゃがいも）”となる可能性は大きい。

【0060】

未知クラス検出処理Ｓ３０３において、画像選別部１０６は、環境情報、精細度情報及び／又は推論情報に応じて算出した不確実性等から未知クラスを判定し、未知度Ｕを算出する。なお、未知クラス検出処理Ｓ３０３の詳細を後記する。さらに、未知度Ｕの具体例も後記する。

【0061】

人検知処理Ｓ３０４において、画像選別部１０６は、環境情報、精細度情報及び／又は推論情報に応じて人を検知し、人検知情報Ｈを算出する。人は食材ではないので、画像選別部１０６は、人が映っている画像全体を、学習画像選別の対象外とする、又は、画像のうち人の部分を削除する等の処理を行う。

【0062】

画像選別部１０６は、Ｈが大きい不良画像を選別することができる。以下に、人検知情報Ｈの具体例を挙げる。
・Ｈ＝人が写り込んでいる面積／画像全体の面積
・Ｈ＝０又は１（写り込んでいない場合は０、一部でも人が写り込んでいる場合は１）

【0063】

画像選別処理Ｓ３０５において、画像選別部１０６は、状態変化情報Ｐ、希少度Ｒ、未知度Ｕ及び人検知情報Ｈのうちの少なくとも１つ以上の組み合わせを指標（選別基準）として、その指標に該当する画像を選別する。このことによって、ユーザが希望する質を有する不良画像が選別されやすくする。なお、状態変化情報Ｐ、希少度Ｒ、未知度Ｕ、人検知情報Ｈのすべてを組合せることは必須ではない。画像選別部１０６は、これらのうちの少なくとも１つにより画像を選別してもよい。

【0064】

（Ｓ３０３の詳細）
図４は、図３のＳ３０３の処理の詳細を説明する図である。
不確実性算出処理Ｓ４０１において、画像選別部１０６は、推論情報に応じて、画像の不確実性を算出する。不確実性とは、同じ種類の食材の画像に対して、モデルが出力した推論結果の分散である。例えば、“じゃがいも”の画像の入力に対し、モデルが過去において推論した結果が、“じゃがいも”、“さといも”、“さつまいも”、“しょうが”、“鶏卵”、・・・のように多種類あり、その種類の数がｎであったとする。この場合、ｎ自身が不確実性となる。画像選別部１０６は、他の統計的手法で不確実性を算出してもよい。モデルは、未知の食材の画像に対し、その都度バラバラな推論結果を出力する。つまり、不確実性が大きいほど、この種類の食材は、過去に冷蔵庫に保管されたことがない可能性、又は、新種の食材である可能性が高い。

【0065】

未知度判定処理Ｓ４０２において、画像処理部１０６は、環境情報及び／又は精細度情報（冷蔵庫の機種及び扉角度による画像内の位置等）に応じて、Ｓ４０１において算出した不確実性を未知度Ｕに変換する。機種又は扉角度によっては、どの種類の食材の画像が入力されても、モデルが出力する推論結果の不確実性は大きめ（又は小さめ）に算出されることが経験的にわかっている。そこで、画像処理部１０６は、所定の規則に従って、不確実性を補正した結果を未知度Ｕとする。

【0066】

未知度Ｕの他の例として、モデルの伝播パラメータを僅かに変化させた場合の、推論結果の“ゆらぎ”の度合い（モンテカルロドロップアウト）が挙げられる。“じゃがいも”の画像に対して、１００％の確率で“じゃがいも”と推論していたモデルの伝播パラメータを、画像選別部１０６は、僅かに変化させたとする。その結果、モデルが“じゃがいも”と推論する確率が２０％になったとする。このとき、画像選別部１０６は、“Ｕ＝１００－２０＝８０”としてもよい。

【0067】

さらに、画像処理部１０６は、未知度Ｕの値を、予め定義された離散的な未知クラス（ＵＣ＝１、２、３、・・・）のいずれかに当てはめても（判定しても）よい。未知クラスを判定することで、画像処理部１０６は、事前に種類を登録していない新製品等を検出することを可能にし、新たに種類を追加すること等につなげることができる。なお、未知度Ｕは、“物品が既知の物品として認識されない程度を示す指標”に相当する。

【0068】

〈実施例２〉
実施例１においては、冷蔵庫１００の一部である学習データ選別装置１０１が学習データ選別処理を実行している。しかしながら、冷蔵庫１００から独立した別筐体の学習データ選別装置１０１が、学習データ選別処理を実行してもよい。以下では、携帯端末１１３が学習データ選別処理を実行する変形例を説明する。

【0069】

図５は、携帯端末１１３の構成等を説明する図である。携帯端末１１３は、プロセッサ５０２、記憶装置５０４、タッチパネル５０１及び通信部５０３を備える。携帯端末１１３は、スマートフォン等のコンピュータである。

【0070】

プロセッサ５０２及び記憶装置５０４は、図１に示すプロセッサ１１１及び記憶装置１０２と同様の機能を備える。タッチパネル５０１は、入出力部として機能する。通信部５０３は、ネットワーク１１６と接続される。この接続は、無線、優線を問わない。

【0071】

記憶装置５０４は、実施例２の処理を実行する学習画像選別プログラム５１１を記憶している。学習画像選別プログラム５１１は、冷蔵庫情報処理モジュール５０５、画像データ処理モジュール５０６、認識推論処理モジュール５０７、画像選別モジュール５０８、データセット更新モジュール５０９、モデル学習モジュール５１０、及び、庫内制御モジュール５１２で構成される。これらのモジュールのうちの複数の一部がまとまって、より大きなモジュールを構成してもよい。

【0072】

例えば、図５の冷蔵庫情報処理モジュール５０５は、図１の冷蔵庫情報処理部１０３と同様の機能を実行する。他のモジュールについても同様である。但し、庫内制御モジュール５１２は、さらに庫内食材などの使用状況を管理することが望ましい。例えば、庫内制御モジュール５１２は、ユーザからの入力情報及び食材のコードから読み取られた情報を取得し、認識推論処理モジュール５０７が該当の食材を認識する。

【0073】

学習画像選別プログラム５１１は、ネットワーク１１６を介して、携帯端末１１３に配信されることが望ましい。このため、ネットワーク１１６は、インターネットで実現されることになる。

【0074】

以上のように、実施例１及び２によれば、推論情報及び冷蔵庫情報を使用して不良画像を選別し、選別された不良画像を学習データセットに追加更新することで、認識できなかったパターンに対しても認識精度を向上させることができる。つまり、学習に効果的なデータの選別に利用できる新たな指標を提供し、これを使って効果的なデータの選別を低負荷で行うことが可能となる。

【0075】

（本実施形態の効果）
本実施形態の学習データ選別装置の効果は以下の通りである。
（１）学習データ選別装置は、画像に関連付けられた環境情報等に基づき、学習データとなる画像を選別することができる。
（２）学習データ選別装置は、モデルを機械学習するための学習データセットを最新の状態に維持することができる。
（３）学習データ選別装置は、不良な画像を選別することができる。

【0076】

（４）学習データ選別装置は、学習頻度が少ない画像を選別することができる。
（５）学習データ選別装置は、未知の食材の画像を選別することができる。
（６）学習データ選別装置は、モデルを機械学習することができる。
（７）学習データ選別装置は、所定の精度が満たされるまで、画像の選別を繰り返すことができる。
（８）学習データ選別装置は、選別した画像を表示することができる。

【0077】

なお、本発明（学習データ選別装置、貯蔵庫及び学習データ選別方法）は、前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0078】

また、前記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。また、前記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、又は、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。在庫管理装置１の各種情報は、クラウド上に存在していてもよい。

【符号の説明】

【0079】

１００ 冷蔵庫
１０１ 学習データ選別装置
１０２ 記憶装置（記憶部）
１０３ 冷蔵庫情報処理部
１０４ 画像データ処理部
１０５ 認識推論処理部（情報付与部）
１０６ 画像選別部
１０７ データセット更新部
１０８ モデル学習部
１０９ 記憶媒体
１１０ 入出力インタフェース
１１１ プロセッサ
１１２ 通信部
１１３ 携帯端末
１１５ 計算機
１１６ ネットワーク
１１９ 庫内制御部
５０１ タッチパネル
５０２ プロセッサ
５０３ 通信部
５０４ 記憶装置
５０５ 冷蔵庫情報処理モジュール
５０６ 画像データ処理モジュール
５０７ 認識推論処理モジュール
５０８ 画像選別モジュール
５０９ データセット更新モジュール
５１０ モデル学習モジュール
５１１ 学習画像選別プログラム
５１２ 庫内制御モジュール

【図1】

【図2】

【図3】

【図4】

【図5】