特開 2023-122404 教師データ作成システム、及び、教師データ作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023122404

(43)【公開日】2023-09-01

(54)【発明の名称】教師データ作成システム、及び、教師データ作成方法

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20230825BHJP

   G06Q 10/00 20230101ALI20230825BHJP

【ＦＩ】

G06Q10/08 330

G06Q10/00

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022026083

(22)【出願日】2022-02-22

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】古川 弘憲

(72)【発明者】

【氏名】井上 直幸

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA16

5L049AA20

(57)【要約】

【課題】機械学習モデルを構築するために用いられる教師データを作成することができる教師データ作成システムを提供する。
【解決手段】入出庫管理システム１０は、物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成システムとして機能する。入出庫管理システム１０は、ユーザによって物体のラベル情報が入力される入力部５１と、物体が映る動画を撮影する撮影部３１と、撮影された動画が表示される表示部５２と、表示された動画内にガイド枠を表示することで物体をガイド枠内に位置させることの指示をユーザに対して行う制御部３９とを備える。制御部３９は、指示が行われた後に撮影部３１によって撮影された物体が映る静止画に、入力されたラベル情報を紐づけることで教師データを作成し、静止画が撮影されるごとに、ガイド枠の表示態様を変更する。
【選択図】図１

【特許請求の範囲】

【請求項1】

物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成システムであって、
ユーザによって前記物体のラベル情報が入力される入力部と、
前記物体が映る動画を撮影する撮影部と、
撮影された前記動画が表示される表示部と、
表示された前記動画内にガイド枠を表示することで前記物体を前記ガイド枠内に位置させることの指示を前記ユーザに対して行う制御部とを備え、
前記制御部は、
前記指示が行われた後に前記撮影部によって撮影された前記物体が映る静止画に、入力された前記ラベル情報を紐づけることで前記教師データを作成し、
前記静止画が撮影されるごとに、前記ガイド枠の表示態様を変更する
教師データ作成システム。

【請求項2】

前記入力部には、さらに、前記物体の形状情報が入力され、
前記制御部は、入力された形状情報に基づいて前記ガイド枠内に立体形状を表示することで、前記物体の撮影姿勢の指示を前記ユーザに対して行う
請求項１に記載の教師データ作成システム。

【請求項3】

前記制御部は、前記立体形状として、枠線、物品の３Ｄモデル、イラスト、または、写真を表示する
請求項２に記載の教師データ作成システム。

【請求項4】

前記制御部は、前記静止画が撮影されるごとに、前記ガイド枠の表示位置を変更する
請求項１～３のいずれか１項に記載の教師データ作成システム。

【請求項5】

前記制御部は、前記静止画が撮影されるごとに、前記ガイド枠の表示位置と、前記ガイド枠の形状、大きさ、及び、形状のアスペクト比の少なくとも一方とを変更する
請求項４に記載の教師データ作成システム。

【請求項6】

前記入力部には、前記ラベル情報が前記ユーザが発する音声によって入力される
請求項１～５のいずれか１項に記載の教師データ作成システム。

【請求項7】

前記入力部及び前記表示部の少なくとも一方は、情報端末によって備えられ、
前記制御部は、前記情報端末と通信する装置によって備えられる
請求項１～６のいずれか１項に記載の教師データ作成システム。

【請求項8】

物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成方法であって、
前記物体のラベル情報の入力をユーザから受け付ける受付ステップと、
前記物体が映る動画を撮影する撮影ステップと、
撮影された前記動画が表示される表示ステップと、
表示された前記動画内にガイド枠を表示することで前記物体を前記ガイド枠内に位置させることの指示を前記ユーザに対して行う制御ステップと、
前記指示が行われた後に撮影された前記物体が映る静止画に、入力された前記ラベル情報を紐づけることで前記教師データを作成する作成ステップと、
前記静止画が撮影されるごとに、前記ガイド枠の表示態様を変更する変更ステップとを含む
教師データ作成方法。

【請求項9】

請求項８に記載の教師データ作成方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、教師データ作成システム、及び、教師データ作成方法に関する。

【背景技術】

【0002】

従来、物体の認識、及び、識別に関する技術が提案されている。特許文献１には、異種販売商品の認識を効率的に行うことが可能な情報処理装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４－５２８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、機械学習モデルを構築するために用いられる教師データを作成することができる教師データ作成システム等を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様に係る教師データ作成システムは、物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成システムであって、ユーザによって前記物体のラベル情報が入力される入力部と、前記物体が映る動画を撮影する撮影部と、撮影された前記動画が表示される表示部と、表示された前記動画内にガイド枠を表示することで前記物体を前記ガイド枠内に位置させることの指示を前記ユーザに対して行う制御部とを備え、前記制御部は、前記指示が行われた後に前記撮影部によって撮影された前記物体が映る静止画に、入力された前記ラベル情報を紐づけることで前記教師データを作成し、前記静止画が撮影されるごとに、前記ガイド枠の表示態様を変更する。

【発明の効果】

【0006】

本開示の一態様に係る教師データ作成システム等は、機械学習モデルを構築するために用いられる教師データを作成することができる。

【図面の簡単な説明】

【0007】

【図1】図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。

【図2】図２は、実施の形態に係る入出庫管理システムが備える冷蔵庫及び入出庫管理装置の外観図である。

【図3】図３は、実施の形態に係る入出庫管理システムの動作例１のフローチャートである。

【図4】図４は、撮影部によって撮影される動画の一例を示す図である。

【図5】図５は、食品管理情報の一例を示す図である。

【図6】図６は、実施の形態に係る入出庫管理システムの動作例２のシーケンス図である。

【図7】図７は、食品管理情報の内容を示す表示画面の一例を示す図である。

【図8】図８は、実施の形態に係る入出庫管理システムの動作例３のシーケンス図である。

【図9】図９は、ラベル情報及び形状情報の入力画面の一例を示す図である。

【図10A】図１０Ａは、動画及びガイド枠の表示例１を示す図である。

【図10B】図１０Ｂは、動画及びガイド枠の表示例２を示す図である。

【図10C】図１０Ｃは、動画及びガイド枠の表示例３を示す図である。

【図10D】図１０Ｄは、動画及びガイド枠の表示例４を示す図である。

【図10E】図１０Ｅは、動画及びガイド枠の表示例５を示す図である。

【図10F】図１０Ｆは、動画及びガイド枠の表示例６を示す図である。

【発明を実施するための形態】

【0008】

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0009】

なお、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。

【0010】

（実施の形態）
［構成］
まず、実施の形態に係る入出庫管理システムの構成について説明する。図１は、実施の形態に係る入出庫管理システムの機能構成を示すブロック図である。

【0011】

図１に示される入出庫管理システム１０は、冷蔵庫２０内に収納された食品を管理するためのシステムである。入出庫管理システム１０は、冷蔵庫２０と、入出庫管理装置３０と、サーバ装置４０と、情報端末５０とを備える。

【0012】

冷蔵庫２０は、収納庫の一例であり、ユーザの自宅などに設置され、食品を冷蔵する。図２は、冷蔵庫２０（及び入出庫管理装置３０）の外観図である。図２に示されるように、冷蔵庫２０は、本体部２１と、本体部２１内の第一収納室２３へアクセスするためのドア２２と、第一収納室２３に設けられた複数の棚２４と、引き出し２５とを備える。ドア２２が開けられれば、冷蔵庫２０は、複数の棚２４のそれぞれに食品を載置する（つまり、第一収納室２３に食品を収納する）ことができる状態となる。また、ドア２２が開けられれば、冷蔵庫２０は、ドア２２の内側に設けられたドアポケット２２ａに食品を収納することができる状態となる。また、引き出し２５が開けられれば、冷蔵庫２０は、引き出し２５内の第二収納室２６に食品を収納することができる状態となる。図２の例では、冷蔵庫２０は、第一収納室２３を覆うドア２２を２つ備えているが、第一収納室２３を覆うドア２２は１つであってもよい。

【0013】

入出庫管理装置３０は、例えば、冷蔵庫２０の上面に取り付けられ、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。入出庫管理装置３０は、例えば、既存の冷蔵庫２０に後付けされるが、冷蔵庫２０に内蔵されてもよい。つまり、入出庫管理装置３０は、冷蔵庫２０と別体の装置であってもよいし、冷蔵庫２０と一体的に製造された装置であってもよい。図１に示されるように、入出庫管理装置３０は、撮影部３１と、測距部３２と、情報処理部３３と、記憶部３４と、通信部３５と、報知部３６とを備える。

【0014】

撮影部３１は、冷蔵庫２０へ食品が出し入れされるときの様子を示す動画を、冷蔵庫２０の上方から撮影する。つまり、撮影部３１は、例えば、ドア２２が開いた状態の冷蔵庫２０を俯瞰した動画を撮影する。動画には、ドア２２、ドアポケット２２ａ、第一収納室２３、棚２４、引き出し２５、及び、冷蔵庫２０の前方の室内空間の床などが撮影対象として含まれる。撮影部３１は、例えば、魚眼レンズを有するカメラによって実現されるが、通常のレンズを有するカメラによって実現されてもよい。

【0015】

なお、撮影部３１は、冷蔵庫２０へ物体が出し入れされるときの様子を、あらかじめ設定された時間間隔で撮影することで複数の画像（静止画）を生成してもよく、必ずしも動画を撮影する必要はない。また、撮影部３１は、入出庫管理装置３０の筐体に取り付けられているが、入出庫管理装置３０の筐体から離れて冷蔵庫２０に取り付けられてもよい。つまり、撮影部３１は、冷蔵庫２０に後付けされてもよい。この場合、撮影部３１は、冷蔵庫２０に後付け可能な構造として、磁石、吸盤、または、クリップなどを有する。

【0016】

測距部３２は、冷蔵庫２０の上部において、測距部３２からドア２２までの距離を計測する。つまり、測距部３２は、ドア２２の開き具合を計測する。測距部３２は、例えば、赤外線測距センサによって実現される。測距部３２は、測距部３２から右側のドア２２までの距離、及び、測距部３２から左側のドア２２までの距離を個別に計測することができる。

【0017】

なお、後述のように、測距部３２は、ドア２２の開閉を判定するために使用される。入出庫管理装置３０は、測距部３２に代えて、角度センサなどの、ドア２２の開閉を判定するための他のセンサを備えてもよい。また、ドア２２の開閉を判定するためのセンサは、冷蔵庫２０によって備えられてもよく、この場合、入出庫管理装置３０はドア２２の開閉を判定するためのセンサを備えていなくてもよい。

【0018】

情報処理部３３は、冷蔵庫２０内に収納された食品を管理するための情報処理を行う。情報処理部３３は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部３３は、機能的な構成要素として、判定部３７、追尾部３８、及び、制御部３９を有する。判定部３７、追尾部３８、及び、制御部３９の機能は、例えば、情報処理部３３を構成するマイクロコンピュータ等が記憶部３４に記憶されたコンピュータプログラムを実行することにより実現される。判定部３７、追尾部３８、及び、制御部３９の機能の詳細については後述される。

【0019】

記憶部３４は、情報処理部３３が実行するコンピュータプログラム、上記情報処理に必要な各種情報（後述の設定情報、及び、食品管理情報など）が記憶される記憶装置である。記憶部３４には、食品の種別を判定（識別）するための機械学習モデルも記憶される。記憶部３４は、例えば、半導体メモリによって実現される。

【0020】

通信部３５は、入出庫管理装置３０がサーバ装置４０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部３５は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部３５が行う通信の通信規格については特に限定されない。

【0021】

報知部３６は、冷蔵庫２０に出し入れされる食品の種別が判定不可能である場合に報知を行う。報知部３６は、例えば、スピーカまたはブザーなどによって実現され、出音により報知を行うが、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などの発光素子によって実現され、発光により報知を行ってもよい。

【0022】

サーバ装置４０は、冷蔵庫２０が設置された施設外に位置するコンピュータであり、具体的には、クラウドサーバである。サーバ装置４０は、冷蔵庫２０内に収納された食品に関する情報を提示するための情報処理を行う。また、サーバ装置４０は、通知装置の一例であり、冷蔵庫２０内に収納された食品に関する情報を通知するための情報処理を行う。サーバ装置４０は、通信部４１と、情報処理部４２と、記憶部４３とを備える。

【0023】

通信部４１は、サーバ装置４０が入出庫管理装置３０及び情報端末５０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部４１は、例えば、有線通信を行う有線通信回路であるが、無線通信を行う無線通信回路であってもよい。通信部４１が行う通信の通信規格については特に限定されない。

【0024】

情報処理部４２は、冷蔵庫２０内に収納された食品に関する情報を提示または通知するための情報処理を行う。情報処理部４２は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部４２は、機能的な構成要素として、提示部４４及び通知部４５を有する。提示部４４及び通知部４５の機能は、例えば、情報処理部４２を構成するマイクロコンピュータ等が記憶部４３に記憶されたコンピュータプログラムを実行することにより実現される。提示部４４及び通知部４５の機能の詳細については後述される。

【0025】

記憶部４３は、情報処理部４２が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報が記憶される記憶装置である。記憶部４３は、例えば、半導体メモリによって実現される。

【0026】

情報端末５０は、ユーザが所有する情報端末である。情報端末５０は、ユーザがサーバ装置４０から通知を受けるためのユーザインターフェースとして使用される。また、情報端末５０は、食品の種別を識別する機械学習モデルを構築するための教師データの作成（後述）の際にユーザインターフェースとして使用される。情報端末５０は、例えば、スマートフォンまたはタブレット端末などの携帯型の情報端末であるが、パーソナルコンピュータなどの据え置き型の情報端末であってもよい。情報端末５０は、入力部５１と、表示部５２と、通信部５３と、情報処理部５４と、記憶部５５と、撮影部５６とを備える。

【0027】

入力部５１は、ユーザの手動入力または音声入力を受け付ける。言い換えれば、入力部５１には、手動または音声により情報が入力される。入力部５１は、タッチパネルまたはマイクロフォンなどによって実現される。

【0028】

表示部５２は、ユーザが視認するための動画（または静止画）を表示する。表示部５２は、例えば、液晶パネルまたは有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネルなどの表示パネルによって実現される。

【0029】

通信部５３は、情報端末５０が入出庫管理装置３０及び情報端末５０と広域通信ネットワーク６０を介して通信を行うための通信回路である。通信部５３は、入出庫管理装置３０と局所通信ネットワークを通じて通信を行ってもよい。通信部５３は、例えば、無線通信を行う無線通信回路であるが、有線通信を行う有線通信回路であってもよい。通信部５３が行う通信の通信規格については特に限定されない。

【0030】

情報処理部５４は、教師データを作成するための情報処理などを行う。情報処理部５４は、例えば、マイクロコンピュータによって実現されるが、プロセッサまたは専用回路によって実現されてもよい。情報処理部５４の機能は、例えば、情報処理部５４を構成するマイクロコンピュータ等が記憶部５５に記憶されたコンピュータプログラムを実行することにより実現される。

【0031】

記憶部５５は、情報処理部５４が実行するコンピュータプログラム、及び、上記情報処理に必要な各種情報が記憶される記憶装置である。記憶部５５は、例えば、半導体メモリによって実現される。

【0032】

撮影部５６は、イメージセンサ、及び、レンズなどの光学系によって実現されるカメラである。

【0033】

［動作例１］
次に、入出庫管理システム１０の動作例１として、食品の入庫または出庫の管理動作について説明する。図３は、入出庫管理システム１０の動作例１のフローチャートである。

【0034】

まず、判定部３７は、測距部３２の計測結果に基づいて、２つのドア２２の少なくとも一方が開いたと判定すると（Ｓ１１）、撮影部３１を起動し、撮影部３１による動画の撮影を開始する（Ｓ１２）。図４は、撮影部３１によって撮影される動画の一例を示す図である。図４に示されるように、撮影部３１の撮影範囲には、本体部２１（第一収納室２３）と、２つのドア２２の内側（ドアポケット２２ａ）と、第一収納室２３に設けられた上の棚２４ａ及び下の棚２４ｂとが含まれる。なお、図４には、食品の入庫判定、または、食品の出庫判定に用いられる境界線（破線）も合わせて図示されている。この境界線は、撮影部３１によって撮影されるものではなく、仮想的なものである。

【0035】

次に、追尾部３８は、動画に映る食品を検出し（Ｓ１３）、検出した食品を追尾する（Ｓ１４）。食品の検出には、Ｒ－ＣＮＮ（Ｒｅｇｉｏｎｓ ｗｉｔｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）などの既存の各種アルゴリズムが用いられる。追尾部３８は、例えば、ステップＳ１３で検出された食品（以下、追尾対象とも記載される）が映るフレーム（以下、前フレームとも記載される）の次のフレーム（現フレームとも記載される）においても食品を検出する。追尾部３８は、現フレームに映る食品のうち、前フレームにおける追尾対象の位置に対して最も近い場所にある食品を追尾対象の移動先として決定する。このような処理を繰り返すことにより、追尾部３８は、ステップＳ１３において検出された食品を追尾することができる。

【0036】

なお、追尾部３８は、さらに、ステップＳ１３で検出された食品の画像特徴量を抽出し、画像特徴量を補助的な情報として用いて食品の追尾を行ってもよい。追尾部３８は、例えば、現フレームにおいて検出された食品の追尾対象からの距離、及び、現フレームにおいて検出された画像特徴量の追尾対象との類似度に基づいて、追尾対象の移動先を決定してもよい。これにより、食品の追尾精度の向上を図ることができる。

【0037】

また、このような食品の追尾の方法は一例であり、食品の追尾には、既存の他のアルゴリズムが用いられてもよい。

【0038】

次に、判定部３７は、食品の入庫判定、または、食品の出庫判定を行う（Ｓ１５）。判定部３７は、動画において、追尾中の食品が冷蔵庫２０の内側から冷蔵庫２０の外側（冷蔵庫２０が設置された部屋の室内側へ移動して境界線を越えた場合に、当該食品が出庫されたと判定する。また、判定部３７は、動画において、追尾の食品が冷蔵庫２０の外側から冷蔵庫２０の内側へ移動して境界線を越えた場合に、当該食品が入庫されたと判定する。なお、境界線は、経験的または実験的にあらかじめ定められる。

【0039】

次に、判定部３７は、入庫または出庫された食品の種別を判定する（Ｓ１６）。判定部３７は、例えば、機械学習モデルを用いて食品の種別を判定する。食品の種別とは、例えば、飲料、野菜、食肉などであるが、これよりも細かい種別であってもよい。なお、食品の種別は、ステップＳ１３における食品の検出時に合わせて判定されてもよく、この場合、ステップＳ１６は省略可能である。

【0040】

次に、判定部３７は、ステップＳ１５～ステップＳ１６の判定結果に基づいて、記憶部３４に記憶された食品管理情報を更新する（Ｓ１７）。図５は、食品管理情報の一例を示す図である。食品管理情報は、冷蔵庫２０内に収納されている食品の内訳を示す情報である。図５に示されるように、食品管理情報は、例えば、冷蔵庫２０内に収納されている食品の種別と数量とを示す情報である。判定部３７は、例えば、ステップＳ１５～ステップＳ１６において飲料が出庫されたと判定した場合には、食品管理情報における飲料の数量を１つ減らす。また、判定部３７は、ステップＳ１５～ステップＳ１６において野菜が入庫されたと判定した場合には、食品管理情報における野菜の数量を１つ増やす。

【0041】

その後、測距部３２の計測結果に基づいて、判定部３７により２つのドア２２の両方が閉じたと判定されると（Ｓ１８）、動作は終了となる。

【0042】

以上説明したように、入出庫管理システム１０（入出庫管理装置３０）は、動画に映る食品が設定された境界線を超えるか否かに基づいて、食品の冷蔵庫２０へ入出庫（食品の冷蔵庫２０への入庫、または、食品の冷蔵庫２０からの出庫）を判定する。

【0043】

なお、ステップＳ１６において食品の種別の判定に失敗した場合、つまり、食品の種別が判定不可能である場合に、判定部３７は、報知部３６を用いて食品の種別が判定不可能であることを報知してもよい。例えば、報知部３６がスピーカによって実現される場合、報知部３６は、食品の種別が判定不可能であることを示す音声メッセージ等を出力する。報知部３６が発光素子によって実現される場合、報知部３６は、発光により食品の種別が判定不可能であることを報知する。

【0044】

このように、食品の種別の判定に失敗した場合にその旨が報知されれば、ユーザは、食品管理情報を手動で修正するなどの対処を行うことができる。

【0045】

［動作例２］
次に、入出庫管理システム１０の動作例２として、冷蔵庫２０内に収納された食品の提示動作について説明する。図６は、入出庫管理システム１０の動作例２のシーケンス図である。

【0046】

入出庫管理装置３０の通信部３５は、食品管理情報をサーバ装置４０へ送信する（Ｓ２１）。サーバ装置４０の通信部４１は、食品管理情報を受信し、提示部４４は、受信された食品管理情報を記憶部４３に記憶する（Ｓ２２）。入出庫管理装置３０の通信部３５は、例えば、食品の入庫判定または出庫判定が行われるごとに食品管理情報をサーバ装置４０へ送信する。あるいは、入出庫管理装置３０の通信部３５は、開いたドア２２が閉じられるごとに食品管理情報をサーバ装置４０へ送信する。これにより、最新の食品管理情報がサーバ装置４０の記憶部４３に記憶される。なお、食品管理情報は、所定時間に１回など定期的に入出庫管理装置３０からサーバ装置４０へ送信されてもよい。

【0047】

一方、ユーザは、外出先などから情報端末５０の入力部５１に対して冷蔵庫２０内に収納された食品（食品管理情報の内容）を確認するための所定の入力を行うと、入力部５１はこのような所定の入力を受け付け（Ｓ２３）、情報処理部５４は、受け付けられた所定の入力に基づいて、提示要求をサーバ装置４０へ送信する（Ｓ２４）。提示要求の送信は、より具体的には、通信部５３によって行われる。

【0048】

サーバ装置４０の通信部４１は、提示要求を受信する。提示部４４は、受信された提示要求に基づいて、記憶部４３に記憶された食品管理情報の内容を提示するための提示情報を情報端末５０へ送信する（Ｓ２５）。提示情報の送信は、より具体的には、通信部４１によって行われる。

【0049】

情報端末５０の通信部５３は、提示情報を受信し、情報処理部５４は、受信した提示情報に基づいて、食品管理情報の内容を示す表示画面を表示部５２に表示する（Ｓ２６）。図７は、食品管理情報の内容を示す表示画面の一例を示す図である。

【0050】

このように、入出庫管理システム１０のユーザは、外出先などから自宅の冷蔵庫２０に収納された食品を確認することができる。

【0051】

［動作例３］
次に、入出庫管理システム１０の動作例３として、動作例１のステップＳ１６において食品の種別を判定する（言い換えれば、食品を識別する）機械学習モデルを構築するための教師データの作成動作について説明する。図８は、入出庫管理システム１０の動作例３のシーケンス図である。なお、以下の動作例３では、冷蔵庫２０の２つのドア２２が開いた状態で撮影部３１による動画の撮影が行われるものとする。

【0052】

ユーザは、情報端末５０の入力部５１に対してこれから撮影部３１によって撮影される食品のラベル情報の入力を行い、入力部５１はこのような入力を受け付ける（Ｓ３１）。言い換えれば、入力部５１には、ユーザによって食品のラベル情報が入力される。図９は、ラベル情報の入力画面の一例を示す図である。ラベル情報の入力は、例えば、あらかじめ準備された選択肢の中から選択する方式で行われるが、自由入力であってもよい。図９は、ラベル情報が手動入力されるときの表示画面を示しているが、ラベル情報は、ユーザが発する音声によって入力されてもよい。

【0053】

ラベル情報は、例えば、食品の種別（具体的には、飲料、野菜、または食肉など）を示す情報であるが、より具体的な食品の品名を示す情報（牛乳など）であってもよい。また、ラベル情報は、食品の種別及び品名の両方を示す情報であってもよい。

【0054】

次に、ユーザは、入力部５１に対してこれから撮影部３１によって撮影される食品のおおよその形状を示す形状情報の入力を行い、入力部５１はこのような入力を受け付ける（Ｓ３２）。言い換えれば、入力部５１には、ユーザによって食品の形状情報が入力される。図９は、形状情報の入力画面の一例を示す図でもある。ラベル情報の入力は、例えば、あらかじめ準備された選択肢の中から選択する方式で行われ、ユーザは、食品に最も近い形状を選択する。選択肢には、四角柱、円柱、及び、球体などの各種立体形状が含まれる。図９は、形状情報が手動入力されるときの表示画面を示しているが、形状情報は、ユーザが発する音声によって入力されてもよい。

【0055】

なお、形状情報は、後述の立体形状を表示するために入力される情報であるが、ステップＳ３１において入力されたラベル情報に基づいて食品の立体形状を推定できるような場合も考えられる。例えば、ラベル情報において「牛乳パック」という情報が入力された場合、立体形状は四角柱、というように推定することが可能である。このような場合、制御部３９は、ラベル情報に基づいて自動的に立体形状を表示してもよい。つまり、形状情報が手動入力されることは必須ではなく省略可能である。

【0056】

次に、情報処理部５４は、撮影部３１によって撮影される動画の表示要求を入出庫管理装置３０へ送信する（Ｓ３３）。表示要求の送信は、より具体的には、通信部５３によって行われる。表示要求は、例えば、図９の表示画面の撮影開始ボタンを選択する入力を契機に送信される。表示要求には、ステップＳ３１において入力されたラベル情報、及び、ステップＳ３２において入力された形状情報が含まれる。

【0057】

入出庫管理装置３０の通信部３５は、表示要求を受信する。制御部３９は、受信された表示要求に基づいて、撮影部３１による撮影を開始し（Ｓ３４）、撮影部３１によって撮影される動画を表示するための動画情報を情報端末５０へ送信する（Ｓ３５）。また、制御部３９は、動画情報に加えて、ガイド枠情報を送信する（Ｓ３６）。ガイド枠情報は、後述のガイド枠及びガイド枠に内接する立体形状を表示するための情報である。動画情報及びガイド枠情報の送信は、より具体的には、通信部３５によって行われる。なお、動画情報の送信は、以下のステップＳ３５～ステップＳ４０の間継続され、この間、表示部５２には、撮影部３１によって撮影される動画が実質的にリアルタイムに表示される。

【0058】

情報端末５０の通信部５３は、動画情報及びガイド枠情報を受信する。情報処理部５４は、受信された動画情報及びガイド枠情報に基づいて、表示部５２に動画及びガイド枠を表示する（Ｓ３７）。図１０Ａは、動画及びガイド枠の表示例１を示す図である。

【0059】

ガイド枠は、食品の撮影位置をユーザに指示するための矩形の枠であり、図１０Ａの例では、動画内の左上部に重畳表示されている。ガイド枠は、言い換えれば、バウンディングボックスである。このように、制御部３９は、表示部５２に表示された動画内にガイド枠を表示する（ガイド枠情報を送信する）ことで食品をガイド枠内に位置させることの指示をユーザに対して行う。

【0060】

また、ガイド枠内には、ガイド枠に内接する立体形状が表示されている。この立体形状は、表示要求に含まれる形状情報が示す立体形状（ステップＳ３２でユーザが入力した立体形状）であり、食品を撮影する際の姿勢をユーザに指示するためのものである。立体形状は、言い換えれば、食品を撮影する際のシルエットを示すものである。

【0061】

立体形状は、最もシンプルには枠線のみであるが、食品の３Ｄモデル、イラスト、または、写真などであってもよい。なお、立体形状として３Ｄモデル、イラスト、または、写真などが表示される場合は、ユーザが立体形状に食品を重ねやすいように、立体形状は、半透明で表示されてもよいし、点滅表示されてもよい。

【0062】

このように、制御部３９は、入力された形状情報に基づいてガイド枠内に立体形状を表示する（ガイド枠情報を送信する）ことで、食品の撮影姿勢の指示をユーザに対して行う。制御部３９は、食品のロゴマーク等を撮影部３１に向けてください、というような指示をさらに行ってもよい。

【0063】

ユーザは、図１０のような表示画面が表示された表示部５２を見ながら実際の空間において食品を動かし、食品がガイド枠に内接するように位置し、かつ、立体形状が示す姿勢に近い姿勢になったと判断した場合に、撮影を指示する入力を行う。入力部５１はこのような入力を受け付ける（Ｓ３８）。情報処理部５４は、撮影を指示する入力が受け付けられたことを契機に撮影トリガ情報を入出庫管理装置３０へ送信する（Ｓ３９）。撮影トリガ情報の送信は、より具体的には、通信部５３によって行われる。

【0064】

入出庫管理装置３０の通信部３５は、撮影トリガ情報を受信する。制御部３９は、受信された撮影トリガ情報に基づいて、撮影トリガ情報が受信されたタイミングにおいて撮影部３１に静止画を撮影させ、撮影した静止画をステップＳ３１において入力されたラベル情報と紐づけることによって教師データとして記憶部３４に記憶する（Ｓ４０）。つまり、制御部３９は、ガイド枠の表示後（食品をガイド枠内に位置させることの指示が行われた後）に、撮影部３１によって撮影された食品が映る静止画に、ステップＳ３１において入力されたラベル情報を紐づけることで教師データを作成し、作成した教師データを記憶部３４に記憶する。なお、教師データには、ガイド枠の位置（ガイド枠の中心位置の座標）を示す情報（つまり、静止画内で食品が映っていると考えられる場所の位置情報）が含まれてもよい。

【0065】

ステップＳ３６～ステップＳ４０の処理は、記憶部３４に記憶される教師データ（静止画）の数が所定数に達するまで、または、ユーザが教師データの作成の終了を意図する入力を行うまで繰り返される。このとき、表示部５２に表示されるガイド枠の表示態様は、ステップＳ３６においてガイド枠情報が送受信されるごとに変更（更新）される。図１０Ｂ～図１０Ｆは、動画及びガイド枠の表示例２～表示例６を示す図である。

【0066】

ガイド枠の表示態様は、例えば、図１０Ａ～図１０Ｆの順に変更される。図１０Ａ～図１０Ｆに示されるように、ガイド枠は、ガイド枠情報が送信されるごとに、表示位置、形状、大きさ、及び、形状のアスペクト比が変更される。言い換えれば、ガイド枠の表示位置、形状、大きさ、及び、形状のアスペクト比は、静止画が撮影されるごと（教師データが作成されるごと）に変更される。なお、ガイド枠は、ガイド枠情報が送信されるごとに、表示位置、形状、大きさ、形状のアスペクト比の少なくとも１つが変更されればよく、表示位置、形状、大きさ、及び、形状のアスペクト比の全てが変更されることは必須ではない。

【0067】

ここで、ガイド枠の大きさについて補足すると、ガイド枠の大きさは、撮影部３１から食品までの距離（上下方向の距離）に相当し、ガイド枠が小さいほど、食品を撮影部３１から遠くに位置させることをユーザに指示することとなる。ガイド枠の表示位置の変更は、食品の背景画像を変更するという意味がある。

【0068】

教師データの作成、及び、記憶が完了すると、制御部３９は、記憶部３４に記憶された学習データを機械学習モデルに学習させることにより、機械学習モデル（食品の識別アルゴリズム）を更新する（Ｓ４１）。

【0069】

以上説明したように、入出庫管理システム１０は、学習データ作成機能を有し、学習データ作成システムとしても機能する。入出庫管理システム１０は、表示部５２に表示された動画内にガイド枠を表示することで食品をガイド枠内に位置させることの指示をユーザに対して行い、当該指示が行われた後に撮影部３１によって撮影された物体が映る静止画に、入力されたラベル情報を紐づけることで教師データを作成し、静止画が撮影されるごとに、ガイド枠の表示態様を変更する。

【0070】

このような入出庫管理システム１０は、食品をかざす位置、及び、食品の姿勢をユーザに指示することで、静止画内において食品の位置及び食品の姿勢が適度にばらついた高品質な教師データを作成することができる。また、入出庫管理システム１０によれば、機械学習モデルについての知見に乏しいユーザであっても、回転盤、及び、三脚などの特殊な器具を使用せずに教師データ（静止画）を撮影することができる。

【0071】

なお、ガイド枠を動画内のどこにどのような順序で変更するかについては特に限定されない。ガイド枠を動画内のどこにどのような順序で表示するかについては、あらかじめ定められていてもよいし、乱数等によってランダムに決定されてもよい。立体形状をガイド枠内でどのような向き（姿勢）で表示するかについても同様である。

【0072】

また、ステップＳ３９においては、トリガ情報は、ユーザの撮影を指示する入力に応じて送信されたが、ユーザによって撮影を指示する入力が行われることは必須ではない。例えば、情報処理部５４は、画像処理によってガイド枠内に食品の外形が内接したことを検出し、このような検出を契機にトリガ情報を送信してもよい。つまり、静止画の撮影は、ユーザの入力を要件とせずに自動的に行われてもよい。

【0073】

［変形例］
上記実施の形態の動作例１においては、食品の検出（ステップＳ１３）から食品管理情報の更新（ステップＳ１７）までの処理は、入出庫管理装置３０によって行われたが、これらの処理の一部または全部は、サーバ装置４０によって行われてもよい。例えば、ステップＳ１６の食品の種別の判定は、サーバ装置４０によって行われてもよい。この場合、食品の種別を判定するための機械学習モデルは、サーバ装置４０の記憶部４３に記憶され、動作例３で入出庫管理装置３０によって作成された教師データは、入出庫管理装置３０からサーバ装置４０へ送信される。

【0074】

この場合、サーバ装置４０は、入出庫管理装置３０を含む複数の入出庫管理装置から教師データを集め、多数の教師データを機械学習モデルに学習させることができる。

【0075】

また、上記実施の形態の動作例３においては、ユーザインターフェースとして情報端末５０が用いられたが、情報端末５０に代えて冷蔵庫２０がユーザインターフェースとして用いられてもよい。つまり、冷蔵庫２０は、ユーザによってラベル情報及び形状情報が入力される入力部と、撮影部３１によって撮影された前記動画が表示される表示部とを備えてもよい。また、入力部５１及び表示部５２の一方が情報端末５０によって備えられ、入力部５１及び表示部５２の他方に相当する構成要素が冷蔵庫２０によって備えられてもよい。つまり、入力部５１及び表示部５２の両方が情報端末５０によって備えられることは必須ではなく、入力部５１及び表示部５２の少なくとも一方が、情報端末５０によって備えられればよい。

【0076】

また、上記実施の形態において、冷蔵庫２０は、一般家庭用の冷蔵庫であってもよいし、コンビニエンスストアなどの小売店で用いられる商品展示用の冷蔵庫であってもよいし、その他の業務用の冷蔵庫であってもよい。

【0077】

また、冷蔵庫２０内に単一種別の食品が収納されるような場合には、食品の種別の判定は行われなくてもよい。

【0078】

また、冷蔵庫２０は、収納庫の一例であり、本開示は、冷蔵機能を有しない他の収納庫としても実現できる。また、収納庫に収納される物品（言い換えれば、物体）は、食品に限定されず、その他の物品であってもよい。冷蔵庫２０に食品以外の物品が収納されるような場合も考えられる。

【0079】

また、教師データ作成システムは、冷蔵庫２０へ入出庫される食品の識別を行う機械学習モデルだけでなく、他の識別を行う機械学習モデル用の教師データを作成してもよい。例えば、教師データ作成システムは、入出庫管理装置３０の撮影部３１に代えて情報端末５０が備える撮影部５６を用いて動画または静止画の撮影を行う、情報端末５０に相当する単一の装置として実現されてもよい。この場合、情報端末５０の情報処理部５４は、制御部３９に相当する機能的な構成要素として制御部５７（図１で破線によって図示）を備える。

【0080】

このような情報端末５０は、物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成システムとして機能する。情報端末５０は、ユーザによって物体のラベル情報が入力される入力部５１と、物体が映る動画を撮影する撮影部５６と、撮影された動画が表示される表示部５２と、表示された動画内にガイド枠を表示することで物体をガイド枠内に位置させることの指示をユーザに対して行う制御部５７とを備える。制御部５７は、指示が行われた後に撮影部５６によって撮影された物体が映る静止画に、入力されたラベル情報を紐づけることで教師データを作成し、静止画が撮影されるごとに、ガイド枠の表示態様を変更する。このような情報端末５０には、スマートフォン、タブレット端末、及び、パーソナルコンピュータに加えて、デジタルカメラなどが含まれる。

【0081】

このような情報端末５０は、冷蔵庫２０へ入出庫される食品の識別を行う機械学習モデルだけでなく、他の識別を行う機械学習モデル用の教師データを作成することができる。

【0082】

［効果等］
以上説明したように、入出庫管理システム１０は、物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成システムとして機能する。入出庫管理システム１０は、ユーザによって物体のラベル情報が入力される入力部５１と、物体が映る動画を撮影する撮影部３１と、撮影された動画が表示される表示部５２と、表示された動画内にガイド枠を表示することで物体をガイド枠内に位置させることの指示をユーザに対して行う制御部３９とを備える。制御部３９は、指示が行われた後に撮影部３１によって撮影された物体が映る静止画に、入力されたラベル情報を紐づけることで教師データを作成し、静止画が撮影されるごとに、ガイド枠の表示態様を変更する。

【0083】

このような入出庫管理システム１０は、物体の撮影位置の指示を行うことで、機械学習モデルを構築するために用いられる教師データを作成することができる。

【0084】

また、例えば、入力部５１には、さらに、物体の形状情報が入力され、制御部３９は、入力された形状情報に基づいてガイド枠内に立体形状を表示することで、物体の撮影姿勢の指示をユーザに対して行う。

【0085】

このような入出庫管理システム１０は、物体の撮影姿勢の指示を行うことで、機械学習モデルを構築するために用いられる教師データを作成することができる。

【0086】

また、例えば、制御部３９は、立体形状として、枠線、物品の３Ｄモデル、イラスト、または、写真を表示する。

【0087】

このような入出庫管理システム１０は、枠線、物品の３Ｄモデル、イラスト、または、写真によって、物体の撮影姿勢の指示を行うことができる。

【0088】

また、例えば、制御部３９は、静止画が撮影されるごとに、ガイド枠の表示位置を変更する。

【0089】

このような入出庫管理システム１０は、ガイド枠の表示位置を変更することで、機械学習モデルを構築するために用いられる教師データを作成することができる。

【0090】

また、例えば、制御部３９は、静止画が撮影されるごとに、ガイド枠の表示位置と、ガイド枠の形状及び大きさの少なくとも一方とを変更する。

【0091】

このような入出庫管理システム１０は、ガイド枠の表示位置と、ガイド枠の形状及び大きさの少なくとも一方とを変更することで、機械学習モデルを構築するために用いられる教師データを作成することができる。

【0092】

また、例えば、入力部５１には、ラベル情報がユーザが発する音声によって入力される。

【0093】

このような入出庫管理システム１０は、ユーザが発する音声に基づいて、ラベル情報の入力を受け付けることができる。

【0094】

また、例えば、入力部５１及び表示部５２の少なくとも一方は、情報端末５０によって備えられる。制御部３９は、情報端末５０と通信する装置によって備えられる。

【0095】

このような入出庫管理システム１０は、情報端末５０をユーザインターフェースとして、教師データを作成することができる。

【0096】

また、物体を識別する機械学習モデルを構築するために用いられる教師データを作成する教師データ作成方法は、入出庫管理システム１０などのコンピュータによって実行される。教師データ作成方法は、物体のラベル情報の入力をユーザから受け付ける受付ステップＳ３１と、物体が映る動画を撮影する撮影ステップＳ３４と、撮影された動画が表示される表示ステップＳ３７と、表示された動画内にガイド枠を表示することで物体をガイド枠内に位置させることの指示をユーザに対して行う制御ステップＳ３７と、指示が行われた後に撮影された物体が映る静止画に、入力されたラベル情報を紐づけることで教師データを作成する作成ステップＳ４０と、静止画が撮影されるごとに、ガイド枠の表示態様を変更する変更ステップＳ３６とを含む。

【0097】

このような教師データ作成方法は、物体の撮影位置の指示を行うことで、機械学習モデルを構築するために用いられる教師データを作成することができる。

【0098】

（その他の実施の形態）
以上、実施の形態について説明したが、本開示は、上記実施の形態に限定されるものではない。

【0099】

例えば、上記実施の形態では、ガイド枠は矩形であったが、ガイド枠は、円形など矩形以外の形状であってもよい。

【0100】

また、上記実施の形態では、入出庫管理システム（言い換えれば、教師データ作成システム。以下同様。）は、複数の装置によって実現された。この場合、入出庫管理システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0101】

また、入出庫管理システムは、単一の装置によって実現されてもよい。例えば、入出庫管理システムは、上記実施の形態の入出庫管理装置に相当する単一の装置として実現されてもよいし、サーバ装置に相当する単一の装置として実現されてもよいし、情報端末に相当する単一の装置として実現されてもよい。

【0102】

また、上記実施の形態における装置間の通信方法については特に限定されるものではない。装置間の通信においては、図示されない中継装置が介在してもよい。また、上記実施の形態で説明された情報の伝達経路は、シーケンス図に示される伝達経路に限定されない。

【0103】

また、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0104】

また、上記実施の形態において、各構成要素は、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0105】

また、各構成要素は、ハードウェアによって実現されてもよい。例えば、各構成要素は、回路（または集積回路）でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0106】

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0107】

例えば、本開示は、コンピュータによって実行される教師データの作成方法として実現されてもよいし、教師データの作成方法をコンピュータに実行させるためのプログラムとして実現されてもよい。本開示は、このようなプログラムが記録されたコンピュータ読み取り可能な非一時的な記録媒体として実現されてもよい。

【0108】

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。

【符号の説明】

【0109】

１０ 入出庫管理システム
２０ 冷蔵庫（収納庫）
２１ 本体部
２２ ドア
２２ａ ドアポケット
２３ 第一収納室
２４、２４ａ、２４ｂ 棚
２６ 第二収納室
３０ 入出庫管理装置
３１、５６ 撮影部
３２ 測距部
３３、４２、５４ 情報処理部
３４、４３、５５ 記憶部
３５、４１、５３ 通信部
３６ 報知部
３７ 判定部
３８ 追尾部
３９ 制御部
４０ サーバ装置
４４ 提示部
４５ 通知部
５０ 情報端末
５１ 入力部
５２ 表示部
５７ 制御部
６０ 広域通信ネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図10C】

【図10D】

【図10E】

【図10F】