特許 7396499 学習モデル生成装置、学習モデル生成システム、学習モデル生成方法および学習モデル生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-04

(45)【発行日】2023-12-12

(54)【発明の名称】学習モデル生成装置、学習モデル生成システム、学習モデル生成方法および学習モデル生成プログラム

(51)【国際特許分類】

   G06Q 10/087 20230101AFI20231205BHJP

【ＦＩ】

G06Q10/087

【請求項の数】 10

(21)【出願番号】P 2022539962

(86)(22)【出願日】2020-07-31

(86)【国際出願番号】 JP2020029495

(87)【国際公開番号】W WO2022024367

(87)【国際公開日】2022-02-03

【審査請求日】2023-01-10

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】富田 莉奈

(72)【発明者】

【氏名】田原 裕司

【審査官】山崎 雄司

(56)【参考文献】

【文献】特開２０１９－０９６１６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００８０２７７（ＵＳ，Ａ１）

【文献】国際公開第２０１９／０８７７９２（ＷＯ，Ａ１）

【文献】中国特許出願公開第１０９６９７５８３（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１８／０２８５９０２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／０２１３５４６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得する在庫情報取得手段と、
前記店舗において前記商品を陳列する棚の画像を取得する画像取得手段と、
前記画像と前記商品の在庫数とを基に、前記画像から前記商品の数を推定するモデルを生成するモデル生成手段と
を備える学習モデル生成装置。

【請求項2】

前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記在庫情報取得手段は、前記在庫情報を取得し、
前記画像取得手段は、前記決済の後の前記画像を取得する
請求項１に記載の学習モデル生成装置。

【請求項3】

前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記画像取得手段は前記決済の前の前記画像を取得する
請求項１または請求項２に記載の学習モデル生成装置。

【請求項4】

前記決済の前の前記画像は、連続して撮影される画像から取得される
請求項３に記載の学習モデル生成装置。

【請求項5】

前記モデルは、
商品における、前記決済の前の前記棚における前記商品を陳列することができる陳列可能領域と、前記決済の後の前記陳列可能領域との第１差分を学習する第１モデルを含む
請求項１に記載の学習モデル生成装置。

【請求項6】

前記モデルは、
前記商品における、前記第１差分と、前記決済の前の在庫数と前記決済の後の在庫数との第２差分を基に、当該商品についての前記第１差分と前記第２差分との関連付けを学習する第２モデルを含む
請求項５に記載の学習モデル生成装置。

【請求項7】

前記第２モデルは、
前記商品についての前記第１差分と前記第２差分とを関連付けた変換表を作成する
請求項６に記載の学習モデル生成装置。

【請求項8】

請求項１乃至請求項７のいずれかに記載の学習モデル生成装置と、
前記画像を撮影し、前記学習モデル生成装置へ送信するカメラと、
前記ＰＯＳ端末と
を備える学習モデル生成システム。

【請求項9】

コンピュータが、
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
学習モデル生成方法。

【請求項10】

店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
ことをコンピュータに実現させる学習モデル生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習モデル生成装置、学習モデル生成システム、学習モデル生成方法および学習モデル生成プログラムに関する。

【背景技術】

【0002】

現在、人手不足による店舗従業員の確保の問題は深刻さを増している。そのような環境の中で、商品の在庫管理、陳列棚の商品補充作業などを省力化し、従業員の負担を軽減するための技術の開発が望まれている。

【0003】

店舗において、商品棚等に陳列された商品の欠品および陳列乱れを検知するために、陳列された商品の画像を学習させた学習モデルを用いて検知する手法が知られている。

【0004】

尚、商品欠品や陳列乱れを検知する学習モデルを生成するには、大量の商品画像（教師データ）が必要となるが、質の高い教師データを大量に入手するのは困難である。

【0005】

特許文献1は、機械学習を用いた画像解析システムにおいて、背景画像と物体画像を合成して学習用の画像を生成する手法について開示する。

【0006】

特許文献２は、ベクトルモデルや３Ｄモデル等のデータから機械学習訓練用の画像を、ニューラルネットワークを用いて生成する手法について開示する。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２０１４－１７８９５７号公報

【文献】特開２０１９－１５９６３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１および２は、店舗において商品の欠品や陳列乱れを検知するための技術を開示しない。店舗における商品の画像データを取得するには、店舗毎に撮影条件を設定する必要がある。ある商品の画像を撮影するにおいても、店舗毎に、使用する棚が異なったり、棚は同じでも陳列する際の商品の向きや陳列の手法が異なったりする。よって、一か所で撮影された画像を学習データとして学習モデルを学習させると、各店舗における商品の欠品や陳列乱れの検知において、誤認識が発生しやすく、検知精度が落ちる。また、質の良い学習用画像を、店舗毎に大量にかつ効率よく撮影することは困難である。

【0009】

本開示の目的の１つは、上記の課題を解決し、店舗において、商品に関する質の良い学習データを効率的に取得し、検知精度の高い学習モデルを生成する技術を提供することである。

【課題を解決するための手段】

【0010】

本開示の一態様における学習モデル生成装置は、
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得する在庫情報取得部と、
前記店舗において前記商品を陳列する棚の画像を取得する画像取得部と、
前記画像と前記商品の在庫数とを基に、前記画像から前記商品の数を推定するモデルを生成するモデル生成部と
を備える。

【0011】

本開示の一態様における学習モデル生成システムは、
上記に記載の学習モデル生成装置と、
前記画像を撮影し、前記学習モデル生成装置へ送信するカメラと、
前記ＰＯＳ端末と
を備える。

【0012】

本開示の一態様における学習モデル生成方法は、
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
ことを備える。

【0013】

本開示の一態様における学習モデル生成プログラムを格納する記録媒体は、
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
ことをコンピュータに実現させる。

【0014】

プログラムは非一時的なコンピュータ読み取り可能な記録媒体に格納されていてもよい。

【0015】

なお、以上の構成要素の任意の組合せ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。

【0016】

また、本開示の各種の構成要素は、必ずしも個々に独立した存在である必要はない。複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。

【0017】

また、本開示の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本開示の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。

【0018】

さらに、本開示の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生してもよい。ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複してもよい。

【発明の効果】

【0019】

本開示の効果は、店舗において、商品に関する質の良い学習データを効率的に取得し、検知精度の高い学習モデルを生成できることである。

【図面の簡単な説明】

【0020】

【図1】本開示の第１実施形態に係る学習モデル生成システムの構成例を概念的に示す図である。

【図2】本開示の第１実施形態に係る学習モデル生成装置およびＰＯＳ端末の内部構成例を示す図である。

【図3】在庫情報のデータ構造例を示す図である。

【図4】画像情報のデータ構造例を示す図である。

【図5】商品棚における棚画像の一例を示す図である。

【図6】商品棚における棚画像の一例を示す図である。

【図7】本開示の第１実施形態に係る学習モデル生成装置の動作例を表すフローチャートである。

【図8】本開示の第２実施形態に係る学習モデル生成装置の内部構成例を示す図である。

【図9】本開示の第２実施形態に係る学習モデル生成装置の動作例を表すフローチャートである。

【図10】変換表の一例を示す図である。

【図11】本開示の第３実施形態に係る学習モデル生成装置の内部構成例を示す図である。

【図12】学習モデル生成システムの各装置を実現するコンピュータのハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0021】

以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。以下の各図において、本開示の本質に関わらない部分の構成については省略してあり、図示されていない。

【0022】

実施形態において「取得」とは、自装置が他の装置や記録媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力されること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記録媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
＜第１実施形態＞
（学習モデル生成システム）
図１は、本開示の第１実施形態に係る学習モデル生成システム１００の構成例を概念的に示すブロック図である。学習モデル生成システム１００は、学習モデル生成装置１と、ＰＯＳ端末２と、カメラ３と、を含む。カメラ３およびＰＯＳ端末２と学習モデル生成装置１との間はインターネット、イントラネット等の通信ネットワーク４を介して接続されている。尚、店舗内に学習モデル生成装置１を備えさせ、有線ケーブル等でカメラ３およびＰＯＳ端末２と接続させてもよい。

【0023】

カメラ３は、店舗毎に備えられる、商品棚を撮影するためのカメラである。カメラ３は魚眼レンズを備えた広域を撮影するカメラであってもよい。カメラ３は店舗内を移動する機構を備えたカメラでもよい。カメラ３は、店舗の店員が所持するカメラであってもよい。カメラ３は複数存在してもよく、各々のカメラ３は商品棚の一区画である棚画像を撮影する。

【0024】

学習モデル生成システム１００の動作について説明する。ＰＯＳ端末２においてある商品の決済が実行される。ＰＯＳ端末２から当該決済の旨が学習モデル生成装置１に通知されると、学習モデル生成装置１は、カメラ３に当該商品の画像を撮影させ取得する。これは当該商品の決済が行われることにより、当該商品の在庫数や陳列状態が変化しているためである。このような変化をトリガとして商品の画像を取得することにより、学習用画像を効率よく取得し、学習モデルに学習させることができる。

【0025】

（学習モデル生成装置）
次に、図２を参照して学習モデル生成装置１およびＰＯＳ端末２の内部構造の例について説明する。

【0026】

学習モデル生成装置１は、画像取得部１１、画像記憶部１２、在庫情報取得部１３、モデル生成部１４およびモデル記憶部１５を備えている。

【0027】

画像取得部１１は、カメラ３にて撮影された、商品を陳列する商品棚の一区画である棚画像を取得する。当該画像には商品および背景（棚など）が写っている。画像取得部１１は取得した画像を、当該画像に関する情報（以下、画像情報とも記載）と共に、画像記憶部１２に格納する。

【0028】

画像記憶部１２は、画像取得部１１から取得する画像および画像情報を格納する。

【0029】

在庫情報取得部１３は、店舗のＰＯＳ端末２から、決済された商品の在庫数を取得する。在庫情報取得部１３は、ＰＯＳ端末２において商品の決済が行われたときに、商品の在庫数を含む在庫情報をＰＯＳ端末２から取得し、画像取得部１１に在庫情報を引き渡す。

【0030】

在庫情報について図３を参照して説明する。在庫情報は、例えば、決済ＩＤ、決済日時、商品ＩＤ、販売個数、在庫数を含む。決済ＩＤは、決済をユニークに識別するための識別子であり、決済発生順のシーケンシャル番号であってもよい。決済日時は、決済が実行された日時である。決済日時はＰＯＳ端末２が備えるタイムスタンプ機能から取得してよい。商品ＩＤは、商品をユニークに識別するための識別子である。商品ＩＤはＰＯＳ端末２が備える商品マスタ（詳細は後述する）から取得してよい。商品ＩＤに対応する商品名が付されていてもよい。販売個数は、販売（決済）された商品の数である。在庫数は、決済後の商品の在庫数である。販売個数および在庫数はＰＯＳ端末２が備える売り上げマスタや在庫マスタ（詳細は後述する）から取得してよい。

【0031】

画像取得部１１は、在庫情報を受信すると、カメラ３に商品棚の画像を撮影させ、撮影された画像についての画像情報を生成し、当該画像と画像情報とを紐づけて画像記憶部１２に格納する。

【0032】

画像情報について図４を参照して説明する。画像情報とは、例えば、画像ＩＤ（Identifier）、撮影日時、棚位置ＩＤ、商品ＩＤおよび商品数を含む。

【0033】

画像ＩＤとは、画像をユニークに識別するための識別子である。例えば、撮影順の連番であってもよい。カメラ３が複数存在する場合、画像ＩＤにカメラをユニークに識別するためのカメラＩＤを付与してもよい。例えば、カメラＡが撮影した１００番目の画像であれば、「画像ＩＤ：Ａ－１００」とする。

【0034】

撮影日時とは、カメラ３が当該棚画像を撮影した日時である。これはカメラ３に備えられるタイムスタンプ機能を使用してよい。画像の撮影日時が判断できることにより、最新の撮影日時の棚画像を選択したり、特定の日時や期間に撮影された棚画像を抽出したりすることができる。

【0035】

棚位置ＩＤとは、店舗内における画像の位置を特定するための識別子である。例えば、ある店舗Ａに、１０個の棚（棚番号１－１０）があり、当該棚は区画１－５に分類されているとする。このような場合、画像が棚番号５の区画３の画像を示す棚位置ＩＤは、一例として、「Ａ（店舗）－５（棚）－３（区画）」となる。

【0036】

商品ＩＤとは画像に写っている商品を識別するための識別子である。ある棚画像に写っている商品の商品ＩＤの取得は、予め該当する棚位置に何の商品が陳列されるかを情報として与えておいてもよいし、画像内の棚前面に付与される商品タグの情報（例えば商品コードなど）を画像取得部１１に読み取らせて自動入力してもよい。または、カメラ３または学習モデル生成装置１に画像認識エンジンを搭載し画像認識処理によって商品とその商品ＩＤを特定してもよい。尚、一つの画像には複数の商品が写っていてもよい。例えば缶ジュースＡ（商品ＩＤ：ＫＡ）と缶ジュースＢ（商品ＩＤ：ＫＢ）とがある画像に写っている場合、商品ＩＤとしてＫＡとＫＢとの二つが付与される。

【0037】

商品数は画像内に含まれる商品の数である。画像取得部１１が在庫情報に含まれる在庫数を商品数として入力する。

【0038】

在庫情報取得部１３は、ＰＯＳ端末２から、画像を取得するときの商品の在庫数を取得する。即ち、ＰＯＳ端末２における商品決済の結果、ＰＯＳ端末２から在庫情報取得部１３が決済後の在庫情報を受信したことをトリガとし、画像取得部１１が決済後の商品棚の画像を取得する。画像取得部１１は、在庫情報に含まれる商品ＩＤと同じ商品ＩＤの商品を含む画像を撮影するようカメラ３に依頼する。

【0039】

即ち、ＰＯＳ端末２における商品の決済をトリガとして、画像取得部１１は決済後の画像を取得し、在庫情報取得部１３は決済後の商品の在庫数を取得する。

【0040】

決済後に撮影された画像に含まれる商品数と決済後の在庫情報に含まれる商品の在庫数とは同じとなる。具体例を説明する。商品やきとり（商品ＩＤ：Ｙ）Ｙ１、Ｙ２、Ｙ３、Ｙ４（在庫数４）が商品棚（例えば、ホットショーケース）内に横に並んでおり、やきとりＹ１が１２時に購入（決済）され、やきとりＹ２が１２時５分に購入されたとする。この場合、やきとりＹ１の決済直後にＰＯＳ端末２から在庫情報取得部１３が在庫情報（商品ＩＤ：Ｙ、在庫数：３）を取得し、在庫情報の取得をトリガにカメラ３はやきとりＹ２、Ｙ３、Ｙ４が写る画像Ａを撮影し、画像取得部１１が当該画像Ａを取得する。このとき在庫情報に含まれる在庫数３と当該画像Ａに含まれるやきとりＹ２、Ｙ３、Ｙ４の数とは等しいため、「画像Ａ」と「やきとり３つ（Ｙ２、Ｙ３、Ｙ４）」とが対応付けられて画像記憶部１２に格納される。次に、１２時５分のやきとりＹ２の購入直後にも同様にＰＯＳ端末２からの在庫情報（商品ＩＤ：Ｙ、在庫数：２）の受信をトリガとし、カメラ３で撮影されたやきとりＹ３、Ｙ４の画像Ｂを画像取得部１１が取得し、「画像Ｂ」と「やきとり２つ（Ｙ３、Ｙ４）」とが対応付けられて画像記憶部１２に格納される。このように、決済直後の画像を、時系列に、商品とその商品数と紐づけて学習用画像として格納する。これにより、決済毎に質の良い学習データを自動的に取得する。

【0041】

モデル生成部１４は画像と商品の在庫数とに基づき、画像から商品の数を推定するためのモデルを生成する。モデル生成部１４は、画像記憶部１２から画像と当該画像に対応する画像情報とを取得する。画像情報には商品ＩＤと商品数とが含まれる。モデル生成部１４は、モデル記憶部１５からモデルを取得し、画像および画像情報（画像に含まれる商品および商品数）を学習させる。尚、学習の実行は、画像記憶部１２に所定量の画像が格納されてからでもよいし、所定の日数間隔毎でもよいし、決済毎であってもよい。

【0042】

モデル生成部１４の学習処理について説明する。モデルは、ある商品における、ある撮影日時における商品を陳列することができる陳列可能領域と、上記の撮影日時より所定期間経過後の撮影日時における陳列可能領域との差分（第１差分）を学習する第１モデルを含む。例えば、図５および図６は商品ペットボトルの商品棚および棚画像を示している。図５に示す棚画像には陳列可能領域は無いが、所定期間経過後の棚画像（図６参照）には陳列可能領域が発生している。よって、第１モデルはこの第１差分となる領域（図６の陳列可能領域における面積、位置など）を学習する。

【0043】

更にモデルは、第２モデルを含む。第２モデルは、商品ペットボトルにおける、図５の棚画像の撮影日時における在庫数と図６の棚画像の撮影日時における在庫数との差分（第２差分）をこれらの画像情報を基に算出し、当該第１差分と対応付ける。例えば図５の在庫数が５０、図６の在庫数が４５であった場合、商品ペットボトルにおける、第１差分（領域）に対応する第２差分（個数）は５と対応付ける。

【0044】

モデル記憶部１５は、モデル生成部１４が生成するモデル（第１モデルおよび第２モデル）を格納する。

【0045】

ＰＯＳ端末２の内部構造の一例について図２を参照して説明する。ＰＯＳ端末２は、読み取り部２１、決済部２２、通知部２３、マスタ管理部２４およびマスタ記憶部２５を備える。

【0046】

読み取り部２１は、商品のバーコード等を読み取るためのスキャナ装置等である。尚、レジレスシステム（無人決済システム）においては、商品を掴んでカゴに入れる行為などの、画像解析技術や重量分析技術を利用した商品購入とみなす判定処理も読み取り部２１の処理として含めてもよい。決済部２２は、商品読み取り後に、現金決済やカード決済等の決済処理を行う。通知部２３は、決済完了後に在庫情報（図３参照）を生成し、学習モデル生成装置１に送信する。マスタ管理部２４は、商品の詳細情報を含む商品マスタ、商品の売り上げ情報を含む売り上げマスタ、商品の在庫情報を含む在庫マスタ等を管理する。マスタ記憶部２５は、商品マスタ、売り上げマスタ、在庫マスタ等を格納する。この他、ＰＯＳ端末２は、店員が数値等を入力するためのキーボード（不図示）、決済金額を表示するためのディスプレイ（不図示）などを備えていてもよい。

【0047】

（学習モデル生成装置の動作）
学習モデル生成システム１００における学習モデル生成装置１の動作を図７に示すフローチャートを参照して説明する。尚、前提として、店舗においてＰＯＳ端末２の決済部２２が商品の決済を実行し、通知部２３が当該決済に基づき在庫情報を生成し、当該在庫情報を学習モデル生成装置１に送信しているものとする。

【0048】

まずステップＳ１０１において、学習モデル生成装置１の在庫情報取得部１３（図２参照）が在庫情報をＰＯＳ端末２から取得する。

【0049】

ステップＳ１０２において、画像取得部１１は画像取得し、画像情報を生成する。具体的に、画像取得部１１は在庫情報に含まれる商品ＩＤに対応する棚画像をカメラ３に撮影させ、撮影された棚画像を取得する。更に画像取得部１１は、在庫情報と取得した棚画像とから画像情報を生成する。

【0050】

ステップＳ１０３において、画像取得部１１は、取得した画像と生成した画像情報とを紐づけて画像記憶部１２に格納する。

【0051】

ステップＳ１０４において、モデル生成部１４は、画像記憶部１２から画像と画像情報とを取得し、モデル記憶部１５からモデルを取得する。モデル生成部１４は、画像と商品の在庫数とを基にモデルに学習させ、画像から商品の数を推定するモデルを生成する。

【0052】

以上により、学習モデル生成システム１００における学習モデル生成装置１の動作を終了する。

【0053】

（第１実施形態の効果）
本開示の第１実施形態によると、店舗において、商品に関する質の良い学習データを効率的に取得し、検知精度の高い学習モデルを生成できる。これは、在庫情報取得部１３が店舗のＰＯＳ端末から決済された商品の在庫数を取得し、画像取得部１１が店舗において商品を陳列する棚の画像を取得し、モデル生成部１４が画像と商品の在庫数とを基に、画像から商品の数を推定するモデルを生成するからである。
＜第２実施形態＞
第１実施形態においては、決済後の画像および画像情報を時系列に使用してモデルを学習させる手法について説明した。この手法は、顧客が商品の位置を変更しない場合や、ホットショーケースやたばこ棚等の、主に店員が商品を取る商品棚においては有効である。しかしながら、顧客が商品を直接手に取れる位置にある場合は、顧客により手に取られた商品が元の位置とは違う位置に戻されるなど、在庫数に変化が無いにもかかわらず、商品の位置が変わってしまうことがある。このような状況においては、決済の前後、特に直前直後において棚画像を撮影し取得することが、購入される商品以外の商品位置が変わらない画像を取得できるという点で有効である。これは学習において、注目すべき変化（購入された商品の減少）がより明確である方がより良い学習用画像だからである。よって第２実施形態においては、決済の前後において棚画像を撮影し、学習モデルを生成する手法について説明する。
（学習モデル生成システム）
図８は、本開示の第２実施形態に係る学習モデル生成システム２００の構成例を示す図である。学習モデル生成システム２００は、学習モデル生成装置１ａと、ＰＯＳ端末２と、カメラ３と、を含む。カメラ３およびＰＯＳ端末２と学習モデル生成装置１ａとの間は、図１と同様に、インターネット、イントラネット等の通信ネットワーク４を介して接続されてもよいし、店舗内に学習モデル生成装置１ａを備えさせ、有線ケーブル等でカメラ３およびＰＯＳ端末２と接続させてもよい。

【0054】

（学習モデル生成装置）
次に、図８を参照して学習モデル生成装置１ａの内部構造の例について説明する。

【0055】

学習モデル生成装置１ａは、画像取得部１１ａ、画像記憶部１２ａ、在庫情報取得部１３、モデル生成部１４およびモデル記憶部１５を備えている。

【0056】

画像取得部１１ａは、カメラ３にて撮影された、商品を陳列する商品棚の一区画である棚画像を連続して取得する。例えば、カメラ３は棚画像の連続して撮影される画像（例えば、映像）を撮影し、画像取得部１１ａは当該映像を取得する。映像はコマ送り画像であってもよい。映像には撮影時刻のタイムスタンプが付されている。カメラ３による映像撮影は、所定時間（例えば、売り上げが最も多い１２時から１３時）のみに行うようにしてもよい。画像取得部１１ａは取得した映像を画像記憶部１２ａに格納する。

【0057】

画像記憶部１２ａは、映像を一時的に格納する。当該映像は一定期間毎（例えば、一日毎）に消去されてよい。

【0058】

在庫情報取得部１３がＰＯＳ端末２から在庫情報を受信し、在庫情報取得部１３が当該在庫情報を画像取得部１１ａに引き渡すと、画像取得部１１ａは在庫情報に含まれる決済日時を取得し、当該決済日時の前後の棚画像を画像記憶部１２ａに格納される映像から取得する。例えば、決済日時が１２:１０:１０である場合、決済前の１２:１０:０５の画像Ｍと、決済後の１２:１０:１５の画像Ｎを画像記憶部１２ａから取得する。即ち、第１実施形態と比して、短い時間間隔（決済日時の直前直後）で決済前後の画像を取得する。

【0059】

画像取得部１１ａは、決済をトリガとした決済前後の画像（画像Ｍ、画像Ｎ）について、在庫情報（図３参照）を基に、各々画像情報（図４参照）を生成する。尚、決済の発生毎に在庫情報は通知されるため、決済前の在庫数は一つ前に通知された在庫情報に含まれるものを利用すればよい。画像取得部１１ａは、決済前の画像とその画像情報、決済後の画像とその画像情報を、画像記憶部１２ａに格納する。

【0060】

このように、決済前および決済後の画像を、商品とその商品数と紐づけて学習用画像として格納することで、決済毎に質の良い学習データを自動的に取得する。

【0061】

学習モデル生成システム２００におけるその他の装置および部の構成は第１の実施形態と同様である。

【0062】

（学習モデル生成装置の動作）
学習モデル生成システム２００における学習モデル生成装置１ａの動作を図９に示すフローチャートを参照して説明する。尚、前提として、店舗においてＰＯＳ端末２の決済部２２が商品の決済を実行し、通知部２３が当該決済に基づき在庫情報を生成し、学習モデル生成装置１ａに送信しているものとする。

【0063】

まずステップＳ２０１において、学習モデル生成装置１ａの画像取得部１１ａは棚画像の映像をカメラ３から取得する。画像取得部１１ａは取得した映像を画像記憶部１２ａに格納する。

【0064】

ステップＳ２０２において、在庫情報取得部１３が在庫情報をＰＯＳ端末２から取得する。在庫情報取得部１３は在庫情報を画像取得部１１ａに引き渡す。

【0065】

ステップＳ２０３において、画像取得部１１ａは在庫情報を取得すると、在庫情報に含まれる決済日時を取得し、当該決済日時の前後の棚画像を画像記憶部１２ａに格納される映像から取得する。画像取得部１１ａは、在庫情報（図３参照）を基に、決済日時の前後の画像について各々画像情報を生成する。

【0066】

ステップＳ２０４において、画像取得部１１ａは、決済前の画像とその画像情報、決済後の画像とその画像情報とを各々紐づけて画像記憶部１２ａに格納する。

【0067】

ステップＳ２０５において、モデル生成部１４は、画像記憶部１２ａから決済前後の画像とそれらの画像情報とを取得し、モデル記憶部１５からモデルを取得する。モデル生成部１４は、決済前後の画像と商品の在庫数とを基にモデルに学習させ、画像から商品の数を推定するモデルを生成する。

【0068】

以上により、学習モデル生成システム２００における学習モデル生成装置１ａの動作を終了する。

【0069】

（第２実施形態の効果）
本開示の第２実施形態によると、店舗において顧客が商品を移動させる場合であっても、商品に関する質の良い学習データを効率的に取得し、検知精度の高い学習モデルを生成できる。これは、在庫情報取得部１３が店舗のＰＯＳ端末から決済された商品の在庫数を取得し、画像取得部１１ａが決済前後における商品を陳列する棚の画像を各々取得し、モデル生成部１４が画像と商品の在庫数とを基に、画像から商品の数を推定するモデルを生成するからである。決済の前後において棚画像を撮影し取得することにより、購入される商品以外の商品位置が変わらない画像を取得できる。このため学習において、注目すべき変化（購入された商品の減少）がより明確となり、より良い学習用画像を基にモデルを学習させることができる。

【0070】

＜変形例＞
第１実施形態および第２実施形態においては、モデル生成部１４がモデルを学習させる。特に第２モデルは、ある商品における決済前後の領域の変化である第１差分と、決済前後の在庫数の差である第２差分を基に、当該ある商品についての第１差分と第２差分との関連付けを学習する。この際に第２モデルは、図１０に示すようなある商品の面積の変化と個数の変化とを対応付けた変換表を作成してもよい。また、当該変換表は第２モデルの検知精度の向上に伴い更新されてもよい。図１０のうち、面積率とは、棚画像のうち商品画像が占める面積の割合である。個数とは、当該棚画像に含まれている商品数を示す数である。例えば変換表の面積率１０％の場合、棚画像のうち商品画像が占める面積割合が１０％であり、当該棚画像に写っている商品の数は１～２個と推測される。このように変換表を作成し更に更新していくことにより、第２モデルの計算スピードを上げることができる。

【0071】

＜第３実施形態＞
本開示の第３実施形態に係る学習モデル生成装置３０について図１１を参照して説明する。学習モデル生成装置３０は、第１実施形態および第２実施形態の最小構成態様である。

【0072】

学習モデル生成装置３０は、在庫情報取得部３１、画像取得部３２およびモデル生成部３３を備える。

【0073】

在庫情報取得部３１は、店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得する。画像取得部３２は、店舗において商品を陳列する棚の画像を取得する。モデル生成部３３は、画像と商品の在庫数とを基に、画像から商品の数を推定するモデルを生成する。

【0074】

本開示の第３の実施形態によると、店舗において、商品に関する質の良い学習データを効率的に取得し、検知精度の高い学習モデルを生成することができる。この理由は、在庫情報取得部３１が店舗のＰＯＳ端末から決済された商品の在庫数を含む在庫情報を取得すると、画像取得部３２が、店舗において商品を陳列する棚の画像を取得するからである。さらにモデル生成部３３が、当該画像と商品の在庫数とを基に、画像から商品の数を推定するモデルを生成するからである。

【0075】

＜ハードウェア構成＞
本開示の各実施形態において、学習モデル生成システム１００、２００に含まれる各装置（学習モデル生成装置１、１ａ、３０など）の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１２に示すような情報処理装置５００とプログラムとの任意の組み合わせにより実現される。情報処理装置５００は、一例として、以下のような構成を含む。

【0076】

・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０２
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０３
・ＲＡＭ５０３にロードされるプログラム５０４
・プログラム５０４を格納する記憶装置５０５
・記録媒体５０６の読み書きを行うドライブ装置５０７
・通信ネットワーク５０９と接続する通信インターフェース５０８
・データの入出力を行う入出力インターフェース５１０
・各構成要素を接続するバス５１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム５０４をＣＰＵ５０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム５０４は、例えば、予め記憶装置５０５やＲＡＭ５０３に格納されており、必要に応じてＣＰＵ５０１が読み出す。なお、プログラム５０４は、通信ネットワーク５０９を介してＣＰＵ５０１に供給されてもよいし、予め記録媒体５０６に格納されており、ドライブ装置５０７が当該プログラムを読み出してＣＰＵ５０１に供給してもよい。

【0077】

各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置５００とプログラムとの任意の組み合わせにより実現されてもよい。

【0078】

また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。

【0079】

各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。

【0080】

各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。

【0081】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
［付記１］
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得する在庫情報取得部と、
前記店舗において前記商品を陳列する棚の画像を取得する画像取得部と、
前記画像と前記商品の在庫数とを基に、前記画像から前記商品の数を推定するモデルを生成するモデル生成部と
を備える学習モデル生成装置。
［付記２］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記在庫情報取得部は、前記在庫情報を取得し、
前記画像取得部は、前記決済の後の前記画像を取得する
付記１に記載の学習モデル生成装置。
［付記３］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記画像取得部は前記決済の前の前記画像を取得する
付記１または付記２に記載の学習モデル生成装置。
［付記４］
前記決済の前の前記画像は、連続して撮影される画像から取得される
付記３に記載の学習モデル生成装置。
［付記５］
前記モデルは、
商品における、前記決済の前の前記棚における前記商品を陳列することができる陳列可能領域と、前記決済の後の前記陳列可能領域との第１差分を学習する第１モデルを含む
付記１に記載の学習モデル生成装置。
［付記６］
前記モデルは、
前記商品における、前記第１差分と、前記決済の前の在庫数と前記決済の後の在庫数との第２差分を基に、当該商品についての前記第１差分と前記第２差分との関連付けを学習する第２モデルを含む
付記５に記載の学習モデル生成装置。
［付記７］
前記第２モデルは、
前記商品についての前記第１差分と前記第２差分とを関連付けた変換表を作成する
付記６に記載の学習モデル生成装置。
［付記８］
付記１乃至付記７のいずれかに記載の学習モデル生成装置と、
前記画像を撮影し、前記学習モデル生成装置へ送信するカメラと、
前記ＰＯＳ端末と
を備える学習モデル生成システム。
［付記９］
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
ことを備える学習モデル生成方法。
［付記１０］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記在庫情報を取得することは、前記在庫情報を取得し、
前記棚の画像を取得することは、前記決済の後の前記画像を取得する
付記９に記載の学習モデル生成方法。
［付記１１］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記棚の画像を取得することは、前記決済の前の前記画像を取得する
付記９または付記１０に記載の学習モデル生成方法。
［付記１２］
前記決済の前の前記画像は、連続して撮影される画像から取得される
付記１１に記載の学習モデル生成方法。
［付記１３］
前記モデルは、
商品における、前記決済の前の前記棚における前記商品を陳列することができる陳列可能領域と、前記決済の後の前記陳列可能領域との第１差分を学習する第１モデルを含む
付記９に記載の学習モデル生成方法。
［付記１４］
前記モデルは、
前記商品における、前記第１差分と、前記決済の前の在庫数と前記決済の後の在庫数との第２差分を基に、当該商品についての前記第１差分と前記第２差分との関連付けを学習する第２モデルを含む
付記１３に記載の学習モデル生成方法。
［付記１５］
前記第２モデルは、
前記商品についての前記第１差分と前記第２差分とを関連付けた変換表を作成する
付記１４に記載の学習モデル生成方法。
［付記１６］
店舗のＰＯＳ端末から、決済された商品の在庫数を含む在庫情報を取得し、
前記店舗において前記商品を陳列する棚の画像を取得し、
前記画像と前記商品の在庫数とに基づき、前記画像から前記商品の数を推定するためのモデルを生成する
ことをコンピュータに実現させる学習モデル生成プログラムを格納する記録媒体。
［付記１７］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記在庫情報を取得することは、前記在庫情報を取得し、
前記棚の画像を取得することは、前記決済の後の前記画像を取得する
付記１６に記載の記録媒体。
［付記１８］
前記ＰＯＳ端末における前記商品の決済をトリガとして、
前記棚の画像を取得することは、前記決済の前の前記画像を取得する
付記１６または付記１７に記載の記録媒体。
［付記１９］
前記決済の前の前記画像は、連続して撮影される画像から取得される
付記１８に記載の記録媒体。
［付記２０］
前記モデルは、
商品における、前記決済の前の前記棚における前記商品を陳列することができる陳列可能領域と、前記決済の後の前記陳列可能領域との第１差分を学習する第１モデルを含む
付記１６に記載の記録媒体。
［付記２１］
前記モデルは、
前記商品における、前記第１差分と、前記決済の前の在庫数と前記決済の後の在庫数との第２差分を基に、当該商品についての前記第１差分と前記第２差分との関連付けを学習する第２モデルを含む
付記２０に記載の記録媒体。
［付記２２］
前記第２モデルは、
前記商品についての前記第１差分と前記第２差分とを関連付けた変換表を作成する
付記２１に記載の記録媒体。

【0082】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0083】

１ 学習モデル生成装置
１ａ 学習モデル生成装置
２ ＰＯＳ端末
３ カメラ
４ 通信ネットワーク
１１ 画像取得部
１１ａ 画像取得部
１２ 画像記憶部
１２ａ 画像記憶部
１２ｂ 画像記憶部
１３ 在庫情報取得部
１４ モデル生成部
１４ モデル生成部
１５ モデル記憶部
２１ 読み取り部
２２ 決済部
２３ 通知部
２４ マスタ管理部
２５ マスタ記憶部
３０ 学習モデル生成装置
３１ 在庫情報取得部
３２ 画像取得部
３３ モデル生成部
１００ 学習モデル生成システム
２００ 学習モデル生成システム
５００ 情報処理装置
５０１ ＣＰＵ
５０２ ＲＯＭ
５０３ ＲＡＭ
５０４ プログラム
５０５ 記憶装置
５０６ 記録媒体
５０７ ドライブ装置
５０８ 通信インターフェース
５０９ 通信ネットワーク
５１０ 入出力インターフェース
５１１ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】