特開2023-176099 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2023-176099学習用データ生成装置、学習用データ生成方法、及び、記録媒体

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4A
4B
5A
5B
6
7A
7B
8A
8B
8C
9
10
11
12
13A
13B
14
15
16
17
18A
18B
19
20
21
22

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023176099

(43)【公開日】2023-12-13

(54)【発明の名称】学習用データ生成装置、学習用データ生成方法、及び、記録媒体

(51)【国際特許分類】

G06T 7/00 20170101AFI20231206BHJP

G06Q 30/0601 20230101ALI20231206BHJP

【ＦＩ】

G06T7/00 350B

G06Q30/06 338

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022088198

(22)【出願日】2022-05-31

(71)【出願人】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪浩誉

(72)【発明者】

【氏名】金子智一

(72)【発明者】

【氏名】白石壮馬

(72)【発明者】

【氏名】坂井亮介

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB72

5L096FA18

5L096FA64

5L096GA10

5L096KA04

5L096MA03

(57)【要約】

【課題】商品の棚割の解析に利用される学習モデルの構築を効率的に行うことが可能な学習用データ生成装置等を提供する。
【解決手段】学習用データ生成装置において、取得手段は、所定の配置状態で配置されている物体を撮影することより得られた画像に相当する第１画像と、第１画像における所定の配置状態を示す情報に相当する第１情報と、を取得する。画像変形手段は、所望の物体の画像に相当する第２画像を変形する。画像生成手段は、第１画像、または、所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の第２画像を貼り付けることにより、所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成する。学習用データ生成手段は、第４画像と、第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得する取得手段と、
所望の物体の画像に相当する第２画像を変形する画像変形手段と、
前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成する画像生成手段と、
前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する学習用データ生成手段と、
を有する学習用データ生成装置。

【請求項2】

前記取得手段は、前記第１情報として、前記所定の配置状態で配置されている物体の周囲を囲むような形状を有する１つのまたは複数の矩形領域を示す情報を取得し、
前記画像変形手段は、前記矩形領域を前記第３画像のサイズに適合するように変形した変形後の前記矩形領域内に収まるように前記第２画像を変形し、
前記画像生成手段は、前記第３画像に対して前記変形後の前記第２画像を貼り付けることにより、前記第４画像を生成する請求項１に記載の学習用データ生成装置。

【請求項3】

前記画像変形手段は、前記第２画像のアスペクト比を維持した状態で前記第２画像を変形する請求項２に記載の学習用データ生成装置。

【請求項4】

前記画像変形手段は、前記変形後の前記矩形領域の短辺の長さまたは長辺の長さのいずれかを基準として設定した前記アスペクト比を用いて前記第２画像を変形する請求項３に記載の学習用データ生成装置。

【請求項5】

前記画像変形手段は、前記第２画像を変形する代わりに、前記変形後の前記矩形領域のアスペクト比に一致するまたは類似する一のアスペクト比を有する前記第２画像を取得し、
前記画像生成手段は、前記第３画像に対して前記一のアスペクト比を有する前記第２画像を貼り付けることにより、前記第４画像を生成する請求項２に記載の学習用データ生成装置。

【請求項6】

前記第２画像には、前記第４画像の生成時に既に貼り付けられた前記変形後の前記第２画像に類似する画像である第５画像が含まれ、
前記画像変形手段は、前記変形後の前記矩形領域内に収まるように前記第５画像を変形し、
前記画像生成手段は、前記第４画像の生成時に既に貼り付けられた前記変形後の前記第２画像に隣接する位置に前記変形後の第５画像を貼り付けることにより、前記第４画像を生成する請求項２に記載の学習用データ生成装置。

【請求項7】

前記取得手段は、前記第１情報として、前記所定の配置状態で配置されている物体の周囲を囲むような形状を有する１つのまたは複数の矩形領域を示す情報を取得し、
前記画像生成手段は、前記第１画像における前記矩形領域以外の領域に対して前記変形後の前記第２画像を貼り付けることにより、前記第４画像を生成する請求項１に記載の学習用データ生成装置。

【請求項8】

前記第２画像には、実在の物体の画像と、非実在の物体の画像と、が含まれる請求項１乃至７のいずれか一項に記載の学習用データ生成装置。

【請求項9】

所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得し、
所望の物体の画像に相当する第２画像を変形し、
前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成し、
前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する学習用データ生成方法。

【請求項10】

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習用データの生成に利用可能な技術に関する。

【背景技術】

【0002】

店舗内の商品棚を撮影した画像を含む学習用データを用いて学習した学習モデルにより、商品の棚割を解析する手法が従来知られている。また、実際の商品棚の画像に基づいて生成された新たな画像を前述の学習用データとして用いる手法が従来提案されている。

【0003】

具体的には、例えば、特許文献１には、商品（飲料品）が陳列される棚を背景とする背景画像に対して商品（コーヒー）の画像を合成することにより合成画像を生成し、当該合成画像に対応する属性情報（コントラスト、サイズ、回転角度及びノイズ）を調整することにより複数の合成画像を生成する技術が開示されている。また、特許文献１には、前述のように生成された複数の合成画像と、当該複数の合成画像各々に対応する商品情報に含まれる商品名称及び価格と、を含む教師データを学習することにより、学習モデルを生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２０－１１９２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１に開示された手法によれば、例えば、商品棚における商品の陳列状態が実在する商品の陳列状態とは著しく異なるような合成画像が高確率で生成され得るとともに、当該合成画像を含む教師データによる学習が行われることに起因し、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことができない、という課題が生じている。

【0006】

本開示の１つの目的は、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことが可能な学習用データ生成装置を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一つの観点では、学習用データ生成装置は、所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得する取得手段と、所望の物体の画像に相当する第２画像を変形する画像変形手段と、前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成する画像生成手段と、前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する学習用データ生成手段と、を有する。

【0008】

本開示の他の観点では、学習用データ生成方法は、所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得し、所望の物体の画像に相当する第２画像を変形し、前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成し、前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する。

【0009】

本開示のさらに他の観点では、記録媒体は、所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得し、所望の物体の画像に相当する第２画像を変形し、前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成し、前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する処理をコンピュータに実行させるプログラムを記録する。

【発明の効果】

【0010】

本開示によれば、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことが可能となる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る学習用データ生成装置を含むデータ処理システムの構成の一例を示す図。

【図2】第１実施形態に係る学習用データ生成装置のハードウェア構成を示すブロック図。

【図3】第１実施形態に係る学習用データ生成装置の機能構成を示すブロック図。

【図4A】第１実施形態に係る学習用データ生成装置の処理において用いられる背景画像の一例を示す図。

【図4B】第１実施形態に係る学習用データ生成装置の処理により生成される背景マスクの一例を示す図。

【図5A】第１実施形態に係る学習用データ生成装置の処理において用いられる棚割画像の一例を示す図。

【図5B】第１実施形態に係る学習用データ生成装置の処理において用いられる矩形情報の一例を示す図。

【図6】第１実施形態に係る学習用データ生成装置の処理により生成される矩形変形情報の一例を示す図。

【図7A】第１実施形態に係る学習用データ生成装置の処理において用いられる前景画像の一例を示す図。

【図7B】第１実施形態に係る学習用データ生成装置の処理により生成される前景マスクの一例を示す図。

【図8A】第１実施形態に係る学習用データ生成装置の処理により特定された矩形領域の位置を示す図。

【図8B】第１実施形態に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図。

【図8C】第１実施形態に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図。

【図9】第１実施形態に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図。

【図10】第１実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャート。

【図11】第１実施形態の変形例に係る学習用データ生成装置の機能構成を示すブロック図。

【図12】第１実施形態の変形例に係る学習用データ生成装置により行われる処理の一例を示す図。

【図13A】第１実施形態の変形例に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図。

【図13B】第１実施形態の変形例に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図。

【図14】第１実施形態の変形例に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図。

【図15】第２実施形態に係る学習用データ生成装置を含むデータ処理システムの構成の一例を示す図。

【図16】第２実施形態に係る学習用データ生成装置の機能構成を示すブロック図。

【図17】第２実施形態に係る学習用データ生成装置の処理により生成される矩形領域情報の一例を示す図。

【図18A】第２実施形態に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図。

【図18B】第２実施形態に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図。

【図19】第２実施形態に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図。

【図20】第２実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャート。

【図21】第３実施形態に係る学習用データ生成装置の機能構成を示すブロック図。

【図22】第３実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャート。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の好適な実施形態について説明する。

【0013】

＜第１実施形態＞
［システム構成］
図１は、第１実施形態に係る学習用データ生成装置を含むデータ処理システムの構成の一例を示す図である。データ処理システム１は、図１に示すように、学習用データ生成装置１００と、背景画像格納装置２００と、前景画像格納装置３００と、外部データ格納装置４００と、学習用データ格納装置５００と、を有している。

【0014】

学習用データ生成装置１００は、背景画像格納装置２００から取得した背景画像と、前景画像格納装置３００から取得した前景画像と、外部データ格納装置４００から取得した外部データと、に基づいて学習用データを生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0015】

背景画像格納装置２００は、例えば、１つのまたは複数の背景画像が格納されているデータベースとして構成されている。背景画像は、例えば、空の商品棚等のような、一の場所において商品が配置されていない状態を表す画像であればよい。換言すると、背景画像は、所望の商品の配置対象となる場所の画像であればよい。

【0016】

前景画像格納装置３００は、例えば、１つのまたは複数の前景画像が格納されているデータベースとして構成されている。前景画像は、例えば、商品棚等の場所に配置される所望の商品の画像であればよい。

【0017】

外部データ格納装置４００は、例えば、１つのまたは複数の外部データが格納されているデータベースとして構成されている。外部データには、商品棚等に実際に配置されている１つのまたは複数の商品の陳列状態（配置状態）を撮影することにより得られた画像に相当する棚割画像と、当該棚割画像における商品の配置位置を示す情報に相当する矩形情報と、が含まれている。換言すると、外部データには、所定の配置状態で配置されている物体を撮影することより得られた画像に相当する棚割画像と、当該棚割画像における当該所定の配置状態を示す情報に相当する矩形情報と、が含まれている。また、外部データの矩形情報には、棚割画像における商品の周囲を囲むような形状を有する１つのまたは複数の矩形領域の位置（座標）を示す情報が含まれている。

【0018】

学習用データ格納装置５００は、学習用データ生成装置１００から出力される学習用データを格納するためのデータベースとして構成されている。学習用データは、商品の棚割の解析に利用可能な学習モデルを構築するための学習に用いられるデータに相当する。具体的には、学習用データには、例えば、背景画像に対して前景画像を貼り付けることにより得られた合成画像と、当該合成画像における１つのまたは複数の商品の配置位置を示す情報に相当する矩形情報と、が含まれている。また、学習用データの矩形情報には、合成画像における商品の周囲を囲むような形状を有する１つのまたは複数の矩形領域の位置（座標）を示す情報が含まれている。なお、合成画像の生成方法の詳細については、後程説明する。

【0019】

［ハードウェア構成］
図２は、第１実施形態に係る学習用データ生成装置のハードウェア構成を示すブロック図である。学習用データ生成装置１００は、図２に示すように、インタフェース（ＩＦ）１１と、プロセッサ１２と、メモリ１３と、記録媒体１４と、を備える。

【0020】

ＩＦ１１は、外部装置との間でデータの入出力を行う。具体的には、例えば、背景画像、前景画像及び外部データ等が、ＩＦ１１を通じて入力される。また、学習用データ等が、ＩＦ１１を通じて外部装置へ出力される。

【0021】

プロセッサ１２は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）などのコンピュータであり、予め用意されたプログラムを実行することにより、学習用データ生成装置１００の全体を制御する。

【0022】

メモリ１３は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などにより構成される。メモリ１３は、プロセッサ１２による各種の処理の実行中に作業メモリとしても使用される。

【0023】

記録媒体１４は、ディスク状記録媒体、半導体メモリなどの不揮発性で非一時的な記録媒体であり、学習用データ生成装置１００に対して着脱可能に構成される。記録媒体１４は、プロセッサ１２が実行する各種のプログラムを記録している。サーバ装置１００が各種の処理を実行する際には、記録媒体１４に記録されているプログラムがメモリ１３にロードされ、プロセッサ１２により実行される。

【0024】

［機能構成］
図３は、第１実施形態に係る学習用データ生成装置の機能構成を示すブロック図である。学習用データ生成装置１００は、図３に示すように、背景マスク生成部１１１と、矩形領域変形部１１２と、前景マスク生成部１１３と、前景変形部１１４と、合成画像生成部１１５と、矩形情報生成部１１６と、を有している。

【0025】

背景マスク生成部１１１は、背景画像格納装置２００から背景画像を取得し、当該取得した背景画像に基づいて背景マスクを生成し、当該背景画像及び当該背景マスクを合成画像生成部１１５へ出力する。背景マスクは、例えば、背景画像全域を黒等の所定の色により塗りつぶした画像として生成される。

【0026】

矩形領域変形部１１２は、外部データ格納装置４００から取得した外部データの棚割画像のサイズに基づき、当該外部データの矩形情報に含まれる矩形領域各々を、背景マスク生成部１１１により取得されたものと同じ背景画像のサイズに適合するように変形する処理を行う。また、矩形領域変形部１１２は、前述の処理により得られた変形後の矩形領域各々の位置（座標）を示す情報を含む矩形変形情報を生成し、当該生成した矩形変形情報を前景変形部１１４及び合成画像生成部１１５へ出力する。

【0027】

前景マスク生成部１１３は、前景画像格納装置３００から取得した前景画像に基づいて前景マスクを生成し、当該前景画像及び当該前景マスクを前景変形部１１４へ出力する。前景マスクは、例えば、前景画像に含まれる商品の内側を白等の所定の色で着色し、かつ、当該前景画像に含まれる当該商品の外側を当該所定の色とは異なる色で着色した画像として生成される。なお、前景画像の商品の内側を着色する際に用いられる色は、背景画像全域を塗りつぶす際に用いられる色とは異なる色であればよい。

【0028】

前景変形部１１４は、前景マスク生成部１１３から取得した前景画像及び前景マスクを、矩形領域変形部１１２から取得した矩形変形情報により示される変形後の矩形領域内に収まるように変形する処理を行う。また、前景変形部１１４は、前述の処理により得られた変形後の前景画像及び変形後の前景マスクを合成画像生成部１１５へ出力する。

【0029】

なお、以降においては、特に言及のない限り、前景画像に含まれる商品の部分については前景変形部１１４による変形が行われる一方で、当該前景画像に含まれる当該商品以外の部分については変形時に破棄されるものとする。また、以降においては、特に言及のない限り、前景マスクのうちの所定の色で着色された部分については前景変形部１１４による変形が行われる一方で、当該前景マスクのうちの当該所定の色とは異なる色で着色された部分については変形時に破棄されるものとする。

【0030】

合成画像生成部１１５は、矩形領域変形部１１２から取得した矩形変形情報に基づき、背景マスク生成部１１１から取得した背景画像における変形後の矩形領域の位置を、変形後の前景画像の貼付位置として特定する処理を行う。また、合成画像生成部１１５は、前述の処理により背景画像内の位置が特定された変形後の矩形領域に対し、前景変形部１１４から取得した変形後の前景画像を貼り付けることにより、合成画像を生成する。また、合成画像生成部１１５は、背景マスク生成部１１１から取得した背景マスクに対し、前景変形部１１４から取得した変形後の前景マスクを貼り付けることにより、合成マスクを生成する。なお、背景マスクにおける変形後の前景マスクの貼付位置は、合成画像における変形後の前景画像の貼付位置と同じ位置に設定される。また、合成画像生成部１１５は、前述のように生成した合成画像及び合成マスクを矩形情報生成部１１６へ出力する。

【0031】

矩形情報生成部１１６は、合成画像生成部１１５から取得した合成マスクに基づき、当該合成マスクと併せて取得した合成画像における１つのまたは複数の商品の配置位置を示す情報に相当する矩形情報を生成する。矩形情報生成部１１６により生成される矩形情報には、合成画像における商品の周囲を囲むような形状を有する１つのまたは複数の矩形領域の位置（座標）を示す情報が含まれている。換言すると、矩形情報生成部１１６により生成される矩形情報には、合成画像における商品の配置状態を示す情報が含まれている。また、矩形情報生成部１１６は、合成画像生成部１１５から取得した合成画像と、前述のように生成した矩形情報と、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0032】

［学習用データ生成装置により行われる処理の具体例］
続いて、第１実施形態に係る学習用データ生成装置において行われる処理の具体例について説明する。

【0033】

背景マスク生成部１１１は、例えば、図４Ａに示すような背景画像ＧＢを背景画像格納装置２００から取得し、当該背景画像ＧＢに基づいて図４Ｂに示すような背景マスクＭＢを生成する。また、背景マスク生成部１１１は、背景画像ＧＢ及び背景マスクＭＢを合成画像生成部１１５へ出力する。図４Ａは、第１実施形態に係る学習用データ生成装置の処理において用いられる背景画像の一例を示す図である。図４Ｂは、第１実施形態に係る学習用データ生成装置の処理により生成される背景マスクの一例を示す図である。

【0034】

図４Ａの背景画像ＧＢは、横長の陳列スペースＤＳＡ及び陳列スペースＤＳＢを上下方向に備えた空の商品棚ＳＤ全体を撮影することにより得られた画像に相当する。また、図４Ｂの背景マスクＭＢは、背景画像ＧＢ全域を所定の色により塗りつぶした画像に相当する。なお、図４Ｂ等の一部の図面においては、図示の便宜上、画像内の塗りつぶし部分をハッチングにより表している。

【0035】

矩形領域変形部１１２は、例えば、図５Ａに示すような棚割画像ＧＴと、図５Ｂに示すような矩形情報ＳＫＪと、を含む外部データを外部データ格納装置４００から取得する。図５Ａは、第１実施形態に係る学習用データ生成装置の処理において用いられる棚割画像の一例を示す図である。図５Ｂは、第１実施形態に係る学習用データ生成装置の処理において用いられる矩形情報の一例を示す図である。

【0036】

図５Ａの棚割画像ＧＴは、複数の商品が陳列されている横長の陳列スペースＤＳＣ及び陳列スペースＤＳＤを上下方向に備えた商品棚の一部を撮影することにより得られた画像に相当する。また、矩形情報ＳＫＪには、例えば、図５Ｂに示すように、商品各々が棚割画像ＧＴ内のどの位置に配置されているかを特定可能な情報である複数の矩形領域ＲＡの位置（座標）を示す情報が含まれている。

【0037】

また、矩形領域変形部１１２は、棚割画像ＧＴのサイズに基づき、矩形情報ＳＫＪに含まれる矩形領域各々を、背景画像ＧＢのサイズに適合するように変形する処理を行う。このような処理によれば、例えば、矩形情報ＳＫＪに含まれる矩形領域各々が、一律に拡大または縮小される。また、矩形領域変形部１１２は、前述の処理により得られた変形後の矩形領域各々の位置（座標）を示す情報を含む矩形変形情報ＫＨＪを生成し、当該生成した矩形変形情報ＫＨＪを前景変形部１１４及び合成画像生成部１１５へ出力する。

【0038】

具体的には、矩形領域変形部１１２は、例えば、棚割画像ＧＴのサイズが背景画像ＧＢのサイズよりも大きい場合には、複数の矩形領域ＲＡを当該棚割画像ＧＴのサイズに基づいて一律に縮小することにより、図６に示すような、変形後の複数の矩形領域ＨＡの位置（座標）を示す情報を含む矩形変形情報ＫＨＪを生成する。そして、矩形領域変形部１１２は、図６に示すような、複数の矩形領域ＨＡの位置（座標）を示す情報を含む矩形変形情報ＫＨＪを前景変形部１１４及び合成画像生成部１１５へ出力する。図６は、第１実施形態に係る学習用データ生成装置の処理により生成される矩形変形情報の一例を示す図である。

【0039】

なお、矩形領域変形部１１２は、外部データ格納装置４００に格納されている外部データの中から、背景画像ＧＢのアスペクト比に一致するまたは類似するアスペクト比の棚割画像ＧＴが含まれるデータを選択的に取得するようにしてもよい。また、矩形領域変形部１１２は、矩形領域ＲＡを矩形領域ＨＡに変形する際に、当該矩形領域ＲＡのアスペクト比を維持した状態で変形してもよく、または、当該矩形領域ＲＡのアスペクト比を無視して変形してもよい。

【0040】

前景マスク生成部１１３は、例えば、図７Ａに示すような前景画像ＧＦを前景画像格納装置３００から取得し、当該前景画像ＧＦに基づいて図７Ｂに示すような前景マスクＭＦを生成する。また、前景マスク生成部１１３は、前景画像ＧＦ及び前景マスクＭＦを前景変形部１１４へ出力する。図７Ａは、第１実施形態に係る学習用データ生成装置の処理において用いられる前景画像の一例を示す図である。図７Ｂは、第１実施形態に係る学習用データ生成装置の処理により生成される前景マスクの一例を示す図である。

【0041】

図７Ａの前景画像ＧＦは、１つの商品ＳＨを含む画像に相当する。また、図７Ｂの前景マスクＭＦは、前景画像ＧＦに含まれる商品ＳＨの内側を白色で着色し、かつ、当該商品ＳＨの外側を白色とは異なる色で着色した画像に相当する。

【0042】

前景変形部１１４は、前景画像ＧＦ及び前景マスクＭＦを、矩形領域変形部１１２から取得した矩形変形情報ＫＨＪにより示される矩形領域ＨＡ内に収まるように変形する処理を行う。また、前景変形部１１４は、前述の処理により得られた変形後の前景画像ＧＨＦ及び変形後の前景マスクＭＨＦを合成画像生成部１１５へ出力する。

【0043】

前景画像ＧＨＦは、図７Ａの前景画像ＧＦに含まれる商品ＳＨを変形した画像に相当する。また、前景マスクＭＨＦは、図７Ｂの前景マスクＭＦに含まれる商品ＳＨを表す部分を変形した画像に相当する。

【0044】

なお、前景変形部１１４は、前景マスクＭＦを前景マスクＭＨＦに変形する処理として、前景画像ＧＦを前景画像ＧＨＦに変形する処理と同様の処理を行えばよい。また、前景変形部１１４は、前景画像ＧＦを変形する際に、当該前景画像ＧＦのアスペクト比を維持した状態で変形してもよく、または、当該前景画像ＧＦのアスペクト比を無視して変形してもよい。また、前景変形部１１４は、アスペクト比を維持しつつ前景画像ＧＦを変形する場合に、矩形領域ＨＡの短辺の長さまたは長辺の長さのいずれかを基準として設定したアスペクト比を用いて変形してもよい。また、前景変形部１１４は、例えば、前景マスク生成部１１３から取得した複数組の前景画像ＧＦ及び前景マスクＭＦの中から、矩形領域ＨＡのアスペクト比に一致するまたは類似する一のアスペクト比を有する一組の前景画像ＧＡＦ及び前景マスクＭＡＦを抽出し、当該抽出した前景画像ＧＡＦ及び前景マスクＭＡＦを合成画像生成部１１５へ出力するようにしてもよい。また、前景変形部１１４は、前景マスク生成部１１３から取得した複数組の前景画像ＧＦ及び前景マスクＭＦにおける矩形領域ＨＡのアスペクト比に近いものの中から、一組の前景画像ＧＡＦ及び前景マスクＭＡＦをランダムに抽出するようにしてもよい。

【0045】

合成画像生成部１１５は、矩形領域変形部１１２から取得した矩形変形情報ＫＨＪに基づき、背景マスク生成部１１１から取得した背景画像ＧＢにおける複数の矩形領域ＨＡ各々の位置を、変形後の前景画像の貼付位置として特定する処理を行う。また、合成画像生成部１１５は、前述の処理により背景画像ＧＢ内の位置が特定された複数の矩形領域ＨＡ各々に対し、前景変形部１１４から取得した前景画像ＧＨＦを貼り付けることにより、合成画像ＧＣを生成する。また、合成画像生成部１１５は、背景マスク生成部１１１から取得した背景マスクＭＢに対し、前景変形部１１４から取得した変形後の前景マスクＭＨＦを貼り付けることにより、合成マスクＭＣを生成する。また、合成画像生成部１１５は、前述のように生成した合成画像ＧＣ及び合成マスクＭＣを矩形情報生成部１１６へ出力する。

【0046】

具体的には、合成画像生成部１１５は、例えば、背景画像ＧＢにおける複数の矩形領域ＨＡ各々の位置を、図８Ａに示すような位置として特定する。また、合成画像生成部１１５は、例えば、図８Ａに示すような位置として特定した複数の矩形領域ＨＡ各々に対して前景画像ＧＨＦを貼り付けることにより、図８Ｂに示すような合成画像ＧＣを生成する。また、合成画像生成部１１５は、例えば、図８Ｂに示すような合成画像ＧＣにおける前景画像ＧＨＦの貼付位置に基づき、前景マスクＭＨＦを背景マスクＭＢに貼り付けることにより、図８Ｃに示すような合成マスクＭＣを生成する。図８Ａは、第１実施形態に係る学習用データ生成装置の処理により特定された矩形領域の位置を示す図である。図８Ｂは、第１実施形態に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図である。図８Ｃは、第１実施形態に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図である。

【0047】

図８Ｂの合成画像ＧＣは、図５Ａの棚割画像ＧＴにおける商品の配置状態に類似する配置状態を有する画像として生成される。すなわち、合成画像生成部１１５は、矩形変形情報ＫＨＪに基づき、背景画像ＧＢに対して変形後の前景画像ＧＨＦを貼り付けることにより、矩形情報ＳＫＪにより示される配置状態に類似する配置状態を有する合成画像ＧＣを生成することができる。また、合成画像生成部１１５は、例えば、棚割画像ＧＴに含まれる商品棚と、背景画像ＧＢに含まれる商品棚と、が同一の撮影条件で撮影されているような場合等において、前述の手法と同様の手法を用いることにより、矩形情報ＳＫＪにより示される商品の配置状態に一致する配置状態を有する合成画像ＧＣを生成することができる。

【0048】

矩形情報生成部１１６は、合成画像生成部１１５から取得した合成マスクＭＣに基づき、例えば、図９に示すような、当該合成マスクＭＣと併せて取得した合成画像ＧＣにおける商品各々の配置位置を示す矩形情報ＥＫＪを生成する。また、矩形情報生成部１１６は、合成画像ＧＣと、矩形情報ＥＫＪと、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。図９は、第１実施形態に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図である。

【0049】

矩形情報ＥＫＪには、商品各々が合成画像ＧＣ内のどの位置に配置されているかを特定可能な情報である複数の矩形領域ＥＡの位置（座標）を示す情報が含まれている。換言すると、矩形情報ＥＫＪには、合成画像ＧＣにおける商品の配置状態を示す情報が含まれている。

【0050】

なお、本実施形態によれば、メタデータを付加した背景画像が背景画像格納装置２００に格納されていてもよい。

【0051】

具体的には、例えば、背景画像のメタデータとして、商品棚ＳＤの形状に対応する多角形の頂点の位置を示すデータが付加されていてもよい。そして、このようなメタデータが背景画像に付加されている場合には、例えば、商品棚ＳＤの陳列スペースＤＳＡ及び陳列スペースＤＳＢの内部に商品が配置されるように変形後の前景画像を貼り付けた合成画像を生成することができる。

【0052】

また、例えば、背景画像のメタデータとして、商品棚ＳＤにおける棚段の位置を示すデータが付加されていてもよい。そして、このようなメタデータが背景画像に付加されている場合には、例えば、商品棚ＳＤにおける棚段に沿って商品が配置されるように変形後の前景画像を貼り付けた合成画像を生成することができる。

【0053】

また、例えば、背景画像のメタデータとして、商品棚ＳＤにおける商品の配置位置を示すデータが付加されていてもよい。そして、このようなメタデータが背景画像に付加されている場合には、例えば、商品棚ＳＤにおける所定の位置に商品が配置されるように変形後の前景画像を貼り付けた合成画像を生成することができる。

【0054】

一方、本実施形態によれば、メタデータを付加した前景画像が前景画像格納装置３００に格納されていてもよい。

【0055】

具体的には、例えば、前景画像のメタデータとして、商品の向きを示す回転角を示すデータが付加されていてもよい。そして、このようなメタデータが前景画像に付加されている場合には、例えば、変形後の前景画像が背景画像に貼り付けられる際に、商品の向きが正面方向から離れた画像が貼り付けられる確率を、商品の向きが正面方向の画像が貼り付けられる確率よりも低い確率に設定することができる。

【0056】

［処理フロー］
続いて、第１実施形態に係る学習用データ生成装置において行われる処理の流れについて説明する。図１０は、第１実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャートである。

【0057】

まず、背景マスク生成部１１１は、背景画像格納装置２００から取得した背景画像に基づいて背景マスクを生成し（ステップＳ１１）、当該背景画像及び当該背景マスクを合成画像生成部１１５へ出力する。

【0058】

次に、矩形領域変形部１１２は、外部データ格納装置４００から取得した外部データの棚割画像のサイズに基づき、当該外部データの矩形情報に含まれる矩形領域各々を、ステップＳ１１における背景マスクの生成に用いた背景画像のサイズに適合するように変形する処理を行う（ステップＳ１２）。また、矩形領域変形部１１２は、ステップＳ１２の処理により得られた変形後の矩形領域各々の位置（座標）を示す情報を含む矩形変形情報を生成し、当該生成した矩形変形情報を前景変形部１１４及び合成画像生成部１１５へ出力する。

【0059】

前景マスク生成部１１３は、前景画像格納装置３００から取得した前景画像に基づいて前景マスクを生成し（ステップＳ１３）、当該前景画像及び当該前景マスクを前景変形部１１４へ出力する。

【0060】

続いて、前景変形部１１４は、ステップＳ１３により生成された前景マスク、及び、当該前景マスクの生成に用いた前景画像を、矩形変形情報により示される変形後の矩形領域内に収まるように変形する処理を行う（ステップＳ１４）。また、前景変形部１１４は、変形後の前景画像及び変形後の前景マスクを合成画像生成部１１５へ出力する。

【0061】

続いて、合成画像生成部１１５は、背景画像における変形後の矩形領域各々の位置を矩形変形情報に基づいて特定した（ステップＳ１５）後、当該変形後の矩形領域各々に対して変形後の前景画像を貼り付けることにより合成画像を生成する（ステップＳ１６）。また、合成画像生成部１１５は、合成画像における変形後の前景画像の貼付位置を参照しつつ、背景マスクに対して変形後の前景マスクを貼り付けることにより、合成マスクを生成する（ステップＳ１６）。また、合成画像生成部１１５は、合成画像及び合成マスクを矩形情報生成部１１６へ出力する。

【0062】

矩形情報生成部１１６は、ステップＳ１６により生成された合成マスクに基づき、当該合成マスクの生成に用いた合成画像に対応する矩形情報を生成する（ステップＳ１７）。また、矩形情報生成部１１６は、ステップＳ１６により生成された合成画像と、ステップＳ１７により生成された矩形情報と、を含むデータを学習用データとして生成し（ステップＳ１８）、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0063】

以上に述べたように、本実施形態によれば、外部データの棚割画像における商品の陳列状態と同様の陳列状態になるように商品が配置された合成画像を生成することができるとともに、当該合成画像を含む学習用データを生成することができる。また、本実施形態によれば、外部データの矩形情報に含まれる矩形領域を変形し、変形後の矩形領域に応じたサイズ及び／またはアスペクト比を有するように前景画像を変形し、変形後の前景画像を用いて合成画像を生成することができる。そのため、本実施形態によれば、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことができる。

【0064】

［変形例］
以下、上記の実施形態に対する変形例を説明する。なお、以降においては、簡単のため、既述の処理等を適用可能な部分に関する具体的な説明を適宜省略するものとする。

【0065】

（変形例１）
前景画像格納装置３００に格納される前景画像は、実在の商品の画像に限らず、例えば、学習済の画像生成モデルにより生成された非実在の商品の画像であってもよい。前述の画像生成モデルは、例えば、実在の商品の画像と、非実在の商品の画像と、を交互に入力しつつ真贋判定を行うことにより得られた判定結果に応じた学習を行うことが可能なＧＡＮ（ＧｅｎｅｒａｔｉｖｅＡｄｖｅｒｓａｒｉａｌＮｅｔｗｏｒｋ）の一部として構築することができる。また、前述の画像生成モデルは、非実在の商品の画像として、ＲＧＢ画像と、前景マスクの代わりに利用可能なαチャンネル画像と、を同時に生成するように構築されていてもよい。また、前述の画像生成モデルは、例えば、商品カテゴリのメタ情報を含めた学習を行うことが可能なＣｏｎｄｉｔｉｏｎａｌＧＡＮの一部として構築することができる。そして、ＣｏｎｄｉｔｉｏｎａｌＧＡＮの一部として構築された学習済の画像生成モデルによれば、例えば、商品棚の種類に応じたカテゴリ等のような、所望のカテゴリに該当する非実在の商品の画像を生成することができる。

【0066】

合成画像生成部１１５は、背景画像に対して貼り付ける変形後の前景画像として、非実在の商品の画像のみを用いて合成画像を生成するようにしてもよい。また、合成画像生成部１１５は、背景画像に対して貼り付ける変形後の前景画像として、実在の商品の画像と、非実在の商品の画像と、を選択的に用いつつ合成画像を生成するようにしてもよい。

【0067】

以上に述べたように、本変形例によれば、非実在の商品を含む合成画像を生成することができるとともに、当該合成画像を含む学習用データを生成することができる。そのため、本変形例によれば、例えば、商品の棚割の解析に利用される学習モデルとして、既存の商品と、当該既存の商品のバリエーションとして将来発表され得る未発表の商品と、の両方に対応可能な学習モデルを構築することができる。

【0068】

（変形例２）
図１１は、第１実施形態の変形例に係る学習用データ生成装置の機能構成を示すブロック図である。

【0069】

学習用データ生成装置１００Ｐは、学習用データ生成装置１００と同様のハードウェア構成を有している。また、学習用データ生成装置１００Ｐは、図１１に示すように、背景マスク生成部１１１と、矩形領域変形部１１２と、前景マスク生成部１２３と、前景変形部１２４と、合成画像生成部１２５と、矩形情報生成部１１６と、隣接矩形設定部１１８と、類似画像取得部１１９と、を有している。

【0070】

隣接矩形設定部１１８は、矩形領域変形部１１２から取得した矩形変形情報に含まれるいずれか一の変形後の矩形領域を、合成画像生成部１２５による合成画像の生成時に変形後の前景画像が既に貼り付けられた位置に隣接する位置（変形後の前景画像の次の貼付位置）の矩形領域として設定する。また、隣接矩形設定部１１８は、前述のように設定した一の変形後の矩形領域を示す情報である矩形設定情報を前景変形部１２４及び合成画像生成部１２５へ出力する。なお、隣接矩形設定部１１８は、変形後の前景画像が最初の貼付位置に貼り付けられる場合には、矩形領域変形部１１２から取得した矩形変形情報に含まれる当該最初の貼付位置に対応する一の変形後の矩形領域を示す情報を前景変形部１２４及び合成画像生成部１２５へ出力する。

【0071】

類似画像取得部１１９は、合成画像生成部１２５による合成画像の生成時に既に貼り付けられた変形後の前景画像に類似する前景画像を前景画像格納装置３００から取得し、当該取得した前景画像を前景マスク生成部１２３へ出力する。なお、類似画像取得部１１９は、変形後の前景画像が最初の貼付位置に貼り付けられる場合には、前景画像格納装置３００からの前景画像の取得を行わない。

【0072】

前景マスク生成部１２３は、前景画像格納装置３００から取得した前景画像に基づいて前景マスクを生成し、当該前景画像及び当該前景マスクを前景変形部１２４へ出力する。また、前景マスク生成部１２３は、類似画像取得部１１９から取得した前景画像に基づいて前景マスクを生成し、当該前景画像及び当該前景マスクを前景変形部１２４へ出力する。

【0073】

前景変形部１２４は、前景マスク生成部１２３から取得した前景画像及び前景マスクを、隣接矩形設定部１１８から取得した矩形設定情報により示される一の変形後の矩形領域内に収まるように変形する処理を行う。前景変形部１２４による変形対象の画像には、前景画像格納装置３００から取得された前景画像と、類似画像取得部１１９から取得された前景画像と、が含まれている。また、前景変形部１２４は、前述の処理により得られた変形後の前景画像及び変形後の前景マスクを合成画像生成部１２５へ出力する。

【0074】

合成画像生成部１２５は、矩形領域変形部１１２から取得した矩形変形情報に基づき、背景マスク生成部１１１から取得した背景画像における変形後の矩形領域の位置を、変形後の前景画像の貼付位置として特定する処理を行う。また、合成画像生成部１２５は、前述の貼付位置における変形後の矩形領域を、隣接矩形設定部１１８から取得した矩形設定情報により示される一の変形後の矩形領域に置き換える。なお、最初の貼付位置においては、矩形領域変形部１１２から取得した矩形変形情報により示される変形後の矩形領域と、隣接矩形設定部１１８から取得した矩形設定情報により示される変形後の矩形領域と、が同じものとなる。また、合成画像生成部１２５は、変形後の矩形領域に対し、前景変形部１２４から取得した変形後の前景画像を貼り付ける処理を行うことにより、合成画像を生成する。また、合成画像生成部１２５は、背景マスク生成部１１１から取得した背景マスクに対し、前景変形部１２４から取得した変形後の前景マスクを貼り付けることにより、合成マスクを生成する。なお、背景マスクにおける変形後の前景マスクの貼付位置は、合成画像における変形後の前景画像の貼付位置と同じ位置に設定される。また、合成画像生成部１２５は、前述のように生成した合成画像及び合成マスクを矩形情報生成部１１６へ出力する。

【0075】

続いて、本変形例に係る学習用データ生成装置において行われる処理の具体例について説明する。

【0076】

隣接矩形設定部１１８は、矩形変形情報ＫＨＪに含まれるいずれか一の変形後の矩形領域ＨＡＰを、変形後の前景画像の次の貼付位置の矩形領域として設定する。また、隣接矩形設定部１１８は、前述のように設定した矩形領域ＨＡＰを示す矩形設定情報ＫＳＪを前景変形部１２４及び合成画像生成部１２５へ出力する。なお、隣接矩形設定部１１８の処理は、例えば、図１０の処理フローにおいて、ステップＳ１２の直後からステップＳ１４の直前までの間に行われればよい。

【0077】

類似画像取得部１１９は、合成画像生成部１２５による合成画像の生成時に既に貼り付けられた変形後の前景画像に類似する前景画像ＧＦＱを前景画像格納装置３００から取得し、当該取得した前景画像ＧＦＰを前景マスク生成部１２３へ出力する。

【0078】

なお、類似画像取得部１１９は、例えば、前景画像のメタデータとしてＪＡＮ（ＪａｐａｎｅｓｅＡｒｔｉｃｌｅＮｕｍｂｅｒ）コードが付加されている場合に、当該ＪＡＮコードと同じコードの画像を前景画像ＧＦＱとして前景画像格納装置３００から取得してもよい。また、類似画像取得部１１９は、前景画像のメタデータとしてＪＡＮコードが付加されている場合に、当該ＪＡＮコードを用いてＪＩＣＦＳ（ＪＡＮＩｔｅｍＣｏｄｅＦｉｌｅＳｅｒｖｉｃｅ）等のデータベースを検索することにより得られた検索結果に基づき、合成画像生成部１２５による合成画像の生成時に既に貼り付けられた変形後の前景画像の商品に類似するカテゴリに属する商品の画像を前景画像ＧＦＱとして前景画像格納装置３００から取得してもよい。また、類似画像取得部１１９は、例えば、合成画像生成部１２５による合成画像の生成時に既に貼り付けられた変形後の前景画像の特徴に類似する特徴を有する前景画像ＧＦＱを前景画像格納装置３００から取得するようにしてもよい。

【0079】

前景マスク生成部１２３は、前景画像格納装置３００から取得した前景画像ＧＦＰに基づいて前景マスクＭＦＰを生成し、当該前景画像ＧＦＰ及び当該前景マスクＭＦＰを前景変形部１２４へ出力する。また、前景マスク生成部１２３は、類似画像取得部１１９から取得した前景画像ＧＦＱに基づいて前景マスクＭＦＱを生成し、当該前景画像ＧＦＱ及び当該前景マスクＭＦＱを前景変形部１２４へ出力する。

【0080】

前景変形部１２４は、前景画像ＧＦＰ及び前景マスクＭＦＰを、隣接矩形設定部１１８から取得した矩形設定情報により示される矩形領域内に収まるように変形する処理を行う。また、前景変形部１２４は、前述の処理により得られた変形後の前景画像ＧＨＦＰ及び変形後の前景マスクＭＨＦＰを合成画像生成部１２５へ出力する。また、前景変形部１２４は、前景画像ＧＦＱ及び前景マスクＭＦＱを、隣接矩形設定部１１８から取得した矩形設定情報により示される矩形領域内に収まるように変形する処理を行う。また、前景変形部１２４は、前述の処理により得られた変形後の前景画像ＧＨＦＱ及び変形後の前景マスクＭＨＦＱを合成画像生成部１２５へ出力する。

【0081】

合成画像生成部１２５は、矩形領域変形部１１２から取得した矩形変形情報ＫＨＪに基づき、背景マスク生成部１１１から取得した背景画像ＧＢにおける複数の矩形領域ＨＡ各々の位置を、変形後の前景画像の貼付位置として特定する処理を行う。また、合成画像生成部１２５は、前述の貼付位置における変形後の矩形領域ＨＡを、隣接矩形設定部１１８から取得した矩形設定情報ＫＳＪにより示される変形後の矩形領域ＨＡＰに置き換える。なお、最初の貼付位置においては、例えば、矩形変形情報ＫＨＪにより示される矩形領域ＨＡと、矩形設定情報ＫＳＪにより示される矩形領域ＨＡＰと、が一致するような置き換えが行われればよい。そして、このような処理によれば、例えば、図１２に示すように、矩形変形情報ＫＨＪに含まれる互いに異なるサイズを有する複数の矩形領域ＨＡを、互いに同じサイズを有する複数の矩形領域ＨＡＰに置き換えることができる。図１２は、第１実施形態の変形例に係る学習用データ生成装置により行われる処理の一例を示す図である。また、合成画像生成部１２５は、矩形領域ＨＡＰに対し、前景変形部１２４から取得した変形後の前景画像ＧＨＦＰ及び前景画像ＧＨＦＱを選択的に貼り付ける処理を行うことにより、図１３Ａに例示するような合成画像ＧＣＰを生成する。また、合成画像生成部１２５は、背景マスクＭＢに対し、前景変形部１２４から取得した変形後の前景マスクＭＨＦＰ及び変形後の前景マスクＭＨＦＱを貼り付けることにより、図１３Ｂに例示するような合成マスクＭＣＰを生成する。また、合成画像生成部１２５は、前述のように生成した合成画像ＧＣＰ及び合成マスクＭＣＰを矩形情報生成部１１６へ出力する。図１３Ａは、第１実施形態の変形例に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図である。図１３Ｂは、第１実施形態の変形例に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図である。

【0082】

図１３Ａの合成画像ＧＣＰは、図５Ａの棚割画像ＧＴにおける商品の配置状態に類似する配置状態を有する画像として生成される。すなわち、合成画像生成部１２５は、矩形変形情報ＫＨＪ及び矩形設定情報ＫＳＪに基づき、背景画像ＧＢに対して変形後の前景画像ＧＨＦＰ及び前景画像ＧＨＦＱを選択的に貼り付けることにより、矩形情報ＳＫＪにより示される配置状態に類似する配置状態を有する合成画像ＧＣＰを生成することができる。

【0083】

矩形情報生成部１１６は、合成画像生成部１２５から取得した合成マスクＭＣＰに基づき、例えば、図１４に示すような、当該合成マスクＭＣＰと併せて取得した合成画像ＧＣＰにおける商品各々の配置位置を示す矩形情報ＥＫＪＰを生成する。また、矩形情報生成部１１６は、合成画像ＧＣＰと、矩形情報ＥＫＪＰと、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。図１４は、第１実施形態の変形例に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図である。

【0084】

矩形情報ＥＫＪＰには、商品各々が合成画像ＧＣＰ内のどの位置に配置されているかを特定可能な情報である複数の矩形領域ＥＡＰの位置（座標）を示す情報が含まれている。換言すると、矩形情報ＥＫＪＰには、合成画像ＧＣＰにおける商品の配置状態を示す情報が含まれている。

【0085】

以上に述べたように、本変形例によれば、例えば、互いに類似する商品同士が近い位置に配置されているような、実店舗の陳列状態に近い陳列状態で商品が配置された合成画像を生成することができるとともに、当該合成画像を含む学習用データを生成することができる。そのため、本変形例によれば、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことができる。

【0086】

＜第２実施形態＞
［システム構成］
図１５は、第２実施形態に係る学習用データ生成装置を含むデータ処理システムの構成の一例を示す図である。データ処理システム１Ａは、図１５に示すように、学習用データ生成装置１００Ａと、前景画像格納装置３００と、外部データ格納装置４００と、学習用データ格納装置５００と、を有している。

【0087】

学習用データ生成装置１００Ａは、背景画像格納装置２００から取得した背景画像と、前景画像格納装置３００から取得した前景画像と、外部データ格納装置４００から取得した外部データと、に基づいて学習用データを生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0088】

［ハードウェア構成］
学習用データ生成装置１００Ａは、学習用データ生成装置１００と同様のハードウェア構成を有している。

【0089】

［機能構成］
図１６は、第２実施形態に係る学習用データ生成装置の機能構成を示すブロック図である。

【0090】

学習用データ生成装置１００Ａは、図１６に示すように、背景マスク生成部１３１と、矩形領域特定部１３２と、前景マスク生成部１１３と、前景変形部１３４と、合成画像生成部１３５と、矩形情報生成部１３６と、を有している。

【0091】

背景マスク生成部１３１は、外部データ格納装置４００から取得した外部データの棚割画像に基づいて背景マスクを生成し、当該棚割画像と、当該外部データの矩形情報と、当該背景マスクと、を矩形領域特定部１３２へ出力する。背景マスクは、例えば、棚割画像全域を黒等の所定の色により塗りつぶした画像として生成される。

【0092】

矩形領域特定部１３２は、背景マスク生成部１３１から取得した背景マスク及び矩形情報に基づき、当該矩形情報に含まれる矩形領域各々が当該背景マスクのどの位置に対応しているかを特定可能な情報である矩形領域情報を生成する。また、矩形領域特定部１３２は、矩形領域情報を付加した背景マスクと、棚割画像と、を合成画像生成部１３５へ出力する。

【0093】

前景変形部１３４は、前景マスク生成部１１３から取得した前景画像及び前景マスクを変形し、変形後の前景画像と、変形後の前景マスクと、を合成画像生成部１３５へ出力する。

【0094】

合成画像生成部１３５は、矩形領域特定部１３２から取得した背景マスクに付加されている矩形領域情報に基づいて特定した各矩形領域を、棚割画像における変形後の前景画像の貼付候補から除外する除外領域として設定する。また、合成画像生成部１３５は、矩形領域特定部１３２から取得した棚割画像のうち、前述のように設定した除外領域以外の領域に対して変形後の前景画像を貼り付けることにより、合成画像を生成する。また、合成画像生成部１３５は、矩形領域特定部１３２から取得した背景マスクに対し、前景変形部１３４から取得した変形後の前景マスクを貼り付けることにより、合成マスクを生成する。なお、背景マスクにおける変形後の前景マスクの貼付位置は、合成画像における変形後の前景画像の貼付位置と同じ位置に設定される。また、合成画像生成部１３５は、前述のように生成した合成画像と、背景マスクと同様の矩形領域情報が付加された合成マスクと、を矩形情報生成部１３６へ出力する。

【0095】

矩形情報生成部１３６は、合成画像生成部１３５から取得した合成マスクと、当該合成マスクに付加されている矩形領域情報と、に基づき、当該合成マスクと併せて取得した合成画像における１つのまたは複数の商品の配置位置を示す情報に相当する矩形情報を生成する。矩形情報生成部１３６により生成される矩形情報には、合成画像における商品の周囲を囲むような形状を有する１つのまたは複数の矩形領域の位置（座標）を示す情報が含まれている。すなわち、矩形情報生成部１３６により生成される矩形情報は、背景マスク生成部１３１により取得された外部データの矩形情報に対し、合成マスクに基づいて算出された矩形領域を追加した情報に相当する。また、矩形情報生成部１３６により生成される矩形情報には、合成画像における商品の配置状態を示す情報が含まれている。また、矩形情報生成部１３６は、合成画像生成部１３５から取得した合成画像と、前述のように生成した矩形情報と、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0096】

［学習用データ生成装置により行われる処理の具体例］
続いて、第２実施形態に係る学習用データ生成装置において行われる処理の具体例について説明する。

【0097】

背景マスク生成部１３１は、例えば、図５Ａに示したような棚割画像ＧＴを外部データ格納装置４００から取得した後、当該棚割画像ＧＴ全域を所定の色により塗りつぶすことにより、図４Ｂの背景マスクＭＢと同様の背景マスクＭＢＡを生成する。また、背景マスク生成部１３１は、棚割画像ＧＴと、矩形情報ＳＫＪと、背景マスクＭＢＡと、を矩形領域特定部１３２へ出力する。

【0098】

矩形領域特定部１３２は、背景マスク生成部１３１から取得した背景マスクＭＢＡ及び矩形情報ＳＫＪに基づき、当該矩形情報ＳＫＪに含まれる矩形領域各々が当該背景マスクＭＢＡのどの位置に対応しているかを特定可能な情報である矩形領域情報ＫＲＪを生成する。また、矩形領域特定部１３２は、矩形領域情報ＫＲＪを付加した背景マスクＭＢＡと、棚割画像ＧＴと、を合成画像生成部１３５へ出力する。

【0099】

矩形領域情報ＫＲＪは、例えば、図１７に示すように、矩形情報ＳＫＪに含まれる矩形領域各々の位置を、背景マスクＭＢＡの色とは異なる色で塗りつぶすことにより生成される情報である。図１７は、第２実施形態に係る学習用データ生成装置の処理により生成される矩形領域情報の一例を示す図である。

【0100】

前景変形部１３４は、前景マスク生成部１１３から取得した前景画像ＧＦ及び前景マスクＭＦを変形し、変形後の前景画像ＧＨＦＡと、変形後の前景マスクＭＨＦＡと、を合成画像生成部１３５へ出力する。

【0101】

なお、前景変形部１３４は、前景マスクＭＦを前景マスクＭＨＦＡに変形する処理として、前景画像ＧＦを前景画像ＧＨＦＡに変形する処理と同様の処理を行えばよい。また、前景変形部１３４は、前景画像ＧＦを前景画像ＧＨＦＡに変形する際の変形方法として、任意の変形方法を用いてもよい。具体的には、前景変形部１３４は、例えば、変形後の前景画像ＧＨＦＡの平均サイズが矩形情報ＳＫＪに含まれる複数の矩形領域の平均サイズに一致するように前景画像ＧＦを変形してもよい。また、前景変形部１３４は、例えば、変形後の前景画像ＧＨＦＡのサイズが矩形情報ＳＫＪに含まれる複数の矩形領域における最大サイズ以下になるように前景画像ＧＦを変形してもよい。また、前景変形部１３４は、例えば、変形後の前景画像ＧＨＦＡのサイズが矩形情報ＳＫＪに含まれる複数の矩形領域における最小サイズ以上になるように前景画像ＧＦを変形してもよい。

【0102】

合成画像生成部１３５は、背景マスクＭＢＡに付加されている矩形領域情報ＫＲＪに基づいて特定した各領域を、棚割画像ＧＴにおける変形後の前景画像ＧＨＦＡの貼付候補から除外する除外領域として設定する。また、合成画像生成部１３５は、棚割画像ＧＴのうち、棚割画像ＧＴにおける除外領域以外の領域に対して変形後の前景画像ＧＨＦＡを貼り付けることにより、合成画像ＧＣＡを生成する。また、合成画像生成部１３５は、矩形領域特定部１３２から取得した背景マスクＭＢＡに対し、前景変形部１３４から取得した変形後の前景マスクＭＨＦＡを貼り付けることにより、合成マスクＭＣＡを生成する。また、合成画像生成部１３５は、前述のように生成した合成画像ＧＣＡと、背景マスクＭＢＡと同様の矩形領域情報ＫＲＪが付加された合成マスクＭＣＡと、を矩形情報生成部１３６へ出力する。

【0103】

具体的には、合成画像生成部１３５は、棚割画像ＧＴにおける除外領域以外の領域に対して変形後の前景画像ＧＨＦＡを貼り付けることにより、図１８Ａに示すような合成画像ＧＣＡを生成する。また、合成画像生成部１３５は、例えば、図１８Ａに示すような合成画像ＧＣＡにおける前景画像ＧＨＦＡの貼付位置に基づき、前景マスクＭＨＦＡを背景マスクＭＢＡに貼り付けることにより、図１８Ｂに示すような合成マスクＭＣＡを生成する。図１８Ａは、第２実施形態に係る学習用データ生成装置の処理により生成される合成画像の一例を示す図である。図１８Ｂは、第２実施形態に係る学習用データ生成装置の処理により生成される合成マスクの一例を示す図である。

【0104】

図１８Ａの合成画像ＧＣＡは、図５Ａの棚割画像ＧＴにおける商品の配置状態に類似する配置状態を有する画像として生成される。すなわち、合成画像生成部１３５は、矩形領域情報ＫＲＪに基づき、棚割画像ＧＴに対して変形後の前景画像ＧＨＦＡを貼り付けることにより、矩形情報ＳＫＪにより示される配置状態に類似する配置状態を有する合成画像ＧＣＡを生成することができる。

【0105】

なお、合成画像生成部１３５は、矩形領域情報ＫＲＪに基づいて特定した全ての矩形領域を除外領域として設定するものに限らず、例えば、当該矩形領域情報ＫＲＪに基づいて特定した全ての矩形領域の中から選択した１つのまたは複数の矩形領域を除外領域として設定するようにしてもよい。そして、合成画像生成部１３５は、矩形領域情報ＫＲＪに含まれる全ての矩形領域を除外領域として設定した場合には、棚割画像ＧＴにおける商品の配置位置以外の位置に変形後の前景画像ＧＨＦＡを貼り付ける。また、合成画像生成部１３５は、矩形領域情報ＫＲＪに含まれる一部の矩形領域を除外領域として設定した場合には、棚割画像ＧＴにおける商品の配置位置に変形後の前景画像ＧＨＦＡを貼り付けてもよい。

【0106】

矩形情報生成部１３６は、合成マスクＭＣＡと、当該合成マスクＭＣＡに付加されている矩形領域情報ＫＲＪと、に基づき、合成画像ＧＣＡにおける１つのまたは複数の商品の配置位置を示す情報に相当する矩形情報ＥＫＪＡを生成する。また、矩形情報生成部１３６は、合成画像ＧＣＡと、矩形情報ＥＫＪＡと、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する。

【0107】

矩形情報ＥＫＪＡには、例えば、図１９に示すように、商品各々が合成画像ＧＣＡ内のどの位置に配置されているかを特定可能な情報である複数の矩形領域ＫＡの位置（座標）を示す情報が含まれている。換言すると、矩形情報ＥＫＪＡには、合成画像ＧＣＡにおける商品の配置状態を示す情報が含まれている。図１９は、第２実施形態に係る学習用データ生成装置の処理により生成される矩形情報の一例を示す図である。

【0108】

［処理フロー］
続いて、第２実施形態に係る学習用データ生成装置において行われる処理の流れについて説明する。図２０は、第２実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャートである。

【0109】

まず、背景マスク生成部１３１は、外部データ格納装置４００から取得した外部データの棚割画像に基づいて背景マスクを生成し（ステップＳ５１）、当該棚割画像と、当該外部データの矩形情報と、当該背景マスクと、を矩形領域特定部１３２へ出力する。

【0110】

次に、矩形領域特定部１３２は、背景マスク生成部１３１から取得した背景マスク及び矩形情報に基づいて矩形領域情報を生成する（ステップＳ５２）。

【0111】

前景マスク生成部１１３は、前景画像格納装置３００から取得した前景画像に基づいて前景マスクを生成し（ステップＳ５３）、当該前景画像及び当該前景マスクを前景変形部１３４へ出力する。

【0112】

続いて、前景変形部１３４は、ステップＳ５３により生成された前景マスク、及び、当該前景マスクの生成に用いた前景画像を変形する処理を行う（ステップＳ５４）。また、前景変形部１３４は、変形後の前景画像及び変形後の前景マスクを合成画像生成部１３５へ出力する。

【0113】

続いて、合成画像生成部１３５は、背景マスクＭＢＡに付加されている矩形領域情報ＫＲＪに基づいて除外領域を設定した（ステップＳ５５）後、当該除外領域以外の領域に対して変形後の前景画像を貼り付けることにより合成画像を生成する（ステップＳ５６）。また、合成画像生成部１３５は、合成画像における変形後の前景画像の貼付位置を参照しつつ、背景マスクに対して変形後の前景マスクを貼り付けることにより、合成マスクを生成する（ステップＳ５６）。また、合成画像生成部１３５は、合成画像及び合成マスクを矩形情報生成部１３６へ出力する。

【0114】

矩形情報生成部１３６は、ステップＳ５６により生成された合成マスクと、当該合成マスクに付加されている矩形領域情報と、に基づき、当該合成マスクの生成に用いた合成画像に対応する矩形情報を生成する（ステップＳ５７）。また、矩形情報生成部１３６は、ステップＳ５６により生成された合成画像と、ステップＳ５７により生成された矩形情報と、を含むデータを学習用データとして生成し、当該生成した学習用データを学習用データ格納装置５００へ出力する（ステップＳ５８）。

【0115】

以上に述べたように、本実施形態によれば、棚割画像により示される実際の商品の陳列状態を流用しつつ合成画像を生成することができるとともに、当該合成画像を含む学習用データを生成することができる。また、本実施形態によれば、空の商品棚等を撮影した背景画像を所有していない場合であっても、合成画像を生成することができる。また、本実施形態によれば、例えば、棚割画像に含まれる各商品の中に矩形情報から配置位置を特定できない一の商品があったとしても、当該一の商品の位置に変形後の前景画像を貼り付けた合成画像を生成することができる。換言すると、本実施形態によれば、外部データに含まれるＦａｌｓｅ－ｎｅｇａｔｉｖｅをＴｒｕｅ－ｐｏｓｉｔｉｖｅに置き換えた学習用データを生成することができる。そのため、本実施形態によれば、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことができる。

【0116】

［変形例］
前景画像格納装置３００に格納される前景画像は、実在の商品の画像に限らず、例えば、学習済の画像生成モデルにより生成された非実在の商品の画像であってもよい。前述の画像生成モデルは、例えば、実在の商品の画像と、非実在の商品の画像と、を交互に入力しつつ真贋判定を行うことにより得られた判定結果に応じた学習を行うことが可能なＧＡＮの一部として構築することができる。また、前述の画像生成モデルは、非実在の商品の画像として、ＲＧＢ画像と、前景マスクの代わりに利用可能なαチャンネル画像と、を同時に生成するように構築されていてもよい。また、前述の画像生成モデルは、例えば、商品カテゴリのメタ情報を含めた学習を行うことが可能なＣｏｎｄｉｔｉｏｎａｌＧＡＮの一部として構築することができる。そして、ＣｏｎｄｉｔｉｏｎａｌＧＡＮの一部として構築された学習済の画像生成モデルによれば、例えば、商品棚の種類に応じたカテゴリ等のような、所望のカテゴリに該当する非実在の商品の画像を生成することができる。

【0117】

合成画像生成部１３５は、背景画像に対して貼り付ける変形後の前景画像として、非実在の商品の画像のみを用いて合成画像を生成するようにしてもよい。また、合成画像生成部１３５は、背景画像に対して貼り付ける変形後の前景画像として、実在の商品の画像と、非実在の商品の画像と、を選択的に用いつつ合成画像を生成するようにしてもよい。

【0118】

【0119】

＜第３実施形態＞
図２１は、第３実施形態に係る学習用データ生成装置の機能構成を示すブロック図である。

【0120】

本実施形態に係る学習用データ生成装置１００Ｂは、学習用データ生成装置１００と同様のハードウェア構成を有している。また、学習用データ生成装置１００Ｂは、取得手段１７１と、画像変形手段１７２と、画像生成手段１７３と、学習用データ生成手段１７４と、を有している。

【0121】

図２２は、第３実施形態に係る学習用データ生成装置において行われる処理を説明するためのフローチャートである。

【0122】

取得手段１７１は、所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、当該第１画像における当該所定の配置状態を示す情報に相当する第１情報と、を取得する（ステップＳ７１）。

【0123】

画像変形手段１７２は、所望の物体の画像に相当する第２画像を変形する（ステップＳ７２）。

【0124】

画像生成手段１７３は、第１画像、または、所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の第２画像を貼り付けることにより、第１情報により示される所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成する（ステップＳ７３）。

【0125】

学習用データ生成手段１７４は、第４画像と、当該第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する（ステップＳ７４）。

【0126】

本実施形態によれば、商品の棚割の解析に利用される学習モデルの構築を効率的に行うことができる。

【0127】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0128】

（付記１）
所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得する取得手段と、
所望の物体の画像に相当する第２画像を変形する画像変形手段と、
前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成する画像生成手段と、
前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する学習用データ生成手段と、
を有する学習用データ生成装置。

【0129】

（付記２）
前記取得手段は、前記第１情報として、前記所定の配置状態で配置されている物体の周囲を囲むような形状を有する１つのまたは複数の矩形領域を示す情報を取得し、
前記画像変形手段は、前記矩形領域を前記第３画像のサイズに適合するように変形した変形後の前記矩形領域内に収まるように前記第２画像を変形し、
前記画像生成手段は、前記第３画像に対して前記変形後の前記第２画像を貼り付けることにより、前記第４画像を生成する付記１の学習用データ生成装置。

【0130】

（付記３）
前記画像変形手段は、前記第２画像のアスペクト比を維持した状態で前記第２画像を変形する付記２の学習用データ生成装置。

【0131】

（付記４）
前記画像変形手段は、前記変形後の前記矩形領域の短辺の長さまたは長辺の長さのいずれかを基準として設定した前記アスペクト比を用いて前記第２画像を変形する付記３の学習用データ生成装置。

【0132】

（付記５）
前記画像変形手段は、前記第２画像を変形する代わりに、前記変形後の前記矩形領域のアスペクト比に一致するまたは類似する一のアスペクト比を有する前記第２画像を取得し、
前記画像生成手段は、前記第３画像に対して前記一のアスペクト比を有する前記第２画像を貼り付けることにより、前記第４画像を生成する付記２の学習用データ生成装置。

【0133】

（付記６）
前記第２画像には、前記第４画像の生成時に既に貼り付けられた前記変形後の前記第２画像に類似する画像である第５画像が含まれ、
前記画像変形手段は、前記変形後の前記矩形領域内に収まるように前記第５画像を変形し、
前記画像生成手段は、前記第４画像の生成時に既に貼り付けられた前記変形後の前記第２画像に隣接する位置に前記変形後の第５画像を貼り付けることにより、前記第４画像を生成する付記２の学習用データ生成装置。

【0134】

（付記７）
前記取得手段は、前記第１情報として、前記所定の配置状態で配置されている物体の周囲を囲むような形状を有する１つのまたは複数の矩形領域を示す情報を取得し、
前記画像生成手段は、前記第１画像における前記矩形領域以外の領域に対して前記変形後の前記第２画像を貼り付けることにより、前記第４画像を生成する付記１の学習用データ生成装置。

【0135】

（付記８）
前記画像変形手段は、前記変形後の前記第２画像の平均サイズが前記複数の矩形領域の平均サイズに一致するように前記第２画像を変形する付記７の学習用データ生成装置。

【0136】

（付記９）
前記画像変形手段は、前記変形後の前記第２画像のサイズが前記複数の矩形領域における最大サイズ以下になるように前記第２画像を変形する付記７の学習用データ生成装置。

【0137】

（付記１０）
前記画像変形手段は、前記変形後の前記第２画像のサイズが前記複数の矩形領域における最小サイズ以上になるように前記第２画像を変形する付記７の学習用データ生成装置。

【0138】

（付記１１）
前記第２画像には、実在の物体の画像と、非実在の物体の画像と、が含まれる付記１乃至１０のいずれか一の学習用データ生成装置。

【0139】

（付記１２）
所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得し、
所望の物体の画像に相当する第２画像を変形し、
前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成し、
前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する学習用データ生成方法。

【0140】

（付記１３）
所定の配置状態で配置されている１つのまたは複数の物体を撮影することより得られた画像に相当する第１画像と、前記第１画像における前記所定の配置状態を示す情報に相当する第１情報と、を取得し、
所望の物体の画像に相当する第２画像を変形し、
前記第１画像、または、前記所望の物体の配置対象となる場所の画像に相当する第３画像のいずれかに対して変形後の前記第２画像を貼り付けることにより、前記第１情報により示される前記所定の配置状態に一致するまたは類似する配置状態を有する第４画像を生成し、
前記第４画像と、前記第４画像における物体の配置状態を示す情報に相当する第２情報と、を含むデータを学習用データとして生成する処理をコンピュータに実行させるプログラムを記録した記録媒体。

【0141】

以上、実施形態及び実施例を参照して本開示を説明したが、本開示は上記実施形態及び実施例に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

【符号の説明】

【0142】

１００学習用データ生成装置
１１１背景マスク生成部
１１２矩形領域変形部
１１３前景マスク生成部
１１４前景変形部
１１５合成画像生成部
１１６矩形情報生成部

【図1】