特開 2023-110786 アイテム画像合成装置、モデル情報生成装置、アイテム画像合成方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023110786

(43)【公開日】2023-08-09

(54)【発明の名称】アイテム画像合成装置、モデル情報生成装置、アイテム画像合成方法及びプログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20230802BHJP

【ＦＩ】

G06T11/80 A

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022012449

(22)【出願日】2022-01-28

(71)【出願人】

【識別番号】517332845

【氏名又は名称】Ａｒｉｔｈｍｅｒ株式会社

(72)【発明者】

【氏名】新田 恭平

(72)【発明者】

【氏名】田嶋 亮介

【テーマコード（参考）】

5B050

【Ｆターム（参考）】

5B050BA06

5B050BA12

5B050BA13

5B050DA04

5B050EA03

5B050EA13

5B050EA19

(57)【要約】

【課題】違和感を生じさせない自然な合成画像を出力する。
【解決手段】アイテム画像合成装置１００は、モデル情報取得部１４１と、ユーザ画像取得部１４２と、ユーザ格子点設定部１４３と、アイテム画像合成部１４４とを備える。モデル情報取得部１４１は、アイテムを着用したモデルを映したモデル画像と、モデル画像から抽出されたアイテムに対応するアイテム画像と、アイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔のモデル格子点とを関連付けて取得する。アイテム画像合成部１４４は、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成する。
【選択図】図１４

【特許請求の範囲】

【請求項1】

アイテムを着用したモデルを映したモデル画像におけるモデル格子点と、ユーザ画像におけるユーザ格子点とを対応させて前記アイテムが映るアイテム画像を変形し、変形したアイテム画像を前記ユーザ画像に合成する、アイテム画像合成装置。

【請求項2】

前記モデル画像における格子点間隔が所定値以上である場合、前記ユーザ画像における格子点間隔に対し所定の拡大処理を行なう、
請求項１に記載のアイテム画像合成装置。

【請求項3】

前記モデル格子点は、前記モデル画像から取得されたモデル骨格情報に基づいて、前記モデル画像から抽出されたモデル形状の少なくとも一部に対して設定される、
請求項１又は請求項２に記載のアイテム画像合成装置。

【請求項4】

前記モデル格子点は、前記モデルが前記アイテムを着用していないときの形状に対して設定される、
請求項３に記載のアイテム画像合成装置。

【請求項5】

アイテムを着用したモデルを映したモデル画像と、前記モデル画像から抽出された前記アイテムに対応するアイテム画像と、前記アイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔のモデル格子点とを関連付けて取得するモデル情報取得部と、
ユーザを映したユーザ画像を取得するユーザ画像取得部と、
前記ユーザ画像に映るユーザの形状を示すユーザ形状の少なくとも一部に所定間隔のユーザ格子点を設定するユーザ格子点設定部と、
前記モデル格子点と前記ユーザ格子点とを対応させて前記アイテム画像を変形し、変形したアイテム画像を前記ユーザ画像に合成するアイテム画像合成部と、
を備える、請求項１から４のいずれか１項に記載のアイテム画像合成装置。

【請求項6】

前記ユーザ格子点設定部は、
前記ユーザ画像から前記ユーザの形状を示すユーザ形状を抽出するユーザ形状抽出部と、
前記ユーザ画像から前記ユーザに対するユーザ骨格情報を取得するユーザ骨格情報取得部と、
前記ユーザ骨格情報に基づいて前記ユーザ形状の少なくとも一部に対してユーザ格子点を設定するユーザ格子点処理部と、
を備える請求項５に記載のアイテム画像合成装置。

【請求項7】

少なくとも身長、体重、性別のいずれかの属性データに基づいて前記ユーザ画像を生成するユーザ画像生成部をさらに備える、
請求項１から６のいずれか１項に記載のアイテム画像合成装置。

【請求項8】

アイテムを着用したモデルを映したモデル画像と、前記モデル画像から抽出された前記アイテムに対応するアイテム画像と、前記アイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔のモデル格子点とを関連付けて取得し、
ユーザを映したユーザ画像を取得し、
前記ユーザ画像に映るユーザの形状を示すユーザ形状の少なくとも一部に所定間隔のユーザ格子点を設定し、
前記モデル格子点と前記ユーザ格子点とを対応させて前記アイテム画像を変形し、変形したアイテム画像を前記ユーザ画像に合成する、
アイテム画像合成方法。

【請求項9】

請求項８に記載のアイテム画像合成方法をコンピュータに実行させるためのプログラム。

【請求項10】

アイテムを着用したモデルを映したモデル画像を取得するモデル画像取得部と、
前記モデル画像から前記アイテムに対応するアイテム画像を抽出するアイテム画像抽出部と、
前記モデル画像から前記アイテムを着用したモデルの形状示すモデル形状を抽出するモデル形状抽出部と、
前記モデル画像から前記モデルに対するモデル骨格情報を取得するモデル骨格情報取得部と、
前記モデル骨格情報に基づいて前記モデル形状の少なくとも一部に対してモデル格子点を設定するモデル格子点設定部と、
前記モデル画像とモデル格子点とを関連付けてモデル情報を生成するモデル情報生成部と、
を備えるモデル情報生成装置。

【請求項11】

前記モデル格子点設定部は、前記モデルが前記アイテムを着用していないときの形状に対してモデル格子点を設定する、
請求項１０に記載のモデル情報生成装置。

【請求項12】

アイテムを着用したモデルを映したモデル画像を取得し、
前記モデル画像から前記アイテムに対応するアイテム画像を抽出し、
前記モデル画像から前記アイテムを着用したモデルの形状示すモデル形状を抽出し、
前記モデル画像から前記モデルに対するモデル骨格情報を取得し、
前記モデル骨格情報に基づいて前記モデル形状の少なくとも一部に対してモデル格子点を設定し、
前記モデル画像とモデル格子点とを関連付けてモデル情報を生成する、
モデル情報生成方法。

【請求項13】

アイテムを着用したモデルを映したモデル画像と、前記モデル画像から抽出された前記アイテムに対応するアイテム画像と、前記モデル画像から取得された前記モデルに対するモデル骨格情報とを関連付けて取得するモデル情報取得部と、
ユーザを映したユーザ画像を取得するユーザ画像取得部と、
前記ユーザ画像から前記ユーザに対するユーザ骨格情報を取得するユーザ骨格情報取得部と、
前記モデル骨格情報と前記ユーザ骨格情報とを対応させて前記ユーザ画像を変形し、変形したユーザ画像を前記アイテム画像に合成するアイテム画像合成部と、
を備える、アイテム画像合成装置。

【請求項14】

アイテムを着用したモデルを映したモデル画像と、前記モデル画像から抽出された前記アイテムに対応するアイテム画像と、前記モデル画像から取得された前記モデルに対するモデル骨格情報とを関連付けて取得し、
ユーザを映したユーザ画像を取得し、
前記ユーザ画像から前記ユーザに対するユーザ骨格情報を取得し、
前記モデル骨格情報と前記ユーザ骨格情報とを対応させて前記ユーザ画像を変形し、変形したユーザ画像を前記アイテム画像に合成する、
アイテム画像合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、アイテム画像合成装置、モデル情報生成装置、アイテム画像合成方法及びプログラムに関する。

【背景技術】

【0002】

近年、試着対象の衣服を着用した状態を表示する技術が開発されている。例えば、特許文献１（特開２０１９－１２８９２３号公報）には、ＥＣサイト上で閲覧できる複数の衣服の画像及び衣服の説明を参考にして自分の体型に合う衣服を選択できる情報提供装置が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

しかしながら、従来の技術では、違和感を生じさせる不自然な合成画像が出力されることがある。

【課題を解決するための手段】

【0004】

第１観点に係るアイテム画像合成装置は、アイテムを着用したモデルを映したモデル画像におけるモデル格子点と、ユーザ画像におけるユーザ格子点とを対応させて前記アイテムが映るアイテム画像を変形し、変形したアイテム画像を前記ユーザ画像に合成する。このように、第１観点に係るアイテム画像合成装置は、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形するので、違和感を生じさせない自然な合成画像を出力できる。

【0005】

第２観点に係るアイテム画像合成装置は、第１観点に係るアイテム画像合成装置であって、モデル画像における格子点間隔が所定値以上である場合、ユーザ画像における格子点間隔に対し所定の拡大処理を行なうものである。これにより、アイテム画像をユーザ画像に合成した際に、違和感を生じさせないようにすることができる。

【0006】

第３観点に係るアイテム画像合成装置は、第１観点又は第２観点に係るアイテム画像合成装置であって、モデル格子点が、モデル画像から取得されたモデル骨格情報に基づいて、モデル画像から抽出されたモデル形状の少なくとも一部に対して設定されるものである。このようなモデル格子点を用いてアイテム画像を変形するので、変形したアイテム画像をユーザ画像に合成したときに違和感を生じさせないようにすることができる。

【0007】

第４観点に係るアイテム画像合成装置は、第３観点に係るアイテム画像合成装置であって、モデル格子点が、モデルがアイテムを着用していないときの形状に対して設定される。このようなモデル格子点を用いてアイテム画像を変形するので、モデルの体型が反映されていないアイテム画像であっても、変形したアイテム画像をユーザ画像に合成したときに違和感を生じさせないようにすることができる。

【0008】

第５観点に係るアイテム画像合成装置は、第１観点から第４観点に係るアイテム画像合成装置であって、モデル情報取得部と、ユーザ画像取得部と、ユーザ格子点設定部と、アイテム画像合成部とを備える。モデル情報取得部は、アイテムを着用したモデルを映したモデル画像と、モデル画像から抽出されたアイテムに対応するアイテム画像と、アイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔のモデル格子点とを関連付けて取得する。ユーザ画像取得部は、ユーザを映したユーザ画像を取得する。ユーザ格子点設定部は、ユーザ画像に映るユーザの形状を示すユーザ形状の少なくとも一部に所定間隔のユーザ格子点を設定する。アイテム画像合成部は、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成する。このように、第５観点に係るアイテム画像合成装置は、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成するので、違和感を生じさせない自然な合成画像を出力できる。

【0009】

第６観点に係るアイテム画像合成装置は、第５観点に係るアイテム画像合成装置であって、ユーザ格子点設定部が、ユーザ形状抽出部と、ユーザ骨格情報取得部と、ユーザ格子点処理部とを備える。ユーザ形状抽出部は、ユーザ画像からユーザの形状を示すユーザ形状を抽出する。ユーザ骨格情報取得部は、ユーザ画像からユーザに対するユーザ骨格情報を取得する。ユーザ格子点処理部は、ユーザ骨格情報に基づいてユーザ形状の少なくとも一部に対してユーザ格子点を設定する。このようなユーザ格子点を用いてアイテム画像を変形するので、変形したアイテム画像をユーザ画像に合成したときに違和感を生じさせないようにすることができる。

【0010】

第7観点に係るアイテム画像合成装置は、第１観点から第６観点に係るアイテム画像合成装置であって、少なくとも身長、体重、性別のいずれかの属性データに基づいてユーザ画像を生成するユーザ画像生成部をさらに備える。このような構成により、任意のユーザ画像を準備できる。

【0011】

第８観点に係るアイテム画像合成方法では、アイテムを着用したモデルを映したモデル画像と、前記モデル画像から抽出された前記アイテムに対応するアイテム画像と、アイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔のモデル格子点とを関連付けて取得する。次に、この方法では、ユーザを映したユーザ画像を取得する。続いて、この方法では、ユーザ画像に映るユーザの形状を示すユーザ形状の少なくとも一部に所定間隔のユーザ格子点を設定する。次に、この方法では、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成する。これにより、アイテム画像をユーザ画像に合成したときに、違和感を生じさせない自然な合成画像を出力することができる。

【0012】

第９観点に係るプログラムは、第８観点に係るアイテム画像合成方法をコンピュータに実行させる。このようなプログラムを実行することで、コンピュータは、アイテム画像をユーザ画像に合成したときに、違和感を生じさせない自然な合成画像を出力することができる。

【0013】

第１０観点に係るモデル情報生成装置は、モデル画像取得部と、アイテム画像抽出部と、モデル形状抽出部と、モデル骨格情報取得部と、モデル格子点設定部と、モデル情報生成部とを備える。モデル画像取得部は、アイテムを着用したモデルを映したモデル画像を取得する。アイテム画像抽出部は、モデル画像からアイテムに対応するアイテム画像を抽出する。モデル形状抽出部は、モデル画像からアイテムを着用したモデルの形状示すモデル形状を抽出する。モデル骨格情報取得部は、モデル画像からモデルに対するモデル骨格情報を取得する。モデル格子点設定部は、モデル骨格情報に基づいてモデル形状の少なくとも一部に対してモデル格子点を設定する。モデル情報生成部は、モデル画像とモデル格子点とを関連付けてモデル情報を生成する。このように、第８観点に係るモデル情報生成装置は、モデル画像からアイテム画像を抽出するとともに、モデル骨格情報に基づいてモデル格子点を設定するので、モデル以外の体型を有するユーザのユーザ画像に対して違和感を生じさせないようにアイテム画像を合成させるための情報を提供できる。

【0014】

第１１観点に係るモデル情報生成装置は、第１０観点に係るモデル情報生成装置であって、モデル格子点設定部が、モデルがアイテムを着用していないときの形状に対してモデル格子点を設定するものである。このようなモデル格子点を用いてアイテム画像を変形するので、モデルの体型が反映されていないアイテム画像であっても、変形したアイテム画像をユーザ画像に合成したときに違和感を生じさせないようにすることができる。

【0015】

第１２観点に係るモデル情報生成方法は、アイテムを着用したモデルを映したモデル画像を取得する。次に、この方法では、モデル画像からアイテムに対応するアイテム画像を抽出する。続いて、この方法では、モデル画像からアイテムを着用したモデルの形状示すモデル形状を抽出する。次に、この方法では、モデル画像からモデルに対するモデル骨格情報を取得する。続いて、この方法では、モデル骨格情報に基づいてモデル形状の少なくとも一部に対してモデル格子点を設定する。次に、この方法では、モデル画像とモデル格子点とを関連付けてモデル情報を生成する。このような方法により、モデル以外の体型を有するユーザのユーザ画像に対して違和感を生じさせないようにアイテム画像を合成させるための情報を提供できる。

【0016】

第１３観点に係るアイテム画像合成装置は、モデル情報取得部と、ユーザ画像取得部と、ユーザ骨格情報取得部と、アイテム画像合成部とを備える。モデル情報取得部は、アイテムを着用したモデルを映したモデル画像と、モデル画像から抽出されたアイテムに対応するアイテム画像と、モデル画像から取得されたモデルに対するモデル骨格情報とを関連付けて取得する。ユーザ画像取得部は、ユーザを映したユーザ画像を取得する。ユーザ骨格情報取得部は、ユーザ画像からユーザに対するユーザ骨格情報を取得する。アイテム画像合成部は、モデル骨格情報とユーザ骨格情報とを対応させてユーザ画像を変形し、変形したユーザ画像をアイテム画像に合成する。このように、第１３観点に係るアイテム画像合成装置は、モデル骨格情報とユーザ骨格情報とを対応させてユーザ画像を変形し、変形したユーザ画像をアイテム画像に合成するので、違和感を生じさせない自然な合成画像を出力できる。
第１４観点に係るアイテム画像合成方法は、アイテムを着用したモデルを映したモデル画像と、モデル画像から抽出されたアイテムに対応するアイテム画像と、モデル画像から取得されたモデルに対するモデル骨格情報とを関連付けて取得する。次に、この方法では、ユーザを映したユーザ画像を取得する。続いて、この方法では、ユーザ画像からユーザに対するユーザ骨格情報を取得する。次に、この方法では、モデル骨格情報とユーザ骨格情報とを対応させてユーザ画像を変形し、変形したユーザ画像をアイテム画像に合成する。このような方法により、違和感を生じさせない自然な合成画像を出力できる。

【図面の簡単な説明】

【0017】

【図1】本開示の一実施形態に係るアイテム画像合成システム１の構成を示す模式図である。

【図2】同実施形態に係るアイテム画像合成装置１００の構成を示す模式図である。

【図3】同実施形態に係る「モデル画像Ｍ１」の概念を示す模式図である。

【図4】同実施形態に係る「アイテム画像Ｍ２」の概念を示す模式図である。

【図5】同実施形態に係る「モデル格子点Ｍ５」の概念を示す模式図である。

【図6】同実施形態に係る「モデル形状Ｍ３」の概念を示す模式図である。

【図7】同実施形態に係る「モデル骨格情報Ｍ４」の概念を示す模式図である。

【図8】同実施形態に係るユーザ格子点設定部１４３の構成を示す模式図である。

【図9】同実施形態に係るモデル情報生成装置２００の構成を示す模式図である。

【図10】同実施形態に係るモデル情報を記憶する手順を説明するためのフローチャートである。

【図11】同実施形態に係るモデル情報を記憶する手順を説明するための模式図である。

【図12】同実施形態に係るアイテム画像合成装置１００の動作を説明するためのフローチャートである。

【図13】同実施形態に係るユーザ格子点の設定を説明するための模式図である。

【図14】同実施形態に係る合成画像Ｕ６を説明するための模式図である。

【図15】同実施形態に係る合成画像Ｕ８を説明するための模式図である。

【図16】同実施形態に係る不適切な合成画像Ｕ９を説明するための模式図である。

【発明を実施するための形態】

【0018】

（１）アイテム画像合成システムの構成
以下、本開示の一実施形態に係るアイテム画像合成システムの構成について図面を用いて説明する。

【0019】

図１は本実施形態に係るアイテム画像合成システム１の構成を示す模式図である。アイテム画像合成システム１では、ユーザ端末５からアイテム画像合成装置１００にユーザ画像が送信される。ユーザ端末５には、アイテム画像合成装置１００により複数のモデル画像が出力され、一のモデル画像がユーザ端末５により選択される。アイテム画像合成装置１００では、ユーザ端末５により選択されたモデル画像と、ユーザ端末５から送信されたユーザ画像とを用いて、モデル画像に含まれるアイテム画像をユーザ画像に合成し、ユーザ端末５に合成画像を提供する。なお、画像の合成に必要なモデル情報はモデル情報生成装置２００により生成され、アイテム画像合成装置１００に提供される。以下、各装置の詳細を説明する。

【0020】

（１－１）アイテム画像合成装置
図２はアイテム画像合成装置１００の構成を示す模式図である。
アイテム画像合成装置１００は、任意のモデル画像に映るアイテムをユーザ画像に合成することが可能な装置である。これにより、ユーザは任意のモデルの着用しているアイテムを仮想的に試着した状態を確認できる。

【0021】

アイテム画像合成装置１００は、任意のコンピュータにより実現することができ、記憶部１１０、入出力部１２０、通信部１３０、及び処理部１４０を備える。なお、アイテム画像合成装置１００は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。

【0022】

記憶部１１０は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。ここで、記憶部１１０は、「モデル情報」として、少なくともモデル画像及びアイテム画像を関連付けて記憶する。アイテム画像に映るアイテムには、第１タイプのアイテムと、第２タイプのアイテムとが存在する。

【0023】

「第１タイプのアイテム」は、モデルの体型に少なくとも一部がフィットしているものである。例えば、手首部分はモデルの体型にフィットしているものの脇の部分などは緩んでいるスウェットのようなアイテムである。第１タイプのアイテムに対応するモデル情報にはモデル格子点が含まれる。

【0024】

「第２タイプのアイテム」は、モデルの体型にフィットしている部分がないとみなされるものである。例えば、モデルの体型を全体として緩く覆っているものであり、コートのようなアイテムである。第２タイプのアイテムに対応するモデル情報にはモデル骨格情報が含まれる。

【0025】

「モデル画像」は、図３のＭ１に示すように、衣服などのアイテムを着用したモデルが映されている画像である。ここでは、一枚のモデル画像に対して一人のモデルが対応するものとする。また、モデル画像には、モデルの身長がメタデータとして関連付けられている。

【0026】

「アイテム画像」は、図４のＭ２に示すように、モデルに着用された状態でのアイテムの形態を示す画像である。例えば、アイテム画像としてはモデルが着用しているシャツ、スーツ、パンツ、靴などのアイテムに対応する画像が挙げられる。なお、図４では、第１タイプのアイテムを示している。また、図４では、便宜上、シャツ、とパンツが一体的に抽出されているが、これらは別のアイテム画像として取り扱われる。

【0027】

「モデル格子点」は、図５のＭ５に示すように、第１タイプのアイテムを着用したモデルの形状を示すモデル形状の少なくとも一部に設定された所定間隔の格子点データである。詳しくは、モデル形状は、DeepLab v3などの機械学習モデルを用いてモデル画像から抽出され、シルエット画像として保存される（図６のＭ３参照）。そのため、モデル形状は、アイテムを着用している分だけモデルの実際の体型から外れたものとなる。そこで、モデル格子点は、モデルがアイテムを着用していないときの形状に対して設定される。すわなち、モデル格子点は、必ずしもモデル形状の内側領域全体に設定されるものではなく、モデルの体型に合うように設定されるものである。このようなモデル格子点は、モデル骨格情報に基づいて設定される（図７のＭ４参照）。モデル骨格情報はLightWeight OpenPoseなどの機械学習モデルを用いて抽出される。図7の例では１８カ所か所の特徴点を結ぶようにモデル骨格情報が生成される。モデル骨格情報が生成されると、モデル骨格情報に基づいて体の部位およびその部位の中心軸が特定される。そして、当該部位が中心軸に沿って所定数で区分けされ、その区分けされた位置で中心軸に直行する方向に所定数の格子点が割り当てられることでモデル格子点が設定される。なお、シルエット画像はモデルの身長により規格化されている。

【0028】

入出力部１２０は、キーボード、マウス、タッチパネル等の任意の入力装置及び／又はディスプレイ、タッチパネル、スピーカー等の任意の出力装置により実現され、コンピュータとの間で各種情報の入出力を行なう。
通信部１３０は、任意のネットワークカード等により実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にするものである。

【0029】

処理部１４０は、各種情報処理を実行するものであり、ＣＰＵ及び/又はＧＰＵ等のプロセッサ及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部１１０に記憶された一又は複数のプログラムが読み込まれることにより、処理部１４０が、モデル情報取得部１４１、ユーザ画像取得部１４２、ユーザ格子点設定部１４３、及びアイテム画像合成部１４４として機能する。

【0030】

モデル情報取得部１４１は、モデル画像、アイテム画像、モデル格子点を含むモデル情報を取得する。ここでは、モデル情報取得部１４１は、モデル情報生成装置２００からモデル情報を取得する。取得されたモデル情報は記憶部１１０に格納される。

【0031】

ユーザ画像取得部１４２は、ユーザを映したユーザ画像を取得する。ここでは、ユーザ画像は、ユーザが操作するユーザ端末５により撮像され、ユーザ端末５からアイテム画像合成装置１００に送信される。

【0032】

ユーザ格子点設定部１４３は、ユーザ画像に映るユーザの形状を示す「ユーザ形状」の少なくとも一部に所定間隔の「ユーザ格子点」を設定する。具体的に、ユーザ格子点設定部１４３は、図８に示すように、ユーザ形状抽出部１４３Ａと、ユーザ骨格情報取得部１４３Ｂと、ユーザ格子点処理部１４３Ｃとを備える。

【0033】

ユーザ形状抽出部１４３Ａは、ユーザ画像からユーザ形状を抽出する。具体的に、ユーザ形状は、DeepLab v3などの機械学習モデルを用いて抽出され、シルエット画像として保存される。なお、ユーザ画像はユーザの身長により規格化されている。なお、ここでは、ユーザの体型が反映されるように、ユーザが緩みのない衣服を着た状態（下着を着用した状態など）又はユーザが衣服を着ていない裸の状態で撮影されたものがユーザ画像として用いられる。

【0034】

ユーザ骨格情報取得部１４３Ｂは、ユーザ画像からユーザに対するユーザ骨格情報を取得する。例えば、ユーザ骨格情報はLightWeight OpenPoseなどの機械学習モデルを用いて抽出される。

【0035】

ユーザ格子点処理部１４３Ｃは、ユーザ骨格情報に基づいてユーザ形状の少なくとも一部に対してユーザ格子点を設定する。ユーザ格子点は、モデル格子点に対応するように設定されるものであり、ユーザ格子点とモデル格子点の数は一致する。

【0036】

アイテム画像合成部１４４は、アイテム画像に映るアイテムが第１タイプのアイテムである場合、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成する。ここでは、アイテム画像合成部１４４は、モデル画像における格子点間隔が所定値以上である場合、ユーザ画像における格子点間隔に対し所定の拡大処理を行なう。これにより、アイテム画像をユーザ画像に合成した際に、違和感を生じさせないような合成画像にすることができる。一方、アイテム画像合成部１４４は、アイテム画像に映るアイテムが第２タイプのアイテムである場合、モデル骨格情報から得られる各部位の中心軸の角度に対応させてユーザ骨格情報を変更し、変更したユーザ骨格情報に基づいてユーザ画像を変形する。そして、アイテム画像合成部１４４は、変形したユーザ画像にアイテム画像を合成する。

【0037】

（１－２）モデル情報生成装置
図９はモデル情報生成装置２００の構成を示す模式図である。
モデル情報生成装置２００は、アイテム画像合成装置１００にモデル情報を提供するものであり、任意のコンピュータにより実現することができる。モデル情報生成装置２００のコンピュータにプログラムが読み込まれることにより、ＣＰＵ及び/又はＧＰＵ等のプロセッサが、モデル画像取得部２４１、アイテム画像抽出部２４２、モデル形状抽出部２４３、モデル骨格情報取得部２４４、モデル格子点設定部２４５、及びモデル情報生成部２４６として機能する。

【0038】

モデル画像取得部２４１は、任意のモデル画像（図３のＭ１参照）を取得する。なお、モデル画像を取得する際、モデル画像に映されているモデルの身長のデータが関連付けて取得される。

【0039】

アイテム画像抽出部２４２は、モデル画像からアイテムに対応するアイテム画像（図４のＭ２参照）を抽出する。例えば、アイテム画像抽出部２４２は、モデル画像に映されるモデルが着用している衣服の上半身部分（シャーツ、上着等）及び下半身部分（ズボン、スカート等）を個別のアイテム画像として抽出する。ただし、これに限らず、アイテム画像抽出部２４２は、モデル画像に映されるモデルが着用している衣服全体をアイテム画像として抽出するものでもよい。

【0040】

モデル形状抽出部２４３は、モデル画像からモデル形状（図６のＭ３参照）を抽出する。モデル形状は、シルエット画像として保存される。この際、シルエット画像はモデルの身長により規格化される。

【0041】

モデル骨格情報取得部２４４は、モデル画像からモデルに対するモデル骨格情報（図７のＭ４参照）を取得する。例えば、モデル骨格情報はLightWeight OpenPoseなどの機械学習モデルを用いて抽出される。

【0042】

モデル格子点設定部２４５は、アイテム画像として第１タイプのアイテムが映っている場合、モデル骨格情報に基づいてモデル形状の少なくとも一部に対してモデル格子点（図５のＭ５参照）を設定する。

【0043】

モデル情報生成部２４６は、アイテム画像として第１タイプのアイテムが映っている場合、少なくともモデル画像Ｍ１、アイテム画像Ｍ２及びモデル格子点Ｍ５を関連付けてモデル情報として生成する。また、モデル情報生成部２４６は、アイテム画像として第２タイプのアイテムが映っている場合、少なくともモデル画像Ｍ１、アイテム画像Ｍ２、モデル骨格情報Ｍ４を関連付けてモデル情報として生成する。また、モデル情報生成部２４６は、要求に応じて、モデル情報をアイテム画像合成装置１００に送出する。

【0044】

（１－３）ユーザ端末
ユーザ端末５は、ユーザが使用する端末であり、任意のコンピュータにより実現される。例えば、スマートデバイスにプログラムが読み込まれることにより、そのスマートデバイスがユーザ端末５として機能する。ユーザ端末５は、入出力機能、通信機能、撮影機能などを有している。これらの機能により、ユーザ端末５は、ユーザを撮影してユーザ画像を生成し、そのユーザ画像をアイテム画像合成装置１００に送信することができる。また、ユーザ端末５は、アイテム画像合成装置１００から合成画像を受信して、それをディスプレイに表示できる。なお、ユーザ端末５はユーザ画像を送信する際、ユーザの属性（身長、体重、性別）などの情報の入力を受け付けて、それらの情報をユーザ画像とともにアイテム画像合成装置１００に送信する。

【0045】

（２）アイテム画像合成システムの動作
次にアイテム画像合成システム１の動作について説明する。

【0046】

（２－１）モデル情報の準備
アイテム画像合成システム１では、ユーザ端末５からの要求に応じて、アイテム画像合成装置１００がユーザ画像にアイテム画像を合成する。アイテム画像合成装置１００が画像を合成するためには、モデル情報が予め記憶部１１０に記憶されている必要がある。そこで、モデル情報を記憶部１１０に記憶する手順について、図１０のフローチャートを用いて説明する。また各ステップで生成される画像を図１１に示す。図１１においては、実線が第１タイプのアイテムのモデル情報の生成に対応しており、点線が第２タイプのアイテムのモデル情報の生成に対応している。ただし、図１１では第２タイプのアイテム画像の図示を省略している。

【0047】

まず、モデル情報生成装置２００（モデル画像取得部２４１）が、モデル画像Ｍ１を取得する（Ｒ１）。ここでは、モデル画像Ｍ１は、モデルの人物が商品の服を着た状態で正面から撮影された画像を用いる。撮影の際、モデルには、足を肩幅に開き、手をハの字に３０度くらい開いたポーズをとるようにしてもらう。ただし、モデルのポーズはこれに限定されるものではない。

【0048】

次に、モデル情報生成装置２００（アイテム画像抽出部２４２）は、モデル画像Ｍ１からアイテム画像Ｍ２を抽出する（Ｒ２）。具体的には、モデル画像Ｍ１において、モデルが着用している衣服だけを切り取った画像をアイテム画像Ｍ２として抽出する。

【0049】

続いて、モデル情報生成装置２００（モデル形状抽出部２４３）は、モデル画像Ｍ１からモデル形状Ｍ３を抽出する（Ｒ３）。例えば、モデル形状は、DeepLab v3などの機械学習モデルを用いて抽出され、シルエット画像として保存される。なお、シルエット画像はモデルの身長により規格化される。

【0050】

次に、モデル情報生成装置２００（モデル骨格情報取得部２４４）は、モデル画像Ｍ１からモデルに対するモデル骨格情報Ｍ４を取得する（Ｒ４）。例えば、モデル骨格情報はLightWeight OpenPoseなどの機械学習モデルを用いて抽出される。

【0051】

続いて、モデル情報生成装置２００（モデル格子点設定部２４５）は、アイテム画像として第１タイプのアイテムが映っている場合、モデル骨格情報Ｍ４に基づいてモデル形状Ｍ３の少なくとも一部に対してモデル格子点Ｍ５を設定する（Ｒ５，Ｒ６）。ここでは、モデル情報生成装置２００（モデル格子点設定部２４５）は、モデル骨格情報Ｍ４に基づいて身体の各部位およびその部位の中心軸を特定する。そして、モデル情報生成装置２００（モデル格子点設定部２４５）は、当該部位を中心軸に沿って所定数で区分けし、その区分けした位置で中心軸に直行する方向に所定数の格子点を割り当てるようにモデル格子点を設定する。この際、モデル情報生成装置２００（モデル格子点設定部２４５）は、モデル骨格情報に基づいて腕の太さを仮想的に算出し、算出した腕の太さと、モデル形状のシルエット画像から得られる腕の太さとを比較する。そして、モデル骨格情報に基づいて算出した腕の太さより、シルエット画像から得られる腕の太さが大きい場合、モデル情報生成装置２００（モデル格子点設定部２４５）は、モデル骨格情報に基づいて算出した腕の太さに対応する領域にモデル格子点を設定する。これにより、モデルがアイテムを着用していないときの形状に対してモデル格子点が設定される。なお、アイテムの形状がモデルの体型にフィットしている場合には、モデルがアイテムを着用していないときの形状とモデルがアイテムを着用しているときの形状とは略一致する。

【0052】

次に、モデル情報生成装置２００（モデル情報生成部２４６）は、アイテム画像として第１タイプのアイテムが映っている場合、少なくともモデル画像Ｍ１、アイテム画像Ｍ２及びモデル格子点Ｍ５を関連付けてモデル情報として生成する（Ｒ７）。

【0053】

一方、モデル情報生成装置（モデル情報生成部２４６）は、アイテム画像として第２タイプのアイテムが映っている場合、少なくともモデル画像Ｍ１、アイテム画像Ｍ２及びモデル骨格情報Ｍ４を関連付けてモデル情報として生成する（Ｒ５，Ｒ７）。

【0054】

そして、モデル情報生成装置２００は、モデル情報をアイテム画像合成装置１００に送出する。アイテム画像合成装置１００では、取得したモデル情報を記憶部１１０に記憶する（Ｒ８）。

【0055】

（２－２）アイテム画像合成装置の動作
次に、アイテム画像合成装置１００を使用してアイテム画像をユーザ画像に合成する手順について、図１２のフローチャートを用いて説明する。また各ステップで生成される画像を図１３，１４，１５に示す。

【0056】

まず、ユーザ端末５などを介して、ユーザが映されたユーザ画像Ｕ１が撮影され、そのユーザ画像Ｕ１がアイテム画像合成装置１００に送信される。この際、ユーザの属性データ（身長、体重、性別等）もアイテム画像合成装置１００に送信される。これにより、アイテム画像合成装置１００が属性データに関連付けられたユーザ画像Ｕ１を取得する（Ｓ１）。なお、ここではユーザ画像Ｕ１には、ユーザの体型が反映されるように、緩みのない衣服を着た状態若しくは裸の状態で撮影されたものが用いられる。

【0057】

次に、ユーザによるユーザ端末５などの操作によりモデル画像Ｍ１が選択される（Ｓ１）。ここでは、ユーザ端末５に、衣服等を着用したモデルが映されたモデル画像が選択可能に複数表示される。ユーザは、複数のモデル画像の中から自分の好みの衣服を着用したモデル画像Ｍ１を選択する。

【0058】

アイテム画像合成装置１００は、モデル画像Ｍ１が選択されると、そのモデル画像Ｍ１に映るアイテムのタイプを判定する（Ｓ３）。ここでは、服のタイプが第１タイプであるか、第２タイプであるかを判定する。

【0059】

ステップＳ３において、アイテム画像合成装置１００は、モデル画像Ｍ１に基づいて第１タイプのアイテムであると判定した場合、ユーザ画像Ｕ１からユーザ形状Ｕ３（図１３参照）を抽出する（Ｓ４）。ユーザ形状Ｕ３はシルエット画像として保存される。なお、ユーザ画像Ｕ１はユーザの身長により規格化される。

【0060】

続いて、アイテム画像合成装置１００は、ユーザ画像Ｕ１からユーザ骨格情報Ｕ４（図１３参照）を取得する（Ｓ５）。

【0061】

次に、アイテム画像合成装置１００は、ユーザ骨格情報Ｕ４に基づいてユーザ形状Ｕ３（図１３参照）の少なくとも一部に対してユーザ格子点Ｕ５を設定する（Ｓ６）。

【0062】

続いて、アイテム画像合成装置１００は、モデル画像Ｍ１に対応するモデル格子点Ｍ５と、ユーザ画像Ｕ１に対応するユーザ格子点Ｕ５とを比較する（Ｓ７，図１４参照）。この際、モデル格子点Ｍ５の間隔とユーザ格子点Ｕ５の間隔との差に応じて拡大処理を行なうことがある。例えば、腕領域に対応するモデル格子点Ｍ５がユーザ格子点Ｕ５よりも間隔が大きい場合、ユーザ格子点Ｕ５間隔を拡大する（Ｓ７－ＹＥＳ，Ｓ８）。これにより、モデル画像Ｍ１に含まれるアイテム画像Ｍ２をユーザ画像Ｕ１に合成したときに、アイテム画像Ｍ２が縮小して違和感を生じさせるのを回避できる。一方、腕領域に対応するモデル格子点Ｍ５がユーザ格子点Ｕ５よりも間隔が小さい場合、ユーザ画像Ｕ１の格子点間隔の拡大処理を実行せずに次の処理に進む（Ｓ７－ＮＯ）。

【0063】

次に、アイテム画像合成装置１００は、モデル格子点Ｍ５からユーザ格子点Ｕ５に対応させるように、モデル画像Ｍ１に含まれるアイテム画像Ｍ２の変形を行なう（Ｓ９）。補足すると、各モデル格子点と各ユーザ格子点とは一対一に対応しており、各モデル格子点の位置が各ユーザ格子点の位置に遷移させるように、モデル格子点が設定された領域のアイテム画像Ｍ２をユーザ格子点が設定された領域のアイテム画像に変形する。これにより、ユーザの体型に適合するように変形されたアイテム画像Ｕ２（図１４参照）が生成される。

【0064】

続いて、アイテム画像合成装置１００は、変形されたアイテム画像Ｕ２をユーザ画像Ｕ１に合成する（Ｓ１０）。そして、合成された画像Ｕ６（図１４参照）がユーザ端末５のディスプレイなどに表示される。

【0065】

一方、上記ステップＳ３において、アイテム画像合成装置１００は、モデル画像Ｍ１に基づいて第２タイプのアイテムであると判定した場合、ユーザの姿勢がモデルの姿勢と同じになるようにユーザ画像Ｕ１を変形する（Ｓ１１）。例えば、腕領域に関し、ユーザ骨格情報Ｕ４から得られる腕の角度をモデル骨格情報Ｍ４にから得られる腕の角度に変形するように、ユーザ画像Ｕ１を変形する。これにより変形されたユーザ画像Ｕ７（図１５参照）が得られる。

【0066】

続いて、アイテム画像合成装置１００は、変形されたユーザ画像Ｕ７にアイテム画像を合成する（Ｓ１２）。そして、合成画像Ｕ８（図１５参照）がユーザ端末５に送出され、ディスプレイなどに表示される。

【0067】

（３）アイテム画像合成システムの特徴
上述したように、本実施形態に係るアイテム画像合成装置１００は、第１タイプのアイテムの関し、モデル格子点とユーザ格子点とを対応させてアイテム画像を変形し、変形したアイテム画像をユーザ画像に合成する。これにより、アイテム画像合成装置１００は、モデルの体型からユーザの体型に変化させるようにアイテム画像を変形し、そのように変形したアイテム画像をユーザ画像に合成するので、違和感の生じない自然な合成画像を出力することができる。これにより、ユーザ画像にアイテム画像を合成したときに、ユーザがアイテムを試着しているように見せることができる。

【0068】

具体的に、アイテム画像合成装置１００を用いることで、ユーザ（試着者）に対して、モデル画像から商品の服だけを切り取ったアイテム画像を重ねることで、商品の服を試着しているような画像を合成することができる。このとき、ユーザ（試着者）とモデルとの体型・身長・ポーズの差異に応じて、アイテム画像が変形されるので、試着のリアル感を高めることができる。換言すると、モデルがアイテムを着用している状態（服を着ている状態）を撮影し、アイテム（服）を切り抜くだけで任意のユーザに対して試着した状態を示す合成画像を生成することができる。

【0069】

また、本実施形態に係るアイテム画像合成装置１００を用いることで、モデルの着用しているアイテムがゆとりの大きいもの(厚手のアウターや裾の広がっているパンツ・スカートなど)である場合、アイテム画像がユーザ画像を覆うように合成するのでユーザがアイテムを試着した状態を表示できる。補足すると、アイテム画像からユーザ画像がはみ出るように合成される場合には、現実には生じ得ない不自然な画像になる。これに対し、本実施形態に係るアイテム画像合成装置１００では、第２タイプのアイテムについては、ユーザ骨格情報に基づいて、ユーザ画像を変形させてからアイテム画像を合成することでアイテム画像からユーザ画像がはみ出ないように合成できる。なお、アイテム画像合成装置１００は、ユーザ骨格情報に基づいてアイテム画像の大きさを変更するものでもよい。これにより、全体のバランスを調整した合成画像を生成できる。

【0070】

なお、ユーザ及びモデルが同様のポーズで撮影されたユーザ画像及びモデル画像を用いると、アイテム画像の変形量を少なくすることができる。これにより、合成画像の違和感を減らすことができる。

【0071】

また、アイテム画像合成装置１００では、アイテムを着用したモデルを映したモデル画像に基づいて合成画像が生成されるので、ユーザはアイテムがどのように着用されるのかをイメージしながらアイテムを選択することが可能になる。

【0072】

また、アイテム画像合成装置１００は、モデル画像における格子点間隔が所定値以上である場合、ユーザ画像における格子点間隔に対し所定の拡大処理を行なうので、アイテム画像をユーザ画像に合成した際に、違和感を生じさせないような合成画像を生成できる。補足すると、モデルの腕の方がユーザの腕より太いときに、上記拡大処理が実行されないと、ユーザの腕の太さに合うようにアイテム画像が収縮される。これに関し、本発明者らは、このようなアイテム画像の収縮により、合成画像に違和感を生じさせることがあり、特に手先や腕回りではこのような収縮がアイテム全体の印象に与える影響が大きいという知見を得た。そのため、腕の部分のアイテム画像の変形処理においては、上記拡大処理が行われることが好ましい。

【0073】

また、アイテム画像合成装置１００は、第１タイプのアイテムの場合、モデル画像とモデル格子点とを関連付けて記憶しているので、モデル格子点とユーザ格子点に基づいてアイテム画像をユーザの形状に適合させて変形させることができる。

【0074】

さらに、アイテム画像合成装置１００は、アイテムの形状によっては、モデルがアイテムを着用していないときの形状に対して設定されたモデル格子点を記憶しているので、モデルが着用するアイテムがモデルの体型にフィットしていなくても、自然な合成画像を生成できる。補足すると、モデル格子点が、モデルの実際の体型に対応したものでなく、モデル形状の内側領域全体に設定される場合、ユーザの体型に吸い付くようにアイテム画像が変形する。例えば、図４に示すような脇の部分が緩いアイテム画像Ｍ２をユーザ画像に合成する場合、本来であればアイテムの一部であるユーザの脇の部分a１，a２にアイテムが存在しない不適切な合成画像Ｕ９が生成される（図１６（ａ）参照）。これに対し、アイテム画像合成装置１００は、モデル骨格情報を用いてモデル格子点を設定しているので、比較的緩やかに体型にフィットしている衣服をモデルが着用している場合、そのようなアイテムをユーザに緩やかにフィットさせるようにユーザ画像にアイテム画像を合成できる（図１６（ｂ）参照）。

【0075】

また、アイテム画像合成装置１００は、ユーザ骨格情報に基づいてユーザ形状の少なくとも一部に対してユーザ格子点を設定するので、モデル格子点とユーザ格子点に基づいてアイテム画像をユーザの形状に適合するように変形できる。

【0076】

また、アイテム画像合成装置１００はモデル情報生成装置２００で生成されたモデル情報を記憶する。具体的に、アイテム画像合成装置１０は、第１タイプのアイテムの場合、モデル画像とモデル格子点とを関連付けて記憶部１１に記憶する。なお、モデル情報生成装置２００は、モデルがアイテムを着用していないときの形状に対してモデル格子点を設定したモデル情報を生成する。このようなモデル情報を用いることで、アイテム画像合成装置１００は、モデルが着用するアイテムが必ずしもモデルの体型にフィットしていなくても、自然な合成画像を生成することができる。

【0077】

（４）変形例
上記説明において、ユーザ画像はユーザを撮影したものであったが、ユーザ画像は仮想的に生成されるものでもよい。例えば、ユーザの属性データ（身長、体重、性別等）に基づいて３次元的に生成し、これを特定視点から投影させた画像データなどを採用してもよい。この場合、アイテム画像生成装置が、少なくとも身長、体重、性別のいずれかの属性データに基づいてユーザ画像を生成するユーザ画像生成部をさらに備える。

【0078】

また、上記説明において、アイテム画像として第２タイプのアイテムが映っている場合、アイテム画像Ｍ２においてアノテーションした部分をモデル情報に含めてもよい。例えば、アイテムとしてコートが映っている場合、そのコートにおいて腕の部分をアノテーションし、そのアノテーションした部分をモデル情報に含めてもよい。これにより、例えば、アイテム画像Ｍ２に映るコートの袖口が、ユーザ画像に映るユーザの手首と一致するようにアノテーションした部分の伸縮し、ユーザ画像にアイテム画像を合成したときに、ユーザがアイテムを試着しているように見せることができる。

【0079】

また、上記説明において、モデル画像に映るアイテムを、第１タイプのアイテムと第２タイプのアイテムとに区分けしたが、これらの定義は便宜上のものである。例えば、上述した第２タイプのアイテムに定義されるアイテムであったとしても、第１タイプのアイテムとみなして画像合成の処理を実行してもよい。また、上述した第１タイプのアイテムに定義されるアイテムであったとしても、第２タイプのアイテムとみなして画像合成の処理を実行してもよい。要するに、第１タイプのアイテム及び第２タイプのアイテムに応じた画像合成の処理は適宜組み合わせてもよいし、いずれか一方のみを実行するものであってもよい。

【0080】

＜他の実施形態＞
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。

【符号の説明】

【0081】

１ アイテム画像合成システム
５ ユーザ端末
１００ アイテム画像合成装置
１１０ 記憶部
１２０ 入出力部
１３０ 通信部
１４０ 処理部
１４１ モデル情報取得部
１４２ ユーザ画像取得部
１４３ ユーザ格子点設定部
１４３Ａ ユーザ形状抽出部
１４３Ｂ ユーザ骨格情報取得部
１４３Ｃ ユーザ格子点処理部
１４４ アイテム画像合成部
２００ モデル情報生成装置
２４１ モデル画像取得部
２４２ アイテム画像抽出部
２４３ モデル形状抽出部
２４４ モデル骨格情報取得部
２４５ モデル格子点設定部
２４６ モデル情報生成部

【先行技術文献】

【特許文献】

【0082】

【特許文献1】特開２０１９－１２８９２３号

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】