特許 7497059 画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-31

(45)【発行日】2024-06-10

(54)【発明の名称】画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラム

(51)【国際特許分類】

   G06T 11/80 20060101AFI20240603BHJP

   G06T 19/00 20110101ALI20240603BHJP

【ＦＩ】

G06T11/80 A

G06T19/00 A

【請求項の数】 7

(21)【出願番号】P 2021502253

(86)(22)【出願日】2020-02-25

(86)【国際出願番号】 JP2020007392

(87)【国際公開番号】W WO2020171237

(87)【国際公開日】2020-08-27

【審査請求日】2023-01-17

(31)【優先権主張番号】62/809,088

(32)【優先日】2019-02-22

(33)【優先権主張国・地域又は機関】US

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２９年度 国立研究開発法人科学技術振興機構、戦略的創造研究推進事業、チーム型研究（ＣＲＥＳＴ）、研究題目「データ駆動型知的情報システムの理解・制御のためのインタラクション」、産業技術力強化法第１７条の適用を受けるもの

(73)【特許権者】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】五十嵐 健夫

(72)【発明者】

【氏名】梅谷 信行

【審査官】橋爪 正樹

(56)【参考文献】

【文献】国際公開第２０１９／１６３２１８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １１／８０

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成部を備える、
画像処理装置。

【請求項2】

前記画像生成部は、
前記参照装着品を装着したユーザの画像から前記参照装着品の画像と前記ユーザの身体部分の画像とを抽出し、
前記抽出した参照装着品の画像を前記学習済みモデルに入力し、前記学習済みモデルから出力された前記試着装着品の画像と、前記抽出したユーザの身体部分の画像とを合成することによって、前記試着装着品を試着したユーザの画像を生成する、
請求項１に記載の画像処理装置。

【請求項3】

前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像の深度情報と前記ユーザの身体部分の画像の深度情報とを抽出し、
前記抽出した深度情報に基づいて、前記試着装着品の画像と前記ユーザの身体部分の画像とを合成する、
請求項２に記載の画像処理装置。

【請求項4】

前記学習用データは、所定の姿勢で装着主体が装着した前記参照装着品の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した第１のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、かつ、前記入力データに対して、前記所定の姿勢と共通する姿勢で装着主体が装着した第２のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、
前記画像生成部は、
前記試着装着品のバリエーションの選択を受け付け、
前記参照装着品を装着したユーザの画像を前記学習済みモデルに入力して、前記選択されたバリエーションの前記試着装着品を試着したユーザの画像を生成する、
請求項１から３のいずれか１項に記載の画像処理装置。

【請求項5】

前記装着品は、衣類であり、
前記学習用データは、所定の姿勢で装着主体が装着した参照衣類の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着衣類の画像を前記出力データとして関連付けたデータを含む、
請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成ステップを含む、
画像処理方法。

【請求項7】

コンピュータに、
所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させる、
処理を実行させる、
画像処理プログラム。

【発明の詳細な説明】

【関連出願の相互参照】

【0001】

本出願は、２０１９年２月２２日に出願された米国仮出願６２／８０９０８８に基づくもので、ここにその記載内容を援用する。

【技術分野】

【0002】

本発明は、画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラムに関する。

【背景技術】

【0003】

従来、人体の動きに合わせて衣類の画像を生成し、生成した衣類の画像と人体の画像とを重ね合わせることで、仮想的な衣類の試着を行う技術が知られている（例えば、非特許文献１参照）。また、近年では、深層学習を用いて仮想的な衣類の試着を実現する技術も提案されている（例えば、非特許文献２参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】Kim,J.,＆Forsythe,S.″Adoption of Virtual Try - on technology for online apparel shopping.″Journal of Interactive Marketing, Volume 22, Spring 2008, Page 45-59.

【文献】Christoph Lassner,Gerard Pons-Moll,Peter V.Gehler.The IEEE International Conference on Computer Vision（ICCV）, July 2017,Page 853-862.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来の技術では、目的とする衣服毎に設定される多数のパラメータを用いたシミュレーションを実行する際に計算負荷が過大となってしまうという問題があった。

【0006】

なお、こうした課題は、衣類を仮想的に試着する場合に限らず、例えば、眼鏡や靴などの他の装着品を仮想的に試着する場合にも概ね共通するものであった。

【0007】

そこで、本発明は、仮想的な装着品の試着を行う場合の計算負荷を低減することができる画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および、画像処理プログラムを提供する。

【課題を解決するための手段】

【0008】

本発明の一態様に係る画像処理装置は、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成部を備える。

【0009】

この態様によれば、参照装着品の画像と試着装着品の画像とを対応付けた学習用データを用いて学習済みモデルを学習させ、この学習モデルに参照装着品を装着したユーザの画像を入力することで、仮想的な装着品の試着を行う場合の計算負荷を低減することができる。

【0010】

上記態様において、前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像と前記ユーザの身体部分の画像とを抽出し、前記抽出した参照装着品の画像を前記学習済みモデルに入力し、前記学習済みモデルから出力された前記試着装着品の画像と、前記抽出したユーザの身体部分の画像とを合成することによって、前記試着装着品を試着したユーザの画像を生成してもよい。

【0011】

この態様によれば、試着装着品を試着したユーザの画像を正確に合成することができる。

【0012】

上記態様において、前記画像生成部は、前記参照装着品を装着したユーザの画像から前記参照装着品の画像の深度情報と前記ユーザの身体部分の画像の深度情報とを抽出し、前記抽出した深度情報に基づいて、前記試着装着品の画像と前記ユーザの身体部分の画像とを合成してもよい。

【0013】

この態様によれば、画像の深度情報を用いることで、試着装着品を装着したユーザの画像をより正確に合成することができる。

【0014】

上記態様において、前記学習用データは、所定の姿勢で装着主体が装着した前記参照装着品の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した第１のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、かつ、前記入力データに対して、前記所定の姿勢と共通する姿勢で装着主体が装着した第２のバリエーションの前記試着装着品の画像を前記出力データとして関連付け、前記画像生成部は、前記試着装着品のバリエーションの選択を受け付け、前記参照装着品を装着したユーザの画像を前記学習済みモデルに入力して、前記選択されたバリエーションの前記試着装着品を試着したユーザの画像を生成してもよい。

【0015】

この態様によれば、ユーザにより選択された試着装着品のバリエーションごとに区別して、試着装着品を試着したユーザの画像を生成することができる。

【0016】

上記態様において、前記装着品は、衣類であり、前記学習用データは、所定の姿勢で装着主体が装着した前記参照衣類の画像を前記入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した前記試着衣類の画像を前記出力データとして関連付けたデータを含んでもよい。

【0017】

この態様によれば、参照衣類の画像と試着衣類の画像とを対応付けた学習用データを用いて学習済みモデルを学習させることで、仮想的な衣類の試着を行う場合の計算負荷を低減することができる。

【0018】

本発明の一態様に係る学習済みモデルは、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いて機械学習により学習させた。

【0019】

この態様によれば、上記画像処理装置の発明と同様の効果が得られる。

【0020】

本発明の一態様に係る画像収集装置は、ロボットマネキンと、カメラと、前記ロボットマネキンの姿勢を制御するロボット制御部と、前記ロボット制御部の制御に基づいて装着品を装着させた前記ロボットマネキンの姿勢を所定の姿勢に制御した状態で、前記カメラで前記装着品の画像を撮影し、撮影された画像を前記姿勢と関連付けて記憶部に記憶させる撮影制御部とを備える。

【0021】

この態様によれば、参照装着品の画像と試着装着品の画像との対応付けを的確に行うことができ、学習済みモデルの学習に用いられる学習用データの信頼性を高めることができる。

【0022】

本発明の一態様に係る画像処理方法は、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成する画像生成ステップを含む。

【0023】

この態様によれば、上記画像処理装置の発明と同様の効果が得られる。

【0024】

本発明の一態様に係る画像処理プログラムは、コンピュータに、所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させる処理を実行させる。

【0025】

この態様によれば、上記画像処理プログラムの発明と同様の効果が得られる。

【発明の効果】

【0026】

本発明によれば、仮想的な装着品の試着を行う場合の計算負荷を低減することができる。

【図面の簡単な説明】

【0027】

【図1】画像処理装置の第１の実施の形態の概略構成を示すブロック図。

【図2】画像データのデータ内容の一例を示す図。

【図3】学習用データのデータ内容の一例を示す図。

【図4】計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図。

【図5】画像の生成過程の一例を説明するための図。

【図6】学習済みモデルの学習処理の一例を示すフローチャート。

【図7】画像生成処理の処理内容を示すフローチャート。

【図8】計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図。

【図9】画像の生成過程の一例を説明するための図。

【図10】計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図。

【図11】画像の生成過程の一例を説明するための図。

【図12】画像処理装置のハードウェア構成の一例を示す図である。

【発明を実施するための形態】

【0028】

（第１の実施の形態）
以下、図面を参照し、本発明の画像処理装置、学習済みモデル、画像収集装置、画像処理方法、および画像処理プログラムの実施形態について説明する。

【0029】

図１に示すように、画像収集装置１は、例えば、カメラ１０と、ロボットマネキン２０と、ディスプレイ３０と、画像処理装置１００とを備える。これらの装置や機器は、通信線や無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

【0030】

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、例えば、ロボットマネキン２０の前方に固定して配置され、装着品の一例である衣類を装着したロボットマネキン２０の画像を撮影する。カメラ１０は、例えば、ステレオカメラであってもよいし、深度カメラであってもよい。

【0031】

ロボットマネキン２０は、例えば、ヒト型ロボットである。ロボットマネキン２０は、例えば、両肩に４自由度、両肘に４自由度、腰の回転に２自由度で駆動可能に構成されており、衣類を装着した状態で様々な姿勢を取ることが可能である。

【0032】

ディスプレイ３０は、例えば、液晶ディスプレイであり、画像処理装置１００により生成された画像を表示する。

【0033】

画像処理装置１００は、例えば、制御部１１０と、記憶部１２０とを備える。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部：circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め画像処理装置１００のＨＤＤやフラッシュメモリなどの記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることで画像処理装置１００のＨＤＤやフラッシュメモリにインストールされてもよい。

【0034】

制御部１１０は、例えば、ロボット制御部１１２と、撮影制御部１１４と、学習部１１６と、画像生成部１１８とを備える。

【0035】

ロボット制御部１１２は、ロボットマネキン２０の動作を制御する。ロボット制御部１１２は、例えば、ロボットマネキン２０の各自由度における動作量を制御することにより、ロボットマネキン２０の姿勢を制御する。ロボットマネキン２０の各自由度は、両肩の自由度、両肘の自由度、腰の回転の自由度など、ロボットマネキン２０のポーズの自由度に加え、鉛直方向に延びる中心軸を中心としたロボットマネキン２０の回転位置の自由度を含む。ロボットマネキン２０の自由度は、例えば、カメラ１０の撮影位置・方向に対するロボットマネキン２０の角度を含んでもよい。なお、上記の説明は、ロボットマネキン２０の姿勢の一例にすぎず、これに限られない。

【0036】

撮影制御部１１４は、カメラ１０による画像の撮影動作を制御する。撮影制御部１１４は、例えば、ロボット制御部１１２の制御に基づいてロボットマネキン２０の姿勢を所定の姿勢に制御した状態でロボットマネキン２０の画像を撮影する。撮影制御部１１４は、例えば、ロボット制御部１１２の制御に基づいて、ロボットマネキン２０の種々のポーズについて、ロボットマネキン２０の回転位置を変化させつつ、ロボットマネキン２０の画像を撮影する。撮影制御部１１４は、撮影された画像をロボットマネキン２０の姿勢と関連付けて記憶部１２０に記憶させる。撮影制御部１１４は、例えば、計測用衣類を装着したロボットマネキン２０の画像、および、試着用衣類を装着したロボットマネキン２０の画像を撮影する。撮影制御部１１４は、計測用衣類を装着したロボットマネキン２０の画像から計測用衣類の画像を領域分割し、領域分割した画像を、画像の撮影時におけるロボットマネキン２０の姿勢と関連付けて画像データ１２２として記憶部１２０に記憶させる。また、撮影制御部１１４は、試着用衣類を装着したロボットマネキン２０の画像から試着用衣類の画像を領域分割し、領域分割した画像を、画像の撮影時におけるロボットマネキン２０の姿勢と関連付けて画像データ１２２として記憶部１２０に記憶させる。

【0037】

図２は、画像データ１２２のデータ内容の一例を示す図である。図示の例では、画像データ１２２のデータ属性は、例えば、画像の種類、画像情報、および、ロボットマネキン２０の姿勢を含む。画像の種類は、ロボットマネキン２０が装着している衣類の種類であり、例えば、計測用衣類、および、試着用衣類を含む。計測用衣類は、試着用衣類を合成する上で参照される参照衣類の一例である。計測用衣類は、例えば、ユーザの身体に関する情報を取得するための衣類であり、人体の肌の色と区別しやすく、様々な試着用衣類と対応付けがしやすいことが好ましい。試着用衣類は、仮想的な試着の対象となる衣類であり、例えば、デザインが異なる複数の種類の衣類を含む。画像情報は、カメラ１０により撮影された画像の画像位置ごとの輝度値（Ｒ，Ｇ，Ｂ）に関する情報を含む。画像情報は、さらに、カメラ１０により撮影された画像の画像位置ごとの深度情報を含んでもよい。ロボットマネキン２０の姿勢は、ロボットマネキン２０の各自由度の動作量の組み合わせにより規定されるパラメータである。

【0038】

学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の姿勢が共通する試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。すなわち、学習部１１６は、同じポーズで同じ方向から撮影した計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４として記憶部１２０に格納する。学習部１１６は、例えば、記憶部１２０に格納された画像データ１２２を参照し、計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４を記憶部１２０に格納する。学習部１１６は、学習用データ１２４を用いた機械学習により学習モデルを学習させて学習済みモデル１２６を生成する。学習済みモデル１２６は、例えば、機械学習のモデルの一種であるニューラルネットワークにより構成されている。学習部１１６は、計測用衣類の画像および試着用衣類の画像に対して平行移動、拡大縮小、回転、ノイズの付与などの処理を加えることで、学習用データ１２４のデータ数を水増しする、いわゆるデータオーギュメンテーションを行ってもよい。

【0039】

図３は、学習用データ１２４のデータ内容の一例を示す図である。図示の例では、学習用データ１２４は、計測用衣類の画像情報として、ロボットマネキン２０の姿勢が互いに異なる複数（図示の例ではＮ個）の画像情報「Ａ１」～「ＡＮ」が含まれている。また、学習用データ１２４は、計測用衣類のそれぞれの画像情報「Ａ１」～「ＡＮ」とロボットマネキン２０の姿勢が共通する試着用衣類の画像情報が対応付けられている。具体的には、学習用データ１２４は、計測用衣類のそれぞれの画像情報「Ａ１」～「ＡＮ」とロボットマネキン２０の姿勢が共通する衣類ごと（「衣類１」、「衣類２」など）の画像情報とが対応付けられている。

【0040】

図４は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図４に示すように、学習用データ１２４は、ロボットマネキン２０の姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、ロボットマネキン２０の姿勢が「姿勢１」である場合の計測用衣類の画像情報「Ａ１」と試着用衣類の画像情報「Ｂ１１」とが対応付けられ、ロボットマネキン２０の姿勢が「姿勢２」である場合の計測用衣類の画像情報「Ａ２」と試着用衣類の画像情報「Ｂ１２」とが対応付けられている。

【0041】

画像生成部１１８は、計測用衣類を装着したユーザの画像を学習済みモデル１２６入力して、試着用衣類を試着したユーザの画像を生成する。画像生成部１１８は、例えば、計測用衣類を装着したユーザの画像から計測用衣類の画像とユーザの身体部分の画像とを抽出し、抽出した計測用衣類の画像を学習済みモデル１２６に入力し、学習済みモデル１２６から出力された試着用衣類の画像と、抽出したユーザの身体部分の画像とを合成する。

【0042】

図５は、画像処理装置１００による画像の生成処理の一例を説明するための図である。

【0043】

同図に示すように、画像処理装置１００は、学習フェーズとして、まず、計測用衣類を装着したロボットマネキン２０の画像から計測用衣類の画像を領域分割し、かつ、試着用衣類を装着したロボットマネキン２０の画像から試着用衣類の画像を領域分割する。

【0044】

次に、画像処理装置１００は、領域分割された計測用衣類の画像と試着用衣類の画像とを学習用データ１２４として対応付け、この学習用データ１２４を用いた機械学習により学習モデルを学習させることにより、学習済みモデル１２６を生成する。

【0045】

次に、画像処理装置１００は、実行フェーズとして、計測用衣類を装着したユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。この場合、画像処理装置１００は、計測用衣類の画像の深度情報と、ユーザの身体部分の画像の深度情報とを取得してもよい。これにより、計測用衣類の画像と、ユーザの身体部分の画像との領域分割が正確に行われる。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、ユーザの姿勢に対応する試着用衣類の画像が学習済みモデル１２６から出力される。

【0046】

次に、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。画像処理装置１００は、例えば、ユーザの身体部分の画像を、計測用衣類の画像よりも手前に位置するように、試着用衣類を装着したユーザの画像を合成する。画像処理装置１００は、例えば、計測用衣類の画像の深度情報と、ユーザの身体部分の画像の深度情報とに基づいて、試着用衣類を装着したユーザの画像を生成してもよい。この場合、画像処理装置１００は、例えば、衣類の首の部分にユーザの顔や首を合成できたり、衣類の袖の部分にユーザの腕を合成できたりするなど、試着用異類を装着したユーザの画像を精度よく合成することができる。

【0047】

図６は、学習済みモデル１２６の学習処理の一例を示すフローチャートである。なお、図６に示すフローチャートの処理に先立ち、ロボットマネキン２０の姿勢ごとの計測用衣類の画像の撮影は完了しているものとする。また、図６に示すフローチャートの処理は、例えば、ロボットマネキン２０に試着用衣類が装着された場合に、所定の操作をトリガーとして実行される。

【0048】

図６に示すように、まず、ロボット制御部１１２は、試着用衣類を装着したロボットマネキン２０を所定の姿勢に制御する（ステップＳ１０）。次に、撮影制御部１１４は、カメラ１０を用いてロボットマネキン２０の画像を撮影する（ステップＳ１２）。次に、撮影制御部１１４は、ロボットマネキン２０の画像から試着用衣類の画像を領域分割する（ステップＳ１４）。次に、撮影制御部１１４は、ロボットマネキン２０の姿勢が共通する計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４として記憶部１２０に格納する（ステップＳ１６）。次に、学習部１１６は、記憶部１２０に格納された学習用データ１２４に加え、学習用データ１２４に対してデータオーギュメンテーションを行うことで水増しされたデータを用いて、機械学習により学習モデルを学習させる（ステップＳ１８）。次に、撮影制御部１１４は、学習が終了したか否かを判定する（ステップＳ２０）。そして、ロボット制御部１１２は、撮影制御部１１４により学習が終了していないと判定された場合には、ロボットマネキン２０の姿勢を変更し（ステップＳ２２）、計測用衣類の画像に対する試着用衣類の画像の対応付けが完了するまでの間、ステップＳ１２～ステップＳ２０の処理を繰り返す。一方、撮影制御部１１４は、学習が終了したと判定した場合には、本フローチャートの処理が終了する。

【0049】

図７は、画像生成処理の一例を示すフローチャートである。なお、図７に示すフローチャートの処理に先立ち、試着用衣類はユーザにより事前に選択されているものとする。また、図７に示すフローチャートの処理は、例えば、計測用衣類を装着したユーザの画像が撮影された場合に、所定の操作をトリガーとして実行される。

【0050】

図７に示すように、まず、画像生成部１１８は、計測用衣類を装着したユーザの画像から、ユーザの身体部分の画像と計測用衣類の画像とを領域分割する（ステップＳ３０）。次に、画像生成部１１８は、先のステップＳ３０において領域分割した計測用衣類の画像を学習済みモデル１２６に入力する（ステップＳ３２）。次に、画像生成部１１８は、学習済みモデル１２６から出力された試着用衣類の画像と、先のステップＳ３０において領域分割したユーザの身体部分の画像とを合成する（ステップＳ３４）。次に、画像生成部１１８は、合成した画像をディスプレイ３０に出力する（ステップＳ３６）。これにより、本フローチャートの処理が終了する。

【0051】

以上説明したように、上記第１の実施の形態によれば、以下に示す効果を得ることができる。
（１）画像処理装置１００は、所定の姿勢でロボットマネキン２０が装着した計測用衣類の画像を入力データとし、所定の姿勢と共通する姿勢でロボットマネキン２０が装着した試着用衣類の画像を出力データとして関連付けた学習用データ１２４を用いた機械学習により学習済みモデル１２６を学習する。また、画像処理装置１００は、学習済みモデル１２６に対し、計測用衣類を装着したユーザの画像を入力して、試着用衣類を試着したユーザの画像を生成する。すなわち、ユーザが装着した計測用衣類の画像を学習済みモデル１２６を用いて試着用衣類の画像に変換し、変換後の画像を用いて試着用衣類を試着したユーザの画像を生成する。これにより、人体や衣類の三次元モデルを用意して物理シミュレーションを実行することが不要となるため、仮想的な衣類の試着を行う場合の計算負荷を低減することができる。また、目的とする衣服毎に多数のパラメータを正確に計測することが不要となるため、仮想的な衣類の試着を行う場合の利便性を向上することができる。

【0052】

（２）画像処理装置１００は、計測用衣類を装着したユーザの画像から計測用衣類の画像とユーザの身体部分の画像とを抽出し、抽出した計測用衣類の画像を学習済みモデル１２６に入力する。また、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、先に抽出したユーザの身体部分の画像とを合成することによって、試着用衣類を試着したユーザの画像を生成する。すなわち、学習済みモデル１２６を用いて変換した試着用衣類の画像とユーザの身体部分の画像とを位置合わせして合成することで、試着用衣類を試着したユーザの画像を正確に合成することができる。

【0053】

（３）画像処理装置１００は、計測用衣類を装着したユーザの画像から計測用衣類の画像の深度情報とユーザの身体部分の画像の深度情報とを抽出し、抽出した深度情報に基づいて、試着用衣類の画像とユーザの身体部分の画像とを合成する。これにより、試着用衣類を試着したユーザの画像をより正確に合成することができる。

【0054】

（４）画像処理装置１００は、衣類を装着させたロボットマネキン２０の姿勢を所定の姿勢に制御した状態で、カメラ１０で衣類の画像を撮影し、撮影された衣類の画像をロボットマネキン２０の姿勢と関連付けて記憶部１２０に記憶させる。これにより、計測用衣類の画像と試着用衣類の画像との対応付けを正確に行うことができ、学習用データ１２４の信頼性を高めることができる。

【0055】

（５）画像処理装置１００は、ロボットマネキン２０を正面から見た画像に加え、ロボットマネキン２０を横方向から見た画像など、ロボットマネキン２０を様々な回転位置から見た画像を含むように学習用データ１２４を構成している。これにより、ユーザが様々な姿勢を取る場合であっても、試着用衣類を試着したユーザの画像を正確に合成することができる。

【0056】

（６）画像処理装置１００は、計測用衣類の画像と試着用衣類の画像とを対応付けて学習用データ１２４を構成している。これにより、ユーザの姿勢の変化に伴った試着用衣類の変形を正確に予測することが可能となり、試着用衣類を装着したユーザの画像をより正確に合成することができる。

【0057】

（第２の実施の形態）
次に、画像処理装置の第２の実施の形態について図面を参照して説明する。なお、第２の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。

【0058】

第２の実施の形態に係る学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の姿勢が共通する複数のバリエーションの試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。複数のバリエーションは、例えば、試着用衣類の色やサイズを含む。学習用データ１２４は、例えば、計測用衣類の画像を入力データとし、計測用衣類とロボットマネキン２０の姿勢が共通する第１のバリエーションの試着用衣類の画像を出力データとして関連付け、かつ、計測用衣類の画像を入力データとし、計測用衣類とロボットマネキン２０の姿勢が共通する第２のバリエーションの試着用衣類の画像を出力データとして関連付けている。

【0059】

図８は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図８に示すように、学習用データ１２４は、ロボットマネキン２０の姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＳサイズの試着用衣類の画像情報「Ｂ１１α」とが対応付けられている。また、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＭサイズの試着用衣類の画像情報「Ｂ１１β」とが対応付けられている。また、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」とＬサイズの試着用衣類の画像情報「Ｂ１１γ」とが対応付けられている。

【0060】

図９は、画像処理装置１００による画像の生成処理の一例を説明するための図である。

【0061】

同図に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着したユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。この場合、学習済みモデル１２６から出力される試着用衣類のサイズ（図示の例では「Ｍサイズ」）が事前に選択されている。これにより、事前に選択されたサイズに対応する試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。

【0062】

以上説明したように、上記第２の実施の形態によれば、第１の実施の形態の上記（１）～（６）の効果に加えて、以下に示す効果を得ることができる。
（７）画像処理装置１００は、試着用衣類のバリエーションの選択を受け付け、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、先に選択されたバリエーションの試着用衣類を試着したユーザの画像を生成する。これにより、ユーザにより選択された試着用衣類のバリエーションごとに区別して、試着用衣類を試着したユーザの画像を生成することができる。

【0063】

（第３の実施の形態）
次に、画像処理装置の第３の実施の形態について図面を参照して説明する。なお、第３の実施の形態は、計測用衣類の画像と試着用衣類の画像との対応付けの方法が第１の実施の形態と異なる。したがって、以下の説明においては、第１の実施の形態と相違する構成について主に説明し、第１の実施の形態と同一のまたは相当する構成については重複する説明を省略する。

【0064】

第３の実施の形態に係る学習部１１６は、計測用衣類の画像を入力データとし、計測用衣類の画像とロボットマネキン２０の体型並びに姿勢が共通する試着用衣類の画像を出力データとして関連付けた学習用データ１２４を記憶部１２０に格納する。ロボットマネキン２０の体型は、例えば、腕囲、肩幅、腹囲などのパラメータにより規定される。学習用データ１２４は、例えば、通常の体型に相当するロボットマネキン２０により装着された計測用衣類の画像と、この計測用衣類とロボットマネキン２０の体型ならびに姿勢が共通する試着用衣類の画像とを対応付け、かつ、肥満型に相当するロボットマネキン２０により装着された計測用衣類の画像と、この計測用衣類とロボットマネキン２０の体型ならびに姿勢が共通する試着用衣類の画像と対応付けて学習用データ１２４を構成している。すなわち、学習用データ１２４は、複数の体型のユーザに対応するように計測用衣類の画像と試着用衣類の画像とを対応付けており、学習用データ１２４のデータ数が水増しされている。

【0065】

図１０は、計測用衣類の画像と試着用衣類の画像との対応付けの一例を示す図である。図１０に示すように、学習用データ１２４は、ロボットマネキン２０の体型ならびに姿勢ごとに区別して、計測用衣類の画像情報と試着用衣類の画像情報とが対応付けられている。図示の例では、学習用データ１２４は、例えば、通常の体型に相当するロボットマネキン２０について、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１」と試着用衣類の画像情報「Ｂ１１」とが対応付けられている。また、肥満型に相当するロボットマネキン２０について、ロボットマネキン２０の姿勢が「姿勢１」である計測用衣類の画像情報「Ａ１Ｘ」と試着用衣類の画像情報「Ｂ１１Ｘ」とが対応付けられている。

【0066】

図１１は、画像処理装置１００による画像の生成処理の一例を説明するための図である。

【0067】

図１１（ａ）に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着した通常の体型のユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、通常の体型に近い試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。

【0068】

図１１（ｂ）に示すように、画像処理装置１００は、実行フェーズとして、計測用衣類を装着した肥満型のユーザの画像から、計測用衣類の画像、および、ユーザの身体部分の画像を領域分割する。そして、画像処理装置１００は、領域分割した計測用衣類の画像を学習済みモデル１２６に入力する。これにより、肥満型に近い試着用衣類の画像が学習済みモデル１２６から出力される。その後、画像処理装置１００は、学習済みモデル１２６から出力された試着用衣類の画像と、上述のように領域分割したユーザの身体部分の画像とを合成することにより、試着用衣類を装着したユーザの画像を生成する。

【0069】

以上説明したように、上記第３の実施の形態によれば、第１の実施の形態の上記（１）～（６）の効果に加えて、以下に示す効果を得ることができる。
（８）画像処理装置１００は、複数の体型のユーザに対応するように計測用衣類の画像と試着用衣類の画像とを対応付けた学習用データ１２４を用いて学習済みモデル１２６を学習している。また、画像処理装置１００は、計測用衣類を装着したユーザの画像を学習済みモデル１２６に入力して、様々な体型のユーザが試着用衣類を装着した画像を生成する。すなわち、様々な体型のユーザに対応するように学習用データ１２４を構成することで、計算負荷を抑えつつ、リアリティの高い試着用衣類の画像を生成することができる。

【0070】

（その他の実施の形態）
なお、上記各実施の形態は、以下のような形態にて実施することもできる。
・上記各実施の形態においては、画像処理装置１００がロボットマネキン２０を制御することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集した。これに代えて、被験者が衣類を着用した状態で姿勢を変更することにより、計測用衣類の画像および試着用衣類の画像を学習用データ１２４として収集してもよい。

【0071】

・上記各実施の形態においては、ユーザが装着した計測用衣類の画像を用いて学習済みモデル１２６を学習するようにした。これに代えて、ユーザが装着した普通の衣類の画像を用いて学習済みモデル１２６を学習するようにしてもよい。例えば、ユーザが装着した普通の衣類の画像に基づいてユーザの姿勢を推定し、推定したユーザの姿勢を普通の衣類の画像と関連付けて学習用データ１２４を構成してもよい。なお、普通の衣類の画像に基づいてユーザの姿勢を推定する場合には、ロボットマネキン２０に普通の衣類を装着させた画像を用いてもよいし、被検者に普通の衣類を装着させた画像を用いてもよい。

【0072】

〔ハードウェア構成〕
図１２は、実施の形態の画像処理装置１００のハードウェア構成の一例を示す図である。図示するように、画像処理装置１００は、通信コントローラ１００－１、ＣＰＵ１００－２、ワーキングメモリとして使用されるＲＡＭ（Randome Access Memory）１００－３、ブートプログラムなどを格納するＲＯＭ（Read Only Memory）１００－４、フラッシュメモリやＨＤＤ（Hard Disk Drive）などの記憶装置１００－５、ドライブ装置１００－６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００－１は、画像処理装置１００以外の構成要素との通信を行う。記憶装置１００－５には、ＣＰＵ１００－２が実行するプログラム１００－５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００－３に展開されて、ＣＰＵ１００－２によって実行される。これによって、ロボット制御部１１２、撮影制御部１１４、学習部１１６、画像生成部１１８が実現される。

【0073】

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記記憶装置に記憶されたプログラムを実行することにより、
所定の姿勢で装着主体が装着した参照装着品の画像を入力データとし、前記所定の姿勢と共通する姿勢で装着主体が装着した試着装着品の画像を出力データとして関連付けた学習用データを用いた機械学習により学習させた学習済みモデルに対し、前記参照装着品を装着したユーザの画像を入力して、前記試着装着品を試着したユーザの画像を生成させるように構成されている、画像処理装置。

【0074】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0075】

１…画像生成システム、１０…カメラ、２０…ロボットマネキン、３０…ディスプレイ、１００…画像処理装置、１１０…制御部、１１２…ロボット制御部、１１４…撮影制御部、１１６…学習部、１１８…画像生成部、１２０…記憶部、１２２…画像データ、１２４…学習用データ、１２６…学習済みモデル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】