特許 7278724 情報処理装置、情報処理方法、および情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-12

(45)【発行日】2023-05-22

(54)【発明の名称】情報処理装置、情報処理方法、および情報処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20230515BHJP

   G06T 5/50 20060101ALI20230515BHJP

【ＦＩ】

G06T1/00 340A

G06T1/00 340B

G06T5/50

【請求項の数】 16

(21)【出願番号】P 2018138024

(22)【出願日】2018-07-23

(65)【公開番号】P2020016961

(43)【公開日】2020-01-30

【審査請求日】2020-09-25

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】301063496

【氏名又は名称】東芝デジタルソリューションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】上田 弘樹

(72)【発明者】

【氏名】奥野 舜

(72)【発明者】

【氏名】吉岡 寿朗

【審査官】山田 辰美

(56)【参考文献】

【文献】特開平０８－１３１２５２（ＪＰ，Ａ）

【文献】特開２０１２－２０９８９５（ＪＰ，Ａ）

【文献】特開２００６－０１８８９５（ＪＰ，Ａ）

【文献】特開２０１３－２２６２８６（ＪＰ，Ａ）

【文献】国際公開第２０１８／０９６６６１（ＷＯ，Ａ１）

【文献】特開２０１７－０２７４６２（ＪＰ，Ａ）

【文献】特開２０１１－１４３１５８（ＪＰ，Ａ）

【文献】特開２０１２－０９４０４８（ＪＰ，Ａ）

【文献】夏目 亮太 他，領域分離型敵対的生成ネットワークによる髪型編集手法，第８０回（平成３０年）全国大会講演論文集（２） 人工知能と認知科学，日本，一般社団法人情報処理学会，2018年03月13日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／５０

(57)【特許請求の範囲】

【請求項1】

被写体画像から合成領域を抽出する学習モデルを用いて、第１被写体の第１被写体画像から前記合成領域を抽出する抽出部と、
第２被写体の第２被写体画像における対象領域の透過度を閾値以上に補正した補正画像の前記対象領域に、抽出した前記合成領域を合成した合成画像を生成する生成部と、
を備え、
前記生成部は、
前記第１被写体画像における、肌の色を特徴的に表す特徴領域の色調と、前記第２被写体画像における前記特徴領域の色調と、の差が所定値以下となるように、抽出した前記合成領域の色調を補正し、補正後の前記合成領域を前記補正画像の前記対象領域に合成した前記合成画像を生成し、
前記特徴領域は、
撮影環境と前記第１被写体および前記第２被写体の状態とを含む要素により変動しにくい領域であって、鼻の先端領域と、鼻孔領域と、鼻の先端領域に隣接する肌領域と、を含み、
前記生成部は、
前記第１被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第２被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第１被写体画像から解析した画素と、前記第２被写体画像から解析した画素と、について同じ番号を付与された画素同士を比較し、該画素同士の色調の差が前記所定値以下となるように、抽出した前記合成領域の色調を補正する、
情報処理装置。

【請求項2】

前記生成部は、
前記第２被写体画像における、前記対象領域の内側と外側との境界領域の透過度を、該対象領域の内側から前記対象領域の外側に向かって低くなるように補正した前記補正画像の前記対象領域に、抽出した前記合成領域を合成した前記合成画像を生成する、
請求項１に記載の情報処理装置。

【請求項3】

前記第２被写体画像は、
前記第２被写体の顔および衣服を含む画像である、
請求項１または請求項２に記載の情報処理装置。

【請求項4】

前記第２被写体画像は、
前記第１被写体によって仮想的に試行される形態を示す部位である試行対象部位を含む画像である、
請求項１～請求項３の何れか１項に記載の情報処理装置。

【請求項5】

前記試行対象部位は、
頭髪部位、皮膚部位、および、前記第２被写体に装着されたアイテム、の少なくとも一つである、
請求項４に記載の情報処理装置。

【請求項6】

前記合成領域は、
前記第１被写体画像における、前記試行対象部位に隣接する領域である、
請求項４または請求項５に記載の情報処理装置。

【請求項7】

前記試行対象部位は、頭髪部位であり、
前記合成領域は、前記第１被写体画像における顔領域である、
請求項６に記載の情報処理装置。

【請求項8】

前記合成領域および前記対象領域は、矩形状の領域である、
請求項１～請求項７の何れか１項に記載の情報処理装置。

【請求項9】

前記生成部は、
前記補正画像の前記対象領域と前記合成領域とが一致するように、前記補正画像を変形し、変形後の前記補正画像の前記対象領域に、抽出した前記合成領域を合成した前記合成画像を生成する、
請求項１～請求項８の何れか１項に記載の情報処理装置。

【請求項10】

前記肌領域は、ユーザの鼻と唇との間の領域、および、頬の領域、の少なくとも一方である
請求項１～請求項９の何れか１項に記載の情報処理装置。

【請求項11】

前記合成画像を出力部へ出力する出力制御部を備える、
請求項１～請求項１０の何れか１項に記載の情報処理装置。

【請求項12】

前記出力制御部は、
前記合成画像と、該合成画像の合成に用いた前記補正画像に対応する前記第２被写体画像に関する関連情報と、を前記出力部へ出力する、
請求項１１に記載の情報処理装置。

【請求項13】

前記関連情報は、
前記第２被写体画像に関する補足情報、前記第１被写体の特徴と前記第２被写体画像に含まれ前記第１被写体によって仮想的に試行される形態を示す部位である試行対象部位との親和度、前記合成画像に類似する前記第１被写体以外のユーザ名、前記合成画像の特色を示す特色情報、および、前記第１被写体と前記第２被写体との差分情報、の少なくとも１つである、
請求項１２に記載の情報処理装置。

【請求項14】

前記出力制御部は、
生成された複数の前記合成画像の内、前記関連情報に基づいて選択した前記合成画像を、前記出力部へ出力する、
請求項１２または請求項１３に記載の情報処理装置。

【請求項15】

被写体画像から合成領域を抽出する学習モデルを用いて、第１被写体の第１被写体画像から前記合成領域を抽出する抽出ステップと、
第２被写体の第２被写体画像における対象領域の透過度を閾値以上に補正した補正画像の前記対象領域に、抽出した前記合成領域を合成した合成画像を生成する生成ステップと、
を含み、
前記生成ステップは、
前記第１被写体画像における、肌の色を特徴的に表す特徴領域の色調と、前記第２被写体画像における前記特徴領域の色調と、の差が所定値以下となるように、抽出した前記合成領域の色調を補正し、補正後の前記合成領域を前記補正画像の前記対象領域に合成した前記合成画像を生成し、
前記特徴領域は、
撮影環境と前記第１被写体および前記第２被写体の状態とを含む要素により変動しにくい領域であって、鼻の先端領域と、鼻孔領域と、鼻の先端領域に隣接する肌領域と、を含み、
前記生成ステップは、
前記第１被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第２被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第１被写体画像から解析した画素と、前記第２被写体画像から解析した画素と、について同じ番号を付与された画素同士を比較し、該画素同士の色調の差が前記所定値以下となるように、抽出した前記合成領域の色調を補正する、
情報処理方法。

【請求項16】

被写体画像から合成領域を抽出する学習モデルを用いて、第１被写体の第１被写体画像から前記合成領域を抽出する抽出ステップと、
第２被写体の第２被写体画像における対象領域の透過度を閾値以上に補正した補正画像の前記対象領域に、抽出した前記合成領域を合成した合成画像を生成する生成ステップと、
をコンピュータに実行させるための情報処理プログラムであって、
前記生成ステップは、
前記第１被写体画像における、肌の色を特徴的に表す特徴領域の色調と、前記第２被写体画像における前記特徴領域の色調と、の差が所定値以下となるように、抽出した前記合成領域の色調を補正し、補正後の前記合成領域を前記補正画像の前記対象領域に合成した前記合成画像を生成し、
前記特徴領域は、
撮影環境と前記第１被写体および前記第２被写体の状態とを含む要素により変動しにくい領域であって、鼻の先端領域と、鼻孔領域と、鼻の先端領域に隣接する肌領域と、を含み、
前記生成ステップは、
前記第１被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第２被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、
前記第１被写体画像から解析した画素と、前記第２被写体画像から解析した画素と、について同じ番号を付与された画素同士を比較し、該画素同士の色調の差が前記所定値以下となるように、抽出した前記合成領域の色調を補正する、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、情報処理装置、情報処理方法、および情報処理プログラムに関する。

【背景技術】

【0002】

試着対象の衣服を着用した状態を示す仮想画像を表示する技術が開示されている。例えば、デプスセンサを用いて推定した体型に応じて衣服画像を変形し、変形後の衣服画像を被写体画像上に重畳することで合成画像を表示する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１４－１６５６１３号公報

【文献】特願２０１４－２６３３０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来では、デプスセンサなどを用いて試着者の三次元形状情報を取得し、取得した三次元形状情報に応じて変形および位置合せを行うことで、合成画像を生成していた。このため、従来では、被写体画像の合成画像を容易に生成することは困難であった。

【0005】

本発明が解決しようとする課題は、被写体画像の合成画像を容易に生成することができる、情報処理装置、情報処理方法、および情報処理プログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の情報処理装置は、抽出部と、生成部と、を備える。抽出部は、被写体画像から合成領域を抽出する学習モデルを用いて、第１被写体の第１被写体画像から前記合成領域を抽出する。生成部は、第２被写体の第２被写体画像における対象領域の透過度を閾値以上に補正した補正画像の前記対象領域に、抽出した前記合成領域を合成した合成画像を生成する。生成部は、前記第１被写体画像における、肌の色を特徴的に表す特徴領域の色調と、前記第２被写体画像における前記特徴領域の色調と、の差が所定値以下となるように、抽出した前記合成領域の色調を補正し、補正後の前記合成領域を前記補正画像の前記対象領域に合成した前記合成画像を生成し、前記特徴領域は、撮影環境と前記第１被写体および前記第２被写体の状態とを含む要素により変動しにくい領域であって、鼻の先端領域と、鼻孔領域と、鼻の先端領域に隣接する肌領域と、を含む。前記生成部は、前記第１被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、前記第２被写体画像の前記特徴領域における輝度または明度の高い画素から低い画素に向かって複数の画素の各々に番号を付与し、番号を付与した複数の画素の各々の色調を解析し、前記第１被写体画像から解析した画素と、前記第２被写体画像から解析した画素と、について同じ番号を付与された画素同士を比較し、該画素同士の色調の差が前記所定値以下となるように、抽出した前記合成領域の色調を補正する。

【図面の簡単な説明】

【0007】

【図1】図１は、情報処理システムの模式図である。

【図2】図２は、情報処理装置１０の機能ブロック図である。

【図3A】図３Ａは、第１被写体画像の模式図である。

【図3B】図３Ｂは、教師データのデータ構成の模式図である。

【図3C】図３Ｃは、合成領域の模式図である。

【図4A】図４Ａは、第２被写体ＤＢのデータ構成の模式図である。

【図4B】図４Ｂは、第２被写体画像、対象領域、および補正画像の模式図である。

【図5A】図５Ａは、合成画像の生成の模式図である。

【図5B】図５Ｂは、合成画像の生成の模式図である。

【図5C】図５Ｃは、合成画像の生成の模式図である。

【図5D】図５Ｄは、合成画像の生成の模式図である。

【図6A】図６Ａは、色調補正の説明図である。

【図6B】図６Ｂは、色調補正の説明図である。

【図6C】図６Ｃは、色調補正の説明図である。

【図6D】図６Ｄは、色調補正の説明図である。

【図6E】図６Ｅは、色調補正の説明図である。

【図6F】図６Ｆは、色調補正の説明図である。

【図7A】図７Ａは、色調補正前の合成領域の合成の説明図である。

【図7B】図７Ｂは、色調補正後の合成領域の合成の説明図である。

【図8】図８は、情報処理の手順のフローチャートである。

【図9A】図９Ａは、試行対象部位の模式図である。

【図9B】図９Ｂは、試行対象部位の模式図である。

【図10】図１０は、ハードウェア構成例を示すブロック図である。

【発明を実施するための形態】

【0008】

以下に添付図面を参照して、情報処理装置、情報処理方法、および情報処理プログラムの一の実施形態を詳細に説明する。

【0009】

図１は、本実施形態の情報処理システム１の模式図である。

【0010】

情報処理システム１は、情報処理装置１０と、端末装置１２と、外部サーバ１４と、を備える。情報処理装置１０、端末装置１２、および外部サーバ１４は、ネットワーク１６を介して有線または無線により通信可能に接続されている。

【0011】

なお、本実施形態では、情報処理システム１は、１台の情報処理装置１０と、１台の外部サーバ１４と、１台の端末装置１２と、を備える場合を一例として説明する。しかし、情報処理システム１は、情報処理装置１０、端末装置１２、および外部サーバ１４の少なくとも１つを、複数備えた構成であってもよい。

【0012】

情報処理装置１０は、合成画像を生成する装置である。合成画像の詳細は後述する。

【0013】

端末装置１２は、ユーザによって操作される端末装置である。端末装置１２は、例えば、公知の携帯端末や、スマートホンなどである。本実施形態では、端末装置１２は、第１被写体によって操作される。

【0014】

第１被写体は、他の形態を仮想的に試行するユーザである。

【0015】

他の形態を仮想的に試行する、とは、頭髪の形態、皮膚上に描かれる刺青などの模様、および、アイテム、の少なくとも一つの形態を仮想的に試行することを意味する。アイテムは、ユーザに装着可能な物である。アイテムは、例えば、衣服、アクセサリ、かつら、メガネ、マスク、等である。衣服は、例えば、上着、スカート、ズボン、靴、帽子、水着、などである。

【0016】

ユーザは、生物であってもよいし、非生物であってもよい。生物には、例えば、人物が挙げられる。なお、生物は、人物に限られず、犬や猫等の、人物以外の動物であってもよい。また、非生物には、人体や動物の形状を模したマネキンや、その他の物体等が挙げられるが、これに限られない。本実施形態では、ユーザは、人物である場合を説明する。なお、第１被写体などの人物を総称して説明する場合、単に、ユーザと称して説明する。

【0017】

端末装置１２は、撮影部１２Ａと、入力部１２Ｂと、表示部１２Ｃと、を備える。

【0018】

撮影部１２Ａは、第１被写体を撮影し、第１被写体の第１被写体画像を得る。第１被写体画像は、被写体画像の一例である。撮影部１２Ａは、公知のデジタルカメラである。

【0019】

なお、第１被写体画像のデータ形式は限定されない。例えば、第１被写体画像は、画素毎に色や輝度等を示す画素値の規定された画像である。なお、第１被写体画像は、ビットマップ画像に限定されない。

【0020】

入力部１２Ｂは、ユーザによる操作指示を受付ける。入力部１２Ｂは、キーボード、マウス、入力ボタンなどである。

【0021】

表示部１２Ｃは、各種画像を表示する。本実施形態では、表示部１２Ｃは、情報処理装置１０で生成された合成画像を表示する。表示部１２Ｃは、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。なお、入力部１２Ｂと表示部１２Ｃは、一体的に構成してもよい。この場合、入力部１２Ｂおよび表示部１２Ｃは、タッチパネルとして構成すればよい。

【0022】

外部サーバ１４は、合成に用いる第２被写体画像や、頭髪の形態、皮膚上に描かれる刺青などの模様、第２被写体に装着されたアイテム、およびアイテムに関する情報、などの様々な情報を含むビッグデータを処理可能なサーバ装置である。本実施形態では、外部サーバ１４は、第２被写体画像や、頭髪の形態や刺青の模様やアイテムの各々に関する情報などを記憶する。第２被写体画像は、第１被写体とは異なる第２被写体の被写体画像である。第２被写体画像の詳細は後述する。

【0023】

本実施形態の情報処理システム１では、情報処理装置１０は、端末装置１２で撮影された第１被写体画像と、外部サーバ１４などから取得した第２被写体画像と、を用いて、合成画像を生成し、端末装置１２へ提供する。

【0024】

情報処理装置１０について、詳細に説明する。

【0025】

図２は、情報処理装置１０の機能ブロック図の一例である。なお、図２には、データの入出力の説明の観点から、端末装置１２および外部サーバ１４も示した。

【0026】

情報処理装置１０は、制御部２０と、通信部２２と、記憶部２４と、表示部２６と、入力部２８と、を備える。通信部２２、記憶部２４、表示部２６および入力部２８と、制御部２０とは、データや信号を授受可能に接続されている。

【0027】

通信部２２は、ネットワーク１６を介して端末装置１２や外部サーバ１４と通信する通信インターフェースである。

【0028】

記憶部２４は、各種データを記憶する。本実施形態では、記憶部２４は、第１被写体画像３０と、教師データ３１と、特徴領域３３と、第２被写体ＤＢ３６と、を記憶する。

【0029】

図３Ａは、第１被写体画像３０の一例を示す模式図である。第１被写体画像３０は、第１被写体の撮影画像である。

【0030】

図３Ｂは、教師データ３１のデータ構成の一例を示す模式図である。教師データ３１は、学習モデル３５の学習に用いる教師データである。学習モデル３５は、被写体画像から合成領域３２を抽出するためのモデルである。学習モデル３５は、後述する制御部２０の処理によって、教師データ３１を用いて学習される。

【0031】

教師データ３１は、第１被写体画像３０と合成領域３２との対応を示すデータである。合成領域３２は、第１被写体画像３０における、第２被写体画像を補正した補正画像に合成する対象の領域である。補正画像の詳細は後述する。

【0032】

図３Ｃは、合成領域３２の一例を示す模式図である。合成領域３２は、例えば、第１被写体画像３０における、顔領域である。顔領域とは、人物の顔を構成するパーツである、眉、目、鼻、および口、を含む領域である。なお、顔領域は、目、鼻、および口を少なくとも含む領域であればよい。なお、合成領域３２は、顔領域に限定されない。

【0033】

記憶部２４には、第１被写体画像３０と、第１被写体画像３０から抽出された合成領域３２と、が対応付けて教師データ３１として予め記憶される。また、記憶部２４には、複数の教師データ３１が記憶されている。なお、記憶部２４に記憶されている教師データ３１は、制御部２０が予め生成して記憶部２４へ記憶すればよい。

【0034】

例えば、制御部２０は、第１被写体画像３０から公知の画像処理技術や顔認識技術などを用いて、第１被写体画像３０の顔領域３２Ａを特定すればよい。例えば、顔領域３２Ａの場合、人物の顔における、髪に隠れていない領域であって、眉、鼻、両頬、唇、を少なくとも含む領域を特定すればよい。具体的には、顔領域３２Ａは、眉の上から唇の下までの範囲と、一方の頬の一端部から他方の頬の他端部までの範囲と、を含む矩形状の領域であればよい。

【0035】

そして、制御部２０は、該第１被写体画像３０と顔領域３２Ａとの対応を教師データ３１として記憶部２４へ記憶すればよい。なお、制御部２０は、後述する処理などにより、適宜、新たな教師データ３１の追加や合成領域３２の補正を行ってもよい。

【0036】

なお、教師データ３１は、更に、メタデータを含んでいてもよい。メタデータは、性別、顔の角度、などである。

【0037】

図４Ａは、第２被写体ＤＢ３６のデータ構成の一例を示す模式図である。第２被写体ＤＢ３６Ｂは、第２被写体画像４０と、対象領域４２と、補正画像４４と、補足情報４６と、を対応付けたデータベースである。なお、第２被写体ＤＢ３６は、少なくとも４０と、対象領域４２と、補正画像４４と、を対応付けたデータベースであればよく、補足情報４６を含まない構成であってもよい。また、第２被写体ＤＢ３６Ｂのデータ形式は、データベースに限定されない。

【0038】

図４Ｂは、第２被写体画像４０、対象領域４２、および補正画像４４の一例を示す模式図である。

【0039】

第２被写体画像４０は、第２被写体の撮影画像である。第２被写体は、第１被写体とは異なるユーザである。第２被写体画像４０は、第２被写体の顔および衣服を含む画像であることが好ましい。なお、第１被写体と同様に、第２被写体は、生物であってもよいし、マネキン等の非生物であってもよい。本実施形態では、第２被写体は、人物である場合を一例として説明する。

【0040】

本実施形態では、第２被写体画像４０は、第１被写体の試行対象部位４１を含む画像である。

【0041】

試行対象部位４１とは、第１被写体によって仮想的に試行される形態を示す部位である。上述したように、第１被写体は、他の形態を仮想的に試行、すなわち、頭髪の形態、皮膚上に描かれる刺青などの模様、および、アイテム、の少なくとも一つの形態を仮想的に試行する。試行対象部位４１は、これらの仮想的に試行される形態を示す部位である。具体的には、試行対象部位４１は、頭髪部位、皮膚部位、および、第２被写体に装着されたアイテム、の少なくとも一つである。アイテムは、上記と同様である。

【0042】

試行対象部位４１が頭髪部位である場合、第１被写体は、第２被写体画像４０の頭髪部位に示される髪型を仮想的に試行する。試行対象部位が皮膚上に描かれる模様である場合、第１被写体は、第２被写体画像４０の皮膚部位に示される模様を仮想的に試行する。試行対象部位４１がアイテムである場合、第１被写体は、第２被写体画像４０に示される第２被写体の装着しているアイテムを仮想的に試行する。これらの仮想的な試行は、後述する制御部２０による合成画像の提供によって実現される。

【0043】

なお、合成領域３２（図３Ｃ参照）は、第１被写体画像３０における、上記試行対象部位４１に隣接する領域であればよい。言い換えると、合成領域３２は、第１被写体画像３０における、第２被写体画像４０の試行対象部位４１に対応する領域に、隣接する領域であればよい。すなわち、試行対象部位４１が頭髪部位である場合、合成領域３２は、第１被写体画像３０における顔領域３２Ａである。顔領域３２Ａは、第１被写体画像３０における頭髪部位に隣接する領域である。また、試行対象部位４１が背中に描かれた模様である場合、合成領域３２は、第１被写体画像３０における背中に隣接する腕部や首部や臀部などの領域である。また、試行対象部位４１が衣服などのアイテムである場合、合成領域３２は、第１被写体画像３０における、衣服に隣接する腕部や頭部などの領域である。

【0044】

図３Ａ～図３Ｃおよび図４Ｂには、試行対象部位４１が第２被写体画像４０の頭髪部位４１Ａであり、合成領域３２が顔領域３２Ａである場合を一例として示した。

【0045】

次に、対象領域４２について説明する（図４参照）。対象領域４２は、第２被写体画像４０における、合成領域３２に対応する領域である。合成領域３２に対応する領域、とは、第２被写体画像４０における、第１被写体画像３０の合成領域３２と同じ部位を含む領域であることを示す。部位は、例えば、人体の身体を構成する、目、鼻、口、肘、膝、などのパーツを示す。

【0046】

例えば、合成領域３２が顔領域３２Ａである場合、対象領域４２は、第２被写体画像４０における、第２被写体の顔領域である。以下、顔領域を示す対象領域４２を、対象領域４２Ａと称して説明する場合がある。なお、対象領域４２および合成領域３２の形状は限定されない。但し、合成時の位置合せの容易さの観点から、合成領域３２および対象領域４２の形状は、矩形状であることが好ましい。また、対象領域４２および合成領域３２は、同じ形状であることが好ましい。なお、対象領域４２および合成領域３２の大きさは、異なっていてもよい。また、対象領域４２および合成領域３２の各々の外縁を示すラインの形状の少なくとも一部は異なる形状であってもよい。

【0047】

次に、補正画像４４について説明する。補正画像４４は、第２被写体の第２被写体画像４０における対象領域４２の透過度を、閾値以上に補正した画像である。この閾値は、半透明より高い透過度を示す値であればよい。すなわち、透過度が閾値以上であるとは、透明である事を意味する。

【0048】

例えば、透過度を示すアルファ値を用いる場合、透過度が閾値以上である、とは、アルファ値が完全透明を示す“０”と完全不透明を示す“１”との中間値“０．５”より完全透明側であることを示す。なお、アルファ値は、アルファチャネルと称される場合もある。すなわち、補正画像４４の対象領域４２のアルファ値は、対象領域４２の外側の領域のアルファ値より低い、すなわち、より完全透明に近い値であればよい。

【0049】

このように、補正画像４４は、第２被写体画像４０における、対象領域４２の透過度を閾値以上に補正した画像である。すなわち、補正画像４４は、第２被写体画像４０における、対象領域４２を除去された画像であるといえる。このため、合成領域３２および対象領域４２が顔領域（顔領域３２Ａ、対象領域４２Ａ）である場合、補正画像４４は、第２被写体画像４０の顔領域を除去した画像であるといえる。

【0050】

なお、補正画像４４は、第２被写体画像４０における、対象領域４２の内側と外側との境界領域の透過度を、対象領域４２の内側から外側に向かって段階的または連続的に低くなるように補正した画像であってもよい。すなわち、補正画像４４は、第２被写体画像４０における対象領域４２の内側の領域を透明とし、対象領域４２の外縁に相当する境界領域の透過度が対象領域４２の外側に向かって段階的にまたは連続的に低くなるように補正された画像であってもよい。

【0051】

このように、対象領域４２の境界領域の透過度を段階的または連続的に変化するように補正した補正画像４４を用いると、補正画像４４を用いた合成画像の違和感を抑制することができる。

【0052】

補正画像４４は、制御部２０によって作成され、記憶部２４の第２被写体ＤＢ３６に予め登録されればよい。例えば、制御部２０は、第２被写体画像４０の対象領域４２の透過度（例えばアルファ値）を調整することで、補正画像４４を生成する。なお、上述したように、制御部２０は、対象領域４２の境界領域の透過度を内側から外側に向かって段階的に低くなるように補正することが好ましい。また、制御部２０は、補正画像４４を表示部２６へ表示してもよい。情報処理装置１０の管理者等のユーザは、表示部２６に表示された補正画像４４を視認しながら入力部２８を操作することで、対象領域４２の詳細な調整を行ってもよい。

【0053】

なお、本実施形態では、第２被写体ＤＢ３６には、１人の第２被写体の第２被写体画像４０が予め登録されていればよい、また、第２被写体ＤＢ３６には、異なる複数の第２被写体の各々の第２被写体画像４０が予め登録されていてもよい。また、第２被写体ＤＢ３６には、１人の第２被写体について、頭髪部位の形態、装着しているアイテム、および皮膚に描かれている模様、の少なくとも１つの異なる複数の第２被写体画像４０が予め登録されていてもよい。また、第２被写体ＤＢ３６には、１人の第２被写体について、撮影角度の異なる複数の第２被写体画像４０が予め登録されていてもよい。そして、第２被写体ＤＢ３６には、第２被写体画像４０ごとに、対象領域４２、補正画像４４、および補足情報４６が予め対応付けて登録されていればよい。

【0054】

補足情報４６は、対応する第２被写体画像４０に関する情報である。例えば、補足情報４６は、第２被写体画像４０の第２被写体の識別情報、第２被写体の頭髪部位の髪型を示す言葉、該髪型を提供可能な美容院を示す情報、第２被写体が装着しているアイテムの名称、該アイテムを提供可能な店舗を示す情報、などである。第２被写体の識別情報は、例えば、第２被写体のユーザ名である。これらの情報は、これらの情報を記憶したインターネット上の場所（ＵＲＬ：Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を示す情報であってもよい。

【0055】

第２被写体画像４０、対象領域４２、補正画像４４および補足情報４６の少なくとも１つは、外部サーバ１４から収集した情報を制御部２０が記憶部２４へ記憶することで、第２被写体ＤＢ３６に登録されてもよい。また、対象領域４２および補正画像４４の少なくとも一方は、制御部２０が、第２被写体画像４０を用いた画像処理により生成し、第２被写体ＤＢ３６へ登録してもよい。この画像処理には、公知の画像処理方法を用いればよい。

【0056】

図２に戻り説明を続ける。表示部２６は、各種情報を表示する。表示部２６は、例えば、公知のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）や有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどである。

【0057】

なお、表示部２６および上記通信部２２の少なくとも一方は、出力部２１として機能する。出力部２１は、各種情報を出力する。出力部２１は、各種情報を表示することで、表示部２６として機能する。また、出力部２１は、各種情報を、ネットワーク１６を介して端末装置１２や外部サーバ１４へ送信することで、通信部２２として機能する。

【0058】

入力部２８は、ユーザによる操作指示を受付ける。入力部２８は、キーボード、マウス、入力ボタンなどである。なお、表示部２６と入力部２８とを、一体的に構成してもよい。この場合、表示部２６および入力部２８は、タッチパネルとして構成すればよい。

【0059】

次に、制御部２０について説明する。

【0060】

制御部２０は、情報処理装置１０を制御する。制御部２０は、取得部２０Ａと、抽出部２０Ｂと、生成部２０Ｃと、出力制御部２０Ｄと、学習部２０Ｅと、を備える。取得部２０Ａ、抽出部２０Ｂ、生成部２０Ｃ、出力制御部２０Ｄ、および学習部２０Ｅの一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

【0061】

取得部２０Ａは、合成対象の第１被写体画像３０を取得する。例えば、取得部２０Ａは、端末装置１２で撮影された第１被写体画像３０を、該端末装置１２からネットワーク１６および通信部２２を介して取得する。

【0062】

例えば、第１被写体は、仮想試行時などに入力部１２Ｂを操作することで、撮影部１２Ａによる撮影実行を指示する。撮影部１２Ａが撮影によって第１被写体画像３０を取得すると、端末装置１２は、該第１被写体画像３０を、ネットワーク１６を介して情報処理装置１０へ送信する。なお、端末装置１２は、端末装置１２の記憶部に記憶されている第１被写体画像３０の内、第１被写体の入力部１２Ｂの操作によって選択された第１被写体画像３０を、情報処理装置１０へ送信してもよい。

【0063】

なお、第１被写体画像３０の撮影角度が、情報処理装置１０に記憶されている第２被写体画像４０の撮影画像と不一致の場合がある。この場合、端末装置１２は、撮影角度の調整後の再撮影を示す情報を表示部１２Ｃへ表示すればよい。第１被写体は、端末装置１２の角度を調整することで、撮影部１２Ａの撮影角度を調整し、再度撮影実行を支持すればよい。そして、端末装置１２は、再度撮影された第１被写体画像３０を、情報処理装置１０へ送信すればよい。

【0064】

これらの処理により、取得部２０Ａは、端末装置１２から第１被写体画像３０を取得すればよい。

【0065】

抽出部２０Ｂは、学習モデル３５を用いて、第１被写体の第１被写体画像３０から合成領域３２を抽出する。詳細には、抽出部２０Ｂは、取得部２０Ａで取得した第１被写体画像３０を、被写体画像から合成領域３２を抽出する学習モデル３５へ入力することで、第１被写体画像３０から合成領域３２を抽出する。

【0066】

学習モデル３５は、第１被写体画像３０などの被写体画像を入力データとし、合成領域３２を出力データとする学習モデルである。言い換えると、学習モデル３５は、第１被写体画像３０と合成領域３２との入出力関係をモデル化して算出するためのアプリケーションプログラムである。なお、学習モデル３５は、関数などの数式で表してもよい。

【0067】

なお、上述したように、合成領域３２は、第１被写体画像３０における試行対象部位４１に隣接する領域であり、試行対象部位４１に応じて異なる領域を示す。このため、記憶部２４は、試行対象部位４１ごとに、該試行対象部位４１に隣接する領域である合成領域３２を抽出するための学習モデル３５を記憶してもよい。

【0068】

この場合、取得部２０Ａは、第１被写体画像３０および試行対象部位４１を示す情報を端末装置１２から取得すればよい。第１被写体は、端末装置１２を操作することで、試行対象部位４１（例えば、頭髪部位４１Ａ）を選択すればよい。端末装置１２は、選択された試行対象部位４１を示す情報と第１被写体画像３０を情報処理装置１０へ送信すればよい。そして、抽出部２０Ｂは、端末装置１２から取得部２０Ａを介して取得した試行対象部位４１に対応する学習モデル３５を記憶部２４から読取る。抽出部２０Ｂは、読取った該学習モデル３５と取得した第１被写体画像３０とを用いて、該第１被写体画像３０から合成領域３２を抽出すればよい。

【0069】

学習モデル３５は、学習部２０Ｅによって学習され、予め記憶部２４に記憶されていればよい。本実施形態では、学習部２０Ｅは、教師データ３１を用いた機械学習により、学習モデル３５を学習する。機械学習には、公知の方法を用いればよい。例えば、学習部２０Ｅは、畳み込みニューラルネットワーク （Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＣＮＮ）や再帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ： ＲＮＮ）などのアルゴリズムを用いた、深層学習（ディープラーニング）により、学習モデル３５を学習する。

【0070】

なお、試行対象部位４１ごとに学習モデル３５を学習する場合には、試行対象部位４１ごとに、試行対象部位４１に隣接する合成領域３２を登録した教師データ３１を用意すればよい。そして、学習部２０Ｅは、試行対象部位４１の各々に対応する教師データ３１を用いた機械学習により、試行対象部位４１の各々に対応する学習モデル３５を生成すればよい。

【0071】

本実施形態では、試行対象部位４１が頭髪部位４１Ａであり、合成領域３２が顔領域３２Ａである場合を一例として説明する。このため、本実施形態では、記憶部２４には、頭髪部位４１Ａに対応する学習モデル３５が記憶されているものとする。

【0072】

なお、後述する処理により、教師データ３１が更新される場合がある。学習部２０Ｅは、教師データ３１が更新される毎に、更新後の教師データ３１を用いた機械学習を行い、学習モデル３５を更新することが好ましい。

【0073】

抽出部２０Ｂは、学習された学習モデル３５を用いて、第１被写体の第１被写体画像３０から合成領域３２を抽出すればよい。

【0074】

なお、抽出部２０Ｂは、第１被写体画像３０をリサイズした後に、学習モデル３５へ入力してもよい。第１被写体画像３０をリサイズすることで、処理量の削減を図ることができる。

【0075】

なお、抽出部２０Ｂは、第１被写体画像３０からの合成領域３２の抽出に失敗する場合がある。この場合、抽出部２０Ｂは、第１被写体画像３０を端末装置１２から取得部２０Ａを介して再度取得し、合成領域３２の抽出を実行すればよい。

【0076】

なお、上述したように、教師データ３１は、性別、顔の角度、などのメタデータを含んでいてもよい。

【0077】

この場合、学習部２０Ｅは、第１被写体画像３０およびメタデータを入力データとし、合成領域３２を出力データとする学習モデル３５を学習してもよい。また、学習部２０Ｅは、第１被写体画像３０を入力データとし、合成領域３２およびメタデータを出力データとする学習モデル３５を学習してもよい。

【0078】

また、この場合、抽出部２０Ｂは、学習モデル３５を用いて、第１被写体画像３０およびメタデータから、合成領域３２を抽出することができる。また、抽出部２０Ｂは、学習モデル３５を用いて、第１被写体画像３０から、合成領域３２およびメタデータを抽出することができる。

【0079】

次に、生成部２０Ｃについて説明する。生成部２０Ｃは、取得部２０Ａで取得した第１被写体画像３０から抽出した合成領域３２を、第２被写体画像４０の対象領域４２に合成した合成画像を生成する。

【0080】

図５Ａ～図５Ｄは、合成画像６０の生成の一例を示す模式図である。

【0081】

図５Ａに示すように、抽出部２０Ｂが、第１被写体画像３０から合成領域３２として顔領域３２Ａを抽出したと想定する。

【0082】

すると、生成部２０Ｃは、補正画像４４を記憶部２４から読取る。このとき、生成部２０Ｃは、顔領域３２Ａに対応する対象領域４２の透過度を閾値以上に補正した補正画像４４を、記憶部２４から読取る。例えば、生成部２０Ｃは、図５Ｂに示す補正画像４４を読取ったと仮定する。すなわち、生成部２０Ｃは、顔領域である対象領域４２Ａを透明とされた補正画像４４を読取る。

【0083】

そして、生成部２０Ｃは、補正画像４４の対象領域４２Ａに、抽出した顔領域３２Ａを合成することで、合成画像６０を生成する（図５Ｄ参照）。すなわち、生成部２０Ｃは、補正画像４４における透明な顔領域である対象領域４２Ａに（図５Ｂ参照）、図５Ａに示す第１被写体画像３０の顔領域３２Ａを配置することで、合成画像６０を生成する（図５Ｄ参照）。このとき、生成部２０Ｃは、対象領域４２Ａと顔領域３２Ａとの位置が一致するように、顔領域３２Ａの位置を調整することで、合成画像６０を生成する。

【0084】

なお、顔領域３２Ａが対象領域４２Ａからはみ出す場合がある。この場合、生成部２０Ｃは、顔領域３２Ａにおける、対象領域４２Ａからはみ出す領域を削除した上で、対象領域４２Ａに配置してもよい。

【0085】

上述したように、補正画像４４として、対象領域４２の境界領域の透過度を対象領域４２の内側から外側に向かって段階的または連続的に低くなるように補正した画像を用いる場合がある。この場合、生成部２０Ｃは、補正画像４４と顔領域３２Ａとの境界の色調を連続的に変化させた合成画像６０を生成することができる。このため、生成部２０Ｃは、合成画像６０の違和感を抑制することができる。

【0086】

ここで、対象領域４２Ａと合成領域３２の大きさおよび形状の少なくとも一方が不一致の場合がある。

【0087】

そこで、生成部２０Ｃは、図５Ｃに示すように、補正画像４４の対象領域４２と合成領域３２の大きさおよび形状が一致するように、補正画像４４全体を変形する。そして、生成部２０Ｃは、変形後の補正画像４４Ａの対象領域４２Ａに、抽出した顔領域３２Ａを合成することで、合成画像６０を生成することが好ましい（図５Ｄ参照）。

【0088】

このように、第１被写体画像３０の顔領域３２Ａの形状および大きさに合わせて、補正画像４４全体の形状および大きさを補正する。そして、補正後の補正画像４４に、顔領域３２Ａを合成する。この処理により、生成部２０Ｃは、第１被写体が、試行対象の試行対象部位４１（例えば、頭髪部位４１Ａ）を現実に試行した形態により近い合成画像６０を生成することができる。

【0089】

なお、第１被写体画像３０における合成領域３２の色調と、第２被写体画像４０における対象領域４２Ａの色調と、の差が大きいほど、合成画像６０における合成領域３２と補正画像４４との境界が目立ちやすく、違和感のある合成画像６０となる。

【0090】

そこで、本実施形態では、生成部２０Ｃは、第１被写体画像３０における特徴領域の色調と、第２被写体画像４０における特徴領域の色調と、の差が所定値以下となるように、抽出した合成領域３２の全体の色調を補正する。そして、生成部２０Ｃは、補正後の合成領域３２を、該第２被写体画像４０の補正画像４４の対象領域４２に合成し、合成画像６０を生成する。所定値は、予め定めればよい。好ましくは、所定値は“０”である。すなわち、生成部２０Ｃは、第１被写体画像３０における特徴領域の色調と、第２被写体画像４０における特徴領域の色調と、が一致するように、合成領域３２の全体の色調を補正することが好ましい。

【0091】

図６Ａ～図６Ｆは、色調補正の一例の説明図である。

【0092】

図６Ａに示すように、特徴領域Ｆは、被写体の肌の色を特徴的に表す領域である。特徴領域Ｆは、複数の画素からなる領域である。例えば、特徴領域Ｆは、合成領域３２内における、第１被写体画像３０の肌の色を特徴的に表す領域である。

【0093】

詳細には、特徴領域Ｆは、合成領域３２内における、最も明るい領域と、最も暗い領域と、を少なくとも含む領域である。具体的には、合成領域３２が顔領域３２Ａである場合、特徴領域Ｆは、鼻の先端領域と、鼻孔領域と、鼻の先端領域に隣接する肌領域と、を含む領域である。なお、この肌領域は、ユーザの鼻と唇との間の領域、および、頬の領域、の少なくとも一方であることが好ましい。

【0094】

鼻孔領域は、撮影環境や被写体の化粧の状態などの要素により変動しにくい、顔領域３２Ａで最も明度の低い領域である。このため、特徴領域Ｆは、鼻孔領域を含むことが好ましい。また、鼻と唇の間の領域および頬の領域は、撮影環境や被写体の化粧の状態などの要素により変動しにくい、顔領域３２Ａで最も明度の高い領域である。このため、特徴領域Ｆは、鼻と唇の間の領域、および、頬の領域、の少なくとも一方を含むことが好ましい。

【0095】

この場合、図６Ａに示すように、生成部２０Ｃは、第１被写体画像３０における特徴領域Ｆとして、特徴領域ＦＡを抽出する。図６Ｂに示すように、特徴領域ＦＡは、鼻の先端領域と、鼻孔領域と、肌領域（頬領域、鼻と唇との間の領域）と、を含む。そして、生成部２０Ｃは、抽出した特徴領域ＦＡの色調を解析する。例えば、生成部２０Ｃは、特徴領域ＦＡにおける、最も輝度または明度の最も高い画素から最も低い画素に向かって、各画素に番号を付与する。そして、生成部２０Ｃは、これらの画素の各々の色調を解析する。図６Ｃには、特徴領域ＦＡにおける最も明度の高い画素の色調解析結果を一例として示した。

【0096】

また、図６Ｄに示すように、生成部２０Ｃは、第２被写体画像４０における特徴領域Ｆとして、特徴領域ＦＢを抽出する。図６Ｅに示すように、特徴領域ＦＢは、鼻の先端領域と、鼻孔領域と、肌領域（頬領域、鼻と唇との間の領域）と、を含む。そして、生成部２０Ｃは、抽出した特徴領域ＦＢの色調を解析する。例えば、生成部２０Ｃは、特徴領域ＦＢにおける、最も輝度または明度の最も高い画素から低い画素に向かって、各画素の番号を付与する。そして、生成部２０Ｃは、これらの画素の各々の色調を解析する。図６Ｆには、特徴領域ＦＢにおける最も明度の高い画素の色調解析結果を一例として示した。

【0097】

そして、生成部２０Ｃは、同じ番号を付与された画素同士を比較し、第１被写体画像３０の特徴領域ＦＡの色調と、第２被写体画像４０の特徴領域ＦＢの色調と、の差が所定値以下となるように、第１被写体画像３０の特徴領域ＦＡの色調を補正するための補正関数を導出する。そして、生成部２０Ｃは、該補正関数を、第１被写体画像３０の合成領域３２を構成する各画素の各々に適用することで、合成領域３２（顔領域３２Ａ）の全体の色調を補正すればよい。

【0098】

この補正には、公知のヒストグラムマッチングや、公知のトーンカーブ補正を用いればよい。

【0099】

例えば、生成部２０Ｃは、第１被写体画像３０の特徴領域ＦＡと第２被写体画像４０の特徴領域ＦＢの各々における、同じ番号を付与された画素同士の色調の比較を行う。そして、生成部２０Ｃは、第１被写体画像３０の特徴領域ＦＡの色調（ヒストグラムまたはトーンカーブ）を、第２被写体画像４０の特徴領域ＦＢの色調（ヒストグラムまたはトーンカーブ）に一致させる処理を行う。このとき、生成部２０Ｃは、特徴領域ＦＡおよび特徴領域ＦＢの各々の画素を、ＹＵＶ色空間やＲＧＢ色空間などの色空間に変換し、同じ番号を付与された画素について、各色空間を構成する色ごとに、上記色調の補正を行えばよい。

【0100】

そして、生成部２０Ｃは、色調補正後の合成領域３２を、補正画像４４の試行対象部位４１に合成することで、合成画像６０を生成すればよい。

【0101】

図７Ａおよび図７Ｂは、合成領域３２の合成の一例の説明図である。図７Ａは、顔領域３２Ａ１を補正画像４４に合成した合成画像６０Ａの一例を示す模式図である。顔領域３２Ａ１は、色調補正を行っていない合成領域３２の一例である。合成画像６０Ａは、色調補正を行っていない合成領域３２を補正画像４４に合成した合成画像６０の一例である。図７Ａに示すように、色調補正を行っていない顔領域３２Ａ１を補正画像４４に合成する。すると、補正画像４４の元画像である第２被写体画像４０における頭髪部位４１Ａ以外の領域の色調と、第１被写体画像３０の顔領域３２Ａ１の色調と、の差が所定値以上となる。このため、合成画像６０Ａは、顔領域３２Ａ１と顔領域３２Ａ１以外の領域との色調の差が大きく、合成の不自然さを与える画像となる場合がある。

【0102】

図７Ｂは、顔領域３２Ａ２を補正画像４４に合成した合成画像６０Ｂの一例を示す模式図である。顔領域３２Ａ２は、色調補正を行った合成領域３２の一例である。合成画像６０Ｂは、色調補正を行った合成領域３２を補正画像４４に合成した合成画像６０の一例である。図７Ｂに示すように、色調補正を行った合成領域３２である顔領域３２Ａ２を補正画像４４に合成する。すると、補正画像４４の元画像である第２被写体画像４０における頭髪部位４１Ａ以外の領域の色調と、第１被写体画像３０の顔領域３２Ａ２の色調と、の差が所定値未満となる。このため、合成画像６０Ｂは、顔領域３２Ａ２と顔領域３２Ａ２以外の領域との色調の差が小さく、合成の不自然さを抑制した合成画像６０となる。

【0103】

図２に戻り説明を続ける。出力制御部２０Ｄは、生成部２０Ｃで生成された合成画像６０を出力部２１へ出力する。上述したように、出力部２１は、通信部２２および表示部２６を含む。

【0104】

出力制御部２０Ｄは、合成画像６０を表示部２６へ表示することで、合成画像６０を出力する。また、出力制御部２０Ｄは、ネットワーク１６を介して合成画像６０を端末装置１２へ送信することで、端末装置１２へ合成画像６０を出力する。また、出力制御部２０Ｄは、ネットワーク１６を介して合成画像６０を外部サーバ１４へ送信することで、外部サーバ１４へ合成画像６０を出力する。

【0105】

なお、出力部２１は、ネットワーク１６に接続されたデジタルサイネージ（電子看板）であってもよい。この場合、出力制御部２０Ｄは、デジタルサイネージに合成画像６０を出力する。

【0106】

このとき、出力制御部２０Ｄは、合成画像６０と、該合成画像６０の合成に用いた補正画像４４の補正元の第２被写体画像４０に関する関連情報と、を出力してもよい。

【0107】

関連情報は、第１被写体の特徴と第２被写体画像４０の試行対象部位４１との親和度、合成画像６０に類似する第１被写体以外のユーザ名、合成画像６０の特色を示す特色情報、および、第１被写体と第２被写体との差分情報、の少なくとも１つである。

【0108】

親和度とは、合成画像６０の合成に用いた第１被写体画像３０の第１被写体の特徴と、該合成画像６０の合成に用いた補正画像４４の補正元の第２被写体画像４０における試行対象部位４１と、の親和度を示す。

【0109】

第１被写体の特徴は、第１被写体における試行対象部位４１の特徴であってもよいし、試行対象部位４１以外の特徴であってもよい。第１被写体の特徴は、例えば、第１被写体の顔の特徴や、髪型、服装の嗜好などである。髪型は、髪の長さ、カット位置、髪質などである。出力制御部２０Ｄは、公知の画像解析方法や外部サーバ１４で管理されているビックデータを用いた公知のデータ解析方法などを用いて、第１被写体の特徴を特定すればよい。

【0110】

親和度は、合成画像６０の合成に用いた第１被写体画像３０の第１被写体の特徴と、該合成画像６０の合成に用いた補正画像４４の補正元の第２被写体画像４０における試行対象部位４１と、の親和度を示す。具体的には、親和度は、合成画像６０に示される第１被写体の特徴と、合成画像６０に示される頭髪部位４１Ａによって示される髪型と、の親和度を示す情報である。例えば、親和度は、合成画像６０に示される被写体を、ファッションセンスなどの予め定めた観点から評価した評価値によって表される。具体的には、親和度は、合成画像６０に示される被写体を、クール度、キュート度などの評価値で表したものである。

【0111】

出力制御部２０Ｄは、第１被写体の特徴と第２被写体画像４０の試行対象部位４１との組合せから、親和度を導出するための学習モデルを公知の機械学習を用いて予め学習すればよい。そして、出力制御部２０Ｄは、合成画像６０の合成に用いた第１被写体画像３０の第１被写体の特徴と、該合成画像６０の合成に用いた補正画像４４（第２被写体画像４０）の試行対象部位４１と、を該学習モデルへ入力することで、親和度を導出すればよい。

【0112】

出力制御部２０Ｄが、合成画像６０と親和度を端末装置１２出力することで、第１被写体に対して、第１被写体の髪型や嗜好や顔の特徴などの特徴と、合成画像６０の合成に用いた補正画像４４における、頭髪の形態、皮膚上に描かれた模様、および、アイテムなどの試行対象部位４１と、の親和度を定量的に提供することができる。

【0113】

また、出力制御部２０Ｄが、複数の合成画像６０と、複数の合成画像６０の各々の親和度と、を出力することで、これらを視認した第１被写体は、自分の髪型や嗜好などの特徴にあった試行対象部位４１（頭髪の形態によって示される髪型や、模様や、衣服などのアイテム）を客観的に確認することが可能となる。

【0114】

また、出力制御部２０Ｄは、合成画像６０および親和度を提供することで、第１被写体に特徴に応じた、様々な髪型や模様や衣服などのアイテムを提供することができる。このため、第１被写体は、客観的な視点で、様々な髪型や模様や衣服などの試行結果を確認することができる。また、出力制御部２０Ｄは、客観的な視点で実際に試す試行対象部位４１を選択する機会を、第１被写体に対して提供することができる。

【0115】

なお、出力制御部２０Ｄは、第１被写体の特徴に応じて、第１被写体画像３０に示される第１被写体の形態の一部を変更することで実現可能な試行対象部位４１を示す情報を導出し、合成画像６０と共に出力部２１へ出力してもよい。例えば、出力制御部２０Ｄは、第１被写体の髪質に応じて、ヘアセット次第で実現可能な別の髪型を示す情報を出力してもよい。この場合、第１被写体は、ヘアカット前の段階で、ヘアカット後のヘアアレンジの形態を客観的に確認することができる。

【0116】

関連情報は、上述したように、合成画像６０に類似する第１被写体以外のユーザ名であってもよい。

【0117】

この場合、出力制御部２０Ｄは、合成画像６０から、合成画像６０に類似するユーザのユーザ名を導出するための学習モデルを公知の方法で予め学習すればよい。そして、出力制御部２０Ｄは、生成部２０Ｃで生成された合成画像６０を該学習モデルへ入力することで、該合成画像６０に類似するユーザ名を導出すればよい。

【0118】

例えば、出力制御部２０Ｄは、合成画像６０と、合成画像６０に類似する第１被写体以外のユーザ名と、を端末装置１２へ出力する。すると、端末装置１２を操作する第１被写体は、合成画像６０と該ユーザ名とを視認することで、自分の合成領域３２を他の第２被写体画像４０に合成した合成画像６０が、どのようなユーザに類似するかを容易に確認することができる。

【0119】

このため、この場合、情報処理装置１０は、第１被写体に対して、客観的に自分のファッションを分析する機会を提供することができる。また、情報処理装置１０は、出力したユーザ名によって識別されるユーザのファッションに着目する機会を、第１被写体に提供することができる。

【0120】

また、関連情報は、上述したように、合成画像６０の特色を示す特色情報であってもよい。特色情報は、合成画像６０の特色を、予め定めた数以下の単語の組合せにより表現した情報であることが好ましい。予め定めた数は、例えば、５単語、３単語、２単語などであるが、これらに限定されない。特色情報は、例えば、「涼しげな伊達男」、「ホットなスポーツスタイル」、「キュートなコーディネート」などであるが、これらに限定されない。

【0121】

この場合、出力制御部２０Ｄは、合成画像６０から、合成画像６０の特色情報を導出するための学習モデルを公知の方法で予め学習すればよい。そして、出力制御部２０Ｄは、合成画像６０を該学習モデルへ入力することで、該合成画像６０の特色情報を導出し、出力すればよい。

【0122】

出力制御部２０Ｄが合成画像６０と共に合成画像６０の特色情報を出力することで、第１被写体は、合成画像６０に示されるアイテムなどの試行対象部位４１を試行した場合のイメージを容易に把握することができる。また、試行対象部位４１が頭髪部位である場合、第１被写体と、第１被写体の頭髪をカットする美容師と、の双方に、試行後のイメージを共有可能な情報を提供することができる。

【0123】

また、関連情報は、上述したように、第１被写体と第２被写体との差分情報であってもよい。詳細には、関連情報は、合成画像６０の合成に用いた第１被写体画像３０の第１被写体と、該合成画像６０の合成に用いた補正画像４４の補正元の第２被写体画像４０の第２被写体と、の差分情報であってもよい。差分情報は、具体的には、第１被写体と第２被写体との体格、年齢、などの身体的特徴の差である。体格は、例えば、身長、体重、胸囲などの身体計測値によって表される。

【0124】

この場合、出力制御部２０Ｄは、第１被写体の体格や年齢などの身体的特徴を、端末装置１２または外部サーバ１４から取得する。なお、出力制御部２０Ｄは、第１被写体画像３０を公知の方法で画像解析することで、第１被写体の身体的特徴を取得してもよい。また、出力制御部２０Ｄは、外部サーバ１４から第２被写体の身体的特徴を取得する。なお、出力制御部２０Ｄは、第２被写体画像４０を公知の方法で画像解析することで、第２被写体の身体的特徴を取得してもよい。

【0125】

そして、出力制御部２０Ｄは、第１被写体の身体的特徴と第２被写体の身体的特徴との差分を算出することで、差分情報を導出すればよい。

【0126】

この場合、出力制御部２０Ｄは、合成画像６０と共に差分情報を端末装置１２へ出力する。

【0127】

端末装置１２を操作する第１被写体は、合成画像６０と差分情報を視認することで、合成画像６０に示される補正画像４４の補正元の第２被写体画像４０の第２被写体と、自分（第１被写体）と、の身体的特徴の差を容易に確認することができる。合成画像６０が第１被写体の目標とする姿であると想定する。この場合、出力制御部２０Ｄは、体重などの身体的特徴を該合成画像６０に示される第２被写体画像４０の第２被写体に近づけることで試行可能な髪型や衣服や、これらを試行した場合のイメージを、容易に提供することができる。また、出力制御部２０Ｄが合成画像６０および差分情報を端末装置１２へ出力することで、第１被写体に対して、ダイエットなどの生活習慣改善へのモチベーション向上を支援する情報を、容易に提供することができる。

【0128】

なお、関連情報は、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ：電子商取引）サイトへの誘導を示す情報を含んでいてもよい。

【0129】

この場合、出力制御部２０Ｄは、合成画像６０の生成に用いた補正画像４４に含まれるアイテムなどの試行対象部位４１を提供可能な、ＥＣサイトへの誘導を示す情報を特定する。例えば、出力制御部２０Ｄは、該補正画像４４に対応する補足情報４６を第２被写体ＤＢ３６（図４Ａ参照）から読取ることで、ＥＣサイトへの誘導を示す情報を特定する。そして、出力制御部２０Ｄは、合成画像６０と共にＥＣサイトへの誘導を示す情報を、端末装置１２へ出力すればよい。

【0130】

ＥＣサイトへの誘導を示す情報は、例えば、二次元バーコードや、三次元バーコードなどで表せばよい。

【0131】

出力制御部２０Ｄが、合成画像６０とＥＣサイトへの誘導を示す情報を出力することで、合成画像６０から容易に上記ＥＣサイトへ誘導するための情報を提供することができる。また、取得部２０Ａは、該ＥＣサイトへ誘導するための情報が第１被写体によって選択されたことを示す情報を端末装置１２から取得すればよい。該情報を端末装置１２から取得することで、制御部２０は、該合成画像６０に対するユーザ満足度アンケート結果や、ＥＣサイトへのコンバージョン率を特定することができる。

【0132】

なお、生成部２０Ｃは、１つの第１被写体画像３０から、複数の合成画像６０を作成してもよい。詳細には、生成部２０Ｃは、第１被写体画像３０の合成領域３２を、記憶部２４の第２被写体ＤＢ３６に記憶されている複数の補正画像４４の各々に合成してもよい。この場合、生成部２０Ｃは、１つの第１被写体画像３０の合成領域３２を、複数の補正画像４４の各々に合成することで、複数の合成画像６０を生成する。

【0133】

この場合、出力制御部２０Ｄは、生成部２０Ｃで生成された複数の合成画像６０の全てを出力してもよいし、一部を出力してもよい。

【0134】

例えば、出力制御部２０Ｄは、複数の合成画像６０の各々について、自然な合成結果であるか否かを示す確信度を算出する。確信度は、合成画像６０における補正画像４４と合成領域３２との合成が自然な合成結果であるか否かを示す値である。確信度が高いほど、より自然な合成結果であることを示す。

【0135】

出力制御部２０Ｄは、確信度を導出するための学習モデルを予め学習すればよい。この学習モデルの学習には、公知の方法を用いればよい。例えば、この学習モデルの学習には、制御部２０で過去に生成した合成画像６０と、該合成画像６０に対する確信度と、の対応を示す教師データを用いればよい。

【0136】

該教師データに示される確信度は、対応する合成画像６０に対する、ユーザ満足度アンケート結果、ＥＣサイトへのコンバージョン率、リピート率、合成画像６０の端末装置１２への保存の有無などの複数のパラメータにより規定すればよい。

【0137】

ユーザ満足度アンケート結果は、合成画像６０に対する第１被写体の満足度を示す情報である。例えば、端末装置１２を用いて該合成画像６０を視認した第１被写体は、入力部１２Ｂを操作することで、該合成画像６０に対する満足度を入力する。該満足度を示す情報は、ユーザ満足度アンケート結果として、端末装置１２から情報処理装置１０へ送信されればよい。

【0138】

ＥＣサイトへのコンバージョン率は、端末装置１２に合成画像６０が表示された後に、入力部１２Ｂの第１被写体による操作入力により、該合成画像６０の合成に用いた補正画像４４に対応する補足情報４６（図４Ａ）へアクセスがなされた確率によって表される。リピート率は、補足情報４６へのアクセス回数によって表される。

【0139】

コンバージョン率、リピート率、および合成画像６０の端末装置１２への保存の有無を示す情報は、端末装置１２から情報処理装置１０へ送信されるものとする。

【0140】

情報処理装置１０の出力制御部２０Ｄは、これらの確信度と該確信度に対応する合成画像６０との対応を示す１または複数の教師データを用いて、該学習モデルを学習すればよい。そして、出力制御部２０Ｄは、この学習モデルに、生成部２０Ｃで生成された合成画像６０を入力することで、合成画像６０の確信度を導出すればよい。

【0141】

そして、出力制御部２０Ｄは、確信度が閾値以上の合成画像６０を、出力対象として選択すればよい。この閾値は、予め定めればよい。

【0142】

なお、出力制御部２０Ｄは、出力対象外とした合成画像６０について、該合成画像６０の合成に用いた第１被写体画像３０の第１被写体に対して、第１被写体画像３０の再撮影および再送信を示す再送信要求を送信してもよい。この場合、出力制御部２０Ｄは、再送信要求を、通信部２２およびネットワーク１６を介して、第１被写体の操作する端末装置１２へ送信すればよい。

【0143】

再送信要求を受付けた端末装置１２は、撮影角度を変更した撮影依頼を示す情報を表示部１２Ｃへ表示する。第１被写体は、端末装置１２の角度を調整することで、撮影部１２Ａの撮影角度を調整し、入力部１２Ｂを操作することで、撮影部１２Ａによる撮影実行を指示する。撮影部１２Ａが撮影によって新たな第１被写体画像３０を取得すると、端末装置１２は、該第１被写体画像３０を、ネットワーク１６を介して情報処理装置１０へ送信すればよい。情報処理装置１０の制御部２０は、新たに取得した該第１被写体画像３０を用いて、上記と同様にして、合成画像６０を生成すればよい。

【0144】

なお、再送信要求を受付けた端末装置１２は、出力対象外とされた合成画像６０の生成に用いた第１被写体画像３０および合成領域３２を、表示部１２Ｃへ表示してもよい。この場合、情報処理装置１０の出力制御部２０Ｄは、出力対象外とされた合成画像６０の生成に用いた第１被写体画像３０および合成領域３２と、再送信要求と、を端末装置１２へ送信すればよい。

【0145】

そして、端末装置１２を操作する第１被写体は、端末装置１２の入力部１２Ｂを操作することで、表示された合成領域３２の位置および形状の少なくとも一方を調整する。端末装置１２は、調整後の合成領域３２と第１被写体画像３０を、情報処理装置１０へ送信すればよい。情報処理装置１０の生成部２０Ｃは、端末装置１２から受信した第１被写体画像３０および合成領域３２を用いて、上記と同様にして、合成画像６０を生成すればよい。

【0146】

このように、生成部２０Ｃが、第１被写体によって位置および形状の少なくとも一方を調整された合成領域３２を用いて合成画像６０を生成することで、抽出部２０Ｂによる合成領域３２の抽出エラーを補正することができる。

【0147】

また、この場合、生成部２０Ｃは、端末装置１２から受付けた第１被写体画像３０および合成領域３２を、新たな教師データ３１として記憶部２４へ登録すればよい。そして、学習部２０Ｅは、記憶部２４の教師データ３１が更新される毎に、該教師データ３１を用いて、新たに学習モデル３５を生成すればよい。この処理により、学習モデル３５の精度向上を図ることができる。

【0148】

なお、生成部２０Ｃは、出力対象外とされた合成画像６０について、合成位置の調整、色調の調整、を上記と同様にして再度実行し、再度合成画像６０を生成してもよい。また、出力対象外とされた合成画像６０について、生成部２０Ｃは、該合成画像６０の生成に用いた第１被写体画像３０の形状を、異なる撮影方向から撮影（例えば、より頭部側またはより足部側から撮影）した被写体画像となるように補正してもよい。この補正は、例えば、台形補正などである。そして、生成部２０Ｃは、台形補正した第１被写体画像３０を用いて、上記と同様にして、再度、合成画像６０を生成すればよい。

【0149】

なお、出力制御部２０Ｄは、更に、合成画像６０に付与した関連情報に基づいて選択した合成画像６０を、出力部２１へ出力してもよい。

【0150】

例えば、出力制御部２０Ｄは、親和度が所定の値以上、予め設定したユーザ名、予め設定した特色情報、および、予め設定した差分情報、の少なくとも１つを満たす関連情報に対応する合成画像６０を、出力対象として選択してもよい。そして、生成部２０Ｃは、選択した合成画像６０を、出力部２１へ出力してもよい。

【0151】

なお、上述したように、合成画像６０の確信度は、合成画像６０に対する、ユーザ満足度アンケート結果、ＥＣ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｍｍｅｒｃｅ：電子商取引）サイトへのコンバージョン率、リピート率、合成画像６０の端末装置１２への保存の有無などの複数のパラメータにより規定される。

【0152】

そして、上述したように、これらのパラメータは、合成画像６０を表示した端末装置１２を操作する第１被写体によって入力される。

【0153】

第１被写体が、表示された合成画像６０を視認した後に行った入力部１２Ｂの操作は、非常に貴重なデータである。すなわち、上記パラメータによって表される、合成画像６０に対するユーザ満足度アンケート結果、ＥＣサイトへのコンバージョン率、リピート率、合成画像６０の端末装置１２への保存の有無は、提供された合成画像６０に対する第１被写体の対応を示す情報として利用することができる。

【0154】

このため、例えば、学習部２０Ｅは、第１被写体画像３０の第１被写体の特徴と、該第１被写体画像３０を用いて生成された合成画像６０に対する上記パラメータと、の対応を示す教師データを用意する。そして、学習部２０Ｅは、この教師データが更新されるごとに、第１被写体の特徴から上記パラメータを導出するための学習モデルを公知の機械学習により学習および更新する。そして、学習部２０Ｅは、この学習モデルを、記憶部２４へ記憶または外部サーバ１４へ送信してもよい。

【0155】

このような学習モデルを提供することで、現在流行中の合成画像６０の合成に用いた試行対象部位４１（頭髪部位４１Ａ、皮膚の模様、アイテム）を容易に導出可能な情報（学習モデル）を提供することが可能となる。

【0156】

また、この学習モデルを解析することで、どのような特徴の第１被写体に、どのような試行対象部位４１が試行されたかを容易に特定することができる。具体的には、どのような特徴の第１被写体に対して、どのような髪型や衣服が好適に試行されたかを容易に特定することができる。

【0157】

また、出力制御部２０Ｄは、試行対象部位４１の特徴量を、公知の方法で複数のパラメータで表してもよい。そして、出力制御部２０Ｄは、これらのパラメータ間の差分の時系列の群から、試行対象部位４１の特徴量の方向性（ベクトル）を推定する。そして、出力制御部２０Ｄは、推定した特徴量の方向性を示す情報を、外部サーバ１４などに送信すればよい。これらの処理により、出力制御部２０Ｄは、将来流行する可能性の高いアイテムや髪型や模様などを推定可能な情報を、容易に提供することができる。

【0158】

次に、情報処理装置１０で実行する情報処理の手順を説明する。

【0159】

図８は、情報処理装置１０が実行する情報処理の手順の一例を示すフローチャートである。

【0160】

まず、取得部２０Ａが、端末装置１２から第１被写体画像３０を取得したか否かを判断する（ステップＳ１００）。ステップＳ１００で否定判断すると（ステップＳ１００：Ｎｏ）、本ルーチンを終了する。ステップＳ１００で肯定判断すると（ステップＳ１００：Ｙｅｓ）、ステップＳ１０２へ進む。

【0161】

次に、抽出部２０Ｂが、ステップＳ１００で取得した第１被写体画像３０と、学習モデル３５と、を用いて、第１被写体画像３０から合成領域３２を抽出する（ステップＳ１０２）。

【0162】

次に、生成部２０Ｃは、合成領域３２を合成する補正画像４４を第２被写体ＤＢ３６から読取る（ステップＳ１０４）。次に、生成部２０Ｃは、ステップＳ１０４で読取った補正画像４４の対象領域４２と、ステップＳ１０２で抽出した合成領域３２と、が一致するように、該補正画像４４全体を変形する（ステップＳ１０６）。

【0163】

次に、生成部２０Ｃは、ステップＳ１００で取得した第１被写体画像３０における特徴領域ＦＡの色調と、ステップＳ１０４で読取った補正画像４４の補正元の第２被写体画像４０における特徴領域ＦＢの色調と、の差が所定値以下となるように、ステップＳ１０２で抽出した合成領域３２の全体の色調を補正する（ステップＳ１０８）。

【0164】

次に、生成部２０Ｃは、ステップＳ１０６で変形した補正画像４４の対象領域４２に、ステップＳ１０８で色調を補正した合成領域３２を合成し、合成画像６０を生成する（ステップＳ１１０）。

【0165】

そして、生成部２０Ｃは、上記ステップＳ１０４～ステップＳ１１０の処理を、第２被写体ＤＢ３６に登録されている複数の第２被写体画像４０の各々の補正画像４４を用いて実行することで、複数の合成画像６０を生成する。

【0166】

次に、出力制御部２０Ｄは、生成した複数の合成画像６０の各々について、自然な合成結果であるか否かを示す確信度を算出する（ステップＳ１１２）。

【0167】

次に、出力制御部２０Ｄは、複数の合成画像６０の内、ステップＳ１１２で算出した確信度が閾値以上の合成画像６０を出力対象として選択し、確信度が閾値未満の合成画像６０を出力対象外として選択する（ステップＳ１１４）。

【0168】

ステップＳ１１４で出力対象として選択した合成画像６０について（ステップＳ１１４：Ｙｅｓ）、出力制御部２０Ｄは、合成画像６０の合成に用いた補正画像４４の補正元の第２被写体画像４０に関する関連情報を導出する。

【0169】

そして、出力制御部２０Ｄは、ステップＳ１１４で出力対象として選択した１または複数の合成画像６０の各々について、合成画像６０と関連情報を端末装置１２へ出力する（ステップＳ１１８）。そして、本ルーチンを終了する。

【0170】

一方、ステップＳ１１４で出力対象外として選択した合成画像６０について（ステップＳ１１４：Ｎｏ）、出力制御部２０Ｄは、第１被写体画像３０の再撮影および再送信を示す再送信要求を端末装置１２へ出力する（ステップＳ１２０）。そして、本ルーチンを終了する。

【0171】

以上説明したように、本実施形態の情報処理装置１０は、抽出部２０Ｂと、生成部２０Ｃと、を備える。抽出部２０Ｂは、被写体画像から合成領域３２を抽出する学習モデル３５を用いて、第１被写体の第１被写体画像３０から合成領域３２を抽出する。生成部２０Ｃは、第２被写体画像４０における対象領域４２の透過度を閾値以上に補正した補正画像４４の対象領域４２に、抽出した合成領域３２を合成した合成画像６０を生成する。

【0172】

このように、本実施形態の情報処理装置１０では、学習モデル３５を用いて、第１被写体画像３０から合成領域３２を抽出する。このため、本実施形態の情報処理装置１０では、デプスセンサなどを用いて試着者の三次元形状に関する情報を取得することなく、合成時に用いる合成領域３２を容易に抽出することができる。

【0173】

また、本実施形態の情報処理装置１０は、様々な形態を試行する対象である第１被写体の第１被写体画像３０から抽出した合成領域３２を、対象領域４２に合成する。すなわち、本実施形態の情報処理装置１０は、第２被写体画像４０の対象領域４２を透明にすることで生成された補正画像４４の該対象領域４２に、第１被写体画像３０から抽出した合成領域３２を合成する。このため、本実施形態の情報処理装置１０は、第１被写体が仮想的に他の形態を試行した状態を示す合成画像６０を、容易に生成することができる。

【0174】

従って、本実施形態の情報処理装置１０は、被写体画像（第１被写体画像３０、第２被写体画像４０）の合成画像を容易に生成することができる。

【0175】

また、本実施形態の情報処理装置１０は、端末装置１２から取得した第１被写体画像３０から抽出した第１被写体画像３０を合成に用いるため、合成に用いる第１被写体画像３０に制限を設ける事を抑制することができる。すなわち、本実施形態の情報処理装置１０は、第１被写体の所望の第１被写体画像３０を、合成画像６０の生成に用いることができる。

【0176】

また、本実施形態の情報処理装置１０は、第１被写体画像３０から抽出した合成領域３２を、補正画像４４の対象領域４２へ合成することで合成画像６０を生成する。

【0177】

このため、本実施形態の情報処理装置１０は、デプスセンサ等の三次元形状データを用いて合成画像６０を生成する従来技術に比べて、画像処理量の低減を図ることができる。このため、本実施形態の情報処理装置１０は、合成画像６０の生成時間の短縮を図ることができる。すなわち、情報処理装置１０は、リアルタイム試行の可能な環境を第１被写体に提供することができる。

【0178】

また、本実施形態の情報処理装置１０は、第１被写体画像３０から抽出した合成領域３２を、補正画像４４の透明な対象領域４２へ合成することで合成画像６０を生成する。このため、情報処理装置１０は、補正画像４４と合成領域３２との合成時に厳密な位置合せを行う必要がない。すなわち、本実施形態の情報処理装置１０は、簡易な構成で容易に違和感の低減された合成画像６０を提供することができる。

【0179】

また、本実施形態の情報処理装置１０では、制御部２０は、第２被写体画像４０の対象領域４２の透過度（例えばアルファ値）を調整することで、補正画像４４を生成する。

【0180】

すなわち、制御部２０は、外部サーバ１４等で管理されている複数の第２被写体画像４０について、アルファ値を調整するのみで、補正画像４４を生成することができる。このため、制御部２０は、複数の第２被写体画像４０の各々について、様々な試行対象部位４１の補正画像４４を容易に生成することができる。すなわち、制御部２０は、低負荷で大量な補正画像４４を容易に生成することができる。

【0181】

なお、出力制御部２０Ｄは、自然な合成結果であるか否かを示す確信度が閾値以下の合成画像６０について、合成画像６０の合成に用いた補正画像４４を補正してもよい。

【0182】

例えば、第２被写体画像４０における試行対象部位４１が衣服であり、衣服が繊細な素材や形状の衣服であると想定する。繊細な素材の衣服は、例えば、レース素材などの特殊な素材の衣服である。繊細な形状の衣服は、例えば、ウェディングドレス等の特殊な形状の衣服などである。

【0183】

この場合、試行対象部位４１に隣接する対象領域４２は、対象領域４２の形状、特に、頭髪部位４１Ａなどの試行対象部位４１との境界の形状を細かく調整する必要がある。この場合、制御部２０は、第２被写体画像４０の対象領域４２の透過度を閾値以上に補正した補正画像４４を表示部２６へ表示する。そして、情報処理装置１０の管理者等のユーザは、表示部２６に表示された補正画像４４を視認しながら入力部２８を操作することで、対象領域４２の詳細な調整を行なう。

【0184】

この処理により、情報処理装置１０は、高品質な補正画像４４を生成し、記憶部２４へ記憶することができる。また、このような補正画像４４を用いて合成画像６０を生成することで、情報処理装置１０は、高品質な合成画像６０を提供することができる。

【0185】

＜変形例１＞
なお、上述したように、第１被写体画像３０の合成領域３２（図３Ｃ参照）は、第１被写体画像３０における、第２被写体画像４０の試行対象部位４１（図４Ｂ参照）に隣接する領域であればよい。

【0186】

すなわち、上述したように、試行対象部位４１が頭髪部位４１Ａである場合、合成領域３２は、第１被写体画像３０における顔領域３２Ａである。

【0187】

しかし、合成領域３２は、試行対象部位４１に隣接する領域であればよく、顔領域３２Ａに限定されない。

【0188】

図９Ａおよび図９Ｂは、頭髪部位４１Ａ以外の試行対象部位４１の一例を示す模式図である。

【0189】

図９Ａは、試行対象部位４１が第２被写体の頭部以外の部位（頭部より足側の部位）である場合の説明図である。試行対象部位４１が第２被写体の頭部以外の部位である場合、合成領域３２に対応する対象領域４２は、第２被写体画像４０における第２被写体の頭部を示す領域４２Ｂとなる。この場合、第１被写体画像３０の合成領域３２は、第１被写体の頭部領域となる。

【0190】

図９Ｂは、試行対象部位４１が第２被写体の着用している衣服である場合の説明図である。試行対象部位４１が第２被写体の衣服である場合、対象領域４２は、第２被写体画像４０における衣服の衣服領域以外の領域（領域４２Ｂ、領域４２Ｃ、領域４２Ｄ）となる。この場合、第１被写体画像３０の合成領域３２は、第１被写体における、領域４２Ｂ、領域４２Ｃ、領域４２Ｄに相当する領域となる。

【0191】

本変形例では、制御部２０は、第２被写体画像４０における、これらの試行対象部位４１の透過度を閾値以上に補正した補正画像４４を予め生成し、予め記憶部２４へ記憶すればよい。

【0192】

そして、生成部２０Ｃは、上記実施形態と同様にして、合成画像６０を生成すればよい。

【0193】

このように、第２被写体画像４０における試行対象部位４１に応じた補正画像４４を予め用意し、該補正画像４４の試行対象部位４１に、第１被写体画像３０の合成領域３２を合成することで、上記実施形態と同様にして合成画像６０を生成することができる。

【0194】

このため、試行対象部位４１を調整することで、情報処理装置１０は、第２被写体画像４０の顔領域に第１被写体画像３０の顔領域３２Ａを合成した合成画像６０のみではなく、第２被写体画像４０の任意の部位（衣服部分、上半身部分など）に、第１被写体画像３０の対応する合成領域３２を合成した合成画像６０を、容易に生成することができる。

【0195】

例えば、試行対象部位４１が頭髪部位４１Ａであり、端末装置１２を携帯した第１被写体が美容院で合成画像６０を視認すると想定する。この場合、第１被写体は、端末装置１２に表示された合成画像６０を視認することで、様々な髪型を試行した合成画像６０を視認することができる。また、第１被写体は、表示された合成画像６０をカット担当者に見せることで、該合成画像６０をカット担当者と共有することができる。また、第１被写体は、美容院の待ち時間などに端末装置１２を操作することで、髪やアイテムからの露出度の異なる顔領域を含む複数の第１被写体画像３０を撮影し、端末装置１２から複数の第１被写体画像３０を情報処理装置１０へ送信すればよい。そして、端末装置１２は、複数の第１被写体画像３０の各々を用いた合成画像６０を情報処理装置１０から受信し、表示部１２Ｃへ表示する。第１被写体は、表示部１２Ｃに表示された複数の合成画像６０を視認することで、合成領域３２を良好に合成された合成画像６０を確認することができる。

【0196】

また、例えば、試行対象部位４１が第２被写体の頭部以外の部位（頭部より足側の部位）である場合、生成部２０Ｃは、第１被写体画像３０の頭部領域である合成領域３２を、第２被写体画像４０の対象領域４２Ｂに合成することができる（図９Ａ参照）。

【0197】

すなわち、この場合、生成部２０Ｃは、第２被写体画像４０の頭部を、第１被写体画像３０の頭部に差替えた合成画像６０を生成することとなる。

【0198】

このため、第１被写体は、合成画像６０を視認することで、第２被写体画像４０の髪型および衣服の双方を試行した合成画像６０を確認することができる。

【0199】

また、例えば、試行対象部位４１が第２被写体の着用している衣服であると想定する。この場合、生成部２０Ｃは、第１被写体画像３０の第１被写体が該衣服を着用した状態を試行した合成画像６０を生成することができる。

【0200】

また、試行対象部位４１が第２被写体の着用している衣服であり、合成領域３２および対象領域４２を、第１被写体画像３０および第２被写体画像４０の各々における該試行対象部位４１以外の全領域としたと想定する。この場合、生成部２０Ｃは、上記生成処理を実行することで、第１被写体画像３０上に第２被写体画像４０の衣服を重畳した状態の合成画像６０を生成することができる。

【0201】

＜変形例２＞
なお、上記実施形態の情報処理装置１０における、記憶部２４に記憶されている情報の少なくとも一部を、外部サーバ１４に記憶してもよい。また、情報処理装置１０における学習部２０Ｅを、外部サーバ１４に備えた構成としてもよい。また、情報処理装置１０の機能の少なくとも一部を端末装置１２に搭載してもよい。情報処理装置１０の機能を端末装置１２に搭載する場合、端末装置１２には、処理速度向上の観点から、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を備えた端末装置を用いることが好ましい。

【0202】

＜変形例３＞
なお、本実施形態の情報処理装置１０が実行する情報処理プログラムは、Ｗｅｂサーバ（ウェブサーバ）やソーシャルネットワークサービス（ＳＮＳ）の管理サーバで用いられるアプリケーションとして提供してもよい。この場合、第１被写体などのユーザは、端末装置１２を介して該アプリケーションを利用することで、容易に様々な合成画像を視認することが可能となる。また、この場合、合成画像６０を、第１被写体の分身となるアバター画像として提供することができる。このため、本実施形態の情報処理プログラムは、該合成画像６０に示されるアイテムなどの広告や各種キャンペーンに利用可能な情報を容易に提供することができる。

【0203】

＜適用対象＞
本実施形態の情報処理システム１の適用対象は限定されない。例えば、情報処理システム１は、試行対象部位４１（頭髪部位４１Ａ、皮膚部位、アイテム）に関するサービスを提供するエリアに設置された各種機器に適用される。例えば、情報処理システム１は、美容室、アパレル業界、エンターテイメント施設、イベント施設、などに設置されたシステムに適用される。

【0204】

＜ハードウェア構成＞
次に、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４のハードウェア構成について説明する。図１０は、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４のハードウェア構成例を示すブロック図である。

【0205】

本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４は、表示部９１、通信Ｉ／Ｆ部９３、入力部９４、ＣＰＵ８６、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８８、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０、およびＨＤＤ９２等がバス９６により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

【0206】

ＣＰＵ８６は、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４の各々の処理を制御する演算装置である。ＲＡＭ９０は、ＣＰＵ８６による各種処理に必要なデータを記憶する。ＲＯＭ８８は、ＣＰＵ８６による各種処理を実現するプログラム等を記憶する。ＨＤＤ９２は、上述した記憶部２４に格納されるデータを記憶する。通信Ｉ／Ｆ部９３は、外部装置や外部端末に通信回線等を介して接続し、接続した外部装置や外部端末との間でデータを送受信するためのインターフェースである。表示部９１は、上述した表示部２６および表示部１２Ｃの各々に相当する。入力部９４は、ユーザからの操作指示を受け付ける。入力部９４は、上述した入力部１２Ｂおよび入力部２８に相当する。

【0207】

本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４で実行される上記各種処理を実行するためのプログラムは、ＲＯＭ８８等に予め組み込んで提供される。該プログラムには、上記情報処理プログラムが含まれる。

【0208】

なお、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４で実行されるプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

【0209】

また、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４における上記各処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

【0210】

本実施形態および変形例の情報処理装置１０、端末装置１２、および外部サーバ１４で実行される上記各種処理を実行するためのプログラムは、上述した各部が主記憶装置上に生成されるようになっている。

【0211】

なお、上記ＨＤＤ９２に格納されている各種情報は、外部装置に格納してもよい。この場合には、該外部装置とＣＰＵ８６と、を、ネットワーク等を介して接続した構成とすればよい。

【0212】

なお、上記には、本発明の実施形態および変形例を説明したが、上記実施形態および変形例は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態および変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0213】

１ 情報処理システム
１０ 情報処理装置
２０Ａ 取得部
２０Ｂ 抽出部
２０Ｃ 生成部
２０Ｄ 出力制御部

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図6F】

【図7A】

【図7B】

【図8】

【図9A】

【図9B】

【図10】