特許 6205599 画像合成装置、画像合成方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6205599

(24)【登録日】2017年9月15日

(45)【発行日】2017年10月4日

(54)【発明の名称】画像合成装置、画像合成方法、及びコンピュータプログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20170925BHJP

   H04N 5/76 20060101ALI20170925BHJP

   G03B 15/00 20060101ALI20170925BHJP

   G03B 17/53 20060101ALI20170925BHJP

   H04N 5/232 20060101ALI20170925BHJP

【ＦＩ】

   H04N5/222 500

   H04N5/76

   G03B15/00 H

   G03B17/53

   H04N5/232 290

【請求項の数】9

【全頁数】41

(21)【出願番号】特願2014-103867(P2014-103867)

(22)【出願日】2014年5月19日

(65)【公開番号】特開2015-220652(P2015-220652A)

(43)【公開日】2015年12月7日

【審査請求日】2016年1月21日

(73)【特許権者】

【識別番号】506113602

【氏名又は名称】株式会社コナミデジタルエンタテインメント

(74)【代理人】

【識別番号】100099645

【弁理士】

【氏名又は名称】山本 晃司

(72)【発明者】

【氏名】酒井 豊和

(72)【発明者】

【氏名】増田 寛之

(72)【発明者】

【氏名】永穂 英恵

【審査官】 大西 宏

(56)【参考文献】

【文献】 特開２００１−１２５９４４（ＪＰ，Ａ）

【文献】 特開２０１０−１７１６７６（ＪＰ，Ａ）

【文献】 特開２００４−０３０６６８（ＪＰ，Ａ）

【文献】 特開２０１３−１９７７８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／８０ − ５／９０７

Ｇ０３Ｂ １５／００ −１５／０３５

Ｇ０３Ｂ １５／０６

Ｇ０３Ｂ １７／４８ −１７／５５

(57)【特許請求の範囲】

【請求項1】

人物モデルが記録された素材画像を、前記人物モデルの顔の向きを特定する顔向き情報と対応付けて記憶する素材画像記憶手段と、
ユーザを撮影する撮影手段と、
前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段と、
前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段と、
前記撮影手段にて繰り返し撮影された画像のそれぞれを、前記顔向き判別手段が判別した顔の向きを特定する情報と対応付けてユーザ画像記憶手段に記録するユーザ画像記録手段と、
前記ユーザ画像記憶手段に記録されている画像に対応する顔の向きを特定する情報と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記ユーザ画像記憶手段に記録されているユーザの複数の画像から合成対象画像として選択する画像選択手段と、
前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像を生成する合成手段と、
を備えた画像合成装置。

【請求項2】

前記画像選択手段は、前記ユーザの複数の画像から、前記素材画像に対応する顔向き情報にて特定される顔の向きに対するユーザの顔の向きのずれが相対的に小さい顔の画像を前記合成対象画像として選択する請求項１に記載の画像合成装置。

【請求項3】

前記合成手段は、前記画像選択手段が選択した合成対象画像における顔の向きと前記素材画像に対応する顔向き情報にて特定される前記人物モデルの顔の向きとのずれが減少するように前記画像選択手段が選択した顔の画像の向きを補正する画像補正手段と、
補正された顔の画像を前記素材画像の顔の部分に合成する合成実行手段と、
をさらに備えている請求項１又は２に記載の画像合成装置。

【請求項4】

前記画像補正手段は、前記合成対象画像におけるユーザの顔の向きが前記素材画像に対応する顔向き情報にて特定される前記人物モデルの顔の向きと合うように前記合成対象画像におけるユーザの顔の向きを補正する請求項３に記載の画像合成装置。

【請求項5】

前記画像補正手段は、前記合成対象画像におけるユーザの顔の画像に応じたメッシュモデルを生成し、該メッシュモデルを構成する多数の小領域の座標を前記合成対象画像における顔の向きと前記人物モデルの顔の向きとのずれに応じて補正することにより、前記ユーザの顔の向きを補正する請求項４に記載の画像合成装置。

【請求項6】

前記合成実行手段は、前記ユーザの顔の画像と前記素材画像との境界部分にて、顔の輪郭、前髪及び肌色の少なくとも一つの要素を対象としてブレンド処理を施す請求項３〜５のいずれか一項に記載の画像合成装置。

【請求項7】

前記素材画像記憶手段が記憶する素材画像は、前記人物モデルの顔部分が消去された画像である請求項１〜６のいずれか一項に記載の画像合成装置。

【請求項8】

撮影手段によって撮影されたユーザの顔の画像と、人物モデルが記録された素材画像とを、前記素材画像に対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつ合成する画像合成方法であって、
前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する手順と、
前記撮影手段にて撮影されたときのユーザの顔の向きを判別する手順と、
前記撮影手段を制御する手順にて繰り返し撮影された画像のそれぞれを、前記顔の向きを判別する手順にて判別された顔の向きを特定する情報と対応付けてユーザ画像記憶手段に記録する手順と、
前記記録する手順にて記録された画像に対応する顔の向きを特定する情報と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記ユーザ画像記憶手段に記録されているユーザの複数の画像から合成対象画像として選択する手順と、
前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔部分にユーザの顔の画像を合成した合成画像を生成する手順と、
を備えた画像合成方法。

【請求項9】

撮影手段によって撮影されたユーザの顔の画像と、人物モデルが記録された素材画像とを、前記素材画像と対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつコンピュータにより合成するためのコンピュータプログラムであって、前記コンピュータを、
前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段、
前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段、
前記撮影手段にて繰り返し撮影された画像のそれぞれを、前記顔向き判別手段が判別した顔の向きを特定する情報と対応付けてユーザ画像記憶手段に記録するユーザ画像記録手段、
前記ユーザ画像記憶手段に記録されている画像に対応する顔の向きを特定する情報と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記ユーザ画像記憶手段に記録されているユーザの複数の画像から合成対象画像として選択する画像選択手段、及び
前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像を生成する合成手段、として機能させるように構成されたコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザの顔の画像と人物モデルが記録された素材画像とを合成する画像合成装置等に関する。

【背景技術】

【0002】

カメラ等の撮影手段によって撮影されたユーザの画像に画像処理を施して様相が異なる画像を生成する装置として種々の装置が提案されている。例えば、ユーザを撮影して得られた画像にタッチペン等を用いて入力された線、模様といった装飾要素を合成することが可能な装置が知られている（例えば特許文献１参照）。ユーザを撮影して得られた画像中の目の部分を検出し、目を拡大するような補正を施す装置も知られている（例えば特許文献２参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００２−３１４９０９号公報

【特許文献2】特開２００６−２２８０３６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ユーザの顔部分の画像と、別の人物モデルの顔部分以外の画像とを合成して、ユーザを変身させるような試みも従来からなされている。しかしながら、顔には向きがあるため、そのような不自然さ、あるいは違和感が小さい合成画像を得ることは容易ではない。例えば、予めユーザの顔を人物モデルの顔の向きに合せてからユーザを撮影するといった調整を行なう必要があった。撮影済の画像を仮想的に回転させて異なる位置から看た画像を生成する画像処理技術も存在するが、向きのずれが大きいと処理後の画像の不自然さが高まる。上述した特許文献に記載の技術は、これらの課題の解決策を提供するものではない。

【0005】

そこで、本発明は、素材画像における人物モデルの顔の部分にユーザの顔の画像を合成する際に発生し得る不自然さを抑え、なるべく自然な合成画像を得ることが可能な画像合成装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る画像合成装置は、人物モデルが記録された素材画像を、前記人物モデルの顔の向きを特定する顔向き情報と対応付けて記憶する記憶手段と、ユーザを撮影する撮影手段と、前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段と、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段と、前記顔向き判別手段の判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する画像選択手段と、前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像を生成する合成手段と、を備えたものである。

【0007】

本発明の一態様に係る画像合成方法は、撮影手段によって撮影されたユーザの顔の画像と、人物モデルが記録された素材画像とを、前記素材画像に対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつ合成する画像合成方法であって、前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する手順と、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する手順と、前記顔の向きを判別する手順における判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する手順と、前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔部分にユーザの顔の画像を合成した合成画像を生成する手順と、を備えたものである。

【0008】

本発明の一態様に係るコンピュータプログラムは、撮影手段によって撮影されたユーザの顔の画像と、人物モデルが記録された素材画像とを、前記素材画像と対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつコンピュータにより合成するためのコンピュータプログラムであって、前記コンピュータを、前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段、前記顔向き判別手段の判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する画像選択手段、及び前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像を生成する合成手段、として機能させるように構成されたものである。

【図面の簡単な説明】

【0009】

【図1】本発明の一形態に係る画像合成装置が組み込まれた試着疑似体験システムの全体構成を示す図。

【図2】試着疑似体験システムで提供される各種のサービスの概要を示す図。

【図3】アーケード機の内部でかつユーザから見て正面側の構成を示す斜視図。

【図4】アーケード機の内部でかつユーザの背面側の構成を示す斜視図。

【図5】アーケード機の制御系の構成を示す図。

【図6】センターサーバ及びユーザ端末装置の制御系の構成を示す図。

【図7】システム内に保存され、又は生成される各種のデータの関係を示す図。

【図8】投稿データのデータ構造の一例を示す図。

【図9】タグ情報の選択肢の一例を示す図。

【図10】アーケード機のプレイ制御部がユーザにユーザに複数のコーディネイトを擬似的に試着させるための処理手順の概要を示すフローチャート。

【図11】図１０の処理が行われる際にアーケード機の表示装置に表示される代表的な画面の遷移を示す図。

【図12】図１１に続く画面の遷移を示す図。

【図13】アーケード機のプレイ制御部が実行する顔検出確認処理の手順を示すフローチャート。

【図14】アーケード機のプレイ制御部が実行する顔画像蓄積処理の手順を示すフローチャート。

【図15】アーケード機のプレイ制御部が実行する素材画像選択処理の手順を示すフローチャート。

【図16】アーケード機のプレイ制御部が実行する試着プレイ処理の手順を示すフローチャート。

【図17】試着画面上でシャッタタイミングを案内する際の画面遷移を試着プレイの経過時間と関連付けて示した図。

【図18】アーケード機のプレイ制御部が実行するシャッタタイミング案内処理の手順を示すフローチャート。

【図19】図１７の変形例を示す図。

【図20】アーケード機のプレイ制御部が実行する合成処理の手順を示すフローチャート。

【図21】ユーザの顔画像をメッシュモデル化した例を示す図。

【図22】画像合成時に施されるブレンド処理等の例を示す図。

【図23】ユーザ端末装置の表示装置上に表示される各種の画面の遷移を示す図。

【図24】図２３に続く画面の遷移を示す図。

【図25】試着画像等を閲覧する際にユーザ端末装置の閲覧制御部が実行するマイページ閲覧処理の手順を示すフローチャート。

【図26】図２５の処理に対応してセンターサーバのユーザサービス管理部が実行するマイページアクセス制御処理の手順を示すフローチャート。

【図27】ユーザが自己のユーザコーディネイト画像を投稿する際にユーザ端末装置の閲覧制御部及びセンターサーバのユーザサービス管理部が実行する処理の手順を示すフローチャート。

【図28】ユーザが他人のコーディネイトを評価する際にユーザ端末装置の閲覧制御部及びセンターサーバのユーザサービス管理部が実行する処理の手順を示すフローチャート。

【図29】ユーザが自己のコーディネイトに対して与えられた評価を閲覧する際にユーザ端末装置の閲覧制御部及びセンターサーバのユーザサービス管理部が実行する処理の手順を示すフローチャート。

【図30】ユーザコーディネイト画像に基づいて素材データを追加するためにセンターサーバのユーザサービス管理部が実行する素材データ追加処理の手順を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の一形態に係る画像合成装置が組み込まれた試着疑似体験システムを説明する。まず、図１を参照して、試着疑似体験システムの全体構成を説明する。試着疑似体験システム１は、センターサーバ２と、センターサーバ２に所定のネットワーク５を介して接続可能なクライアントとしてのアーケード機３及びユーザ端末装置４とを含む。センターサーバ２は、複数のコンピュータ装置としてのサーバユニット２Ａ、２Ｂ…が組み合わされることにより一台の論理的なサーバとして構成されている。ただし、単一のサーバユニットによりセンターサーバ２が構成されてもよい。あるいは、クラウドコンピューティングを利用して論理的にセンターサーバ２が構成されてもよい。

【0011】

アーケード機３は、所定の利用料金の支払いと引き換えに、ユーザに所定のサービス（所定のプレイ）を提供する業務用端末装置として構成されている。アーケード機３は、多数のユーザに利用させて収益を上げることを主目的としてアミューズメント店舗（アーケード施設と呼ばれることがある。）６等の所定の施設に設置される。なお、店舗６には一以上の適宜数のアーケード機３が設置される。アーケード機３の具体的構成は後に説明する。

【0012】

一方、ユーザ端末装置４は、ネットワーク接続が可能でかつユーザの個人的用途に供されるコンピュータ装置である。例えば、据置型又はブック型のパーソナルコンピュータ（以下、ＰＣと表記する。）４ａ、あるいは携帯電話（スマートフォンを含む。）のようなモバイル端末装置４ｂがユーザ端末装置４として利用される。その他にも、据置型の家庭用ゲーム機、携帯型ゲーム機、携帯型タブレット端末装置といった、ネットワーク接続が可能でかつユーザの個人的用途に供される各種のコンピュータ装置がユーザ端末装置４として利用されてよい。ユーザ端末装置４は、各種のコンピュータソフトウエアを実装することにより、センターサーバ２が提供する種々のサービスをユーザに享受させることが可能である。

【0013】

ネットワーク５は、センターサーバ２に対してアーケード機３及びユーザ端末装置４をそれぞれ接続させることができる限り、適宜に構成されてよい。一例として、ネットワーク５は、ＴＣＰ／ＩＰプロトコルを利用してネットワーク通信を実現するように構成される。典型的には、ＷＡＮとしてのインターネット５Ａと、センターサーバ２及びアーケード機３のそれぞれとインターネット５Ａとを接続するＬＡＮ５Ｂ、５Ｃとがルータ５Ｄを介して接続されることにより構築される。ユーザ端末装置４も適宜の構成によりインターネット５Ａに接続される。なお、アーケード機３と店舗６のルータ５Ｄとの間にローカルサーバが設置され、そのローカルサーバを介してアーケード機３がセンターサーバ２と通信可能に接続されてもよい。センターサーバ２のサーバユニット２Ａ、２Ｂ…はＬＡＮ５Ｃに代えて、又は加えてＷＡＮ５Ａにより、相互に接続される場合もある。

【0014】

次に、図２を参照して、試着疑似体験システム１で提供される各種のサービスの概要を説明する。まず、アーケード機３では、ユーザ（ここでは一例としてユーザＡを取り上げる。）の画像Ｐ１が撮影され、そのユーザＡの顔部分を含む所定領域の画像Ｐｆと素材画像Ｐ２とが合成されて試着画像Ｐ３が生成される。素材画像Ｐ２は、任意の服装の人物モデルが記録された画像である。素材画像Ｐ２の人物モデルは適宜のポーズを取っている。ただし、素材画像Ｐ２は、人物モデルの顔の構成要素（眉、目、鼻、口といった器官）を含まない。人物モデルは実在の人物でもよいし、ＣＧ技術等を利用して作成された仮想的な人物でもよい。素材画像Ｐ２は、センターサーバ２にて管理される素材データベースＤＢ１に予め保存されている。素材データベースＤＢ１には、服装及びポーズが様々に異なる多数の素材画像Ｐ２が予め保存されている。素材データベースＤＢ１の素材画像Ｐ２は、適宜の時期にセンターサーバ２からアーケード機３に配信され、アーケード機３の不図示の記憶装置に保存される。

【0015】

生成された試着画像Ｐ３はセンターサーバ２にユーザＡの識別情報と対応付けて適時に保存される。なお、アーケード機３では、１人のユーザの一回のプレイに対して所定単位の料金が課金される。一回のプレイにおいて、ユーザはコーディネイトが相違する複数の素材画像Ｐ２との合成、つまり擬似的な試着体験を楽しむことができるが、図２では一の素材画像Ｐ２との合成のみを例示している。また、一回のプレイでは、複数のユーザが順次試着体験を楽しむこともできる。その場合には、一回のプレイでプレイ人数分の料金が課金されてもよいし、一又は複数のユーザを一つのグループとしてグループ単位でプレイ料金が課金されてもよい。

【0016】

アーケード機３においては、ユーザＡに対して自己の試着画像Ｐ３等にアクセスするためのアクセス情報が提供される。例えば、センターサーバ２の試着画像Ｐ３等にアクセスするためのＵＲＬがアクセス情報として埋め込まれたアクセス用の２次元コードＣＤ１がユーザＡに対して発行される。また、アーケード機３では、ユーザＡが希望した場合、試着画像Ｐ３等がプリンタ７を介して印刷出力される。さらに、試着画像Ｐ３を生成するために撮影されたユーザＡ自身の画像Ｐ１も、ユーザコーディネイト画像Ｐ１ａとしてユーザＡの識別情報と対応付けて保存される。ただし、アーケード機３においてユーザＡの画像Ｐ１が多数枚撮影されるため、センターサーバ２にはそれらの画像から選ばれた所定枚数（例えば一回のプレイで一枚）の画像Ｐ１がユーザコーディネイト画像Ｐ１ａとしてセンターサーバ２に保存される。なお、本形態では、アーケード機３にて撮影されたユーザの画像Ｐ１と、センターサーバ２に保存されるユーザコーディネイト画像Ｐ１ａとは、画像としては同じものであるが、特にアーケード機３にて撮影されたユーザの画像Ｐ１のうち、センターサーバ２に保存されたものをユーザコーディネイト画像Ｐ１ａと呼んで区別することがある。センターサーバ２に保存されるユーザコーディネイト画像Ｐ１ａは、アーケード機３にて撮影されたユーザの複数の画像Ｐ１からユーザに選択させてもよいし、アーケード機３又はセンターサーバ２がランダムに、又は所定の基準に従って自動的に選択してもよい。

【0017】

ユーザＡはユーザ端末装置４を用いて２次元コードＣＤ１のアクセス情報を読み取り、そのアクセス情報に従ってセンターサーバ２にアクセスすることにより、自らのコーディネイト画像Ｐ１ａ及び試着画像Ｐ３を閲覧することができる。なお、ユーザコーディネイト画像Ｐ１ａ及び試着画像Ｐ３には付帯情報が対応付けて記録される。付帯情報には、撮影条件等を記述した撮影情報の他に、コーディネイトの分類等に用いられるべきタグ情報も含まれる。ユーザＡは、ユーザ端末装置４からセンターサーバ２にアクセスすることにより、自己のコーディネイト画像Ｐ１ａに対するタグ情報の追加、変更、あるいは修正といった操作を行うことができる。タグ情報の具体例は後述する。

【0018】

さらに、ユーザＡは、自らの服装のコーディネイトを他のユーザに評価させるため、コーディネイト画像Ｐ１ａに基づく評価対象画像Ｐ４を投稿することができる。評価対象画像Ｐ４は、ユーザコーディネイト画像Ｐ１ａをユーザの特定が困難となるように加工した画像に相当する。例えば、ユーザコーディネイト画像Ｐ１ａに対してユーザの顔面上の構成要素（目、鼻、口等）を消去した画像である。そのような評価対象画像Ｐ４を得るためには、例えば、アーケード機３からセンターサーバ２にユーザの画像Ｐ１が送信される際、アーケード機３にて、ユーザの画像Ｐから目、鼻、口等を消去した修正画像Ｐ１ｂが生成され、その修正画像Ｐ１ｂがユーザの画像Ｐ１とともにセンターサーバ２に送信される。その修正画像Ｐ１ｂは、ユーザコーディネイト画像Ｐ１ａと相互に対応付けてセンターサーバ２に記録される。そして、ユーザがユーザコーディネイト画像Ｐ１ａの投稿を指示すると、そのユーザコーディネイト画像Ｐ１ａと対応付けられた修正画像Ｐ１ｂが評価対象画像Ｐ４として他のユーザに公開される。他のユーザＢ、Ｃ、…はそれぞれのユーザ端末装置４からセンターサーバ２にアクセスし、ユーザＡの評価対象画像Ｐ４を閲覧し、そのコーディネイトを評価することができる。ユーザＡは、自らが投稿した評価対象画像Ｐ４に対する他人の評価を閲覧することができる。ユーザＡが投稿した評価対象画像Ｐ４が一定の評価を得た場合、その評価対象画像Ｐ４、言い換えれば、センターサーバ２に保存されているユーザコーディネイト画像Ｐ１ａのうち、ユーザにより投稿されかつ一定の評価を得たユーザコーディネイト画像Ｐ１ａに対応する修正画像Ｐ１ｂが素材候補画像Ｐ５として選択される。したがって、素材候補画像Ｐ５も、ユーザコーディネイト画像Ｐ１ａの顔をユーザの特定が困難となるように加工した画像に相当する。選択された素材候補画像Ｐ５はその付帯情報とともに素材データベースＤＢ１に追加される。それにより、アーケード機３では、ユーザコーディネイト画像Ｐ１を原画像とする素材画像Ｐ２を利用して試着画像Ｐ３を生成することも可能である。なお、評価対象画像Ｐ４を生成するプロセスは、上記に限らない。例えば、センターサーバ２がユーザの画像Ｐ１を受け取った後、その画像Ｐ１をユーザコーディネイト画像Ｐ１ａとして保存する際に修正画像Ｐ１ｂが生成されてもよいし、ユーザが投稿を指示した際にユーザコーディネイト画像Ｐ１ａから修正画像Ｐ１ｂが生成されてもよい。また、ユーザが投稿する際に、ユーザコーディネイト画像Ｐ１ａに加えて、又は代えて、修正画像Ｐ１ｂをユーザに選択、あるいは確認させてもよい。

【0019】

次に、図３〜図９を参照して、試着疑似体験システム１の各部の詳細を説明する。まず、アーケード機３の物理的構成を説明する。図１から明らかなように、アーケード機３は、概ね直方体形状の筐体を有し、ユーザがその筐体の内部に立ち入ってプレイするタイプのアミューズメント装置である。このタイプのアミューズメント装置としては、写真シール印刷機が周知であるが、図１のアーケード機３もそれと同様の基本的構成を備えている。図３はアーケード機３の内部でかつユーザが向い合う側（内部正面側）の構成を示し、図４はユーザの背面側の構成を示している。図３から明らかなように、アーケード機３の内部正面側にはフロントユニット１０が設置されている。フロントユニット１０には表示装置１１が配置されている。表示装置１１には液晶ディスプレイ等のフラットパネルディスプレイが用いられている。表示装置１１は、ユーザがフロアマットＦＭに立ってフロントユニット１０と向き合ったとき、左右方向中央でかつ上下方向には幾らか見下ろすように配置されている。そのため、表示装置１１はその表示面１１ａが幾らか上方を向くように斜めに傾けて設置されている。

【0020】

表示装置１１のフレーム１１ｂの上方には、ユーザを撮影するためのカメラ１２がアーケード機３内を見通せるようにして取り付けられている。カメラ１２の撮影方向は概ね水平である。カメラ１２の撮影範囲（撮影画角）はカメラ１２と向い合うユーザのほぼ全身を撮影できるように設定されている。カメラ１２の上方には、ユーザの動作を検出するための動作検出装置１３がその検出部を装置３内に向けるようにして配置されている。動作検出装置１３は、ユーザを撮影するカメラ、ユーザの各部までの距離を検出する測距センサ等を組み合わせることにより、ユーザの位置、動作、顔等を識別し、ユーザがどのような動作をしているか、換言すればユーザがどのような姿勢をとっているかを記述した動作情報を出力するセンサデバイスである。この種の動作検出装置としては、例えばマイクロソフトコーポレーション（Microsoft Corporation）がキネクトの商標を用いて提供するセンサデバイスを用いることができる。さらに、フロントユニット１０の上下左右には照明灯１４、１５、１６が配置されている。上部の照明灯１６の左右にはスピーカ１７が配置されている。下部の照明灯１７の右方には、プレイ料金としての硬貨の投入及び返却を行うためのコイン投入返却部１８が、照明灯１７の左方には、試着画像Ｐ３等の印刷物を排出するためのプリントアウト部１９が設けられている。

【0021】

一方、図４に示すように、アーケード機３の背面側にはリアユニット２０が設置されている。リアユニット２０には、カメラ１２が撮影したユーザの画像に対してクロマキー処理を施すための単一色（一例としてグリーン又はブルー）の背景パネル２１と、その背景パネル２１の上方に配置された照明灯２２とを備えている。なお、アーケード機３には、各ユニット１０、２０の他にも、ユーザの出入口を適度に遮光するカーテン、ユーザがプレイ中であるか否かを外部に示す入室サインといった各種の備品も装備されるが、それらの詳細は省略する。

【0022】

次に、図５を参照してアーケード機３の制御系の構成を説明する。アーケード機３には制御ユニット３０及び記憶装置３１が設けられている。制御ユニット３０は、ＣＰＵ及びその動作に必要な内部記憶装置を含んだコンピュータユニットとして構成されている。記憶装置３１は、制御ユニット３０に対する外部記憶装置として機能する。記憶装置３１には、一例としてハードディスク記憶装置、フラッシュメモリ等の半導体記憶素子を用いた半導体記憶装置のような不揮発性の記憶装置である。記憶装置３１は、アーケード用プログラムＰＧ１を記憶する。アーケード用プログラムＰＧ１は、制御ユニット３０と不図示のオペレーティングシステムとの組み合わせによって提供される機能を利用して、ユーザに試着を擬似的に体験させるために必要な処理、例えば、ユーザの画像Ｐ１の撮影や試着画像Ｐ３の生成といった処理を制御ユニット３０に実行させるためのアプリケーションプログラムである。

【0023】

制御ユニット３０には、ユーザによるプレイの進行を制御するためのプレイ制御部３２が設けられている。プレイ制御部３２は、制御ユニット３０のハードウエアとアーケード用プログラムＰＧ１との組み合わせによって実現される論理的装置である。プレイ制御部３２には、上述したカメラ１２及び動作検出装置１３が不図示のインターフェース部を介して接続される。プレイ制御部３２はカメラ１２を制御してユーザの画像Ｐ１を撮影し、かつ動作検出装置１３を制御してユーザの動作を検出する。また、プレイ制御部３２には、出力装置として、表示装置１１及びスピーカ１７が接続される。プレイ制御部３２は、表示装置１１による画像の表示及びスピーカ１７からの音楽や効果音の出力を制御する。さらに、プレイ制御部３２には、タッチパネル入力装置３５及びコインセレクタ３６が入力装置として接続される。タッチパネル入力装置３５は、表示装置１１の表示面１１ａに重ねて配置され、ユーザのタッチ操作に応じた信号をプレイ制御部３２に出力する。コインセレクタ３６は、ユーザが投入したコイン８の真偽を判定し、真正であればその投入枚数に応じた信号をプレイ制御部３２に出力し、不正であればそのコイン８を返却する。なお、タッチパネル入力装置３５は、表示装置１１と一体となっていてもよい。

【0024】

プレイ制御部３２には、さらなる論理的装置として、顔画像抽出部３７、顔向き補正部３８及び画像合成部３９が設けられている。顔画像抽出部３７は、カメラ１２にて撮影されたユーザの画像Ｐ１からユーザの顔部分の画像を抽出する。顔向き補正部３８は、顔画像抽出部３７にて抽出された顔画像の向きを補正する。画像合成部３９は、補正された顔画像と素材画像Ｐ２とを合成する。これらの処理については後に詳しく説明する。

【0025】

記憶装置３１には、上述したアーケード用プログラムＰＧ１に加えて、アーケード用データＤ１及びユーザデータＤ２も記録される。アーケード用データＤ１は、アーケード機３にてユーザに試着を体験させる際にアーケード用プログラムＰＧ１にて適宜参照されるべきデータである。例えば、アーケード用データＤ１は、素材データＤ１１及び演出用データＤ１２を含む。素材データＤ１１は、上述した素材画像Ｐ２の画像データ及びこれと対応する付帯情報を含む。演出用データＤ１２は、プレイ中にスピーカ１７から再生されるべき音楽の曲、効果音のデータ、及び表示装置１１の表示面１１ａに表示されるべき背景、模様、スタンプ等の装飾効果をもたらす画像素材である装飾画像、あるいはオブジェクト画像（一例として図１７、図１９に示すカメラアイコン１５０）といった画像データを含む。ユーザデータＤ２は、ユーザのプレイに伴って生成されるデータである。例えば、ユーザデータＤ２には、カメラ１２にて撮影されたユーザの画像Ｐ１を含むユーザ自身の撮影結果に関連するデータ（以下、マイデータと呼ぶことがある。）Ｄ２１、ユーザの試着画像Ｐ３を含む試着データＤ２２が記録されている。さらに、ユーザデータＤ２にはユーザの画像Ｐ１から抽出されたユーザの顔画像Ｐｆを含む顔画像データＤ２３も一時的に記録される。なお、図２に示した修正画像Ｐ１ｂがアーケード機３にて作成される場合、その修正画像Ｐ１ｂもユーザデータＤ２の一部として含まれてよい。記憶装置３１には、図示したデータ以外にも各種のデータが記録されてよい。

【0026】

次に、図６を参照してセンターサーバ２及びユーザ端末装置４の制御系の構成を説明する。センターサーバ２には、アーケードサービス管理部４０、ユーザサービス管理部４１及び記憶部４２が設けられている。アーケードサービス管理部４０及びユーザサービス管理部４１は、センターサーバ２のコンピュータハードウエア資源と記憶部４２に記憶されたサーバ用プログラムＰＧ２との組み合わせによって実現される論理的装置である。アーケードサービス管理部４０は、アーケード機３のプレイ制御部３２に対して各種のサービスを提供し、ユーザサービス管理部４１はユーザ端末装置４に対して各種のサービスを提供する。記憶部４２には、アーケード用データＤ１及びユーザデータＤ２が記録される。アーケード用データＤ１は、各アーケード機３の記憶装置３１に保存されたデータＤ１の原データと同じであり、アーケードサービス管理部４０によりアーケード機３に適時に配信される。ユーザデータＤ２は、アーケード機３の記憶装置３１に保存されたユーザデータＤ２のうち、試着データＤ２２と、少なくとも一部のマイデータＤ２１とを含む。これらのデータは、アーケード機３から適当な時期、例えばプレイの終了時に送信されて記憶部４２に保存される。

【0027】

また、記憶部４２には、投稿データＤ３、評価データＤ４、分析データＤ５及び集計データＤ６も記録される。投稿データＤ３は、ユーザが投稿した評価対象画像Ｐ４とその付帯情報とを含むデータであり、ユーザ識別情報と対応付けられている。評価データＤ４は評価対象画像Ｐ４に対して、評価者としてのユーザが与えた評価が記録されたデータである。評価データＤ４は評価が行われる毎に生成される。分析データＤ５は、評価データＤ４に記述された評価を分析したデータであり、評価対象画像Ｐ４毎にユーザ識別情報と対応付けて記録される。集計データＤ６は、分析データＤ５に記録された評価内容を横断的に集計した結果を示すデータである。なお、記憶部４２には、図示した以外にも各種のデータが記録されてよい。

【0028】

ユーザ端末装置４は制御ユニット５０と記憶装置５１とを備えている。制御ユニット５０には、そのハードウエア資源と記憶装置５１に記録された所定のユーザ端末用プログラムＰＧ３との組み合わせによって実現される論理的装置として、２次元コード読取部５２と、２次元コード表示部５３と、閲覧制御部５４とが設けられる。ユーザ端末用プログラムＰＧ３は、ユーザ端末装置４のオペレーティングシステムによって提供される機能を利用してユーザ端末装置４に特有の演算処理を実行させるためのいわゆるアプリケーションソフトウエアである。

【0029】

２次元コード読取部５２は、アーケード機３にてユーザがプレイした際に発行されるアクセス情報としての２次元コードＣＤ１をユーザ端末装置４のカメラ（不図示）を介して読み取り、その読み取ったアクセス情報を閲覧制御部５４に提供する。２次元コード表示部５３は、記憶装置５１に保存されているユーザ識別情報が埋め込まれた認証用の２次元コードを生成し、その認証用の２次元コードをユーザ端末装置４の表示面上に表示させる。認証用の２次元コードは、図２に示したアクセス用の２次元コードＣＤ１とは異なる。ただし、認証用の２次元コードを一旦生成した後は、その２次元コードそのものを画像データとして記憶装置５１に保存し、以降はその画像データを２次元コード表示部５３が表示させるようにしてもよい。

【0030】

閲覧制御部５４は、ユーザ端末装置４に実装されたＷｅｂブラウザ機能等を利用してセンターサーバ２へのアクセス、情報の取得、あるいは情報の送信を制御する。この閲覧制御部５４が２次元コードＣＤ１に埋め込まれたアクセス情報や記憶装置５１に保存されたユーザ識別情報を利用してセンターサーバ２にアクセスすることにより、ユーザは自己のユーザ端末装置４を利用して自らのユーザコーディネイト画像Ｐ１ａ、試着画像Ｐ３を閲覧し、あるいは評価対象画像Ｐ４を投稿し、その評価対象画像Ｐ４に対する評価を閲覧することができる。

【0031】

次に、図７〜図９を参照して各種のデータをより詳しく説明する。まず、図７を参照してデータ相互の関係を説明する。アーケード機３においては、マイデータＤ２１及び試着データＤ２２が生成される。マイデータＤ２１には、ユーザ自身の服装を含むように撮影されたユーザの画像Ｐ１と、ポーズ情報ＩＰとが相互に対応付けて記録される。ポーズ情報ＩＰは、ユーザの画像Ｐ１に記録されたユーザの顔、肩、腕、手等の位置を特定する情報（ベクトル情報）であって、動作検出装置１３によって特定される。ポーズ情報ＩＰは、ユーザの顔の向きを特定する情報（顔向き情報と呼ぶ。）を含む。顔向き情報は、ユーザが適当な基準方向、一例としてカメラ１２の撮影方向（光軸方向）に対してどのような方向に顔を向けているかを特定する第１の角度情報と、ユーザの頭部が鉛直方向に対してどのように傾いているかを特定する第２の角度情報の両者を含む。一方、試着データＤ２２は、素材データＤ１１に含まれる素材画像Ｐ２と、ユーザの顔画像Ｐｆと、装飾画像ＤＰとを合成することによって生成される試着画像Ｐ３を、素材データＤ１１の付帯情報と対応付けて記録したデータである。装飾画像ＰＤは、演出用データＤ１２に記録されている背景や模様の画像群から適宜に選ばれた画像である。ただし、一定の場合、ユーザの画像Ｐ１に対応するポーズ情報ＩＰには、動作検出装置１３によって特定されるベクトル情報に代えて、又は加えて、試着画像Ｐ３の元となった素材画像Ｐ２の人物モデルのポーズを特定するポーズ情報（以下、これを基本ポーズ情報と呼ぶことがある。）が記録されることがある。この点は後述する。

【0032】

アーケード機３にて作成されたマイデータＤ２１及び試着データＤ２２はセンターサーバ２に送信されて記憶部４２に保存される。なお、マイデータＤ２１に保存されているユーザの画像Ｐ１は、記憶部４２に保存されることによりユーザコーディネイト画像Ｐ１ａとして位置付けられる。記憶部４２に保存されたデータＤ２１、Ｄ２２のユーザコーディネイト画像Ｐ１ａ及び試着画像Ｐ３は、それらの画像Ｐ１ａ、Ｐ３に対応するユーザがユーザ端末装置４から閲覧することができる。マイデータＤ２１に記録されたユーザコーディネイト画像Ｐ１ａをユーザが評価対象画像Ｐ４として投稿するように指示すると、そのユーザコーディネイト画像Ｐ１ａに対応付けられた修正画像Ｐ１ｂを評価対象画像Ｐ４として投稿データＤ３が生成される。投稿データＤ３はその元となったユーザコーディネイト画像Ｐ１ａの付帯情報を引き継ぐ。また、ユーザは自らが投稿した評価対象画像Ｐ４に対して、ユーザ端末装置４からタグ情報を追加することができる。投稿データＤ３に含まれる評価対象画像Ｐ４は、他のユーザの閲覧対象となる。他のユーザがユーザ端末装置４にて評価を与えると、その評価毎に評価データＤ４が生成される。評価データＤ４は、評価対象画像Ｐ４を特定する情報及びその評価対象画像Ｐ４に対する評価内容を特定する情報を含む。評価データＤ４は、評価対象画像Ｐ４毎に区別して適時に集計され、それにより評価対象画像Ｐ４毎の分析データＤ５が生成される。さらに、分析データＤ５が横断的に集計されて集計データＤ６が生成される。例えば、特定の評価要素に関する評価数等が集計され、評価対象画像Ｐ４のランキング等が作成されて集計データＤ６に記録される。分析データＤ５は、評価対象画像Ｐ４に記録されているユーザがユーザ端末装置４を用いて閲覧可能である。また、集計データＤ６は各ユーザがユーザ端末装置４を用いて閲覧可能である。

【0033】

投稿データＤ３及び集計データＤ６は、素材候補データＤ７の作成にも利用される。すなわち、集計データＤ６にて一定の評価が得られている投稿データＤ３が抽出され、その投稿データＤ３に対応する修正画像Ｐ１ｂと、当該投稿データＤ３に記録されているタグ情報やポーズ情報等の付帯情報とを含めるようにして素材候補データＤ７が生成される。生成された素材候補データＤ７は、素材データＤ１１の群（図２の素材データベースＤＢ１に相当する。）に追加され、アーケード機３に素材データＤ１１として適宜に配信される。

【0034】

次に、図８及び図９を参照してデータ構造を説明する。なお、以下では投稿データＤ３を例に挙げる。図８に示すように、投稿データＤ３は、一例として、データ番号、登録日時、画像指定情報、ポーズ情報、複数セットのタグ情報１、２、…Ｎを含む。データ番号はデータ毎にユニークに設定される。登録日時は当該データがセンターサーバ２に登録された日時であり、画像指定情報は投稿データＤ３に含まれるべき評価対象画像Ｐ４を指定する情報である。例えば、ユーザコーディネイト画像Ｐ１ａが画像毎にユニークなファイル名、あるいは画像ＩＤを付して管理される場合、画像指定情報としては、評価対象画像Ｐ４の元となったユーザコーディネイト画像Ｐ１ａに対応するファイル名、あるいは画像ＩＤを指定することができる。ただし、ユーザコーディネイト画像Ｐ１ａのファイル名等に代えて、対応する修正画像Ｐ１ｂのファイル名等が指定されてもよい。ポーズ情報は、評価対象画像Ｐ４におけるユーザの顔、肩、腕、手等の位置を特定する情報（ベクトル情報）であって、図７のポーズ情報ＩＰに相当する。タグ情報は、評価対象画像Ｐ４を分類するための情報であって、複数の項目に区分されている。図８の例において、１セットのタグ情報は、コーディネイトのカテゴリ、コーディネイトのアイテム、シーン、スタイル、ポージング、体型、身長、髪型・髪色、音楽、エフェクト、背景といった項目に区分されている。

【0035】

タグ情報に関しては、項目毎に予め複数の選択肢が用意されている。それらの選択肢から適切な選択肢が指定されることによりタグ情報の各項目が入力される。選択肢の一例を図９に示す。例えば、カテゴリの項目については、評価対象画像Ｐ４のコーディネイトのカテゴリとして、「ガーリー」、「ギャル」、「ナチュラル」、「ストリートカジュアル」、「キレイめ」といった選択肢が用意されている。カラー、アイテム、シーン等の項目も評価対象画像Ｐ４におけるコーディネイトの特徴を分類するための項目である。なお、「シーン」は、その評価対象画像Ｐ４が、デートや旅行等といった如何なる状況に合うと思うかを評価する項目である。また、スタイル、体型、身長の項目は、評価対象画像Ｐ４に記録されているユーザのスタイル、体型及び身長を分類するための項目である。なお、ポージングの項目は、ユーザが評価対象画像Ｐ４にて取っているポーズを表現する項目である。さらに、髪型・髪色の項目は、髪型と髪色に分けて選択肢が用意される。例えば、髪型について「ショート」、「ミディアム」、「ロング」といった選択肢が用意される。髪色については、「ベージュ」、「イエロー」といった大きな分類の選択肢に加えて、例えば「ベージュ」をさらに「ベビーベージュ」、「ミルクベージュ」といったように細分した分類とが用意されている。つまり、髪色の項目については、階層構造的に選択肢が用意されている。

【0036】

上述したタグ情報の各項目には、評価対象画像Ｐ４を投稿した被評価者としてのユーザが指定する項目と、評価者としてのユーザが指定する項目と、センターサーバ２の管理者（あるいは、運営者等。以下、管理者等という。）が指定する項目とが存在する。例えば、「カラー」、「アイテム」、「体型」、「身長」といった項目は被評価者のユーザにより指定される。例えば、ユーザが自己のユーザコーディネイト画像Ｐ１ａの投稿を指示する際に、そのユーザがこれらの項目を指定することができる。また、「シーン」は評価者としてのユーザにより指定される。その指定は、ユーザが他人の評価対象画像Ｐ４を評価する際に指定することができる。したがって、投稿データＤ３の段階では、評価者としてのユーザが指定する項目については値が存在しない。「音楽」、「エフェクト」、「背景」等の項目はセンターサーバ２の運営者等によって指定される。これらの項目は、投稿された評価対象画像Ｐ４が、他人のプレイ時に素材画像Ｐ２として利用される際に参照される情報であるために、一定の基準に従って値を設定すべく管理者等にその指定が委ねられる。ただし、タグ情報の構成は一例であり、それらの各項目をどのような者に指定させるか、は適宜に変更されてよい。

【0037】

図９では投稿データＤ３を例示したが、評価データＤ４も同様のデータ構造を有する。つまり、ユーザが評価を行う際には、評価対象の投稿データＤ３の複製が生成され、評価者としてのユーザの指定に従ってタグ情報が追加されることにより評価データＤ４が生成される。投稿データＤ３に基づいて生成される素材候補データＤ７、素材データＤ１１及び試着データＤ２２も同様のデータ構造を有するデータとして生成される。

【0038】

次に、図１０〜図３０を参照して、試着疑似体験システム１にて行われる各種の処理を説明する。図１０〜図２２はアーケード機３における処理に関連する図である。まず、これらの図を参照して、アーケード機３における処理を説明する。図１０は、アーケード機３のプレイ制御部３２がユーザに複数のコーディネイトを擬似的に試着させるための処理手順の概要を示す。また、図１１及び図１２は図１０の処理が行われる際に表示装置１１に表示される画面の遷移の一例を示す。以下、これらの図に従ってアーケード機３にて行われるプレイの手順の概略を説明する。アーケード機３のプレイ制御部３２は、動作検出装置１３がユーザを検出したか否かを監視し、ユーザが検出されると図１０の処理を開始する。ただし、ユーザからの指示に基づいて図１０の処理が開始されてもよい。図１０の処理において、まずプレイ制御部３２は、プレイ人数を確認するためにユーザに人数を指定させ（ステップＳ１）、次に各ユーザの顔を動作検出装置１３が検出できるか否かを確認する（ステップＳ２）。この段階では、表示装置１１により、例えば図１１の確認画面１００が表示される。その確認画面１００には、ユーザの人数分のサムネイル画像が並べられたサムネイル表示部１０１と、撮影中のユーザの画像を示すメイン表示部１０２とが表示され、さらにはユーザに対して順番に撮影すること、及び顔を真正面に向けるべきこと等を通知するメッセージが表示される。

【0039】

図１０のステップＳ２の処理時において、例えば、ユーザがサングラスやマスクを装着し、あるいはマフラーを巻いているような場合には、ユーザの目や口等の器官、あるいは顔の輪郭を識別することが困難となり、顔の検出が不可能となることがある。そのため、顔が検出できない場合には、顔の検出を成功させるためのアドバイスをユーザに提示する。その後も一定期間顔が検出できないときは、そのユーザに関してはエラーとし、プレイ人数から除外する。これらの処理の具体例は後述する。

【0040】

ユーザの顔の検出を確認した後、プレイ制御部３２は、２次元コード認証を実施する（ステップＳ３）。この処理は、ユーザ端末装置４に保存されているユーザ識別情報に対応する認証用の２次元コードをユーザ端末装置４の画面に表示させ、その２次元コードをアーケード機３のカメラ１２にて読み取って、そこに埋め込まれたユーザ識別情報を取得する処理である。この処理により、アーケード機３はリピータとしてのユーザの識別情報を取得することができる。なお、ユーザ端末装置４における認証用の２次元コードの表示は、上述したように図６の２次元コード表示部５３により実行される。ユーザ識別情報を取得していないユーザに関しては、認証用２次元コードの表示ができないため、ステップＳ３の処理がスキップされる。ここでは２次元コードを用いてユーザを認証するものとしたが、ユーザ毎にユニークな識別情報を用いる限り、認証用２次元コードを介したユーザの認証とは異なる手法でユーザを認証してもよい。例えば、複数種類のゲーム機で共用されるユーザＩＤ、カードＩＤといった識別情報を用いてユーザが認証されてもよい。

【0041】

２次元コード認証が終了すると、プレイ制御部３２はユーザからプレイ人数分の料金を徴収する（ステップＳ４）。次に、プレイ制御部３２は、記念撮影を行う（ステップＳ５）。この処理は、図１１に一例としての記念撮影画面１１０を示したように、プレイ対象の全てのユーザ（図１１の例では４人）を一緒に撮影してその画像を記憶装置３１に記録する処理である。ただし、ユーザが１人の場合にはステップＳ５の処理がスキップされてもよい。

【0042】

記念撮影が終わると、プレイ制御部３２は最初のユーザをプレイ対象として選択し（ステップＳ６）、次に、そのユーザに所定枚数の素材画像Ｐ２を選択させる（ステップＳ７）。例えば、図１１の選択画面１２０に示したように、記憶装置３１に保存されている多数の素材画像Ｐ２を選択候補として並べた候補表示部１２１が表示され、ユーザのスクロール操作に応じて素材画像Ｐ２を入れ替えつつ、ユーザに試着希望の所定数（一例として６画像）の素材画像Ｐ２を選択させる処理が行われる。素材画像Ｐ２は、記憶装置３１に記録された素材データＤ１１から読み出される。この場合、選択画面１２０には、素材画像Ｐ２をあと何枚選べるかを示すユーザ毎の残り選択画像表示部１２２と、選択した素材画像Ｐ２を確認するための確認ボタン１２３と、「おまかせ」と表記されたボタン１２４とが表示される。「おまかせ」のボタン１２４をユーザがタッチすると、所定枚数のユーザを一枚ずつ選ぶことなく、プレイ制御部３２が自動的に所定枚数の素材画像Ｐ２を選択する。

【0043】

図１０に戻って、素材画像Ｐ２の選択が終了すると、プレイ制御部３２は試着プレイの処理を実行する（ステップＳ８）。この段階では、曲の再生や装飾画像の表示といった演出要素が出力され、その出力に合わせて、図１２に例示した試着画面１３０が表示装置１１に表示される。試着画面１３０では、図１２に破線で示したように、ユーザが選択した素材画像Ｐ２の人物モデルのポーズに対応するポーズ画像ＰＰが適度な時間間隔を空けて切り替わるようにして順次表示される。ポーズ画像ＰＰは、素材データＤ１１に記録されている素材画像Ｐ２のポーズ情報ＩＰにて特定される人物モデルのポーズを所定の態様で示した画像である。複数のポーズ画像ＰＰは、例えば、演出要素として出力される曲のリズムやテンポに合わせた所定のタイミングで画像が切り替わるようにして順次表示される。このとき、ポーズ画像ＰＰには、背景やパターンといった装飾画像ＰＤが重畳して表示される。また、試着プレイが行われている間、カメラ１２によりユーザが繰り返し撮影され、それらの撮影で得られたユーザの画像Ｐ１が動画的に表示される。ポーズ画像ＰＰとユーザの画像Ｐ１とは、両画像がいずれもユーザにより視認できる態様で重ね合わせて表示される。例えば、カメラ１２で撮影されたユーザの画像Ｐ１は撮影された通りの状態で表示される一方、ポーズ画像ＰＰは、素材画像Ｐ２に対応するポーズ情報ＩＰに基づいて特定されるポーズを線図的に表現し、かつ線以外の部分は透過させた画像として表示される。あるいは、素材画像Ｐ２を半透明化したポーズ画像ＰＰをユーザの画像Ｐ１と重ね合わせてもよいし、素材画像Ｐ２それ自体をポーズ画像ＰＰとして表示し、これにユーザの画像Ｐ１を半透明化した状態で重ね合せることにより、両画像Ｐ１、ＰＰが視認できるようにしてもよい。ユーザには、素材画像Ｐ２のポーズ情報にて特定されるポーズと同じポーズを取ることが要求される。ユーザの画像Ｐ１が一定の条件を満たすと、プレイ中に撮影された多数枚の顔画像から合成に適した顔画像が選択され、その顔画像が素材画像Ｐ２における人物モデルの顔部分に貼り合われるように合成されて試着画像Ｐ３が生成される。試着画像Ｐ３を生成する手順は後に詳細に説明する。画像１３０には、ユーザの画像Ｐ１及びポーズ画像ＰＰが表示されるメイン表示部１３１の他に、既に生成された試着画像Ｐ３を縮小表示する試着結果表示部１３２、及び試着が済んでいない素材画像Ｐ２の枚数を表示する残数表示部１３３も表示される。

【0044】

図１０のステップＳ８にて１人のユーザに関する試着プレイが終わると、プレイ制御部３２は、最後のユーザまで試着プレイを終えたか否かを判断し（ステップＳ９）、未だプレイしていないユーザがいればステップＳ１０で次のユーザを選択してステップＳ７に戻る。一方、ステップＳ９にて最後のユーザまでプレイしたと判断された場合、プレイ制御部３２は、全てのユーザのプレイ結果を表示装置１１に表示させるとともに、生成された試着画像Ｐ３を閲覧するためのアクセス情報を埋め込んだ２次元コードを表示装置１１上に表示させる（ステップＳ１１）。例えば、図１２の結果表示面１４０に示したように、試着画像Ｐ３を並べた試着結果表示部１４１により試着結果が表示され、その下方にアクセス用の２次元コードＣＤ１が表示される。なお、結果表示面１４０には、ユーザがプレイ終了を指示する終了ボタン１４２及び試着画像Ｐ３の印刷出力を指示するプリントアウトボタン１４３も表示される。プリントアウトは追加料金の支払いが必要であり、プリントアウトボタン１４３にはその追加料金の額も表示される。なお、複数のユーザがプレイした場合には、各ユーザの試着プレイによって生成された試着画像Ｐ３が一括して一枚の印刷台紙に印刷されてもよいし、ユーザ毎に印刷台紙を代えて試着画像Ｐ３が印刷出力されてもよい。

【0045】

図１０に戻って、試着画像Ｐ３等の表示が終了すると、プレイ制御部３２はユーザがプリントアウトボタン１４３をタッチして印刷出力を指示したか否か判別し（ステップＳ１２）、指示されていれば追加料金を徴収し（ステップＳ１３）、その後、試着画像Ｐ３を印刷出力する（ステップＳ１４）。ただし、この段階では記念撮影（ステップＳ５）にて撮影された画像も印刷対象に加えられてもよい。その後、なお、ステップＳ１２にてユーザが印刷出力を指示しなかった場合、プレイ制御部３２はステップＳ１３及びステップＳ１４をスキップしてステップＳ１５に進み、今回の処理で生成された各ユーザのユーザデータＤ２（マイデータＤ２１及び試着データＤ２２）をセンターサーバ２に送信する。その後、プレイ制御部３２は図１０の処理を終える。なお、ステップＳ５の記念撮影で得られた画像のデータもユーザデータＤ２の一部としてセンターサーバ２に送信されてもよい。

【0046】

送信されたデータＤ２は、センターサーバ２のアーケードサービス管理部４０により記憶部４２に記録される。この場合、ステップＳ３で２次元コードを認証させたユーザに対しては、その２次元コードに埋め込まれたユーザ識別情報がセンターサーバ２に提供されることにより、そのユーザ識別情報と対応付けてユーザデータＤ２が記録される。ステップＳ３で２次元コード認証を受けなかったユーザに関しては、ユーザ識別情報が存在しないか、あってもアーケード機３にて特定できない。このようなユーザのデータＤ２に関して、センターサーバ２は、ユーザ識別情報と対応付けることなく試着画像Ｐ３等を含んだユーザデータＤ２を保存する。

【0047】

次に、図１３〜図２０を参照して、プレイ制御部３２が実行する処理のさらに詳細な手順を説明する。図１３は、図１０のステップＳ２においてユーザの顔の検出を確認する際にプレイ制御部３２が実行する顔検出確認処理の具体的手順を示している。顔検出確認時において、プレイ制御部３２はまずカメラ１２によるユーザの撮影及び得られたユーザの顔画像Ｐｆの記憶装置３１への記録を開始する（ステップＳ２１）。次に、プレイ制御部３２は、動作検出装置１３の出力を参照して、動作検出装置１３がユーザの顔を検出しているか否か、言い換えれば動作検出装置１３がユーザの顔を認識できているか否かを判別する（ステップＳ２２）。顔の検出に成功していれば、プレイ制御部３２はステップＳ２３に進み、確認結果が成功（ＯＫ）であったことを記録する。一方、ステップＳ２２で顔の検出に成功していないと判断された場合、プレイ制御部３２はタイムアウトか否か、つまり確認の開始後、一定時間が経過したか否かを判別する（ステップＳ２４）。タイムアウトでなければ、プレイ制御部３２はユーザに対して顔の検出を成功させるためのアドバイスを通知し（ステップＳ２５）、ステップＳ２２に戻る。ステップＳ２４でタイムアウトと判断された場合、プレイ制御部３２はその時点でカメラ１２の撮影対象となっているユーザに関してプレイが不可能であると判断し、その旨をユーザに通知するといったエラー処理を実行する（ステップＳ２６）。ステップＳ２３又はＳ２６の処理後、プレイ制御部３２は図１３の処理を終える。この後、プレイ制御部３２は図１０のステップＳ３の処理に進む。

【0048】

図１４は、プレイ制御部３２が、図１３のステップＳ２１をトリガとして実行する顔画像蓄積処理の手順を示している。図１４の処理は、他の処理と併行して所定の周期（例えば、表示装置１１のフレームレート又はその整数倍。）で繰り返し実行されるルーチン処理である。プレイ制御部３２は、図１４の処理を開始すると、まずカメラ１２によりユーザを撮影してその画像Ｐ１を取得する（ステップＳ３１）。次に、プレイ制御部３２は動作検出装置１３が検出したユーザの動作を示す情報、つまりはポーズ情報ＩＰを取得し（ステップＳ３２）、その検出結果から、ユーザの画像Ｐ１が撮影された際のユーザの顔の向きを判別する（ステップＳ３３）。この場合、顔の向きは、上述したポーズ情報ＩＰ（図７）における顔向き情報と同様に、ユーザが所定の基準方向に対してどのような方向に顔を向けているかを特定する第１の角度情報と、鉛直方向に対してユーザの顔がどのように傾いているかを特定する第２の角度情報の両者を含む。

【0049】

次に、プレイ制御部３２は、ステップＳ３４に進み、ステップＳ３３で判別した顔の向きに基づいて、ユーザの顔画像Ｐｆに対応するメッシュモデルＭＭ（図２１参照）を生成する。メッシュモデルＭＭについては後述する。次いで、プレイ制御部３２は、ステップＳ３３で特定した顔の向きと一致する顔の向きを持つユーザの顔画像Ｐｆが同一ユーザに関する顔画像データＤ２３に既に記録されているか否かを判別する（ステップＳ３５）。顔画像データＤ２３には、ユーザの顔画像Ｐｆがポーズ情報ＩＰにて特定される顔向き情報（第１の角度情報及び第２の角度情報）と対応付けて記録されるので、ステップＳ３３で判別した顔向き情報と同一情報を持つ顔画像Ｐｆが顔画像データＤ２３に既に存在するか否かを判別すればよい。そして、顔の向きが一致するユーザの顔画像Ｐｆが存在しなければ、プレイ制御部３２は、ステップＳ３１で取得したユーザの画像Ｐ１から抽出される顔画像ＰｆとステップＳ３２で取得したポーズ情報ＩＰに基づく顔向き情報とメッシュモデルＭＭとを対応付けて顔画像データＤ２３に新規に保存する（ステップＳ３６）。一方、ステップＳ３５にて顔の向きが一致するユーザの顔画像Ｐｆが存在する場合、つまり、顔向き情報が一致する顔画像Ｐｆが存在する場合、プレイ制御部３２はその顔画像Ｐｆ及びこれに対応するメッシュモデルＭＭを、今回のユーザの画像Ｐ１から抽出される顔画像Ｐｆ及びこれに対応するメッシュモデルＭＭで上書きするようにして顔画像データＰｆ等を保存する（ステップＳ３７）。ステップＳ３６又はＳ３７の処理が終わると、プレイ制御部３２は今回の図１４のルーチンを終える。図１４の処理により、ユーザがアーケード機３にてプレイしている間、その画像Ｐ１が繰り返し撮影され、顔の向き毎に最新の顔画像Ｐｆが記憶装置３１に蓄積されることになる。なお、図１０のステップＳ５にて記念撮影をする際には複数のユーザが同時にカメラ１２の前に位置するため、図１４の処理が一時的に中断されてもよい。あるいは、図１４の処理は、図１０のステップＳ２に代えて、ステップＳ７の処理開始をトリガとして開始されてもよい。なお、図１４に示す顔画像蓄積処理は、１人プレイの場合はプレイ終了のタイミングで、複数人プレイの場合はユーザが交代したタイミングや全員のプレイが終了したタイミングで、蓄積した顔画像を消去することとしても良い。

【0050】

図１５は、図１０のステップＳ７にてユーザが素材画像Ｐ２を選択する際にプレイ制御部３２が実行する素材画像選択処理の具体的手順を示している。素材画像Ｐ２の選択時において、プレイ制御部３２は、まず選択画面１２０（図１１）を表示装置１１に表示させることにより、ユーザが選択可能な素材画像Ｐ２を選択候補としてユーザに提示する（ステップＳ４１）。記憶装置３１に多数の素材画像Ｐ２の素材データＤ１１が保存されている場合には、素材データＤ１１のタグ情報に記録されている項目をユーザに指定させることにより、ユーザに提示する選択候補を絞り込むようにしてもよい。

【0051】

素材画像Ｐ２の提示後、プレイ制御部３２は、選択候補を変更する操作をユーザが行ったか否かを判別し（ステップＳ４２）、操作があればステップＳ４１に戻って、ユーザの操作に応じた新たな素材画像Ｐ２をユーザに提示する。変更操作がなければ、プレイ制御部３２はステップＳ４３に進み、ユーザがボタン１２４にタッチして「おまかせ」を選択したか否かを判別する。「おまかせ」が選択されていない場合、プレイ制御部３２はさらにユーザがいずれかの素材画像Ｐ２をタッチして選択したか否かを判別する（ステップＳ４４）。選択がなされた場合、プレイ制御部３２はユーザが選択した素材画像Ｐ２を記録し（ステップＳ４５）、その後、選択数が所定数に達したか否かを判別する（ステップＳ４６）。所定数に達していれば、プレイ制御部３２は選択された全ての素材画像Ｐ２を表示装置１１に表示させ（ステップＳ４７）、ユーザに確認を求める（ステップＳ４８）。なお、ステップＳ４３で「おまかせ」が選択された場合、プレイ制御部３２は所定数の素材画像Ｐ２を自動的に選択し（ステップＳ４９）、その後、ステップＳ４７へと進む。

【0052】

ステップＳ４８でユーザが再選択を希望する等して、確認を拒んだ場合、プレイ制御部３２はステップＳ４３へと戻る。なお、ステップＳ４６が否定判断された場合もプレイ制御部３２はステップＳ４４へ戻る。ステップＳ４８にてユーザが素材画像Ｐ２の選択を確認した場合、プレイ制御部３２は選択された素材画像Ｐ２に対応付けられているタグ情報を解析し（ステップＳ５０）、その解析結果に従って、図１０のステップＳ８における試着プレイの際に出力すべき演出要素（曲や背景等）を決定する（ステップＳ５１）。

【0053】

例えば、図８に示したように、タグ情報における「音楽」、「エフェクト」、「背景」の項目を参照して、試着プレイにおける演出要素、すなわち、演出用データＤ１２（図５参照）に記録された曲や装飾画像ＰＤ（図７）から、プレイ中に再生されるべき曲、試着画面１３０に表示されるべき背景、パターン、エフェクトといった装飾画像ＰＤが決定される。ただし、音楽や背景等を直接指定するタグ情報が存在しない場合でも、コーディネイトの特徴を記述した「カテゴリ」、「カラー」、「シーン」といった項目のタグ情報を参照することにより、素材画像Ｐ２のコーディネイトに適した曲や装飾画像ＰＤを決定してもよい。その場合には、各項目の選択肢（図９参照）と曲や背景等の演出要素とを関連付けるデータを予め用意し、そのデータを手掛かりにタグ情報に対応する曲等を選択すればよい。また、ユーザに複数の素材画像Ｐ２を選択させる場合には、素材画像Ｐ２毎にタグ情報が相違する可能性がある。この場合、曲及び装飾画像ＰＤも素材画像Ｐ２毎に順次切替えて出力するものとしてもよい。選択された全ての素材画像Ｐ２を通して一の曲や同一の装飾画像ＰＤを使用する場合には、例えば各素材画像Ｐ２のタグ情報を解析して、最も多くの素材画像Ｐ２に適用できる曲や装飾画像ＰＤを選択してもよいし、選択された素材画像Ｐ２に対応するタグ情報から抽出される曲や装飾画像ＰＤの中から、ランダムで選択するようにしてもよい。

【0054】

図１５のステップＳ５１で演出要素を決定した後、プレイ制御部３２は図１５の素材画像選択処理を終える。この後、プレイ制御部３２は、図１０のステップＳ８の試着プレイの処理に進む。図１６は、そのステップＳ８にてプレイ制御部３２が実行する試着プレイ処理の具体的手順を示している。試着プレイ処理が開始されると、プレイ制御部３２は、まず図１５のステップＳ５１にて決定した曲のデータを記憶装置３１から読み出してその曲の再生を開始し（ステップＳ６１）、次いで、ステップＳ５１にて決定した装飾画像ＰＤのデータを記憶装置３１から読み出してその表示を開始する（ステップＳ６２）。続いて、プレイ制御部３２は、ユーザが選択した素材画像Ｐ２から最初に試着させるべき素材画像Ｐ２を選択し（ステップＳ６３）、その素材画像Ｐ２の人物モデルのポーズに対応するポーズ画像ＰＰを装飾画像ＰＤとともに表示装置１１に表示させることにより、ポーズ画像ＰＰをユーザに提示する（ステップＳ６４）。この場合、図１２の試着画面１３０にて例示したように、カメラ１２にて繰り返し撮影されているユーザの画像Ｐ１がポーズ画像ＰＰと重ね合わせて連続的に表示される。しかも、両画像Ｐ１、ＰＰが視認できるように、ポーズ画像ＰＰ又はユーザの画像Ｐ１のいずれか一方が半透明化され、あるいはいずれか一方が線図として表示されるといったように表示態様が制御される。

【0055】

ポーズ画像ＰＰ等の提示後、プレイ制御部３２は、表示装置１１を利用して、ユーザにシャッタタイミングを案内する処理を開始する（ステップＳ６５）。シャッタタイミングは、図１０のステップＳ８の処理を開始してからの経過時間と関連付けて予め素材画像Ｐ２毎に定められている。ただし、図１４の説明から明らかなように、カメラ１２によるユーザの撮影はシャッタタイミングに限って行われるものではない。カメラ１２によるユーザの撮影は試着プレイの間において繰り返し行われており、シャッタタイミングはユーザに対して撮影を意識させるために定められるものである。ただし、シャッタタイミングで撮影されたユーザの画像Ｐ１をマイデータＤ２１に記録するものとしてもよい。また、シャッタタイミングの案内は、ユーザの目線を、表示面外の所定の目標位置（一例としてカメラ１２による撮影位置）に誘導するために行われる。案内の詳細は後述する。

【0056】

シャッタタイミングの案内を開始した後、プレイ制御部３２はユーザの顔画像Ｐｆと素材画像Ｐ２との合成を試みる（ステップＳ６６）。その処理は顔向き補正部３８と画像合成部３９とを利用して行われるが、詳細は後述する。次に、プレイ制御部３２は、画像の合成に成功したか否かを判別し（ステップＳ６７）、成功していれば、その合成された試着画像Ｐ３を、表示装置１１を介してユーザに表示するとともに、試着画像Ｐ３を記憶装置３１に記録する（ステップＳ６８）。この場合、試着画像Ｐ３は、合成元となった素材画像Ｐ２の付帯情報（タグ情報やポーズ情報を含む。）と対応付けられた試着データＤ２２として記憶装置３１に保存される。試着画像Ｐ３の記録後、プレイ制御部３２は、試着プレイ中に設定された素材画像Ｐ２毎の素材画像切替時期か否かを判別する（ステップＳ６９）。素材画像切替時期は、例えば演出の一部として出力される曲中のリズムやテンポにおいて区切りがよい時期に設定される。ただし、素材画像切替時期同士の間には、合成に十分な時間が確保されるように適度な時間間隔が割り当てられる。

【0057】

素材画像切替時期が到来していない場合、プレイ制御部３２はステップＳ６８に戻って結果表示を続ける。素材画像切替時期が到来すると、プレイ制御部３２はステップＳ７０に進み、現在のプレイ対象のユーザが選択した全ての素材画像Ｐ２に関して試着が終わったか否かを判別する。まだ試着していない素材画像Ｐ２が存在する場合、プレイ制御部３２は次の素材画像Ｐ２を選択し（ステップＳ７１）、その後、ステップＳ６４の処理に戻る。

【0058】

ステップＳ６７にて合成が失敗したと判断された場合、プレイ制御部３２は所定の代替処理を実行し（ステップＳ７２）、その後、ステップＳ６９の処理に進む。合成が失敗する場合としては、例えば、素材画像Ｐ２に対応する顔向き情報にて特定されるユーザの顔の向き（第１の角度情報及び第２の角度情報）と一致する顔の向きをもった顔画像Ｐｆが記憶装置３１に記録されていない場合が挙げられる。詳しくは後述する。また、代替処理としては、例えば、合成ができなかったことをユーザに通知するとともに、その処理の時点で撮影されているユーザ自身の画像、つまりユーザコーディネイト画像Ｐ１を試着画像Ｐ３に代えてユーザに表示する処理を行うことができる。あるいは、顔画像データＤ２３に記録されている顔画像Ｐｆから適当な一枚の顔画像Ｐｆを選び、その顔画像Ｐｆにおける顔の向きと一致する顔の向きを持った素材画像Ｐ２を素材データＤ１１から抽出し、その素材画像Ｐ２を顔画像Ｐｆと合成する処理が行われてもよい。

【0059】

ステップＳ６９にて、全ての素材画像Ｐ２について処理が完了したと判断された場合、プレイ制御部３２は、カメラ１２によるユーザの撮影及び顔画像Ｐｆの記録を終了させる（ステップＳ７３）。つまり、図１４の顔画像蓄積処理を終了させる。したがって、カメラ１２は、図１０のステップＳ２の処理開始後、図１６のステップＳ７２の処理までの間を画像取得期間として、その間にユーザを繰り返し撮影するよう制御される。ユーザの撮影を終了させた後、プレイ制御部３２は、記憶装置３１にマイデータＤ２１の一部として記録された多数枚のユーザの画像Ｐ１から、センターサーバ２に送信すべき所定枚数（一例として一枚）の画像Ｐ１を選択する（ステップＳ７４）。画像Ｐ１の選択はユーザに委ねてもよいし、プレイ制御部３２が所定の条件に従って自動的に選択してもよい。この場合の条件としては、素材画像Ｐ２における人物モデルのポーズとの一致率が相対的に高い画像Ｐ１が優先的に選択され、あるいはランダムに選択されるといった設定が可能である。ポーズの一致率は、一例として素材画像Ｐ２に対応付けられているポーズ情報ＩＰとユーザの撮影時に動作検出装置１３が検出したユーザのポーズとの近さにより判断することができる。ステップＳ７３の終了後、プレイ制御部３２は図１６の処理を終える。この後、プレイ制御部３２は図１０のステップＳ９に進む。

【0060】

図１７〜図１９は、シャッタタイミングの案内手法を説明するための図である。図１７は、試着画面１３０（図１１参照）上でシャッタタイミングを案内する際の画面遷移を試着プレイの経過時間と関連付けて示している。まず、図１７を参照してシャッタタイミングの案内手法の概要を説明する、なお、図１７では試着画面１３０を、時間の経過に従って参照符号１３０に枝番号−１、−２…を付して区別している。また、以下の説明では、シャッタタインミグにおけるユーザの目線の目標位置がカメラ１２の撮影位置に設定されている場合の例である。

【0061】

シャッタタイミングの案内が開始されると、まず、試着画面１３０−１の初期位置に、シャッタタイミング案内用の標識としてのカメラアイコン１５０が出現する。その出現時期は、試着プレイ中に設定されたシャッタタイミングに対して一定時間先行する時期に設定される。初期位置は、例えば、最初の試着画面１３０−２に示すように、素材画像Ｐ２（ただし、図１７では省略。）が表示されるべきメイン表示部１３１のほぼ中央に設定される。その後、カメラアイコン１５０は、２番目の試着画面１３０−２に矢印Ｍ１で示すように、カメラ１２による撮影位置ＳＰに向けて試着画面１３０内を真っ直ぐ上昇する。試着画面１３０−２にて示されているように、カメラアイコン１５０が試着画面１３０の上端の直前まで上昇すると、左から３番目の試着画面１３０−３にて矢印Ｍ２で示すように、カメラアイコン１５０が画面１３０の枠に当って弾む様子が表現されるようにカメラアイコン１５０の表示態様が漸次変更される。その後、４番目の試着画面１３０−４に矢印Ｍ３で示すように、カメラアイコン１５０が、試着画面１３０の外（つまり、表示装置１１における表示面１１ａの外）に飛び出して画面１３０から消え去る様子が表現されるように、カメラアイコン１５０の表示態様が変更される。カメラアイコン１５０が消える時期は、シャッタタイミングよりも早い時期に設定される。

【0062】

カメラアイコン１５０が試着画面１３０から上方に消え去った後、図１７の右端の試着画面１３０−５にて矢印Ｍ４で示したように、カメラアイコン１５０がそれ以前と同様に撮影位置ＳＰに向けて上昇を続けたと仮定した場合、カメラアイコン１５０はシャッタタイミングにて撮影位置ＳＰに仮想的に到達する。つまり、カメラアイコン１５０が撮影位置ＳＰに仮想的に到達する時期とシャッタタイミングとが一致する。このような関係が成立するように、カメラアイコン１５０の初期位置への出現時期及びカメラアイコン１５０の移動速度が制御される。

【0063】

以上の通りシャッタタイミングが案内されることにより、ユーザの目線をカメラアイコン１５０に惹き付け、カメラアイコン１５０を追うようにユーザの目線を撮影位置ＳＰへと誘導することができる。そして、シャッタタイミングにおいてユーザの目線を撮影位置ＳＰにほぼ一致させることができる。なお、到達時期とシャッタタイミングが一致するとみなせる範囲としては、カメラアイコン１５０の一部が撮影位置ＳＰと仮想的に重なっている間にシャッタタイミングが到来すれば十分であるが、ユーザの目線を撮影位置ＳＰに向ける目的が達成できる限りおいて、カメラアイコン１５０が概ね撮影位置に達すると想定される時期にシャッタタイミングが到来すれば、両者が一致するとみなしてよい。また、シャッタタイミングにおいて、ユーザの目線を表示面１１ａ外の目標位置へと向けるためには、目標位置に向けてカメラアイコン１５０が移動し、かつシャッタタイミングよりも早い時期にカメラアイコン１５０が表示面１１ａから消えるようにカメラアイコン１５０の表示が制御されていればよい。つまり、カメラアイコン１５０の動きに釣られてユーザが目線を表示面外まで移動させるように表示態様が制御されていれば、カメラアイコン１５０がシャッタタイミングにて表示面１１ａ内に留まる場合と比較して、ユーザの目線を表示面１１ａ外の目標位置に近付ける効果が期待できる。目標位置は撮影位置に限らない。例えば、撮影位置よりも幾らか上に目標位置を設定すれば、ユーザが目線を幾らか上に向けた画像をシャッタタイミングにて撮影することができる。反対に目標位置を撮影位置よりも下に設定すれば、ユーザが幾らか目線を落とした画像をシャッタタイミングにて撮影することができる。なお、シャッタタイミングにおいては、ユーザに撮影の実感を与えるためシャッタ音が出力される。

【0064】

図１８は、上述したシャッタタイミングの案内を実現するためにプレイ制御部３２が実行するシャッタタイミング案内処理の具体的手順を示している。図１８の処理が開始されると、プレイ制御部３２は、その時点で合成対象になっている素材画像Ｐ２（つまり、ス図１６のステップＳ６３又はＳ７１で選択されている素材画像Ｐ２）ついてのシャッタタイミングを取得する（ステップＳ８１）。上述したように、シャッタタイミングは、試着プレイの処理（図１０のステップＳ８の処理）を開始してからの経過時間と関連付けて予め素材画像Ｐ２毎に定められている。例えば、試着プレイの間に再生される曲のリズムやテンポに合わせて素材画像Ｐ２毎（あるいは画面１３０内のポーズ画像ＰＰ毎）に撮影が行われる感覚をユーザに与えるようにシャッタタイミングが曲中の位置と合わせて設定される。ただし、各素材画像Ｐ２に対応する素材画像切替時期（図１６のステップＳ６９参照）よりもシャッタタイミングは早い時期に設定される必要がある。シャッタタイミングの設定値は、一例として演出用データＤ１２に曲と対応付けて記録すればよい。一回の試着プレイで１人のユーザに対して６枚の素材画像Ｐ２が表示される場合には、曲中の６箇所の位置にシャッタタイミングが設定される。

【0065】

シャッタタイミングを取得した後、プレイ制御部３２はカメラアイコン１５０を試着画面１３０の初期位置に出現させる（ステップＳ８２）。次に、プレイ制御部３２は、シャッタタイミングを案内する際に出力されるべき効果音等の演出要素のデータを演出用データＤ１２から取得し、その演出要素の出力を開始する（ステップＳ８３）。その後、プレイ制御部３２は、試着プレイ開始後の経過時間に基づいて、次のフレームで描画されるべき試着画面１３０上におけるカメラアイコン１５０の位置を演算する（ステップＳ８４）。この位置演算においては、カメラアイコン１５０がシャッタタイミングにおいて撮影位置ＳＰに仮想的に到達するような移動速度が実現されるように、カメラアイコン１５０の位置が演算される。なお、カメラアイコン１５０の移動速度は一定でもよいし、可変であってもよい。例えば、カメラアイコン１５０が徐々に加速し、又は減速するように移動速度が設定されてもよい。

【0066】

続くステップＳ８５においては、先に演算されたカメラアイコン１５０の位置が試着画面１３０の上端部まで達したか否かを判別する。つまり、図１７の試着画面１３０−２の状態までカメラアイコン１５０が移動したか否かが判別される。上端部に達していなければ、プレイ制御部３２はカメラアイコン１５０が次フレームの試着画面１３０において、ステップＳ８４で演算された位置に通常の状態（つまり、試着画面１３０−３のように弾む前の状態）で描画されるように、次フレームの試着画面１３０の描画を制御する（ステップＳ８６）。その後、プレイ制御部３２はステップＳ８４に戻る。

【0067】

一方、ステップＳ８５にて肯定判断された場合、プレイ制御部３２は、カメラアイコン１５０が弾んだ上で上方に消え去る様子を表現したアニメーションが次フレーム以降の試着画面１３０にて表示されるようにカメラアイコン１３０の描画を制御する（ステップＳ８７）。したがって、カメラアイコン１５０を出現させるタイミングは、初期位置に出現してからステップＳ８５が肯定判断されるまでに要する時間、つまりはカメラアイコン１５０が通常状態で描画される時間と、ステップＳ８７で開始されるアニメーションの表示に要する時間と、カメラアイコン１５０が表示面１１ａの外の領域を継続的に上昇したと仮定した場合に撮影位置ＳＰまで到達するに要する時間との和を移動所要時間として求め、シャッタタイミングからその移動所要時間だけ先行した時期に設定すればよい。なお、表示面１１ａ外におけるカメラアイコン１５０の移動時間は、一例として、通常状態で表示されている間のカメラアイコン１５０の運動がそのまま継続されるものと仮定して求めることができる。例えば、カメラアイコン１５０が等速度運動している場合にはその速度を維持して移動すると仮定し、カメラアイコン１５０が加速度運動をしている場合にはその加速度を維持して移動すると仮定すればよい。

【0068】

ステップＳ８７の処理後、プレイ制御部３２はステップＳ８１で取得したシャッタタイミングが到来したか否かを判別する（ステップＳ８８）。シャッタタイミングが到来していなければプレイ制御部３２はステップＳ８８の判断を繰り返す。シャッタタイミングが到来すると、プレイ制御部３２はステップＳ８９に進み、シャッタ音をスピーカ１７から出力させる。その後、プレイ制御部３２は、図１８の処理を終える。なお、カメラアイコン１５０は図１７の態様で表示される例に限らない。例えば、図１９に示したように、シャッタタイミングまでの残り時間をカウントダウンする数値表示を伴うようにカメラアイコン１５０が表示されてもよい。カウントダウンの表示を添えることにより、ユーザにはシャッタタイミングまでの残り時間をよりリアルに感じさせることができる。なお、図１９では、カメラアイコン１５０の出現時期における試着画面１３０は図示が省略され、カウントダウン開始時期以降の画面遷移が示されている。また、ユーザの画像Ｐ１（連続的に表示されている点で映像でもある。）及びポーズ画像ＰＰの図示も省略されている。

【0069】

図２０は、図１６のステップＳ６６にて行われる画像合成のより詳しい処理手順を示している。以下、図２１及び図２２も参照しつつ、図２０の処理を説明する。まず、画像の合成処理において、プレイ制御部３２は、合成対象の素材画像Ｐ２、つまり現時点で試着画面１３０に表示されているポーズ画像ＰＰに対応する素材画像Ｐ２のポーズ情報ＩＰを取得し（ステップＳ１０１）、続いて動作検出装置１３からの出力に基づいて現時点でのユーザのポーズ情報を取得する（ステップＳ１０２）。次に、プレイ制御部３２は、動作検出装置１３によりユーザの顔が現在検出されているか否かを判別する（ステップＳ１０３）。ユーザの顔が検出されている場合、プレイ制御部３２は、動作検出装置１３から取得したユーザのポーズ情報に基づいて、ユーザのポーズが素材画像Ｐ２のポーズ情報（ステップＳ１０１で取得された情報）に記録されているポーズと所定レベル以上一致しているか否かを判別する（ステップＳ１０４）。

【0070】

ポーズが所定レベル以上一致している場合、プレイ制御部３２は、適切な顔画像が記憶装置３１の顔画像データＤ２３に記録されているか否かを判別する（ステップＳ１０５）。この段階では、合成対象の素材画像Ｐ２に対応するポーズ情報にて特定される素材画像Ｐ２の人物モデルの顔の向きを基準として、顔の向きが最も近いユーザの顔画像Ｐｆが顔画像データＤ２３から選択され、その顔画像Ｐｆにおける顔の向きと素材画像Ｐ２の顔の向きとのずれが許容範囲内か否かが判別される。そして、許容範囲にある場合、その顔画像Ｐｆが適切な画像として判別される。この場合、選択の対象となる顔画像Ｐｆは図１４の処理で記憶装置３１に蓄積された顔画像Ｐｆである。また、許容範囲は、ユーザの顔向きを補正する際に不自然さが生じない限度として設定される。

【0071】

ステップＳ１０５において適切な顔画像Ｐｆがあると判別された場合、プレイ制御部３２は、その顔画像Ｐｆを顔画像データＤ２３から取得する（ステップＳ１０６）。続いて、プレイ制御部３２は、合成対象画像としての顔画像Ｐｆの向きが素材画像Ｐ２における顔の向きと一致するように顔画像Ｐｆを補正するため、図１４のステップＳ３６又はＳ３７で保存されたメッシュモデルＭＭのうち、顔画像Ｐｆの向きに対応したメッシュモデルＭＭを取得する（ステップＳ１０７）。図２１に多数の顔画像Ｐｆの例を示したように、メッシュモデルＭＭは、ユーザの顔画像Ｐｆをその口等を基点として多数の多角形状の小領域ＳＡに分割して生成されるモデルである。続いて、プレイ制御部３２は、顔画像補正部３８を利用して、合成対象の顔画像Ｐｆにおける顔の向きと素材画像Ｐ２における顔の向きとのずれ量がゼロとなるようにメッシュモデルＭＭを回転させて顔画像Ｐｆの向きを補正する（ステップＳ１０８）。この処理は、顔向きのずれ量に従って、小領域ＳＡの各頂点座標を変換することにより実現される。つまり、小領域ＳＡをずれ量に応じて変形させることにより、メッシュモデルＭＭを仮想的に回転させて顔画像Ｐｆの向きを変化させる。この際、ずれ量が所定のレベルを超えて拡大すると、小領域ＳＡの変形の程度が大きくなり、補正後の顔画像Ｐｆに看過できないレベルの不自然さが生じることがある。このような観点から、図２０のステップＳ１０５におけるずれ量の許容範囲を不自然さが生じないずれ量の範囲に設定すればよい。なお、図２１は様々な向きの顔画像を便宜的に同一図面内に並べて示したものである。合成対象画像は、一の顔画像Ｐｆであって、図２１のような多数の顔画像が同時に合成対象画像として選択されるものではない。

【0072】

図２０に戻って、ステップＳ１０８にて顔向きを補正した画像が生成されると、プレイ制御部３２は、画像合成部３９を利用して、補正後の顔画像Ｐｆを素材画像Ｐ２の顔部分に貼り合わせるようにして両画像を結合する（ステップＳ１０９）。その後、プレイ制御部３２は、画像合成部３９を利用して、ユーザの顔画像Ｐｆと素材画像Ｐ２との境界部分に対して所定のブレンド処理を施す（ステップＳ１１０）。例えば、図２２に示したように、ユーザの顔の輪郭と素材画像の人物モデルの顔の輪郭とを違和感のないように滑らかにブレンド処理を施し（図２２のＡ部）、あるいは、ユーザの顔画像に含まれている前髪と、素材画像の人物モデルの髪とをそれらの境界部分が目立たないようにブレンド処理を施し（図２２のＢ部）、あるいはユーザの顔画像と素材画像の人物モデルの肌との境界部分で両者の肌色の相違が目立たないようにブレンド処理を施す。ここでいうブレンド処理は、画像処理において一組の画像を合成する際に用いられる公知の手法で行われてよい。なお、動作検出装置１３を利用してユーザの身長Ｔ及び横幅Ｗ（図２２参照）を検出し、素材画像Ｐ２の人物モデルをそれらの測定結果に応じて上下左右に伸縮させてユーザの顔画像Ｐｆと素材画像Ｐ２の人物モデルとの身長及び体型の相違による合成後の違和感を低減し、あるいは解消する処理をさらに施してもよい。ただし、動作検出装置１３の検出結果を用いることなく、プレイ開始時といった適宜の時期に、素材画像Ｐ２又はこれに対応するポーズ画像ＰＰとユーザの画像Ｐ１とを表示面１１ａ上に両画像が視認できる態様で重ね合わせて表示させ、タッチパネル３５に対するユーザのスライド操作等に応じてユーザの画像Ｐ１を縦横に伸縮させることにより、身長や横幅を合せるようにしてもよい。

【0073】

ステップＳ１１０にてブレンド処理が完了すると、プレイ制御部３２は図２０の処理を終える。これにより、試着画像Ｐ３の生成が完了する。この場合、図１６のステップＳ６７では合成成功と判断される。なお、図２０の処理では、画像を合成する前提として、ユーザのポーズと素材画像Ｐ２の人物モデルのポーズ（つまり、ポーズ画像ＰＰのポーズ）とが所定レベル以上で一致することを要件としているため、図２０の処理により試着画像Ｐ３が生成できた場合には、所定のエフェクトを試着画面１３０に表示してユーザに合成の成功を通知してもよい。エフェクトは、例えば図１６のステップＳ６８にて結果を表示する際に、所定のアニメーションを経て試着画像Ｐ３が出現するといった態様で出力することができる。あるいは、図１２の試着画面１３０に例示したように、合成成功であることを示すマーク１３４を表示してもよい。これらのエフェクトは表示装置１１上で重ね合わされるのみであって、試着画像Ｐ３には記録されない。なお、図１２の画面１３０は、ポーズが所定レベル以上に一致した状態を示すものではない。

【0074】

図２０のステップＳ１０３にて顔が検出されていないと判断された場合、あるいは、ステップＳ１０４にてポーズが一致していないと判断された場合、プレイ制御部３２はタイムアウトか否か、つまり図２０の処理の開始後、所定の待ち時間が経過したか否かを判別する（ステップＳ１１１）。この場合、図１６のステップＳ１６にて判断される素材画像切替時期よりも早い時期でかつその素材画像切替時期の直前にタイムアウトとなるように、待ち時間を設定することが望ましい。ステップＳ１１１にてタイムアウトでなければ、プレイ制御部３２は、ユーザに対してアドバイスを与え（ステップＳ１１２）、その後にステップＳ１０２に戻る。なお、ステップＳ１１２のアドバイスは、ポーズ画像ＰＰのポーズに対してユーザがポーズを合わせるための指示を含む。すなわち、ポーズ画像ＰＰを表示するためのポーズ情報ＩＰが格納された素材データＤ１１のタグ情報には、図８の投稿データＤ３と同様に画像Ｐ２内の人物モデルのポーズの特徴を表現したポージングの項目が含まれているため、そのポージングの項目に記述されたフレーズを表示装置１１の画面上に表示し、あるいはスピーカ１７から出力させることにより、ユーザにポーズを合わせることを意識させる。例えば、図１２の試着画面１３０では、素材画像Ｐ２のタグ情報のポージング項目に指定されている「脚クロスだよ〜」のフレーズを示す画像ＰＭが表示されることにより、ユーザにポーズを合わせるよう指示がなされている。ステップＳ１１１にてタイムアウトの場合、プレイ制御部３２は所定のエラー処理を実行し（ステップＳ１１３）、その後、図２０の処理を終える。

【0075】

次に、図２３〜図２９を参照して、ユーザ端末装置４に対するサービスに関連した処理を説明する。図２３及び図２４は、ユーザ端末装置４にてユーザ端末用プログラムＰＧ３が実行された際にその表示装置によって表示される各種の画面の遷移を示している。まずは、これらの図を参照して、ユーザ端末用プログラムＰＧ３によってユーザ端末装置４に実装される各種の機能の概要を説明する。なお、以下の説明は、ユーザ端末装置４としてスマートフォンのようなモバイル端末装置４ｂが用いられることを想定したものである。

【0076】

ユーザ端末装置４にてプログラムＰＧ３が起動されると、図２３に示すタイトル画面２００が表示され、その後、スタート画面として、マイページ画面２１０が表示される。なお、ユーザ端末用プログラムＰＧ３が初めて起動された際には、機能説明やチュートリアルといった初回専用の画面が表示されてもよい。

【0077】

マイページ画面２１０には、ユーザプロフィール表示部２１１と、試着画像閲覧部２１２と、メニュー部２１３とが含まれている。ユーザプロフィール表示部２１１には、ユーザの画像と、ユーザが入力した名前等のプロフィール情報とが表示される。ユーザの画像は、センターサーバ２に保存されているユーザ自身のコーディネイト画像Ｐ１ａの少なくとも一部であってもよいし、ユーザ端末装置４上でユーザが記録した画像であってもよい。試着画像閲覧部２１２には、アーケード機３にて生成されてセンターサーバ２の記憶部４１に保存されたユーザの試着画像Ｐ３が一覧形式で表示される。ユーザ端末装置４からユーザ識別情報を指定してセンターサーバ２にアクセスし、あるいはアーケード機３にて表示された２次元コードＣＤ１を読み取ってその指定場所にアクセスすることにより、センターサーバ２からユーザ端末装置４にマイページ画面２１０の表示に必要なデータが提供される。メニュー部２１３には、ユーザ端末装置４に表示させるページを切り替えるために選択操作される部分である。メニュー部２１３から「マイページ」が選択操作されると、マイページ画面２１０が表示される。「マイコーデ」が選択操作されると、マイコーディネイト画面２２０が表示される。なお、メニュー部２１３は各画面に共通して表示される。ただし、メニュー表示部２１３に用意された項目以外にも、所定の操作を行うことによりプログラムＰＧ３による各種の機能を呼び出すことが可能である。例えば、アクセス用の２次元コードＣＤ１の読み取り、あるいは２次元コード認証用の２次元コードＣＤ２の表示といった機能は所定の操作によって呼び出される。

【0078】

マイコーディネイト画面２２０には、センターサーバ２に保存されたユーザ自身のコーディネイト画像Ｐ１ａが表示されるマイ画像表示部２２１と、その画像Ｐ１ａに対応するタグ情報の内容が表示されるタグ情報表示部２２２とが含まれている。ユーザは、タグ追加ボタン２２３を選択操作することにより、タグ情報表示部２２２にさらなるタグ情報を追加することができる。ここで追加された情報は、ユーザ端末装置４からセンターサーバ２に送信され、ユーザのユーザコーディネイト画像Ｐ１ａに対応付けられた付帯情報の一部として保存される。マイコーディネイト画面２２０にはさらに投稿ボタン２２４が表示される。ユーザが投稿ボタン２２４を選択操作すると、マイ画像表示部２２１に表示されているユーザコーディネイト画像Ｐ１ａの投稿が指示されたものとされ、そのユーザコーディネイト画像Ｐ１ａに対応する修正画像Ｐ１ｂが評価対象画像Ｐ４としてセンターサーバ２に投稿される。

【0079】

図２４に移って、ユーザが自身のユーザコーディネイト画像Ｐ１ａを投稿した場合、マイコーディネイト画面２２０には、タグ情報表示部２２２と評価結果表示部２２５とがユーザの選択操作に応じて択一的に表示される。評価結果表示部２２５には、ユーザが投稿した評価対象画像Ｐ４（つまり、ユーザが投稿を指示したユーザコーディネイト画像Ｐ１ａに対応する修正画像Ｐ１ｂに相当する。）に対応する評価データＤ４（図７参照）と関連付けられた分析データＤ５に従って評価結果が表示される。また、評価結果表示部２２５が表示される場合、マイ画像表示部２２１には、ユーザのコーディネイト画像Ｐ１に添えて集計データＤ６にて集計された順位などの情報が表示される。例えば、ユーザによる評価対象画像Ｐ４の評価時に、コーディネイトのカテゴリを対象として選択肢毎に人気投票を行えるようにし、そのランキングを集計データＤ６に記録しておくことにより、ユーザのコーディネイト画像Ｐ１が、そのカテゴリ内で何位にランクされたか、をマイ画像表示部２２１に表示させることができる。

【0080】

メニュー部２１３から「みんなのコーデ」が選択操作されると、みんなのコーディネイト画面２３０が表示される。みんなのコーディネイト画面２３０には、各ユーザが投稿した評価対象画像Ｐ４が一覧形式で表示される。ユーザが評価したい画像Ｐ４を選択操作すると、ユーザはその選択した画像Ｐ４に対する評価を入力することができる。ここでは、上述したように、評価者としてのユーザに開放されたタグ情報の項目に関してユーザが適切と思われる選択肢を指定するといった方式により評価が入力される。あるいは、評価者としてのユーザに、その評価対象画像Ｐ４のコーディネイトを自分も試着してみたいか否かを問い掛ける設問をユーザ端末装置４上に表示させ、その回答を評価の少なくとも一部として取得してもよい。ユーザが他人の評価対象画像Ｐ４に対して評価を入力すると、その評価内容がセンターサーバ２に送信されて評価データＤ４として記録される。上述したランキングは、「試着したい」と回答したユーザの総数等により決定されてもよい。評価された数あるいは評価したユーザの人数の大小によりランキングが決定されてもよい。

【0081】

次に、図２５〜図３０を参照して、ユーザ端末装置４の上述した機能を実現するためにユーザ端末装置４及びセンターサーバ２にて実行される各種の処理を説明する。図２５は、ユーザが２次元コードＣＤ１をユーザ端末装置４に読み取らせて試着画像Ｐ３を閲覧する際にユーザ端末装置４にて実行されるマイページ閲覧処理の手順を示し、図２６はその処理に対応して、センターサーバ２のユーザサービス管理部４１がユーザ端末装置４からのアクセスを処理するために実行するマイページアクセス制御処理の手順を示している。なお、ここでは、ユーザ端末装置４に予めユーザ端末用プログラムＰＧ３がダウンロードされ、そのプログラムＰＧ３の機能が利用されるものとして説明する。

【0082】

図２５のマイページ閲覧処理が開始されると、ユーザ端末装置４の閲覧制御部５４は、まず、２次元コード読取部５２を利用して、アーケード機３に表示されている２次元コードＣＤ１の読み取りを実施する（ステップＳ２０１）。次に、閲覧制御部５４は、ステップＳ２０１で読み取った２次元コードＣＤ１に埋め込まれているアクセス情報、すなわち試着画像Ｐ３等を含んだユーザデータＤ２の保存場所を指定してセンターサーバ２にアクセスを要求する（ステップＳ２０２）。

【0083】

一方、センターサーバ２のユーザサービス管理部４１は、ステップＳ２０２によるアクセス要求を受け取ると図２６のマイページアクセス制御処理を開始し、まずユーザ端末装置４からのアクセス内容を判別する（ステップＳ４０１）。次いで、ユーザサービス管理部４１は、ユーザ端末装置４から指定された場所に保存されているユーザデータＤ２がユーザ識別情報と対応付けられているか否かを判別する（ステップＳ４０２）。ユーザ識別情報との対応付けが存在しない場合、ユーザサービス管理部４１は、新規にユーザ識別情報を発行する（ステップＳ４０３）。この場合、ユーザ識別情報の発行に必要なユーザの個人情報の提供をユーザ端末装置４に対して要求し、その情報が得られたことを条件として識別情報が発行されるものとしてもよい。次に、ユーザサービス管理部４１は、新たに発行された識別情報とアクセス要求で指定された場所に保存されているユーザデータＤ２とを対応付ける（ステップＳ４０４）。その後、ユーザサービス管理部４１は、新規に発行した識別情報をユーザ端末装置４に送信する（ステップＳ４０５）。その後、ユーザサービス管理部４１は、ステップＳ２０２で要求されたユーザデータＤ２をユーザ端末装置４に対して閲覧用データとして送信する（ステップＳ４０６）。ステップＳ４０２にて対応付けがなされていると判断された場合、ユーザサービス管理部４１はステップＳ４０３〜Ｓ４０５の処理をスキップしてステップＳ４０６に進む。ステップＳ４０６の処理後、ユーザサービス管理部４１は図２６の処理を終える。

【0084】

一方、閲覧制御部５４は、図２５のステップＳ２０２でアクセスを要求した後、記憶装置５１にユーザ識別情報が保存されているか否か、言い換えれば既にユーザ識別情報が取得されているか否かを判別する（ステップＳ２０３）。識別情報が取得済であれば、閲覧制御部５４はステップＳ２０４に進み、センターサーバ２から２次元コードＣＤ１に対応する試着画像Ｐ３等のデータを取得し、これをマイページ画面２１２に表示させる（ステップＳ２０４）。一方、ステップＳ２０３にて、識別情報がまだ取得されていないと判断された場合、閲覧制御部５４はセンターサーバ２からの識別情報の通知を待ち、通知後は識別情報を取得して記憶装置５１に保存する（ステップＳ２０５）。その後、閲覧制御部５４はステップＳ２０４に進む。ステップＳ２０４の処理後、閲覧制御部５４は図２５の処理を終える。

【0085】

図２７は、ユーザが自己のユーザコーディネイト画像Ｐ１ａを投稿する際の処理の手順を示している。図２３のマイコーディネイト画面２２０が表示された状態でユーザが投稿ボタン２２４を操作すると、閲覧制御部５４は図２７の投稿処理を開始し、まず画面２２０上に表示されているユーザコーディネイト画像Ｐ１ａ（実際は修正画像Ｐ１ｂである。）が他人に対する素材画像Ｐ２の原画像として利用されることの許諾を求め、あるいはセンターサーバ２の管理者等の免責事項をユーザ端末装置４の表示装置を介してユーザに通知する（ステップＳ２１１）。この場合、ユーザに同意を求め、同意を拒む場合には以降の処理をスキップして評価対象画像Ｐ４の投稿を不可能としてもよい。

【0086】

次に、閲覧制御部５４は、投稿対象となるべきカテゴリをユーザに選択させる（ステップＳ２１２）。例えば、タグ情報に含まれている「カテゴリ」の項目に対する選択肢から投稿先のカテゴリをユーザに選択させる。次に、閲覧制御部５４は、投稿対象となるユーザコーディネイト画像Ｐ１ａによって追加されたタグ情報を取得する（ステップＳ２１３）。例えば、マイコーディネイト画面２２０のタグ追加ボタン２２３を選択操作することにより、ユーザはタグ情報を追加することができるため、ステップＳ２１３の処理時点までにユーザ端末装置４上で追加されたタグ情報を取得する。あるいは、ステップＳ２１３の時点でタグ情報の追加をユーザに要求してもよい。

【0087】

続くステップＳ２１４において、閲覧制御部５４は、ステップＳ２１２、Ｓ２１３で取得された情報に基づいて投稿データＤ３を生成する。図８及び図９に例示して説明したように、タグ情報に含まれる項目の幾つかはユーザが自ら指定するものとされているため、ここでは投稿対象となるべきユーザコーディネイト画像Ｐ１ａに対応するマイデータＤ２１に対して、ユーザが指定したカテゴリ等をタグ情報として追加することにより、投稿データＤ３を生成すればよい。投稿データＤ３の生成後、閲覧制御部５４は投稿データＤ３をセンターサーバ２に送信し（ステップＳ２１５）、その後、図２７の処理を終える。

【0088】

ユーザ端末装置４から投稿データＤ３が送信されると、センターサーバ２のユーザサービス管理部４１は図２７の投稿受付処理を開始し、まず受け取った投稿データＤ３の内容を確認し（ステップＳ４１１）、その投稿データＤ３を記憶部４２に保存する（ステップＳ４１２）。ここで保存された投稿データＤ３は各ユーザに公開され、評価対象となる。
なお、投稿データＤ３がセンターサーバ２に送信された後、センターサーバ２の管理者等が必要なタグ情報を追加するまで公開を保留してもよい。

【0089】

図２８は、評価対象画像Ｐ４をユーザが閲覧して評価する際の処理の手順を示している。ユーザがユーザ端末装置４に表示されているメニュー部２１３から「みんなのコーデ」を選択すると、閲覧制御部５４は図２８のコーディネイト評価処理を開始し、まず、センターサーバ２に対して、評価対象画像Ｐ４の閲覧に必要なデータを要求する（ステップＳ２２１）。これを受けて、センターサーバ２のユーザサービス管理部４１は図２８の評価記録処理を開始し、ユーザ端末装置４に対して、投稿データＤ３を閲覧用データとして提供する（ステップＳ４２１）。ユーザ端末装置４の閲覧制御部５４は、センターサーバ２から提供される閲覧用データを取得し（ステップＳ２２２）、その閲覧用データに含まれている評価対象画像Ｐ４をみんなのコーディネイト画面２３０に表示する（ステップＳ２２３）。一度に全ての画像Ｐ４を表示できないときは、ユーザのスクロール操作等に応じて画像Ｐ４を切り替えればよい。あるいは、コーディネイトのカテゴリ等を用いて、評価対象画像Ｐ４を絞り込んでから表示してもよい。

【0090】

次に、閲覧制御部５４は、ユーザに評価したい画像Ｐ４を選択させ（ステップＳ２２４）、選択された画像Ｐ４に対する評価をユーザから取得する（ステップＳ２２５）。この場合の評価は、一例として、上述したように、評価者としてのユーザに開放された項目に関してタグ情報を追加させ、あるいは、評価者としてのユーザが画像Ｐ４のコーディネイトを試着してみたいか否かを回答させるといった手法で行われてよい。次に、閲覧制御部５４は、評価した画像Ｐ４を指定して、その評価結果をセンターサーバ２に送信する（ステップＳ２２６）。その後、閲覧制御部５４は図２８の処理を終える。

【0091】

一方、センターサーバ２のユーザサービス管理部４１は、ユーザ端末装置４から評価結果を受け取ると、新たな評価データＤ４を生成してそのデータＤ４に評価結果を記録する（ステップＳ４２２）。上述したように、評価データＤ４の構造は図８に例示した投稿データＤ３と同様でよいが、記録すべき評価内容に応じて適宜にデータ構造が変更されてもよい。次いで、ユーザサービス管理部４１は、新たに生成された評価データＤ４の内容が、評価された画像Ｐ４に対応する分析データＤ５に反映されるように分析データＤ５を更新する（ステップＳ４２３）。例えば、タグ情報の「シーン」の項目に関して、評価者のユーザが「仕事」向きのコーディネイトであると指定した場合、分析データＤ５に記録されている「仕事」の評価回数に１を加算することにより、評価結果を分析データＤ５に反映させる。あるいは、評価者のユーザが「試着したい」と回答した場合、分析データＤ５に記録されている「試着したい」の回答数に１を加算することにより、評価結果を分析データＤ５に反映させる。ユーザサービス管理部４１は、ステップＳ４２３の処理を終えると、図２８の評価記録処理を終える。

【0092】

なお、評価データＤ４に記録された評価結果の分析データＤ５への反映は、上記のように評価データＤ４が作成される都度に行われてもよいが、一定の期間が経過する毎にバッチ処理として行われてもよい。この場合には、前回の処理時から今回の処理時までに作成された評価データＤ４を取得し、その評価データＤ４に記録された内容に従って分析データＤ５を更新すればよい。また、分析データＤ５から集計データＤ６への処理も同様にしてユーザサービス管理部４１により一定期間毎のバッチ処理として実行すればよい。

【0093】

図２９は、評価対象画像Ｐ４に対する評価を被評価者のユーザに閲覧させるための処理の手順を示している。ユーザ端末装置４に対してユーザが評価結果の表示を指示すると、閲覧制御部５４は図２９の評価情報閲覧処理を開始し、まずセンターサーバ２に対して自己が投稿した評価対象画像Ｐ４に対する評価情報の送信を要求する（ステップＳ２３１）。これを受けて、センターサーバ２のユーザサービス管理部４１は図２９の評価情報提供処理を開始し、ユーザ端末装置４から要求された評価情報を取得する（ステップＳ４３１）。評価情報としては、例えば、ユーザが投稿した評価対象画像Ｐ４に対応する分析データ５の情報、及び集計データＤ６における評価対象画像Ｐ４と関連する情報（一例として評価対象画像Ｐ４の順位等）である。評価情報を取得する場合、評価対象画像Ｐ４の原画像とされているユーザコーディネイト画像Ｐ１ａ（又は修正画像Ｐ１ｂ）の画像ＩＤ等を手掛かりとして評価情報が特定されてもよいし、被評価者のユーザ識別情報を利用して評価情報が特定されてもよい。

【0094】

ユーザサービス管理部４１は、要求された評価情報を取得すると、その評価情報をユーザ端末装置４に提供し（ステップＳ４３２）、その後、評価情報提供処理を終える。一方、ユーザ端末装置４の閲覧制御部５４は、センターサーバ２から提供された評価情報を取得し（ステップＳ２３２）、得られた情報をユーザに対して表示する（ステップＳ２３３）。例えば、閲覧制御部５４は、図２４のマイコーディネイト画面２２０における評価結果表示部２２５に分析データＤ５の内容に応じた評価結果を表示させ、マイ画像表示部２２１には集計データＤ６にて集計された順位などの情報を表示させることにより、評価情報をユーザに表示する。被評価者のユーザに対して評価結果が提示されることにより、被評価者としてのユーザは自己のコーディネイトが他人からどのように評価されているかを客観的に把握し、自己のコーディネイトの参考として利用することができる。

【0095】

次に、図３０を参照して、評価対象画像Ｐ４から素材候補画像Ｐ５を選択して素材データＤ１１を追加するためにセンターサーバ２のユーザサービス管理部４１が実行する素材データ追加処理の手順を説明する。図３０の素材データ追加処理は、一定期間毎に繰り返し実行される処理である。ユーザサービス管理部４１は、図３０の処理を開始すると、まず、集計データＤ６を参照して、素材データＤ１１の候補となるべき評価対象画像Ｐ４を選択するために必要な評価情報を取得する（ステップＳ５０１）。例えば、ユーザが「試着してみたい」と回答した数が画像Ｐ４毎に集計され、そのランキングが集計データＤ６に保存されてユーザに集計結果が公開されている場合において、ランキングで上位に位置付けられている評価対象画像Ｐ４を候補として選択したいときには、集計データＤ６に記録されているランキング情報が評価情報として取得される。

【0096】

評価情報の取得後、ユーザサービス管理部４１は、所定の条件を満たす評価対象画像Ｐ４を選択する（ステップＳ５０２）。この場合の条件は、相対的に高い評価が得られている評価対象画像Ｐ４が選択されるように設定される。例えば、ランキングにて一定以上の順位を獲得している画像Ｐ４が選択されるように条件が設定される。条件は、投稿データＤ３にタグ情報の一部として記録されたカテゴリ毎に設定されてもよい。その他にも、タグ情報のシーンの項目に用意された各選択肢（図９参照）に関して、評価数が多い順に所定数の画像Ｐ４が選択されるように条件が設定されてもよい。この場合には、評価データＤ４に基づいて、各評価対象画像Ｐ４のシーンの項目に関する選択肢別の評価数を集計して分析データＤ５に記録し、その分析データＤ５を参照してシーンの項目の選択肢毎の評価数を大小比較して選択別の評価数ランキングを集計データＤ６に記録しておくことにより、集計データＤ６から適切な画像Ｐ４を選び出すことができる。

【0097】

続いて、ユーザサービス管理部４１は、ステップＳ５０２で選択された画像Ｐ４に対応する素材候補データＤ７を生成する（ステップＳ５０３）。この場合、評価対象画像Ｐ４は修正画像Ｐ１ｂに対応するため、素材候補画像Ｐ５もユーザの顔部分に対して個人の特定が困難となる加工が施されたものとなる（図２参照）。その素材候補画像Ｐ５とタグ情報等とが対応付けて記録されることにより素材候補データＤ７が生成される。なお、素材候補画像Ｐ５と対応付けられるポーズ情報ＩＰとしては、評価対象画像Ｐ４の元となるユーザの画像Ｐ１がアーケード機３にて撮影されたときに動作検出装置１３が検出したポーズ情報が記録されてもよいが、これに代えて、又は加えて試着画像Ｐ３を合成する際の素材画像Ｐ２に対応付けられたポーズ情報（基本ポーズ情報）が記録されてもよい。例えば、図２０のステップＳ１０４でポーズが一定レベル以上合致すると判断された際に撮影されたユーザの画像Ｐ１から評価対象画像Ｐ４が生成される場合、その画像Ｐ１の撮影時点で動作検出装置１３により検出されるユーザのポーズは、合成されるべき素材画像Ｐ２の人物モデルのポーズと近似するものの必ずしも同一ではない。この場合、ユーザ自身のポーズ情報を素材候補画像Ｐ５に対応するポーズ情報ＩＰとして記録すると、その素材候補画像Ｐ５を素材画像Ｐ２として利用する際のポーズ情報ＩＰは、合成の元となった素材画像Ｐ２の人物モデルのポーズ情報と幾らか相違することになる。このような相違が累積されると、図３０の処理で作成される素材データＤ１１のポーズが、当初の素材データＤ１１における人物モデルのポーズ情報から徐々に離れるおそれがある。このような変化を防止するためには、合成対象であった素材画像Ｐ２に対応するポーズ情報ＩＰを素材候補画像Ｐ５に対応するポーズ情報ＩＰとして記録すればよい。その場合、図１６のステップＳ６４で表示されるポーズ画像ＰＰは、試着画像Ｐ３の合成で用いられた素材画像Ｐ２に対応するポーズ情報ＩＰに基づいて表示され、かつ図２０のステップＳ１０４でも、試着画像Ｐ３の合成で用いられた素材画像Ｐ２に対応するポーズ情報ＩＰに基づいてユーザのポーズの適否が判断されることになる。また、ステップＳ５０３の段階では、分析データＤ５等に従ってタグ情報の追加、修正等が行われてもよい。例えば、分析データＤ５に従って画像Ｐ４がユーザからどのような評価を得ているかを判別し、より多くのユーザが指定した内容へとタグ情報の各項目が変更されてもよい。素材候補データＤ７の生成後、ユーザサービス管理部４１は、得られた素材候補データＤ７を素材データＤ１１として素材データベースＤＢ１（図２）に追加する（ステップＳ５０４）。この後、ユーザサービス管理部４１はあ図３０の処理を終える。素材データベースＤＢ１に追加された素材データＤ１１は、センターサーバ２の管理者等によって予め用意された素材データＤ１１と同様にアーケード機３に提供され、ユーザの利用に供される。

【0098】

図３０の処理によれば、ユーザにより相対的に高い評価を得た評価対象画像Ｐ４に関して、その原画像として撮影されたユーザの画像Ｐ１に基づいて素材画像Ｐ２を生成し、これを他のユーザに利用させることができる。服装のコーディネイトは実質的に無数に存在するため、素材データＤ１１の全てをセンターサーバ２の管理者等が予め用意し、あるいは管理者等が素材データＤ１１を漸次追加するだけでは、多種多様なユーザの要求に対応することは困難であり、管理者等に多大な作業負担を強いる。これに対して、図３０の処理を行うことにより、ユーザから相対的に高い評価を得たコーディネイトの画像Ｐ１に基づいて素材データＤ１１を漸次増加させることができる。これにより、管理者等の負担を軽減しつつ、多種多様なユーザの好みや要望に広く適合するようにシステム１を漸次改善させることができる。

【0099】

以上に説明したように、本形態の試着疑似体験システム１によれば、ユーザに対して複数の素材画像Ｐ２のそれぞれにおける人物モデルのポーズに対応するポーズ画像ＰＰが演出要素としての曲の再生や装飾画像ＰＤの表示と同期させつつ、所定の時間間隔を空けて順次画像が切り替わるように表示され、それらのポーズ画像ＰＰに合わせてユーザがポーズを取りながら撮影が繰り返される。したがって、ユーザに対して、演出に乗りながら複数のコーディネイトを順次着替えつつ撮影に臨むような感覚を与えることができる。そして、表示装置１１によって表示出力され、あるいはプリンタ７によって印刷出力され、さらにはセンターサーバ２に送信出力された各種の試着画像Ｐ３をユーザが視認することにより、ユーザは様々なコーディネイトを試した感覚を味わうことができる。これにより、服装のコーディネイトに関するユーザのニーズを大いに満たすことが可能である。試着プレイ中の演出とポーズ画像ＰＰの順次的な切替表示との相乗効果により試着プレイをリズミカルに、あるいはテンポよく進めることができ、娯楽的作用も高い。しかも、短時間で複数の試着画像Ｐ３を順次生成するので、業務用端末装置であるアーケード機３を特定のユーザに長時間占有させることがなく、アーケード機３の利益率を損なうおそれもない。

【0100】

ユーザの画像Ｐ１をポーズ画像ＰＰとともに表示することにより、演出効果との相乗により、素材画像Ｐ２の人物モデルを真似てポーズを取るような所作をユーザが行う雰囲気を作り出し、それにより試着プレイの興趣を高めることが可能である。しかも、顔画像の合成にあたっては、顔向きが異なる顔画像を逐次記録し、素材画像Ｐ２の顔向きに最も近い画像を合成対象画像として選び出しているので、合成による不自然さの発生も抑えることができる。それにより、質の高い試着画像Ｐ３をユーザに提供し、それによりシステム１の興趣をさらに高めることができる。合成対象画像として選択された顔画像Ｐｆの向きを素材画像Ｐ２の顔向きに合わせるように補正した上で合成を行うことにより、さらに自然に近い試着画像Ｐ３を合成することができ、顔輪郭等のブレンド処理によってさらにその効果を高めることができる。ユーザがポーズを合わせようとしている間にユーザを繰り返し撮影して顔画像Ｐｆを顔向き毎に記録しているので、様々な向きの顔画像を記録することが可能であり、それにより試着画像Ｐ３の不自然さを抑える効果をさらに高めることが可能である。ポーズが合っていない場合には、図１２の画面１３０に例示したようにユーザに指示が与えられ、それにより、ユーザの動作を誘って顔向きが異なる画像の蓄積をさらに容易かつ確実に行い、ひいては試着画像Ｐ３の合成の品質を高められる。

【0101】

一方で、シャッタタイミングを素材画像毎に設定し、これを図１７〜図１９に例示した手法でユーザに案内しているので、カメラ１２の撮影位置といった表示面外の目標位置に目線を向けた画像を取得できる可能性を高めることができる。これにより、目線が目標位置からずれた試着画像Ｐ３が生成されるおそれを低減し、試着画像Ｐ３に対するユーザの満足感を高めることができる。

【0102】

さらに、合成用の顔画像の取得と併行してユーザ自身の画像Ｐ１を取得してこれをサーバ側にユーザコーディネイト画像Ｐ１ａとして保存し、ユーザの投稿を経て多くのユーザにコーディネイトを評価させ、その評価をユーザにフィードバックすることができる。それにより、コーディネイトを楽しむことだけでなく、自己のコーディネイトに対する他人の評価をユーザに把握させ、それにより、コーディネイトに関するユーザのセンスを磨き、あるいは知識を深める機会をユーザに提供することもできる。さらに、ユーザ間で相対的に評価が高いコーディネイトの画像Ｐ１ａに対応する素材画像Ｐ２を生成し、これを他のユーザの利用に供することを可能としているため、素材画像Ｐ２を効率的に追加補充し、コーディネイトに関するユーザの様々な趣向に応えられるようにシステム１を漸次改善することができる。

【0103】

本発明は上述した形態に限定されることなく、種々の変形が可能である。以下、順に説明する。まず、上記の形態では、ユーザの顔の画像を素材画像における人物モデルの顔の向きと合せるように補正し、補正後の顔の画像を素材画像と合成するという２段階の処理を採用したが、顔画像の補正は必ずしも必要ではない。許容される不自然さのレベルによっては、顔向きのずれが最も小さい顔の画像を合成対象画像として選択し、これを顔向きの補正なしで合成するだけでも、十分な品質の合成画像が得られる場合がある。そのような場合は、補正処理が省略されてもよい。ブレンド処理も必要な限度で実施すれば足り、ユーザの顔の画像と素材画像との状況によってはブレンド処理が省略されてもよい。

【0104】

上記の形態では、ユーザの撮影をカメラ１２にて実施する一方で、ユーザの顔向きの検出を動作検出装置１３を用いて行なっているが、カメラ１２が撮影した画像から顔向きを検出することが可能であれば、動作検出装置１３が省略されてもよい。あるいは、動作検出装置１３それ自体がカメラを含んでいる場合には、そのカメラが撮影手段として兼用されてもよい。

【0105】

上記の形態では、試着画像Ｐ３を生成するためのアーケード機３を本発明における画像合成装置の一例として取り上げたが、本発明はそのような例に限らず、ユーザを撮影して得られる顔の画像を素材画像の人物モデルの顔部分に合成する限り、合成画像を得る目的を問わず広く適用できるものである。本発明に係る画像合成装置は、業務用端末装置の少なくとも一部として構成される例に限らない。例えば、ユーザ端末装置４を利用して本発明に係る画像合成装置が構成されてもよい。一方、本発明の画像合成装置は、サーバクライアント型のシステムとして構成されてもよい。例えば、ユーザの撮影手段及び表示手段といったクライアント側に必須のハードウエアのみをクライアントに設け、それらの制御をサーバ側で実施することにより、いわゆるシンクライアント型システムとして本発明に係る画像合成装置が構成されてもよい。あるいは、業務用端末装置を含めることなく、サーバとユーザ端末装置とによって画像合成装置システムが構築されてもよい。例えば、カメラ１２および動作検出装置１３の有する機能（以下、本段落においてこれらを「カメラ機能」と称す）を備えたユーザ端末装置あるいはカメラ機能と接続してカメラ機能から撮像画像等の情報を取得できるようにしたユーザ端末装置を、アーケード機３の代わりに用いることで、例えば自宅等のアーケード機３が設置しにくい場所であっても、画像合成装置を構築することができるようになる。

【0106】

上述した実施の形態及び変形例のそれぞれから導き出される本発明の各種の態様を以下に記載する。なお、以下の説明では、本発明の各態様の理解を容易にするために添付図面の参照符号を括弧書にて付記するが、それにより本発明が図示の形態に限定されるものではない。

【0107】

本発明の一態様に係る画像合成装置（３）は、人物モデルが記録された素材画像（Ｐ２）を、前記人物モデルの顔の向きを特定する顔向き情報と対応付けて記憶する記憶手段（３１）と、ユーザを撮影する撮影手段（１２）と、前記ユーザの少なくとも顔を含む画像（Ｐ１）が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段（３２、Ｓ２１、Ｓ３１、Ｓ７３）と、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段（３２、Ｓ３３）と、前記顔向き判別手段の判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像（Ｐｆ）を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する画像選択手段（３２、Ｓ１０５、Ｓ１０６）と、前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像（Ｐ３）を生成する合成手段（３２、Ｓ１０７〜Ｓ１１０）と、を備えたものである。

【0108】

本発明の一態様に係る画像合成方法は、撮影手段（１２）によって撮影されたユーザの顔の画像（Ｐｆ）と、人物モデルが記録された素材画像（Ｐ２）とを、前記素材画像に対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつ合成する画像合成方法であって、前記ユーザの少なくとも顔を含む画像が繰り返し撮影されるように前記撮影手段を制御する手順（Ｓ２１、Ｓ３１、Ｓ７３）と、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する手順（Ｓ３３）と、前記顔の向きを判別する手順における判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する手順（Ｓ１０５、Ｓ１０６）と、前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像（Ｐ３）を生成する手順（Ｓ１０７〜Ｓ１１０）と、を備えたものである。

【0109】

本発明の一態様に係るコンピュータプログラム（ＰＧ１）は、撮影手段（１２）によって撮影されたユーザの顔の画像（Ｐｆ）と、人物モデルが記録された素材画像（Ｐ２）とを、前記素材画像と対応付けられた、前記人物モデルの顔の向きを特定する顔向き情報を参照しつつコンピュータ（３０）により合成するためのコンピュータプログラムであって、前記コンピュータを、前記ユーザの少なくとも顔を含む画像（Ｐ１）が繰り返し撮影されるように前記撮影手段を制御する撮影制御手段（３２、Ｓ２１、Ｓ３１、Ｓ７３）、前記撮影手段にて撮影されたときのユーザの顔の向きを判別する顔向き判別手段（３２、Ｓ３３）、前記顔向き判別手段の判別結果と前記素材画像に対応する顔向き情報とに基づいて、前記素材画像との合成に適したユーザの顔の画像を、前記撮影手段が撮影したユーザの複数の画像から合成対象画像として選択する画像選択手段（Ｓ３２、Ｓ１０５、Ｓ１０６）、及び前記合成対象画像と前記素材画像とに基づいて、前記素材画像の顔の部分にユーザの顔の画像を合成した合成画像（Ｐ３）を生成する合成手段（３２、Ｓ１０７〜Ｓ１１０）、として機能させるように構成されたものである。

【0110】

本発明の各態様によれば、ユーザが繰り返し撮影される間にユーザの顔が動くため、顔向きが異なる多数の顔の画像を取得することができる。ユーザが撮影されたときの顔の向きが判別されるため、ユーザの顔の画像と顔の向きとを対応付けることもできる。さらに、ユーザの顔の向きと素材画像における人物モデルの顔の向きとを対比することにより、合成に適した顔の向きを有する顔の画像、例えば、素材画像における人物モデルの顔の向きとのずれが相対的に小さい顔の向きを有するユーザの顔の画像、あるいは顔の向きのずれが最も小さくなる顔の画像を合成対象画像として選択することができる。したがって、選択された合成対象画像と素材画像とに基づいて素材画像の顔の部分に顔の画像を合成すれば、合成時に発生し得る不自然さを抑え、なるべく自然な合成画像を得ることができる。

【0111】

なお、本発明の一態様に係るコンピュータプログラムは、記憶媒体に記憶された状態で提供されてもよい。この記憶媒体を用いれば、例えばコンピュータに本発明に係るコンピュータプログラムをインストールして実行することにより、そのコンピュータを利用して本発明のゲームシステムを実現することができる。コンピュータプログラムを記憶した記憶媒体は、ＣＤＲＯＭ等の非一過性の記憶媒体であってもよい。

【0112】

本発明の一態様において、前記画像選択手段は、前記ユーザの複数の画像から、前記素材画像に対応する顔向き情報にて特定される顔の向きに対するユーザの顔の向きのずれが相対的に小さい顔の画像を前記合成対象画像として選択してもよい。これにより、顔の向きのずれに起因する合成画像の不自然さを抑える上で有利な顔の画像を選択することができる。

【0113】

本発明の一態様において、前記合成手段は、前記画像選択手段が選択した合成対象画像における顔の向きと前記素材画像に対応する顔向き情報にて特定される前記人物モデルの顔の向きとのずれが減少するように前記選択手段が選択した顔の画像の向きを補正する画像補正手段（３２、Ｓ３４、Ｓ１０８）と、補正された顔の画像を前記素材画像の顔の部分に合成する合成実行手段（３２、Ｓ１０９、Ｓ１１０）と、をさらに備えていてもよい。これによれば、合成に適した画像として選択された顔の画像を、顔の向きがずれが減少するように補正してから素材画像と合成するため、合成画像の不自然さをより抑えることができる。

【0114】

さらに、前記画像補正手段は、前記合成対象画像におけるユーザの顔の向きが前記素材画像に対応する顔向き情報にて特定される前記人物モデルの顔の向きと合うように前記合成対象画像におけるユーザの顔の向きを補正してもよい。これによれば、画像選択手段が、顔の向きが一致するように向きが補正されるので、合成画像の不自然さをさらに抑えることができる。

【0115】

また、前記画像補正手段は、前記合成対象画像におけるユーザの顔の画像に応じたメッシュモデル（ＭＭ）を生成し（Ｓ３４）、該メッシュモデルを構成する多数の小領域（ＳＡ）の座標を前記合成対象画像における顔の向きと前記人物モデルの顔の向きとのずれに応じて補正することにより、前記ユーザの顔の向きを補正してもよい。これにより、ユーザの顔の画像が仮想的に回転して顔の向きが一致するように補正を施すことができる。それにより、なるべく自然な合成画像をより確実に生成することができる。

【0116】

本発明の一態様において、前記合成実行手段は、前記ユーザの顔の画像と前記素材画像との境界部分にて、顔の輪郭、前髪及び肌色の少なくとも一つの要素を対象としてブレンド処理を施すようにしてもよい（Ｓ１１０）。顔の輪郭、前髪、肌色の要素については、ユーザと人物モデルとの間で差が生じ易いため、これらの少なくとも一つに関してブレンド処理を施すことにより、境界部分での差を目立たなく処理し、より自然に近い合成画像を生成することが可能である。

【0117】

本発明の一態様において、前記記憶手段が記憶する素材画像は、前記人物モデルの顔部分が消去された画像であってもよい。これによれば、人物モデルの目や鼻等を合成時に処理する必要がなく、画像合成の手間を軽減することができる。

【符号の説明】

【0118】

１ 試着疑似体験システム
２ センターサーバ
３ アーケード機（業務用端末装置）
４ ユーザ端末装置
５ ネットワーク
７ プリンタ
１１ 表示装置（表示手段）
１１ａ 表示面
１２ カメラ
１３ 動作検出装置
３０ 制御ユニット
３１ 記憶装置
３２ プレイ制御部
４０ アーケードサービス管理部
４１ ユーザサービス管理部
４２ 記憶部
５０ 制御ユニット
５１ 記憶装置
５４ 閲覧制御部
１５０ カメラアイコン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】