特許 7560711 画像処理装置、画像処理方法及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-25

(45)【発行日】2024-10-03

(54)【発明の名称】画像処理装置、画像処理方法及び画像処理プログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20240926BHJP

   G03B 17/53 20210101ALI20240926BHJP

   H04N 5/222 20060101ALI20240926BHJP

   G06T 7/00 20170101ALI20240926BHJP

【ＦＩ】

G06T1/00 340A

G03B17/53

H04N5/222 500

G06T7/00 660A

【請求項の数】 9

(21)【出願番号】P 2019166395

(22)【出願日】2019-09-12

(65)【公開番号】P2021043797

(43)【公開日】2021-03-18

【審査請求日】2022-09-02

(73)【特許権者】

【識別番号】307010096

【氏名又は名称】フリュー株式会社

(74)【復代理人】

【識別番号】100129791

【弁理士】

【氏名又は名称】川本 真由美

(74)【復代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(74)【代理人】

【識別番号】100101454

【弁理士】

【氏名又は名称】山田 卓二

(74)【代理人】

【識別番号】100111039

【弁理士】

【氏名又は名称】前堀 義之

(72)【発明者】

【氏名】小林 潤一

(72)【発明者】

【氏名】鈴木 卓麻

(72)【発明者】

【氏名】重松 真衣子

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０１６－１１０４１６（ＪＰ，Ａ）

【文献】特開２００６－１６３８７１（ＪＰ，Ａ）

【文献】特開２０１４－１３１１６０（ＪＰ，Ａ）

【文献】特開２００５－２２８０７６（ＪＰ，Ａ）

【文献】特開２０１９－０１３０１３（ＪＰ，Ａ）

【文献】国際公開第２０１９／０１４６４６（ＷＯ，Ａ１）

【文献】特開２００５－０３１９９０（ＪＰ，Ａ）

【文献】Jinpeng Lin et al.，Face Parsing with RoI Tanh-Warping，2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)，米国，IEEE，2019年06月15日，pp.5647-5656

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０３Ｂ １７／５３

Ｈ０４Ｎ ５／２２２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

利用者を撮影し、画像データを生成する撮影部と、
前記画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出する抽出部と、
前記第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成する生成部と、
前記画像データの前記第２の領域に対して定められる方法で処理する画像処理部と、
を備え、
前記抽出部は、前記第１の領域を、前記顔の所定部位の輪郭を１つ以上の領域の組み合わせで抽出可能であって、前記利用者の目について、黒目の領域と白目の領域を分けて、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかを抽出し、
前記生成部は、前記１つ以上の各領域のそれぞれから選択された少なくとも一部を含む領域を、組み合わせて前記第２の領域として生成可能であって、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかに対応する前記第２の領域を生成し、
前記画像処理部は、黒目の前記第２の領域に対し黒目用の処理を実行し、白目の前記第２の領域に対し白目用の処理を実行し、
前記第２の領域は、サイズ又は色の少なくともいずれかを変更するのに好ましい範囲である
写真シール作成装置。

【請求項2】

利用者を撮影し、画像データを生成する撮影部と、
前記画像データから、セマンティックセグメンテーションを用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出する抽出部と、
前記第１の領域を用いて、当該第１の領域を少なくとも一部を含む第２の領域を生成する生成部と、
前記画像データの前記第２の領域に対して定められる方法で処理する画像処理部と、
を備え、
前記抽出部は、前記第１の領域を、前記顔の所定部位の輪郭を１つ以上の領域の組み合わせで抽出可能であって、前記利用者の目について、黒目の領域と白目の領域を分けて、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかを抽出し、
前記生成部は、前記少なくとも１つ以上の各領域のそれぞれから選択された一部を含む領域を、組み合わせて前記第２の領域として生成可能であって、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかに対応する前記第２の領域を生成し、
前記画像処理部は、黒目の前記第２の領域に対し黒目用の処理を実行し、白目の前記第２の領域に対し白目用の処理を実行し、
前記第２の領域は、サイズ又は色の少なくともいずれかを変更するのに好ましい範囲である
写真シール作成装置。

【請求項3】

前記抽出部は、前記利用者の口について、上唇と、下唇と、唇以外との前記第１の領域を抽出し、
前記生成部は、前記各第１の領域に対応する前記第２の領域を生成し、
前記画像処理部は、上唇の第２の領域に対し上唇用の処理、下唇の第２の領域に対し下唇用の処理を実行する
請求項１又は２に記載の写真シール作成装置。

【請求項4】

前記第２の領域のうち上唇と下唇の領域は、口紅を塗るのに好ましい範囲である
請求項３に記載の写真シール作成装置。

【請求項5】

前記抽出部は、さらに、睫毛の前記第１の領域を抽出し、
前記生成部は、睫毛の前記第１の領域に対応する第２の領域を生成し、
前記画像処理部は、睫毛の前記第２の領域に対し睫毛用の処理を実行する
請求項１乃至４のいずれか１に記載の写真シール作成装置。

【請求項6】

前記生成部は、予め生成された学習データを用いて学習された機械学習モデルを使用して第２の領域を生成する
請求項１乃至５のいずれか１に記載の写真シール作成装置。

【請求項7】

処理された画像データをシール紙にプリントする印刷処理部をさらに備える
請求項１乃至６のいずれか１に記載の写真シール作成装置。

【請求項8】

利用者を撮影し、画像データを生成するステップと、
前記画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出するステップと、
前記第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成するステップと、
前記画像データの前記第２の領域に対して定められる方法で処理するステップと、
を有し、
前記第１の領域を抽出するステップは、前記第１の領域を、前記顔の所定部位の輪郭を１つ以上の領域の組み合わせで抽出可能であって、前記利用者の目について、黒目の領域と白目の領域を分けて、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかを抽出し、
前記生成するステップは、前記１つ以上の各領域のそれぞれから選択された少なくとも一部を含む領域を、組み合わせて、前記第２の領域として生成可能であって、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかに対応する前記第２の領域を生成し、
前記処理するステップは、黒目の前記第２の領域に対し黒目用の処理を実行し、白目の前記第２の領域に対し白目用の処理を実行し、
前記第２の領域は、サイズ又は色の少なくともいずれかを変更するのに好ましい範囲である
写真シール作成方法。

【請求項9】

コンピュータを、
利用者を撮影し、画像データを生成する撮影部と、
前記画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出する抽出部と、
前記第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成する生成部と、
前記画像データの前記第２の領域に対して定められる方法で処理する画像処理部と、
して機能させ、
前記抽出部は、前記第１の領域を、前記顔の所定部位の輪郭を１つ以上の領域の組み合わせで抽出可能であって、前記利用者の目について、黒目の領域と白目の領域を分けて、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかを抽出し、
前記生成部は、前記１つ以上の各領域のそれぞれから選択された少なくとも一部を含む領域を、組み合わせて、前記第２の領域として生成可能であって、黒目の前記第１の領域および白目の前記第１の領域の少なくともいずれかに対応する前記第２の領域を生成し、
前記画像処理部は、黒目の前記第２の領域に対し黒目用の処理を実行し、白目の前記第２の領域に対し白目用の処理を実行し、
前記第２の領域は、サイズ又は色の少なくともいずれかを変更するのに好ましい範囲である
画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影した画像に写る顔の特定の部位を処理する画像処理装置、画像処理方法及び画像処理プログラムに関する。

【背景技術】

【0002】

従来、撮影した画像に所定の画像処理を行い、ユーザに提供する写真シール作成装置が知られている。具体的には、唇の部分を認識し、唇画像に対して、画像処理を施すものがある。（例えば、特許文献１参照）。

【0003】

特許文献１には、例えば、顔画像の中の下側の領域内に存在する所定の色の領域を唇として認識し、認識された唇の部分に対応するマスク画像を生成し、唇画像を生成することが記載される。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第５５４９７２７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１においては、位置や色によって唇部分を特定するため、顔の向き、唇の色、赤いニキビの存在、障害物の存在等によっては、唇を正確に特定できないおそれがあった。また、例えば、眼鏡を着用する等により、目を正確に特定できない等、他の部分についても正確に特定できないおそれがあった。

【0006】

本発明は、以上のような課題を解決し、処理対象とする利用者の特定の領域を特定して利用者にとって好ましい画像処理を施す画像処理装置、画像処理方法及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る画像処理装置の第１の態様は、利用者を撮影し、画像データを生成する撮影部と、画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出する抽出部と、第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成する生成部と、画像データの前記第２の領域に対して定められる方法で処理する画像処理部とを備える。

【0008】

これにより、処理対象とする利用者の特定の領域を特定して利用者にとって好ましい画像処理を施すことができる。

【0009】

本発明に係る画像処理装置の第２の態様は、利用者を撮影し、画像データを生成する撮影部と、画像データから、セマンティックセグメンテーションを用いて利用者の顔の所定部位の輪郭領域である領域を抽出する抽出部と、第１の領域を用いて、当該第１の領域を少なくとも一部を含む第２の領域を生成する生成部と、画像データの前記第２の領域に対して定められる方法で処理する画像処理部とを備える。

【0010】

これにより、処理対象とする利用者の特定の領域を特定して利用者にとって好ましい画像処理を施すことができる。

【0011】

抽出部は、利用者の口について、上唇と、下唇と、唇以外との第１の領域を抽出し、生成部は、各第１の領域に対応する第２の領域を生成し、画像処理部は、上唇の領域に対し上唇用の処理、下唇の領域に対し下唇用の処理を実行してもよい。

【0012】

これにより、利用者の口について領域を特定し、利用者にとって好ましい画像処理を施すことができる。

【0013】

抽出部は、唇以外の第１の領域として、舌、歯、歯肉又は粘膜の少なくともいずれかを抽出し、生成部は、各第１の領域に対応する第２の領域を生成し、画像処理部は、生成部が生成した領域毎の処理を実行してもよい。

【0014】

これにより、利用者の口の内部について領域を特定し、利用者にとって好ましい画像処理を施すことができる。

【0015】

第２の領域のうち上唇と下唇の領域は、口紅を塗るのに好ましい範囲とすることができる。

【0016】

これにより、利用者の口の美観について、利用者にとって好ましい画像処理を施すことができる。

【0017】

抽出部は、利用者の目について、黒目の第１の領域を抽出し、生成部は、黒目の第１の領域に対応する第２の領域を生成し、画像処理部は、黒目の第２の領域に対し黒目用の処理を実行してもよい。

【0018】

これにより、利用者の黒目について領域を特定し、利用者にとって好ましい画像処理を施すことができる。

【0019】

抽出部は、利用者の目について、白目の第１の領域を抽出し、生成部は、白目の第１の領域に対応する第２の領域を生成し、画像処理部は、白目の領域に対し白目用の処理を実行してもよい。

【0020】

これにより、利用者の白目について領域を特定し、利用者にとって好ましい画像処理を施すことができる。

【0021】

第２の領域は、サイズ又は色の少なくともいずれかを変更するのに好ましい範囲とすることができる。

【0022】

これにより、利用者の目の美観について、利用者にとって好ましい画像処理を施すことができる。

【0023】

抽出部は、さらに、睫毛の第１の領域を抽出し、生成部は、睫毛の第１の領域に対応する第２の領域を生成し、画像処理部は、睫毛の第２の領域に対し睫毛用の処理を実行してもよい。

【0024】

これにより、利用者の睫毛について領域を特定し、利用者にとって好ましい画像処理を施すことができる。

【0025】

生成部は、予め生成された学習データを用いて学習された機械学習モデルを使用して第２の領域を生成してもよい。

【0026】

これにより、生成された領域に対して画像処理することで、利用者にとって好ましい画像処理をすることができる。

【0027】

画像処理装置は、処理された画像データをシール紙にプリントする印刷処理部をさらに備えてもよい。

【0028】

これにより、画像処理された画像データをシール紙として提供することができる。

【0029】

本発明に係る画像処理方法の第１の態様は、利用者を撮影し、画像データを生成するステップと、画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出するステップと、第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成するステップと、画像データの第２の領域に対して定められる方法で処理するステップとを有する。

【0030】

これにより、処理対象とする利用者の特定の領域を特定して利用者にとって好ましい画像処理を施すことができる。

【0031】

本発明に係る画像処理プログラムの第１の態様は、コンピュータを、利用者を撮影し、画像データを生成する撮影部と、画像データから、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域である第１の領域を抽出する抽出部と、第１の領域を用いて、当該第１の領域の少なくとも一部を含み、画像処理対象として特定される第２の領域を生成する生成部と、画像データの第２の領域に対して定められる方法で処理する画像処理部として機能させる。

【0032】

これにより、処理対象とする利用者の特定の領域を特定して利用者にとって好ましい画像処理を施すことができる。

【発明の効果】

【0033】

本発明によれば、処理対象とする利用者の特定の領域を特定して画像処理を施すことができる。

【図面の簡単な説明】

【0034】

【図1】本発明の一実施形態である写真シール作成装置の斜視図である。

【図2】写真シール作成装置の斜視図である。

【図3】写真シール作成ゲーム中の利用者の空間移動を説明するための図である。

【図4】事前選択部の正面図である。

【図5】撮影部の正面図である。

【図6】背景部の撮影空間側の正面図である。

【図7】編集ユニットの編集空間側の正面図である。

【図8】編集ユニットの左側面図である。

【図9】写真シール作成装置の内部構成を示すブロック図である。

【図10】写真シール作成装置の機能ブロックを示すブロック図である。

【図11】写真シール作成装置における口部分の領域抽出を説明する画像例である。

【図12】写真シール作成装置における目部分の領域抽出を説明する画像例である。

【図13】写真シール作成装置で撮影される特徴的な口部分の画像の一例である。

【図14】写真シール作成装置で撮影される特徴的な口部分の画像の他の例である。

【図15】写真シール作成装置で撮影される特徴的な口部分の画像の他の例である。

【図16】写真シール作成装置で撮影される特徴的な口部分の画像の他の例である。

【図17】写真シール作成装置で撮影される特徴的な目部分の画像の一例である。

【図18】写真シール作成装置で撮影される特徴的な目部分の画像の他の例である。

【図19】写真シール作成装置で撮影される特徴的な目部分の画像の他の例である。

【図20】写真シール作成装置で撮影される特徴的な目部分の画像の他の例である。

【図21】写真シール作成装置による写真シール作成ゲームに関する一連の動作を示すフローチャートである。

【図22】合成処理の詳細を示すフローチャートである。

【図23】編集処理で利用される編集画面の一例である。

【発明を実施するための形態】

【0035】

以下、本発明の具体的な実施の形態について添付の図面を参照しながら説明する。なお、同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、また、長さ、奥行および幅などの寸法は、実際の形状および寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。

【0036】

本発明に係る画像処理装置を、一例である写真シール作成装置として説明する。本発明を適用する写真シール作成装置は、撮影や編集等を利用者にゲームとして行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供するゲーム装置である。写真シール作成装置１は、例えば、ゲームセンタ、ショッピングモールおよび観光地の店舗等に設置される。

【0037】

写真シール作成装置が提供するゲームにおいて、利用者は、写真シール作成装置に設けられたカメラを用いて自分自身等を撮影する。利用者は、その撮影画像に対して、前景画像および／または背景画像を合成したり、また、編集用合成用画像としてのペン画像入力やスタンプ画像入力等の編集機能（落書き編集機能）を用いたりして編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。または、写真シール作成装置は編集した画像を利用者の携帯端末に提供し、利用者は携帯端末により成果物を受け取ることもできる。

【0038】

（写真シール作成装置の構成）
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置１の利用者は、主に女子中学生および女子高校生などの若い女性が中心とされる。写真シール作成装置１において、１組当たり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。

【0039】

写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が華やかな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。

【0040】

図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。

【0041】

撮影ユニット１１は、事前選択操作部２０、撮影操作部２１、および背景部２２から構成される。事前選択操作部２０は、撮影操作部２１の側面に設置される。事前選択操作部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影操作部２１と背景部２２は所定の距離だけ離れて設置される。撮影操作部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。

【0042】

事前選択操作部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を利用者に選択させるための処理を行ったりする。事前選択操作部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択操作部２０は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。

【0043】

撮影操作部２１は、利用者を被写体として撮影するための装置である。撮影操作部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影操作部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影操作部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影操作部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択操作部２０が設置されるものとする。なお、事前選択操作部２０は、側面パネル４１Ｂに設置されるようにしてもよいし、側面パネル４１Ａ，４１Ｂの両方に設置されるようにしてもよい。

【0044】

背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。

【0045】

側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。

【0046】

なお、背面パネル５１の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置１は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、利用者が所望する背景画像がシートの部分に合成される。

【0047】

側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。

【0048】

撮影空間の上方には、撮影操作部２１の正面、連結部２３Ａ、および連結部２３Ｂに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット２４が設けられる。天井ストロボユニット２４の一端が連結部２３Ａに固定され、他端が連結部２３Ｂに固定される。天井ストロボユニット２４は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット２４の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット２４は、撮影空間の照明としても機能する。

【0049】

編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影操作部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結している。

【0050】

図１に示される編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。

【0051】

編集ユニット１２の正面側は、面６１と、面６１の上方に形成された斜面６２から構成される。面６１は、床面に対して垂直で、撮影操作部２１の側面パネル４１Ａとほぼ平行な面である。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の左側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の右側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。

【0052】

編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ，２６Ｂ，２６Ｃが、組み合わせられて構成される。３本のレール２６Ａ，２６Ｂ，２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ接合される。

【0053】

カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。

【0054】

また、後述するが、編集ユニット１２の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。

【0055】

（利用者の移動）
ここで、画像作成ゲームの流れと、それに伴う利用者の移動について説明する。図３は、写真シール作成ゲーム中の利用者の空間移動を説明するための図である。

【0056】

まず、利用者は、事前選択操作部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。

【0057】

事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影操作部２１と背景部２２の間に形成された撮影空間Ａ１に入る。そして利用者は、撮影操作部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。

【0058】

撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２－１に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２－２に移動する。

【0059】

編集空間Ａ２－１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２－２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２－１と編集空間Ａ２－２のいずれの空間に移動するのかは、撮影操作部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。編集空間Ａ２－１または編集空間Ａ２－２に移動した利用者は、編集作業を開始する。編集空間Ａ２－１の利用者と、編集空間Ａ２－２の利用者は同時に編集作業を行うことができる。

【0060】

編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間Ａ２－１での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２－１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２－２での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２－２から印刷待ち空間Ａ３に移動する。

【0061】

印刷待ち空間Ａ３に移動した利用者は、画像の印刷の終了を待つ。印刷が終了すると、利用者は、編集ユニット１２の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の画像作成ゲームを終える。

【0062】

（事前選択部の構成）
次に、各装置の構成について説明する。図４は、事前選択操作部２０の正面図である。

【0063】

事前選択操作部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、ＬＣＤ(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のＧＵＩ(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、撮影に関するコースの選択、編集の対象となる編集対象画像における背景となる画像の選択、作成画像のレイアウト、画像作成ゲーム中に流れるＢＧＭ（Back Ground Music）、音および音声の少なくともいずれかの選択、並びに利用者の名前の入力などを行わせる事前選択処理に用いられる画面が表示される。

【0064】

撮影に関するコースは、利用者が２人で撮影を行う２人用コースと、３人以上で撮影を行う大人数コースとが用意されている。また、男女のカップルで撮影を行うカップルコースが用意されていてもよい。

【0065】

タッチパネルモニタ７１の下方には、スピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、ＢＧＭ、効果音などを出力する。また、スピーカ７２に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。

【0066】

（撮影部の構成）
図５は、撮影部としての撮影操作部２１の正面図である。撮影操作部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。

【0067】

正面パネル４２の中央には、カメラユニット８１が設けられる。カメラユニット８１は、カメラ９１および表示部としてのタッチパネルモニタ９２から構成される。

【0068】

カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、撮影空間Ａ１にいる利用者を撮影する。カメラ９１により取り込まれた動画像（以下、ライブビュー表示画像ともいう）は、タッチパネルモニタ９２にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた静止画像は、撮影画像として保存される。

【0069】

タッチパネルモニタ９２は、カメラ９１の下方に設けられる。タッチパネルモニタ９２は、ＬＣＤなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のＧＵＩを表示し利用者の選択操作を受け付ける機能を備えている。当該選択操作の具体例としては、撮影コースの選択、撮影開始および終了の指示（撮影の制御指示）、目の変形具合および色、ならびに肌の色の補正具合の選択、作成画像における背景画像となる画像の選択、ならびに画像作成ゲーム中のＢＧＭ（音・音声）の選択などが挙げられる。タッチパネルモニタ９２には、カメラ９１により取り込まれた動画像（ライブビュー画像）や静止画像（撮影画像）が表示される。

【0070】

カメラユニット８１の上方には、曲面の発光面を利用者に向けた上ストロボ８２が設置される。上ストロボ８２は、正面上方から利用者の顔および上半身に光を照射する。

【0071】

また、カメラユニット８１の下方には、利用者の下半身および足元に光を照射する足元ストロボ８５が設けられる。なお、上ストロボ８２と足元ストロボ８５には、ストロボと蛍光灯が含まれている。

【0072】

なお、図１および図５においては図示を省略するが、正面パネル４２の例えば天井付近には、スピーカ９３が設けられる。スピーカ９３は、制御部２０１から出力される音声信号により、撮影処理の案内音声、ＢＧＭ、効果音などを出力する。

【0073】

（背景部の構成）
図６は、背景部２２の撮影空間Ａ１側の正面図である。

【0074】

背面パネル５１の上方には、背面上ストロボ１０１が設置される。背面上ストロボ１０１は、背面上方から利用者に光を照射する。

【0075】

図中、背面パネル５１の左方には、背面左ストロボ１０２が設置される。背面左ストロボ１０２は、背面右方から利用者を照射する。図中、背面パネル５１の右方には、背面右ストロボ１０３が設置される。背面右ストロボ１０３は、背面左方から利用者を照射する。

【0076】

また、背面パネル５１の撮影空間Ａ１側（図中、手前側）の面には、クロマキーシート１２１が貼り付けられていてもよい。クロマキーシート１２１の色は、例えば緑色とされる。

【0077】

なお、図示はしないが、側面パネル５２Ａ，５２Ｂの撮影空間Ａ１側の面にも、クロマキーシート１２１と同様に、クロマキーシートが貼り付けられていてもよい。

【0078】

（編集ユニットの構成）
図７は、編集ユニット１２の編集空間Ａ２－１側の正面図である。

【0079】

斜面６２のほぼ中央には、タブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。タブレット内蔵モニタ１３１は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン１３２Ａまたはタッチペン１３２Ｂを用いた操作入力を可能とする。タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。例えば、２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。

【0080】

図８は、編集ユニット１２の左側面図である。

【0081】

編集ユニット１２の左側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部には出力部としてのプリンタが設けられている。そのプリンタにより、編集空間Ａ２－１の利用者が写る画像、または、編集空間Ａ２－２の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。

【0082】

（写真シール作成装置の内部構成）
図９は、写真シール作成装置１の内部の構成例を示すブロック図である。図９において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。

【0083】

制御部２０１はＣＰＵ(Central Processing Unit)などにより構成される。制御部２０１は、ＲＯＭ(Read Only Memory)２０６や記憶部２０２に記憶されているプログラムを実行し、写真シール作成装置１の全体の動作を制御する。制御部２０１には、記憶部２０２、通信部２０３、ドライブ２０４、ＲＯＭ２０６、ＲＡＭ(Random Access Memory)２０７が接続される。制御部２０１には、事前選択操作部２０、撮影操作部２１、背景部２２、編集操作部２７Ａ，２７Ｂ、および印刷操作部２８の各構成も接続される。

【0084】

記憶部２０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部２０２は、制御部２０１から供給された各種の設定情報などを記憶する。記憶部２０２に記憶されている情報は制御部２０１により適宜読み出される。

【0085】

通信部２０３は、インターネットなどのネットワークのインタフェースである。通信部２０３は、制御部２０１による制御に従って外部の装置と通信を行う。通信部２０３は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部２０３から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。

【0086】

ドライブ２０４には、光ディスクや半導体メモリなどよりなるリムーバブルメディア２０５が適宜装着される。ドライブ２０４によりリムーバブルメディア２０５から読み出されたプログラムやデータは、制御部２０１に供給され、記憶部２０２に記憶されたり、インストールされたりする。

【0087】

ＲＯＭ２０６は、制御部２０１において実行されるプログラムやデータを記憶する。ＲＡＭ２０７は、制御部２０１が処理するデータやプログラムを一時的に記憶する。

【0088】

事前選択操作部２０は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を実現する。事前選択操作部２０は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部７４から構成される。

【0089】

タッチパネルモニタ７１は、制御部２０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部２０１に供給され、各種の設定が行われる。

【0090】

硬貨処理部７４は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部７４は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部２０１に出力する。

【0091】

撮影操作部２１は、撮影空間Ａ１にいる利用者を対象とした撮影処理を実現する。撮影部２２０は、上ストロボ８２、左ストロボ８３、右ストロボ８４、足元ストロボ８５、カメラ９１、タッチパネルモニタ９２、およびスピーカ９３から構成される。

【0092】

上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５は、撮影空間Ａ１内に配置され、制御部２０１から供給される照明制御信号に従って発光する。

【0093】

カメラ９１は、制御部２０１によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像（画像データ）を制御部２０１に出力する。

【0094】

編集操作部２７Ａは、編集空間Ａ２－１にいる利用者を対象とした編集処理を実現する。編集操作部２７Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ１３３から構成される。編集操作部２７Ｂは、編集空間Ａ２－２にいる利用者を対象とした編集処理を実現し、編集操作部２７Ａと同一の構成を有する。なお、以下、編集操作部２７Ａ，２７Ｂを特に区別しない場合には、単に、編集操作部２７という。

【0095】

タブレット内蔵モニタ１３１は、制御部２０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部２０１に供給され、編集対象となる撮影画像が編集される。

【0096】

印刷操作部２８は、印刷待ち空間Ａ３にいる利用者に、作成画像を印刷済みのシール紙を提供する印刷処理を実現する。印刷操作部２８は、プリンタ１４０を含むように構成される。プリンタ１４０にはシール紙ユニット１４１が装着される。

【0097】

プリンタ１４０は、制御部２０１から供給された印刷データに基づいて、編集画像をシール紙ユニット１４１に収納されているシール紙１４２に印刷し、シール紙排出口１６１に排出する。

【0098】

（写真シール作成装置の機能ブロック）
図１０は写真シール作成装置１の機能ブロックを示すブロック図である。写真シール作成装置１は、事前選択部２１０、撮影部２２０、編集部２３０、および印刷部２４０として機能する。また、制御部２０１は、本発明の写真シール作成プログラムを実行することにより、事前選択処理部３０１、撮影処理部３０２、抽出部３０３、生成部３０４、画像処理部３０５、合成部３０６、編集処理部３０７、および印刷処理部３０８として機能する。

【0099】

事前選択部２１０は、上述した事前選択操作部２０と、事前選択処理部３０１とを備える。事前選択処理部３０１は、事前選択操作部２０におけるタッチパネルモニタ７１、スピーカ７２、および硬貨処理部７４を制御することで、事前選択処理を行う。事前選択処理部３０１は、撮影空間Ａ１において行われる撮影に関するコースの選択のための選択画面等をタッチパネルモニタ７１に表示させる。また事前選択処理部３０１は、タッチパネルモニタ７１に対する、利用者の操作入力を受け付ける。具体的には、事前選択処理部３０１は、タッチパネルモニタ７１に表示された選択画面に対する選択の操作入力、および利用者の名前の入力等を受け付ける。また事前選択処理部３０１は、各種の選択操作を説明するガイダンスの出力を制御する。事前選択処理部３０１は、各種の選択操作を説明する画面をタッチパネルモニタ７１に表示させたり、各種の選択操作を説明する音声をスピーカ７２から出力させたりする。

【0100】

撮影部２２０は、上述した撮影操作部２１と、撮影処理部３０２とを備える。撮影処理部３０２は、撮影操作部２１におけるカメラ９１、タッチパネルモニタ９２、およびスピーカ９３を制御することで、撮影処理を行う。

【0101】

撮影処理部３０２は、タッチパネルモニタ９２に対する、利用者の操作入力を受け付ける。例えば、撮影空間Ａ１における撮影処理は、撮影処理部３０２が、利用者によるタッチパネルモニタ９２への接触操作を入力として受け付けることにより開始される。

【0102】

撮影処理部３０２は、カメラ９１を制御し、利用者を被写体として撮影する。撮影には、動画像と静止画像とがある。撮影処理部３０２は、タッチパネルモニタ９２の表示を制御することにより、カメラ９１に取り込まれた動画像をタッチパネルモニタ９２にライブビュー表示させたり、撮影結果である静止画像を撮影画像として表示させたりする。

【0103】

また、撮影処理部３０２は、撮影枚数、利用者の立ち位置、サンプルポーズ、目線についてのメッセージ、および撮影タイミング等を説明するインストラクション画面をタッチパネルモニタ９２に表示させる。さらに、それぞれのインストラクション画面に対応するナレーションの音声、およびＢＧＭをスピーカ９３から出力させる。

【0104】

抽出部３０３は、予め定められる顔認識技術を利用して、撮影部２２０で撮影された画像データに含まれる利用者の顔領域を抽出する。画像データに複数の利用者が含まれる場合、抽出部３０３は、各利用者の顔領域を抽出する。

【0105】

また、抽出部３０３は、画像データから抽出された各顔領域から、所定の画像抽出法を用いて利用者の顔の所定部位の輪郭領域を第１の領域として抽出する。例えば、抽出部３０３は、第１の領域として、例えば周囲との色の違い等を用いて利用者の目の領域や口の領域を抽出する。このとき、抽出部３０３は、目の領域や口の領域について、全体としての輪郭を抽出するだけではなく、後述するように、目や口の具体的な構成に合わせて細分化して第１の領域を抽出する。

【0106】

ここで、抽出部３０３は、各領域の抽出方法として、セマンティックセグメンテーション技術を用いることができる。セグメンテーション技術によって各領域を抽出することで、各領域について画素単位での細かい抽出が可能となる。これにより、後段の生成部３０４において、各領域に対して画像処理の範囲を生成することが可能となり、また、画像処理部３０５において、各領域に応じて細かく設定された画像処理を実現することができる。

【0107】

生成部３０４は、抽出部３０３が抽出した第１の領域を用いて、第１の領域の少なくとも一部を含み、画像処理の対象として設定される第２の領域を生成する。例えば、第２の領域は、画像処理対象に好ましいとされる範囲又は画像処理に好ましいとされる範囲に応じて設定される範囲である。なお、第１の領域と第２の領域とは同一の場合もある。また、第２の領域であっても、必ずしも画像処理がされるとは限らない。特に、このように画像処理がされない範囲については、第１の領域と第２の領域とが同一の場合がある。例えば、画像処理に好ましい範囲とは、唇の場合には、一般的に口紅を塗る場合に好適とされる範囲である。

【0108】

生成部３０４は、予め学習データによって学習された機械学習モデルを利用して、第１の領域から後述する各第２の領域を生成する。具体的には、機械学習モデルは、複数組の『顔領域の画像データ』及び『顔の所定部位の領域情報』を含む学習データを用いて学習されたものである。このとき、学習データが含む各画像データは、複数のバリエーションの画像データを含むことで、生成部３０４における処理の精度が向上する。特に、写真シール作成装置１は、アミューズメント機器とされることが多く、このような場合、利用者は、面白みのある画像を撮影することも多い。したがって、様々な向きや表情の顔画像が撮影されるため、どのような向きや表情の顔画像であったとしても、画像処理の各領域を特定できることが好ましい。したがって、例えば、図１１乃至図２０を用いて後述するような複数のバリエーションの画像データを用いることで、様々な顔画像に対応することが可能となる。

【0109】

《口マスク》
口の領域の抽出について、図１１を用いて説明する。例えば、抽出部３０３は、口について「上唇」、「唇以外（例えば、口の中）」、「下唇」及び「その他」の領域に分けて抽出する。図１１（ａ）に、画像データから抽出された利用者の顔領域のうち口を含む矩形領域の一例を示す。このような口の矩形領域の画像データがあるとき、抽出部３０３は、口の領域について、図１１（ｂ）に示すような細分化された領域として抽出する。具体的には、抽出部３０３は、口の矩形領域について、第１口領域Ａ１１として上唇の領域を抽出し、第２口領域Ａ１２として下唇の領域を抽出し、第３口領域Ａ１３として口のうち唇以外の領域を抽出する。また、図１１（ｂ）に示す領域Ａ１４は、口以外の領域であり、例えば、顔の肌の領域である。

【0110】

生成部３０４は、抽出部３０３が抽出した図１１（ｂ）に示すような各第１の領域を用いて、図１１（ｃ）に示すような第２の領域を生成する。具体的には、生成部３０４は、予め定められる方法により、第１口領域Ａ１１から上唇についての画像処理の対象範囲である第４口領域Ｂ１１を生成する。すなわち、生成部３０４は、口の美観を向上させる目的のため、上唇のうち口紅を塗る等により唇の色を変えたような画像処理をすることが好ましい範囲を第４口領域Ｂ１１として生成する。例えば、上唇のうち、口紅を塗るのに好ましい範囲は、一般的には特に口の外側であり、口の内側まで口紅を塗ることは稀である。したがって、このように口紅を塗るのに好ましい範囲が、口紅を塗ったような画像処理をするために好ましい範囲とされ、生成部３０４は、第１口領域Ａ１１から、このように定められる上唇の外側の範囲を第４口領域Ｂ１１として生成する。そのため、上唇であっても、口紅を塗らないような部分、例えば、上唇の内側が見えていたとしても、口紅を塗らないような上唇の内側については、第４口領域Ｂ１１には該当しない。なお、図１１（ｃ）に示す第４口領域Ｂ１１は、図１１（ｂ）に示す第１口領域Ａ１１と略同一である。

【0111】

同様に、生成部３０４は、第２口領域Ａ１２から下唇についての画像処理の対象範囲である第５口領域Ｂ１２を生成する。すなわち、生成部３０４は、口の美観を向上させる目的で、下唇のうち口紅を塗る等により唇の色を変えたような画像処理をすることが好ましい範囲を第５口領域Ｂ１２として生成する。例えば、下唇についても、口紅を塗るのに好ましい範囲は、一般的には口の内側ではなく、口の外側である。したがって、生成部３０４は、第２口領域Ａ１２から、このように定められる下唇の外側の範囲を、図１１（ｃ）に示すように、第５口領域Ｂ１２として生成する。そのため、下唇であっても、口紅を塗らないような部分、例えば、下唇の内側が見えていたとしても、口紅を塗らないような下唇の内側については、第５口領域Ｂ１２には該当しない。また仮に、下唇が噛まれ、唇の色が薄くなった画像の場合、実際に口紅を塗るのが好ましい領域より狭い部分が下唇の第２領域Ａ１２として抽出部３０３に抽出されることがある。このような場合、生成部３０４は、第２口領域Ａ１２よりも広い、実際に口紅を塗るのが好ましい範囲にまで大きくした範囲を第５口領域Ｂ１２として生成する。

【0112】

さらに、生成部３０４は、図１１（ｃ）に示すように、第３口領域Ａ１３から口のうち唇以外の領域についての画像処理の対象である第６口領域Ｂ１３を生成する。ここで、生成部３０４は、例えば、口の領域のうち、第４口領域Ｂ１１及び第５口領域Ｂ１２を除いた唇以外の領域であって、歯、舌、唇の内側等を含む部分を第６口領域Ｂ１３として生成することができる。したがって、図１１（ｂ）及び図１１（ｃ）を比較するとわかるように、第６口領域Ｂ１３は、実際の下唇のうち内側の部分を含むことがある。

【0113】

なお、図１１（ｃ）では、唇以外の領域を第６口領域Ｂ１３として特定する例で説明するが、この領域内をさらに細かく区分（図示せず）してもよい。具体的には、歯、舌、唇の内側をそれぞれ異なる領域としてもよい。また、さらに細かくし、歯の１本ずつをそれぞれ異なる領域としてもよい。これにより、例えば、歯のホワイトニング効果のある画像処理を実行することが可能となる。

【0114】

領域Ｂ１４は、領域Ｂ１１～Ｂ１３に含まれない口の外側の領域である。ここで、唇の外縁部のうち、口紅を塗らない縁部分については、この領域Ｂ１４に含まれる。したがって、この領域Ｂ１４は、肌の領域である。また、仮に、画像データにおいて口の上に何等かの物が写っている場合、この物の領域についても、領域Ｂ１４として抽出される。また、生成部３０４は、図１１（ｃ）に示すように、口以外の領域である領域Ｂ１４を生成してもよいが、この領域Ｂ１４については、口に関する画像処理はされない。領域Ａ１４を利用することができる場合、口以外の領域Ｂ１４を生成せずに代わりに、領域Ａ１４を用いてもよい。

【0115】

ここでは、領域Ｂ１１～Ｂ１３の各領域を含む情報を、口マスクとする。また、この口マスクで特定される各領域が、画像処理の対象となる。抽出部３０３が、顔領域から、このように口について細かく区分した第１の領域を抽出し、生成部３０４が各第２の領域に対応する画像処理の対象となる第２の領域を生成することで、各第２の領域について後段の画像処理部３０５において、それぞれの領域について対応する処理を実行することができる。

【0116】

なお、ここでは、図１１（ａ）に示す画像のような口部分を含む矩形領域を抽出し、この矩形領域から、口マスクの領域を抽出する例で説明したが、これに限定されない。例えば、抽出部３０３は、画像データから抽出された顔領域の全体から口マスクの領域を抽出してもよい。

【0117】

《目マスク》
目の領域の抽出について、図１２を用いて説明する。例えば、抽出部３０３は、目について「黒目」、「白目」、の領域に分けて抽出する。図１２（ａ）に、画像データから抽出された利用者の顔領域のうち目を含む矩形領域の一例を示す。このような目の矩形領域の画像データがあるとき、抽出部３０３は、目の領域について、図１２（ｂ）に示すような細分化された領域として抽出する。具体的には、抽出部３０３は、目の領域について、第１目領域Ａ２１としていわゆる黒目の領域を抽出し、第２目領域Ａ２２としていわゆる白目の領域を抽出する。

【0118】

ここで、抽出部３０３は、厳密な文言上の意味でその部位を特定して抽出するのではなく、画像処理を考慮して、また、抽出のしやすさを考慮して設定された領域を抽出する。具体的には、第３目領域Ｂ２１は、黒目の領域であるが、黒色の領域という色で限定する領域ではなく、瞳孔及び虹彩を含む領域である。例えば、目の色が黒色である必要はなく、カラーコンタクトの着用や生まれつきの色等により、他の色であっても、この領域が第１目領域Ａ２１とされる。同様に、第２目領域Ａ２２は、白目の領域であるが、これは、目において白色の領域であるが、眼球のうち瞳孔及び虹彩を除いた白い部分という意味に限定する必要はなく、例えば、涙丘等の目の縁の部分を含んでもよい。

【0119】

また、図１２（ｂ）に示す領域Ａ２３は、肌の領域であり、例えば、顔の肌の領域である。さらに、図１２（ｂ）に示す領域Ａ２４は、その他の領域として、目及び肌以外の領域であり、例えば、眉毛や髪の毛が該当する。また、仮に、睫毛が領域として特定できる場合、睫毛もこの領域に含まれる。

【0120】

生成部３０４は、抽出部３０３が抽出した図１２（ｂ）に一例を示すような第１の領域を用いて、図１２（ｃ）に示すような第２の領域を生成する。具体的には、生成部３０４は、予め定められる方法により、第１目領域Ａ２１から黒目についての画像処理の対象範囲である第３目領域Ｂ２１を生成する。すなわち、生成部３０４は、黒目のうち、例えば、サイズを大きくしたり、色を変更するのに好ましい範囲を第３目領域として生成する。仮に、黒目にライトを当てたことによって「キャッチライト」が存在し、また、このキャッチライトの部分が黒目の周縁部に存在することにより、キャッチライトの部分が誤って第２目領域Ａ２２に含まれる場合、生成部３０４は、この部分を黒目の部分と処理して第３目領域Ｂ２１として生成する。ここでも、領域Ｂ２１は、画像処理部３０５において目を大きく見せたり、色を調整する等の美観の向上のための画像処理を目的として設定されるものである。したがって、第３目領域Ｂ２１は、厳密な文言上の意味でその部位を特定するものではない。

【0121】

同様に、生成部３０４は、第２目領域Ａ２２から白目についての画像処理の対象範囲である第４目領域Ｂ２２を生成する。すなわち、白目の部分には、実際に目の白い部分以外を含むこともあるため、例えば、目の白い部分のみを、濁りのない白色に画像処理する対象である第４目領域Ｂ２２として生成する。ここでも、第４目領域Ｂ２２は、画像処理部３０５において目を大きく見せたり、色を調整する等の美観の向上のための画像処理を目的として設定されるものである。したがって、第４目領域Ｂ２２は、厳密な文言上の意味でその部位を特定するものではない。したがって、第２目領域Ａ２２は、眼球のうち瞳孔及び虹彩を除いた白い部分という意味に限定されない。

【0122】

領域Ｂ２３は、領域Ａ２３から生成される領域であって、目の領域を除いた肌の領域である。なお、図１２（ｃ）では、肌を１つの領域Ｂ２３として特定する例で説明するが、この領域内をさらに細かく区分（図示せず）してもよい。例えば、生成部３０４は、肌のうち、目の周囲においてアイシャドウ等のメイクをする際に特定される領域である上瞼、下瞼及び瞼縁等を異なる領域として生成してもよい。また、生成部３０４は、二重瞼を特定する領域を生成してもよい。

【0123】

領域Ｂ２４は、領域Ａ２４から生成される領域であって、領域Ｂ２１～Ｂ２３に含まれない領域である。例えば、眉毛、目の周囲に存在する髪の毛等である。また、仮に画像データにおいて目の周囲に何等かの物が写っている場合、この物の領域についても、領域Ａ２４として抽出される。具体的には、利用者が眼鏡を着用する場合、眼鏡のフレームは、領域Ａ２４として抽出される。

【0124】

なお、生成部３０４は、図１１（ｃ）に示すように、目以外の領域である領域Ｂ２３，Ｂ２４を生成してもよいが、この領域Ｂ２３，Ｂ２４については、目に関する画像処理はされない。領域Ａ２３，Ｂ２４を利用することができる場合、目以外の範囲として、領域Ａ２３，Ａ２４を用いてもよい。

【0125】

ここでは、領域Ｂ２１，Ｂ２２の各領域を含む情報を、目マスクとする。また、この目マスクで特定される各領域が、画像処理の対象となる。抽出部３０３が、顔領域から、このように目について細かく区分した第１の領域を抽出し、生成部３０４が各第１の領域に対応する画像処理の対象となる第２の領域を生成することで、各第２の領域について後段の画像処理部３０５により、それぞれの領域について対応する処理を実行することができる。このとき、睫毛を抽出することができた場合、睫毛を例えば、目マスクに含むことで、睫毛を肌の一部として画像処理されることを防止し、例えば、睫毛にマスカラを塗ったような睫毛の美観を向上させた画像処理をすることができる。

【0126】

なお、ここでは図１２（ａ）に示す画像のような目部分を含む矩形領域を抽出し、この矩形領域から、目マスクの領域を抽出する例で説明したが、これに限定されない。例えば、抽出部３０３は、画像データから抽出された顔領域の全体から目マスクの領域を抽出してもよい。

【0127】

画像処理部３０５は、画像データから抽出された各領域について、各領域に対して予め定められる方法で処理する。例えば、画像処理部３０５は、口領域として抽出された口マスクに対して、口の美観を向上させる処理を実行したり、目領域として抽出された目マスクに対して目の美観を向上させる処理を実行したりする。

【0128】

例えば、図１３（ａ）に示すような、顔の一部に手がかかり、口が開き、歯が見えているような顔画像の例で検討する。この場合、生成部３０４は、抽出部３０３によって抽出された第１の領域（図示せず）から、図１３（ｂ）に示すように、第２の領域として、正確に第４口領域Ｂ１１、第５口領域Ｂ１２、第６口領域Ｂ１３及び領域Ｂ１４を抽出することができる。これにより、画像処理部３０５が画像処理する場合、図１３（ｃ）に示すように、唇以外を含む口の領域全体に画像処理することを防止することができる。具体的には、画像処理部図１３（ｄ）に示すように、上唇及び下唇の、口紅を塗るために好ましい範囲のみに画像処理がされ、また、上唇と下唇もその境界が区別されることによって、例えば立体感のあるより利用者にとって好ましい画像処理を実現することが可能となる。具体的には、唇の立体形状に応じて、上唇と下唇について、顔の奥行方向で手前となる部分を明るくし、奥になるにつれて暗くすることが可能となり、立体化のあるより自然な画像処理を実現することができる。

【0129】

《第１の領域の抽出及び第２の領域の生成》
続いて、複数のパターンでの、第１領域の抽出及び第２領域の生成の具体例について説明する。まず、図１４（ａ）に示すような、口が開き、口の中に歯及び舌が見えているような顔画像の例で検討する。この場合、抽出部３０３は、図１４（ｂ）に示すように、第１口領域Ａ１１、第２口領域Ａ１２、第３口領域Ａ１３及び領域Ａ１４を抽出することができる。すなわち、このような一般的な口の形状とは異なる口の形状で画像データが取得された場合であっても、抽出部３０３は、それらの輪郭から各第１の領域を抽出することが可能となる。また、生成部３０４は、図１４（ｃ）に示すように、第１口領域Ａ１１から第４口領域Ｂ１１を生成し、第２口領域Ａ１２から第５口領域Ｂ１２を生成する。また、生成部３０４は、第６口領域Ｂ１３及び領域Ｂ１４を生成する。これにより、画像処理部３０５が各第２の領域に対して画像処理を実行することによって利用者にとって好ましい画像処理を実現することが可能となる。例えば、唇のうち口紅を塗るのが好ましい範囲にのみ口紅を塗るような画像処理を施すことが可能となる。

【0130】

続いて、図１５（ａ）に示すような、顔の一部に手がかかり、口が開き、指で顎をつまんでいる顔画像の例で検討する。この場合、抽出部３０３は、図１５（ｂ）に示すように、第１口領域Ａ１１、第２口領域Ａ１２、第３口領域Ａ１３及び第４領域Ａ１４を抽出することができる。すなわち、このような一般的な口の形状とは異なる口の形状で画像データが取得された場合であっても、抽出部３０３は、それらの輪郭から各第１の領域を抽出することが可能となる。また、生成部３０４は、図１５（ｃ）に示すように、第４口領域Ｂ１１、第５口領域Ｂ１２、第６口領域Ｂ１３及び領域Ｂ１４を生成する。したがって、画像処理部３０５が、各第２の領域に対して画像処理を実行することによって利用者にとって好ましい画像処理を実現することが可能となる。

【0131】

続いて、図１６（ａ）に示すような、口の一部に指がかかり、口が開き、口の中に歯及び舌が見えているような顔画像の例で検討する。このような場合、抽出方法によっては、図１６（ｂ）に示すように、指があるにも関わらず、指がないとみなされた口全体が見えるような領域Ａ１５が抽出される場合もある。これに対し、抽出部３０３は、正確に第１口領域Ａ１１、第２口領域Ａ１２、第３口領域Ａ１３及び領域Ａ１４（図示を省略）を抽出することができる。すなわち、このような一般的な口の形状とは異なる口の形状で画像データが取得された場合であっても、各領域を抽出することが可能となる。また、生成部３０４は、図１６（ｃ）に示すように、第４口領域Ｂ１１、第５口領域Ｂ１２、第６口領域Ｂ１３及び領域Ｂ１４を生成する。したがって、画像処理部３０５が、各第２の領域に対して画像処理を実行することによって利用者にとって好ましい画像処理を実現することが可能となる。例えば、指、口の中や歯まで、口紅を塗るような不自然な画像処理をすることなく、口紅を塗ることが好ましい範囲にのみ口紅を塗るような画像処理を施すことができるため、自然な画像の提供が可能となる。

【0132】

例えば、図１７（ａ）に示すような、黒目の領域が上瞼と下瞼まで大きく、前髪が上瞼に近接する状態の顔画像の例で検討する。この場合、抽出部３０３は、図１７（ｂ）に示すように、第１の領域として、第１目領域Ａ２１、第２目領域Ａ２２、領域Ａ２３及び領域Ａ２４を抽出することができる。また、生成部３０４は、図１７（ｃ）に示すように、第２の領域として、第３目領域Ｂ２１、第４目領域Ｂ２２、領域Ｂ２３及び領域Ｂ２４を生成する。これにより、画像処理部３０５が、第２の領域に対して画像処理を実行することで、目を大きくみせるために黒目の領域が上瞼及び下瞼の外にまではみ出すような画像処理がされるのを防止することができる。したがって、利用者にとって好ましい画像処理を実現することが可能となる。

【0133】

次に、図１８（ａ）に示すような、指で目尻付近が上方向に持ち上げられ、黒目がほぼ確認できない状態の顔画像の例で検討する。図１８に示すような画像データは、利用者によって面白みのある画像データを目的として取得されたものである。このような場合、一般的な目の形状とはかけ離れているため、抽出方法によっては、目の領域が抽出されない場合もある。これに対し、抽出部３０３は、図１８（ｂ）に示すように、第１の領域として、第１目領域Ａ２１、第２目領域Ａ２２、領域Ａ２３及び領域Ａ２４を抽出することができる。また、生成部３０４は、図１８（ｃ）に示すように、第２の領域として、第３目領域Ｂ２１、第４目領域Ｂ２２、領域Ｂ２３及び領域Ｂ２４を生成する。なお、図１８に示す例では、第１の領域と第２の領域とは同一である。したがって、画像処理部３０５が、第２の領域に対して画像処理を実行することで、目を大きくみせるために黒目の領域が下瞼の外にまではみ出すような不自然な画像処理がされるのを防止することができる。また、利用者の求める面白みと、画像処理の結果がかけ離れるのを防止し、利用者の求める自然な画像の提供が可能となる。

【0134】

例えば、図１９（ａ）に示すような、目の一部に手がかかる顔画像の例で検討する。この場合、抽出方法によっては、図１９（ｂ）に示すように、手があるにも関わらず、手がないとみなされた目全体が見えるような領域Ａ２５が抽出される場合もある。これに対し、抽出部３０３は、正確に第１目領域Ａ２１、第２目領域Ａ２２、領域Ａ２３及び領域Ａ２４（図示を省略）を抽出することができる。また、生成部３０４は、図１９（ｃ）に示すように、第２の領域として、第３目領域Ｂ２１、第４目領域Ｂ２２、領域Ｂ２３及び領域Ｂ２４を生成する。これにより、画像処理部３０５が、第２領域に対して画像処理をすることで、目を大きくみせるために黒目の領域が上瞼及び下瞼の外にまではみ出したり、黒目の領域が手の領域まではみ出すような不自然な画像処理がされるのを防止することができる。したがって、利用者にとって好ましい画像処理を実現することが可能となる。

【0135】

例えば、図２０（ａ）に示すような、目の一部に眼鏡のフレーム部分がかかる顔画像の例で検討する。この場合、抽出方法によっては、図２０（ｂ）に示すように、眼鏡のフレームがあるにも関わらず、眼鏡のフレームがないとみなされた目全体が見えるような領域Ａ２５が抽出される場合もある。これに対し、抽出部３０３は、第１目領域Ａ２１、第２目領域Ａ２２、領域Ａ２３及び領域Ａ２４（図示省略）を抽出することができる。また、生成部３０４は、図２０（ｃ）に示すように、第２の領域として、第３目領域Ｂ２１、第４目領域Ｂ２２、領域Ｂ２３及び領域Ｂ２４を生成する。これにより、画像処理部３０５が、第２の領域に対して画像処理を実行することで、目を大きくみせるために黒目の領域が上瞼及び下瞼の外にまではみ出したり、黒目の領域が眼鏡のフレームの領域まではみ出すような画像処理がされるのを防止することができる。したがって、利用者にとって好ましい画像処理を実現することが可能となる。

【0136】

取得される画像は、図１３乃至図２０に示すような様々な形態の画像があるので、このような様々な画像を学習データとすることで、生成部３０４での第２の領域の生成の精度を向上させることが可能となる。

【0137】

《口マスクの画像処理》
画像処理部３０５は、口マスクの領域について、例えば、口紅を塗ったような画像処理を実行することができる。このとき、画像処理部３０５は、口マスク全体の色を調整するのではなく、口マスクに含まれる領域毎にそれぞれ設定された処理を実行することで、利用者の口の美観を向上させることができる。

【0138】

具体的には、画像処理部３０５は、第１口領域Ａ１１については、上側から下側にかけて、グラデーションをつけて処理することができる。例えば、画像処理部３０５は、第１口領域Ａ１１の上縁部の色を薄く、下縁部の色を濃くするように処理することで、唇の立体感を損なうことなく、利用者にとって好ましい画像処理が可能となる。同様に、画像処理部３０５は、第２口領域Ａ１２についても、例えば、上縁部の色を濃く、下縁部の色を薄くグラデーションを付けて処理することで、唇の立体感を損なうことなく、利用者にとって好ましい画像処理が可能となる。このように、上唇と下唇とが別々に処理されるため、自然な画像処理がされ、利用者の美観を向上させることができる。

【0139】

上述したように、口紅を塗ることが考えられる領域が第１口領域Ａ１１及び第２口領域Ａ１２と設定される。これにより、第３口領域Ａ１３については、第１口領域Ａ１１及び第２口領域Ａ１２と正確に区別することができる。したがって、画像処理部３０５では、口紅を塗ることのないような部分まで口紅を塗ったような画像処理を実行することを防止し、利用者にとって好ましい画像処理を可能とする。具体的には、口を開けて画像が歯を含む場合に、唇とともに、歯まで色が変更されるのを防止することができる。また、面白みのある画像を得ることを目的として、口の形を変形して画像が撮影された場合のように、唇の内側が見えているとき、唇の内側まで色が変更されることを防止することができる。すなわち、口の形がどのようなバリエーションであったとしても、唇と唇以外とを区別することが可能であって、利用者にとって好ましい画像処理がされ、利用者の美観を向上させることができる。

【0140】

画像処理部３０５は、第１口領域Ａ１１にハイライトを入れたような処理をするようにしてもよい。具体的には、画像処理部３０５は、第１口領域Ａ１１の上端の中央部、いわゆる、上唇において人中と重なる点に、ハイライト効果のある処理を実現することができる。これにより、利用者の美観を向上させることができる。

【0141】

画像処理部３０５は、口が開いている場合と口が閉じている場合に応じて、異なる処理を実行するようにしてもよい。例えば、画像処理部３０５は、第１口領域Ａ１１及び第２口領域Ａ１２の面積と第３口領域Ａ１３の面積の比率によって画像処理の程度を変えることで、利用者にとって好ましい画像処理がされ、利用者の美化を向上させることができる。

【0142】

また、仮に、第３口領域Ａ１３に含まれる歯の領域を区別することができる場合、画像処理部３０５は、ホワイトニングされた歯にするような画像処理を実現することもできる。これにより、利用者の美観をより向上させることができる。

【0143】

《目マスクの画像処理》
画像処理部３０５は、目マスクの領域について、例えば、目を大きく見せたり、目が生き生きとしたような画像処理を実行することができる。このとき、画像処理部３０５は、目マスク全体の形状や色を調整するのではなく、目マスクに含まれる領域毎にそれぞれ設定された処理を実行することで、利用者の美観をより向上させることができる。

【0144】

具体的には、画像処理部３０５は、第１目領域Ａ２１については、黒目を大きくする処理をすることができる。例えば、画像処理部３０５は、第１目領域Ａ２１については、所定割合大きくなるように処理することで、目をぱっちりとさせたような処理をすることができる。このとき、第１目領域Ａ２１、第２目領域Ａ２２及び第３領域Ａ２３を正確に区別することができるため、黒目が第２目領域Ａ２２や第３領域Ａ２３にまで外れることなく、利用者にとって好ましい画像処理が可能となり、利用者の美観をより向上させることができる。

【0145】

画像処理部３０５は、第１目領域Ａ２１の色を変更する処理をすることができる。例えば、画像処理部３０５は、目の色をはっきりさせることで、利用者の目を大きくみせるような処理をすることができる。また例えば、目の色を、カラーコンタクトを付けたような色に処理することができる。このとき、第１目領域Ａ２１、第２目領域Ａ２２及び第３領域Ａ２３を正確に区別することができるため、第２目領域Ａ２２や第３領域Ａ２３まで色を変更することなく、利用者にとって好ましい画像処理が可能となり、利用者の目の美観を向上させることができる。

【0146】

画像処理部３０５は、第２目領域Ａ２２の色を変更する処理をすることができる。例えば、白目の色をより透明感のある白い色にすることで、利用者の印象をより生き生きとさせるように処理することができる。このとき、画像処理部３０５は、単に第２目領域Ａ２２の色を単一にするのではなく、第２目領域Ａ２２の外側と内側とで緩やかなグラデーションが生じるように処理してもよい。これにより、利用者の目が平坦に見える不自然な画像処理となることを防止するとともに、立体感のある自然な印象に処理し、利用者の目の美観を向上させることができる。

【0147】

仮に、蒙古襞や涙丘等の領域を区別することができる場合、画像処理部３０５は、蒙古襞や涙丘の領域の部分を強調したり目立たなく調整した画像処理を実現するようにしてもよい。また、上瞼、下瞼及び瞼縁等を区別することができる場合、画像処理部３０５は、瞼周辺の色を変更したり、瞼縁を強調した画像処理を実現するようにしてもよい。さらに、二重を特定することができる場合、画像処理部３０５は、二重を強調したり、二重幅を調整した画像処理を実現するようにしてもよい。また、睫毛を区別することができる場合、画像処理部３０５は、睫毛を太く強調したり、長く強調した画像処理を実現することもできる。これらの処理によっても、利用者の美観を向上させることができる。

【0148】

《その他の処理》
また、上述した口マスクや目マスクに関する処理に加え、画像処理部３０５は、その他、顔に対して美肌効果、美白効果、小顔効果を目的とする処理を実行してもよい。なお、これらの処理については、既存の処理と同様であるため、ここでは具体的な説明は省略する。

【0149】

合成部３０６は、処理した画像を合成用画像とし、カメラ９１に取り込まれた動画像に合成用画像を合成し、合成した画像をタッチパネルモニタ９２にライブビュー表示画像としてさせる。したがって、利用者は、仕上がりイメージをリアルタイムで確認しながら撮影を行うことができる。

【0150】

編集部２３０は、上述した編集操作部２７Ａ，２７Ｂと、編集処理部３０７とを備える。編集処理部３０７は、編集操作部２７Ａ，２７Ｂにおけるタブレット内蔵モニタ１３１、およびスピーカ１３３を制御することで、編集処理を行う。編集処理部３０７は、タブレット内蔵モニタ１３１に対する、タッチペン１３２Ａ，１３２Ｂを用いた利用者の操作入力を受け付ける。

【0151】

また、編集処理部３０７は、タブレット内蔵モニタ１３１に表示させた選択画面に対する選択操作に応じて、編集対象画像としての撮影画像に所定の画像処理を施し、タブレット内蔵モニタ１３１に表示させる。あるいは、編集処理部３０７は、タブレット内蔵モニタ１３１に表示させた編集画面に対する入力操作に応じて、合成用画像に所定の画像処理を施し、あるいは、入力操作に応じて新たな合成用画像を生成して、撮影画像に合成し、タブレット内蔵モニタ１３１に表示させる。

【0152】

また、編集処理部３０７は、編集の進め方などを説明するガイダンスの出力を制御する。例えば、編集処理部３０７は、編集の進め方などを説明するガイダンスの画面をタブレット内蔵モニタ１３１に表示させたり、編集の進め方などを説明するガイダンスの音声をスピーカ１３３から出力させたりする。また、編集処理部３０７は通信部２０３を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。また、編集処理部３０７は、印刷操作部２８のプリンタ１４０を制御することで、印刷処理を行ってもよい。

【0153】

印刷部２４０は、上述した印刷操作部２８と、印刷処理部３０８とを備える。印刷処理部３０８は、編集処理部３０７から印刷データを受け取り、印刷操作部２８のプリンタ１４０を制御することで、印刷処理を行う。なお、ここでは、画像データを出力する出力部の一例として印刷データである写真シールを出力する印刷部２４０を用いて説明したが、画像データの出力方法は、これに限定されない。例えば、ネットワーク等を用いて画像データ自体を外部の通信端末に送信する送信手段を出力部としてもよい。

【0154】

このように、写真シール作成装置１は課金と引き換えに、利用者の気持ちが盛り上がるような仕掛け（撮影ポーズの選択、ＢＧＭ、ナレーションなど）が種々施された写真シール作成ゲームを提供する。そのため、写真シール作成装置１での作成画像は、利用者の楽しい表情が引き出された画像や、趣向を凝らした、華やかな画像となる。

【0155】

また、写真シール作成装置１ではライティングなどの設備が充実しており、そして画像の変形処理（例えば被写体の目の大きさや脚の長さなど）および色の補正（被写体の肌の美白処理など）などを高度な技術で行えるため、写真シール作成装置１で作成した画像は、利用者の写りが良い画像となる。

【0156】

また、写真シール作成装置１以外での画像処理（例えば写真加工のためのアプリケーションなどでの処理）に比べて容易に編集（画像への落書き）ができ、当該編集のバリエーションも豊かである。この点からも、写真シール作成装置１での作成画像は写真シール作成装置１以外で撮影および画像処理された画像に比べ、比較的華やかに仕上がるといえる。

【0157】

（写真シール作成ゲームの流れ）
次に、利用者が写真シール作成装置１において写真シール作成ゲームを行う処理の流れについて、図２１を用いて説明する。図２１は、写真シール作成装置１におけるゲームの開始から当該ゲームで写真シールを作成するまでの処理の流れを示すフローチャートである。

【0158】

ゲーム開始前の状態においては、写真シール作成装置１の事前選択処理部３０１として機能する制御部２０１は、事前選択操作部２０のタッチパネルモニタ７１に、硬貨の投入を促すメッセージを表示させる。また、制御部２０１は、図２１に示すように、硬貨処理部７４からの起動信号の有無に基づいて、硬貨投入返却口７３に硬貨が投入されたか否かを判定する（Ｓ１）。制御部２０１は、硬貨投入返却口７３に硬貨が投入されていないと判定した場合には（Ｓ１：ＮＯ）、硬貨が投入されたか否かの判定処理を継続する。

【0159】

ゲームを開始しようとする利用者は、事前選択操作部２０の前方の空間である事前選択空間Ａ０において硬貨投入返却口７３に硬貨を投入する。硬貨投入返却口７３へ硬貨が投入されると、硬貨処理部７４からゲームの開始を指示する起動信号が出力される。制御部２０１は、硬貨処理部７４から起動信号を入力すると、硬貨投入返却口７３に硬貨が投入されたと判定し（Ｓ１：ＹＥＳ）、利用者に対して事前接客処理を実行する（Ｓ２）。

【0160】

事前接客処理においては、制御部２０１は、タッチパネルモニタ７１に、コースの選択、名前の入力、およびデザインの選択等を促すメッセージ等を表示させる。利用者が、タッチパネルモニタ７１に表示されるメッセージ等に従って各種の選択または入力を行うと、制御部２０１は、撮影コース、名前、デザイン、および印刷レイアウト等の設定を行う。制御部２０１は、複数種類の合成用背景画像を選択可能にタッチパネルモニタ９２に表示させ、合成用背景画像を利用者に選択させる。

【0161】

事前接客処理が終了すると、制御部２０１は、利用者に対して撮影空間Ａ１に移動して撮影を行うことを促すメッセージ等をタッチパネルモニタ７１に表示させる。撮影処理部３０２として機能する制御部２０１は、撮影操作部２１のタッチパネルモニタ９２に、画面にタッチするように促すメッセージを表示させる。なお、このメッセージと共に、あるいはこのメッセージに代えて、スタートボタンを表示させてもよい。また、制御部２０１は、ＢＧＭと共に、画面にタッチするように促すナレーションを、スピーカ９３から出力させる。撮影空間Ａ１に移動した利用者が、タッチパネルモニタ９２にタッチすると、制御部２０１は、タッチパネルモニタ９２がタッチされたことを読み取り、撮影処理を開始する（Ｓ３）。

【0162】

撮影処理においては、制御部２０１は、タッチパネルモニタ９２に、例えばライティングに関するガイダンスを表示させ、利用者にライティングのレベルの選択を促す。利用者がライティングのレベルを選択すると、制御部２０１は、ライティングのレベルを、選択されたレベルに設定する。

【0163】

また、制御部２０１は、撮影枚数を説明するためのインストラクション画面をタッチパネルモニタ９２に表示させ、対応するナレーションをスピーカ９３から出力させる。本実施形態では、一例として、撮影枚数は７枚に設定されている。

【0164】

次に、制御部２０１は、利用者を立ち位置に誘導するためのインストラクション画面をタッチパネルモニタ９２に表示させ、対応するナレーションをスピーカ９３から出力させる。

【0165】

以上のようなインストラクション画面を表示させた後、制御部２０１は、利用者に選択させた撮影コースに応じて、合成用背景画像と、カメラ９１で取得している動画像とを合成したライブビュー表示画像を、ライブビュー表示としてタッチパネルモニタ９２に表示させる（Ｓ４）。これにより、利用者は、仕上がりイメージを確認しながらポーズを取ることができる。

【0166】

制御部２０１は、ライブビュー表示を、撮影のためのカウントダウンの終了直前まで行い、その間、制御部２０１は、ライブビュー表示と共に、あるいはライブビュー表示に代えて、サンプルポーズをタッチパネルモニタ９２に表示させる。制御部２０１は、サンプルポーズに合わせたナレーションをスピーカ９３から出力させる。

【0167】

制御部２０１は、ライブビュー表示の開始から終了までの時間を管理しており、予め設定した所定の時間が経過すると、タッチパネルモニタ９２の表示とスピーカ９３の音声とでカウントダウンを行う。

【0168】

制御部２０１は、カウントダウンの終了タイミングで、上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５に照明制御信号を送信すると共にカメラ９１にシャッタ信号を送信する。

【0169】

これにより、上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５から閃光を照射し、照明された利用者が背景とともに写っている撮影画像をカメラ９１により取得する。本実施形態では、一例として、ステップＳ３からステップＳ４までの処理を複数回繰り返して７枚の撮影画像を取得する。また、制御部２０１は、撮影画像に合成用背景画像を合成させた編集対象画像を記憶部２０２に記憶させる。

【0170】

なお、ここでは、予め設定した時間毎に撮影画像が取得される例で説明したが、撮影画像の取得タイミングはこれに限定されない。例えば、撮影のための操作ボタンを撮影操作部２１が有する場合、この操作ボタンを操作したタイミングで撮影画像を取得するようにしてもよい。

【0171】

撮影終了後、制御部２０１は、利用者に対して、編集空間Ａ２－１、または編集空間Ａ２－２のいずれか一方への移動を促す案内画面をタッチパネルモニタ９２に表示するとともに、音声による移動案内をスピーカ９３に出力する。

【0172】

そして、制御部２０１は、利用者による編集対象画像の編集を許容する編集処理を実行する（Ｓ５）。詳述すると、制御部２０１は、編集対象画像を、タブレット内蔵モニタ１３１に表示し、この編集対象画像に対して利用者がタッチペン１３２Ａ，１３２Ｂでスタンプ画像やペン画像などを描くことを許容し、編集画像を作成する。

【0173】

その後、制御部２０１は、利用者に対してシール紙排出口１６１が設けられた印刷待ち空間Ａ３への移動を促す案内画面をタブレット内蔵モニタ１３１に表示するとともに、音声による移動案内をスピーカ１３３に出力する。

【0174】

さらに、制御部２０１は、事前選択操作部２０において選択された印刷レイアウトに編集画像を配置して印刷用画像を作成し、この印刷用画像をシール紙１４２に印刷する印刷処理を実行する（Ｓ６）。

【0175】

印刷処理が終了すると、制御部２０１は、シール紙１４２の排出処理を実行し（Ｓ７）、印刷完了したシール紙１４２をシール紙排出口１６１から排出し、利用者に写真シールとして提供してゲームを終了する。このようにして、写真シール作成装置１により作成した利用者の撮影画像を、写真シールとして出力することができる。なお、詳細な説明は省略するが、本実施形態の写真シール作成装置１は、通信により、撮影画像を携帯端末等に出力することも可能である。

【0176】

（合成処理の詳細）
次に、図２２に示すフローチャートを参照して、図２１のフローチャートのステップＳ４の合成処理について説明する。図２２に示すように、ステップＳ４の合成処理では、制御部２０１は、まず、撮影画像に含まれる利用者の顔領域を抽出する（Ｓ４１）。撮影画像に複数の利用者を含む場合、制御部２０１は、全ての利用者の顔領域を抽出する。

【0177】

制御部２０１は、ステップＳ４１で抽出した顔領域が抽出された利用者について、さらに、口領域及び目領域を抽出する（Ｓ４２）。具体的には、制御部２０１は、口領域に関し、領域Ａ１１～Ａ１４を抽出する。また、制御部２０１は、目領域に関し、領域Ａ２１～Ａ２４を抽出する。撮影画像に複数の利用者を含む場合、制御部２０１は、全ての利用者に対して、口領域及び目領域を抽出する。

【0178】

制御部２０１は、ステップＳ４２で抽出した各領域Ａ１１～Ａ１４の画像データについて、口領域に対して予め定められる処理を実行する（Ｓ４３）。例えば、制御部２０１は、口領域について、美観を向上させるような処理として、口の色を調整する処理を実行する。

【0179】

また、制御部２０１は、ステップＳ４２で抽出した各領域Ａ２１～Ａ２４の画像データについて、目領域に対して予め定められる処理を実行する（Ｓ４４）。例えば、制御部２０１は、目領域について、美観を向上させるような処理として、目の色を調整する処理を実行する。

【0180】

さらに、制御部２０１は、利用者の顔領域の画像データについて、他の画像処理を実行してもよい（Ｓ４５）。例えば、制御部２０１は、予め定められる方法に従い、小顔に処理したり、色白に処理する。このとき、制御部２０１は、自動で処理してもよいし、利用者の操作に従って処理してもよい。

【0181】

制御部２０１は、ステップＳ４３～Ｓ４５で処理された画像を用いて画像を合成する（Ｓ４６）。ここで合成された画像は、ライブビュー表示により利用者に確認されながら画像の取得がされる。

【0182】

（表示例）
図２３は、タブレット内蔵モニタ１３１に表示される編集画面４００の一例である。図２３に示すように、編集画面４００は、第１編集部４０１と第２編集部４０２とを備える。

【0183】

第１編集部４０１は、第１サムネイル部４０３、第１編集対象画像表示部４０５、第１操作ボタン表示部４０７及び第１パレット４０９を備える。同様に、第２編集部４０２は、第２サムネイル部４０４、第２編集対象画像表示部４０６、第２操作ボタン表示部４０８及び第２パレット４１０を備える。

【0184】

第１サムネイル部４０３及び第２サムネイル部４０４には、撮影された複数の編集対象画像Ｉｍ１～Ｉｍ５のサムネイルが表示される。第１サムネイル部４０３及び第２サムネイル部４０４に表示されるサムネイルは、タッチペン１３２Ａ又は１３２Ｂで選択することができる。図２１に示す例では、それぞれ、編集対象画像Ｉｍ１、Ｉｍ３が選択される。なお、図示は省略するが、選択された編集対象画像のサムネイルには、「選択中」の文字が表示されてもよい。また、図１９のフローチャートのステップＳ３で７枚の画像を撮影した場合、サムネイル部４０３，４０４にもそれぞれ７枚の編集対象画像が表示されるが、図２３は、便宜的に５枚の編集対象画像が表示される例で説明する。

【0185】

第１編集対象画像表示部４０５には、第１サムネイル部４０３で選択された編集対象画像が表示される。また、第２編集対象画像表示部４０６には、第２サムネイル部４０４で選択された編集対象画像が表示される。サムネイル部４０３又は４０４に表示される編集対象画像において選択される編集対象画像が変更されると、編集対象画像表示部４０５又は４０６に表示される編集対象画像も変更される。

【0186】

第１パレット４０９は、第１編集対象画像表示部４０５に表示される編集対象画像にコンテンツである文字、模様、色等で装飾する場合にコンテンツの種類等を選択するために利用される。また、第２パレット４１０は、第２編集対象画像表示部４０６に表示される編集対象画像にコンテンツで装飾する場合にコンテンツの種類等を選択するために利用される。後に詳述するが、図２１に示す例では、各パレット４０９及び４１０は、「なりきり」、「顔落書き」、「アイテム」及び「メイク」のタブを含む。

【0187】

上述したように、本実施形態では、各領域を抽出することにより、各領域に想定された処理を実行することが可能となり、利用者にとって好ましい画像処理を実現することができる。

【0188】

＜変形例＞
以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。例えば、上述した各実施形態を適宜組み合わせてもよい。例えば、実施形態７においては、利用者の性別に応じて、９秒カウントするか７秒カウントするかを選択する態様について説明したが、実施形態７と実施形態１または実施形態２とを組み合わせてもよい。この場合には、利用者の性別が男性の場合には、撮影間隔を１７秒で一定とし、女性の場合には、撮影枚数に応じて９秒カウントと７秒カウントとを選択するようにしてもよい。

【0189】

また、手動で撮影間隔を切り替えるようにしてもよい。例えば、セルフシャッタボタンと、スライドバー等とを設け、セルフシャッタボタンについては、撮影間隔を切り替えるのではなく、撮影のタイミングを決定するように構成する。そして、スライドバー等を操作することにより、セルフシャッタボタンを操作した以降の撮影間隔を変更できるようにしてもよい。

【0190】

（ソフトウェアによる実現例）
写真シール作成装置１の機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

【0191】

後者の場合、写真シール作成装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

【0192】

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0193】

１ 写真シール作成装置（画像処理装置）
３０１ 事前選択処理部
３０２ 撮影処理部
３０３ 抽出部
３０４ 生成部
３０５ 画像処理部
３０６ 合成部
３０７ 編集処理部
３０８ 印刷処理部（出力部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】