(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
本実施形態における遊戯画像撮影装置は、撮影ブースと編集ブースを備える。ユーザは撮影ブースにて自らを撮影する。以下、撮影ブースにおいて被写体(ユーザ)を撮影した画像のことを「撮影画像」とよぶ。遊戯画像撮影装置は、撮影ブースにおいて肌の美白化、髪のつや出しなどの画像修正を撮影画像に施す(以下、このような画像修正を「事前修正」とよぶ)。本実施形態における遊戯画像撮影装置は、撮影ブースにおいて静止画像だけでなく動画像も撮影する。撮影画像のうち、動画像として取得されるものを「撮影動画像」、静止画像として取得されるものを「撮影静止画像」とよぶ。
【0012】
事前修正を施された撮影画像は、編集ブースに送られる。ユーザは、編集ブースにおいて、スタンプ画像の貼付やスタイラスペンによる落書きなど任意の装飾や目の大きさや肌の白さなどの画像修正を撮影画像に施すことができる(以下、このような画像の装飾を「装飾加工」または「編集」とよぶ)。編集ブースにおいて編集対象となっている撮影画像のことを「対象画像」とよぶ。また、対象画像のうち、撮影動画像を編集対象としたものを「対象動画像」、撮影静止画像を編集対象としたものを「対象静止画像」とよぶ。
【0013】
遊戯画像撮影装置は、対象静止画像をシール台紙(外部媒体)に印刷する。また、遊戯画像撮影装置は、対象動画像および対象静止画像をサーバ(外部媒体)にアップロードする。ユーザは、スマートフォンなどのユーザ端末からサーバにアクセスすることにより、装飾加工後の対象画像(対象動画像と対象静止画像)をダウンロードすることもできる。以上のように、本実施形態における遊戯画像撮影装置は、撮影機能、編集機能(装飾加工機能)、印刷機能および通信機能を備える。
以下においては、被写体の各種情報に基づく撮影・編集時の設定変更を中心として説明する。
【0014】
図1は、遊戯画像撮影システム200の全体構成図である。
遊戯画像撮影システム200においては、遊戯画像撮影装置100はインターネット204を介してサーバ202およびユーザ端末206と接続される。遊戯画像撮影装置100においてユーザは自らを撮影する。遊戯画像撮影装置100は、被写体(ユーザ)を含む撮影画像を取得し、必要に応じて事前修正を撮影画像に施し、ユーザによる装飾加工を受け付ける。ユーザは、あらかじめ付与されたユーザIDにより識別される。ユーザは、ユーザIDが登録されたユーザカードを利用して遊戯画像撮影装置100のプレイ予約をする。
【0015】
装飾加工後の対象画像はユーザIDとともに遊戯画像撮影装置100からサーバ202にアップロードされる。サーバ202は、ユーザID、撮影日時および対象画像(対象動画像と対象静止画像)を対応づけて保存する。ユーザは、ユーザIDおよびパスワード等の認証情報を介してサーバ202にアクセスすることにより、サーバ202から対象画像をダウンロードする。
【0016】
サーバ202は、ユーザに関連する各種情報(以下、「ユーザ情報」とよぶ)を管理する。本実施形態における遊戯画像撮影装置100は、ライブビュー画像に基づいて被写体への指示や撮影条件の設定変更を自動的に行う。
【0017】
図2は、遊戯画像撮影装置100の外観斜視図である。
遊戯画像撮影装置100は、受付装置102、撮影ブース104、編集ブース106および印刷装置110を備える。ユーザは、受付装置102において遊戯画像撮影装置100の使用を予約する。ユーザは、受付装置102においてユーザIDを入力するとともに、現金または電子マネーにてプレイ料金を支払う。受付装置102は、ユーザに予約番号を発行する。受付装置102は、受付モニタ108において待機人数および呼び出し対象となる予約番号を表示させる。ユーザは、自分の予約番号が受付モニタ108に表示されると、撮影ブース104に入室する。あるいは、撮影ブース104が使用されているときには次のユーザを待機させて、撮影ブース104が空いてから次のユーザを受け入れるようにしてもよい。
【0018】
撮影ブース104においてユーザは写真撮影を行う。撮影終了後、ユーザは編集ブース106に移動する。編集ブース106には、編集装置126が設置される。編集装置126は、編集モニタ120を備える。編集モニタ120には対象画像(装飾加工の対象となる撮影画像)が表示される。本実施形態における編集モニタ120は、静電容量式タッチパネルにより形成される。1つの編集モニタ120に対して、2つのスタイラスペン122a、122bが用意される。ユーザはスタイラスペン122および指を使って対象画像に装飾加工を施す。編集終了後、印刷装置110は対象静止画像をシール台紙に印刷する。また、編集装置126は、対象画像をサーバ202にアップロードする。
【0019】
図3は、撮影ブース104の外観斜視図である。
撮影ブース104は、カーテン124により外部から遮蔽される。撮影ブース104には、撮影装置128が設置される。撮影装置128は、被写体となるユーザを3方向から照らす3つのライト116、撮影静止画像および撮影動画像を取得するためのカメラ118、第1撮影モニタ112、第2撮影モニタ114、左側ストロボ119aおよび右側ストロボ119bを備える。
【0020】
第1撮影モニタ112は、ライブビュー画像及びユーザの撮影画像(撮影動画像と撮影静止画像)を表示させる。第2撮影モニタ114は、被写体となるユーザ以外の人物、たとえば、モデルの撮影画像(以下、「サンプル画像」とよぶ)を表示させる。ユーザは、第2撮影モニタ114に表示されるサンプル画像を参考にしながら、カメラ118の前で任意の撮影ポーズをとる。第2撮影モニタ114には、撮影方法に関する各種説明も表示される。左側ストロボ119aおよび右側ストロボ119bは、撮影静止画像の撮影と同時に発光する。上述したように、撮影ブース104においては、撮影動画像および撮影静止画像を取得できる。
本実施形態においては、第2撮影モニタ114はサンプル画像により、撮影ポーズも指示する(詳細は、省略する)。
【0021】
図4は、遊戯画像撮影装置100におけるプレイの流れを示すフローチャートである。
図5は、遊戯画像撮影装置100を上から見た平面図である。
ユーザは、受付装置102において使用予約を行うと、受付装置102は受付処理を実行する(S10)。受け付け後、ユーザは撮影ブース104に入室する。撮影装置128は、ユーザを撮影し、ユーザの撮影画像を取得する(S12)。撮影装置128は、所定回の静止画撮影を行う。この例では、静止画撮影とともに、動画の撮影も行われる。撮影動画と撮影静止画は、セットで扱われる。このセットを、撮影画像セットという。この例では、最大6個の撮影画像セットが生成される。撮影に際し、ユーザは、撮影装置128が提供する複数の事前修正メニューから事前修正の方法を選択できる。また、ユーザは、撮影装置128において撮影画像の背景色等も選択できる。撮影装置128は、撮影画像を取得するごとに事前修正を実行する。なお、事前修正メニューは、受付装置102においてプレイ前に選択できてもよい。また、編集ブース106において、撮影画像の背景色等の選択を受け付けてもよい。
【0022】
撮影後、第1撮影モニタ112には、2つの編集ブース106のいずれかを指示する指示情報が表示される。ユーザは、2つの編集ブース106a、106bのうち、第1撮影モニタ112により指定された編集ブース106に移動する。撮影装置128からは、編集装置126に撮影画像が転送される。ユーザは、編集装置126において転送された撮影画像(対象画像)に装飾加工を施す(S14)。
【0023】
編集後、編集装置126は対象画像を印刷装置110に送り、印刷装置110は対象画像をシール台紙に印刷する(S16)。また、編集装置126は、インターネット204を介して対象画像をサーバ202にアップロードする(S18)。ユーザは、ユーザIDをアクセスキーとしてサーバ202にアクセスすることにより、対象画像をサーバ202からユーザ端末206にダウンロードできる。
【0024】
一般的には、撮影作業よりも編集作業に時間がかかる。本実施形態における遊戯画像撮影装置100においては、1つの撮影ブース104に対して2つの編集ブース106a、106b(編集装置126a、126b)を設けることにより、顧客回転率を高めている。
【0025】
図6は、編集画面の画面図である。
この図は、左側ユーザが操作するための編集画面を示している。右側には、右側ユーザが操作するための編集画面が表示されている。右側ユーザが操作するための編集画面については省略するが、この図と対称のレイアウトであって同様にユーザ操作を受け付け、撮影静止画像を表示する。以下、撮影静止画像の左側にユーザAが写り、右側にユーザBが写っており、ユーザAが
図6に示した左側の編集画面に向かい、ユーザBが図示しない右側の編集画面に向かっているものとする。
【0026】
この例では、撮影静止画像を5つ取得したものとする。画像タブ300a〜300e(以下、まとめて言うときや特に区別しないときには「画像タブ300」と総称する)は、事前修正された撮影静止画像に対応している。ユーザAが画像タブ300にタッチすると、画像タブ300に対応する撮影静止画像が、画像表示領域302に対象静止画像として表示される。
【0027】
撮影静止画像の背景は、事前修正によって置き換えられている。図中、置き換えられた背景を格子状パターンで示しているが、実際には所定の色で塗られている。事前修正では、ユーザAとユーザBの両方に対して肌の美白化、髪のつや出しの他、唇の加工やフェイスラインの修正も行われる。
【0028】
リップパレット304は、対象静止画像に含まれるユーザの唇に対する加工の度合いを指示するために用いられる。リップパレット304をユーザが操作すると、更新された対象静止画像が画像表示領域302に表示される。
【0029】
図7は、リップパレットの画面図である。
大タブ306a〜306d(以下、まとめて言うときや特に区別しないときには「大タブ306」と総称する)は、パレットを選択するために用いられる。この例では、「メイク」の大タブ306dが選択されているものとする。「メイク」以外の「スタンプ」、「ペン」および「もじ」のパレットについては、省略する。
【0030】
小タブ308a、308bは、「リップ」または「チーク」のパレットを選択するために用いられる。この例では、「リップ」の小タブ308aが選択されているものとする。「チーク」のパレットについては、省略する。
【0031】
顔選択ウィンドウ310は、唇加工の対象となるユーザを選択するために用いられる。顔選択ウィンドウ310には、撮影静止画像を縮小した画像が表示される。ユーザAが、選択枠312をスライドさせてユーザA自身の顔に合わせると、ユーザAの顔における唇加工が調整される。
【0032】
質感ボタン314a〜314c(以下、まとめて言うときや特に区別しないときには「質感ボタン314」と総称する)は、唇の質感、つまり口紅の照り具合を指定するために用いられる。「ツヤ」の質感ボタン314aが選択されると、口紅の光沢を強調した仕上がりとなる。したがって、リップグロスを塗ったように華やかな印象になる。具体的には、予め用意されている大きな定形のハイライト画像が、唇に配置される。このハイライト画像は、標準的な唇における強い反射によって表れる形状をしている。
【0033】
一方、「マット」の質感ボタン314bが選択されると、口紅の光沢を抑えた仕上がりとなる。したがって、マットリップを塗ったように落ち着いた印象になる。具体的には、予め用意されている小さな定形のハイライト画像が、唇に配置される。このハイライト画像は、標準的な唇における弱い反射によって表れる形状をしている。
【0034】
他方、「元の質感」の質感ボタン314cが選択されると、ユーザ自身の元の光沢を再現する。したがって、ユーザの個性が生かされ素直な印象になる。ハイライト画像は、撮影静止画像から抽出される。撮影静止画像から抽出されたハイライト画像は、ユーザの唇における反射によって表れる形状をしている。
【0035】
このように、質感ボタン314の選択によってハイライト画像の形状が決まり、口紅の光沢感を調整することができる。なお、事前修正では、「元の質感」によって処理する。したがって、ユーザAの唇には、ユーザAの元の光沢が再現され、ユーザBの唇には、ユーザBの元の光沢が再現される。
【0036】
口紅色ボタン316a〜316d(以下、まとめて言うときや特に区別しないときには「口紅色ボタン316」と総称する)は、口紅色を指定するために用いられる。口紅色ボタン316a〜316dは、異なる口紅色に対応している。口紅色は様々であるが、たとえばピンク系、オレンジ系、ベージュ系やレッド系などに属する標準的な色が用いられる。この例では、口紅色ボタン316を4つ示しているが、口紅色ボタン316は4つ以上であってもよい。
【0037】
元の色ボタン318には、個性を抑えた自然な口紅色が割り当てられている。この口紅色は、事前処理でも用いられる。特に口紅を強調しないが、素地よりも美しく見える色合いにするためにこの口紅色を用いる。たとえば幼少のユーザの場合には、口紅を強調すると不自然になることがあるので、元の色を用いると印象がよくなる。なお、元の色ボタン318が選択された場合でも、上述の質感を設定することはできる。
【0038】
口紅消しゴムボタン320は、口紅を塗る唇領域を修正するために用いられる。唇領域は自動的に抽出されるが、抽出された唇領域が大きすぎる場合には、ユーザが口紅消しゴムを使って修正する。具体的には、口紅消しゴムボタン320の選択によって表示される口紅消しゴムカーソルをスライドさせることによって、口紅消しゴムカーソルが通過した部分を唇領域から除外する。これにより、はみ出した唇領域の口紅を消し取ることができる。
【0039】
事前修正の場合も、リップパレットによる調整の場合も、唇加工の仕組みは同様である。いずれの場合にも、レイヤ合成を行う。
【0040】
図8は、レイヤ構成を示す図である。レイヤ合成において3つのレイヤが設定される。下位には背景レイヤ500が設けられ、中間には人物レイヤ502が設けられ、上位には唇レイヤ503が設けられる。
【0041】
背景レイヤ500には、背景画像404が描画される。背景画像404は、一面が所定の背景色の画像である。人物レイヤ502には、人物画像402が描画される。人物画像402の人物部分は、撮影静止画像のままである。人物画像402の背景部分は透明である。唇レイヤ503には、加工済み唇画像424が描画される。加工済み唇画像424の唇領域以外は透明であり、唇画像には後述する加工が施されている。加工済み唇画像424の生成については、
図9に関連して詳述する
【0042】
各レイヤを合成すると、合成画像が得られる。合成画像の背景部分には、唇レイヤ503と人物レイヤ502を透過して、背景レイヤ500の背景画像404が現れる。合成画像の人物部分(唇部分を除く)には、唇レイヤ503を透過して、人物レイヤ502の人物画像402が現れる。合成画像の唇部分には、加工済み唇画像424が現れる。このように、背景の上に人物が重なり、さらにその上に加工された唇が重ねられる。以下、このようにして生成される合成画像を全体合成画像406という。
【0043】
図9は、唇画像の加工の概要を示す図である。
人物画像402から顔認識によって顔領域の画像、つまり顔画像410が抽出される。さらに顔画像410の唇領域の画像、つまり元唇画像412が抽出される。たとえばエッジ処理によって唇領域が特定される。元唇画像412の唇領域以外の領域は、透明である。
【0044】
元唇画像412からハイライト画像414が抽出される。所定のハイライト基準より高い明度の領域がハイライト領域となり、ハイライト領域の画像がハイライト画像414となる。ハイライト画像414のハイライト領域以外の領域は、透明である。
【0045】
元唇画像412から影画像416が抽出される。所定の影基準より低い明度の領域が影領域となり、影領域の画像が、影画像416となる。影画像416の影領域以外の領域は、透明である。
【0046】
元唇画像412に下地色を合成して下地唇画像418が得られる。下地色の合成は、化粧品のリップコンシーラーを模したものである。具体的には、下地色を所定の下地透明度(たとえば50〜90%)で重ねる。下地色は、標準的な唇の色である。たとえば、元々の唇の色が暗い場合でも、標準的な唇の色に近づくので、口紅色が映えやすくなる。下地色の合成において、唇表面の凹凸を隠すように、画像の平滑化を行ってもよい。ハイライトと影の領域にも下地色が重ねられるので、全体として均質な画像になる。
図9に示した下地唇画像418ではハイライトと影を示していないが、実際にはわずかに判別できる。下地唇画像418の唇領域以外の領域は、透明である。なお、使用する口紅色に応じて、下地色の透明度をかえてもよい。
【0047】
下地唇画像418に口紅色を合成して口紅唇画像420が得られる。具体的には、口紅色を所定の口紅色透明度(たとえば10〜50%)で重ねる。ハイライトと影の領域にも口紅色が重ねられるので、全体としてさらに均質な画像になる。したがって、口紅唇画像420では元のハイライトと影が不鮮明になる。口紅唇画像420の唇領域以外の領域は、透明である。
【0048】
口紅唇画像420にハイライト画像414をハイライト透明度(たとえば0〜40%)で重ねてハイライト唇画像422を生成する。「元の質感」の場合にはハイライト画像414を用いるが、「ツヤ」の質感の場合には、「ツヤ」用の定形のハイライト画像を用いる。また、「マット」の質感の場合には、「マット」用の定形のハイライト画像を用いる。ハイライト画像を重ねると、ハイライト部分が明瞭になる。なお、ハイライト唇画像422の唇領域以外の領域は、透明である。
【0049】
ハイライト唇画像422に影画像416を影透明度(たとえば0〜40%)で重ねて加工済み唇画像424を生成する。加工済み唇画像424では、さらに影部分が明瞭になる。加工済み唇画像424の唇領域以外の領域は、透明である。
【0050】
このように唇を加工すれば、元の撮影静止画像のハイライトと影が再現され、元の唇の印象が維持される。唇の形状によって、ハイライトが現れる部分と影が現れる部分が異なるので、その部分を使うことによってユーザ毎の唇の個性が生かされる。
【0051】
図10は、遊戯画像撮影装置の機能ブロック図である。
遊戯画像撮影装置100の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサなどの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。
上述したように、遊戯画像撮影装置100は、撮影装置128、受付装置102、編集装置126および印刷装置110の集合体として構成される。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【0052】
遊戯画像撮影装置100は、ユーザインタフェース処理部130、データ処理部132、通信部134およびデータ格納部136を含む。
ユーザインタフェース処理部130は、受付モニタ108、編集モニタ120等を介したユーザインタフェース処理を担当する。通信部134は、インターネット204を介してサーバ202との通信処理を担当する。通信部134は、近距離無線通信によりユーザ端末206とダイレクトに通信してもよい。たとえば、通信部134からユーザ端末206に対象画像を直接送信してもよい。データ格納部136は各種データを格納する。データ処理部132は、通信部134により取得されたデータおよびデータ格納部136に格納されているデータに基づいて各種処理を実行する。データ処理部132は、ユーザインタフェース処理部130、通信部134およびデータ格納部136のインタフェースとしても機能する。
【0053】
ユーザインタフェース処理部130は、ユーザによる操作入力を受け付ける入力部140と、ユーザへの情報提示を行う出力部142と、撮影画像を取得する撮影部138(カメラ118)を含む。入力部140は、受付装置102、撮影装置128、編集装置126等に設置されるタッチパネルに対するユーザの操作入力を検出する。入力部140は、スタイラスペン122による操作入力も検出する。出力部142は、受付装置102、撮影装置128、編集装置126等における画像表示のほか、音声出力、印刷出力など各種の出力処理を実行する。
【0054】
入力部140は、受付部158を含む。受付部158は、編集処理においてユーザ操作を受け付ける。
【0055】
出力部142は、画像出力部170を含む。画像出力部170は、撮影静止画像を対象静止画像として編集モニタ120に表示させる。
【0056】
データ処理部132は、撮影制御部144、編集処理部146、受付管理部148、印刷処理部150、画像抽出部160および画像加工部162を含む。
撮影制御部144は、撮影ブース104における撮影処理を制御する。撮影制御部144は、撮影ブース104においてユーザに撮影タイミングを通知する。撮影タイミングを時刻t1とすると、撮影制御部144は時刻t1よりも1.5秒前から0.1秒前まで動画像(以下、「前半動画像」とよぶ)を記録し、時刻t1において撮影静止画像を取得し、時刻t1の0.1秒後から1.5秒後まで動画像(以下、「後半動画像」とよぶ)を再び記録する。撮影制御部144は、前半動画像と後半動画像をつなげることにより撮影動画像を生成する。撮影制御部144は、撮影部138に撮影の開始指示および停止指示を送信することにより、撮影部138を制御する。また、撮影制御部144は、撮影静止画の取得時においては、ストロボ119a、119bを発光させる。撮影動画像は、撮影静止画の取得期間、いいかえれば、ストロボ発光時の動画が含まれないため、ストロボ発光が映り込むことがない。
【0057】
編集処理部146は、ユーザからの操作入力にしたがって対象静止画像を装飾加工する。
【0058】
受付管理部148は、受付装置102においてユーザによるプレイ料金の支払いと予約順序を管理する。受付管理部148は、撮影ブース104において撮影作業が終了するごとに、予約中のユーザを撮影ブース104に案内する。印刷処理部150は、印刷装置110における対象静止画像の印刷を制御する。
【0059】
画像抽出部160は、撮影静止画像から唇画像、ハイライト画像や影画像などの抽出を行う。画像加工部162は、撮影静止画像に対する加工を行う。
【0060】
図11は、事前処理の過程を示すフローチャートである。
上述したように、事前処理では「元の質感」に相当するハイライト画像と「元の色」に相当する口紅色を用いる。画像抽出部160は、
図9に示したとおり撮影静止画像400から人物画像402を抽出する(S30)。複数の場合は、各人物について顔画像410を抽出する。この例では、ユーザAとユーザBの顔画像410が抽出される。
【0061】
画像抽出部160は、各顔画像410から元唇画像412を抽出する(S32)。この例では、ユーザAとユーザBの元唇画像412が抽出される。画像抽出部160は、各元唇画像412からハイライト画像414を抽出する(S34)。この例では、ユーザAとユーザBのハイライト画像414が抽出される。さらに画像抽出部160は、各元唇画像412から影画像416を抽出する(S36)。この例では、ユーザAとユーザBの影画像416が抽出される。
【0062】
画像加工部162は、各元唇画像412について下地色を合成して、下地唇画像418を生成する(S38)。この例では、ユーザAとユーザBの下地唇画像418が生成される。画像加工部162は、各下地唇画像418について口紅色を合成して、口紅唇画像420を生成する(S40)。この例では、ユーザAとユーザBの口紅唇画像420が生成される。
【0063】
画像加工部162は、各口紅唇画像420について、ハイライト画像414を重ねて、ハイライト唇画像422を生成する(S42)。この例では、ユーザAとユーザBのハイライト唇画像422が生成される。画像加工部162は、各ハイライト唇画像422について、影画像416を重ねて、加工済み唇画像424を生成する(S44)。この例では、ユーザAとユーザBの加工済み唇画像424が生成される。加工済み唇画像424は、
図8に示すように1つの画像にまとめられ、ユーザAの唇とユーザBの唇とをあわせ持つ。画像加工部162は、
図8に示したようにレイヤ合成を行って全体合成画像406を生成する。(S46)。全体合成画像406が対象静止画像として用いられる。
【0064】
図12は、編集処理の過程を示すフローチャートである。
画像出力部170は、
図6に示した編集画面の画像表示領域302に、事前処理によって得られた対象静止画像を表示する。
【0065】
この例では、ユーザAが「リップ」の小タブ308aにタッチし、受付部158がリップパレット304の選択を受け付けたものとする(S12)。したがって、リップパレット304(
図7)が表示される。この例では、ユーザAが、顔選択ウィンドウ310においてユーザA自身の顔を選択したものとする。
【0066】
受付部158が質感ボタン314のタッチを受け付けた場合には、適用する質感を変更し、口紅色ボタン316又は元の色ボタン318のタッチを受け付けた場合には、適用する口紅色を変更して(S14のY)、画像更新処理を実行する(S16)。画像更新処理では、変更された質感又は口紅色に応じて全体合成画像406が再合成され、画像出力部170は画像表示領域302に再合成された全体合成画像406を表示する。画像更新処理については、
図13に関連して説明する。画像更新処理を終えるとS14に戻る。
【0067】
受付部158が口紅消しゴムボタン320の選択を受け付けた場合には(S18のY)、編集処理部146は、口紅消しゴムカーソルの操作に応じて唇領域を修正し(S20)、修正された唇領域で画像更新処理を実行する(S22)。唇領域が修正されると、
図9に示した元唇画像がその分小さくなる。画像出力部170は、画像表示領域302に再合成された全体合成画像406を表示する。そして、画像更新処理を終えるとS14に戻る。
【0068】
受付部158が大タブ306a〜306cまたは小タブ308bの選択を受け付けた場合には(S24のY)、S12に戻って、選択されたタブに対応するパレットに切り替わる。リップパレット304以外のパレットにおける動作については、省略する。また、S24のNの場合にはS14に戻って、編集が終了するまで上述した処理を繰り返す。
【0069】
図13は、画像更新処理の過程を示すフローチャートである。
事前処理において、顔画像410、元唇画像412、ハイライト画像414および影画像416を得ているので、人物抽出、唇抽出、ハイライト抽出および影抽出の処理は、省略できる。ただし、改めて人物抽出、唇抽出、ハイライト抽出および影抽出の処理を行ってもよい。
【0070】
画像加工部162は、顔選択ウィンドウ310でユーザによって選択された顔画像410の元唇画像412に対して下地色を合成して、下地唇画像418を生成する(S50)。口紅消しゴムの操作で唇領域が修正された場合には、修正された元唇画像412に対して下地色が合成される。この例では、ユーザAの下地唇画像418が再生成される。
【0071】
画像加工部162は、下地唇画像418に対して口紅色を合成して、口紅唇画像420を生成する(S52)。口紅色ボタン316または元の色ボタン318が選択された場合には、選択された口紅色ボタン316または元の色ボタン318に対応する口紅色が使用される。この例では、ユーザAの口紅唇画像420が再生成される。
【0072】
画像加工部162は、口紅唇画像420に対してハイライト画像414を重ねて、ハイライト唇画像422を生成する(S54)。質感ボタン314が選択された場合には、選択された質感ボタン314に対応するハイライト画像が使用される。この例では、ユーザAのハイライト唇画像422が再生成される。
【0073】
画像加工部162は、ハイライト唇画像422に対して影画像416を重ねて、加工済み唇画像424を生成する(S56)。この例では、ユーザAの加工済み唇画像424が再生成される。ユーザAによって選択されなかったユーザBについては、唇の加工を変えない。したがって、再生成されたユーザAの加工済み唇画像424と現状のユーザBの加工済み唇画像424が1つの画像にまとめられる。画像加工部162はレイヤ合成を行って、全体合成画像406を再生成する(S58)。画像出力部170は、再生成された全体合成画像406を画像表示領域302に表示する(S60)。
【0074】
[変形例1]
実施形態では、唇以外を透明とする加工済み唇画像424を生成して、人物画像402に重ねる例を示したが、唇以外を不透明とするマスクを用いて唇の加工を行ってもよい。
【0075】
変形例1では、3回のレイヤ合成を行う。つまり、3段階のレイヤ合成によって全体合成画像406を生成する。
【0076】
図14は、変形例1における第1段階のレイヤ合成におけるレイヤ構成を示す図である。
第1段階のレイヤ合成では、4つのレイヤが設定される。最下位には背景レイヤ500が設けられ、その上位には人物レイヤ502が設けられ、さらに上位にマスク付きの下地レイヤ506が設けられ、最上位にマスク付きの口紅レイヤ510が設けられる。
【0077】
図中では便宜的に下地レイヤ506の下位に下地レイヤマスク504を示したが、下地レイヤマスク504は下地レイヤ506とセットである。同じく口紅レイヤ510の下位に口紅レイヤマスク508を示したが、口紅レイヤマスク508は口紅レイヤ510とセットである。
【0078】
実施形態と同様に、背景レイヤ500には所定の背景画像404が描画され、人物レイヤ502には人物画像402が描画される。
【0079】
下地レイヤマスク504の唇領域は透明であり、唇領域以外の領域は不透明である。下地レイヤ506には下地色画像436が描画される。下地色画像436は、一面が下地色であり所定の下地透明度が設定されている。下地レイヤ506と下地レイヤマスク504のセットによって、唇領域以外に影響を与えずに、唇領域に下地透明度で下地色を重ねることができる。
【0080】
下地レイヤマスク504と同様に、口紅レイヤマスク508の唇領域は透明であり。唇領域以外の領域は不透明である。口紅レイヤ510には口紅色画像438が描画される。口紅色画像438は、一面が口紅色であり所定の口紅色透明度が設定されている。口紅レイヤ510と口紅レイヤマスク508のセットによって、唇領域以外に影響を与えずに、唇領域に口紅色を重ねることができる。
【0081】
各レイヤを合成すると、一次合成画像432が得られる。一次合成画像432の背景部分には、人物レイヤ502を透過して、背景レイヤ500の背景画像404が現れる。一次合成画像432の人物部分(唇部分を除く)には、人物レイヤ502の人物画像402が現れる。一次合成画像432の唇部分には、人物レイヤ502の人物画像402の唇部分に、下地色が下地透明度で重ねられ、口紅色が口紅色透明度で重ねられた画像が現れる。
【0082】
一次合成画像432では、ハイライトと影の領域にも口紅色が重ねられているので、全体として均質な唇画像になる。つまり、元のハイライトと影は不鮮明になる。次のレイヤ合成では、ハイライト画像を重ねる。
【0083】
図15は、変形例1における第2段階のレイヤ合成におけるレイヤ構成を示す図である。
第2段階のレイヤ合成では、2つのレイヤが設定される。下位には一次合成レイヤ511が設定され、上位にはマスク付きのハイライトレイヤ514が設定される。図中では便宜的にハイライトレイヤ514の下位にハイライトレイヤマスク512を示したが、ハイライトレイヤマスク512はハイライトレイヤ514とセットである。
【0084】
ハイライトレイヤマスク512のハイライト領域は透明であり、ハイライト領域以外の領域は不透明である。ハイライトレイヤ514にはハイライト色画像440が描画される。ハイライト色画像440は、一面がハイライト色(白あるいはハイライト色基準よりも明度が高い色)であり、ハイライト透明度(たとえば0〜40%)が設定されている。ハイライトレイヤ514とハイライトレイヤマスク512のセットによって、ハイライト領域以外に影響を与えずに、ハイライト領域にハイライト色を重ねることができる。
【0085】
各レイヤを合成すると、二次合成画像434が得られる。ハイライト領域以外は、一次合成画像432のままである。ハイライト領域にはハイライト色が付されるので、明度の差が強くなる。二次合成画像434における唇部分の画像は、
図9に示したハイライト唇画像422と近しい。次のレイヤ合成では、さらに影画像を重ねる。
【0086】
図16は、変形例1における第3段階のレイヤ合成におけるレイヤ構成を示す図である。
第3段階のレイヤ合成では、2つのレイヤが設定される。下位には二次合成レイヤ515が設定され、上位にはマスク付きの影レイヤ518が設定される。図中では便宜的に影レイヤ518の下位に影レイヤマスク516を示したが、影レイヤマスク516は影レイヤ518とセットである。
【0087】
影レイヤマスク516の影領域は透明であり、影領域以外の領域は不透明である。影レイヤ518には影色画像442が描画される。影色画像442は、一面が影色(黒あるいは影色基準よりも明度が低い色)であり、影透明度(たとえば0〜40%)が設定されている。影レイヤ518と影レイヤマスク516のセットによって、影領域以外に影響を与えずに、影領域に影色を重ねることができる。
【0088】
各レイヤを合成すると、全体合成画像406が得られる。影領域以外は、二次合成画像434のままである。影領域には影色が付されるので、明度の差が強くなる。全体合成画像406における唇部分の画像は、
図9に示した加工済み唇画像424に近しい。
【0089】
図17は、変形例1における事前処理の過程を示すフローチャートである。
画像抽出部160による人物抽出(S70)と唇抽出(S72)は、
図11の場合と同様である。
【0090】
画像加工部162は、口紅レイヤマスク508と下地レイヤマスク504を生成する(S74、S76)。さらに、画像加工部162は、ハイライトレイヤマスク512を生成し(S78)、さらに影レイヤマスク516を生成する(S80)。
【0091】
画像加工部162は、上述のとおり3段階のレイヤ合成を行う(S82)。3段階のレイヤ合成によって生成された全体合成画像406が、対象静止画像となる。
【0092】
図18は、変形例1における画像更新処理の過程を示すフローチャートである。
画像加工部162は、口紅レイヤマスク508と下地レイヤマスク504を生成する(S90、S92)。口紅消しゴムで唇領域が縮小されている場合には、口紅レイヤマスク508と下地レイヤマスク504の透明部分が小さくなり、不透明部分が大きくなる。
【0093】
画像加工部162は、3段階のレイヤ合成を行う(S94)。口紅色が変更された場合には、
図14の口紅色画像438が変わる。質感が変更された場合には、
図15のハイライトレイヤマスク512のハイライト領域が変わる。画像出力部170は、全体合成画像406を画像表示領域302に表示する(S96)。
【0094】
[変形例2]
実施形態では、唇全体に対して下地と口紅の加工をした上で、ハイライトと影を重ねる例を示したが、ハイライトと影を除く唇領域に対して下地と口紅の加工をして、元のハイライトと影を残すようにしてもよい。
【0095】
図19は、変形例2におけるレイヤ構成を示す図である。
レイヤ合成では、
図8と同様に3つのレイヤが設定される。下位には背景レイヤ500が設定され、中間には人物レイヤ502が設定され、上位には唇レイヤ503が設定される。
【0096】
図8と同様に、背景レイヤ500には所定の背景画像404が描画され、人物レイヤ502には人物画像402が描画される。唇レイヤ503に描画される加工済み唇画像430は、
図8の加工済み唇画像424と異なる。加工済み唇画像430は、唇領域以外の領域に加えて、ハイライト領域および影領域も透明である。ハイライト領域および影領域を除く唇領域には、
図8の加工済み唇画像424と同様に下地色と口紅色が重ねられる。
【0097】
各レイヤを合成すると、全体合成画像406が得られる。全体合成画像406の背景部分には、唇レイヤ503と人物レイヤ502を透過して、背景レイヤ500の背景画像404が現れる。全体合成画像406の人物部分(唇部分を除く)には、唇レイヤ503を透過して、人物レイヤ502の人物画像402が現れる。全体合成画像406の唇のハイライトを除く唇部分には、加工済み唇画像430が現れる。全体合成画像406のハイライトと影には、唇レイヤ503を透過して、人物レイヤ502の人物画像402のハイライトと影が現れる。つまり、人物画像402のハイライトと影がそのまま用いられる。
【0098】
図20は、変形例2における唇画像の加工の概要を示す図である。
顔画像410、元唇画像412、ハイライト画像414および影画像416は、
図9の場合と同様である。
【0099】
切り抜き唇画像426は、元唇画像412のうち、ハイライト領域および影領域を透明にした画像である。変形例2では、切り抜き唇画像426に対して下地色を合成して下地唇画像428を生成する。下地唇画像428のハイライト領域および影領域は透明である。さらに、下地唇画像428に対して口紅色を合成して加工済み唇画像430を生成する。加工済み唇画像430のハイライト領域および影領域は透明である。
【0100】
図21は、変形例2における事前処理の過程を示すフローチャートである。
画像抽出部160による人物抽出(S30)、唇抽出(S32)、ハイライト抽出(S34)および影抽出(S36)は、
図11の場合と同様である。
【0101】
画像加工部162は、元唇画像412からハイライトと影を切り抜く(S100)。つまり、元唇画像412におけるハイライト領域と影領域を透明に設定して、切り抜き唇画像426を生成する。画像加工部162は、切り抜き唇画像426に下地色を合成して下地唇画像428を得る(S38)。画像加工部162は、さらに下地唇画像428に口紅色を合成して加工済み唇画像430を得る(S40)。画像加工部162は、
図19に示したレイヤ構成でレイヤ合成を行い、全体合成画像406を得る(S46)。そして、全体合成画像406が対象静止画像となる。
【0102】
図22は、変形例2における画像更新処理の過程を示すフローチャートである。
画像抽出部160は、元唇画像412からハイライトと影を切り抜く(S100)。質感が変更された場合には、切り抜き唇画像426において透明になるハイライト領域の形状が変わる。画像加工部162は、切り抜き唇画像426に下地色を合成して下地唇画像428を得る(S50)。画像加工部162は、さらに下地唇画像428に口紅色を合成して加工済み唇画像430を得る(S52)。口紅色が変更された場合には、加工済み唇画像430の色味が変わる。画像加工部162は、
図19に示したレイヤ構成でレイヤ合成を行い、全体合成画像406を得る(S58)。画像出力部170は、全体合成画像406を画像表示領域302に表示する(S60)。
【0103】
[変形例3]
変形例1では、レイヤマスクを用いて、唇全体に対して下地色と口紅色を重ねる第1段階のレイヤ合成の後で、ハイライトを重ねる第2段階のレイヤ合成と、影を重ねる第3段階のレイヤ合成を行う例を示したが、レイヤマスクを用いて、ハイライトと影を除く唇領域に対して下地色と口紅色を重ねるレイヤ合成を行うようにしてもよい。
【0104】
図23は、変形例3におけるレイヤ構成を示す図である。
図14の場合と同様に、4つのレイヤが設定される。また、背景レイヤ500に描画される背景画像404、人物レイヤ502に描画される人物画像402、下地レイヤ506に描画される下地色画像436および口紅レイヤ510に描画される口紅色画像438も、
図14の場合と同様である。
【0105】
下地レイヤマスク520と口紅レイヤマスク522の形状が、
図14の場合と異なる。下地レイヤマスク520と口紅レイヤマスク522と共に、唇領域のうちハイライトと影を除く領域が透明である。唇領域以外の領域、ハイライト領域および影領域は不透明である。
【0106】
各レイヤを合成すると、全体合成画像406が得られる。全体合成画像406の背景部分には、人物レイヤ502を透過して、背景レイヤ500の背景画像404が現れる全体合成画像406の人物部分(唇部分を除く)には、人物レイヤ502の人物画像402が現れる。全体合成画像406のハイライトと影を除く唇部分には、人物レイヤ502の人物画像402の唇部分に、下地色と口紅色を合成した画像が現れる。全体合成画像406の唇のハイライトと影には、人物レイヤ502の人物画像402の唇のハイライトと影が現れる。つまり、人物画像402のハイライトと影がそのまま用いられる。
【0107】
図24は、変形例3における事前処理の過程を示すフローチャートである。
画像抽出部160による人物抽出(S70)と唇抽出(S72)は、
図12の場合と同様である。
【0108】
画像加工部162は、口紅レイヤマスク508と下地レイヤマスク504を生成する(S74、S76)。口紅レイヤマスク508と下地レイヤマスク504は、上述のとおり唇領域のうちハイライトと影を除く領域が透明である。それ以外は、不透明である。
【0109】
画像加工部162は、
図23に示したレイヤ合成を行い、全体合成画像406を得る(S82)。そして、全体合成画像406が、対象静止画像となる。
【0110】
図18を参照して、変形例3における画像更新処理の過程について説明する。画像加工部162は、上述した口紅レイヤマスク508と下地レイヤマスク504を生成する(S90、S92)。画像加工部162は、
図23に示したレイヤ合成を行い、全体合成画像406を得る(S94)。質感が変更された場合には、下地レイヤマスク504および口紅レイヤマスク508において透明になるハイライト領域の形状が変わる。口紅色が変更された場合には、口紅色画像438の口紅色が変わる。画像出力部170は、全体合成画像406を画像表示領域302に表示する(S96)。
【0111】
[その他の変形例]
図7に関連して、「ツヤ」の質感ボタン314aが選択された場合に、定形のハイライト画像を用いる例を示したが、ハイライト画像414を拡大させて、拡大されたハイライト画像を唇に配置してもよい。
【0112】
図7に関連して、「マット」の質感ボタン314bが選択された場合に、定形のハイライト画像を用いる例を示したが、ハイライト画像414を縮小させて、縮小されたハイライト画像を唇に配置してもよい。
【0113】
下地色の処理を省いて、口紅の処理だけを行ってもよい。また、唇の影に対する処理を省き、唇のハイライトに対する処理だけを行ってもよい。さらに、唇のハイライトに対する処理を省き、唇の影に対する処理だけを行ってもよい。
【0114】
口紅色は、唇部分に対して加える色味の例である。唇部分に対して加える色味は、口紅色ではなく、生体としての唇の色ととらえてもよい。
【0115】
口紅色の指示として、「もっと赤く」や「もっと濃く」などの調整操作を行ってもよい。
【0116】
唇のハイライトが不鮮明になる理由は、色味を加えるからということもあるが、平滑化(ぼかし)によるところも大きい。したがって、色味を加える処理を省いて、平滑化の処理だけを行う場合にも、ハイライト領域に元のハイライト画像を再現することによって、唇の質感を生かすという効果を奏する。
【0117】
頬の画像加工において、上述の実施形態および変形例1〜3を適用してもよい。その場合には、上述の説明における「唇」を「頬」に置き換え、「口紅」を「頬紅」に置き換える。なお、頬の加工の場合には、影部分の処理を省いてもよい。
【0118】
頭髪の画像加工において、上述の実施形態および変形例1〜3を適用してもよい。その場合には、上述の説明における「唇」を「頭髪」に置き換え、「口紅」を「毛染め」に置き換える。
【0119】
爪の画像加工において、上述の実施形態および変形例1〜3を適用してもよい。その場合には、上述の説明における「唇」を「爪に」置き換え、「口紅」を「マニキュア」に置き換える。
【0120】
瞳の画像加工において、上述の実施形態および変形例1〜3を適用してもよい。その場合には、上述の説明における「唇」を「瞳」に置き換え、「口紅」を「カラーコンタクト」に置き換える。
【0121】
ひたい、鼻やあごなどの画像加工において、上述の実施形態および変形例1〜3を適用してもよい。その場合には、上述の説明における「唇」を「ひたい、鼻やあご」などに置き換え、「口紅」を「ファウンデーション」に置き換える。
【0122】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。