(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023035468
(43)【公開日】2023-03-13
(54)【発明の名称】遊戯画像撮影装置
(51)【国際特許分類】
G03B 17/53 20210101AFI20230306BHJP
H04N 5/222 20060101ALI20230306BHJP
H04N 23/60 20230101ALI20230306BHJP
H04N 23/63 20230101ALI20230306BHJP
【FI】
G03B17/53
H04N5/222 500
H04N5/232 290
H04N5/232 930
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021142342
(22)【出願日】2021-09-01
(71)【出願人】
【識別番号】000132471
【氏名又は名称】株式会社セガ
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】木口 祐介
(72)【発明者】
【氏名】辻田 隆治
(72)【発明者】
【氏名】宮中 沙羅
(72)【発明者】
【氏名】小泉 雅人
【テーマコード(参考)】
2H104
5C122
【Fターム(参考)】
2H104AA19
2H104BC48
5C122DA34
5C122EA42
5C122FH00
5C122FH05
5C122FH11
5C122FH23
5C122FK12
5C122FK37
5C122FK41
5C122HB01
5C122HB05
5C122HB10
(57)【要約】
【課題】事前修正されるユーザの顔の装飾の程度を調整できる技術を提供する。
【解決手段】遊戯画像撮影装置は、撮影部と、撮影画像内のユーザの顔を検出する顔検出部と、顔に対する所定の盛りを施す顔加工部と、編集画面を表示する前に、所定の盛りが施された撮影画像を含む盛り調整画面を表示する表示部と、盛り調整画面において盛り調整指示を受け付ける受付部と、を有し、盛り調整指示を受け付けた場合に、顔加工部は、所定の盛りが施された撮影画像の顔に対する盛り調整を行い、盛り調整が確定した場合に、表示部は、盛り調整が行われた撮影画像を編集画面に表示し、受付部は、盛り調整が行われた撮影画像に対する編集操作を受け付ける。
【選択図】
図9
【特許請求の範囲】
【請求項1】
ユーザを撮影する撮影部と、
前記撮影部で得られた撮影画像に含まれる前記ユーザの顔を検出する顔検出部と、
前記顔に対する所定の盛りを施す顔加工部と、
編集画面を表示する前に、前記所定の盛りが施された前記撮影画像を含む盛り調整画面を表示する表示部と、
前記盛り調整画面において盛り調整指示を受け付ける受付部と、を有し、
前記盛り調整指示を受け付けた場合に、前記顔加工部は、前記所定の盛りが施された前記撮影画像の前記顔に対する盛り調整を行い、
前記盛り調整が確定した場合に、前記表示部は、前記盛り調整が行われた前記撮影画像を前記編集画面に表示し、前記受付部は、前記盛り調整が行われた前記撮影画像に対する編集操作を受け付けることを特徴とする遊戯画像撮影装置。
【請求項2】
前記受付部は、前記盛り調整画面において前記盛り調整の対象となる顔として対象顔の選択を受け付け、
前記顔加工部は、選択された前記対象顔に対して前記盛り調整を行うことを特徴とする請求項1に記載の遊戯画像撮影装置。
【請求項3】
前記顔加工部は、前記盛り調整において、前記所定の盛りで用いられる第1化粧色とは異なる第2化粧色を、前記所定の盛りが施された前記撮影画像に半透明で重ねることを特徴とする請求項1又は2に記載の遊戯画像撮影装置。
【請求項4】
前記顔加工部は、前記所定の盛りの処理として、肌領域と唇領域における平滑化処理を行い、前記盛り調整において、前記平滑化処理が行われた前記肌領域と前記唇領域に対して、前記肌領域と前記唇領域で共通又は前記肌領域と前記唇領域で別個の第2化粧色を半透明で重ねることを特徴とする請求項3に記載の遊戯画像撮影装置。
【請求項5】
前記顔加工部は、前記所定の盛りの処理として、前記顔の変形加工と化粧加工とを行い、前記盛り調整において、変形された前記顔の形を保ち、化粧を調整することを特徴とする請求項1又は2に記載の遊戯画像撮影装置。
【請求項6】
前記顔加工部は、前記所定の盛りの処理として、前記顔の変形加工と化粧加工とを行い、前記盛り調整において、前記顔の変形と化粧を調整し、前記顔の前記変形の調整度合いが、前記化粧の調整度合いよりも小さいことを特徴とする請求項1又は2に記載の遊戯画像撮影装置。
【請求項7】
前記顔加工部は、前記盛り調整において、前記所定の盛りで用いられる第1化粧色とは異なる第2化粧色を用いて、前記撮影部で得られた前記撮影画像に対する前記所定の盛りの処理をやり直すことを特徴とする請求項1又は2に記載の遊戯画像撮影装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像の画像処理、特に事前修正に関する。
【背景技術】
【0002】
プリクラ(登録商標)とよばれる遊戯画像撮影装置は、女子高校生を中心として根強い人気を誇る。ユーザは、自らを撮影し、編集用のディスプレイにて撮影画像にさまざまな装飾を施す。装飾後の画像はシール台紙に印刷される(特許文献1,2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004-32213号公報
【特許文献2】特開2016-184287号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
遊戯画像撮影装置は、撮影画像に対する装飾として、具体的には顔の形を加工したり、メイクの加工をしたりする。編集用のディスプレイにてユーザ自身が装飾を施す前に、自動的にユーザの顔に対する軽い装飾を施すことが一般的である。以下、この装飾を、事前修正という。
【0005】
事前修正では、どのユーザの顔に対しても共通の加工が行われる。しかし、事前修正の装飾レベルが強すぎると感じるユーザもいる。また、男性や子供のように、メイク加工が適さない顔の場合もある。なお、遊戯画像撮影装置の分野で、顔に対する装飾である事前修正のことは「盛り」とよばれている。
【0006】
本発明は、本発明者らによる上記課題認識に基づいて完成された発明であり、その主たる目的は、事前修正されたユーザの顔の装飾の程度を調整する技術、を提供することにある。
【課題を解決するための手段】
【0007】
本発明のある態様における遊戯画像撮影装置は、ユーザを撮影する撮影部と、撮影部で得られた撮影画像に含まれるユーザの顔を検出する顔検出部と、顔に対する所定の盛りを施す顔加工部と、編集画面を表示する前に、所定の盛りが施された撮影画像を含む盛り調整画面を表示する表示部と、盛り調整画面において盛り調整指示を受け付ける受付部と、を有し、盛り調整指示を受け付けた場合に、顔加工部は、所定の盛りが施された撮影画像の顔に対する盛り調整を行い、盛り調整が確定した場合に、表示部は、盛り調整が行われた撮影画像を編集画面に表示し、受付部は、盛り調整が行われた撮影画像に対する編集操作を受け付ける。
【発明の効果】
【0008】
本発明によれば、事前修正されたユーザの顔の装飾の程度を調整できる。
【図面の簡単な説明】
【0009】
【
図4】遊戯画像撮影装置におけるプレイの流れを示すフローチャートである。
【
図5】遊戯画像撮影装置を上から見た平面図である。
【
図7】デフォルト盛り加工の処理過程を示すフローチャートである。
【
図8】デフォルト盛り加工の具体例を示す図である。
【
図10】盛り調整処理の過程を示すフローチャートである。
【
図14】編集処理におけるリップ加工の具体例を示す図である。
【発明を実施するための形態】
【0010】
本実施形態における遊戯画像撮影装置は、撮影ブース(撮影空間)と編集ブース(編集空間)を備える。ユーザは撮影ブースにて自らを撮影する。以下、撮影ブースにおいて被写体(ユーザ)を撮影した画像のことを「撮影画像」とよぶ。遊戯画像撮影装置は、編集処理の前に、顔変形加工、肌の美白化やメイク加工などの画像修正を撮影画像に施す(以下、このような画像修正を「事前修正」とよぶ)。事前修正については、後に詳述する。本実施形態における遊戯画像撮影装置は、撮影ブースにおいて静止画像だけでなく動画像も撮影する。撮影画像のうち、動画像として取得されるものを「撮影動画像」、静止画像として取得されるものを「撮影静止画像」とよぶ。本実施形態においては、最大7セットの撮影画像(撮影動画像と撮影静止画像のセット)が取得される。
【0011】
なお、本実施形態においては、撮影空間と編集空間は別々の空間であるとして説明するが、撮影空間と編集空間は同一空間としてもよい。この場合、所定の空間を撮影時は撮影空間として利用し、編集時は編集空間として利用してもよい。
【0012】
編集ブースでは、事前修正を施された撮影画像に対する操作および処理が行われる。ユーザは、編集ブースにおいて、スタンプ画像の貼付やスタイラスペンによる落書きなど任意の装飾を撮影画像に施すことができる(以下、このような画像の装飾を「編集」とよぶ)。編集ブースにおいて編集対象となっている撮影画像のことを「対象画像」とよぶ。また、対象画像のうち、撮影動画像を編集対象としたものを「対象動画像」、撮影静止画像を編集対象としたものを「対象静止画像」とよぶ。編集後の対象画像のことを「編集画像」とよび、編集画像のうち、対象動画像を編集したものを「編集動画像」、対象静止画像を編集したものを「編集静止画像」とよぶ。本実施形態においては、最大7セットの撮影画像が取得されるため、最大7セットの編集画像(7本の編集動画像と7枚の編集静止画像)が生成される。
【0013】
ユーザは、編集静止画像のレイアウトおよび背景を定義する台紙画像を選ぶ。ユーザは、選んだ台紙画像に編集静止画像を合成する。以下、台紙画像に編集静止画像を嵌め込んで得られる最終成果物としての画像を「レイアウト済画像」とよぶ。
【0014】
遊戯画像撮影装置は、レイアウト済画像をシール台紙(外部媒体)に印刷する。また、遊戯画像撮影装置は、編集動画像、編集静止画像、編集静止画像を台紙画像に嵌め込んだ画像であるレイアウト済画像をサーバ(外部媒体)にアップロードする。ユーザは、スマートフォンなどのユーザ端末からサーバにアクセスすることにより、編集画像等をダウンロードすることもできる。以上のように、本実施形態における遊戯画像撮影装置は、撮影機能、編集機能、印刷機能および通信機能を備える。
【0015】
ユーザは遊戯画像撮影装置の受付において「演出モード」を選択する。本実施形態においては、演出モードとして「パープルモード」と「ピンクモード」を想定する。パープルモードにおいてはパープル(紫)が基調色となり、ピンクモードではピンクが基調色となる。ここでいう基調色とは、照明などにおいて中心になる色、画面においてもっとも広域を占める色など、全体イメージの土台となるべき色を意味する。
遊戯画像撮影装置は、演出モード、特に、演出モードに対応づけられる色に応じて撮影環境、編集環境、完成画像などを変化させる。
【0016】
図1は、遊戯画像撮影システム200の全体構成図である。
遊戯画像撮影システム200においては、遊戯画像撮影装置100はインターネット204を介してサーバ202およびユーザ端末206(携帯デバイス)と接続される。遊戯画像撮影装置100においてユーザは自らを撮影する。遊戯画像撮影装置100は、被写体(ユーザ)を含む撮影画像を取得し、必要に応じて事前修正を撮影画像に施し、ユーザによる編集を受け付ける。
【0017】
編集後の編集画像およびレイアウト済画像はユーザIDとともに遊戯画像撮影装置100からサーバ202にアップロードされる。サーバ202は、ユーザID、撮影日時、編集画像(編集動画像と編集静止画像)およびレイアウト済画像(編集静止画像と台紙画像の合成画像)を対応づけて保存する。ユーザは、ユーザIDを指定してサーバ202にアクセスすることにより、サーバ202から編集画像等をダウンロードできる。
【0018】
図2は、遊戯画像撮影装置100の外観斜視図である。
遊戯画像撮影装置100は、受付装置102、撮影ブース104、編集ブース106および印刷装置110を備える。ユーザは、受付装置102において遊戯画像撮影装置100の使用を予約する。ユーザは、受付装置102においてユーザIDを入力するとともに、現金または電子マネーにてプレイ料金を支払う。
ユーザは受付装置102において演出モード(パープルモードとピンクモード)を選択する。
【0019】
撮影ブース104においてユーザは写真撮影を行う。撮影終了後、ユーザは編集ブース106に移動する。編集ブース106には、編集装置126が設置される。編集装置126は、編集モニタ120を備える。編集モニタ120には対象画像(編集の対象となる撮影画像)が表示される。本実施形態における編集モニタ120は、静電容量式タッチパネルにより形成される。1つの編集モニタ120に対して、2つのスタイラスペン122a、122bが用意される。ユーザはスタイラスペン122および指を使って対象画像に対する編集操作などを行う。編集終了後、印刷装置110はレイアウト済画像をシール台紙に印刷する。また、編集装置126は、編集画像等をサーバ202にアップロードする。
【0020】
図3は、撮影ブース104の外観斜視図である。
撮影ブース104は、カーテン124により外部から遮蔽される。撮影ブース104には、撮影装置128が設置される。撮影装置128は、被写体となるユーザを3方向から照らす3つのライト116、撮影静止画像および撮影動画像を取得するためのカメラ118、第1撮影モニタ112および第2撮影モニタ114を備える。
【0021】
このほか、天井面および床面全面にも照明装置が埋設されている。照明手段としてのライト116および図示しない天井照明および床面照明はいずれもR(レッド)G(グリーン)B(ブルー)等を含む。たとえば、これらの照明装置は、フルカラーLED(Light Emitting Diode)および白色LEDを含む。以下、これら3種類の照明装置をまとめていうときには、「ライト・グループ」とよぶ。フルカラーLEDは演出モードにより指定される色を基調色として点灯可能である。
以下、フルカラーLEDにおいて設定可能な紫色(パープルモード)の光とピンク色(ピンクモード)の光のことを「有色光」とよぶ。
【0022】
第1撮影モニタ112は、ユーザの撮影画像(撮影動画像と撮影静止画像)をプレビュー表示させる。第2撮影モニタ114は、被写体となるユーザ以外の人物、たとえば、モデルの撮影画像(以下、「サンプル画像」とよぶ)を表示させる。ユーザは、第2撮影モニタ114に表示されるサンプル画像を参考にしながら、カメラ118の前で任意の撮影ポーズをとる。第2撮影モニタ114には、撮影方法に関する各種説明も表示される。上述したように、撮影ブース104においては、撮影動画像および撮影静止画像を取得できる。なお、第1撮影モニタ112や第2撮影モニタ114の周辺に、いわゆる「女優ライト」を模したフルカラーの照明(図示しない)を設けてもよい。
【0023】
また、第1撮影モニタ112にはユーザが自らの姿を確認するためのライブビュー画像(姿見画像)のほか、撮影タイミングを示すためのカウントダウン画像も表示される。
【0024】
図4は、遊戯画像撮影装置100におけるプレイの流れを示すフローチャートである。
図5は、遊戯画像撮影装置100を上から見た平面図である。
ユーザは、受付装置102において使用予約を行うと、受付装置102は受付処理を実行する(S10)。受付に際しては、ユーザは演出モードも選択する。受け付け後、ユーザは撮影ブース104に入室する。このとき、ライト・グループは、選択された演出モードに対応する色を基調色とする有色光にて撮影ブース104を照明する。たとえば、パープルモードが選ばれたときにはライト・グループは淡い紫色の光にて撮影ブース104を照明する。ピンクモードが選ばれたときには、撮影ブース104は淡いピンク色の光に満たされる。
【0025】
撮影装置128は、ユーザの撮影画像を取得する(S12)。撮影ブース104においては、ユーザは所定数の撮影画像を取得できる。撮影動画像と撮影静止画像は同時に取得され、撮影動画像と撮影静止画像のペアを1セットの撮影画像とカウントする。本実施形態においては、7セットの撮影画像(撮影動画像と撮影静止画像のセット)が取得される。
【0026】
次に、撮影画像に対する事前修正処理が行われる。本実施形態では、事前修正処理をデフォルト盛り加工処理(S13)と盛り調整処理(S14)の2段階に分けて行う。撮影装置128は、撮影装置128で得られた撮影画像に対してデフォルト盛り加工処理を実行する(S13)。撮影装置128は、撮影画像を取得するごとにデフォルト盛り加工処理を実行する。デフォルト盛り加工では、予め定義されている内容による顔の装飾が行われる。デフォルト盛り加工については、後に詳述する。その後、編集処理を始める前に、デフォルト盛り加工による顔の装飾の程度を調整する盛り調整処理が行われる(S14)。本実施形態では、盛り調整に関するユーザ操作が編集ブース106で行われる例について説明する。
【0027】
撮影後、第1撮影モニタ112には、2つの編集ブース106のいずれかを指示する指示情報が表示される。ユーザは、2つの編集ブース106a、106bのうち、第1撮影モニタ112により指定された編集ブース106に移動する。撮影装置128から、編集装置126にデフォルト盛りが施された撮影画像が転送される。編集処理(S15)の前に、盛り調整処理(S14)が行われる。したがって、編集装置126に編集画面が表示される前に、盛り調整画面が表示される。盛り調整画面には、デフォルト盛りが施された撮影画像が含まれる。デフォルト盛りが濃すぎる、つまり顔装飾の程度が強すぎると思った場合には、ユーザは、顔を選択して、その顔の盛りを薄くするように指示できる。編集装置126は、選択された顔の盛りが薄く見えるように、顔装飾の程度を弱める処理を行う。盛りを薄くするかどうかは、ユーザが自由に決められる。
【0028】
盛り調整処理の後、ユーザは、編集装置126において撮影画像(対象画像)に編集を施す(S15)。対象画像は、デフォルト盛りのままの場合もあるし、盛り調整によって盛りを薄められている場合もある。ユーザは、台紙画像を選び、台紙画像に編集画像をレイアウトすることでレイアウト済画像を作成する。
【0029】
編集後、編集装置126はレイアウト済画像を印刷装置110に送り、印刷装置110はレイアウト済画像をシール台紙に印刷する(S16)。また、編集装置126は、インターネット204を介して編集画像およびレイアウト済画像をサーバ202にアップロードする(S18)。ユーザは、サーバ202にアクセスすることにより、編集画像等をサーバ202からユーザ端末206にダウンロードできる。
【0030】
一般的には、撮影作業よりも編集作業に時間がかかる。本実施形態における遊戯画像撮影装置100においては、1つの撮影ブース104に対して2つの編集ブース106a、106b(編集装置126a、126b)を設けることにより、顧客回転率を高めている。本実施形態では、盛り調整処理(S14)を2つの編集ブース106a、106bで行うことで、盛り調整の操作を分散させて、顧客の流れをスムーズにする。
【0031】
図6は、遊戯画像撮影装置100の機能ブロック図である。
遊戯画像撮影装置100の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサ(Co-Processor)などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。
上述したように、遊戯画像撮影装置100は、撮影装置128、受付装置102、編集装置126および印刷装置110の集合体として構成される。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【0032】
遊戯画像撮影装置100は、ユーザインタフェイス処理部130、データ処理部132、通信部134およびデータ格納部136を含む。また、上述したように、遊戯画像撮影装置100はカメラ118およびライト・グループ210を含む。
ユーザインタフェイス処理部130は、受付モニタ108、編集モニタ120等を介したユーザインタフェイス処理を担当する。通信部134は、インターネット204を介してサーバ202との通信処理を担当する。通信部134は、Wi-Fi(登録商標)等の近距離無線通信によりユーザ端末206と直接通信することもできる。たとえば、通信部134は、ユーザ端末206に編集画像を直接送信してもよい。データ格納部136は各種データを格納する。データ処理部132は、通信部134により取得されたデータおよびデータ格納部136に格納されているデータに基づいて各種処理を実行する。
【0033】
ユーザインタフェイス処理部130は、ユーザによる操作入力を受け付ける入力部140と、ユーザへの情報提示を行う出力部142を含む。
【0034】
入力部140は、受付装置102、撮影装置128、編集装置126等に設置されるタッチパネルに対するユーザの操作入力を検出する。入力部140は、スタイラスペン122による操作入力も検出する。入力部140は、受付部401を含む。受付部401は、種々のユーザ操作を受け付ける。たとえば、受付部401は、編集装置126の編集モニタ120に表示された盛り調整画面において、盛り調整指示を受け付ける。具体的には、受付部401は、盛り調整の対象となる顔として対象顔の選択と、盛り薄くの指示などを受け付ける。また、受付部401は、編集装置126の編集モニタ120に表示された編集画面において、対象画像に対する編集操作を受け付ける。入力部140は、また、受付装置102においてユーザIDを検出する。
【0035】
出力部142は、受付装置102、撮影装置128、編集装置126等における画像表示のほか、音声出力、印刷出力など各種の出力処理を実行する。
【0036】
出力部142は、ポーズ指示部212、演出出力部214、音声出力部216および表示処理部403を含む。
ポーズ指示部212は、サンプル画像においてユーザに指示すべきポーズを選択する。演出出力部214は、サンプル画像など第2撮影モニタ114あるいは第1撮影モニタ112において各種の演出画面を表示させる。音声出力部216は、音声および音楽を出力する。表示処理部403は、各種画面を編集装置126の編集モニタ120に表示させる。たとえば、表示処理部403は、編集画面を表示する前に、デフォルト盛りが施された撮影画像を含む盛り調整画面を編集モニタ120に表示させる。また、表示処理部403は、対象画像(デフォルト盛りの撮影画像又は盛りが薄められた撮影画像)を編集モニタ120に表示させる。
【0037】
このほか、出力部142は、撮影時において、第1撮影モニタ112にユーザ(被写体)のライブビュー画像(姿見画像)を表示させる。ユーザはライブビュー画像により自分の姿を鏡に映すように確認しながら撮影を実行する。また、出力部142は、撮影直後において、第1撮影モニタ112に撮影静止画像をプレビュー表示させる。
【0038】
データ処理部132は、照明制御部218、撮影処理部144、事前修正部145、編集処理部146、受付処理部148および印刷処理部150を含む。
照明制御部218は、ライト・グループ210を制御する。具体的には、照明制御部218は、ライト・グループ210の点灯/消灯、光量、色彩など照明に関する設定を制御する。
【0039】
撮影処理部144は、撮影ブース104における撮影処理を制御する。撮影タイミングを時刻tXとすると、撮影処理部144は時刻tXよりも1.5秒前から0.1秒前まで動画像(以下、「前半動画像」とよぶ)を記録し、時刻tXにおいて撮影静止画像を取得し、時刻tXの0.1秒後から1.5秒後まで動画像(以下、「後半動画像」とよぶ)を再び記録する。撮影処理部144は、前半動画像と後半動画像をつなげることにより撮影動画像を生成する。撮影処理部144は、カメラ118に撮影の開始指示および停止指示を送信することにより、カメラ118を制御する。また、撮影処理部144は、撮影静止画像の取得時においては、図示しないストロボを発光させる。撮影動画像は、撮影静止画の取得期間、いいかえれば、ストロボ発光時の動画が含まれないため、ストロボ発光が映り込むことがない。
【0040】
撮影処理部144は、ユーザの選択にしたがって、撮影タイミングの時刻tXよりも前に撮影動画像を取得し、撮影動画像の取得後に続けて撮影静止画像を取得することもできる。
【0041】
撮影処理部144は、撮影案内部220を含む。撮影案内部220は、カウントダウンの表示および音声による通知を出力部142に指示することにより、ユーザに撮影タイミングを通知する。
【0042】
事前修正部145は、各撮影画像に対する事前修正を施す処理を実行する。事前修正部145は、顔検出部411と顔加工部413を含む。顔検出部411は、カメラ118(撮影部の例)で得られた撮影画像に含まれるユーザの顔を検出する。顔加工部413は、撮影画像に含まれるユーザの顔を加工する。具体的には、顔加工部413は、デフォルト盛り加工においてユーザの顔に所定の盛りを施し、盛り調整加工において、その所定の盛りを調整する。
【0043】
出力部142は、撮影画像を対象画像として編集モニタ120(静電容量式のタッチパネル)に表示させる。編集処理部146は、ユーザからの操作入力にしたがって対象画像を編集する。受付処理部148は、受付装置102においてユーザによるプレイ料金の支払いを管理する。また、受付処理部148は、ユーザによる演出モードの選択も受け付ける。受付処理部148は、撮影ブース104において撮影作業が終了するごとに、予約中のユーザを撮影ブース104に案内する。印刷処理部150は、印刷装置110における編集画像の印刷を制御する。
【0044】
通信部134は、データを受信する受信部230と、データを送信する送信部232を含む。
【0045】
データ格納部136は、撮影画像記憶部421および事前修正画像記憶部423を含む。
撮影画像記憶部421は、撮影ブース104において撮影された画像、つまり事前修正されていない撮影画像を記憶する。具体的には、7セットの撮影画像(撮影静止画像と撮影動画像)が記憶される。事前修正画像記憶部423は、事前修正された撮影画像を記憶する。事前修正画像記憶部423は、デフォルト盛り加工処理が行われた段階で、デフォルト盛りが施された撮影画像を記憶する。その後、盛り調整処理が行われた段階で、事前修正画像記憶部423は、盛り調整された撮影画像を追加して記憶する。
【0046】
本実施形態は、主に事前修正で行われる「盛り」の加工に関する。「盛り」以外には、背景の加工も行う。「盛り」は、撮影画像に含まれるユーザの装飾を意味する。盛りの加工の大部分は、顔の装飾に関する。盛りの加工には、口紅、頬紅やアイシャドーなどの化粧を模した装飾の他、顔の変形なども含まれる。顔の変形では、たとえば頬の膨らみを抑えてフェイスラインをシャープにするような輪郭に関する変形のほか、パッチリとした大きな目にしたり鼻をシャープにするなどの顔に含まれる部位の大きさや形状を変更するなどの画像加工が行われる。また、頭髪の形状(髪型)の変更など、頭部に対する加工も行われる。また、化粧を模した装飾には、肌や唇の表面を滑らかにする平滑化処理や肌を色白に近づける美白化処理、頭髪の色合いや艶の変更などの下地加工を含むこともある。下地加工は、実際の化粧でコンシーラーやファンデーション、頭髪に整髪料やヘアカラーなどを塗ることに相当する。
【0047】
以下、デフォルト盛り加工、盛り調整加工の順にそれらの詳細について説明する。デフォルト盛り加工は、盛りの加工処理における変数について予め決められている初期値を用いた処理である。盛りの加工処理における変数とは、たとえば頬の膨らみの削減する程度を示す値(削減率)、目を大きくする程度を示す値(拡大率)、美白化で重ねる白色の透過率、口紅色の種類、頬紅色の種類などである。デフォルト盛り加工では、たとえば所定の削減率でフェイスラインをシャープ化し、所定の拡大率で目を拡大化し、所定の透過率で白色を肌領域に重ね、所定の口紅色を唇部分に重ね、所定の頬色を頬部分に重ねる処理を行う。また、デフォルト盛り加工では、変更可能な複数の方式がある内部処理(たとえば、画像処理フィルタ)に関して、予め決められている方式による内部処理を行う。変更可能な複数の方式がある内部処理とは、たとえば平滑化処理である。平滑化処理を行うフィルタとして、たとえば移動平均フィルタ、ガウシアンフィルタ、中央値フィルタ、バイラテラルフィルタなどの平滑化フィルタが知られている。予め選択されている方式の平滑化フィルタを使って、肌や唇の表面を滑らかにする。このように、デフォルト盛り加工は、顔の変形加工とメイク加工を含む。また、デフォルト盛り加工は、その処理で用いられる変数や方式が予め定められているので、所定の盛り加工であると言える。なお、平滑化処理は、上述したフィルタの例にかぎらず、肌領域等における色調変化を滑らかにするための処理であればよい。
【0048】
「盛り」は、撮影静止画像のみならず、撮影動画像に対しても施される。本実施形態では、撮影静止画像の例で説明する。したがって、以下でいう各種の撮影画像は、静止画を例示している。
【0049】
図7は、デフォルト盛り加工の処理過程を示すフローチャートである。
デフォルト盛り加工の処理は、すべての撮影画像に対して行われる。ここでは、1つの撮影画像についてのデフォルト盛り加工の処理について説明する。実際には7つの撮影画像について、同様に処理する。以下では、カメラ118(撮影部の例)で得られた撮影画像を、加工された撮影画像と区別する意味で「オリジナル撮影画像」とよぶ。
【0050】
オリジナル撮影画像には、一人以上の顔画像が含まれている。この例では、オリジナル撮影画像は、ユーザAとユーザBの顔画像を含むものとする。デフォルト盛り加工は、すべてのユーザの顔に対して行われる。
【0051】
まず、顔検出部411は、オリジナル撮影画像に含まれるすべての顔を検出する(S20)。画像に含まれる顔を検出する技術については、従来技術と同様でよい。
【0052】
顔加工部413は、検出された各顔について以下の処理を行う(S22)。顔加工部413は、オリジナル撮影画像で検出された顔の画像に対して顔変形加工を施す(S24)。顔変形加工は、上述したようにフェイスラインのシャープ化や目の拡大などの加工を含む。目の拡大では、単純に目の画像を拡大するということに留まらず、パッチリした大きな目の形に変化させることもある。つまり、黒目部分を大きくするだけでなく、目が大きく開いたように瞼の形状を変えたり、まつ毛を増やしたり、長くしたりなどの加工が行われることもある。
【0053】
次に、顔加工部413は、変形された顔画像に対してメイク加工を施す(S26)。具体的には、まず、肌領域や唇領域における平滑化処理や肌領域における美白化処理などの下地加工が行われる。その後、唇領域に口紅色を重ねるリップ加工と、頬骨辺りの領域に頬色を重ねるチーク加工とが行われる。ただし、平滑化の程度や美白化の程度が強過ぎると、立体感がなくなり平坦な印象になる。また、口紅色と頬紅色を重ねる際の透過率が低すぎると、唇や頬の立体感が薄れる。したがって、下地加工、リップ加工およびチーク加工を合わせて、最終的に立体感が薄れずに、荒れやしわが隠れるように各加工における変数(透過率、口紅色の種類や頬紅色の種類など)や方式(フィルタの種類など)を定めることが望ましい。デフォルト盛りの加工で使用される口紅色や頬紅色は、「所定の盛りで用いられる第1化粧色」の例である。
【0054】
未だ処理していない顔画像が残っている場合には(S28のN)、S22に戻って、顔加工部413は、残りの顔画像について上述した処理を行う。すべての顔画像に対して顔変形加工とメイク加工の処理を行った段階で(S28のY)、デフォルト盛り加工の処理を終える。デフォルト盛り加工が施された撮影画像は、事前修正画像記憶部423に記憶される。
【0055】
図8は、デフォルト盛り加工の具体例を示す図である。
この例では、オリジナル撮影画像601からユーザAの顔とユーザBの顔を検出して、それらの両方にデフォルト盛り加工が施される。オリジナル撮影画像601で検出された顔の画像を、加工後の顔画像と区別する意味で、「オリジナル顔画像」とよぶ。この図では、ユーザAの顔画像を例にして説明する。以下、オリジナル撮影画像601に含まれるユーザAの顔画像を「オリジナル顔画像501a」とする。
【0056】
オリジナル顔画像に対して顔変形加工が行われた後の顔画像を、「変形顔画像」とよぶ。この図では、オリジナル顔画像501aに対して顔変形加工を行った後の変形顔画像503aを示している。変形顔画像503aでは、オリジナル顔画像501aに比べてユーザAのフェイスラインがシャープになり、目が大きくパッチリとしている。この段階では、肌と唇は、オリジナル顔画像501aと同様に素地のままである。図示していないが、ユーザBの変形顔画像でも、同様にユーザBのフェイスラインがシャープになり、目が大きくパッチリとなる。
【0057】
この後、メイク加工が行われて、デフォルト盛り加工が完了する。変形顔画像に対してメイク加工が行われた後の顔画像を、「デフォルト盛り顔画像」とよぶ。デフォルト盛り加工では、上述したように先に肌領域や唇領域における平滑化処理や肌領域における美白化処理が行われる。続いて、リップ加工とチーク加工が行われる。この例では、リップ加工とチーク加工を一括で行うが、別々に行ってもよい。
【0058】
デフォルト盛り加工におけるリップ加工の最初の処理として、変形顔画像503aからユーザAの唇領域が検出される。次に、その唇領域と同じ範囲に口紅色を付するためのユーザA用のデフォルトリップ画像505aが生成される。デフォルト盛り加工で使用される口紅色を「デフォルト口紅色」とよぶ。デフォルト口紅色は、たとえばプリクラの主なユーザ層である十代の女性に受け入れられやすい標準的な口紅色(たとえば、ピンク)である。デフォルト口紅色は、後にブレンドされる口紅色と重ねたときに、濁りにくい色であることが望ましい。ピンクは、レッドやオレンジなどの口紅色を後から重ねても濁りにくいので、デフォルト口紅色に向いている。上述したとおり、デフォルト口紅色は、「所定の盛りで用いられる第1化粧色」の例である。
【0059】
デフォルトリップ画像505aで、変形顔画像503aのユーザAの唇領域と重なる部分は、デフォルト口紅色が占め、半透明の属性を有する。半透明の透過率は、たとえば20%~80%である。ユーザAの唇領域と重ならない部分、つまりデフォルト口紅色が付されていない部分は、透明の属性(透過率:100%)を有する。同様に、ユーザBの変形顔画像からも唇領域が検出され、ユーザBの唇領域と重なる範囲に同じデフォルト口紅色を付したユーザB用のデフォルトリップ画像が生成される。
【0060】
デフォルト盛り加工におけるチーク加工の最初の処理として、変形顔画像503aからユーザAの頬骨辺りの領域が検出される。頬骨辺りの領域は、実際の化粧でチークが塗られる箇所に相当する。次に、その頬骨辺りの領域と同じ範囲に頬紅色を付するためのユーザA用のデフォルトチーク画像507aが生成される。デフォルト盛り加工で使用される頬紅色を「デフォルト頬紅色」とよぶ。デフォルト頬紅色は、たとえばプリクラの主なユーザ層である十代の女性に受け入れられやすい標準的な頬紅色(たとえば、ピンク)である。デフォルト頬紅色は、後にブレンドされる頬紅色と重ねたときに、濁りにくい色であることが望ましい。ピンクは、レッドやオレンジなどの頬紅色を後から重ねても濁りにくいので、デフォルト頬紅色に向いている。上述したとおり、デフォルト頬紅色は、「所定の盛りで用いられる第1化粧色」の例である。
【0061】
デフォルトチーク画像507aで、変形顔画像503aのユーザAの頬骨辺りの領域と重なる部分は、デフォルト頬紅色が占め、半透明の属性を有する。半透明の透過率は、たとえば20%~80%である。ユーザAの頬骨辺りの領域と重ならない部分、つまりデフォルト頬紅色が付されていない部分は、透明の属性(透過率:100%)を有する。同様に、ユーザBの変形顔画像からも頬骨辺りの領域が検出され、ユーザBの頬骨辺りの領域と重なる範囲に同じデフォルト頬紅色を付したユーザB用のデフォルトチーク画像が生成される。
【0062】
なお、デフォルト頬紅色は、デフォルト口紅色と同じ色であってもよいし、異なる色であってもよい。デフォルト頬紅色とデフォルト口紅色は、同じ系統(たとえばピンク系統)で、違う色であってもよい。同じ系統であれば、メイクに統一感が出やすい。デフォルト頬紅色とデフォルト口紅色は、異なる系統(たとえばピンク系統とオレンジ系統)であってもよい。異なる系統であれば、メイクに変化をつけやすい。
【0063】
デフォルト盛り加工では、リップ加工としての画像合成と、チーク加工としての画像合成とを一緒に行う。ユーザAの変形顔画像503aの上に、ユーザA用のデフォルトリップ画像505aとユーザA用のデフォルトチーク画像507aを重ねる合成を行って、ユーザAのデフォルト盛り顔画像509aが得られる。デフォルト盛り顔画像509aの唇領域では、唇の素地にデフォルト口紅色が重ねられ、同じく頬骨辺りの領域では、頬骨辺りの素地にデフォルト頬紅色が重ねられるので、図中「素地+デフォルト化粧色」と記した。図示するように、デフォルトリップ画像505aは一番上のレイヤに相当し、デフォルトチーク画像507aは中間のレイヤに相当し、変形顔画像503aは一番下のレイヤに相当する。これら3層のレイヤの合成を行う。レイヤ合成の処理方法については、従来技術と同様であってよい。デフォルトリップ画像505aとデフォルトチーク画像507aの順番は、逆でもよい。唇領域と頬骨辺りの領域は離れているので、デフォルトリップ画像505aとデフォルトチーク画像507aを1つのレイヤとしてもよい。同様に、ユーザBの変形顔画像の上に、ユーザB用のデフォルトリップ画像とデフォルトチーク画像を重ねる合成を行って、ユーザBのデフォルト盛り顔画像が得られる。
【0064】
デフォルト盛り加工によって最終的に得られる撮影画像、つまりすべてのユーザの顔にデフォルト盛り加工が施された全体サイズの撮影画像のことを「デフォルト盛り撮影画像609」とよぶ。デフォルト盛り撮影画像609には、ユーザAのデフォルト盛り顔画像509aとユーザBのデフォルト盛り顔画像が含まれる。デフォルト盛り撮影画像609にデフォルト盛り顔画像を含める手順は、1つと限らない。顔画像に関する合成を、撮影画像全体とは別に行って、後からユーザAのデフォルト盛り顔画像509aとユーザBのデフォルト盛り顔画像を、オリジナル撮影画像601に貼り付けられる方法が考えられる。あるいは、ユーザAの顔変形画像503aとユーザBの顔変形画像を含む全体サイズの撮影画像を生成し、その撮影画像に対してユーザAとユーザBのデフォルトリップ画像とデフォルトチーク画像をまとめて合成してもよい。ユーザAとユーザBのデフォルトリップ画像を同じレイヤにまとめてもよいし、ユーザAとユーザBのデフォルトチーク画像を同じレイヤにまとめてもよい。結果として、この例と同じデフォルト盛り撮影画像609が合成されるのであれば、その過程におけるレイヤの構成や合成の手順はこの例と同じでなくてもよい。
【0065】
ユーザAの顔画像とユーザBの顔画像の両方に対して、デフォルト盛り加工が施されたデフォルト盛り撮影画像609は、事前修正画像記憶部423に記憶される。ここでは、撮影静止画像に対してデフォルト盛り加工を行う例を示したが、撮影動画像に対してもデフォルト盛り加工を行うようにしてもよい。撮影動画像に対するデフォルト盛り加工は、撮影静止画像に比べて盛りの程度を抑えるようにしてもよい。つまり、撮影動画像に対しては、撮影静止画像における顔変形加工の場合よりも、顔変形の程度を抑えてもよい。また、撮影動画像に対しては、撮影静止画像におけるメイク加工の場合よりも、口紅色や頬紅色の彩度や明度を低くしてもよい。
【0066】
ここまで説明したデフォルト盛り加工は、自動で行われるのでユーザ操作を伴わない。デフォルト盛り加工された結果は、盛り調整画面で確認できる。
【0067】
図9は、盛り調整画面の画面図である。
撮影を終えたユーザが編集ブース106に移ると、編集装置126の編集モニタ120に盛り調整画面が表示される。つまり、編集画面を表示するよりも先に、盛り調整画面と撮影画像表示領域(不図示)が同時に表示される。撮影画像表示領域には、デフォルト盛り加工が施された撮影画像(デフォルト盛り撮影画像609)が表示され、ユーザは、デフォルト盛りされたユーザの顔画像を確認できる。デフォルト盛りで盛り過ぎていると思った場合には、ユーザは、盛り調整画面における操作でデフォルト盛りを薄くする指示を行える。
【0068】
ここで、ユーザが盛りを薄くしたいということの意図について考える。盛りを薄くしたいということは、盛り過ぎを解消したいという意味であることは間違いない。ただし、口紅や頬紅を少ししか塗らないようにするということではない。口紅や頬紅を少ししか塗っていない印象に近づけるのであれば、メイク加工の処理において、リップ画像における口紅色の透過率を高めたり、チーク加工の処理において、チーク画像における頬紅色の透過率を高めたりすることになる。このようにすると、下地加工された顔が表われ、化粧した感覚を味わうという目的が失われる。盛りを薄くしたいという意図は、化粧自体を控えるのではなく、化粧色を目立ち過ぎないようにするということである。つまり、盛りを薄くしたいというユーザに対しては、口紅色や頬紅色の透過率を上げるのではなく、口紅色や頬紅色などの化粧色を控え目な色に変えるという対応が正しい。口紅色や頬紅色を控え目な色に変える処理については、
図11に関連して後述する。
【0069】
顔選択受付画像領域701には、デフォルト盛り加工された撮影画像が表示される。ユーザは、顔選択受付画像領域701に表示された撮影画像上で盛り調整の対象となる顔を選択する。
【0070】
顔選択受付画像領域701では、撮影画像に含まれる顔を囲むように、顔フレーム703が表示される。この例では、ユーザAの顔に顔フレーム703aが付され、ユーザBの顔に顔フレーム703bが付されている。
【0071】
ユーザAが自分の顔の盛りを薄くしたいと思った場合、自らの顔をスタイラスペン122または指でタッチする。顔フレーム703aの内側がタッチされると、ユーザAの顔が選択されたことになる。選択されたユーザの顔フレーム703aは濃い色に変わり、どのユーザが選択されているかを知ることができる。色を濃くする方法以外の強調表示、たとえば線を太くするなどの方法で、選択されている顔フレーム703を識別できるようにしてもよい。選択された顔は、盛り調整の対象となる。つまり、盛り調整画面では、盛り調整の対象となる顔として対象顔の選択が受け付けられる。
【0072】
続いて、ユーザAは、盛り薄くボタン705をスタイラスペン122または指でタッチする。この操作によって、ユーザAの顔の盛りを薄くすることができる。盛りを薄くする加工のことを、「盛り薄め加工」とよぶ。盛り薄め加工は、口紅色や頬紅色などの化粧色を控え目な色に変える加工である。盛りを薄くしたユーザAの顔は、撮影画像表示領域に表示される。盛りを薄くする顔は、ユーザ自身の顔でなくてもよい。つまり、自分以外の顔を選択してもよい。盛り薄くボタン705のタッチは、盛り調整指示の一例である。選択された顔に対する盛り薄め加工は、選択された顔に対する盛り調整の例である。
【0073】
ユーザAが薄くした盛りを元に戻したいと思った場合には、スタイラスペン122または指で自らの顔をタッチして、さらに元に戻すボタン707をタッチする。この操作によって、ユーザAの顔はデフォルト盛りの状態に戻る。元に戻したユーザAの顔は、撮影画像表示領域に表示される。自分以外の顔についても同様である。
【0074】
盛りを薄くできるのは、一人に限らず、複数人の盛りを薄くすることもできる。一人ずつ盛りを薄くする操作を繰り返してもよいし、複数人をまとめて盛りを薄くするようにしてもよい。顔選択受付画像領域701で複数の顔にタッチして、複数の顔が選択された状態にして、盛り薄くボタン705にタッチすれば、選択されている複数の顔について盛り薄め加工が施される。また、顔選択受付画像領域701で複数の顔にタッチして、複数の顔が選択された状態にして、元に戻すボタン707にタッチすれば、選択されている複数の顔について盛り薄め加工が取り消される。もちろん、全員の盛りを薄くしてもよい。あるいは、全員デフォルト盛りのままでもよい。
【0075】
ユーザが確定ボタン709にタッチすると、指示された盛り薄め加工が確定する。撮影画像表示領域と顔選択受付画像領域701に表示されている撮影画像に対してのみ、盛り薄め加工が反映される。ただし、撮影画像表示領域と顔選択受付画像領域701に表示されていない撮影画像についても、盛り薄め加工が反映されるようにしてもよい。たとえば、撮影画像表示領域と顔選択受付画像領域701に表示されている1枚目の撮影画像においてユーザAの盛りを薄くした場合には、1枚目の撮影画像のみならず、2枚目から7枚目までの撮影画像についても、同様にユーザAの顔の盛りが薄くなるようにしてもよい。その場合、顔加工部413は、顔認識によって盛り調整の対象となった同一のユーザの顔を特定して、同一のユーザの顔について同様に盛り調整処理を施す。また、確定ボタン709を設けずに、盛り調整画面が消去された時点、あるいは盛り調整画面に表示されている撮像画像が切り替わった時点で、盛り薄め加工が確定するようにしてもよい。
【0076】
この例のようにユーザAとユーザBが写っている場合、盛り調整画面を終える時点で得られる撮影画像には4つのパターンが考えられる。まず、ユーザAとユーザBともに、デフォルト盛り加工のままであるパターンが考えられる。このパターンの撮影画像は、最初に撮影画像表示領域と顔選択受付画像領域701に表示されたデフォルト盛り撮影画像609(
図8)を変えずに確定させた場合の画像である。次に、ユーザAだけが盛りを薄くし、ユーザBがデフォルト盛り加工のままであるパターンが考えられる。逆に、ユーザAがデフォルト盛り加工のままで、ユーザBだけが盛りを薄くするパターンも考えられる。さらに、ユーザAとユーザBともに、盛りを薄くするパターンもあり得る。このようにして、ユーザの好みによって盛りの程度を調整された撮影画像は、次の編集処理で編集の対象となる。編集画面では、7枚の撮影画像について、それぞれユーザの好みの盛り状態になった撮影画像が表示される。なお、デフォルト盛り撮影画像609以外のパターンは、少なくとも一人のユーザの盛りが調整されているので「盛り調整撮影画像」とよぶ。
【0077】
このように、ユーザがデフォルト盛りでは盛り過ぎていると思った場合に、盛りを薄くすることができる。たとえば、派手なメイクが好きでないユーザであれば、自分の顔の盛りを薄くすることによって、控え目なメイクに変えられる。性格的に派手な格好は好まないが、化粧を楽しみたいという女性も多い。派手なメイクだと自分が着ている洋服とのバランスがとれないとか、童顔なので派手にすると背伸びをしているように見えるとか、控え目なメイクを好む理由は様々である。また、子供や男性の場合、メイクすること自体が不自然に見える。そのような場合にも、盛りを薄くすることによって自然な雰囲気に戻せる。
【0078】
生身の人間の顔だけでなく、印刷された顔画像などにも適用できる。印刷された顔画像を撮る例として、女性のユーザが、いわゆる「推し」の男性タレントの写真が貼られた団扇などを一緒に写し込ませることがある。この場合に、女性のユーザの顔だけでなく、団扇の表に貼られた写真の男性タレントの顔も化粧されてしまう。女性のユーザが男性タレントの化粧を取ってあげるために、盛りを薄くするという使い方もある。疑似的に「推し」の男性タレントと一緒にプリクラを撮るという楽しみ方で、男性タレントがメイクしたままでは、いつもの男性タレントと一緒に写真に撮ったという感覚を味わえなく、不満が残る。したがって、印刷された顔画像のメイクを控え目にする機能は重要である。実施形態では、顔毎に選択した上で盛りを薄くできるので、上述したようなそれぞれの事情に応じて柔軟に盛りの調整が可能である。
【0079】
図10は、盛り調整処理の過程を示すフローチャートである。
表示処理部403は、
図9に示した盛り調整画面を編集モニタ120に表示させる。このとき、表示処理部403は、事前修正画像記憶部423に記憶されているデフォルト盛り撮影画像609を読み、そのデフォルト盛り撮影画像609を盛り調整画面の顔選択受付画像領域701に表示させる(S40)。表示処理部403は、顔検出部411で検出された各顔の画像に顔フレーム703を付する。
【0080】
受付部401が、顔フレーム703内のタッチによる顔の選択と、盛り薄くボタン705のタッチ(盛りを薄くする指示)とを受け付けた場合には(S42)、顔加工部413は、選択された顔に盛り薄め加工を施す(S44)。盛り薄め加工については、
図11に関連して後述する。このように、受付部401は、盛り調整画面において、盛り調整の対象となる顔として対象顔の選択と盛り調整指示を受け付ける。なお、選択された顔に対して既に盛り薄め加工が行われている場合には、更なる加工はおこなわず、そのままとする。そして、S40に戻って、表示処理部403は、盛り薄め加工が施された盛り調整撮影画像を盛り調整画面の顔選択受付画像領域701に表示させる。
【0081】
受付部401が、顔フレーム703内のタッチによる顔の選択と、元に戻すボタン707のタッチ(盛り薄め加工の解除指示)とを受け付けた場合には(S46のY)、顔加工部413は、選択された顔の盛り薄め加工を解除する(S48)。つまり、デフォルト盛り顔画像に戻す。なお、選択された顔に対して盛り薄め加工が行われていない場合には、特に加工を行わずに、そのままとする。そして、S40に戻って、盛り薄め加工が解除された撮影画像を盛り調整画面に表示させる。いずれの顔についても盛り薄め加工を行っていない状態であれば、デフォルト盛り撮影画像609を盛り調整画面の顔選択受付画像領域701に表示させる。いずれかの顔について盛り薄め加工を行っている状態であれば、盛り調整撮影画像を盛り調整画面の顔選択受付画像領域701に表示させる。
【0082】
受付部401が確定ボタン709のタッチを受け付けた場合には(S50)、事前修正処理(
図4)が完了したことになり、顔加工部413は事前修正された撮影画像を確定する(S52)。顔加工部413は、確定ボタン709がタッチされた時点で撮影画像表示領域701に表示されている盛り調整撮影画像を、事前修正画像記憶部423に追加して記憶させる。デフォルト盛り画像は、後の編集処理で使用されるので、そのまま残しておく。盛り薄め加工が行われなかった場合には、事前修正画像記憶部423に画像を追加しない。盛り調整画面が表示されてから所定時間が経過した時点で、確定ボタン709がタッチされた場合と同様に、事前修正された撮影画像を確定するようにしてもよい。
【0083】
顔加工部413は、撮影画像表示領域701に表示されていない残りの撮影画像についても、盛り薄め加工を施す。つまり、顔加工部413は、各撮影画像において、盛り薄め加工の対象となったユーザの顔と同じ人物の顔を認識して、その顔に対して盛り薄め加工を施す。1枚目から7枚目までのすべての盛り調整撮影画像が事前修正画像記憶部423に記憶される。一人も盛りを薄めていない場合には、1枚目から7枚目までのすべてのデフォルト盛り撮影画像609が事前修正画像記憶部423に記憶される。
【0084】
図11は、盛り薄め加工の具体例を示す図である。
この例では、盛り調整画面(
図9)でユーザAの顔が選択され、盛り薄くボタン705がタッチされ、ユーザAの顔に盛り薄め加工を施すことを想定する。盛り薄め加工におけるメイク加工は、デフォルト盛り撮影画像609に対して行われる。オリジナル撮影画像601に対して加工をやり直すのではない。すでにデフォルトの口紅色と頬紅色が加えられているデフォルト盛り撮影画像609に対して、控え目の口紅色と控え目の頬紅色をさらに重ねることによって、盛りを薄くする。
【0085】
控え目の口紅色と控え目の頬紅色は、「所定の盛り(デフォルト盛り加工)で用いられる第1化粧色とは異なる第2化粧色」の例である。この例では、控え目の口紅色と控え目の頬紅色と共に、ベージュである。控え目の口紅色は、化粧品分野の口紅色の官能評価として、デフォルト口紅色(この例では、ピンク)に比べて控え目と評価される色である。化粧品分野の文献や広告などを参考に判断してもよい。一般的には、肌色に近い口紅色は、口紅色として控え目であると考えられる。口紅の周りの肌との色彩の差が小さくなるからである。
【0086】
ここでいう「肌色」とは、たとえばJIS慣用色名で色彩として特定されている色の一種である。個人差や人種によって左右される色ではなく、色彩として定義されている色である。肌色は、RGBカラーモデルにおけるRGBの三原色が示す輝度の構成で特定できる。三原色が示す輝度の構成を比べて、肌色における三原色が示す輝度の構成に近い構成を有する色は、肌色に近い色であると言える。色の差については、色彩学における従来法で判断してもよい。あるいは、官能評価によって判断してもよい。官能評価は、評価者(「パネル」という)によって評価されるが、評価方法はISO(国際標準化機構)の規格など基づく既存の方法でよい。この例で、ベージュは黄色みを帯びているので、ピンクよりも肌色に近い。
【0087】
頬紅色についても同様である。控え目の頬紅色は、化粧品分野の頬紅色の官能評価として、デフォルト頬紅色(この例では、ピンク)に比べて控え目と評価される色である。一般的には、肌色に近い頬紅色は、頬紅色として控え目であると考えられる。頬紅の周りの肌との色彩の差が小さくなるからである。頬紅色の評価については、口紅色の場合と同様である。
【0088】
なお、控え目の口紅色と控え目の頬紅色は、同じ色であってもよいし、異なる色であってもよい。控え目の頬紅色と控え目の口紅色は、同じ系統(たとえばベージュ系統)で、違う色であってもよい。同じ系統であれば、メイクに統一感が出やすい。控え目の頬紅色と控え目の口紅色は、異なる系統(たとえばベージュ系統とイエロー系統)であってもよい。異なる系統であれば、メイクに変化をつけやすい。
【0089】
ここでは、人種としての標準的な日本人をユーザのモデルとして想定している。肌の色が、標準的な日本人と異なるユーザの場合には、デフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色を、上記の例と別の色に設定してもよい。顔加工部413は、撮影画像からユーザの実際の肌の色を判断して、実際の肌の色に応じてデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色を決めるようにしてもよい。顔加工部413は、肌の色のサンプル色に対応付けて、そのサンプル色に適したデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色が定められた化粧色データを用いて、撮影画像に映ったユーザ毎に、そのユーザの実際の肌の色に適したデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色を特定するようにしてもよい。人種としての日本人でも個体差があり、実際の肌の色は人によって異なる。日焼けの具合などによっても、肌の色は異なる。したがって、ユーザ毎に、適したデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色は異なると考えられる。ユーザ毎により適したデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色を用いるために、個人の実際の肌の色に合ったデフォルト口紅色、デフォルト頬紅色、控え目の口紅色および控え目の頬紅色を用いることは、意義がある。
【0090】
盛り薄め加工では、メイク加工のみ行い、顔の形に関する加工は行わない。デフォルト盛り顔画像509aにおける顔の形のままとする。つまり、盛り薄め加工を行っても、盛り薄め加工を行わなくても、デフォルト盛り加工の顔変形加工でシャープになったフェイスラインや大きくなった目などの顔の形は同じである。盛り薄め加工で顔変形を行わないようにすれば、盛りを薄めたユーザと盛りを薄めないユーザとで顔の形の雰囲気が統一され、バランスが保たれる。
【0091】
盛り薄め加工におけるリップ加工の最初の処理として、変形顔画像503aからユーザAの唇領域が検出される。次に、その唇領域と同じ範囲に口紅色を付するためのユーザA用の控え目リップ画像511aが生成される。盛り薄め加工では、上述した控え目の口紅色(たとえば、ベージュ)が使用される。控え目の口紅色は、デフォルト口紅色に重ねたときに、濁りにくい色であることが望ましい。ベージュは、ピンクやオレンジなどの口紅色に重ねても濁りにくいので、控え目の口紅色に向いている。上述したとおり、控え目の口紅色は、「所定の盛り(デフォルト盛り加工)で用いられる第1化粧色とは異なる第2化粧色」の例である。
【0092】
控え目リップ画像511aで、デフォルト盛り顔画像509aのユーザAの唇領域と重なる部分は、控え目の口紅色が占め、半透明の属性を有する。半透明の透過率は、たとえば20%~80%である。ユーザAの唇領域と重ならない部分、つまり控え目の口紅色が付されていない部分は、透明の属性(透過率:100%)を有する。ユーザBの顔が選択されている場合には、同様にユーザBの変形顔画像からも唇領域が検出され、ユーザBの唇領域と重なる範囲に同じ控え目の口紅色を付したユーザB用のデフォルトリップ画像が生成される。
【0093】
また、盛り薄め加工におけるチーク加工の最初の処理として、変形顔画像503aからユーザAの頬骨辺りの領域が検出される。次に、その頬骨辺りの領域と同じ範囲に頬紅色を付するためのユーザA用の控え目チーク画像513aが生成される。盛り薄め加工では、上述した控え目の頬紅色(たとえば、ベージュ)が使用される。控え目の頬紅色は、デフォルト頬紅色に重ねたときに、濁りにくい色であることが望ましい。ベージュは、ピンクやオレンジなどの頬紅色に重ねても濁りにくいので、控え目の頬紅色に向いている。上述したとおり、控え目の頬紅色は、「所定の盛り(デフォルト盛り加工)で用いられる第1化粧色とは異なる第2化粧色」の例である。
【0094】
控え目チーク画像513aで、デフォルト盛り顔画像509aのユーザAの頬骨辺りの領域と重なる部分は、控え目の頬紅色が占め、半透明の属性を有する。半透明の透過率は、たとえば20%~80%である。ユーザAの頬骨辺りの領域と重ならない部分、つまり控え目の口頬色が付されていない部分は、透明の属性(透過率:100%)を有する。ユーザBの顔が選択されている場合には、同様にユーザBの変形顔画像からも頬骨辺りの領域が検出され、ユーザBの頬骨辺りの領域と重なる範囲に同じ控え目の頬紅色を付したユーザB用のデフォルトリップ画像が生成される。
【0095】
盛り薄め加工では、リップ加工としての画像合成と、チーク加工としての画像合成とを一括して行う。ユーザAのデフォルト盛り顔画像509aの上に、ユーザA用の控え目リップ画像511aと控え目チーク画像513aを重ねる合成を行って、ユーザAの薄め盛り顔画像515aが得られる。盛り薄め加工によって得られる顔画像を、「薄め盛り顔画像」とよぶ。薄め盛り顔画像515aの唇領域では、唇の素地にデフォルト口紅色と控え目の口紅色が重ねられ、同じく頬骨辺りの領域では、頬骨辺りの素地にデフォルト頬紅色と控え目の頬紅色が重ねられるので、図中「素地+デフォルト化粧色+控え目の化粧色」と記した。この方式では、デフォルト化粧色を控え目の化粧色に差し替えるのではないので、デフォルト化粧色(たとえば、ピンク)を控え目の化粧色(たとえば、ベージュ)に変えることによって、カバー力が落ちて素地の荒れやしわが見えるようになってしまう心配はない。図示するように、控え目リップ画像511aは一番上のレイヤに相当し、控え目チーク画像513aは中間のレイヤに相当し、デフォルト盛り顔画像509aは一番下のレイヤに相当する。これら3層のレイヤの合成を行う。レイヤ合成の処理方法については、従来技術と同様でよい。控え目リップ画像511aと控え目チーク画像513aの順番は、逆でもよい。唇領域と頬骨辺りの領域は離れているので、控え目リップ画像511aと控え目チーク画像513aを1つのレイヤとしてもよい。同様に、ユーザBの顔が選択されている場合には、ユーザBのデフォルト盛り顔画像の上に、ユーザB用の控え目リップ画像と控え目チーク画像を重ねる合成を行って、ユーザBの薄め盛り顔画像が得られる。
【0096】
盛り薄め加工でベース(一番下のレイヤ)となるデフォルト盛り顔画像509aは、デフォルト盛り加工において既に平滑化処理と美白化処理が施されている。したがって、盛り薄め加工で改めて平滑化処理と美白化処理を行う必要はない。あるいは、平滑化処理と美白化処理を処理負荷の少ない方式で行うように留めてもよい。盛り調整加工で、改めてデフォルト盛り加工と同様の平滑化処理を行わなくて済むので、デフォルト盛り加工の場合に比べて処理量を少なくできる。
【0097】
元に戻すボタン707がタッチされてユーザAの顔の盛り薄め加工が解除されると、デフォルト盛り顔画像509aがそのまま用いられる。つまり、上述した控え目リップ画像511aと控え目チーク画像513aを重ねる合成は行われない。
【0098】
ユーザAの薄め盛り顔画像515aは、盛り薄め加工の結果である盛り調整撮影画像615に含められる。盛り調整撮影画像615は、デフォルト盛り撮影画像609をベースとし、デフォルト盛り撮影画像609にユーザAの薄め盛り顔画像515aが貼り付けられる。ユーザBの顔が選択されている場合には、ユーザBの薄め盛り顔画像が盛り調整撮影画像615に含められる。
【0099】
事前修正処理によって得られたデフォルト盛り画像と盛り調整撮影画像は、事前修正画像記憶部423に記憶される。事前修正画像記憶部423にデフォルト盛り画像のみが記憶されている場合には、そのデフォルト盛り画像が対象画像として編集画面に表示される。事前修正画像記憶部423にデフォルト盛り画像と盛り調整撮影画像が記憶されている場合には、盛り調整撮影画像が対象画像として編集画面に表示される。
【0100】
図12は、編集画面の画面図である。
編集処理(S15)が始まると、表示処理部403は、編集画面を編集モニタ120に表示させる。編集画面は、ユーザが対象画像に対する編集操作を行い、編集の結果を見て確認するための画面である。この図は、左側ユーザが操作するための編集画面を示している。右側には、右側ユーザが操作するための編集画面が表示されている。右側ユーザが操作するための編集画面については省略するが、この図と同様のレイアウトであって同様にユーザ操作を受け付け、対象画像を表示する。編集画面が表示された時点から、ユーザが編集プレイをしている時間(以下、「編集時間」とよぶ)の計測が始まる。編集時間が所定の制限時間に達すると、編集処理部146は、編集画面の表示を終了し、編集処理を終える。つまり、編集画面は、表示される時間の制限が設定されており、ユーザの編集プレイの持ち時間が決まっている。なお、上述した盛り調整画面が表示されている盛り調整処理の時間は、編集時間に含まれない。したがって、盛りの調整を行っても、編集プレイができる時間に影響しない。盛りを薄めた場合でも、十分に編集プレイを楽しむことができる。
【0101】
この例では、対象画像が7つあるものとする。画像タブ300a~300g(以下、まとめて言うときや特に区別しないときには「画像タブ300」と総称する)は、事前修正された対象画像に対応している。ユーザAが画像タブ300にタッチすると、画像タブ300に対応する対象画像が、画像表示領域302に表示される。
【0102】
対象画像の背景は、事前修正によって置き換えられている。図中、置き換えられた背景を格子状パターンで示しているが、実際には所定の色で塗られている。
【0103】
リップパレット304は、対象画像に含まれるユーザの唇に対する加工の度合いを指示するために用いられる。リップパレット304をユーザが操作すると、更新された対象画像が画像表示領域302に表示される。
【0104】
図13は、リップパレットの画面図である。
大タブ306a~306d(以下、まとめて言うときや特に区別しないときには「大タブ306」と総称する)は、パレットを選択するために用いられる。この例では、「メイク」の大タブ306dが選択されているものとする。「メイク」以外の「スタンプ」、「ペン」および「もじ」のパレットについては、省略する。
【0105】
小タブ308a、308bは、「リップ」または「チーク」のパレットを選択するために用いられる。この例では、「リップ」の小タブ308aが選択されているものとする。「チーク」のパレットについては、省略する。
【0106】
顔選択ウィンドウ310は、リップ加工の対象となるユーザを選択するために用いられる。顔選択ウィンドウ310には、対象画像を縮小した画像が表示される。ユーザAが、選択枠312をスライドさせてユーザA自身の顔に合わせると、ユーザAの顔における唇加工が調整される。
【0107】
質感ボタン314a~314c(以下、まとめて言うときや特に区別しないときには「質感ボタン314」と総称する)は、唇の質感、つまり口紅の照り具合を指定するために用いられる。「ツヤ」の質感ボタン314aが選択されると、口紅の光沢を強調した仕上がりとなる。したがって、リップグロスを塗ったように華やかな印象になる。具体的には、予め用意されている大きな定形のハイライト画像が、唇に配置される。このハイライト画像は、標準的な唇における強い反射によって表れる形状をしている。
【0108】
一方、「マット」の質感ボタン314bが選択されると、口紅の光沢を抑えた仕上がりとなる。したがって、マットリップを塗ったように落ち着いた印象になる。具体的には、予め用意されている小さな定形のハイライト画像が、唇に配置される。このハイライト画像は、標準的な唇における弱い反射によって表れる形状をしている。
【0109】
他方、「元の質感」の質感ボタン314cが選択されると、ユーザ自身の元の光沢を再現する。したがって、ユーザの個性が生かされ素直な印象になる。ハイライト画像は、対象画像から抽出される。対象画像から抽出されたハイライト画像は、ユーザの唇における反射によって表れる形状をしている。
【0110】
このように、質感ボタン314の選択によってハイライト画像の形状が決まり、口紅の光沢感を調整することができる。なお、事前修正では、「元の質感」によって処理する。したがって、ユーザAの唇には、ユーザAの元の光沢が再現され、ユーザBの唇には、ユーザBの元の光沢が再現される。
【0111】
口紅色ボタン316a~316d(以下、まとめて言うときや特に区別しないときには「口紅色ボタン316」と総称する)は、口紅色を指定するために用いられる。口紅色ボタン316a~316dは、異なる口紅色に対応している。口紅色は様々であるが、たとえばレッド、オレンジ、イエローやベージュなどである。元の色ボタン318は、デフォルト口紅色(たとえば、ピンク)に対応する。
【0112】
口紅消しゴムボタン320は、口紅を塗る唇領域を修正するために用いられる。唇領域は自動的に抽出されるが、抽出された唇領域が大きすぎる場合には、ユーザが口紅消しゴムを使って修正する。具体的には、口紅消しゴムボタン320の選択によって表示される口紅消しゴムカーソルをスライドさせることによって、口紅消しゴムカーソルが通過した部分を唇領域から除外する。これにより、はみ出した唇領域の口紅を消し取ることができる。
【0113】
このように、受付部401は、盛り調整が行われた撮影画像(対象画像)に対する編集操作を受け付ける。編集処理部146は、編集操作の内容に応じて撮影画像(対象画像)を加工する。
【0114】
図14は、編集処理におけるリップ加工の具体例を示す図である。
この例における対象画像は、
図11の下部に示した盛り調整撮影画像615である。図示したユーザAの薄め盛り顔画像515aは、
図11の上部に図示したものと同じである。つまり、ユーザAの顔が盛り薄め加工されているものとする。
【0115】
ここでは、リップパレットの顔選択ウィンドウ310でユーザAの顔が選択され、次にレッドの口紅色ボタン316が選択されたものとする。編集処理のリップ加工における画像合成では、ベースとしてデフォルト盛り顔画像509aを用いる。画像表示領域302および顔選択ウィンドウ310に表示されている薄め盛り顔画像515aをベースにするのではない。薄め盛り顔画像515aをベースとすると、ブレンドされる化粧色の数が多くなり、結果的に色が濁るからである。この点については、後述する。
【0116】
編集処理におけるレイヤの構成は、
図11に示した薄め盛り加工の場合のレイヤの構成を基礎とする。レッドの口紅色ボタン316が選択された場合には、控え目リップ画像511aを、レッドの選択リップ画像517aに差し替える。選択リップ画像517aは、デフォルト盛り顔画像509aの唇領域に重なる範囲にレッドの口紅色が付されている。透過率については、控え目リップ画像511aの場合と同様である。また、唇領域に重ならない範囲についても、控え目リップ画像511aの場合と同様である。このように、リップ画像が差し替えられたレイヤ構成で画像合成が行われて、新たな顔画像が生成される。編集処理で生成される顔画像を「編集顔画像」と呼ぶ。
【0117】
この例で生成されるユーザAの編集顔画像519aについて説明する。編集顔画像519aの唇領域では、唇の素地にデフォルト口紅色(たとえば、ピンク)と選択された口紅色(レッド)が重ねられる。このことを、図中「素地+デフォルトリップ色+選択リップ色」と記した。結果的に、ピンクとレッドの合成色のリップを塗った状態となる。レッドの口紅色ボタン316には、この色が表示されている。つまり、口紅色ボタン316には、デフォルトリップ色を加味した合成色が表示されており、編集顔画像519aの見栄えと一致するようになっている。一方、編集顔画像519aの頬骨辺りの領域は、薄め盛り顔画像515aの場合と同様である。つまり、チークの様子は変わらず、頬骨辺りの素地にデフォルト頬紅色(たとえば、ピンク)と控えめの頬紅色(たとえば、ベージュ)が重ねられる。したがって、口紅色だけが塗り替わったように見える。編集顔画像519aは、盛り調整撮影画像615の薄め盛り顔画像515aと差し替えられて、新たな全体画像が生成される。編集処理で新たに生成された全体画像を、「編集撮影画像」という。この例における編集撮影画像619では、ユーザAの顔画像だけが差し替えられ、ユーザBの顔画像は変わらない。編集撮影画像619は、画像表示領域302および顔選択ウィンドウ310に表示される。ユーザAは、画像表示領域302および顔選択ウィンドウ310に表示された編集撮影画像619を見て、編集結果を確認することができる。
【0118】
元の色ボタン318がタッチされた場合には、リップ画像のレイヤを設けずに画像合成を行う。したがって、デフォルト口紅色だけが素地に加えられる。
【0119】
編集処理の画像合成において、薄め盛り顔画像515aをベース(一番下のレイヤ)としない理由について補足する。薄め盛り顔画像515aをベースとすると、上述の操作によって、編集顔画像519aの唇領域で、唇の素地にデフォルト口紅色(たとえば、ピンク)と控え目の口紅色(たとえば、ベージュ)と選択された口紅色(レッド)が重ねられることになる。ピンクとベージュとレッドの3つの口紅色を重ねると、色が濁って、鮮やかさが無くなる。また、選択されたレッドの印象も弱くなる。本実施形態では、デフォルト盛り顔画像509aをベースとするので、唇の素地にデフォルト口紅色(たとえば、ピンク)と選択された口紅色(レッド)が重ねられる。ピンクとレッドとの2つの口紅色だけを重ねるようにすれば、色が濁らず、鮮やかさが保たれる。また、選択されたレッドの印象も強い。このように、選択したリップの効果を鮮やかに感じられるようにするために、薄め盛り顔画像515aではなく、デフォルト盛り顔画像509aをベースとすることとした。
【0120】
[変形例1]
実施形態では、盛り調整画面(
図9)において盛り薄くボタン705をタッチして、デフォルト盛りを薄めることができる例について説明した。盛りを薄くすることは、デフォルト盛りの調整の一例である。デフォルト盛りの調整として、盛りを濃くするようにしてもよい。デフォルト盛りではもの足らず、より目立つ印象にしたいというユーザは、対象画像を一括して盛りが濃いものに変更できる。
【0121】
変形例1では、盛り調整画面(
図9)に盛り濃くボタン(不図示)を含める。受付部401が、顔フレーム703内のタッチによる顔の選択と、盛り濃くボタンのタッチ(盛りを濃くする指示)とを受け付けた場合には、顔加工部413は、選択された顔に盛り濃く加工を施す。
【0122】
図15は、盛り濃く加工の具体例を示す図である。
上部に示したデフォルト盛り顔画像509aとデフォルト盛り撮影画像609は、
図11の場合と同様である。レイヤ構成が、
図11の場合と異なる。
図11に示した控え目リップ画像511aに代えて、派手リップ画像521aが用いられ、
図11に示した控え目チーク画像513aに代えて、派手チーク画像523aが用いられる。デフォルト盛り顔画像509aをベースとする点は、
図11の場合と同じである。
【0123】
派手リップ画像521aでは、デフォルト盛り顔画像509aの唇領域に重なる範囲に、派手な口紅色が付されている。派手な口紅色は、たとえばレッドである。派手な口紅色は、化粧品分野の口紅色の官能評価として、デフォルト口紅色(この例では、ピンク)に比べて派手と評価される色である。一般的には、肌色から遠い口紅色は、口紅色として派手であると考えられる。口紅の周りの肌との色彩の差が大きくなるからである。デフォルト口紅色よりも明度が低い口紅色を、派手な口紅色と捉えてもよい。口紅の周りの肌との明度差が大きくなるからである。同じピンク系統の口紅色であっても、明度が低いピンクは、濃厚な印象を与えるので派手と言える。
【0124】
派手チーク画像523aでは、デフォルト盛り顔画像509aの頬骨辺りの領域に重なる範囲に、派手な頬紅色が付されている。派手な口紅色は、たとえばレッドである。派手な頬紅色は、化粧品分野の口紅色の官能評価として、デフォルト頬紅色(この例では、ピンク)に比べて派手と評価される色である。一般的には、肌色から遠い頬紅色は、頬紅色として派手であると考えられる。頬紅の周りの肌との色彩の差が大きくなるからである。デフォルト頬紅色よりも明度が低い頬紅色を、派手な頬紅色と捉えてもよい。頬紅の周りの肌との明度差が大きくなるからである。同じピンク系統の頬紅色であっても、明度が低いピンクは、濃厚な印象を与えるので派手と言える。
【0125】
レイヤ合成の方法は、
図11の場合と同様に従来技術でもよい。画像合成によって得られたユーザAの濃い盛り顔画像525aは、盛り濃く加工の結果である盛り調整撮影画像625に含められる。ユーザBの顔が選択されている場合には、ユーザBの濃い盛り顔画像が盛り調整撮影画像625に含められる。盛り調整撮影画像615は、
図11の場合と同様にデフォルト盛り撮影画像609をベースとする。
【0126】
[変形例2]
実施形態では、盛り薄め加工において顔変形を行わない例を示した。ただし、盛り薄め加工において、顔変形加工を行うようにしてもよい。たとえば、顔加工部413は、盛り薄め加工において顔変形加工をやり直す。具体的には、顔加工部413は、オリジナル顔画像に対して、デフォルト盛り加工の場合よりも小さい削減率でフェイスラインをシャープ化し、デフォルト盛り加工の場合よりも小さい拡大率で目を拡大する。つまり、顔の変化を抑えるようにする。メイク加工については、実施形態の場合と同様である。
【0127】
また、盛り濃く加工において、顔加工部413は、顔変形加工をやり直すようにしてもよい。具体的には、顔加工部413は、オリジナル顔画像に対して、デフォルト盛り加工の場合よりも大きい削減率でフェイスラインをシャープ化し、デフォルト盛り加工の場合よりも大きい拡大率で目を拡大する。つまり、顔の変化を強調する。メイク加工については、変形例1の場合と同様である。
【0128】
また、顔加工部413は、盛り調整において、顔の変形と化粧を調整し、顔の変形の調整度合いが、化粧の調整度合いよりも小さくなるようにしてもよい。このようにすれば、盛りを調整したユーザと盛りを調整しないユーザとで顔の形の雰囲気が似て、バランスが保たれる。
【0129】
化粧の調整度合いは、たとえば式1で求めることができる。
化粧の調整度合い=(口紅の調整度合い+頬紅の調整度合い)/2 (式1)
【0130】
口紅の調整度合いは、以下の式2と式3で求めることができる。
口紅の調整度合い=デフォルト口紅色と合成口紅色の色差
/デフォルト口紅色と肌色の色差 (式2)
合成口紅色=デフォルト口紅色と調整口紅色の合成色 (式3)
調整口紅色は、控え目の口紅色又は派手な口紅色である。合成口紅色は、上述した透過率に従って合成されるものとする。
【0131】
たとえば、控え目の口紅色がデフォルト口紅色に近ければ、合成口紅色も比較的デフォルト口紅色に近くなる。従って、式2の分子の値が小さくなり、口紅の調整度合いは小さくなる。反対に、控え目の口紅色が肌色に近ければ、合成口紅色も比較的肌色に近くなる。従って、式2の分子の値が大きくなり、口紅の調整度合いは大きくなる。
【0132】
頬紅の調整度合いは、以下の式4と式5で求めることができる。
頬紅の調整度合い=デフォルト頬紅色と合成頬紅色の色差
/デフォルト頬紅色と肌色の色差 (式4)
合成頬紅色=デフォルト頬紅色と調整頬紅色の合成色 (式5)
調整頬紅色は、控え目の頬紅色又は派手な頬紅色である。合成頬紅色は、上述した透過率に従って合成されるものとする。
【0133】
たとえば、控え目の頬紅色がデフォルト頬紅色に近ければ、合成頬紅色も比較的デフォルト頬紅色に近くなる。従って、式4の分子の値が小さくなり、頬紅の調整度合いは小さくなる。反対に、控え目の頬紅色が肌色に近ければ、合成頬紅色も比較的肌色に近くなる。従って、式4の分子の値が大きくなり、頬紅の調整度合いは大きくなる。
【0134】
顔の変形の調整度合いは、以下の式6で求めることができる。
顔の変形の調整度合い=
(フェイスラインの調整度合い+目の調整度合い)/2 (式6)
【0135】
フェイスラインの調整度合いは、以下の式7と式8で求めることができる。
フェイスラインの調整度合い=
|デフォルト盛り加工の頬の膨らみの削減率-盛り調整の頬の膨らみの削減率|
/デフォルト盛り加工の頬の膨らみの削減率 (式7)
頬の膨らみの削減率=(削減前の頬の面積-削減後の頬の面積)
/削減前の頬の面積 (式8)
【0136】
たとえば、面積比で表して、削減前の頬の面積が100で、デフォルト盛り加工後の頬の面積が80で、盛り調整後の頬の面積が90であるとする。以下のように算出される。
デフォルト盛り加工の頬の膨らみの削減率=(100-80)/100
=0.2
盛り調整の頬の膨らみの削減率=(100-90)/100
=0.1
フェイスラインの調整度合い=|0.2-0.1|/0.2
=0.5
【0137】
たとえば、削減前の頬の面積が100で、デフォルト盛り加工後の頬の面積が80で、盛り調整後の頬の面積が85であるとする。以下のように算出される。
デフォルト盛り加工の頬の膨らみの削減率=(100-80)/100
=0.2
盛り調整の頬の膨らみの削減率=(100-85)/100
=0.15
フェイスラインの調整度合い=|0.2-0.15|/0.2
=0.25
【0138】
盛り調整後の頬の面積が85である例の方が、盛り調整後の頬の面積が90である
例よりもフェイスラインの調整度合いが小さい。デフォルト盛り加工後の頬の面積の80に近いからである。
【0139】
目の調整度合いは、以下の式9と式10で求めることができる。
目の調整度合い=
|デフォルト盛り加工の目の拡大率-盛り調整の目の拡大率|
/デフォルト盛り加工の目の拡大率 (式9)
目の拡大率=拡大後の目の面積/拡大前の目の面積 (式10)
【0140】
たとえば、面積比で表して、拡大前の目の面積が10で、デフォルト盛り加工後の目の面積が20で、盛り調整後の目の面積が15であるとする。以下のように算出される。
デフォルト盛り加工の目の拡大率=20/10=2
盛り調整の目の拡大率=15/10=1.5
目の調整度合い=|2-1.5|/2=0.25
【0141】
たとえば、拡大前の目の面積が10で、デフォルト盛り加工後の目の面積が20で、盛り調整後の目の面積が18であるとする。以下のように算出される。
デフォルト盛り加工の目の拡大率=20/10=2
盛り調整の目の拡大率=18/10=1.8
目の調整度合い=|2-1.8|/2=0.1
【0142】
盛り調整後の目の面積が18である例の方が、盛り調整後の目の面積が15である例よりも目の調整度合いが小さい。デフォルト盛り加工後の目の面積の20に近いからである。
【0143】
[変形例3]
実施形態では、盛り薄め加工においてデフォルト盛り顔画像をベース(一番下のレイヤ)とする画像合成の例(
図11)を示した。ただし、盛り薄め加工においてデフォルト盛り顔画像に対する画像合成を行わずに、デフォルト盛り加工をやり直すようにしてもよい。そして、作り直されたデフォルト盛り撮影画像を、盛り調整処理の結果とする。この場合、デフォルト盛りの加工を行う前の状態の撮影画像もしくは顔画像を履歴情報としてデータ格納部136やメモリ等の記憶装置に記憶しておく。
【0144】
受付部401が、顔フレーム703内のタッチによる顔の選択と、盛り薄くボタン705のタッチ(盛りを薄くする指示)とを受け付けた場合に、顔加工部413は、記憶装置に記憶されている履歴情報に基づいてデフォルト盛りの加工を行う前の状態に戻したうえでデフォルト盛り加工をやり直す。やり直しのデフォルト盛り加工では、画像合成に用いられるリップ画像を、
図8に示したデフォルトリップ画像505aから控え目リップ画像511aに変更する。また、画像合成に用いられるチーク画像を、
図8に示したデフォルトチーク画像507aから控え目チーク画像513aに変更する。画像合成の方法は、実施形態の場合と同様である。
【0145】
その結果、作り直されたデフォルト盛り顔画像509aの唇領域では、唇の素地に控え目の口紅色が重ねられ、同じく目骨辺りの領域では、目骨辺りの素地に控え目の目紅色が重ねられる。
【0146】
デフォルト盛り加工をやり直す場合には、最初のデフォルト盛り加工で生成した変形顔画像503aを利用できるので、顔変形加工を省いてもよい。また、美白化処理と平滑化処理された顔画像も既にあるので、美白化処理と平滑化処理を省いてもよい。
【0147】
デフォルト口紅色(たとえば、ピンク)から控え目の口紅色(たとえば、ベージュ)に変えることによって、唇に荒れやしわが目立つことを防ぐために、控え目の口紅色の透過度をデフォルト口紅色の場合の透過度よりも低く設定するようにしてもよい。あるいは、顔加工部413が、より平滑化の程度が高い平滑化方式で平滑化処理を行うようにしてもよい。
【0148】
また、変形例1の盛り濃く加工においてデフォルト盛り顔画像に対する画像合成を行わずに、デフォルト盛り加工をやり直すようにしてもよい。作り直されたデフォルト盛り顔画像509aの唇領域では、唇の素地に派手な口紅色が重ねられ、同じく目骨辺りの領域では、目骨辺りの素地に派手な目紅色が重ねられる。
【0149】
[変形例4]
実施形態では、編集ブース106の編集装置126で、盛り調整処理(S14)を行う例を示したが、撮影ブース104の撮影装置128で盛り調整処理(S14)を行うようにしてもよい。
【0150】
この変形例では、表示処理部403は、盛り調整画面を撮影装置128の第1撮影モニタ112または第2撮影モニタ114に表示させる。受付部401は、撮影装置128の第1撮影モニタ112または第2撮影モニタ114に表示された盛り調整画面において、盛り調整指示を受け付ける。
【0151】
[変形例5]
実施形態と上述の変形例では、メイク加工の例として、リップ加工とチーク加工を示したが、リップとチーク以外の加工を行うようにしてもよい。たとえば、アイシャドー加工と行うようにしてもよい。その場合、化粧部分は、唇と目骨辺りに代えて、上瞼となる。また、化粧色は、口紅色と目紅色に代えて、アイシャドー色となる。
【0152】
[変形例6]
実施形態と上述の変形例では、撮影静止画像を対象として、デフォルト盛り加工処理(
図4のS13)と盛り調整処理(
図4のS14)を行う例を示した。ただし、撮影動画像を対象として、デフォルト盛り加工処理(
図4のS13)と盛り調整処理(
図4のS14)を行うようにしてもよい。つまり、顔検出部411と顔加工部413は、上述した例で処理の対象とする撮影画像として、撮影動画像の各フレーム画像を処理してもよい。
【0153】
顔加工部413は、撮影動画像についても盛り薄め加工を施す場合に、撮影動画像の各フレーム画像において、調整対象のユーザの顔を認識して、その顔に対して盛り薄め加工を施すようにしてもよい。変形例1の盛り濃く加工についても、同様である。
【0154】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0155】
遊戯画像撮影装置100とサーバ202、ユーザ端末206により、特に、遊戯画像撮影装置100とサーバ202により遊戯画像撮影システム200が構成されるとして説明したが、遊戯画像撮影装置100の機能の一部はサーバ202により実現されてもよいし、サーバ202の機能の一部が遊戯画像撮影装置100に割り当てられてもよい。また、遊戯画像撮影装置100やサーバ202以外の第3の装置が、これらの装置の機能の一部を担ってもよい。1つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力や遊戯画像撮影システム200に求められる仕様等に鑑みて決定されればよい。
【符号の説明】
【0156】
100 遊戯画像撮影装置、102 受付装置、104 撮影ブース、106 編集ブース、108 受付モニタ、110 印刷装置、112 第1撮影モニタ、114 第2撮影モニタ、116 ライト、118 カメラ、120 編集モニタ、122 スタイラスペン、124 カーテン、126 編集装置、128 撮影装置、130 ユーザインタフェイス処理部、132 データ処理部、134 通信部、136 データ格納部、140 入力部、142 出力部、144 撮影処理部、#145 事前修正部、$146 編集処理部、148 受付処理部、150 印刷処理部、162a 第1編集領域、162b 第2編集領域、166 画像表示領域、166a 第1画像表示領域、166b 第2画像表示領域、168 タブ、170a ユーザ、170b ユーザ、172a 導電コード、172b 導電コード、174 残余時間表示領域、176 終了ボタン、180 装飾ボタン、182 装飾選択領域、190 再生ボタン、200 遊戯画像撮影システム、202 サーバ、204 インターネット、206 ユーザ端末、210 ライト・グループ、212 ポーズ指示部、214 演出出力部、216 音声出力部、218 照明制御部、220 撮影案内部、230 受信部、232 送信部、240 編集画面、300 画像タブ、302 画像表示領域、304 リップパレット、306 大タブ、308 小タブ、310 顔選択ウィンドウ、312 選択枠、314 質感ボタン、316 口紅色ボタン、318 元の色ボタン、320 口紅消しゴムボタン、401 受付部、403 表示処理部、411 顔検出部、413 顔加工部、421 撮影画像記憶部、423 事前修正画像記憶部、501 オリジナル撮影画像、505a デフォルトリップ画像、507a デフォルトチーク画像、509a デフォルト盛り顔画像、511a 控え目リップ画像、513a 控え目チーク画像、515a 薄め盛り撮影画像、601a オリジナル顔画像、603a 変形顔画像、609 デフォルト盛り撮影画像、615 薄め盛り撮影画像、701 撮影画像表示領域、703a 顔フレーム、703b 顔フレーム、705 盛り薄くボタン、707 元に戻すボタン、709 確定ボタン