IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ フリュー株式会社の特許一覧

特許7518345画像処理装置、プログラム、画像処理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-09
(45)【発行日】2024-07-18
(54)【発明の名称】画像処理装置、プログラム、画像処理方法
(51)【国際特許分類】
   G03B 17/53 20210101AFI20240710BHJP
   H04N 23/60 20230101ALI20240710BHJP
   H04N 5/222 20060101ALI20240710BHJP
【FI】
G03B17/53
H04N23/60 500
H04N5/222 500
【請求項の数】 9
(21)【出願番号】P 2020074748
(22)【出願日】2020-04-20
(65)【公開番号】P2021173783
(43)【公開日】2021-11-01
【審査請求日】2023-03-27
(73)【特許権者】
【識別番号】307010096
【氏名又は名称】フリュー株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】濱口 由香理
(72)【発明者】
【氏名】笹野 里香
(72)【発明者】
【氏名】角 和貴子
【審査官】門田 宏
(56)【参考文献】
【文献】特開2018-022126(JP,A)
【文献】特開2015-179223(JP,A)
【文献】特開2015-185876(JP,A)
【文献】特開2013-020366(JP,A)
【文献】特開2013-059572(JP,A)
【文献】特開2010-170264(JP,A)
【文献】特開2015-180016(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222- 5/257
H04N 23/00
H04N 23/40 -23/76
H04N 23/90 -23/959
G03B 17/53
(57)【特許請求の範囲】
【請求項1】
複数の人物が被写体として写る第1の撮影画像を取得し、機械学習によって生成された推論器を用いて、前記第1の撮影画像に写るそれぞれの前記人物の顔の特徴を分析する分析部と、
それぞれの前記人物の顔の特徴の分析結果と、それぞれの前記人物の顔の写りについて同じ画面を用いて利用者により行われる選択操作に応じた、特定の部位の変形を含む画像処理を前記第1の撮影画像に写るそれぞれの前記人物の顔の前記特定の部位に対して行い、前記第1の撮影画像に対する画像処理と同じ内容の画像処理を第2の撮影画像に対して行う画像処理部と
を備える画像処理装置。
【請求項2】
それぞれの前記人物の顔の特徴の分析結果を分析に用いられた画像に重ねて表示させる表示制御部をさらに備える
請求項1に記載の画像処理装置。
【請求項3】
コンピュータに、
複数の人物が被写体として写る第1の撮影画像を取得し、
機械学習によって生成された推論器を用いて、前記第1の撮影画像に写るそれぞれの前記人物の顔の特徴を分析し、
それぞれの前記人物の顔の特徴の分析結果と、それぞれの前記人物の顔の写りについて同じ画面を用いて利用者により行われる選択操作に応じた、特定の部位の変形を含む画像処理を前記第1の撮影画像に写るそれぞれの前記人物の顔の前記特定の部位に対して行い、
前記第1の撮影画像に対する画像処理と同じ内容の画像処理を第2の撮影画像に対して行
処理を実行させるプログラム。
【請求項4】
前記推論器は、顔が写る画像を入力とし、顔の特徴を表す値を出力とするネットワークである
請求項3に記載のプログラム。
【請求項5】
前記第1の撮影画像に写る第1の人物の顔の特徴の分析結果と第1の選択操作に応じて、前記第1の人物の顔の複数種類の前記画像処理に用いる第1のパラメータを決定し、
第2の人物の顔の特徴の分析結果と第2の選択操作に応じて、前記第2の人物の顔の複数種類の前記画像処理に用いる第2のパラメータを決定する
請求項3または4に記載のプログラム。
【請求項6】
前記第1の人物の顔の特徴の分析結果と前記第2の人物の顔の特徴の分析結果とを同じ画面に表示させる
請求項5に記載のプログラム。
【請求項7】
それぞれの前記人物の顔の特徴の分析結果を分析に用いられた画像に重ねて表示させる
請求項3乃至のいずれかに記載のプログラム。
【請求項8】
複数枚の前記第2の撮影画像に対する前記画像処理を順に行い、前記画像処理後の複数枚の前記第2の撮影画像を並べて表示させる
請求項3乃至7のいずれかに記載のプログラム。
【請求項9】
画像処理装置が、
複数の人物が被写体として写る第1の撮影画像を取得し、
機械学習によって生成された推論器を用いて、前記第1の撮影画像に写るそれぞれの前記人物の顔の特徴を分析し、
それぞれの前記人物の顔の特徴の分析結果と、それぞれの前記人物の顔の写りについて同じ画面を用いて利用者により行われる選択操作に応じた、特定の部位の変形を含む画像処理を前記第1の撮影画像に写るそれぞれの前記人物の顔の前記特定の部位に対して行い、
前記第1の撮影画像に対する画像処理と同じ内容の画像処理を第2の撮影画像に対して行
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、特に、顔の特徴に適した画像処理を行うことができるようにした画像処理装置、プログラム、画像処理方法に関する。
【背景技術】
【0002】
従来、写真シール作成装置が知られている。写真シール作成装置は、利用者を撮影し、撮影画像に対して利用者に編集を行わせ、編集後の画像をシール紙に印刷して提供するものである。写真シール作成装置は遊戯施設などに設置される。
【0003】
写真シール作成装置が提供する1ゲームの流れは、通常、撮影空間内にいる利用者を被写体として撮影を行った後、利用者を編集空間に移動させ、編集空間内で行われる操作に従って画像を編集して、編集済みの画像をシール紙に印刷するものとなる。
【0004】
このような写真シール作成装置の中には、編集時に利用できるツールの内容がゲーム毎に変更されるようになっているものがある。
【0005】
特許文献1には、編集画面に用意された診断ボタンが押されることに応じてプレイ毎可変スタンプの内容を決定し、ユーザに利用させる技術が開示されている。特許文献1に記載の写真撮影遊戯機においては、プレイ毎可変スタンプを構成する、女子の行動や挙動の傾向を示す文字、精神の内面又はその内面に起因して現れる行動や性質を示す文字などの内容が、ゲーム毎に決定される。
【先行技術文献】
【特許文献】
【0006】
【文献】特開2019-74811号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
特許文献1に記載の写真撮影遊戯機においては、プレイ毎可変スタンプの内容が、あらかじめ設定されたグループの中から順番にまたはランダムに決定される。
【0008】
プレイ毎可変スタンプの内容が単に順番に決定されるとした場合、プレイ毎可変スタンプを用いて画像の編集を行ったときに、その内容が、被写体として写っている利用者の写りに適していないものとなることがある。
【0009】
本技術はこのような状況に鑑みてなされたものであり、顔の特徴に適した画像処理を行うことができるようにするものである。
【課題を解決するための手段】
【0010】
本技術の一側面の画像処理装置は、複数の人物が被写体として写る第1の撮影画像を取得し、機械学習によって生成された推論器を用いて、前記第1の撮影画像に写るそれぞれの前記人物の顔の特徴を分析する分析部と、それぞれの前記人物の顔の特徴の分析結果と、それぞれの前記人物の顔の写りについて同じ画面を用いて利用者により行われる選択操作に応じた、特定の部位を変形する画像処理を前記第1の撮影画像に写るそれぞれの前記人物の顔の前記特定の部位に対して行い、前記第1の撮影画像に対する画像処理と同じ内容の画像処理を第2の撮影画像に対して行う画像処理部とを備える。
【0011】
本技術の一側面においては、機械学習によって生成された推論器を用いて、前記第1の撮影画像に写るそれぞれの前記人物の顔の特徴が分析され、それぞれの前記人物の顔の特徴の分析結果と、それぞれの前記人物の顔の写りについて同じ画面を用いて利用者により行われる選択操作とに応じた、特定の部位の変形を含む画像処理が前記第1の撮影画像に写るそれぞれの前記人物の顔の前記特定の部位に対して行われる。また、前記第1の撮影画像に対する画像処理と同じ内容の画像処理が第2の撮影画像に対して行われる。
【発明の効果】
【0012】
本技術によれば、顔の特徴に適した画像処理を行うことができる。
【図面の簡単な説明】
【0013】
図1】本技術の写真シール作成装置の外観の構成例を示す斜視図である。
図2】写真シール作成装置の外観を他の角度からみた斜視図である。
図3】利用者の移動について説明する図である。
図4】事前選択部の構成例を示す図である。
図5】撮影部の構成例を示す図である。
図6】編集ユニットの正面の構成例を示す図である。
図7】写真シール作成装置の構成例を示すブロック図である。
図8】写真シール作成装置の機能構成例を示すブロック図である。
図9図8の撮影処理部の構成例を示すブロック図である。
図10図8の編集処理部の構成例を示すブロック図である。
図11】写真シール作成ゲーム処理について説明するフローチャートである。
図12図11のステップS2において行われる撮影処理について説明するフローチャートである。
図13】ライブビュー画面の表示例を示す図である。
図14】分析結果の表示画面の例を示す図である。
図15】顔特徴マップを拡大して示す図である。
図16】分析結果の他の表示画面の例を示す図である。
図17】案内画面の例を示す図である。
図18】なりたい顔の選択画面の表示例を示す図である。
図19】なりたい顔の選択結果の表示例を示す図である。
図20】目の間隔に応じたマッピングの例を示す図である。
図21】顔の輪郭の形状に応じたマッピングの例を示す図である。
図22】評価値の求め方の例を示す図である。
図23】ライブビュー画面の表示例を示す図である。
図24】撮影結果の表示例を示す図である。
図25】3人用コースの選択時におけるライブビュー画面の例を示す図である。
図26】3人用コースの選択時の分析結果の表示例を示す図である。
図27】選択結果の表示例を示す図である。
図28】4人以上コースの選択時におけるライブビュー画面の表示例を示す図である。
図29】4人以上コースの選択時における、なりたい顔の選択画面の表示例を示す図である。
図30】編集画面の表示例を示す図である。
図31】編集画面の他の表示例を示す図である。
【発明を実施するための形態】
【0014】
<<1.写真シール作成ゲームについて>>
<写真シール作成装置の外観>
図1および図2は、写真シール作成装置1の外観の構成例を示す斜視図である。
【0015】
写真シール作成装置1は、撮影画像や編集画像を提供する写真作成ゲーム機である。写真シール作成装置1は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりすることで、利用者に画像を提供する。写真シール作成装置1は、ゲームセンターなどのアミューズメント施設や店舗に設置される。
【0016】
写真シール作成装置1の利用者は、主に女子高生や若い女性である。写真シール作成装置1において、1組あたり主に2人や3人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置1において、1人の利用者がゲームを楽しむこともできる。
【0017】
写真シール作成装置1において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が彩り豊かな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
【0018】
写真シール作成装置1は、写真作成ゲームを提供する写真作成ゲーム機ということができる。
【0019】
図1に示すように、写真シール作成装置1は、基本的に、撮影ユニット11と編集ユニット12が接した状態で設置されることによって構成される。撮影ユニット11と編集ユニット12は電気的に接続される。
【0020】
撮影ユニット11は、人が中に入ることができる程度の大きさを有する箱形状の筐体を有し、事前選択部20、撮影部21、および背景部22から構成される。事前選択部20は、撮影部21の側面に設置される。事前選択部20の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影部21と背景部22は所定の距離だけ離して設置される。撮影部21と背景部22の間に形成される空間が、撮影処理が行われる撮影空間となる。
【0021】
事前選択部20は、事前選択処理として、写真シール作成装置1によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を行ったりする。事前選択部20には、利用者が代金を投入する硬貨投入返却口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択部20は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
【0022】
撮影部21は、利用者を被写体として撮影するための装置である。撮影部21は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影部21の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。
【0023】
撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル41Aにより構成され、右側面が側面パネル41Bにより構成される。さらに、撮影部21の正面が正面パネル42により構成される。側面パネル41Aには、上述した事前選択部20が設置される。なお、事前選択部20が、側面パネル41Bに設置されるようにしてもよい。
【0024】
背景部22は、背面パネル51、側面パネル52A、および側面パネル52Bから構成される。背面パネル51は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル52Aは、背面パネル51の左端に取り付けられ、側面パネル41Aより横幅の狭い板状の部材である。側面パネル52Bは、背面パネル51の右端に取り付けられ、側面パネル41Bより横幅の狭い板状の部材である。
【0025】
側面パネル41Aと側面パネル52Aは、ほぼ同一平面に設けられる。側面パネル41Aと側面パネル52Aの上部は、板状の部材である連結部23Aによって連結される。側面パネル41Aと側面パネル52Aの下部は、床面に設けた例えば金属製の部材である連結部23A’によって連結される。側面パネル41Bと側面パネル52Bも同様に、ほぼ同一平面に設けられる。側面パネル41Bと側面パネル52Bの上部は、連結部23Bによって連結される。側面パネル41Bと側面パネル52Bの下部は、連結部23B’によって連結される。
【0026】
側面パネル41A、連結部23A、および側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル41B、連結部23B、および側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口となる。
【0027】
撮影空間の上方には、撮影部21の正面、連結部23A、および連結部23Bに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。
【0028】
天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット24の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット24は、撮影空間の照明としても機能する。
【0029】
編集ユニット12は、撮影画像に編集を施すための装置である。編集ユニット12は、一方の側面が撮影部21の正面パネル42に接するようにして、撮影ユニット11に連結している。
【0030】
図1に示される編集ユニット12の構成を正面側の構成とすると、編集ユニット12の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、2組の利用者が同時に編集作業を行うことができる。
【0031】
編集ユニット12の正面側は、面61と、面61の上方に形成された斜面62から構成される。面61は、床面に対して垂直で、撮影部21の側面パネル41Aとほぼ平行な面である。斜面62には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面62の左側には、照明装置64の一端を支持する柱状の支持部63Aが設けられる。斜面62の右側には、照明装置64の他端を支持する柱状の支持部63Bが設けられる。支持部63Aの上面にはカーテンレール26を支持する支持部65が設けられる。
【0032】
編集ユニット12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、3本のレール26A乃至26Cを、組み合わせて構成される。3本のレール26A乃至26Cは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール26Aとレール26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、レール26Aとレール26Bの他端は、レール26Cの両端にそれぞれ接合される。
【0033】
カーテンレール26には、編集ユニット12の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット12の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
【0034】
編集ユニット12の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット12の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
【0035】
<利用者の移動について>
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について説明する。
【0036】
図3は、写真シール作成装置1を上から見た平面図である。
【0037】
利用者は、事前選択部20の前方の空間である事前選択空間A0において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
【0038】
事前選択作業を終えた利用者は、白抜き矢印#1で示すように、側面パネル41Aと側面パネル52Aの間の出入り口G1から、撮影部21と背景部22の間に形成された撮影空間A1に入る。利用者は、撮影部21に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
【0039】
撮影作業を終えた利用者は、白抜き矢印#2で示すように出入り口G1から撮影空間A1を出て編集空間A2-1に移動するか、または、白抜き矢印#3で示すように出入り口G2から撮影空間A1を出て編集空間A2-2に移動する。
【0040】
編集空間A2-1は、編集ユニット12の正面側の編集空間である。一方、編集空間A2-2は、編集ユニット12の背面側の編集空間である。利用者が編集空間A2-1と編集空間A2-2のいずれの空間に移動するのかは、撮影部21のタッチパネルモニタの画面表示などによって案内される。例えば2つの編集空間のうちの空いている方が移動先として案内される。編集空間A2-1または編集空間A2-2に移動した利用者は、編集作業を開始する。編集空間A2-1の利用者と、編集空間A2-2の利用者は同時に編集作業を行うことができる。
【0041】
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間A2-1での編集作業を終えた利用者は、白抜き矢印#4で示すように編集空間A2-1から印刷待ち空間A3に移動する。また、編集空間A2-2での編集作業を終えた利用者は、白抜き矢印#5で示すように編集空間A2-2から印刷待ち空間A3に移動する。
【0042】
印刷待ち空間A3に移動した利用者は、印刷が終わるのを待つ。印刷が終了すると、利用者は、編集ユニット12の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の写真シール作成ゲームを終える。
【0043】
次に、各装置の構成について説明する。
【0044】
<事前選択部の構成>
図4は、事前選択部20の構成例を示す図である。
【0045】
事前選択部20の上側にはタッチパネルモニタ71が設けられる。タッチパネルモニタ71は、LCD(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ71は、各種のGUI(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ71には、利用者の人数の選択などに用いられる画面が表示される。
【0046】
タッチパネルモニタ71の下方には、スピーカ72が設けられる。スピーカ72は、事前選択処理の案内音声、BGM、効果音などを出力する。スピーカ72に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口73が設けられる。
【0047】
<撮影部の構成>
図5は、撮影部21の正面の構成例を示す図である。撮影部21は、側面パネル41A、側面パネル41B、および正面パネル42に囲まれるようにして構成される。
【0048】
正面パネル42の中央よりやや上側には、カメラユニット81が設けられる。カメラユニット81の正面には、カメラ91、およびタッチパネルモニタ92が設けられる。
【0049】
カメラ91は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット81の内部に取り付けられる。カメラ91は、CCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有し、撮影空間A1にいる利用者を撮影する。カメラ91は、利用者を被写体として撮影を行う撮影部として機能する。
【0050】
カメラ91により取り込まれた動画像(以下、ライブビュー画像ともいう)は、タッチパネルモニタ92にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ91により取り込まれた静止画像は、撮影画像として保存される。
【0051】
タッチパネルモニタ92は、カメラ91の下方に設けられる。タッチパネルモニタ92は、LCDなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUIを表示し利用者の選択操作を受け付ける機能を備えている。
【0052】
カメラユニット81の上方には、曲面の発光面を利用者に向けた上ストロボユニット82が設置される。上ストロボユニット82は、利用者の正面上方から、利用者の顔および上半身に光を照射する。
【0053】
カメラユニット81の下方には、利用者の下半身および足元に光を照射する足元ストロボユニット83が設けられる。
【0054】
上ストロボユニット82および足元ストロボユニット83の内部には、蛍光灯とストロボ発光可能な発光管が設けられる。上ストロボユニット82および足元ストロボユニット83は、撮影空間内を蛍光灯によって常時照らすとともに、撮影タイミングで発光管を発光させ、被写体となる利用者にストロボ光を照射する。
【0055】
足元ストロボユニット83と側面パネル41Aとの間には、箱状部84が設けられる。また、足元ストロボユニット83と側面パネル41Bとの間には、箱状部85が設けられる。箱状部84,85の上面は、写真シール作成装置1の設置面と略水平な面をなし、撮影作業を行う利用者が手荷物などを置くための荷物置き場として用いられる。
【0056】
なお、図示はしないが、正面パネル42の例えば天井付近には、スピーカが設けられる。そのスピーカは、撮影処理の案内音声、BGM、効果音などを出力する。
【0057】
<編集ユニットの構成>
図6は、編集ユニット12の正面側(編集空間A2-1側)の構成例を示す図である。
【0058】
斜面62のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131の左側にはタッチペン132Aが設けられる。タブレット内蔵モニタ131の右側にはタッチペン132Bが設けられる。
【0059】
タブレット内蔵モニタ131は、タブレットとディスプレイを積層して構成される。タブレットは、タッチペン132Aとタッチペン132Bを用いた操作入力を可能とする。タブレット内蔵モニタ131には、例えば、編集作業に用いられる編集画面が表示される。2人の利用者が同時に編集作業を行う場合、タッチペン132Aはタブレット内蔵モニタ131に向かって左側にいる利用者により用いられ、タッチペン132Bはタブレット内蔵モニタ131に向かって右側にいる利用者により用いられる。
【0060】
なお、タッチペン132Aを用いた操作とタッチペン132Bを用いた操作は識別される。適宜、タブレット内蔵モニタ131の左側の表示に対してはタッチペン132Aを用いた操作のみが可能とされ、右側の表示に対してはタッチペン132Bを用いた操作のみが可能とされる。以下、適宜、タッチペン132Aとタッチペン132Bを区別する必要がない場合、まとめてタッチペン132という。
【0061】
編集ユニット12の左側面にはシール紙排出口が設けられる。編集ユニット12の内部にはプリンタが設けられている。そのプリンタにより、編集空間A2-1の利用者が写る画像、または、編集空間A2-2の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口から排出される。
【0062】
<写真シール作成装置の内部構成>
図7は、写真シール作成装置1の構成例を示すブロック図である。図7において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
【0063】
図7に示すように、写真シール作成装置1は、PC(Personal Computer)部301に対して、事前選択部302、撮影部304、編集部305A,305B、および印刷部306が外部入出力インタフェース303を介して接続されることによって構成される。情報処理部であるPC部301は、例えば編集ユニット12の筐体内部に収納される。
【0064】
PC部301を構成するCPU(Central Processing Unit)311、ROM(Read Only Memory)312、RAM(Random Access Memory)313は、バス314により相互に接続される。
【0065】
CPU311は、所定のプログラムを実行し、写真シール作成装置1の全体の動作を制御する。ROM312は、CPU311が実行するプログラムやデータを記憶する。RAM312は、CPU311が処理するデータやプログラムを一時的に記憶する。
【0066】
バス314には、さらに、入出力インタフェース315が接続される。入出力インタフェース315には、記憶部316、通信部317、およびドライブ318が接続される。
【0067】
記憶部316は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部316は、CPU311から供給された各種の設定情報などを記憶する。記憶部316に記憶されている情報はCPU311により適宜読み出される。
【0068】
通信部317は、インターネットなどのネットワークのインタフェースである。通信部317は、CPU311による制御に従って外部の装置と通信を行う。通信部317は、利用者がゲーム中に作成した画像を、例えば写真シール作成装置1の製造メーカが管理する画像管理サーバに送信する。通信部317から送信された画像は、所定の記憶領域が割り当てられて保存され、画像管理サーバにアクセスしてきた携帯端末上で表示されたり、携帯端末にダウンロードされたりする。
【0069】
ドライブ318には、光ディスクや半導体メモリなどよりなるリムーバブルメディア319が適宜装着される。ドライブ318によりリムーバブルメディア319から読み出されたプログラムやデータは、CPU311に供給され、記憶部316に記憶されたり、インストールされたりする。
【0070】
入出力インタフェース315には外部入出力インタフェース303が接続される。PC部301による各部の制御が、外部入出力インタフェース303を介して行われる。
【0071】
事前選択部302は、事前選択空間A0にいる利用者を対象とした事前選択処理を実現する。事前選択部302は、タッチパネルモニタ71、スピーカ72、および硬貨処理部321から構成される。
【0072】
タッチパネルモニタ71は、PC部301による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、各種の設定が行われる。
【0073】
硬貨処理部321は、硬貨投入返却口73への硬貨の投入を検出する。硬貨処理部321は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号をPC部301に出力する。
【0074】
撮影部304は、撮影空間A1にいる利用者を対象とした撮影処理を実現する。撮影部304は、照明装置331、カメラ91、タッチパネルモニタ92、およびスピーカ332から構成される。
【0075】
照明装置331は、撮影空間A1内の各ストロボユニットであり、PC部301から供給される照明制御信号に従って発光する。
【0076】
カメラ91は、PC部301によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像(画像データ)をPC部301に出力する。
【0077】
編集部305Aは、編集空間A2-1にいる利用者を対象とした編集処理を実現する。編集部305Aは、タブレット内蔵モニタ131、タッチペン132A,132B、およびスピーカ341から構成される。編集部305Bは、編集空間A2-2にいる利用者を対象とした編集処理を実現し、編集部305Aと同一の構成を有する。なお、以下、編集部305A,305Bを特に区別しない場合には、単に、編集部305という。
【0078】
タブレット内蔵モニタ131は、PC部301による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号はPC部301に供給され、編集対象となる撮影画像が編集される。
【0079】
印刷部306は、プリンタ351を含むように構成される。プリンタ351にはシール紙ユニット352が装着される。
【0080】
プリンタ351は、内蔵するヘッド361を駆動し、PC部301から供給された印刷データに基づいて、シール紙ユニット352に収納されているロール状のシール紙363に画像を印刷する。また、プリンタ351は、画像を印刷したシール紙363をカッター362によって所定のカット位置でカットして、シール紙排出口に排出する。印刷媒体として、写真を印刷可能な、シール紙以外の各種の媒体を用いることが可能である。
【0081】
<写真シール作成装置の機能構成例>
図8は、写真シール作成装置1の機能構成例を示すブロック図である。図8に示す機能部のうちの少なくとも一部は、CPU311により所定のプログラムが実行されることによって実現される。
【0082】
写真シール作成装置1においては、事前選択処理部401、撮影処理部402、編集処理部403、印刷処理部404、およびゲーム進行制御部405が実現される。
【0083】
事前選択処理部401は、事前選択部302の各部を制御することで、事前選択処理を実行する。事前選択処理により、利用者の人数の選択などが行われる。利用者による選択内容を表す情報は撮影処理部402に供給される。
【0084】
撮影処理部402は、撮影部304の各部を制御することで撮影処理を行う。撮影処理部402は、撮影処理を行うことによって得られた撮影画像のデータを編集処理部403に出力する。撮影処理部402から編集処理部403に対しては、撮影を複数回行うことによって得られた複数枚の撮影画像のデータが供給される。
【0085】
また、撮影処理部402は、撮影によって得られた画像に基づいて、利用者の顔の特徴を分析する。後に詳述するように、撮影処理においては、複数枚の撮影画像の撮影前、顔の特徴の分析用の撮影が行われる。撮影処理部402による分析された利用者の顔の特徴を表す情報は、編集処理部403とゲーム進行制御部405に供給される。
【0086】
編集処理部403は、編集部305の各部を制御することで編集処理を行う。編集処理においては、適宜、撮影処理部402による利用者の顔の特徴の分析結果が用いられる。編集処理部403は、撮影画像の編集を終えた後、編集画像を所定のレイアウトで配置することによって印刷データを生成し、印刷処理部404に出力する。
【0087】
印刷処理部404は、プリンタ351に印刷データを出力し、編集画像の印刷を行う。
【0088】
ゲーム進行制御部405は、撮影処理部402による利用者の顔の特徴の分析結果に基づいて、ゲームの進行を制御する。例えば、ゲーム進行制御部405は、撮影処理部402が行う撮影処理、編集処理部403が行う編集処理の内容を利用者の顔の特徴に応じて変更することによって、ゲームの進行を制御する。
【0089】
このように、写真シール作成装置1は、撮影画像などを処理する画像処理装置として機能するだけでなく、ゲームの進行を利用者の顔の特徴の分析結果に基づいて制御する制御装置として機能する。
【0090】
<撮影処理部の詳細構成>
図9は、撮影処理部402の構成例を示すブロック図である。
【0091】
撮影処理部402は、撮影制御部411、顔分析部412、画像処理部413、表示制御部414、および画像記憶部415から構成される。
【0092】
撮影制御部411は、カメラ91を制御することによって動画像の撮影を行い、撮影を行うことによって得られた画像を画像処理部413に出力する。撮影制御部411から出力された動画像はライブビュー画像の生成に用いられる。
【0093】
また、撮影制御部411は、カウントダウンに合わせて静止画像の撮影を行い、撮影を行うことによって得られた静止画像を画像処理部413に出力する。撮影制御部411から出力された静止画像は撮影画像の生成に用いられる。
【0094】
撮影制御部411は、編集対象となる静止画像である撮影画像の撮影前、利用者の顔の特徴の分析に用いる静止画像である顔分析用画像の撮影を行う。このように、写真シール作成装置1においては、利用者が撮影空間A1に移動した後、編集対象として用いられる通常の撮影画像の撮影前に、顔分析用画像の撮影が行われる。
【0095】
後述するように、顔分析用画像を用いて分析された顔の特徴を確認した利用者の選択に応じた画像処理が、それぞれの撮影画像に対して施される。撮影制御部411は、通常の撮影画像の撮影前に撮影した顔分析用画像を顔分析部412に出力する。
【0096】
顔分析部412は、撮影制御部411から供給された顔分析用画像に基づいて利用者の顔の特徴を分析する。顔の特徴の分析は、特徴点を検出するとともに、利用者の顔を、あらかじめ設定された特徴空間上にマッピングすることによって行われる。特徴空間の各領域には顔タイプが設定されている。利用者の顔を特徴空間上にマッピングすることにより、利用者の顔タイプが特定される。顔分析部412は、分析結果を表示制御部414に出力し、利用者に提示させる。
【0097】
利用者は、提示された分析結果を見て、自分の顔の特徴を、他の顔タイプの顔の特徴とともに確認することができる。
【0098】
また、利用者は、分析結果を見て、なりたい顔とする顔タイプを選択することができる。ここでいうなりたい顔は、このような写りで撮影画像に写りたいと希望する顔のことである。なりたい顔の選択は、特徴空間の各領域に設定されている顔タイプを選択することによって行われる。利用者により選択されたなりたい顔に応じて、撮影画像に写る利用者の顔部分に施す画像処理に用いられるパラメータが画像処理部413において決定される。
【0099】
なりたい顔を選択する利用者の操作は、撮影画像に写る顔部分に施す画像処理のパラメータを選択する操作となる。以下、適宜、なりたい顔を選択することに応じて決定されるパラメータを、顔パラメータという。
【0100】
顔分析部412は、顔の分析結果と、利用者により選択されたなりたい顔の情報を画像処理部413に出力する。また、顔分析部412は、顔の分析結果を編集処理部403とゲーム進行制御部405に出力する。編集処理部403に対しては顔分析用画像も出力される。
【0101】
画像処理部413は、撮影制御部411から供給された動画像の各フレームから矩形領域をトリミングにより切り出し、切り出した画像からなる動画像を生成する。画像処理部413により生成された動画像は、ライブビュー画面に表示するライブビュー画像として用いられる。
【0102】
また、画像処理部413は、撮影制御部411から供給された静止画像から矩形領域をトリミングにより切り出すことによって、所定の画角の撮影画像を生成する。
【0103】
画像処理部413は、顔分析部412から供給された情報に基づいて、利用者が選択したなりたい顔に応じた顔パラメータを決定する。画像処理部413は、顔パラメータを用いて、それぞれの撮影画像に写る顔部分に対して画像処理を施し、利用者により選択されたなりたい顔に近づくように、顔の写りを調整する。
【0104】
画像処理部413は、顔の写りを調整することによって生成した撮影画像を画像記憶部415に出力し、記憶させる。このように、写真シール作成装置1においては、利用者自身が選択したなりたい顔に近づくような写りの調整が施された撮影画像が生成され、編集等に用いられる。
【0105】
表示制御部414は、ライブビュー画面などの、タッチパネルモニタ92の各種の画面の表示を制御する。
【0106】
画像記憶部415は、画像処理部413により生成された撮影画像を記憶する。撮影処理が終了した場合、画像記憶部415に記憶された撮影画像は編集処理部403に供給される。
【0107】
<編集処理部の詳細構成>
図10は、図8の編集処理部403の構成例を示すブロック図である。
【0108】
編集処理部403は、編集制御部431、表示制御部432、分析結果画像生成部433、印刷データ生成部434、および通信制御部435により構成される。撮影処理部402から供給された撮影画像は、編集制御部431と表示制御部432に入力される。また、撮影処理部402から供給された、顔の特徴の分析結果と顔分析用画像は、表示制御部432と分析結果画像生成部433に入力される。
【0109】
編集制御部431は、編集画面に対する利用者の操作に応じて撮影画像の編集を行う。編集制御部431により行われる編集は、手書きの文字やスタンプ画像などの合成用画像を、編集対象となっている撮影画像に合成する画像処理である。
【0110】
顔パラメータを用いた上述した画像処理が、利用者による選択内容に応じた画像処理を全ての撮影画像に対して施す処理であるのに対して、編集は、利用者による選択内容に応じた画像処理を、そのとき編集対象となっている1枚の撮影画像に施す処理である。後述する各種の編集ツールを用いて行われる編集のうち、メイクツールを用いた操作に応じた画像処理については、全ての撮影画像に対して施されるようにしてもよい。メイクツールを用いた操作に応じた画像処理を全ての撮影画像に対して施すか、編集対象となっている1枚の撮影画像に対して施すかを、選択ボタンに対する操作によって利用者が選択することができるようにしてもよい。
【0111】
編集制御部431は、編集結果を表す情報を表示制御部432に出力し、編集画面の表示に反映させる。編集制御部431は、編集が終了した場合、編集を施して得られた撮影画像である編集画像を印刷データ生成部434と通信制御部435に出力する。
【0112】
表示制御部432は、利用者による操作に用いられる操作画面をタブレット内蔵モニタ131に表示し、利用者の操作に応じて操作画面の表示を制御する。例えば、表示制御部432は、編集に用いられる画面である編集画面をタブレット内蔵モニタ131に表示させる。編集画面の表示には、撮影処理部402から出力された撮影画像、編集制御部431から出力された編集画像などが用いられる。
【0113】
後述するように、編集画面の内容は、利用者の顔の特徴の分析結果に応じて変化する。編集画面には、撮影画像の編集に利用できる合成用画像が用意される。例えば、撮影画像の編集に利用できる合成用画像の種類が、顔の特徴の分析結果に応じて変化する。
【0114】
分析結果画像生成部433は、撮影処理部402から供給された顔の分析結果と顔分析用画像に基づいて分析結果画像を生成する。分析結果画像は、顔の特徴の分析結果を表す画像である。例えば、分析結果画像生成部433は、顔の分析結果を言葉で表現した文字を、顔分析用画像をイラスト化した画像と組み合わせることによって分析結果画像を生成する。
【0115】
分析結果画像生成部433は、それぞれの利用者用の分析結果画像を生成し、通信制御部435に出力する。すなわち、この例においては、分析結果画像は、シール紙363には印刷されずに、画像管理サーバに送信され、画像管理サーバ経由で利用者に提供される。
【0116】
印刷データ生成部434は、編集制御部431から供給された編集画像を所定のレイアウトで配置することによって印刷データを生成する。印刷データ生成部434は、印刷データを印刷処理部404に出力し、シール紙363に印刷させる。
【0117】
通信制御部435は、通信部317を制御し、編集制御部431から供給された編集画像と、分析結果画像生成部433から供給された分析結果画像を画像管理サーバに送信する。通信制御部435により送信された画像は、利用者のアカウントと紐付けて画像管理サーバにおいて管理される。
【0118】
<写真シール作成装置の動作>
ここで、図11のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成装置1の動作について説明する。図11の処理は、例えば、所定の金額分の硬貨が投入されたときに開始される。
【0119】
ステップS1において、事前選択処理部401は、事前選択部302を制御することで事前選択処理を行う。事前選択処理により、例えば、利用者の人数に応じたコース選択が行われる。
【0120】
写真シール作成装置1には、2人でゲームを行うときに選択される2人用コース、3人でゲームを行うときに選択される3人用コース、4人以上でゲームを行うときに選択される4人以上コースの3種類のコースが用意される。人数に応じたコースの選択は、タッチパネルモニタ71に表示される選択画面を用いて行われる。
【0121】
ステップS2において、撮影処理部402は、撮影部304を制御することで撮影処理を行う。
【0122】
例えば、撮影処理部402は、立ち位置の誘導を行った後、カメラ91により取り込まれた動画像に基づいて、ライブビュー画面をタッチパネルモニタ92に表示させる。また、撮影処理部402は、ライブビュー画面を表示させた後、撮影空間A1にいる利用者を被写体として静止画像の撮影を行う。撮影処理の詳細については図11のフローチャートを参照して後述する。
【0123】
ステップS3において、編集処理部403は、編集空間A2-1と編集空間A2-2のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部305を制御することで編集処理を行う。
【0124】
例えば、編集処理部403の表示制御部432は、タブレット内蔵モニタ131に編集画面を表示させ、撮影画像に対して利用者に編集作業を行わせる。編集画面には、編集対象の撮影画像とともに、撮影画像に合成する合成用画像を選択するときに操作されるボタンなどが表示される。編集画面の詳細については後述する。
【0125】
編集制御部431は、利用者による操作に応じて撮影画像をそれぞれ編集し、編集画像を生成する。
【0126】
撮影画像の編集が終わった場合、印刷データ生成部434は、編集制御部431により生成された編集画像に基づいて印刷データを生成する。また、通信制御部435は、編集制御部431により生成された編集画像と、分析結果画像生成部433により分析結果画像を利用者のアカウント情報と紐付けて画像管理サーバに送信する。
【0127】
ステップS4において、印刷処理部404は、プリンタ351を制御することで、印刷処理を行う。印刷処理部404は、編集処理部403により生成された印刷データをプリンタ351に出力してシール紙363に印刷させる。
【0128】
印刷が終了した場合、ステップS5において、プリンタ351は、カッター362で切り離したシール紙363をシール紙排出口に排出する。
【0129】
写真シール作成装置1の利用者の各グループに対しては、以上のような一連の処理からなる写真作成ゲームが提供される。あるグループの利用者に続けて他のグループの利用者が写真シール作成装置1の利用を開始した場合、写真シール作成装置1の利用を先に始めた利用者の写真シール作成ゲームと、後から始めた利用者の写真シール作成ゲームとが適宜並行して行われることになる。適宜、写真シール作成ゲームを単にゲームともいう。
【0130】
<撮影処理>
・2人用コースの例
次に、図12のフローチャートを参照して、図11のステップS2において行われる撮影処理について説明する。
【0131】
ステップS11において、表示制御部414は、カメラ91により取り込まれた動画像に基づいて、顔分析撮影用のライブビュー画面をタッチパネルモニタ92に表示させる。上述したように、撮影画像の撮影前、顔分析用画像の撮影である顔分析撮影が行われる。
【0132】
図13は、顔分析撮影用のライブビュー画面の表示例を示す図である。
【0133】
ライブビュー画面の中央上方に形成された横長長方形状の表示領域501にはライブビュー画像が表示される。図13の例においては、利用者H1と利用者H2の2人の利用者が映るライブビュー画像が表示されている。
【0134】
図13に示すライブビュー画面は、2人用コースが選択されている場合に表示される画面である。以下、主に、利用者H1と利用者H2の2人の利用者がゲームを行っている場合の処理について説明する。
【0135】
ライブビュー画像には、略正方形状の枠F1と枠F2が横に並べて表示される。このようなライブビュー画像を見て、利用者H1と利用者H2は、それぞれの顔が枠F1と枠F2に収まるように立ち位置の調整などを行う。
【0136】
ライブビュー画像に基づいて顔認識が行われ、認識された顔に追従するように枠F1と枠F2が表示されるようにしてもよい。
【0137】
ステップS12において、撮影制御部411は、顔分析撮影を行い、顔分析撮影によって得られた静止画像を顔分析用画像として顔分析部412に出力する。
【0138】
ステップS13において、顔分析部412は、撮影制御部411により撮影された顔分析用画像に基づいて、それぞれの利用者の顔の特徴を分析する。
【0139】
例えば、顔分析部412は、撮影制御部411により撮影された顔分析用画像のうち、枠F1と枠F2のそれぞれの枠内の領域をトリミングによって切り出すことによって利用者H1と利用者H2のそれぞれの顔画像を生成する。顔分析部412は、それぞれの利用者の顔画像を解析することによって、顔の特徴点を検出する。例えば、輪郭、目、鼻、口などの、顔の特定の部位の特徴点が検出される。なお、顔の特徴点を検出するための解析は、画像処理を施した顔画像を対象として行われる。
【0140】
また、顔分析部412は、顔画像に写る利用者の顔の特徴を数値化する。例えば、顔の輪郭の形状と、目(左目と右目)の間隔とが数値化される。顔分析部412は、顔の特徴を表す数値に基づいて、利用者の顔を特徴空間上にマッピングする。顔分析部412による分析結果を表す情報は表示制御部414に供給される。
【0141】
ステップS14において、表示制御部414は、利用者の顔の特徴の分析結果をタッチパネルモニタ92表示させる。
【0142】
図14は、分析結果の表示画面の例を示す図である。
【0143】
分析結果の表示画面の左半分には領域511Lが形成され、右半分には領域511Rが形成される。領域511Lは、左側に写っている利用者H1の分析結果用の領域である。領域511Rは、右側に写っている利用者H2の分析結果用の領域である。領域511Lと領域511Rは、それぞれ同一の構成を有している。重複する説明については適宜省略する。
【0144】
領域511Lの上方に形成される顔画像領域521Lには利用者H1の顔画像が表示される。図14に示すように、顔画像には、特徴点が視認可能となるように、利用者H1の顔の特徴点を表す小さいドットと、各ドットを結ぶ直線が重ねて表示される。特徴点を表すドットと各ドットを結ぶ直線は、顔分析部412による特徴点の検出結果に基づいて表示される。
【0145】
図14の例においては、顔の輪郭上の特徴点と左右の目の縁上の特徴点を表すドットと、それを結ぶ直線が表示されている。例えば、各ドットが1つずつ順に表示され、特徴の分析結果を提示するための演出が行われる。
【0146】
顔画像領域521Lの下方には、利用者H1の顔の、特徴空間上のマッピング結果を表す顔特徴マップ522Lが表示される。
【0147】
図15は、顔特徴マップ522Lを拡大して示す図である。
【0148】
顔特徴マップ522Lは、縦軸と横軸が原点で交差する2次元空間のマップとして構成される。
【0149】
縦軸は、顔の輪郭の形状を表す。より上方の値をとる顔が「赤ちゃん顔」として表現され、より下方の値をとる顔が「大人顔」として表現される。
【0150】
一方、横軸は、目の間隔を表す。より右方の値をとる顔が「より目」として表現され、より左方の値をとる顔が「はなれ目」として表現される。
【0151】
利用者H1の顔の縦軸上の位置は、顔の輪郭の形状を表す数値に基づいて決まる。例えば、顔分析部412により分析された顔の輪郭の形状を表す数値には、顔の長さを表す値と細さを表す値が含まれる。例えば、顔の長さを表す値が小さく(顔が短く)、細さを表す値が小さい(顔が丸い)ほど、縦軸上の位置は、より「赤ちゃん顔」に近い値をとる。反対に、顔の長さを表す値が大きく(顔が長く)、細さを表す値が大きい(顔が細い)ほど、縦軸上の位置は、より「大人顔」に近い値をとる。
【0152】
利用者H1の顔の横軸上の位置は、目の間隔を表す値に基づいて決まる。例えば、顔分析部412により分析された目の間隔を表す値が小さいほど、横軸上の位置は、より「より目」に近い値をとる。反対に、目の間隔を表す値が大きいほど、横軸上の位置は、より「はなれ目」に近い値をとる。
【0153】
ハート型の画像Pは、利用者H1の顔のマッピング結果を表す。図15の例においては、利用者H1の顔は、中間よりは「赤ちゃん顔」寄りの位置であり、かつ、「はなれ目」寄りの位置にマッピングされている。
【0154】
このように、顔の輪郭の形状と目の間隔といった2種類の特徴が分析され、2種類の特徴を軸とした2次元空間である顔特徴マップ522L上に、利用者の顔がマッピングされる。マッピングの詳細については後述する。
【0155】
顔特徴マップ522Lを見ることにより、利用者H1は、自分の顔にどのような特徴があるのかを確認することができる。図14の顔画像領域521Lの顔画像上には、このような顔の特徴を表す文字なども、特徴点の情報とともに表示される。
【0156】
利用者H2も同様に、領域511Rの顔画像領域521Rと顔特徴マップ522Rの表示から、自分の顔にどのような特徴があるのかを確認することができる。
【0157】
図14の画面が所定の時間だけ表示された後、図14の画面に代えて、図16に示すような顔特徴マップ522がタッチパネルモニタ92に拡大して表示される。顔特徴マップ522も、顔の輪郭の形状と目の間隔の2種類の特徴を軸としたマップである。顔特徴マップ522には、利用者H1の顔の特徴の分析結果と利用者H2の顔の特徴の分析結果が同時に表示される。
【0158】
利用者H1の顔画像は、利用者H1の顔の特徴の分析結果に応じた位置である位置p1に表示される。また、利用者H1の顔タイプが「こねこ顔」であることが吹き出し#1によって示される。
【0159】
この例においては、利用者の顔が、動物の顔によって表現された4種類の顔タイプに分類されるようになっている。顔特徴マップ522の左上の領域、すなわち、「赤ちゃん顔」かつ「はなれ目」の領域には「こねこ顔」の顔タイプが割り当てられている。同様に、右上、右下、左下の領域には、それぞれ、「こいぬ顔」、「りす顔」、「うさ顔(うさぎ顔)」の顔タイプが割り当てられている。
【0160】
一方、利用者H2の顔画像は、利用者H2の顔の特徴の分析結果に応じた位置である位置p2に表示される。また、利用者H2の顔タイプが「うさ顔」であることが吹き出し#2によって示される。
【0161】
このような顔特徴マップ522の表示から、2人の利用者は、それぞれの顔の特徴の分析結果を見比べて楽しむことができる。
【0162】
図16の画面が所定の時間だけ表示された後、図17に示すように、利用者H1の顔画像の周りに案内画像P11が表示される。上述したように、顔の特徴の分析結果を確認した後、利用者は、なりたい顔を選択することになる。案内画像P11は、利用者の顔の特徴に応じた顔特徴マップ522上の位置を基準として、なりたい顔としてどのような範囲の顔を選択できるのかを案内する画像となる。
【0163】
図17の例においては、利用者H1の顔画像を中心として、右上方向を指す矢印A1、左上方向を指す矢印A2、左下方向を指す矢印A3、右下方向を指す矢印A4が表示されている。矢印A1乃至A4の先には、それぞれ、顔特徴マップ522のそれぞれの領域に割り当てられた「こいぬ顔」、「こねこ顔」、「うさ顔」、「りす顔」を表す文字とイラストが表示されている。
【0164】
例えば、矢印A1の表示は、なりたい顔として「こいぬ顔」を選択することにより、利用者H1の顔を「こいぬ顔」に近付けるような写りの調整が行われることを表す。「こいぬ顔」は、「赤ちゃん顔」かつ「より目」の特徴を表すから、「こいぬ顔」を選択することにより、利用者H1の顔の長さを所定の量だけ短くするとともに顔の細さを所定の量だけ幅広とし、かつ、目の間隔を所定の量だけ近付けるような顔パラメータが選択されることになる。
【0165】
案内画像P11として表示される円は、利用者H1の顔の長さを短くするとともに顔の細さを幅広とする量と、目の間隔を近付ける量の範囲を表す。なりたい顔として「こいぬ顔」が選択された場合であっても、利用者H1の顔を「こいぬ顔」にむやみに近付けるのではなく、利用者H1の顔の特徴を基準とした一定の範囲で「こいぬ顔」に近付けるような顔パラメータが選択され、画像処理に用いられる。
【0166】
利用者H1の顔の特徴を基準とした一定の範囲は、利用者H1の顔の特徴を活かしつつそれぞれの顔タイプの顔に近付けることができる最適な範囲となるようにあらかじめ設定される。なりたい顔に近付けることができる範囲が、顔の特徴に応じて変更されるようにしてもよい。
【0167】
矢印A2乃至A4も同様に、それぞれ、写りの調整の方向を表す。
【0168】
利用者H1に対する図17の案内が表示された後、利用者H2に対する案内が表示される。位置p2に表示される利用者H2の顔画像の周りに案内画像P11が表示されることにより、利用者H2の顔の特徴に応じた位置を基準として、なりたい顔として選択できる範囲が案内される。
【0169】
このように、自分の顔の特徴とともにそれぞれの顔タイプの特徴が明示されるため、利用者は、それぞれの顔タイプを選択したときに施される画像処理の内容をイメージしやすい。利用者は、それぞれの顔タイプの客観的な特徴を確認しながら、自分の特徴に応じた顔タイプと他の顔タイプの中から、好みの顔タイプをなりたい顔として選択することができる。
【0170】
図12の説明に戻り、ステップS15において、表示制御部414は、なりたい顔の選択画面を表示させる。
【0171】
ステップS16において、画像処理部413は、選択画面に対する利用者の選択を受け付ける。なりたい顔の選択は、それぞれの利用者により行われる。
【0172】
図18は、なりたい顔の選択画面の表示例を示す図である。
【0173】
選択画面の左側には利用者H1の顔画像が表示され、右側には、「こいぬ顔」、「こねこ顔」、「うさ顔」、「りす顔」のそれぞれの顔を選択するときに押下されるボタン531-1乃至531-4が表示される。
【0174】
図18に示す選択画面は、1人目の利用者である利用者H1用の選択画面である。この例においては、なりたい顔を1人ずつ選択することができるようになっている。同じ画面を用いて2人が同時になりたい顔を選択することができるようにしてもよい。
【0175】
ボタン531-1が押下された場合、利用者H1の顔画像は、「こいぬ顔」に近付けた顔の画像に切り替わる。ボタン531-2乃至531-4が押下された場合も同様に、それぞれ、利用者H1の顔画像は、「こねこ顔」、「うさ顔」、「りす顔」に近付けた顔の画像に切り替わる。
【0176】
すなわち、「こいぬ顔」、「こねこ顔」、「うさ顔」、「りす顔」のそれぞれの顔タイプに応じた顔パラメータを用いて、顔画像の写りを調整するための画像処理が画像処理部413により行われる。画像処理部413による画像処理によって生成された画像を用いて、顔画像の表示が切り替えられる。
【0177】
このような選択画面の表示を用いて、それぞれの利用者がなりたい顔を選択した場合、図18の選択画面は、図19に示す画面に切り替わる。
【0178】
図19に示す画面には、2人の利用者によるなりたい顔の選択結果が表示されている。図19の例においては、自分の顔が「こねこ顔」に分類された利用者H1が「うさ顔」(「おしゃれ」)を選択し、自分の顔が「うさ顔」に分類された利用者H2が「こいぬ顔」(「赤ちゃん」)を選択した結果が表示されている。このような選択結果が表示された後、通常撮影が開始される。
【0179】
ここで、顔分析部412による顔の分析について説明する。
【0180】
上述したように、顔分析部412は、顔の輪郭の形状と目の間隔の2種類の特徴を分析し、分析結果に応じた顔特徴マップ上の位置にそれぞれの利用者の顔をマッピングする。顔の輪郭の形状と目の間隔は例えばそれぞれ5段階で評価され、1~5の評価値に応じて、利用者の顔の縦軸上の位置、横軸上の位置が決定される。
【0181】
図20は、目の間隔に応じたマッピングの例を示す図である。
【0182】
横長の楕円で囲んで示すように、横軸上の各位置に対して1~5の値が割り当てられる。「はなれ目」に近い位置に対して小さい値が割り当てられ、「より目」に近い位置に対して大きい値が割り当てられる。
【0183】
目の間隔の評価値が1,2,4,5のいずれかの値である場合、利用者の顔の横軸上の位置は、評価値に応じた位置となる。例えば目の間隔の評価値が2である場合、図20に示すように、2の値の位置が、利用者の顔の横軸上の位置となる。
【0184】
目の間隔の評価値が3である場合、利用者の顔の横軸上の位置は、横軸の中央(3の値の位置)とはならずに、中央から左側または右側に所定の量だけずれた位置となる。左側にずれた位置となるのか右側にずれた位置となるのかは、例えばランダムに選択される。
【0185】
中央からずれた横軸上の位置にマッピングされることにより、分析結果の視認性を向上させることが可能となる。
【0186】
図21は、顔の輪郭の形状に応じたマッピングの例を示す図である。
【0187】
縦長の楕円で囲んで示すように、縦軸上の各位置に対して1~5の値が割り当てられる。「赤ちゃん顔」に近い位置に対して小さい値が割り当てられ、「大人顔」に近い位置に対して大きい値が割り当てられる。
【0188】
上述したように、顔の輪郭の形状の評価値には、細さの評価値と長さの評価値が含まれる。顔の輪郭の形状は、図21の下段に示すように、細さの評価値に応じた「細い-丸い」と、長さの評価値に応じた「長い-短い」の2軸で評価される。細さの評価値と長さの評価値のうち、例えば前者の細さの評価値が優先される。それぞれの評価値も1~5の値をとる。
【0189】
細さの評価値が1,2,4,5のいずれかの値である場合、細さの評価値がそのまま顔の輪郭の形状の評価値として用いられ、利用者の顔の縦軸上(顔特徴マップの縦軸上)の位置は、評価値に応じた位置となる。例えば細さの評価値が2である場合、2の値の位置が、利用者の顔の縦軸上の位置となる。
【0190】
細さの評価値が3である場合、長さの評価値が顔の輪郭の形状の評価値として用いられ、利用者の顔の縦軸上の位置は、長さの評価値に応じて決定される。
【0191】
長さの評価値が1,2,4,5のいずれかの値である場合、利用者の顔の縦軸上の位置は、評価値に応じた位置となる。例えば長さの評価値が2である場合、2の値の位置が、利用者の顔の縦軸上の位置となる。
【0192】
一方、長さの評価値が3である場合、利用者の顔の縦軸上の位置は、中央から上側または下側に所定の量だけずれた位置となる。上側にずれた位置となるのか下側にずれた位置となるのかは、例えばランダムに選択される。
【0193】
中央からずれた縦軸上の位置にマッピングされることにより、分析結果の視認性を向上させることが可能となる。顔の細さの評価値と長さの評価値に基づく縦軸上の位置の決め方として、以上の方法以外の任意の方法を採用することが可能である。
【0194】
図22は、評価値の求め方の例を示す図である。
【0195】
顔分析部412には、顔の特徴の評価値を求めることに用いられる顔分析用モデルが用意される。顔分析用モデルは、例えば、顔画像を入力とし、顔の輪郭の形状の評価値と目の間隔の評価値とを出力とする、ニューラルネットワークなどにより構成される推論器である。
【0196】
例えば、顔分析用モデルは、様々な顔画像と、それぞれの顔画像に写る顔の輪郭の形状の評価値と目の間隔の評価値とを用いた機械学習が行われることによって生成され、顔分析部412にあらかじめ設定される。それぞれの評価値を教師データとした教師あり学習が行われるようにしてもよいし、教師なしの学習が行われるようにしてもよい。
【0197】
顔分析部412は、利用者の顔の特徴の分析時、利用者の顔画像を顔分析用モデルに入力し、推論結果である、顔の輪郭の形状の評価値と目の間隔の評価値とを取得する。顔分析部412は、取得した評価値に基づいて、利用者の顔を上述したようにしてマッピングすることによって、利用者の顔の特徴の分析を行う。
【0198】
機械学習によって生成された顔分析用モデルを用いるのではなく、顔画像を解析することによって求められた顔の特徴量に基づいてマッピングが行われるようにしてもよい。
【0199】
図12の説明に戻り、ステップS17において、表示制御部414は、通常撮影用のライブビュー画面を表示する。
【0200】
図23は、通常撮影用のライブビュー画面の表示例を示す図である。
【0201】
ライブビュー画面の中央にはライブビュー画像の表示領域である表示領域551が形成される。表示領域551の左側には、4種類の顔タイプを表す顔タイプアイコン552が表示される。
【0202】
顔タイプアイコン552のうち、「こねこ顔」と「うさ顔」を表すアイコンが強調表示されることにより、それぞれの顔タイプが利用者H1と利用者H2に対して提示される。利用者H1と利用者H2の顔の特徴に応じて分類された「こねこ顔」と「うさ顔」を表すアイコンだけが表示されるようにしてもよいし、なりたい顔としてそれぞれの利用者により選択された顔タイプを表すアイコンが強調表示されるようにしてもよい。
【0203】
表示領域551の下には表示領域553-1乃至553-5が横に並べて表示される。表示領域553-1乃至553-5は、撮影結果の画像が撮影順に表示される表示領域である。図23の例においては、撮影が行われていないため、表示領域553-1乃至553-5には撮影画像がまだ表示されていない。撮影が進む毎に撮影結果としての撮影画像が表示される。
【0204】
このようなライブビュー画面の表示が開始されてから所定の時間が経過した後、ステップS18において、撮影制御部411は、カメラ91を制御し、通常撮影を行う。通常撮影によって得られた静止画像は画像処理部413に供給される。
【0205】
ステップS19において、画像処理部413は、それぞれの利用者により選択されたなりたい顔に応じた顔パラメータを用いて、撮影画像に写るそれぞれの利用者の顔の写りを調整する。
【0206】
図19を参照して説明したように、例えば利用者H1が「うさ顔」をなりたい顔として選択している場合、画像処理部413は、「こねこ顔」に分類した利用者H1の顔を、「うさ顔」に近付けるように、顔の輪郭の形状と目の間隔とを調整する。具体的には、画像処理部413は、所定の量だけ細く、かつ、長くなるように、顔の輪郭の形状を調整するとともに、所定の量だけはなれ目になるように、目の間隔を調整する。
【0207】
また、利用者H2が「こいぬ顔」をなりたい顔として選択している場合、画像処理部413は、「うさ顔」に分類した利用者H2の顔を、「こいぬ顔」に近付けるように、顔の輪郭の形状と目の間隔とを調整する。具体的には、画像処理部413は、所定の量だけ丸く、かつ、短くするように、顔の輪郭の形状を調整するとともに、所定の量だけより目になるように、目の間隔を調整する。
【0208】
このようにして利用者H1と利用者H2のそれぞれの顔部分に対する画像処理が施された撮影画像は、表示制御部414に供給される。
【0209】
ステップS20において、表示制御部414は、撮影結果を表示する。
【0210】
図24は、撮影結果の表示画面の例を示す図である。
【0211】
図24の表示領域551に表示されている画像は、それぞれのなりたい顔になるように顔部分に対する画像処理が施された撮影画像である。利用者H1の顔は「うさ顔」に近づけた顔となり、利用者H2の顔は「こいぬ顔」に近づけた顔になっている。
【0212】
それぞれの利用者は、撮影画像に写る自分の顔が、なりたい顔として選択した顔になっているかどうかを図24の画面から確認することができる。
【0213】
ステップS21において、撮影制御部411は撮影終了か否かを判定する。撮影終了ではないとステップS21において判定された場合、ステップS17に戻り、通常撮影が繰り返される。
【0214】
例えば5枚の撮影画像の撮影が行われたことから、撮影終了であるとステップS21において判定された場合、図11のステップS2に戻り、それ以降の処理が行われる。
【0215】
・3人用コースの例
3人用コースの選択時、2人用コースの選択時と同様に、通常撮影の前に顔分析撮影が行われ、それぞれの利用者の顔の特徴の分析が行われる。上述した説明と重複する説明については適宜省略する。
【0216】
図25は、3人用コースの選択時における顔分析撮影用のライブビュー画面の例を示す図である。
【0217】
ライブビュー画面の中央上方に形成された横長長方形状の表示領域501には、3人の利用者である利用者H1、利用者H2、利用者H3が映るライブビュー画像が表示される。
【0218】
ライブビュー画像には、枠F1、枠F2、枠F3が重ねて表示される。それぞれの利用者は、枠1乃至F3に顔を収めるように立ち位置の調整などを行う。
【0219】
図26は、3人用コースの選択時の分析結果の表示画面の例を示す図である。
【0220】
分析結果の表示画面には、領域511L、領域511C、領域511Rが横に並べて形成される。領域511Lは、左側に写っている利用者H1の分析結果用の領域である。領域511Cは、中央に写っている利用者H2の分析結果用の領域である。領域511Rは、右側に写っている利用者H3の分析結果用の領域である。
【0221】
このような表示から、それぞれの利用者は、顔の特徴の分析結果を同時に確認することができる。顔の特徴の分析結果の確認が行われた後、なりたい顔の選択が行われる。なりたい顔とする好みの顔タイプの選択は、利用者H1乃至H3によりそれぞれ行われる。
【0222】
図27は、選択結果の表示画面の例を示す図である。
【0223】
図27に示す画面には、3人の利用者によるなりたい顔の選択結果が表示されている。図27の例においては、自分の顔が「こねこ顔」に分類された利用者H1が「うさ顔」(「おしゃれ」)を選択し、自分の顔が「うさ顔」に分類された利用者H2が「こいぬ顔」(「赤ちゃん」)を選択し、自分の顔が「こねこ顔」に分類された利用者H3が「りす顔」(「大人」)を選択した結果が表示されている。
【0224】
このように、3人用コースの選択時、3人のそれぞれの利用者の顔の特徴の分析が行われ、分析結果が利用者に提示される。3人の利用者は、顔の特徴の分析結果を見てなりたい顔をそれぞれ選択し、なりたい顔に応じた画像処理が施された撮影画像の撮影を行うことができる。
【0225】
・4人以上コース
図28は、4人以上コースの選択時における顔分析撮影用のライブビュー画面の例を示す図である。
【0226】
4人以上コースの選択時、ライブビュー画面には、顔の位置の基準となる枠が表示されない。2人用コース、または3人用コースの選択時に行われる個別の顔の特徴の分析は、4人以上コースの選択時には行われない。顔分析撮影が行われるものの、それぞれの顔の特徴を分析し、分析結果を提示することは行われない。それぞれの顔の特徴の分析を行い、例えば特徴の平均を分析結果として表示するようにしてもよい。
【0227】
図29は、4人以上コースの選択時における、なりたい顔の選択画面の例を示す図である。
【0228】
4人以上コースの選択時、それぞれの顔の特徴の分析が行われないものの、4人共通の1つのなりたい顔を選択することができるようになっている。撮影画像に写る4人の利用者のそれぞれの顔部分に対しては、なりたい顔として選択された顔に近付けるような画像処理が施される。例えば、ボタン531-1を押下することによって「こいぬ顔」が選択された場合、「こいぬ顔」に近付けるための同じ画像処理が、撮影画像に写る4人のそれぞれの顔部分に対して施される。
【0229】
4人の利用者のそれぞれの顔の特徴を分析し、なりたい顔の選択をそれぞれの利用者に行わせるとした場合、時間がかかり、他の処理に確保できる時間が短くなる。4人以上コースの選択時にはなりたい顔の選択を省略することにより、より長い時間を他の処理のために確保することが可能となる。
【0230】
当然、4人の利用者のそれぞれの顔を分析し、なりたい顔の選択をそれぞれの利用者に行わせるようにすることも可能である。また、3人用コースの選択時に、それぞれの顔の分析などが行われないようにしてもよい。
【0231】
なお、事前選択空間A0において選択された人数(コース)と、分析用の撮影によって得られた画像に基づいて認識された顔の数とが一致しない場合、前者の選択空間A0において選択された人数が優先されるようにしてもよいし、後者の分析用の撮影によって得られた画像に基づいて認識された顔の数が優先されるようにしてもよい。
【0232】
分析用の撮影によって得られた画像に基づいて認識された顔の数が優先されるようにすることにより、事前選択空間A0でのコース選択時に選択を誤った場合やタイムアウトになった場合でも、利用者の人数に応じたゲームを提供することが可能となる。
【0233】
事前選択空間A0においてコース選択が省略されるようにしてもよい。これにより、事前選択にかかる時間を短縮することが可能となる。先にゲームを開始した他の利用者が撮影空間A1にいない場合にコース選択が省略されるようにしてもよい。
【0234】
<編集画面の例>
ここで、撮影画像の編集に用いられる編集画面について説明する。図11のステップS3において行われる編集処理時、編集処理部403の表示制御部432(図10)によってタブレット内蔵モニタ131に編集画面が表示される。
【0235】
図30は、編集画面の例を示す図である。
【0236】
編集画面には、編集領域601L,601Rがそれぞれ左右に並べて設けられる。編集領域601L,601Rの間には、撮影画像のサムネイルが表示されるサムネイル表示領域602が設けられる。
【0237】
また、編集領域601L,601Rそれぞれの下方には、編集パレット603L,603Rが設けられる。
【0238】
同じ構成の画面が左右に設けられることにより、編集画面においては、撮影画像の編集が2人の利用者によって個別に受け付けられる。編集領域601Lと編集パレット603Lを含む左側の画面はタブレット内蔵モニタ131に向かって左側に立つ利用者用の領域であり、編集領域601Rと編集パレット603Rを含む右側の画面はタブレット内蔵モニタ131に向かって右側に立つ利用者用の領域である。
【0239】
以下、編集領域601Lを含む左側の画面の構成ついて主に説明する。右側の画面も、左側の画面と同様の構成を有する。
【0240】
編集領域601Lは、編集対象として選択された撮影画像の表示領域である。利用者は、タッチペン132Aを用いて編集ツールを選択し、編集領域601Lに表示された撮影画像の編集を行う。各種のツールの選択に用いられるボタンなどが並ぶツール領域611Lが編集領域601Lの下縁に沿って設けられる。
【0241】
図30に示すように、編集対象の撮影画像に写るそれぞれの利用者の顔には枠が重ねて表示される。例えば左側に写る利用者H1の顔を囲む枠の右上には、表示切替ボタン612Lが表示される。表示切替ボタン612Lは、枠で囲まれている顔を拡大して表示させるときに押下されるボタンである。なお、図30の例においては、顔を囲む枠の右上に表示切替ボタン612Lが表示されているが、それぞれの利用者の顔の枠が編集領域601Lに収まらない場合、編集領域601Lの左上、右下、左下などの他の位置に表示切替ボタン612Lが表示される。
【0242】
例えば、図30の表示切替ボタン612Lが押下された場合、図31に示すように、左側に写っている利用者H1の顔が編集領域601L全体に拡大表示される。表示切替ボタン612Lの機能を利用することにより、利用者は、顔部分を拡大させた状態のまま、メイクツールなど用いた編集を行い、その結果を詳細に確認することができる。
【0243】
顔が拡大表示されている図31の状態で表示切替ボタン612Lが押下された場合、編集領域601Lの表示は、2人の利用者が写る図30の表示に戻る。
【0244】
なお、顔が拡大表示されている場合、ツール領域611Lには顔切替ボタン613Lが表示される。顔切替ボタン613Lは、拡大表示させる顔を違う利用者の顔に切り替えるときに押下されるボタンである。左側に写っている利用者H1の顔が拡大表示されている図31の状態で顔切替ボタン613Lが押下された場合、編集領域601Lには、利用者H1の顔に代えて、右側に写っている利用者H2の顔が拡大表示される。
【0245】
図30の説明に戻り、サムネイル表示領域602は、撮影画像を表すサムネイルの表示領域である。図30の例においては、通常撮影によって得られた5枚の撮影画像を表すサムネイルが表示されている。利用者は、サムネイル表示領域602に表示されているサムネイルを選択することによって、編集対象とする撮影画像を選択する。
【0246】
編集パレット603Lは、メイクツール、落書きツール、ペンツールなどの各種の編集ツールの選択に用いられるアイコン(ボタン)などが表示される領域である。編集パレット603Lの上方には、メイクツール、落書きツール、ペンツールの選択に用いられるタブが表示される。タブが切り替えられることに応じて、編集パレット603Lに表示される編集ツールのカテゴリが切り替えられる。
【0247】
なお、メイクツールは、目、唇、頬などを対象として、メイクを模した画像処理を施すときに用いられる編集ツールである。また、落書きツールは、スタンプ画像などの合成用画像を撮影画像に合成するときに用いられる編集ツールである。ペンツールは、タッチペン132Aの軌跡に応じて入力されるペン画像を合成用画像として撮影画像に合成するときに用いられる編集ツールである。
【0248】
例えば、メイクツールのカテゴリを選択した状態で、編集パレット603Lに表示される所定のアイコンが押下された場合、押下されたアイコンに応じたメイクの画像処理が編集対象の撮影画像に対して施される。
【0249】
このように、編集画面には、メイクの画像処理を施すときに用いられる編集ツール、合成用画像を合成するときに用いられる編集ツールなどの各種の編集ツールが編集用のコンテンツとして用意される。コンテンツには、メイクの画像処理を施すときに用いられる編集ツールと、スタンプ画像やペン画像などの合成用画像を合成するときに用いられる編集ツールとのうちの少なくともいずれかが含まれる。
【0250】
例えば、編集画面に用意される編集用のコンテンツが、利用者の顔の特徴に応じて分類された顔タイプに応じて変更される。それぞれの顔タイプに対して、顔タイプの特徴に適切な編集用のコンテンツが紐付けられている。利用可能となる編集用のコンテンツが利用者の顔の特徴に応じて変更されることにより、利用者は、自分の顔の特徴に適した編集用のコンテンツを利用することが可能となる。
【0251】
例えば、それぞれの撮影画像において左側に写っている利用者H1が左側に立っている場合、左側の画面の編集パレット603Lには、利用者H1の顔タイプに応じた編集用のコンテンツが表示される。また、それぞれの撮影画像において右側に写っている利用者H2が右側に立っている場合、右側の画面の編集パレット603Rには、利用者H2の顔タイプに応じた編集用のコンテンツが表示される。
【0252】
それぞれの利用者が左側の画面と右側の画面のどちらの画面を使っているのかが、利用者により選択されるようにしてもよい。また、利用者H1の顔タイプと利用者H2の顔タイプの組み合わせに応じて、利用可能な編集用のコンテンツが変更されるようにしてもよい。
【0253】
編集画面の表示に関して以下の仕様を採用することが可能である。
【0254】
(1)顔の拡大表示について
利用者の顔が編集領域601Lに拡大表示されている場合(図31)、編集領域601Lの外に表示切替ボタン612Lが表示される。
【0255】
編集領域601Lに収まるように表示切替ボタン612Lが表示されるようにしてもよい。
【0256】
利用者の顔が編集領域601Lに拡大表示されている状態において表示切替ボタン612Lが押下された場合、編集領域601Lには拡大前の元の画像が表示される。
【0257】
利用者の顔が編集領域601Lに拡大表示されている状態において表示切替ボタン612Lが押下された場合、さらに拡大された顔が編集領域601Lに表示される。
【0258】
「メイクツール」のタブが選択されることに応じて、利用者の顔が編集領域601Lに拡大表示される。
【0259】
「メイクツール」のタブが選択され、編集パレット603Lに用意されているものの中から所定のメイクツールが選択されることに応じて、利用者の顔が編集領域601Lに拡大表示される。
【0260】
利用者の顔が編集領域601Lに拡大表示されている状態において、「落書きツール」または「ペンツール」のタブが選択されることに応じて、編集領域601Lには拡大前の元の画像が表示される。
【0261】
編集領域601Lに表示される枠(顔を囲む枠)を押下することに応じて、利用者の顔が編集領域601Lに拡大表示される。
【0262】
利用者の顔が編集領域601Lに拡大表示されている状態において、顔切替ボタン613Lが押下され、その後、拡大前の元の画像に戻された場合、表示切替ボタン612Lが再度押下されたときには、顔切替ボタン613Lによって選択された利用者の顔が編集領域601Lに拡大表示される。
【0263】
利用者の顔が編集領域601Lに拡大表示されている状態において、顔切替ボタン613Lが押下され、その後、拡大前の元の画像に戻された場合、表示切替ボタン612Lが再度押下されたときには、顔切替ボタン613Lの押下前に拡大表示されていた顔と同じ顔が編集領域601Lに拡大表示される。
【0264】
(2)メイクの濃淡の調整について
メイクの濃淡を調整するタブが押下された場合、編集パレット603Lには濃淡の調整ボタンが表示される。
【0265】
メイクの濃淡を調整できるコンテンツが選択された場合、編集パレット603Lには濃淡の調整ボタンが表示される。
【0266】
<<2.ゲーム内容の変更の詳細について>>
編集ツールの変更を含むゲームの内容が、ゲーム進行制御部405(図8)により変更される。以下、ゲームの内容の変更の詳細について説明する。
【0267】
1.分析の対象となる画像
特徴の分析に用いる画像として以下の画像を用いることが可能である。
【0268】
(1)識別撮影(顔分析撮影)で得られた画像
(2)1回目の通常撮影で得られた画像
(3)顔認証が成功した画像
(4)利用者の顔が正面を向いている画像
(5)利用者の顔の付近に手が写っていない画像
(6)アップ画像
(7)全身画像
(8)利用者が選択した画像
(9)上記(3)~(5)のいずれかの条件と上記(6)または(7)の条件を満たす画像
(10)上記(3)~(5)のいずれかの条件と上記(6)または(7)の条件を満たす画像として複数の画像が該当する場合、候補の中から利用者により選択された画像
(11)上記(3)~(5)のいずれかの条件と上記(6)または(7)の条件を満たす画像として複数の画像が該当する場合、上記(3)~(5)に該当する項目が多い画像
(12)利用者毎に異なる画像
(13)静止画に限らず、動画像
(14)複数の画像
【0269】
上記(4)、(5)の画像を用いることにより、顔の特徴点を検出しやすくなる。
【0270】
上記(9)の画像の例として、顔認証が成功しているアップ画像がある。なお、アップ画像は、顔を中心として、被写体の胸付近までが大きく写る画像である。全身画像は、被写体の全身が写る画像である。
【0271】
上記(12)の画像を用いる場合において、例えば、1回目の撮影時に利用者Aの顔が正面、利用者Bの顔が横を向いていて、2回目の撮影時に利用者Aの顔が横、利用者Bの顔が正面を向いている場合、利用者Aの顔の特徴の分析には1回目の撮影によって得られた画像が用いられ、利用者Bの顔の特徴の分析には2回目の撮影によって得られた画像が用いられる。
【0272】
上記(14)の画像を用いる場合、例えば同一画角の複数の画像を用いて顔の特徴の分析が行われる。同じ部位の特徴が検出され、その平均が求められる。
【0273】
2.特徴を分析する利用者の人数
特徴を分析する利用者の人数として以下の人数とすることが可能である。
【0274】
(1)個別に特徴を分析する場合
・1人
・2人
・3人
・4人以上
【0275】
(2)グループ(複数人)単位で特徴を分析する場合
・2人
・3人
1人と2人
3人まとめて
・4人以上
1人と3人
2人と2人
4人まとめて
【0276】
(3)所定の人数以上の場合は、特徴を分析しないようにすることも可能である。上述した例の場合、4人以上である場合には、それぞれの利用者の顔の特徴の分析は行われない。
【0277】
3.特徴を分析する部位
特徴の分析対象となる部位が、顔の輪郭と目であるものとしたが、以下の部位を対象として特徴の分析が行われるようにすることも可能である。
【0278】
(1)顔の特定の部位
・輪郭
・額
・眉
・目
・目頭
・目尻
・黒目
・鼻
・鼻筋
・小鼻
・口
・耳
・髪型
【0279】
(2)全身の特定の部位
・首
・腕
・二の腕
・前腕(ひじ下、または、腕のひじから先の部分)
・手の甲
・手のひら
・指
・腹部
・脚
・足
【0280】
(3)上記(1)の部位の組み合わせ
上述したように、輪郭と目を特徴の分析対象とすることが可能である。2つの部位ではなく、3つ以上の部位を対象として特徴の分析が行われるようにしてもよい。
【0281】
(4)上記(2)の部位の組み合わせ
例えば、腕と脚を特徴の分析対象とすることが可能である。2つの部位ではなく、3つ以上の部位を対象として特徴の分析が行われるようにしてもよい。
【0282】
(5)上記(1)の部位と(2)の部位の組み合わせ
例えば、輪郭と首を特徴の分析対象とすることが可能である。2つの部位ではなく、3つ以上の部位を対象として特徴の分析が行われるようにしてもよい。
【0283】
(6)部位の位置や距離
・眉間の距離
・眉と目の距離
・左右の目の距離(目の間隔)
より目
はなれ目
・左右の目頭の距離
・左右の目じりの距離
・人中(鼻と口との間)の距離
【0284】
以上のような各部位の距離が顔の特徴として分析される。上記の距離に関わらず、他の2つ以上の部位の距離が分析されるようにしてもよい。
【0285】
(7)部位の形状
・輪郭の形状
丸顔
面長
卵型
逆三角
ひし形(こめかみのあたりからおでこにかけての幅が狭い等)
ベース型
四角形
・額の形状
・眉の形状
・目の形状
丸目
猫目
たれ目
【0286】
以上のような各部位の形状が顔の特徴として分析される。
【0287】
(8)部位の大きさや長さ
・目
・鼻
・首
【0288】
部位の形状や部位間の距離ではなく、部位の大きさや長さが特徴として分析されるようにすることが可能である。
【0289】
4.分析結果の提示場所
(1)事前選択空間A0
タッチパネルモニタ71を用いるなどして、事前選択空間A0において分析結果が提示されるようにしてもよい。この場合、事前選択空間A0の所定の位置には、顔分析撮影用のカメラが設置される。スマートフォンなどの利用者の携帯端末を用いた自撮りによって撮影された画像を取り込み、それを用いて特徴の分析が行われるようにしてもよい。
【0290】
(2)撮影空間A1
上述したように、撮影空間A1において分析結果が提示されるようにすることが可能である。この場合、以下のタイミングで分析結果が提示される。
・顔分析撮影が終わった後のタイミング
・通常撮影の間のタイミング
・全ての撮影が終わった後のタイミング
【0291】
(3)編集空間A2
編集空間A2において分析結果が提示されるようにすることが可能である。この場合、以下のタイミングで分析結果が提示される。
・落書き前(編集画面の表示前)のタイミング
・落書き中(編集画面の表示中)のタイミング
・印刷待ちのタイミング
【0292】
5.分析結果の提示の際の演出
顔の特徴の分析結果を提示する際、図14を参照して説明したようにして演出が行われる。以下のような演出を採用することが可能である。
【0293】
(1)特徴点を1つずつ表示する演出
(2)特徴点を検出できた顔について、特徴点が検出できた旨を表示する演出
(3)特徴点を検出できた顔について、顔を囲む枠の色を変える演出
(4)特徴点を検出できた顔について、顔を囲む枠を消す演出
(5)特徴点を検出できた顔について、顔を囲む枠を出現させる演出
(6)特徴点を検出できた顔について、顔を囲む枠を点滅させる演出
【0294】
上記(1)の演出により、リアルタイムで処理しているように見せることが可能となる。上記(2)の演出として、例えば「COMPLETE」等の文字が表示される。
【0295】
6.特徴に応じて変更する対象
上述したように、利用者の顔の特徴を分析することによって分類された顔タイプに応じて、ゲームの内容が変更される。ゲームの内容として、以下の内容が変更されるようにすることが可能である。
【0296】
(1)画面表示に関する変更
・ライブビュー画面の色の変更
・ライブビュー画面に表示される顔タイプアイコン552の表示の変更(数、色、形等)
・編集画面の表示の変更(色、形、タイマー表示等)
・携帯送信用おまけ画像の作成画面の表示の変更(色、形、タイマー表示等)
・メールアドレスの入力画面の表示の変更(色、形、タイマー表示等)
・印刷待ち画面の表示の変更(色、形、タイマー表示等)
【0297】
なお、携帯送信用おまけ画像は、利用者の携帯端末に対して画像管理サーバ経由で提供される画像であり、シール紙363には印刷されない。携帯送信用おまけ画像は、例えば編集画面において所定の操作を行ったときに表示される作成画面を用いて、撮影画像に基づいて作成される。
【0298】
また、メールアドレスの入力は、編集を終えた利用者により、タブレット内蔵モニタ131に表示される入力画面を用いて行われる。画像管理サーバに対して送信される編集画像等には、入力画面を用いて入力されたメールアドレスが、利用者の識別に用いる情報として付加される。
【0299】
(2)メイクツールに関する変更
利用者の顔タイプに応じた以下のメイクツールが用意される。利用者は、メイクツールのタブを選択したときに編集パレットに用意されるメイクツールを用いることにより、自分の顔タイプに適したメイク処理を施すことが可能となる。
【0300】
・アイブロウ(眉の形を変える)
・眉マスカラ(眉のマスクを取得し、色を変える)
・アイシャドウ
・アイライン
・二重
目の形状に応じた二重を合成する
・カラコン(カラーコンタクトレンズ)
・疑似キャッチライト
・つけまつげ
・涙袋
・下まつげ
・チーク
・ハイライト
額部分のハイライト
鼻部分のハイライト
頬部分のハイライト
顎部分のハイライト
・シェーディング
輪郭に応じたシェーディングを合成する
・チーク
・リップ
・肌の色(美白、美黒、トーンアップ、ブルーベース、イエローベース)
・肌質(マット系、つや系)
【0301】
シェーディングについては、例えば、顔の輪郭の形状が面長の顔タイプの場合、額とあごにシェーディングを施す画像が合成される。チークについては、例えば、顔の輪郭の形状が丸顔の顔タイプの場合、頬の中央からこめかみに向かって斜めのチークを施す画像が合成される。
【0302】
(3)他の編集ツールに関する変更
利用者の顔タイプに応じて、編集ツールが以下のようにして変更される。利用者は、落書きツール、ペンツールのタブを選択したときに編集パレットに用意される編集ツールを用いることにより、自分の顔タイプに適した処理を施すことが可能となる。
【0303】
・ペン画像の種類、色の変更
・スタンプ画像の種類、色の変更
・背景画像の種類、色の変更
・ベール画像の種類、色の変更
・オーラ画像の種類、色の変更
・フィルターの種類、色の変更
・くっつきスタンプ画像の種類、色の変更
【0304】
なお、くっつきスタンプ画像は、撮影画像に写る利用者の顔の特定の部位を認識し、特定の部位に合成されるスタンプ画像である。例えば、利用者の顔タイプが「こいぬ顔」である場合、犬の耳や鼻の画像を合成するくっつきスタンプ画像が用意される。
【0305】
(4)印刷に関する変更
利用者の顔タイプに応じて、印刷に関する以下の内容が変更される。
【0306】
・分割数(レイアウト)
・デザイン
【0307】
利用者の顔タイプが「うさ顔」である場合、うさぎ柄のデザインのレイアウトが用意され、編集画像とともにシール紙363に印刷される。このように、印刷媒体となるシール紙363に編集画像とともに印刷する内容のデザインが利用者の顔タイプに応じて変更される。
【0308】
(5)時間に関する変更
利用者の顔タイプに応じて、ゲームに関する以下の時間が変更される。
【0309】
・撮影時のサンプルポーズの表示時間
・撮影時間
1枚あたりの撮影時間
撮影時間の合計時間
・プレビュー(撮影結果)の表示時間
・編集画像の選択の時間
・写りの調整の選択の時間
・レタッチの選択の時間
・編集時間
・携帯送信用おまけ画像の作成時間
・メールアドレスの入力時間
・印刷待ち時間
【0310】
(6)枚数に関する変更
利用者の顔タイプに応じて、ゲームに関する以下の枚数が変更される。
【0311】
・撮影枚数
・撮り直しできる枚数
・編集できる撮影画像の枚数
・携帯送信用おまけ画像の作成枚数
・携帯送信用おまけ画像の取得枚数
・シール紙の印刷枚数
・シール紙のおまけの数
【0312】
なお、ゲームで作成した画像を画像管理サーバ経由で取得するためには、利用者は、会員登録を行っておく必要がある。会員属性には、例えば無料会員、有料会員、プラス会員の属性がある。携帯送信用おまけ画像の取得枚数が変化するということは、顔タイプと利用者の会員属性の組み合わせに応じて、取得できる携帯送信用おまけ画像の枚数が変化することを表す。
【0313】
(7)変形に関する変更
特定の部位を変形させる画像処理が撮影画像に対して施される場合、利用者の顔タイプに応じて、以下の処理の内容が変更される。以下においては、アップ画像用の変形と全身画像用の変形について説明しているが、アップ画像用の変形が全身画像に用いられるようにしてもよいし、全身画像用の変形がアップ画像に用いられるようにしてもよい。
【0314】
(i)アップ画像用の変形
・輪郭処理
卵型に変形
丸顔に変形
面長に変形
逆三角に変形
ひし形(こめかみのあたりからおでこにかけての幅が狭い)に変形
ベース型に変形
四角形に変形
・小顔処理
・額の拡縮、変形
・目の大きさの変更
・目の形状の変形
丸目に変形
猫目に変形
たれ目に変形
・鼻筋の伸縮
・小鼻の拡縮
・口角を上げる処理
・口の大きさ処理
・人中(鼻と口の距離)の伸縮
・部位の移動(目の上下左右方向への移動、口の移動、鼻の移動、眉毛の移動等)
【0315】
(ii)全身画像用の変形
・脚長処理
・脚の細さ処理
・身長処理
・二の腕処理
・くびれ処理
・首の長さ処理
・ウエストの位置を上げる処理
・指を細くする処理
・爪の形を変形する処理
・爪の長さを変更する処理
【0316】
(8)その他
利用者の顔タイプに応じて、以下の内容が変更される。
・ゲームシーケンスの変更
・BGMの変更
・ナレーションの変更
・サンプルポーズの変更
・ミニゲームの変更
・光学の変更
・顔変形の変化量
【0317】
ミニゲームには、特別撮影、3Dモデルの作成、特徴に基づいてイラストを作成する作業などがある。
【0318】
上記(1)~(8)において、利用者毎に変更可能な内容については、利用者毎に変更されるようにしてもよい。
【0319】
上記(1)~(8)において、利用者のグループ単位で変更されるようにしてもよい。
【0320】
<<3.その他>>
なりたい顔として撮影処理時に選択した顔タイプを、編集処理時に変更することができるようにしてもよい。この場合、顔タイプが変更された場合、撮影画像に写る利用者の顔部分に対しては、変更後の顔タイプに応じた画像処理が施される。
【0321】
顔や体の特定の部位を対象として特徴の分析が行われるものとしたが、髪型や服装を対象として特徴の分析が行われるようにしてもよい。また、顔の向き、顔の大きさ、2つの顔の距離などが分析されるようにしてもよい。
【0322】
顔分析用画像に写る顔を顔分析部412において認識することができない場合、顔分析用画像の撮り直しが行われるようにしてもよい。利用者がカメラ91の方を向いていない場合、顔分析用画像から顔を認識できないことがある。
【0323】
例えば2人用コースの選択時に、3人の顔が顔分析用画像に写っている場合、2つの枠(枠F1、枠F2)に近い2人の顔が分析対象として選択されるようにしてもよい。
【0324】
以上の処理が写真シール作成装置1で行われるのではなく、スマートフォンなどの携帯端末上で行われるようにしてもよい。この場合、顔の特徴の分析を含む以上の処理を実現するアプリケーション(プログラム)が携帯端末にインストールされる。
【0325】
インストールされるプログラムは、所定のサーバからインターネットを介して携帯端末に提供される。プログラムは、携帯端末内のメモリにあらかじめインストールしておくことができる。
【0326】
なお、携帯端末のCPUが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0327】
本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【0328】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0329】
1 写真シール作成装置, 91 カメラ, 92 タッチパネルモニタ, 131 タブレット内蔵モニタ, 301 PC部, 302 事前選択部, 304 撮影部, 305 編集部, 306 印刷部, 401 事前選択処理部, 402 撮影処理部, 403 編集処理部, 404 印刷処理部, 405 ゲーム進行制御部, 411 撮影制御部, 412 顔分析部, 413 画像処理部, 414 表示制御部, 415 画像記憶部, 431 編集制御部, 432 表示制御部, 433 分析結果画像生成部, 434 印刷データ生成部, 435 通信制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31