(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023035469
(43)【公開日】2023-03-13
(54)【発明の名称】画像処理装置
(51)【国際特許分類】
H04N 23/60 20230101AFI20230306BHJP
G03B 17/53 20210101ALI20230306BHJP
G07F 17/26 20060101ALI20230306BHJP
H04N 5/222 20060101ALI20230306BHJP
H04N 5/765 20060101ALI20230306BHJP
【FI】
H04N5/232 290
G03B17/53
G07F17/26
H04N5/222 500
H04N5/765
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2021142343
(22)【出願日】2021-09-01
(71)【出願人】
【識別番号】000132471
【氏名又は名称】株式会社セガ
(74)【代理人】
【識別番号】110002273
【氏名又は名称】弁理士法人インターブレイン
(72)【発明者】
【氏名】稲垣 葉月
(72)【発明者】
【氏名】木口 祐介
(72)【発明者】
【氏名】白木 彩織
(72)【発明者】
【氏名】濱島 秀明
(72)【発明者】
【氏名】宮中 沙羅
(72)【発明者】
【氏名】小泉 雅人
【テーマコード(参考)】
2H104
5C122
【Fターム(参考)】
2H104AA19
2H104BC48
5C122EA61
5C122FH11
5C122FH14
5C122FH18
5C122FH22
5C122FK23
5C122FK37
5C122FK38
5C122FK40
5C122FK42
5C122FL03
5C122HB01
5C122HB05
(57)【要約】
【課題】画像処理でキャッチライトに似た効果を楽しめる編集技術を提供できる。
【解決手段】遊戯画像撮影装置は、ユーザを撮影する撮影部と、撮影画像に含まれる人物の黒目領域を検出する検出部と、撮影画像の黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工を施す加工部と、加工が施された画像を出力する出力部と、を備える。
【選択図】
図8
【特許請求の範囲】
【請求項1】
ユーザを撮影する撮影部と、
撮影画像に含まれる人物の黒目領域を検出する検出部と、
前記撮影画像の前記黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工を施す加工部と、
前記加工が施された画像を出力する出力部と、を備える画像処理装置。
【請求項2】
前記加工部は、前記撮影画像に含まれる画素値または前記黒目領域内の幾何的な位置関係に基づいて定まる前記黒目領域の内部位置に前記装飾画像を配置することを特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記加工部は、複数種類の前記装飾画像の候補のうち、前記加工に用いられる前記装飾画像の種類に応じて前記内部位置を特定することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
前記検出部は、前記撮影画像の前記黒目領域のうち、最も輝度が高い画素または所定基準よりも輝度が高い画素を含む高輝度領域を検出し、
前記加工部は、前記撮影画像の前記黒目領域に含まれる前記高輝度領域に基づいて、前記内部位置を特定することを特徴とする請求項2に記載の画像処理装置。
【請求項5】
前記加工部は、前記高輝度領域の全体をカバーするように、前記装飾画像を重ねることを特徴とする請求項4に記載の画像処理装置。
【請求項6】
前記装飾画像を移動させるユーザ操作を受け付ける受付部を、更に備え、
前記加工部は、前記ユーザ操作に応じて、前記黒目領域内で前記装飾画像の位置を変更することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
【請求項7】
前記装飾画像の色指定又は大きさ指定を受け付ける受付部を、更に備え、
前記加工部は、色指定又は大きさ指定に応じて、前記装飾画像の色又は大きさを決めることを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
【請求項8】
ユーザを撮影する機能と、
撮影画像に含まれる人物の黒目領域を検出する機能と、
前記撮影画像の前記黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工を施す機能と、
前記加工が施された画像を出力する機能と、
を情報処理装置に発揮させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影画像の画像処理、特に、目の装飾技術に関する。
【背景技術】
【0002】
プリクラ(登録商標)とよばれる遊戯画像撮影装置は、女子高校生を中心として根強い人気を誇る。ユーザは、自らを撮影し、編集用のディスプレイにて撮影画像にさまざまな装飾を施す。装飾後の画像はシール台紙に印刷される(特許文献1,2参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2004-32213号公報
【特許文献2】特開2016-184287号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
遊戯画像撮影装置は、落書き機能によって、ユーザの撮影画像に思い思いの加工を施して楽しむことができる。落書き機能では、ユーザの顔にメイクを施すこともできる。たとえば、唇にリップを付ける加工では、化粧をしている感覚を味わえる。
【0005】
落書き機能では、定番の加工が普及しているものの、慣れてしまっている面もある。撮影スタジオなど専用設備がある撮影現場では、キャッチライトという照明器具を使って、瞳の中に反射形状を写し込むことが行われている。女子高生を中心とする遊戯画像撮影装置のユーザ層では、自分の目に印象を高めたいという要求が強い。
【0006】
本発明は、本発明者らによる上記課題認識に基づいて完成された発明であり、その主たる目的は、画像処理でキャッチライトに似た効果を楽しめる編集技術、を提供することにある。
【課題を解決するための手段】
【0007】
本発明のある態様における画像処理装置は、ユーザを撮影する撮影部と、撮影画像に含まれる人物の黒目領域を検出する検出部と、撮影画像の黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工を施す加工部と、加工が施された画像を出力する出力部と、を備える。
【発明の効果】
【0008】
本発明によれば、画像処理でキャッチライトに似た効果を楽しめる編集技術を提供できる。
【図面の簡単な説明】
【0009】
【
図4】遊戯画像撮影装置におけるプレイの流れを示すフローチャートである。
【
図5】遊戯画像撮影装置を上から見た平面図である。
【
図8】キャッチライトの装飾選択領域を示す図である。
【
図9】キャッチライトに関わる機能ブロック図である。
【
図10】キャッチライトの処理過程を示すフローチャート図である。
【発明を実施するための形態】
【0010】
本実施形態における遊戯画像撮影装置は、撮影ブース(撮影空間)と編集ブース(編集空間)を備える。ユーザは撮影ブースにて自らを撮影する。以下、撮影ブースにおいて被写体(ユーザ)を撮影した画像のことを「撮影画像」とよぶ。遊戯画像撮影装置は、撮影ブースにおいて肌の美白化、髪のつや出しなどの画像修正を撮影画像に施す(以下、このような画像修正を「事前修正」とよぶ)。本実施形態における遊戯画像撮影装置は、撮影ブースにおいて静止画像だけでなく動画像も撮影する。撮影画像のうち、動画像として取得されるものを「撮影動画像」、静止画像として取得されるものを「撮影静止画像」とよぶ。本実施形態においては、最大7セットの撮影画像(撮影動画像と撮影静止画像のセット)が取得される。
【0011】
なお、本実施形態においては、撮影空間と編集空間は別々の空間であるとして説明するが、撮影空間と編集空間は同一空間としてもよい。この場合、所定の空間を撮影時は撮影空間として利用し、編集時は編集空間として利用してもよい。
【0012】
事前修正を施された撮影画像は、編集ブースに送信される。ユーザは、編集ブースにおいて、スタンプ画像の貼付やスタイラスペンによる落書きなど任意の装飾を撮影画像に施すことができる(以下、このような画像の装飾を「装飾加工」または「編集」とよぶ)。編集ブースにおいて編集対象となっている撮影画像のことを「対象画像」とよぶ。また、対象画像のうち、撮影動画像を編集対象としたものを「対象動画像」、撮影静止画像を編集対象としたものを「対象静止画像」とよぶ。編集後の対象画像のことを「編集画像」とよび、編集画像のうち、対象動画像を編集したものを「編集動画像」、対象静止画像を編集したものを「編集静止画像」とよぶ。本実施形態においては、最大7セットの撮影画像が取得されるため、最大7セットの編集画像(7本の編集動画像と7枚の編集静止画像)が生成される。
【0013】
ユーザは、編集静止画像のレイアウトおよび背景を定義する台紙画像を選ぶ。ユーザは、選んだ台紙画像に編集静止画像を合成する。以下、台紙画像に編集静止画像を嵌め込んで得られる最終成果物としての画像を「レイアウト済画像」とよぶ。
【0014】
遊戯画像撮影装置は、レイアウト済画像をシール台紙(外部媒体)に印刷する。また、遊戯画像撮影装置は、編集動画像、編集静止画像、編集静止画像を台紙画像に嵌め込んだ画像であるレイアウト済画像をサーバ(外部媒体)にアップロードする。ユーザは、スマートフォンなどのユーザ端末からサーバにアクセスすることにより、編集画像等をダウンロードすることもできる。以上のように、本実施形態における遊戯画像撮影装置は、撮影機能、編集機能(装飾加工機能)、印刷機能および通信機能を備える。
【0015】
ユーザは遊戯画像撮影装置の受付において「演出モード」を選択する。本実施形態においては、演出モードとして「パープルモード」と「ピンクモード」を想定する。パープルモードにおいてはパープル(紫)が基調色となり、ピンクモードではピンクが基調色となる。ここでいう基調色とは、照明などにおいて中心になる色、画面においてもっとも広域を占める色など、全体イメージの土台となるべき色を意味する。
遊戯画像撮影装置は、演出モード、特に、演出モードに対応づけられる色に応じて撮影環境、編集環境、完成画像などを変化させる。
【0016】
図1は、遊戯画像撮影システム200の全体構成図である。
遊戯画像撮影システム200においては、遊戯画像撮影装置100はインターネット204を介してサーバ202およびユーザ端末206(携帯デバイス)と接続される。遊戯画像撮影装置100においてユーザは自らを撮影する。遊戯画像撮影装置100は、被写体(ユーザ)を含む撮影画像を取得し、必要に応じて事前修正を撮影画像に施し、ユーザによる装飾加工を受け付ける。
【0017】
装飾加工後の編集画像およびレイアウト済画像はユーザIDとともに遊戯画像撮影装置100からサーバ202にアップロードされる。サーバ202は、ユーザID、撮影日時、編集画像(編集動画像と編集静止画像)およびレイアウト済画像(編集静止画像と台紙画像の合成画像)を対応づけて保存する。ユーザは、ユーザIDを指定してサーバ202にアクセスすることにより、サーバ202から編集画像等をダウンロードできる。
【0018】
図2は、遊戯画像撮影装置100の外観斜視図である。
遊戯画像撮影装置100は、受付装置102、撮影ブース104、編集ブース106および印刷装置110を備える。ユーザは、受付装置102において遊戯画像撮影装置100の使用を予約する。ユーザは、受付装置102においてユーザIDを入力するとともに、現金または電子マネーにてプレイ料金を支払う。
ユーザは受付装置102において演出モード(パープルモードとピンクモード)を選択する。
【0019】
撮影ブース104においてユーザは写真撮影を行う。撮影終了後、ユーザは編集ブース106に移動する。編集ブース106には、編集装置126が設置される。編集装置126は、編集モニタ120を備える。編集モニタ120には対象画像(装飾加工の対象となる撮影画像)が表示される。本実施形態における編集モニタ120は、静電容量式タッチパネルにより形成される。1つの編集モニタ120に対して、2つのスタイラスペン122a、122bが用意される。ユーザはスタイラスペン122および指を使って対象画像に装飾加工を施す。編集終了後、印刷装置110はレイアウト済画像をシール台紙に印刷する。また、編集装置126は、編集画像等をサーバ202にアップロードする。
【0020】
図3は、撮影ブース104の外観斜視図である。
撮影ブース104は、カーテン124により外部から遮蔽される。撮影ブース104には、撮影装置128が設置される。撮影装置128は、被写体となるユーザを3方向から照らす3つのライト116、撮影静止画像および撮影動画像を取得するためのカメラ118、第1撮影モニタ112および第2撮影モニタ114を備える。
【0021】
このほか、天井面および床面全面にも照明装置が埋設されている。照明手段としてのライト116および図示しない天井照明および床面照明はいずれもR(レッド)G(グリーン)B(ブルー)等を含む。たとえば、これらの照明装置は、フルカラーLED(Light Emitting Diode)および白色LEDを含む。以下、これら3種類の照明装置をまとめていうときには、「ライト・グループ」とよぶ。フルカラーLEDは演出モードにより指定される色を基調色として点灯可能である。
以下、フルカラーLEDにおいて設定可能な紫色(パープルモード)の光とピンク色(ピンクモード)の光のことを「有色光」とよぶ。
【0022】
第1撮影モニタ112は、ユーザの撮影画像(撮影動画像と撮影静止画像)をプレビュー表示させる。第2撮影モニタ114は、被写体となるユーザ以外の人物、たとえば、モデルの撮影画像(以下、「サンプル画像」とよぶ)を表示させる。ユーザは、第2撮影モニタ114に表示されるサンプル画像を参考にしながら、カメラ118の前で任意の撮影ポーズをとる。第2撮影モニタ114には、撮影方法に関する各種説明も表示される。上述したように、撮影ブース104においては、撮影動画像および撮影静止画像を取得できる。なお、第1撮影モニタ112や第2撮影モニタ114の周辺に、いわゆる「女優ライト」を模したフルカラーの照明(図示しない)を設けてもよい。
【0023】
また、第1撮影モニタ112にはユーザが自らの姿を確認するためのライブビュー画像(姿見画像)のほか、撮影タイミングを示すためのカウントダウン画像も表示される。
【0024】
図4は、遊戯画像撮影装置100におけるプレイの流れを示すフローチャートである。
図5は、遊戯画像撮影装置100を上から見た平面図である。
ユーザは、受付装置102において使用予約を行うと、受付装置102は受付処理を実行する(S10)。受付に際しては、ユーザは演出モードも選択する。受け付け後、ユーザは撮影ブース104に入室する。このとき、ライト・グループは、選択された演出モードに対応する色を基調色とする有色光にて撮影ブース104を照明する。たとえば、パープルモードが選ばれたときにはライト・グループは淡い紫色の光にて撮影ブース104を照明する。ピンクモードが選ばれたときには、撮影ブース104は淡いピンク色の光に満たされる。
【0025】
撮影装置128は、ユーザの撮影画像を取得する(S12)。撮影ブース104においては、ユーザは所定数の撮影画像を取得できる。撮影動画像と撮影静止画像は同時に取得され、撮影動画像と撮影静止画像のペアを1セットの撮影画像とカウントする。本実施形態においては、7セットの撮影画像(撮影動画像と撮影静止画像のセット)が取得される。撮影装置128は選択された演出モードにしたがって撮影画像に事前修正を施す。撮影装置128は、撮影画像を取得するごとに事前修正を実行する。
【0026】
撮影後、第1撮影モニタ112には、2つの編集ブース106のいずれかを指示する指示情報が表示される。ユーザは、2つの編集ブース106a、106bのうち、第1撮影モニタ112により指定された編集ブース106に移動する。撮影装置128からは、編集装置126に撮影画像(対象画像)が転送される。ユーザは、編集装置126において転送された撮影画像(対象画像)に装飾加工を施す(S14)。ユーザは、台紙画像を選び、台紙画像に編集画像をレイアウトすることでレイアウト済画像を作成する。
【0027】
編集後、編集装置126はレイアウト済画像を印刷装置110に送り、印刷装置110はレイアウト済画像をシール台紙に印刷する(S16)。また、編集装置126は、インターネット204を介して編集画像およびレイアウト済画像をサーバ202にアップロードする(S18)。ユーザは、サーバ202にアクセスすることにより、編集画像等をサーバ202からユーザ端末206にダウンロードできる。
【0028】
一般的には、撮影作業よりも編集作業に時間がかかる。本実施形態における遊戯画像撮影装置100においては、1つの撮影ブース104に対して2つの編集ブース106a、106b(編集装置126a、126b)を設けることにより、顧客回転率を高めている。
【0029】
図6は、遊戯画像撮影装置100の機能ブロック図である。
遊戯画像撮影装置100の各構成要素は、CPU(Central Processing Unit)および各種コプロセッサ(Co-Processor)などの演算器、メモリやストレージといった記憶装置、それらを連結する有線または無線の通信線を含むハードウェアと、記憶装置に格納され、演算器に処理命令を供給するソフトウェアによって実現される。コンピュータプログラムは、デバイスドライバ、オペレーティングシステム、それらの上位層に位置する各種アプリケーションプログラム、また、これらのプログラムに共通機能を提供するライブラリによって構成されてもよい。
上述したように、遊戯画像撮影装置100は、撮影装置128、受付装置102、編集装置126および印刷装置110の集合体として構成される。以下に説明する各ブロックは、ハードウェア単位の構成ではなく、機能単位のブロックを示している。
【0030】
遊戯画像撮影装置100は、ユーザインタフェース処理部130、データ処理部132、通信部134およびデータ格納部136を含む。また、上述したように、遊戯画像撮影装置100はカメラ118およびライト・グループ210を含む。
ユーザインタフェース処理部130は、受付モニタ108、編集モニタ120等を介したユーザインタフェース処理を担当する。通信部134は、インターネット204を介してサーバ202との通信処理を担当する。通信部134は、Wi-Fi(登録商標)等の近距離無線通信によりユーザ端末206と直接通信することもできる。たとえば、通信部134は、ユーザ端末206に編集画像を直接送信してもよい。データ格納部136は各種データを格納する。データ処理部132は、通信部134により取得されたデータおよびデータ格納部136に格納されているデータに基づいて各種処理を実行する。
【0031】
ユーザインタフェース処理部130は、ユーザによる操作入力を受け付ける入力部140と、ユーザへの情報提示を行う出力部142を含む。
【0032】
入力部140は、受付装置102、撮影装置128、編集装置126等に設置されるタッチパネルに対するユーザの操作入力を検出する。入力部140は、スタイラスペン122による操作入力も検出する。入力部140は、また、受付装置102においてユーザIDを検出する。
【0033】
出力部142は、受付装置102、撮影装置128、編集装置126等における画像表示のほか、音声出力、印刷出力など各種の出力処理を実行する。
【0034】
出力部142は、ポーズ指示部212、演出出力部214および音声出力部216を含む。
ポーズ指示部212は、サンプル画像においてユーザに指示すべきポーズを選択する。演出出力部214は、サンプル画像など第2撮影モニタ114あるいは第1撮影モニタ112において各種の演出画面を表示させる。音声出力部216は、音声および音楽を出力する。
【0035】
このほか、出力部142は、撮影時において、第1撮影モニタ112にユーザ(被写体)のライブビュー画像(姿見画像)を表示させる。ユーザはライブビュー画像により自分の姿を鏡に映すように確認しながら撮影を実行する。また、出力部142は、撮影直後において、第1撮影モニタ112に撮影静止画像をプレビュー表示させる。
【0036】
データ処理部132は、照明制御部218、撮影処理部144、編集処理部146、受付処理部148および印刷処理部150を含む。
照明制御部218は、ライト・グループ210を制御する。具体的には、照明制御部218は、ライト・グループ210の点灯/消灯、光量、色彩など照明に関する設定を制御する。
【0037】
撮影処理部144は、撮影ブース104における撮影処理を制御する。撮影タイミングを時刻tXとすると、撮影処理部144は時刻tXよりも1.5秒前から0.1秒前まで動画像(以下、「前半動画像」とよぶ)を記録し、時刻tXにおいて撮影静止画像を取得し、時刻tXの0.1秒後から1.5秒後まで動画像(以下、「後半動画像」とよぶ)を再び記録する。撮影処理部144は、前半動画像と後半動画像をつなげることにより撮影動画像を生成する。撮影処理部144は、カメラ118に撮影の開始指示および停止指示を送信することにより、カメラ118を制御する。また、撮影処理部144は、撮影静止画像の取得時においては、図示しないストロボを発光させる。撮影動画像は、撮影静止画の取得期間、いいかえれば、ストロボ発光時の動画が含まれないため、ストロボ発光が映り込むことがない。
【0038】
撮影処理部144は、ユーザの選択にしたがって、撮影タイミングの時刻tXよりも前に撮影動画像を取得し、撮影動画像の取得後に続けて撮影静止画像を取得することもできる。
【0039】
撮影処理部144は、撮影案内部220を含む。撮影案内部220は、カウントダウンの表示および音声による通知を出力部142に指示することにより、ユーザに撮影タイミングを通知する。
【0040】
出力部142は、撮影画像を対象画像として編集モニタ120(静電容量式のタッチパネル)に表示させる。編集処理部146は、ユーザからの操作入力にしたがって対象画像を装飾加工する。受付処理部148は、受付装置102においてユーザによるプレイ料金の支払いを管理する。また、受付処理部148は、ユーザによる演出モードの選択も受け付ける。受付処理部148は、撮影ブース104において撮影作業が終了するごとに、予約中のユーザを撮影ブース104に案内する。印刷処理部150は、印刷装置110における編集画像の印刷を制御する。
【0041】
通信部134は、データを受信する受信部230と、データを送信する送信部232を含む。
【0042】
図7は、編集画面240の画面図である。
編集処理部146は、編集画面240のグラフィックデータを作成し、出力部142に編集画面240を表示させる。編集画面240は、編集モニタ120に表示される。
図7では、二人のユーザ170a、ユーザ170bを含む対象画像が編集対象となっている。編集処理部146は、編集画面240を第1編集領域162a(第1の編集画面)と第2編集領域162b(第2の編集画面)に分割する。第1編集領域162aおよび第2編集領域162bには第1画像表示領域166aと第2画像表示領域166bがそれぞれ設定される。なお、第1編集領域162aと第2編集領域162bに対応して2つの編集モニタ120を別々に設けてもよい。第1画像表示領域166aと第2画像表示領域166bには個別に対象画像が表示される。編集画面モード設定情報160においては、二人のユーザ170a、ユーザ170bは2つの対象画像を個別に装飾加工できる。
【0043】
図7においては、ユーザ170aは第1画像表示領域166aに表示される対象画像を装飾加工する。ユーザ170bは第2画像表示領域166bに表示される対象画像を装飾加工するものとして説明する。編集モニタ120は静電容量式タッチパネルであるから、ユーザは、スマートフォンと同様の操作感にて、スタイラスペン122または指により各種操作入力を行う。ユーザ170aは第1編集領域162aの左隣りに設置されるスタイラスペン122aを使用する。ユーザ170bは第2編集領域162bの右隣りに設置されるスタイラスペン122bを使用する。スタイラスペン122aは導電コード172aを介して編集装置126と接続され、ユーザ170bは導電コード172bを介して編集装置126と接続される。
【0044】
上述したように最大7セットの撮影画像が取得される。1つの撮影画像は、撮影静止画像と撮影動画像を含む。出力部142は、画像表示領域166に撮影静止画像を対象画像(対象静止画像)として表示する。画像表示領域166においては、7枚の対象静止画像が重ねて表示される。ユーザは7つのタブ168(タブ168aおよびタブ168b)を選択することにより、編集対象となる対象静止画像を選択できる。また、ユーザが再生ボタン190をタッチすると、出力部142は対象静止画像に対応する約3秒間の対象動画像を再生表示する。編集処理部146は、対象静止画像に対する装飾加工の結果を対象動画像にも反映させてもよい。
【0045】
編集処理部146は、編集の制限時間を管理する。出力部142は、残余時間表示領域174に残余の制限時間をカウントダウン表示する。制限時間が満了すると、編集処理部146は、編集作業を強制終了させる。制限時間未了であっても、ユーザは終了ボタン176をタッチすることにより、編集処理を強制終了させることができる。
【0046】
編集作業に際し、ユーザは、装飾ボタン180から「スタンプ」「ペン」「文字」「キャッチライト」を適宜選択する。出力部142は、装飾ボタン180の選択に応じて、装飾選択領域182の表示を切り替える。
図7の第1編集領域162aにおいては「スタンプ」が選択されているため、出力部142はさまざまなスタンプ画像を装飾選択領域182に表示する。ユーザ170aは、装飾選択領域182からスタンプ画像を選択して、第1画像表示領域166aの任意の箇所にスタンプ画像を貼り付ける。具体的には、ユーザ170aは指またはスタイラスペン122aによりいずれかのスタンプ画像をタッチし、第1画像表示領域166aの貼付箇所をタッチすると、編集処理部146は対象画像にスタンプ画像を合成する。
【0047】
編集モニタ120は、投影型静電容量式タッチパネルであり、いわゆるマルチタッチが可能である。このため、ユーザは右手にスタイラスペン122を握って操作しつつ、左手で装飾ボタン180等の選択をすることもできる。ユーザは両手を使って編集作業ができるため、効率的な編集が可能となる。編集作業の効率化は編集時間の短縮にもつながるため、顧客回転率を高める上でも有用である。
【0048】
図8は、キャッチライトの装飾選択領域182を示す図である。
ユーザがキャッチライトの装飾ボタン180にタッチすると、キャッチライトの装飾選択領域182が表示される。キャッチライトの編集では、撮影画像(対象静止画像)に映し出されたユーザの目の黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工が施される。装飾画像は、キャッチライトの映り込みに相当する。つまり、キャッチライトの直接光が瞳で反射しているように見える。装飾画像には、光源の色が反映されるが、一般的には白色光を光源とすることが多いので、装飾画像も白色である。ただし、光源が色味を帯びている場合には、装飾画像も色味を帯びる。また、装飾画像は、直接光が反射していない虹彩領域の色よりも明るい色である。この例では、撮影画像に含まれるユーザのすべての目に対して同様の加工が行われる。ここでいう黒目は、虹彩と瞳孔のことである。キャッチライトの編集は、カラーコンタクトの装着のように、黒目全体を対象とする加工ではない。黒目の一部に対する加工である。
【0049】
ユーザは、装飾画像ボタンの中から、適用したい装飾画像のボタンを選択する。装飾画像ボタンは、複数種類の装飾画像の候補を示している。この例では、装飾画像ボタンとして、ハートボタン321、ほしボタン322、まるボタン323およびリングボタン324が提示される。
【0050】
ユーザがハートボタン321にタッチした場合には、黒目領域に含まれる高輝度領域の上にハート形状の装飾画像が貼り付けられる。ここでは、ユーザから見て左上にライトがあり、ユーザの左上から光が当てられているものとする。そのため、撮影画像では黒目の右上に反射領域が表われる。つまり、
図8では、黒目の右上に反射領域に対応する画像領域として高輝度領域がある。従って、黒目内の右上位置にハート形状の装飾画像が描かれる。反対に、ユーザの右上から光が当てられていれば、撮影画像では黒目の左上に反射領域が表われる。その場合には、黒目の左上に高輝度領域があることになるので、黒目内の左上位置にハート形状の装飾画像が描かれる。なお、いずれの装飾画像も、黒目中の反射を表現しており、高輝度の色(たとえば、白色)が設定されている。
【0051】
ユーザがほしボタン322にタッチした場合には、星形状の装飾画像が、高輝度領域に重ねて配置される。したがって、ハート形状の場合と同様に黒目内の右上位置に星形状の装飾画像が貼り付けられる。
【0052】
ユーザがまるボタン323にタッチした場合には、黒目内の左下位置に円形の装飾画像が貼り付けられる。円形の装飾画像が貼り付けられる位置は、反射領域の位置と一致しない。つまり、黒目領域に含まれる高輝度領域以外の場所に、円形の装飾画像が描かれる。この例のとおりに円形の装飾画像を貼り付ける位置を左下とする決め方としては2通りある。幾何的な固定位置で決める方法と、高輝度領域を基準とする相対的な位置で決める方法がある。詳しくは、
図10のS26に関連して後述する。
【0053】
ユーザがリングボタン324にタッチした場合には、黒目内に円環の装飾画像が貼り付けられる。円環の装飾画像が貼り付けられる位置は、黒目の中心を基準として定められる。つまり、円環の中心と黒目の中心が重なるようにする。あるいは、ほぼ重なるようにする。
【0054】
このように、黒目領域の内部位置に各装飾画像が配置される。内部位置は、黒目領域内の任意の位置ではなく、所定条件によって定まる特定の位置である。以下では、装飾画像が配置される「黒目領域の内部位置」を「装飾画像の貼り付け位置」ということがある。黒目領域内のこの位置に装飾画像が貼り付けられるからである。黒目領域に着目してこの位置を説明する場合には、「黒目領域の内部位置」といい、装飾画像に着目してこの位置を説明する場合には、「装飾画像の貼り付け位置」という。貼り付け位置は、装飾画像の種類によって決まる。ハート形状の装飾画像と星形状の装飾画像では、元々反射している高輝度領域に基づいて貼付け位置が決まり、高輝度領域の全体をカバーするように装飾画像が重ねられる。高輝度領域の全体をカバーすれば、装飾画像の形状がくずれない。また、元々の反射領域よりも広い範囲を輝かせて、目の印象を高めることができる。ここで説明したハート形状の装飾画像と星形状の装飾画像の位置決めは、画素値に基づいて黒目領域において装飾画像を貼り付け位置が定まる例である。高輝度領域は、画素値が示す輝度によって定まるからである。仮に照明に色がついている場合、たとえばピンク光の照明を用いて撮影する場合には、ピンクの色成分が含まれていることを条件として高輝度領域を判定してもよい。この場合、色成分も画素値によって定まる。
【0055】
黒目領域における貼り付け位置は、黒目の中心あるいは黒目の輪郭を基準とした幾何的な位置であってもよい。黒目の中心から所定方向へ所定距離だけ離れた点を貼り付け位置としてもよい。あるいは、黒目の中心から所定方向へ向かう半径を所定比率に分ける点(内分点)を黒目領域における貼り付け位置としてもよい。まるボタン323によって円形の装飾画像が貼り付けられる位置は、このような、中心位置から所定距離だけ離れた点や内分点であってもよい。また、黒目に相当する大きさの円形パターンを用いたマッチングで黒目領域における貼り付け位置が特定されるようにしてもよい。円形パターンの中には、幾何的に貼り付け位置が定められているものとする。つまり、円形パターンは、2次元の図形情報であって、位置合わせの基準となる円と、その円の中に定められている貼付け位置の座標情報を含んでいる。位置合わせの基準となる円が黒目の輪郭と重なるように円形パターンを合わせて、円形パターン内の貼り付け位置と重なるところを黒目領域の内部位置とする。リングボタン324によって円環が貼り付けられる位置は、このような円形パターンのマッチングによって特定されてもよい。ここで説明した円形の装飾画像と円環の装飾画像の位置決めは、黒目領域内の幾何的な位置関係に基づいて黒目領域の内部位置が定まる例である。
【0056】
ユーザは、黒目領域内で装飾画像の貼り付け位置を変更することができる。ユーザが上向き矢印ボタン331にタッチすると、装飾画像は少し上へ移動する。同様に、右向き矢印ボタン332がタッチされると、装飾画像は少し右へ移動し、下向き矢印ボタン333がタッチされると、装飾画像は少し下へ移動し、左向き矢印ボタン334がタッチされると、装飾画像は少し左へ移動する。ユーザが連続して矢印ボタンにタッチすれば、さらに移動させることができる。ただし、装飾画像が黒目領域からはみ出ない位置に留める。装飾画像の位置を変えれば、ユーザの印象が変わる。たとえば、瞳孔の位置に装飾画像を合わせれば、ユーザの真正面にライトがあることになるので、ユーザが光源を凝視するようなユーモラスな印象が得られる。
【0057】
ユーザは、装飾画像の大きさを変更することができる。ユーザが大きくボタン341(拡大ボタン)にタッチすると、装飾画像は少し大きくなる。ユーザが連続して大きくボタン341にタッチすれば、さらに装飾画像を大きくできる。ユーザが小さくボタン342(縮小ボタン)にタッチすると、装飾画像は少し小さくなる。ユーザが連続して小さくボタン342にタッチすれば、さらに装飾画像を小さくできる。大きさを直接指定するボタンを用いてもよい。例えば、大ボタン、中ボタンおよび小ボタンを提示し、タッチされたボタンによって装飾画像の大きさを決めてもよい。装飾画像の大きさを変えれば、ユーザの印象が変わる。たとえば、装飾画像が大きくすれば、装飾画像の形状がはっきりわかるので、その形状に込めた気持ちが伝わりやすい。
【0058】
ユーザは、装飾画像の色を変更することができる。装飾画像のデフォルト色は白色であるが、ユーザがピンクボタン352にタッチすると、装飾画像はピンクがかった色に変化する。ユーザが連続してピンクボタン352にタッチすれば、さらに装飾画像のピンク色が濃くなる。同様に、ブルーボタン353の場合には、装飾画像はブルーがかった色に変化し、イエローボタン354の場合には、装飾画像はイエローがかった色に変化する。ユーザが白ボタン351にタッチすると、装飾画像はデフォルトの白色に戻る。装飾画像の色を変えれば、ユーザの印象が変わる。たとえば、装飾画像がピンクであれば、紅潮するようなトキメキ感を表現できる。装飾画像がブルーであれば、クールな視線を表現できる。
【0059】
ユーザ操作についてまとめる。ユーザがキャッチライトの装飾ボタン180にタッチすると、キャッチライトの装飾選択領域182が表示される。ハートボタン321、ほしボタン322、まるボタン323およびリングボタン324に示すように、装飾画像の種類によって貼り付け位置のデフォルトが違う。これらのボタンのうち、いずれかにタッチすると、すべての人物の両目(閉じている目を除く)に対して、同様に装飾画像が付加される。デフォルト位置が決まっているので、この操作だけでキャッチライトの演出ができる。そのあとは、ユーザが装飾画像の場所を変えたり、装飾画像の大きさや色を変えたり、などの微調整が可能である。ユーザは、目の印象を自由に変化させることができる。画像を見ながら調整できるので、好みの装飾画像に調整しやすい。
【0060】
図9は、キャッチライトに関わる機能ブロック図である。
入力部140は、受付部401を有する。受付部401は、種々のユーザ操作を受け付ける。たとえば、装飾画像の選択、装飾画像の移動、装飾画像の色指定および装飾画像の大きさ指定などの操作が受け付けられる。
【0061】
編集処理部146は、検出部411と加工部413を有する。検出部411は、撮影画像に含まれる人物の黒目領域を検出する。具体的には、検出部411は、撮影画像の黒目領域に含まれる高輝度領域を検出する。加工部413は、撮影画像の黒目領域の一部に、黒目中の反射を表現した装飾画像を重ねる加工を施す。
【0062】
図10は、キャッチライトの処理過程を示すフローチャート図である。
受付部401が、キャッチライトの装飾ボタン180のタッチを受け付けると、出力部142は、キャッチライトパレットを編集モニタ120に表示させる(S20)。
【0063】
キャッチライトパレットで装飾画像ボタン(ハートボタン321、ほしボタン322、まるボタン323およびリングボタン324のいずれか)のタッチを検出することによって、受付部401が、装飾画像の選択を受け付けると(S22のY)、装飾画像の種類の応じた加工が行われる。
【0064】
まず、ハートボタン321又はほしボタン322がタッチされた場合について説明する。検出部411は、各目の黒目領域において高輝度領域を検出する(S24)。具体的には、検出部411は、所定の基準値以上の輝度を示す範囲を高輝度領域とする。あるいは、検出部411は、各目の黒目領域において最も輝度が高い画素を中心とする所定半径の円の内側を高輝度領域としてもよい。または、検出部411は、各目の画像に対してエッジ処理を行って、エッジ線で囲まれた領域のうち、最も高い輝度を示す画素を含む領域を高輝度領域と判定してもよい。通常、ライトの直接光を反射する領域は、直接光を反射させない白目の領域よりも輝度が高い。
【0065】
加工部413は、貼り付け位置を特定する(S26)。貼り付け位置は、ハート形状あるいは星形状の所定箇所(例えば、中心)が重ねられる位置である。貼り付け位置は、高輝度領域に基づいて決められる。たとえば、高輝度領域の重心や最も輝度が高い点など基準位置が、貼り付け位置となる。そして、加工部413は、黒目内の貼り付け位置にハート形状あるいは星形状の所定箇所(例えば、中心や重心等の基準位置)が一致するように装飾画像を貼り付ける(S28)。
【0066】
次に、まるボタン323がタッチされた場合について説明する。加工部413は、円形の装飾画像の貼り付け位置を特定する(S26)。上述のとおり、貼り付け位置は、黒目の中心から所定方向へ所定距離だけ離れた点、あるいは、黒目の中心から所定方向へ向かう半径を所定比率に分ける点(内分点)である。したがって、高輝度領域の検出処理(S24)を省いてもよい。あるいは、円形の装飾画像の貼り付け位置が、黒目内の高輝度領域に応じて決められるようにしてもよい。その場合には、検出部411は、上述のとおり、各目の黒目領域において高輝度領域を検出する(S24)。たとえば、加工部413は、黒目の中心を基準として、黒目内において高輝度領域の反対側の箇所を貼り付け位置とする(S26)。より具体的には、黒目の中心を基準として、高輝度領域の中心の対称位置が貼り付け位置になる。高輝度領域が黒目領域の左上にあれば、黒目領域の右下に貼り付け位置を設定する。高輝度領域以外であれば、高輝度領域の反対側以外の箇所が貼り付け位置となってもよい。そして、加工部413は、その貼り付け位置に円形の装飾画像を貼り付ける(S28)。
【0067】
次に、リングボタン324がタッチされた場合について説明する。検出部411は、各目の黒目領域の中心位置を特定する。加工部413は、黒目領域の中心位置を円環の装飾画像の貼り付け位置の基準とする(S26)。加工部413は、黒目領域の中心位置に円環の装飾画像の中心が重なるように、円環の装飾画像を貼り付ける(S28)。
【0068】
キャッチライトパレットで各矢印ボタン331~334のタッチを検出することによって、受付部401が、装飾画像の移動指示を受け付けると(S30のY)、加工部413は、上述のとおり装飾画像を移動させる(S32)。
【0069】
キャッチライトパレットで大きくボタン341(拡大ボタン)又は小さくボタン342のタッチを検出することによって、受付部401が、装飾画像の大きさ指示を受け付けると(S34のY)、加工部413は、上述のとおり装飾画像を拡大させ、あるいは縮小させる(S32)。
【0070】
キャッチライトパレットで色ボタン351~354のタッチを検出することによって、受付部401が、装飾画像の色指定を受け付けると(S38のY)、加工部413は、上述のとおり装飾画像の色を変更する(S40)。
【0071】
編集処理部146が編集終了のタイミングに至ったと判定すると(S42のY)、図示した処理を終える。
【0072】
なお、加工部413は、装飾画像のうち、黒目領域からはみ出る部分を除いて貼付けを行う。つまり、まぶたやまつ毛に重なる部分には、装飾画像が重ならないようにする。
【0073】
[変形例]
実施形態では、矢印ボタンによって装飾画像の移動指示を行う例を示したが、出力部142が、目付近の拡大画像を表示して、受付部401がタッチパネルを介してその拡大画像上のスライド操作を受け付けて、加工部413がそのスライド方向とスライド量に応じて装飾画像を移動させるようにしてもよい。
【0074】
実施形態では、撮影画像に含まれるすべての人物の両目に対して、キャッチライトの加工を施す例を示したが、ユーザが選択した人物の両目に対してのみキャッチライトの加工を施すようにしてもよい。出力部142は、対象静止画像の縮小画像を表示し、受付部401は、縮小画像でタッチされた人物をキャッチライトの加工対象として受け付ける。検出部411および加工部413は、加工対象の人物の目に対して、上述して処理を行う。このようにすれば、ユーザ毎に異なる装飾画像を貼り付けることができる。また、ユーザが選択した人物もしくは全ての人物に対してユーザが指定した片目に対してのみキャッチライトの加工を施すようにしてもよい。更には、左右の目で異なるキャッチライトの加工を施すようにしてもよい。
【0075】
加工部413が、ユーザ情報の設定値に応じて装飾画像の種類や色を自動的に決めるようにしてもよい。サーバ202は、ユーザに関連する各種情報(以下、「ユーザ情報」とよぶ)を管理する。サーバ202のデータ格納部は、ユーザIDに対応付けてユーザ情報を記憶している。ユーザは、ユーザ端末206からユーザIDを指定してサーバ202にログインすることにより、ユーザ情報を任意に編集できる。ユーザ情報は、ユーザの属性、好みなどを定義する情報である。ユーザ情報は、ユーザの年齢等を含む基本情報、ユーザの好みの編集設定を示すマイパレット情報、ユーザの好みのキャッチライト設定を示すマイキャッチライト情報を含む。マイキャッチライト情報には、装飾画像の種類(ハート形状や星形状など)、装飾画像の色(白色やピンクなど)などが含まれる。ユーザが遊戯画像撮影装置100でプレイを始めるときに、遊戯画像撮影装置100のID取得部は、ユーザによって遊戯画像撮影装置100のリーダにかざされたユーザカードから、ユーザIDを取得する。遊戯画像撮影装置100のID送信部は、取得したユーザIDをサーバ202に送信する。サーバ202のID受信部は、遊戯画像撮影装置100からユーザIDを受信する。サーバ202のユーザ情報送信部は、受信したユーザIDに対応するユーザ情報を遊戯画像撮影装置100に送信する。遊戯画像撮影装置100のユーザ情報受信部は、プレイするユーザのユーザ情報をサーバ202から受信する。そして、遊戯画像撮影装置100の加工部413は、ユーザ情報のマイキャッチライト情報に設定されている種類と色の装飾画像を用いて、上述した貼り付けの処理を行う。
【0076】
加工部413が、演出モードに応じて装飾画像の種類を自動的に決めるようにしてもよい。その場合には、演出モードと装飾画像の種類が対応付けられているものとする。たとえば、演出モードがピンクモードである場合には、加工部413は、ピンクモードに対応するハート形状の装飾画像を用いる。演出モードがパープルモードである場合には、加工部413は、パープルモードに対応する星形状の装飾画像を用いる。また、加工部413は、演出モードに応じて装飾画像の色を自動的に決めてもよい。たとえば、演出モードがピンクモードである場合には、加工部413は、ピンクの装飾画像を用いる。演出モードがパープルモードである場合には、加工部413は、パープルの装飾画像を用いる。このようにすれば、撮影時の照明の色を、撮影画像に強調して反映させる効果が得られる。
【0077】
装飾画像は、既知の記号と同じ形状であってもよい。既知の記号には意味付けがされているので、装飾画像によってユーザの心情を暗示するなどの遊び方が考えられる。たとえば、ハート記号であれば「好き」とか、星記号であれば「輝いている」とか、音符記号であれば「楽しい」などの意味を込めることができる。
【0078】
上述のように、ユーザは撮影後に、目の中に入れる「キャッチライト画像」(装飾画像)を複数種類から選択することができる。ユーザが「キャッチライト画像」を選択すると、その「キャッチライト画像」が自動でユーザの黒目の位置に合わせて付けられる。黒目と判断された範囲内で、ユーザは「キャッチライト画像」の位置を微調整(変更)することができる。「キャッチライト画像」は、それぞれの形によって、撮影ブースの照明の位置によって入る「自然なキャッチライト」とのバランスが良くなるよう調整されている。後加工の「キャッチライト画像」を工夫することで、元画像の撮影時の照明環境などを後加工のために不利にすることなく、最善の照明環境で入る「本当に目に写りこんだキャッチライト」と「キャッチライト画像」を追加する遊びを、どちらの完成度も高く満足いくように提供することができる。
【0079】
実施形態および変形例は、カラーコンタクトなど目の中に画像を追加して瞳の色を変える機能や「自然に入るキャッチライト」自体を強調する機能とは異なり、ユーザが後加工で「キャッチライト画像」を追加できる機能を提供する。また「自然に入るキャッチライト」とのバランスを考えて、目の中に入る位置を変えることができる点でも遊戯性を高めている。
【0080】
女子高生を中心とする遊戯画像撮影装置100のユーザ層では、自分の目の印象を高めたいという要求が強い。多くのユーザに、目を大きくする加工が好まれていることからも、明らかである。上述したようにキャッチライトを模した装飾を施せば、目の印象を強調することができる。また、装飾画像を選択できるようにしたので、好みの装飾画像を選んで、ユーザの個性を発揮させるという楽しみも生まれる。たとえば、ハート形状のライトや星形状のライトは珍しく、実際にハート形状の反射や星形状の反射を瞳に写りこませることは難しい。しかし、上述のような画像処理であれば、実際には設置が難しいキャッチライトを仮想して、特別感のある画像を生成することが可能となる。
【0081】
上述のように装飾画像の形状によって、貼り付け位置が異なる場合がある。各形状のライトがいろいろな場所に置かれていることを仮想している。上述の例でハート形状のライトや星形状のライトが、実際の照明と同じところにあると想定しているので、元々の反射領域と同じところにハート形状や星形状の反射領域が描かれる。円形のライトが、実際の照明と対角の位置にあると想定しているので、元々の反射領域と反対のところに円形の反射領域が描かれる。円環のライトが、ユーザの真正面にあると想定しているので、黒目と同心で円環の反射領域が描かれる。このように、さまざまの照明環境を想定して、多様な加工画像を得られるようにしている。
【0082】
なお、本発明は上記実施形態や変形例に限定されるものではなく、要旨を逸脱しない範囲で構成要素を変形して具体化することができる。上記実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることにより種々の発明を形成してもよい。また、上記実施形態や変形例に示される全構成要素からいくつかの構成要素を削除してもよい。
【0083】
遊戯画像撮影装置100とサーバ202、ユーザ端末206により、特に、遊戯画像撮影装置100とサーバ202により遊戯画像撮影システム200が構成されるとして説明したが、遊戯画像撮影装置100の機能の一部はサーバ202により実現されてもよいし、サーバ202の機能の一部が遊戯画像撮影装置100に割り当てられてもよい。また、遊戯画像撮影装置100やサーバ202以外の第3の装置が、これらの装置の機能の一部を担ってもよい。1つまたは複数のハードウェアに対して、本発明を実現するために必要な複数の機能をどのように配分するかは、各ハードウェアの処理能力や遊戯画像撮影システム200に求められる仕様等に鑑みて決定されればよい。
【0084】
上述したように、編集画面240においてはスタイラスペン122でも指でも編集入力できる。編集処理部146は、スタイラスペン122と指のいずれによるタッチであるかは、静電容量の計測により判別できる。スタイラスペン122で入力するための装飾選択領域182(編集ツール)と指で入力するための装飾選択領域182(編集ツール)を別々に設けてもよい。また、同一のスタンプ画像をタッチしたときでも、スタイラスペン122でタッチしたときと指でタッチしたときではスタンプ画像の表示態様(色、形状、キャラクタのポーズなど)を異ならせてもよい。
【0085】
上述したように、本実施形態における遊戯画像撮影装置100においては撮影ブース104(撮影空間)と編集ブース106(編集空間)が別々に構成されているが、撮影ブース104および編集ブース106は兼用であってもよい。たとえば、
図2に示す撮影ブース104に撮影装置128だけでなく編集装置126を設置するとしてもよい。ユーザは、撮影装置128により撮影を行ったあと、撮影ブース104において続けて編集装置126による編集作業を行ってもよい。この場合、照明制御部218は演出モードにしたがって撮影ブース104に設置されるライト・グループ210を制御すればよい。
【符号の説明】
【0086】
100 遊戯画像撮影装置、102 受付装置、104 撮影ブース、106 編集ブース、108 受付モニタ、110 印刷装置、112 第1撮影モニタ、114 第2撮影モニタ、116 ライト、118 カメラ、120 編集モニタ、122 スタイラスペン、124 カーテン、126 編集装置、128 撮影装置、130 ユーザインタフェース処理部、132 データ処理部、134 通信部、136 データ格納部、140 入力部、142 出力部、144 撮影処理部、146 編集処理部、148 受付処理部、150 印刷処理部、162a 第1編集領域、162b 第2編集領域、166 画像表示領域、166a 第1画像表示領域、166b 第2画像表示領域、168 タブ、170a ユーザ、170b ユーザ、172a 導電コード、172b 導電コード、174 残余時間表示領域、176 終了ボタン、180 装飾ボタン、182 装飾選択領域、190 再生ボタン、200 遊戯画像撮影システム、202 サーバ、204 インターネット、206 ユーザ端末、210 ライト・グループ、212 ポーズ指示部、214 演出出力部、216 音声出力部、218 照明制御部、220 撮影案内部、230 受信部、232 送信部、240 編集画面、321 ハートボタン、322 ほしボタン、323 まるボタン、324 リングボタン、331 上向き矢印ボタン、332 右向き矢印ボタン、333 下向き矢印ボタン、334 左向き矢印ボタン、341 大きくボタン、342 小さくボタン、351 白ボタン、352 ピンクボタン、353 ブルーボタン、354 イエローボタン、401 受付部、411 検出部、413 加工部