ホーム > 特許ランキング > 日本電信電話株式会社
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-26
(45)【発行日】2024-12-04
(54)【発明の名称】画像重畳システム及び画像重畳方法
(51)【国際特許分類】
H04N 5/262 20060101AFI20241127BHJP
G06T 7/00 20170101ALI20241127BHJP
【ＦＩ】
H04N5/262
G06T7/00 660A
【請求項の数】
4
(21)【出願番号】P 2023531173
(86)(22)【出願日】2021-06-28
(86)【国際出願番号】 JP2021024421
(87)【国際公開番号】W WO2023275959
(87)【国際公開日】2023-01-05
【審査請求日】2023-10-06
(73)【特許権者】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】100164471
【弁理士】
【氏名又は名称】岡野 大和
(74)【代理人】
【識別番号】100176728
【弁理士】
【氏名又は名称】北村 慎吾
(72)【発明者】
【氏名】浦田 昌和
(72)【発明者】
【氏名】佐久間 聡
(72)【発明者】
【氏名】千明 裕
(72)【発明者】
【氏名】松井 龍也
(72)【発明者】
【氏名】鈴木 督史
(72)【発明者】
【氏名】岩本 秀明
【審査官】彦田 克文
(56)【参考文献】
【文献】特開２０２０－１６９６１（ＪＰ，Ａ）
【文献】特開２０２０－１１３０６１（ＪＰ，Ａ）
【文献】特開２０２０－７５０８０（ＪＰ，Ａ）
【文献】特開２０２０－１７１３６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２６２
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する制御装置と、前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成する顔認識装置と、
前記重畳物領域画像に相当する重畳画像を認識する重畳物認識装置と、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出し、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成する合成装置と、
を備える画像重畳システム。
【請求項2】
前記制御装置は、前記顔画像に基づいて、前記重畳物領域を決定し、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成する、請求項１に記載の画像重畳システム。【請求項3】
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、
前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、
前記重畳物領域画像に相当する重畳画像を認識するステップと、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出するステップと、
該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、
を含む画像重畳方法。
【請求項4】
前記顔領域画像に含まれる前記顔画像に基づいて、前記重畳物領域を決定するステップをさらに含み、前記重畳物領域画像情報を生成するステップは、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成するステップを含む、請求項３に記載の画像重畳方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像重畳システム及び画像重畳方法に関する。
【背景技術】
【0002】
従来、カメラが被写体を撮像した画像から物体の像（物体が写った前景）を背景から分離する技術が知られている（特許文献１）。
【0003】
また、カメラが被写体を撮像した画像に他の画像を重畳して表示させるＡＲ（Augmented Reality）重畳の技術が知られており、ＡＲ重畳の技術を用いた変身歌舞伎というサービスが提案されている（非特許文献１及び２）。
【0004】
変身歌舞伎のサービスで用いられる合成装置は、利用者を撮像した画像から顔画像を取得し、隈取のお面を撮像した画像から隈取の種類を認識する。そして、画像合成装置は、利用者を撮像した画像内の顔画像に、準備段階で認識された隈取による化粧を示す隈取画像を重畳して表示させる。このとき、画像合成装置は、画像内における顔画像の位置の変動に隈取画像を追従（トラッキング）させる。
【0005】
また、画像合成装置は、カメラによって撮像されている人物の表情が変化することによって、顔の像が変化すると、該変化に基づいて、重畳させる隈取画像を変形させることもできる。例えば、合成装置は、人物が口を開けると、口に相当する部分が開くように隈取画像を変形する。また、例えば、合成装置は、人物がカメラに対して正面を向いている状態から左を向く状態に変化して、人物の右頬がカメラの方向を向くと、右頬側から観察された状態での隈取画像を重畳する。
【0006】
このようにして、画像合成装置は、サービスの利用者の顔にあたかも隈取による化粧が施されているかのように、該利用者の顔を表示する。このため、利用者は、実際に自身の顔に隈取を施すことなく、容易に、隈取による化粧を体験することができる。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０２０－１７１３６号公報
【非特許文献】
【0008】
【文献】薄井、外３名、「歌舞伎×ICTのコラボレーション」、NTT技術ジャーナル、2018年11月号２６頁、［online］、［令和３年６月１０日検索］、インターネット<URL：https://journal.ntt.co.jp/article/3992>
【文献】“米国ラスベガスで好評を博したインタラクティブ展示「変身歌舞伎」を日本でも公開～東京江戸ウィークで本邦初公開～|ニュースリリース|NTT”、［online］、［令和３年６月１０日検索］、インターネット<URL：https://group.ntt/jp/newsrelease/2016/09/20/160920a.html>
【発明の概要】
【発明が解決しようとする課題】
【0009】
上述した従来技術では、撮像画像において、合成装置が顔画像を認識するために処理を実行する領域と、隈取の種類を認識するために処理を実行する領域と、重畳画像を重畳させるために顔画像を認識する領域とが同じであった。そのため、これらの領域を大きくすると、顔画像及び隈取の種類の認識精度が低下し、これらの領域を小さくすると、利用者が顔の位置を変更したときに顔画像が該領域外に位置し、このため顔画像に重畳画像を重畳することができないという課題があった。
【0010】
かかる事情に鑑みてなされた本開示の目的は、顔画像及び隈取の種類の認識精度を向上させつつ、利用者が顔の位置を変更しても顔画像に重畳画像を重畳させることができる画像重畳システム及び画像重畳方法を提供することにある。
【課題を解決するための手段】
【0011】
上記課題を解決するため、本開示に係る画像重畳システムは、第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する制御装置と、前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成する顔認識装置と、前記重畳物領域画像に相当する重畳画像を認識する重畳物認識装置と、前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出し、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成する合成装置と、を備える。
【0012】
また、上記課題を解決するため、本開示に係る画像重畳方法は、第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、前記重畳物領域画像に相当する重畳画像を認識するステップと、前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を検出するステップと、該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、を含む。
【発明の効果】
【0013】
本開示に係る画像重畳システム及び画像重畳方法によれば、顔画像及び隈取の種類の認識精度を向上させつつ、利用者が顔の位置を変更しても顔画像に重畳画像を重畳させることができる。
【図面の簡単な説明】
【0014】
【図1】第１の実施形態に係る画像重畳システムの概略図である。
【図2A】撮像画像における顔領域を示す図である。
【図2B】撮像画像における重畳物領域を示す図である。
【図5】撮像画像における合成領域を示す図である。
【図7】第２の実施形態に係る画像重畳システムの概略図である。
【図9】制御装置及び合成装置のハードウェアブロック図である。
【発明を実施するための形態】
【0015】
【0016】
図１に示すように、第１の実施形態に係る画像重畳システム１００は、撮像装置１と、顔認識装置２と、重畳物認識装置３と、制御装置４と、合成装置５と、表示装置６とを備える。制御装置４は、撮像装置１、顔認識装置２、重畳物認識装置３、及び合成装置５それぞれと通信ネットワークを介して通信する。合成装置５は、表示装置６と通信ネットワークを介して通信する。
【0017】
＜撮像装置の構成＞
撮像装置１は、光学素子、撮像素子、通信インターフェース等を有するカメラによって構成される。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
撮像装置１は、光学素子、撮像素子、通信インターフェース等を有するカメラによって構成される。通信インターフェースには、例えば、イーサネット（登録商標）、ＦＤＤＩ（Fiber Distributed Data Interface）、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられてもよい。
【0018】
撮像装置１は、準備段階（第１の段階）において、図２Ａに示すような、画像重畳システム１００の利用者を撮像した撮像画像を示す撮像画像情報を生成する。ここでの撮像画像は、静止画像であってよい。このとき、顔画像が、追って詳細に説明する顔領域Ｒ１に含まれるように、実空間において利用者の顔の位置を調整する仕組みが設けられていてもよい。具体的には、撮像装置１は、利用者の顔を含む、該利用者の少なくとも一部を撮像する。利用者の少なくとも一部は、利用者の顔を含む、利用者の上半身であってもよい。また、利用者の少なくとも一部は、利用者の顔を含む、利用者の全身であってもよい。
【0019】
また、撮像装置１は、準備段階において、所定の領域内に配置された重畳物を撮像した撮像画像を示す撮像画像情報を生成する。所定の領域は、例えば、顔と撮像装置との間の領域であってよい。また、ここでの撮像画像は、静止画像であってよい。例えば、撮像装置１は、図２Ｂに示すように、利用者の顔と撮像装置１との間に重畳物が配置された状態で、利用者とともに重畳物を撮像した撮像画像を示す撮像画像情報を生成してもよい。このとき、重畳物の画像が、追って詳細に説明する重畳物領域Ｒ２に含まれるように、実空間において、重畳物の位置を調整するような仕組みが設けられていてもよい。重畳物は、合成装置５が、撮像装置１によって撮像された利用者の顔の像に重畳する画像に対応する、実空間における物体である。図２Ｂに示す例では、重畳物は、歌舞伎で用いられる隈取による化粧を施したお面（マスク）ＭＫである。お面ＭＫは、図２Ｂに示す例に限られず、図３Ａ及び図３Ｂに示すようなお面ＭＫであってもよいし、その他の任意のお面ＭＫであってよい。
【0020】
また、撮像装置１は、準備段階後のサービス提供段階（第２の段階）において、利用者を撮像した撮像画像を示す撮像画像情報を生成する。ここでの撮像画像は、動画像であってよい。サービス提供段階において、撮像装置１が撮像する利用者は、準備段階において撮像装置１によって撮像された利用者である。
【0021】
さらに、撮像装置１は、通信ネットワークを介して、撮像画像情報を制御装置４に送信する。
【0022】
＜顔認識装置の構成＞
図１に示す顔認識装置２は、制御部（コントローラ）、通信インターフェース等を有するコンピュータによって構成される。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
図１に示す顔認識装置２は、制御部（コントローラ）、通信インターフェース等を有するコンピュータによって構成される。制御部は、ＡＳＩＣ(Application Specific Integrated Circuit)、ＦＰＧＡ(Field-Programmable Gate Array)等の専用のハードウェアによって構成されてもよいし、プロセッサによって構成されてもよいし、双方を含んで構成されてもよい。
【0023】
顔認識装置２は、制御装置４から送信された、追って詳細に説明する顔領域画像情報を受信する。そして、顔認識装置２は、顔領域画像情報が示す顔領域画像に含まれる利用者の顔画像を認識し、顔画像を示す顔画像情報を生成する。顔認識装置２が顔画像を認識する手法は、任意の手法であってよい。また、顔認識装置２は、顔画像情報を制御装置４に送信する。
【0024】
＜重畳物認識装置の構成＞
図１に示すように、重畳物認識装置３は、通信部３１と、重畳画像情報記憶部３２と、認識部３３とを備える。通信部３１は、外部と情報を送受信する通信インターフェースによって構成される。重畳画像情報記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。認識部３３は、制御部を構成する。
図１に示すように、重畳物認識装置３は、通信部３１と、重畳画像情報記憶部３２と、認識部３３とを備える。通信部３１は、外部と情報を送受信する通信インターフェースによって構成される。重畳画像情報記憶部３２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、ＲＯＭ（Read-Only Memory）およびＲＡＭ（Random Access Memory）等のメモリによって構成される。認識部３３は、制御部を構成する。
【0025】
通信部３１は、制御装置４から送信された、追って詳細に説明する重畳物領域画像情報を受信する。また、通信部１３は、追って詳細に説明する重畳画像ＩＤ（Identification）（重畳画像識別子）を制御装置４に送信する。
【0026】
重畳画像情報記憶部３２は、重畳画像と、重畳画像ＩＤとを対応付けて記憶している。重畳画像は、サービス提供段階において、撮像装置１が利用者を撮像した撮像画像に重畳させる画像である。重畳画像ＩＤは、該重畳画像を識別するための識別子である。上述したように、重畳物が歌舞伎で用いられる隈取による化粧を施したお面ＭＫである例において、重畳画像は、隈取による化粧を施したお面ＭＫにおける化粧部分の画像である。
【0027】
認識部３３は、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識する。このとき、認識部３３は、重畳画像情報記憶部３２に記憶されている重畳画像のなかから、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識してもよい。そして、認識部３３は、認識された重畳画像に対応して、重畳画像情報記憶部３２に記憶されている重畳画像ＩＤを抽出する。また、認識部３３は、重畳画像ＩＤを制御装置４に送信するよう通信部３１を制御する。
【0028】
＜制御装置の構成＞
制御装置４は、通信部４１と、領域情報記憶部４２と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５とを備える。通信部４１は、通信インターフェースによって構成される。領域情報記憶部４２及び重畳画像情報記憶部４３は、メモリによって構成される。トリミング部４４及びシナリオ制御部４５は、制御部を構成する。
制御装置４は、通信部４１と、領域情報記憶部４２と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５とを備える。通信部４１は、通信インターフェースによって構成される。領域情報記憶部４２及び重畳画像情報記憶部４３は、メモリによって構成される。トリミング部４４及びシナリオ制御部４５は、制御部を構成する。
【0029】
通信部４１は、撮像装置１から、撮像画像情報を受信する。また、通信部４１は、顔認識装置２から、顔画像情報を受信する。また、通信部４１は、重畳物認識装置３から、重畳画像ＩＤを受信する。また、通信部４１は、シナリオ制御部４５の制御に基づいて、合成装置５に情報を送信する。
【0030】
領域情報記憶部４２には、図４に示すように、撮像画像内の領域を識別するための領域ＩＤ（領域識別子）と、領域の範囲を示す情報とが、対応付けて記憶されている。領域には、顔領域Ｒ１、重畳物領域Ｒ２、及び合成領域Ｒ３が含まれ、各領域は予め定められた領域である。顔領域Ｒ１は、図２Ａに示すように、準備段階において利用者が撮像された撮像画像内の領域であって、利用者の顔画像が含まれていると見込まれる領域である。重畳物領域Ｒ２は、図２Ｂに示すように、準備段階において重畳物が撮像された撮像画像内の領域であって、重畳物の画像が含まれていると見込まれる領域である。合成領域Ｒ３は、図５に示すように、サービス提供段階において利用者が撮像された撮像画像内の領域であって、利用者が顔の位置を変更しても、顔画像が含まれると見込まれる領域である。合成領域Ｒ３は、顔領域Ｒ１及び重畳物領域Ｒ２より大きい。合成領域Ｒ３は、例えば、利用者の全身を示す全身画像を含む領域とすることができる。
【0031】
図４に示す例では、領域の範囲を示す情報は、始点座標、並びにＸサイズ及びＹサイズである。具体的には、顔領域Ｒ１は、領域ＩＤ「１」によって識別され、始点座標(Ｘ１,Ｙ１)から、Ｘ軸方向に長さＬＸ１を有し、Ｙ軸方向に長さＬＹ１を有する矩形によって囲まれる領域である。また、重畳物領域Ｒ２は、領域ＩＤ「２」によって識別され、始点座標(Ｘ２,Ｙ２)から、Ｘ軸方向に長さＬＸ２を有し、Ｙ軸方向に長さＬＹ２を有する矩形によって囲まれる領域である。重畳領域は、領域ＩＤ「３」によって識別され、始点座標(Ｘ３,Ｙ３)から、Ｘ軸方向に長さＬＸ３を有し、Ｙ軸方向に長さＬＹ３を有する矩形によって囲まれる領域である。
【0032】
重畳画像情報記憶部４３は、重畳物認識装置３の重畳画像情報記憶部３２と同様に、重畳画像と、重畳画像ＩＤとを対応付けて記憶している。
【0033】
トリミング部４４は、準備段階において撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成する。具体的には、トリミング部４４は、領域情報記憶部４２から、撮像画像内における顔領域Ｒ１を示す顔領域情報を取得してもよい。図４に示す例では、トリミング部４４は、領域情報記憶部４２に記憶されている領域ＩＤ「１」に対応する始点座標、並びにＸサイズ及びＹサイズによって示される顔領域情報を取得する。そして、トリミング部４４は、撮像画像における、顔領域情報で示される顔領域Ｒ１を抽出し、顔領域Ｒ１の画像を示す顔領域画像情報を生成する。
【0034】
また、トリミング部４４は、準備段階において撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。具体的には、トリミング部４４は、領域情報記憶部４２から、撮像画像内における重畳物領域Ｒ２を示す重畳物領域情報を取得してもよい。図４に示す例では、トリミング部４４は、領域情報記憶部４２に記憶されている領域ＩＤ「２」に対応する始点座標、並びにＸサイズ及びＹサイズによって示される重畳物領域情報を取得する。そして、トリミング部４４は、撮像画像における、重畳物領域情報で示される重畳物領域Ｒ２を抽出し、該重畳物領域の画像を示す重畳物領域画像情報を生成する。
【0035】
トリミング部４４は、顔領域画像情報を顔認識装置２に送信するよう通信部４１を制御する。また、トリミング部４４は、重畳物領域画像情報を重畳物認識装置３に送信するよう通信部４１を制御する。
【0036】
シナリオ制御部４５は、重畳物認識装置３によって認識された重畳画像ＩＤに対応して、重畳画像情報記憶部４３に記憶されている重畳画像情報を抽出する。また、シナリオ制御部４５は、領域情報記憶部４２に記憶されている領域ＩＤ「３」に対応する、合成領域Ｒ３を示す合成領域情報を抽出する。図５に示す例では、合成領域情報は、始点座標(Ｘ３,Ｙ３)、並びにＸサイズ「ＬＸ３」及びＹサイズ「ＬＹ３」である。
【0037】
そして、シナリオ制御部４５は、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信するよう通信部４１を制御する。
【0038】
＜合成装置の構成＞
図１に示すように、合成装置５は、通信部５１と、顔画像検出部５２と、重畳部５３とを備える。通信部５１は、通信インターフェースによって構成される。顔画像検出部５２及び重畳部５３は、制御部を構成する。
図１に示すように、合成装置５は、通信部５１と、顔画像検出部５２と、重畳部５３とを備える。通信部５１は、通信インターフェースによって構成される。顔画像検出部５２及び重畳部５３は、制御部を構成する。
【0039】
通信部５１は、制御装置４から、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを受信する。また、通信部５１は、追って詳細に説明する合成画像情報を表示装置６に送信する。
【0040】
顔画像検出部５２は、サービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１及び重畳物領域Ｒ２より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を検出する。
【0041】
重畳部５３は、顔画像に、重畳画像を重畳した合成画像を示す合成画像情報を生成する。具体的には、重畳部５３は、撮像画像情報が示す撮像画像における、顔画像検出部５２によって検出された顔画像に、重畳画像情報が示す重畳画像を重畳する。そして、重畳部５３は、顔画像に重畳画像を重畳した合成画像を示す合成画像情報を生成する。
【0042】
また、重畳部５３は、合成領域画像から検出された顔画像から特徴パラメータを抽出してもよい。特徴パラメータは顔画像の特徴を示すパラメータであって、例えば、顔が向いている方向、顔の表情等を示すパラメータである。このような構成において、重畳部５３は、特徴パラメータに応じて、重畳画像を重畳した合成画像を示す合成画像情報を生成してもよい。例えば、重畳部５３は、特徴パラメータが、顔の左側が撮像装置１の撮像面に対向していることを示す場合、顔の左側に対応する重畳画像を重畳させてもよい。さらに、撮像画像が動画像である構成において、重畳部５３は、動画像を構成する複数の静止画像それぞれにおける顔画像の特徴パラメータの変化に応じて、顔画像に重畳させる重畳画像が変化させてもよい。
【0043】
また、重畳部５３は、合成画像情報を表示装置６に送信するよう通信部５１を制御する。
【0044】
＜表示装置の構成＞
表示装置６は、表示インターフェース、通信インターフェース等を有する装置によって構成される。表示インターフェースは、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成されてよい。
表示装置６は、表示インターフェース、通信インターフェース等を有する装置によって構成される。表示インターフェースは、有機ＥＬ（Electro Luminescence）、液晶パネル等によって構成されてよい。
【0045】
表示装置６は、合成装置５から送信された合成画像情報を受信する。そして、表示装置６は、合成画像情報が示す合成画像を表示する。
【0046】
＜画像重畳システムの動作＞
ここで、第１の実施形態に係る画像重畳システム１００の動作について、図６Ａ及び図６Ｂを参照して説明する。図６Ａ及び図６Ｂは、本実施形態に係る画像重畳システム１００の動作の一例を示すシーケンス図である。図６Ａ及び図６Ｂを参照して説明する画像重畳システム１００における動作は第１の実施形態に係る画像重畳システム１００の画像重畳方法の一例に相当する。
ここで、第１の実施形態に係る画像重畳システム１００の動作について、図６Ａ及び図６Ｂを参照して説明する。図６Ａ及び図６Ｂは、本実施形態に係る画像重畳システム１００の動作の一例を示すシーケンス図である。図６Ａ及び図６Ｂを参照して説明する画像重畳システム１００における動作は第１の実施形態に係る画像重畳システム１００の画像重畳方法の一例に相当する。
【0047】
図６Ａに示すように、まず、画像重畳システム１００は、準備段階であるステップＳ１１～Ｓ１９において、準備処理を実行する。
【0048】
ステップＳ１１において、撮像装置１が、利用者を撮像した撮像画像を示す撮像画像情報を生成する。
【0049】
ステップＳ１２において、撮像装置１が、撮像画像情報を制御装置４に送信する。
【0050】
ステップＳ１３において、制御装置４のトリミング部４４は、領域情報記憶部４２から、撮像画像内における顔領域Ｒ１を示す顔領域情報を取得する。
【0051】
ステップＳ１４において、制御装置４のトリミング部４４が、ステップＳ１２で送信された撮像画像情報を用いて、撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成する。
【0052】
ステップＳ１５において、制御装置４のトリミング部４４が、顔領域画像情報を顔認識装置２に送信するよう通信部４１を制御する。これにより、通信部４１が、顔領域画像情報を顔認識装置２に送信する。
【0053】
ステップＳ１６において、顔認識装置２が、顔領域画像情報が示す画像に含まれる顔画像を認識し、該顔画像を示す顔画像情報を生成する。
【0054】
ステップＳ１７において、顔認識装置２が、顔画像情報を制御装置４に送信する。
【0055】
ステップＳ１８において、撮像装置１が、重畳物を撮像した撮像画像を示す撮像画像情報を生成する。このとき、撮像装置１が、利用者の顔と撮像装置１との間に重畳物が配置された状態で、利用者とともに重畳物を撮像した撮像画像を示す撮像画像情報を生成してもよい。
【0056】
ステップＳ１９において、撮像装置１が、撮像画像情報を制御装置４に送信する。
【0057】
ステップＳ２０において、制御装置４のトリミング部４４が、領域情報記憶部４２から、撮像画像内における重畳物領域Ｒ２を示す重畳物領域情報を取得する。
【0058】
ステップＳ２１において、制御装置４のトリミング部４４が、ステップ１９において送信された撮像画像情報を用いて、撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。
【0059】
ステップＳ２２において、制御装置４のトリミング部４４が、重畳物領域画像情報を重畳物認識装置３に送信するよう通信部４１を制御する。これにより、通信部４１が、重畳物領域画像情報を重畳物認識装置３に送信する。
【0060】
ステップＳ２３において、重畳物認識装置３の認識部３３が、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識する。認識部３３が、重畳画像情報記憶部３２に記憶されている重畳画像のなかから、重畳物領域画像情報が示す重畳物領域画像に相当する重畳画像を認識してもよい。
【0061】
ステップＳ２４において、重畳物認識装置３の認識部３３が、認識された重畳画像に対応して、重畳画像情報記憶部３２に記憶されている重畳画像ＩＤを抽出する。
【0062】
ステップＳ２５において、重畳物認識装置３の認識部３３が、重畳画像ＩＤを制御装置４に送信するよう通信部３１を制御する。これにより、通信部３１は、畳画像ＩＤを制御装置４に送信する。
【0063】
上記のようなステップＳ１１～Ｓ２５までの準備段階の後に、画像重畳システム１００は、サービス提供段階であるステップＳ２６～Ｓ３１において、サービス提供処理を実行する。
【0064】
ステップＳ２６において、撮像装置１が、利用者を撮像した撮像画像を示す撮像画像情報を生成する。
【0065】
ステップＳ２７において、撮像装置１が、撮像画像情報を制御装置４に送信する。
【0066】
図６Ｂに示すように、ステップＳ２８において、制御装置４のシナリオ制御部４５が、重畳物認識装置３によって認識された重畳画像ＩＤに対応して、重畳画像情報記憶部４３に記憶されている重畳画像情報を抽出する。
【0067】
ステップＳ２９において、制御装置４のシナリオ制御部４５が、領域情報記憶部４２から、撮像画像内における合成領域Ｒ３を示す合成領域情報を取得する。
【0068】
ステップＳ３０において、制御装置４のシナリオ制御部４５が、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信するよう通信部４１を制御する。これにより、通信部４１は、顔画像情報と、重畳画像情報と、合成領域情報と、サービス提供段階において撮像装置１によって生成された撮像画像情報とを合成装置５に送信する。
【0069】
ステップＳ３１において、合成装置５の顔画像検出部５２が、撮像画像情報を用いて、サービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を検出する。
【0070】
ステップＳ３２において、合成装置５の重畳部５３が、顔画像に、重畳画像を重畳した画像を示す合成画像情報を生成する。
【0071】
ステップＳ３３において、合成装置５の重畳部５３が、合成画像情報を表示装置６に送信するよう通信部５１を制御する。これにより、通信部５１が、合成画像情報を表示装置６に送信する。
【0072】
ステップＳ３４において、表示装置６が、合成画像情報が示す合成画像を表示する。
【0073】
上述したように、第１の実施形態によれば、画像重畳システム１００は、準備段階において、撮像装置１が利用者を撮像した撮像画像における顔領域Ｒ１をトリミングした顔領域画像を示す顔領域画像情報を生成し、準備段階において、撮像装置１が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。そして、画像重畳システム１００は、顔領域画像に含まれる利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成し、重畳物領域画像に相当する重畳画像を認識し、重畳画像を識別するための重畳画像ＩＤを抽出する。さらに、画像重畳システム１００は、準備段階の後のサービス提供段階において撮像装置１が利用者を撮像した撮像画像における、顔領域Ｒ１及び重畳物領域Ｒ２より大きい合成領域Ｒ３の画像である合成領域画像から、顔画像情報に基づいて、利用者の顔画像を認識し、該顔画像に、重畳画像ＩＤによって識別される重畳画像を重畳した合成画像を示す合成画像情報を生成する。このため、画像重畳システム１００は、顔画像及び隈取の種類の認識精度を向上させつつ、撮像画像内の広い範囲で利用者の顔画像をトラッキングして重畳画像を重畳させることができる。特に、重畳物が歌舞伎における隈取による化粧である場合、図２Ｂ、図３Ａ、及び図３Ｂに一部の例を示したほかに、隈取の種類の数は多く、その差異が微細であるため、認識精度を向上させることは有用である。
【0074】
なお、上述した第１の実施形態において、画像重畳システム１００は、撮像装置１を備えるが、この限りではない。例えば、画像重畳システム１００は、撮像装置１を備えず、外部の撮像装置から撮像画像を取得してもよい。
【0075】
また、上述した第１の実施形態において、制御装置４の通信部４１が重畳画像情報を合成装置５に送信するが、この限りではない。例えば、通信部４１は、重畳画像ＩＤを合成装置５に送信し、合成装置５が重畳画像ＩＤに対応した重畳画像を該合成装置５が有する記憶部から抽出してもよい。
【0076】
また、上述した第１の実施形態において、画像重畳システム１００は、表示装置６を備えるが、この限りではない。例えば、画像重畳システム１００は、表示装置６を備えず、外部の表示装置に撮像画像を送信してもよいし、外部の他の装置に撮像画像を送信してもよい。
【0077】
また、上述した第１の実施形態において、合成装置５の重畳部５３が顔画像から特徴パラメータを抽出するが、この限りではない。例えば、顔認識装置２の認識部３３が顔画像を認識するとともに、該顔画像から特徴パラメータを抽出してもよい。このような構成において、特徴パラメータは、合成装置５に送信される。
【0078】
また、上述した第１の実施形態において、画像重畳システム１００が備えるいずれか２つ以上の装置が一体として構成されてもよい。このような構成において、一体として構成された２つ以上の装置に含まれる機能部間での情報の授受は、通信部を介さずに実行されてもよい。
【0079】
＜＜第２の実施形態＞＞
図７を参照して第２の実施形態の全体構成について説明する。図７は、第２の実施形態に係る画像重畳システム１０１の概略図である。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付し、説明を省略する。
図７を参照して第２の実施形態の全体構成について説明する。図７は、第２の実施形態に係る画像重畳システム１０１の概略図である。第２の実施形態において、第１の実施形態と同一の機能部については同じ符号を付し、説明を省略する。
【0080】
図７に示すように、第２の実施形態に係る画像重畳システム１０１は、撮像装置１と、顔認識装置２と、重畳物認識装置３と、制御装置４－１と、合成装置５と、表示装置６とを備える。制御装置４－１は、撮像装置１、顔認識装置２、重畳物認識装置３、及び合成装置５それぞれと通信ネットワークを介して通信する。
【0081】
＜制御装置の構成＞
制御装置４－１は、通信部４１と、領域情報記憶部４２－１と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５と、領域決定部４６とを備える。領域情報記憶部４２－１は、メモリによって構成される。領域決定部４６は、制御部を構成する。
制御装置４－１は、通信部４１と、領域情報記憶部４２－１と、重畳画像情報記憶部４３と、トリミング部４４と、シナリオ制御部４５と、領域決定部４６とを備える。領域情報記憶部４２－１は、メモリによって構成される。領域決定部４６は、制御部を構成する。
【0082】
領域決定部４６は、顔認識装置２によって認識された顔画像の、撮像画像内における位置に基づいて、撮像画像における重畳物領域Ｒ２を決定する。例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の中心から第１所定長さ以内となる領域を重畳物領域Ｒ２と決定してもよい。例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の領域に、該顔画像の周辺から第２所定長さ以内となる領域を加えた領域を重畳物領域Ｒ２と決定してもよい。また、例えば、領域決定部４６は、顔認識装置２によって認識された顔画像の中心を重心とする所定の大きさの矩形内の領域を重畳物領域Ｒ２と決定してもよい。
【0083】
領域情報記憶部４２－１には、第１の実施形態の領域情報記憶部４２と同様に、撮像画像内の領域を識別するための領域ＩＤと、領域の範囲を示す情報とが対応付けて記憶されている。第１の実施形態と同様に、領域には、顔領域Ｒ１と、重畳物領域Ｒ２と、合成領域Ｒ３とが含まれる。第２の実施形態における顔領域Ｒ１及び合成領域Ｒ３は、それぞれ第１の実施形態における顔領域Ｒ１及び合成領域Ｒ３と同様に予め定められた領域である。第２の実施形態における重畳物領域Ｒ２は、第１の実施形態における重畳物領域Ｒ２とは異なり、予め定められた領域ではなく、領域決定部４６によって決定された重畳物領域Ｒ２である。なお、決定された重畳物領域Ｒ２は、第１の実施形態と同様に、開始座標、並びにＸサイズ及びＹサイズによって示されてもよい。
【0084】
第２の実施形態において、トリミング部４４は、第１の実施形態で説明したように、準備段階において撮像装置が重畳物を撮像した撮像画像における重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。第２の実施形態においては、領域決定部４６及び領域情報記憶部４２が上述したように構成されていることにより、トリミング部４４は、撮像画像における、領域決定部４６によって決定された重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成することになる。
【0085】
＜画像重畳システムの動作＞
ここで、第２の実施形態に係る画像重畳システム１０１の動作について、図８Ａ及び図８Ｂを参照して説明する。図８Ａ及び図８Ｂは、本実施形態に係る画像重畳システム１０１の動作の一例を示すフローチャートである。図８Ａ及び図８Ｂを参照して説明する画像重畳システム１０１における動作は第２の実施形態に係る画像重畳システム１０１の画像重畳方法の一例に相当する。
ここで、第２の実施形態に係る画像重畳システム１０１の動作について、図８Ａ及び図８Ｂを参照して説明する。図８Ａ及び図８Ｂは、本実施形態に係る画像重畳システム１０１の動作の一例を示すフローチャートである。図８Ａ及び図８Ｂを参照して説明する画像重畳システム１０１における動作は第２の実施形態に係る画像重畳システム１０１の画像重畳方法の一例に相当する。
【0086】
図８Ａに示すように、画像重畳システム１０１は、ステップＳ４１からステップＳ４７までの処理を実行する。ステップＳ４１からステップＳ４７までの処理は、第１の実施形態におけるステップＳ１１からステップＳ１７までの処理と同じである。
【0087】
ステップＳ４８において、領域決定部４６は、顔画像に基づいて重畳物領域Ｒ２を決定する。
【0088】
ステップＳ４９において、領域情報記憶部４２－１は、ステップＳ４８で決定された重畳物領域Ｒ２を記憶する。具体的には、領域情報記憶部４２－１は、重畳物領域Ｒ２を識別するための重畳物ＩＤに対応付けて、ステップＳ４８で決定された、重畳物領域Ｒ２を示す、開始座標、並びにＸサイズ及びＹサイズを記憶する。
【0089】
続いて、図８Ａ及び図８Ｂに示すように、画像重畳システム１０１は、ステップＳ５０からステップＳ６６までの処理を実行する。ステップＳ５０からステップＳ６６までの処理は、第１の実施形態におけるステップＳ１８からステップＳ３４までの処理と同じである。なお、これにより、ステップＳ５２では、トリミング部４４は、撮像画像における、領域決定部４６によって決定された重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成することになる。
【0090】
上述したように、第２の実施形態によれば、画像重畳システム１０１は、顔領域画像に含まれる顔画像に基づいて、重畳物領域Ｒ２を決定し、撮像画像における該重畳物領域Ｒ２をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成する。このため、画像重畳システム１０１は、撮像画像における重畳物の像が位置している可能性の高い領域を重畳物領域Ｒ２と決定することができる。したがって、画像重畳システム１０１は、重畳画像を適切に認識することができ、これに伴い、顔画像に適切な重畳画像を重畳させることができる。例えば、利用者が、大人、子供、車椅子の利用者等である場合は顔領域Ｒ１を広く設定せざるを得ないが、画像重畳システム１０１は、顔画像の認識結果を利用して重畳物領域Ｒ２の位置及びサイズを限定できるため、重畳画像を適切に認識し、顔画像に重畳画像を適切に重畳することができる。
【0091】
＜プログラム＞
上述した制御装置４、４－１、及び合成装置５はコンピュータ１０２によって実現することができる。また、制御装置４、４－１、及び合成装置５として機能させるためのプログラムが提供されてもよい。また、該プログラムは、格納媒体に格納されてもよいし、ネットワークを通して提供されてもよい。図９は、制御装置４、４－１、及び合成装置５としてそれぞれ機能するコンピュータ１０２の概略構成を示すブロック図である。ここで、コンピュータ１０２は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
上述した制御装置４、４－１、及び合成装置５はコンピュータ１０２によって実現することができる。また、制御装置４、４－１、及び合成装置５として機能させるためのプログラムが提供されてもよい。また、該プログラムは、格納媒体に格納されてもよいし、ネットワークを通して提供されてもよい。図９は、制御装置４、４－１、及び合成装置５としてそれぞれ機能するコンピュータ１０２の概略構成を示すブロック図である。ここで、コンピュータ１０２は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プログラム命令は、必要なタスクを実行するためのプログラムコード、コードセグメントなどであってもよい。
【0092】
図９に示すように、コンピュータ１０２は、プロセッサ１１０と、ＲＯＭ（Read Only Memory）１２０と、ＲＡＭ（Random Access Memory）１３０と、ストレージ１４０と、入力部１５０と、表示部１６０と、通信インターフェース（Ｉ／Ｆ）１７０とを備える。各構成は、バス１８０を介して相互に通信可能に接続されている。プロセッサ１１０は、具体的にはＣＰＵ(Central Processing Unit)、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＳｏＣ（System on a Chip）などであり、同種又は異種の複数のプロセッサにより構成されてもよい。
【0093】
プロセッサ１１０は、各構成の制御、及び各種の演算処理を実行する。すなわち、プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０からプログラムを読み出し、ＲＡＭ１３０を作業領域としてプログラムを実行する。プロセッサ１１０は、ＲＯＭ１２０又はストレージ１４０に格納されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２０又はストレージ１４０に、本開示に係るプログラムが格納されている。
【0094】
プログラムは、コンピュータ１０２が読み取り可能な格納媒体に格納されていてもよい。このような格納媒体を用いれば、プログラムをコンピュータ１０２にインストールすることが可能である。ここで、プログラムが格納された格納媒体は、非一時的（non-transitory）格納媒体であってもよい。非一時的格納媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢ（Universal Serial Bus）メモリなどであってもよい。また、このプログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【0095】
ＲＯＭ１２０は、各種プログラム及び各種データを格納する。ＲＡＭ１３０は、作業領域として一時的にプログラム又はデータを格納する。ストレージ１４０は、ＨＤＤ（Hard Disk Drive）又はＳＳＤ（Solid State Drive）により構成され、オペレーティングシステムを含む各種プログラム及び各種データを格納する。
【0096】
入力部１５０は、ユーザの入力操作を受け付けて、ユーザの操作に基づく情報を取得する１つ以上の入力インターフェースを含む。例えば、入力部１５０は、ポインティングデバイス、キーボード、マウスなどであるが、これらに限定されない。
【0097】
表示部１６０は、情報を出力する１つ以上の出力インターフェースを含む。例えば、表示部１６０は、情報を映像で出力するディスプレイ、又は情報を音声で出力するスピーカであるが、これらに限定されない。なお、表示部１６０は、タッチパネル方式のディスプレイである場合には、入力部１５０としても機能する。
【0098】
通信インターフェース（Ｉ／Ｆ）１７０は、外部の装置と通信するためのインターフェースである。
【0099】
以上の実施形態に関し、更に以下の付記を開示する。
【0100】
（付記項１）
制御部を備え、
前記制御部は、
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成し、
前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成し、
前記重畳物領域画像に相当する重畳画像を認識し、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識し、該顔画像に、前記重畳画像識別子によって識別される前記重畳画像を重畳した合成画像を示す合成画像情報を生成する画像重畳システム。
（付記項２）
前記制御部は、前記顔画像に基づいて、前記重畳物領域を決定し、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成する、付記項１に記載の画像重畳システム。
（付記項３）
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、
前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、
前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、
前記重畳物領域画像に相当する重畳画像を認識し、前記重畳画像を識別するための重畳画像識別子を抽出するステップと、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識するステップと、
該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、
を含む画像重畳方法。
（付記項４）
前記顔領域画像に含まれる前記顔画像に基づいて、前記重畳物領域を決定するステップをさらに含み、
前記重畳物領域画像情報を生成するステップは、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成するステップを含む、付記項３に記載の画像重畳方法。
制御部を備え、
前記制御部は、
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成し、前記第１の段階において前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成し、
前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成し、
前記重畳物領域画像に相当する重畳画像を認識し、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識し、該顔画像に、前記重畳画像識別子によって識別される前記重畳画像を重畳した合成画像を示す合成画像情報を生成する画像重畳システム。
（付記項２）
前記制御部は、前記顔画像に基づいて、前記重畳物領域を決定し、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成する、付記項１に記載の画像重畳システム。
（付記項３）
第１の段階において撮像装置が利用者を撮像した撮像画像における顔領域をトリミングした顔領域画像を示す顔領域画像情報を生成するステップと、
前記第１の段階において、前記撮像装置が重畳物を撮像した撮像画像における重畳物領域をトリミングした重畳物領域画像を示す重畳物領域画像情報を生成するステップと、
前記顔領域画像に含まれる、前記利用者の顔画像を認識し、該顔画像を示す顔画像情報を生成するステップと、
前記重畳物領域画像に相当する重畳画像を認識し、前記重畳画像を識別するための重畳画像識別子を抽出するステップと、
前記第１の段階の後の第２の段階において前記撮像装置が前記利用者を撮像した撮像画像における、前記顔領域及び前記重畳物領域より大きい合成領域の画像である合成領域画像から、前記顔画像情報に基づいて、前記利用者の顔画像を認識するステップと、
該顔画像に、前記重畳画像を重畳した合成画像を示す合成画像情報を生成するステップと、
を含む画像重畳方法。
（付記項４）
前記顔領域画像に含まれる前記顔画像に基づいて、前記重畳物領域を決定するステップをさらに含み、
前記重畳物領域画像情報を生成するステップは、前記撮像画像における該重畳物領域をトリミングした前記重畳物領域画像を示す前記重畳物領域画像情報を生成するステップを含む、付記項３に記載の画像重畳方法。
【0101】
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記載された場合と同程度に、本明細書中に参照により取り込まれる。
【0102】
上述の実施形態は代表的な例として説明したが、本開示の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。
【符号の説明】
【0103】
１ 撮像装置
２ 顔認識装置
３ 重畳物認識装置
４、４－１ 制御装置
５ 合成装置
６ 表示装置
３１ 通信部
３２ 重畳画像情報記憶部
３３ 認識部
４１ 通信部
４２、４２－１ 領域情報記憶部
４３ 重畳画像情報記憶部
４４ トリミング部
４５ シナリオ制御部
４６ 領域決定部
５１ 通信部
５２ 顔画像検出部
５３ 重畳部
１００、１０１ 画像重畳システム
１０２ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
２ 顔認識装置
３ 重畳物認識装置
４、４－１ 制御装置
５ 合成装置
６ 表示装置
３１ 通信部
３２ 重畳画像情報記憶部
３３ 認識部
４１ 通信部
４２、４２－１ 領域情報記憶部
４３ 重畳画像情報記憶部
４４ トリミング部
４５ シナリオ制御部
４６ 領域決定部
５１ 通信部
５２ 顔画像検出部
５３ 重畳部
１００、１０１ 画像重畳システム
１０２ コンピュータ
１１０ プロセッサ
１２０ ＲＯＭ
１３０ ＲＡＭ
１４０ ストレージ
１５０ 入力部
１６０ 出力部
１７０ 通信インターフェース
１８０ バス
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8A】
【図8B】
【図9】