特許 5750961 遊戯用撮影装置、遊戯用撮影方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5750961

(24)【登録日】2015年5月29日

(45)【発行日】2015年7月22日

(54)【発明の名称】遊戯用撮影装置、遊戯用撮影方法、およびプログラム

(51)【国際特許分類】

   H04N 5/222 20060101AFI20150702BHJP

   G03B 17/53 20060101ALI20150702BHJP

   H04N 5/232 20060101ALI20150702BHJP

   H04N 5/272 20060101ALI20150702BHJP

【ＦＩ】

   H04N5/222 Z

   G03B17/53

   H04N5/232 Z

   H04N5/272

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2011-62079(P2011-62079)

(22)【出願日】2011年3月22日

(65)【公開番号】特開2012-199743(P2012-199743A)

(43)【公開日】2012年10月18日

【審査請求日】2014年3月17日

(73)【特許権者】

【識別番号】597047392

【氏名又は名称】辰巳電子工業株式会社

(74)【代理人】

【識別番号】100104695

【弁理士】

【氏名又は名称】島田 明宏

(74)【代理人】

【識別番号】100121348

【弁理士】

【氏名又は名称】川原 健児

(72)【発明者】

【氏名】辰巳 聡

(72)【発明者】

【氏名】中西 竜介

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００４−１４７１７４（ＪＰ，Ａ）

【文献】 特開２００５−１５９８５０（ＪＰ，Ａ）

【文献】 特開２００７−１２９４７１（ＪＰ，Ａ）

【文献】 特開２００９−１９４６４４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２

Ｇ０３Ｂ １７／５３

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２７２

(57)【特許請求の範囲】

【請求項1】

利用者の撮影を行う撮影手段と、
前記撮影手段によって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定手段と、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集手段とを備え、
前記編集手段は、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成する
遊戯用撮影装置。

【請求項2】

前記編集手段は、前記撮影画像における予め定められた位置に合成されるべき複数の装飾要素画像のうち、前記顔領域の範囲と重複する装飾要素画像を合成しないか、または前記顔領域の範囲および前記撮影画像に含まれる利用者の像の範囲のうちの少なくとも一方の範囲に対して背景となるように合成することを特徴とする、請求項１に記載の遊戯用撮影装置。

【請求項3】

前記編集手段は、変更後の合成位置の候補であって予め優先順位を付された複数の候補合成位置に前記特定要素画像をそれぞれ合成しようとする場合における、前記特定領域の範囲と前記顔領域の範囲とが重複する範囲を所定値以下に減少させまたは消失させることができる候補合成位置のうち、最も高い優先順位を付された候補合成位置に、前記特定要素画像を合成することを特徴とする、請求項１または請求項２に記載の遊戯用撮影装置。

【請求項4】

前記編集手段は、前記第１合成位置を起点として、当該起点から離れるように所定の計算式に基づき算出される変更後の合成位置の候補である候補合成位置に前記特定要素画像を合成しようとする場合、前記特定領域の範囲と前記顔領域の範囲とが重複する範囲を所定値以下に減少させまたは消失させることができる候補合成位置のうち、前記起点に最も近い候補合成位置に、前記特定要素画像を合成することを特徴とする、請求項１または請求項２に記載の遊戯用撮影装置。

【請求項5】

前記特定要素画像は、前記特定領域が前記撮影画像の上下方向に伸びる中心線に掛かりかつ前記上下方向とは異なる方向に配列される一連の文字、記号、または模様を示す複数の画像を含むことを特徴とする、請求項１から請求項４までのいずれか１項に記載の遊戯用撮影装置。

【請求項6】

前記編集手段は、前記特定要素画像を、前記第１合成位置から下方向に定める位置に合成することを特徴とする、請求項１から請求項５までのいずれか１項に記載の遊戯用撮影装置。

【請求項7】

表示手段をさらに備え、
前記表示手段は、前記第１合成位置に前記特定要素画像を配置した付加画像を縮小表示する画面である操作画面と、前記利用者により選択された付加画像を前記撮影画像に対して合成する前記編集手段により合成された合成画像を表示する画面である編集画面とを同時に表示することを特徴とする、請求項１から請求項６までのいずれか１項に記載の遊戯用撮影装置。

【請求項8】

利用者の撮影を行う撮影ステップと、
前記撮影ステップによって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定ステップと、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集ステップとを備え、
前記編集ステップでは、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成する
遊戯用撮影方法。

【請求項9】

コンピュータに、
利用者の撮影を行う撮影ステップと、
前記撮影ステップによって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定ステップと、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集ステップとを実行させるプログラムであって、
前記編集ステップでは、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遊戯用撮影装置、遊戯用撮影方法、およびプログラムに関し、さらに詳しくは、利用者をカメラで撮影し、その撮影画像に基づき生成される合成画像を写真等として出力する遊戯用撮影装置、遊戯用撮影方法、およびプログラムに関する。

【背景技術】

【0002】

従来、利用者をカメラで撮影し、その撮影画像を写真シールや写真カード等として出力する遊戯用写真作成装置が知られている。このような遊戯用写真作成装置は、遊戯性または娯楽性が高いことから、撮影画像と合成すべき画像を、利用者の嗜好に応じて、予め用意された多種多様な背景画像および前景画像（特にフレーム画像）から選択したり、タッチペンを用いて利用者が自由に描いたりできるように構成されているものが多い。利用者によるこのような操作は、撮影画像に対してなされるため、「落書き」と呼ばれる。

【0003】

また、このような遊戯用写真作成装置は、複数の利用者によって使用されることが多いので、複数の利用者のそれぞれが操作する操作画面が提供できるように構成されていることが多い（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００７−６７５６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

このように複数の利用者によって使用されることが多い遊戯用写真作成装置では、複数の利用者の顔が撮影画像に含まれることが多い。したがって、一人用の（典型的には証明写真用の）自動写真作成装置とは異なり、各利用者の顔は撮影画像において多様な位置に含まれることになる。

【0006】

このような場合、特に落書き時に使用される前景画像のうち、比較的小さい画像であって任意の位置に合成可能な付加画像（典型的にはスタンプ画像）を撮影画像に合成する場合には、各利用者の顔に差し掛からない位置を選択することが可能であるため特に問題はない。しかし、予め合成位置が定まっている大きい付加画像（典型的にはフレーム画像）を撮影画像に合成する場合には、各利用者の顔に差し掛かる位置に合成される場合が生じる。

【0007】

この点、利用者の顔に差し掛かる付加画像の部分を予め定められた位置から動かすことができるよう構成することも可能であるが、利用者にとって簡単な操作で（典型的にはワンタッチ操作で）合成しようとする当該付加画像を部分的に動かす操作が必要となる。この操作は利用者にとって煩瑣である。

【0008】

また、上記フレーム画像などの付加画像を部分的に動かすと、全体的なバランスが崩れることがあるため、美しく見える位置へ当該部分を動かす操作は、利用者にとって困難であることが多く、さらに煩瑣である。

【0009】

そこで、本発明では、撮影画像に合成されるべき付加画像が利用者の顔部分に差し掛かる状態を、利用者の操作を要することなく低減または解消することができる遊戯用撮影装置、遊戯用撮影方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0010】

第１の発明は、利用者の撮影を行う撮影手段と、
前記撮影手段によって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定手段と、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集手段とを備え、
前記編集手段は、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成することを特徴とする。

【0011】

第２の発明は、第１の発明において、
前記編集手段は、前記撮影画像における予め定められた位置に合成されるべき複数の装飾要素画像のうち、前記顔領域の範囲と重複する装飾要素画像を合成しないか、または前記顔領域の範囲および前記撮影画像に含まれる利用者の像の範囲のうちの少なくとも一方の範囲に対して背景となるように合成することを特徴とする。

【0012】

第３の発明は、第１または第２の発明において、
前記編集手段は、変更後の合成位置の候補であって予め優先順位を付された複数の候補合成位置に前記特定要素画像をそれぞれ合成しようとする場合における、前記特定領域の範囲と前記顔領域の範囲とが重複する範囲を所定値以下に減少させまたは消失させることができる候補合成位置のうち、最も高い優先順位を付された候補合成位置に、前記特定要素画像を合成することを特徴とする。

【0013】

第４の発明は、第１または第２の発明において、
前記編集手段は、前記第１合成位置を起点として、当該起点から離れるように所定の計算式に基づき算出される変更後の合成位置の候補である候補合成位置に前記特定要素画像を合成しようとする場合、前記特定領域の範囲と前記顔領域の範囲とが重複する範囲を所定値以下に減少させまたは消失させることができる候補合成位置のうち、前記起点に最も近い候補合成位置に、前記特定要素画像を合成することを特徴とする。

【0014】

第５の発明は、第１から第４までの発明のいずれかにおいて、
前記特定要素画像は、前記特定領域が前記撮影画像の上下方向に伸びる中心線に掛かりかつ前記上下方向とは異なる方向に配列される一連の文字、記号、または模様を示す複数の画像を含むことを特徴とする。

【0015】

第６の発明は、第１から第５までの発明のいずれかにおいて、
前記編集手段は、前記特定要素画像を、前記第１合成位置から下方向に定める位置に合成することを特徴とする。

【0016】

第７の発明は、第１から第６までの発明のいずれかにおいて、
表示手段をさらに備え、
前記表示手段は、前記第１合成位置に前記特定要素画像を配置した付加画像を縮小表示する画面である操作画面と、前記利用者により選択された付加画像を前記撮影画像に対して合成する前記編集手段により合成された合成画像を表示する画面である編集画面とを同時に表示することを特徴とする。

【0017】

第８の発明は、利用者の撮影を行う撮影ステップと、
前記撮影ステップによって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定ステップと、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集ステップとを備え、
前記編集ステップでは、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成することを特徴とする。

【0018】

第９の発明は、コンピュータに、
利用者の撮影を行う撮影ステップと、
前記撮影ステップによって撮影された撮影画像に含まれる利用者の顔を検出するとともに、検出した顔の少なくとも一部を含む顔領域を設定する顔領域設定ステップと、
前記撮影画像に対する合成位置が予め定められた第１合成位置に設定された特定要素画像を含む付加画像を前記撮影画像に対して合成する編集ステップとを実行させるプログラムであって、
前記編集ステップでは、
前記特定要素画像を前記第１合成位置に合成した場合において前記特定要素画像が占める特定領域の範囲と、前記顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、前記第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、
前記特定領域の範囲と前記顔領域の範囲とが重複しない場合、前記第１合成位置に前記特定要素画像を合成する、プログラムである。

【発明の効果】

【0019】

上記第１の発明によれば、特定要素画像が占める特定領域の範囲と、顔領域の範囲とが重複する場合、重複する範囲を減少または消失させるよう、第１合成位置とは異なる第２合成位置に前記特定要素画像を合成し、重複しない場合、第１合成位置に特定要素画像を合成するので、特定要素画像が利用者の顔部分に差し掛かる状態を、利用者の操作を要することなく自動的に、またデザインを大きく変えることなく低減または解消することができる。

【0020】

上記第２の発明によれば、予め定められた位置に合成されるべき複数の装飾要素画像のうち、顔領域の範囲と重複する装飾要素画像が合成されない（すなわち結果的に消去する）か、または顔領域の範囲および利用者の像の範囲のうちの少なくとも一方の範囲に対して背景となるように合成されるので、当該装飾画像要素と他の画像要素との位置関係や全体的な配置関係などに基づく（典型的には全体的な）デザインを大きく変えないようにすることが可能となる。

【0021】

上記第３の発明によれば、候補となる合成位置のうち、最も高い優先順位を付された候補合成位置に、特定要素画像の合成位置が変更されるので、例えば優先順位をデザインが好ましい順に付与すれば合成後のデザインがより好ましくなり、例えば予め定められた初期位置からの距離等に基づいて優先順位を付与すれば、予め定められた初期状態（のデザイン）から大きく変えないようにすることができる。また、候補合成位置を計算によって求める必要がないので、構成を簡易にすることができる。

【0022】

上記第４の発明によれば、第１合成位置を起点として、当該起点に最も近い候補合成位置に、特定要素画像が合成されるので、予め定められた初期状態（のデザイン）から大きく変えないようにすることができる。また予め複数の候補となる合成位置の中から選択する構成よりも、場合によってはさらに（典型的にはデザイン上）好適な位置を算出することができ、また候補となる合成位置では全てが顔領域と重なってしまう場合であっても、場合によっては顔領域と重ならない合成位置を算出することができる。

【0023】

上記第５の発明によれば、特定要素画像が占める領域が撮影画像の上下方向に伸びる中心線に掛かりかつ上下方向とは異なる方向に配列される一連の文字、記号、または模様を示す複数の画像を含むので、当該特定要素画像が顔領域に差し掛かる可能性が高くため、差し掛かる場合に合成位置が移動されることによって、当該特定要素画像の示す意味や、連続性などに基づくデザインを少なくとも大きく変えないようにすることができる。

【0024】

上記第６の発明によれば、特定要素画像における変更後の合成位置が、第１合成位置から下方向に定められるので、通常撮影画像の上半分にあることが多い顔部分に差し掛かる可能性を低くすることができる。また顔部分の上の空白部分（背景部分）には利用者による（ペンやスタンプなどの）落書きが含まれることが多いため、下方向へ移動させることにより、これらの落書きが特定要素画像により隠されないようにすることができる。

【0025】

上記第７の発明によれば、第１合成位置に特定要素画像を配置した付加画像を縮小表示する画面である操作画面と、利用者により選択された付加画像を撮影画像に対して合成した合成画像を表示する画面である編集画面とが同時に表示されるので、利用者が操作画面において付加画像を選択しやすくすることができ、また選択した付加画像を（場合によって合成位置を変更して）合成した結果を利用者に編集画面において確認させることができる。

【0026】

上記第８の発明によれば、上記第１の装置発明における効果を方法の発明において同様に奏することができる。

【0027】

上記第９の発明によれば、上記第１の装置発明における効果をプログラムの発明において同様に奏することができる。

【図面の簡単な説明】

【0028】

【図1】本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。

【図2】上記実施形態における撮影ユニットの正面図である。

【図3】上記実施形態における編集ユニットの正面図である。

【図4】上記実施形態における出力ユニットの正面図である。

【図5】上記実施形態における撮影操作用タッチパネルの表示構成を示す模式図である。

【図6】上記実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。

【図7】上記実施形態における編集操作用タッチパネルの表示構成の一例を示す模式図である。

【図8】上記実施形態において選択されるフレーム画像を示す図である。

【図9】図８に示すフレーム画像を２人の利用者が写る撮影画像に対して単純に合成して得られる合成画像を示す図である。

【図10】図８に示すフレーム画像を３人の利用者が写る撮影画像に対して単純に合成して得られる合成画像を示す図である。

【図11】上記実施形態において、フレーム画像を部分的に変更した後に合成した結果得られる合成画像を示す図である。

【図12】上記実施形態における撮影処理の手順を示すフローチャートである。

【図13】上記実施形態における落書き編集処理の手順を示すフローチャートである。

【図14】上記実施形態におけるフレーム画像の部分的な変更処理の流れを示すフローチャートである。

【図15】上記実施形態において、フレーム画像の各要素画像と、利用者の顔領域との位置関係を示す図である。

【図16】上記実施形態における処理の経過および結果、部分的に変更されたフレーム画像と、顔領域との位置関係を示す図である。

【図17】上記実施形態の変形例において、移動後の特定要素画像の合成位置を一回的に算出する例を説明するための図である。

【図18】上記実施形態の変形例において、移動後の特定要素画像の合成位置を計算により算出しない例を説明するための図である。

【図19】上記実施形態の変形例において、特定要素画像と複数の特殊な前景画像とを含むフレーム画像と顔領域との関係を示す図である。

【発明を実施するための形態】

【0029】

以下、添付図面を参照しつつ本発明の一実施形態について説明する。
＜１．全体構成＞
図１は、本発明の一実施形態に係る自動写真作成装置である遊戯用写真作成装置の外観を示す図である。より詳細には、図１（ａ）は、この遊戯用写真作成装置を横から見た外観側面図であり、図１（ｂ）は、上から見た外観平面図である。この遊戯用写真作成装置は、利用者が入る撮影室２と、利用者を撮影し背景画像および前景画像の選択を受け付ける撮影ユニット３と、利用者による落書き（描画操作）を含む編集操作を受け付け撮影画像に合成した合成画像を生成する編集ユニット４と、合成画像を出力する出力ユニット５とを備えている。図２は、撮影ユニット３の正面図であり、図３は、編集ユニット４の正面図であり、図４は、出力ユニット５の正面図である。以下、図１から図４を参照しつつ、本実施形態に係る遊戯用写真作成装置の全体構成について説明する。

【0030】

撮影室２は、略直方体形状であって、撮影ユニット３は、内部に入る利用者から見て前の面である撮影室２の前面に沿って配置されている。なお、撮影室２の左右両側面の一部には、それぞれ利用者が出入りするための開口部と、当該開口部の一部または全部を覆う遮光カーテンとが設けられている。また、撮影室２の内部に入る利用者から見て後ろの面である背面にはクロマキー合成処理のための単一の色（ここでは青色または緑色）が付されている。なお、これらの色は床面等にも付されているものとする。

【0031】

撮影ユニット３は、利用者を撮影する撮像手段としてのカメラ１０と、当該カメラ１０の上下左右の位置に配置され閃光を発するストロボ１１，１２，１３Ｌ，１３Ｒ，１４と、当該カメラ１０の下方に配置され利用者からの操作の受け付けや撮影画像の表示等を行う撮影操作用タッチパネル２０とを備えている。

【0032】

カメラ１０は、典型的には、ＣＣＤ（電荷結合素子）を利用してデジタル画像信号を生成するデジタルカメラであって、利用者を撮影し、その撮影画像を表す画像信号を出力する。ストロボ１１〜１４は、撮影のための充分な光を得るために利用者に向かって閃光を発する。撮影操作用タッチパネル２０は、撮影の際に利用者による各種操作を受け付けるための操作画面を提供するとともに、上記画像信号に基づく画像をリアルタイムで表示するように構成されている。

【0033】

図５は、撮影操作用タッチパネル２０の表示構成を示す模式図である。図５に示すように、撮影操作用タッチパネル２０には、リアルタイムで撮影画像を表示するためのリアルタイムプレビュー領域２０１と、ポーズの見本を表示するためのポーズ見本表示領域２０２と、撮影によって得られる落書き対象画像を表示するための落書き対象画像表示領域２０３とが含まれている。

【0034】

また撮影ユニット３は、コンピュータを中心に構成され各部の制御等を行う制御装置、Ｉ／Ｏ制御装置、および編集ユニット４と通信を行うためのネットワークアダプタ等を内蔵している。また、撮影ユニット３は、前面下方にコイン投入口２６を備えている。

【0035】

編集ユニット４は、撮影ユニット３と同様のコンピュータを中心に構成され各部の制御等を行う制御装置、および撮影ユニット３等と通信を行うためのネットワークアダプタ等を内蔵している。また、編集ユニット４は、図１（ｂ）に示すように、２組の利用者がプレイ可能なように２つのユニット４ａ、４ｂに分かれている。そのうちの一方のユニット４ａには、落書き領域や落書きのためのメニュー、ツール等を表示する領域を含みＧＵＩ（Graphical User Interface）表示手段として機能する編集操作用タッチパネル４００と、当該編集操作用タッチパネル４００に対する操作に使用されるポインティングデバイスとしてのタッチペン４９Ｌ、４９Ｒ、４９Ｃとが設けられている。なお、他方のユニット４ｂについても同様の構成となっている。ここで図１（ａ）において手前に見えるユニット４ａを「落書きブースＡ」と呼び、その反対側（図では裏側）のユニット４ｂを「落書きブースＢ」と呼ぶ。

【0036】

本実施形態における編集操作用タッチパネル４００は、各ユニット４ａ、４ｂにおいて典型的にはそれぞれ２人の利用者が同時に落書きを行えるような表示構成となっている。なお、本説明においては、左側の利用者が使用する構成要素には「Ｌ」を含む参照符号を付し、右側の利用者が使用する構成要素には「Ｒ」を含む参照符号を付している。

【0037】

また、本実施形態における編集操作用タッチパネル４００に表示される表示画面は、典型的には２人の利用者の操作に適するよう、左右に２分割されて表示されている。以下では、この表示画面のうちの左側の操作画面を左操作画面といい、右側の操作画面を右操作画面という。

【0038】

さらに、編集操作用タッチパネル４００は、４つのタッチペン４９Ｌ１、４９Ｌ２、４９Ｒ１、４９Ｒ２による操作位置を同時に検出可能に構成されており、かつ、検出される各操作位置が、４９Ｌ１、４９Ｌ２、４９Ｒ１、４９Ｒ２のうちのいずれの操作に対応するのかも検出可能となっている。例えば、編集操作用タッチパネル４００として静電容量方式のタッチパネルを使用した場合には、このような複数の操作位置の同時検出と操作されたタッチペンの識別とが可能である。

【0039】

なお、左操作画面用の２つのタッチペン（以下「左画面用ペン」という）４９Ｌ１、４９Ｌ２、または右操作画面用の２つのタッチペン（以下「右画面用ペン」という）４９Ｒ１、４９Ｒ２は、それぞれが同時に使用（入力操作）できるが、これをできないように、すなわち先にアクティブとなり（先に操作入力が受け付けられ）継続的にアクティブとなっているタッチペンのみが操作入力可能となるように制御してもよい。このように制御すれば描画レスポンスを高速に保つことができる。

【0040】

また、上記タッチペンの数には特に限定がなく、またタッチペンに代えて、同時に座標検出可能な周知のポインティングデバイス（例えばトラックボールやカーソルキー、カメラ画像に基づく位置判定など）を入力手段として使用してもよい。

【0041】

出力ユニット５は、図４に示すように、典型的には携帯電話端末に内蔵される赤外線ポートにより、例えばデコメール（登録商標）画像等の素材画像や撮影画像に落書きをした合成画像などを利用者の携帯電話端末に転送する際に利用者によって操作される出力操作用タッチパネル３０と、出力操作用タッチパネル３０の下方に配置され上記素材画像等を赤外線信号として携帯電話端末に向けて直接送信するための赤外線ポート（非接触通信ポート）３１と、上記通信の際に必要な操作方法や効果音などを音声によって利用者に知らせるスピーカ３２とを備えている。また、出力ユニット５は、前面下方に、編集ユニット４で編集操作が行われた合成画像を印刷した写真シールや写真カード等を取り出す取出口３３を備えている。

【0042】

出力操作用タッチパネル３０は、利用者が合成画像を印刷された写真シール等だけでなくサーバからダウンロードして携帯電話端末でも見たい場合に、上記素材画像等を上記非接触通信機能を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されていている。なお、当該操作は主に合成画像の写真シール等が印刷されるまでの時間を利用して行われるので、利用者は写真シール等が印刷されるまでの時間を持て余すことなく有効に利用することができる。その詳しい表示例については後述する。

【0043】

出力操作用タッチパネル３０は、利用者が合成画像を印刷された写真シールを携帯電話端末でも見たい場合に、上記赤外線通信機能（またはその他の近接無線通信機能）を備えた携帯電話端末に送信するのに必要な各種操作を受け付けるための操作画面を提供するように構成されている。

【0044】

このような出力ユニット５も、撮影ユニット３と同様のコンピュータを中心に構成され各部の制御等を行う制御装置および編集ユニット４等と通信を行うためのネットワークアダプタ等を内蔵しているほか、合成画像を写真シール等として印刷するネットワークプリンタ３５を備えている。

【0045】

以上のような構成において、利用者は、撮影室２において撮影を行った後、編集ユニット４の落書きブースＡまたは落書きブースＢの編集操作用タッチパネル４００を使用することにより、撮影画像に基づいて生成された落書き対象画像に対して落書きを行う。そして、利用者は、落書きによって生成された合成画像をネットワークプリンタによって印刷したり、赤外線通信機能を有する携帯電話端末に画像を送信し、携帯電話端末で受信した画像を端末画面に表示させたりする。

【0046】

＜２．機能的構成＞
図６は、本実施形態に係る遊戯用写真作成装置の要部を機能面から見た構成を示すブロック図である。この図６に示す遊戯用写真作成装置は、機能的には、主として利用者を撮影する処理（撮影処理）を行うための撮影処理部７と、主として落書き対象画像に対する利用者の落書き操作に応じて当該落書き対象画像の編集処理を行うための編集処理部８と、編集処理が行われた落書き対象画像を写真シール等として出力したり、作成された素材画像等を非接触通信を利用して携帯電話端末に出力したりする処理（出力処理）を行う出力処理部９とから構成されている。

【0047】

撮影処理部７は、第１の制御部７０と、撮像部７１と、第１の表示・操作部７２と、Ｉ／Ｏ制御部７３と、照明部７４と、第１の通信部７５とによって構成されている。編集処理部８は、第２の制御部８０と、第２の表示・操作部８１，８２と、第２の通信部８３とによって構成されている。出力処理部９は、第３の制御部９０と、第３の表示・操作部９１と、印刷出力部９２と、音声出力部９３と、非接触通信部９４と、第３の通信部９５と、無線通信部９６とによって構成されている。ネットワークアダプタである第１、第２および第３の通信部７５，８３，９５は、ＬＡＮ（Local Area Network）であるネットワーク６を介してそれぞれ相互に通信可能となっている。

【0048】

撮像部７１は、ＣＣＤ等の撮像素子を用いて構成されるカメラ１０に相当し、リアルタイムに画像を取り込んで当該画像（撮影画像）を表す画像信号を出力する。この画像信号は第１の制御部７０に入力されて、その内部のメモリに撮影画像データとして一時的に記憶される。また、この撮影画像データは撮影画像信号として第１の制御部７０から第１の表示・操作部７２に供給され、当該撮影画像信号に基づく撮影画像がリアルタイムに表示される。

【0049】

第１の表示・操作部７２は、撮影操作用タッチパネル２０に相当し、撮影画像に付加されるべき背景画像および前景画像を選択する操作やシャッター操作等を受け付ける。これらの操作を示す信号は、操作信号として第１の制御部７０に入力される。ここで、利用者を撮影するための（選択された撮影メニューに対応する）所定の処理が開始されると、第１の表示・操作部７２に利用者のための案内が表示され、その後の第１の制御部７０からの指示に基づき、数秒程度の予め決められた時間の経過後にカメラ１０の撮影方向にストロボ１１〜１４から閃光が放たれる。そのとき、利用者の撮影画像を表す信号として撮像部７１から出力される画像信号が第１の制御部７０に入力され、第１の制御部７０内のメモリまたは補助記憶装置としてのハードディスク装置等に撮影画像データとして格納される。

【0050】

照明部７４は、カメラ１０の上下左右の位置に配置されたストロボ１１，１２，１３Ｌ，１３Ｒ，１４に相当し、第１の制御部７０からの指示に基づきＩ／Ｏ制御部７３によって点灯／消灯および調光が制御される。Ｉ／Ｏ制御部７３は、撮影ユニット３に内蔵されるＩ／Ｏ制御装置に相当し、第１の制御部７０からの指示に基づき、照明部７４を制御する。また、後述のコイン検出部（不図示）からの検出信号等の入力信号を第１の制御部７０へ転送する。第１の通信部７５は、撮影ユニット３に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

【0051】

第１の制御部７０は、撮影ユニット３に内蔵され、ＣＰＵ、メモリ、フレームバッファ、タイマー、補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、上述のようにして入力される操作信号等に基づき各部を制御するために、上述のように各部に指示を出す。また撮影された画像に基づいて落書き対象画像を生成する。生成された落書き対象画像はフレームバッファに書き込まれることにより、第１の表示・操作部７２に表示される。さらに、第１の制御部７０は、落書き対象画像に所定の背景画像や前景画像を描画した画像である合成画像を生成する。この落書き対象画像には、詳しくは後述するようにマスクの作成に使用されるキー色となる背景色が付されており、周知のクロマキー合成処理の手法に基づき、利用者の像のみを含む撮影画像部分を抽出し、当該撮影画像部分が背景画像中に嵌め込まれるように合成する。このように生成された合成画像はフレームバッファに書き込まれることにより第１の表示・操作部７２に表示される。こうして撮影および合成画像の生成が終了すると、生成された合成画像は利用者の入力操作に応じて適宜選択された後、第１の通信部７５を介して、編集ユニット４に対応する第２の制御部８０へ送られる。

【0052】

上記の構成要素の他、撮影ユニット３におけるコイン投入口２６に投入されたコインを検出するためのコイン検出部（不図示）が更に撮影ユニット３に設けられており、第１の制御部７０は、コイン検出部での検出結果に基づき、利用者に所定時間だけ撮影や背景画像および前景画像の選択や落書き等、本遊戯用写真作成装置によるプレイを許容するように各部を制御する。このコイン検出部による検出動作やその検出結果に基づく第１の制御部７０による制御動作は、従来の遊戯用写真作成装置と同様であって周知であるので、その詳しい説明を省略する。

【0053】

第２の制御部８０は、編集ユニット４に内蔵され、ＣＰＵ、メモリ、フレームバッファ、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、編集処理に関する全体の制御を行う。すなわち第２の制御部８０は、第２の表示・操作部を制御するＧＵＩ制御手段として機能する。また、第２の制御部８０は、第１の制御部７０から送られてきた落書き対象画像（撮影画像を含む画像）に対する落書き処理を行うための操作信号に基づき、その落書き対象画像に所定画像を描画した画像である合成画像を生成したり、落書き操作のための操作画面を生成し制御する。この操作画面および生成された合成画像や素材画像は利用者の指示に応じて対応する第２の表示・操作部８１，８２に表示される。さらに、第２の制御部８０は、落書き対象画像に含まれる利用者の顔領域を認識する処理を行い、認識された利用者の顔領域にフレーム画像の部分が差し掛からないように、当該フレーム画像を部分的に変更する特徴的な動作を行う。この動作については詳しく後述する。上記のような合成画像の生成が終了すると、利用者による分割レイアウトの選択指示を受け付ける。選択された分割レイアウトを示す情報および生成された合成画像は出力ユニット５に送られる。なお、印刷出力部９２が別の合成画像を出力中である場合には、その旨が表示されるとともに終了を待って送られる。

【0054】

第２の表示・操作部８１、８２は、落書きのためのＧＵＩ表示手段として機能する編集操作用タッチパネル４００に相当し、タッチペンを用いた利用者の操作を受け付ける。第２の通信部８３は、編集ユニット４に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

【0055】

第３の制御部９０は、出力ユニット５に内蔵され、ＣＰＵ、メモリ、フレームバッファ、タイマー、および補助記憶装置等を含むコンピュータを中心に構成される制御装置に相当し、内部メモリに格納された所定プログラムをＣＰＵが実行することにより、出力処理に関する全体の制御を行う。第３の制御部９０は、第２の制御部８０から送られてきた合成画像を合成画像データとしてメモリに格納する。印刷出力部９２は出力ユニットに内蔵されるネットワークプリンタ３５に相当し、メモリに格納された合成画像データを（適宜にレイアウトした）写真シール（または写真カード）として印刷する。印刷された写真シール等は、出力ユニット５の正面下方に設けられた取出口３３から取り出される。

【0056】

また、第３の制御部９０は、第２の制御部８０から送られてきた分割レイアウト情報および合成画像に基づいて写真シール等の印刷処理を開始すると同時に、利用者の入力操作を受け付けるための後述する操作画面を第３の表示・操作部９１に表示する。この第３の表示・操作部９１は出力操作用タッチパネル３０に相当し、入力手段として機能する。出力操作用タッチパネル３０は、液晶ディスプレイまたはＣＲＴ（Cathode Ray Tube）等の表示手段として機能するモニタと、その上面に積層され、入力座標を認識することができる１人用のタッチパネルから構成される。モニタは複数の画面に分割された操作画面を表示することができ、タッチパネルは分割された複数の画面ごとに利用者のタッチペンを用いた入力操作を受け付け、受け付けた入力操作を操作信号として第３の制御部９０に入力する。

【0057】

第３の通信部９５は、出力ユニット５に内蔵されるネットワークアダプタに相当し、ネットワーク６を介したデータ送受信の際のインタフェースとして機能する。

【0058】

ここで、第３の制御部９０は、落書きを終えてから操作を始めるまでの間、補助記憶装置に予め記憶されているデモ画像（デモンストレーション用の画像）をフレームバッファに書き込むことにより第３の表示・操作部９１に表示する。また音声出力部９３は、スピーカ３２に相当する。音声出力部９３は、第３の表示・操作部９１に表示される操作画面と連動して入力操作方法を利用者に説明し、また第３の表示・操作部９１にデモ画像が表示されているときにデモ画像に応じた楽曲等を流す。なお、入力操作方法の説明や楽曲等は補助記憶装置としてのハードディス装置等に予め格納されている。

【0059】

その後、第３の制御部９０は、第３の表示・操作部９１の表示や音声出力部９３による音声や効果音等により合成画像の印刷が完了するまで後述するミニゲームを利用者に提供し続ける。このミニゲームの内容も同様にハードディスク装置等に予め格納されている。

【0060】

ここで、各制御装置において実行される上記所定プログラムは、例えば、そのプログラムを記録した記録媒体であるＤＶＤ−ＲＯＭによって提供される。すなわち、上記所定プログラムの記録媒体としてのＤＶＤ−ＲＯＭが補助記憶装置として制御装置内に内蔵されたＤＶＤ−ＲＯＭ駆動装置に装着され、そのＤＶＤ−ＲＯＭから所定プログラムが読み出されて補助記憶装置としてのハードディスク装置にインストールされる。また、上記所定プログラムは、ＤＶＤ−ＲＯＭ以外の記録媒体（ＣＤ−ＲＯＭ等）や通信回線を介して提供されてもよい。そして、本遊戯用写真作成装置の起動のための操作がなされると、ハードディスク装置にインストールされた所定プログラムは、制御装置内のメモリに転送されてそこに一時的に格納され、制御装置内のＣＰＵによって実行される。これにより、制御装置による上記各部の制御処理が実現される。

【0061】

なお、上記第１から第３までの制御部７０，８０，９０は、異なるユニットに内蔵される異なるコンピュータを含む装置に相当するものとして説明したが、このような構成は一例であって、上記第１から第３までの制御部７０，８０，９０は、２つ以下または４つ以上の装置により実現されてもよい。この場合には各装置において、それぞれ実現されるべき機能に応じたプログラムが実行される。また、撮影ユニット３、編集ユニット４、および出力ユニット５についても、２つ以下または４つ以上のユニットにより構成されてもよい。

【0062】

＜３．編集操作のための画面構成＞
本実施形態に係る遊戯用写真作成装置は、撮影画像に基づいて生成された落書き対象画像（撮影画像を含む画像）に対して落書き等のための編集操作に使用する操作画面において、利用者の操作により選択されるフレーム画像に特徴を有している。以下、その操作画面を表示する編集操作用タッチパネル４００における表示構成について説明する。

【0063】

図７は、本実施形態における編集操作用タッチパネルの表示構成の一例を示す模式図である。図７に示す落書き画面４００は、左操作画面４００Ｌと、右操作画面４００Ｒとに２分割されており、撮影画像およびそれに対する落書き画像が合成された合成画像が表示され仮想的な落書きを行うことができる領域である落書き領域４０１Ｌ、４０１Ｒと、各種編集指示のためのツール４０５Ｌ、４０５Ｒが複数表示されるパレット領域４０２Ｌ、４０２Ｒと、落書きの対象となるべき撮影画像を選択するための第１ないし第４のサムネイル画像表示領域４３１Ｌ、４３１Ｒ〜４３４Ｌ、４３４Ｒと、落書き可能な残り時間を示すタイマー表示領域４５０とが含まれている。

【0064】

ここで、パレット領域４０２Ｌ、４０２Ｒに含まれる編集指示のためのツール４０５Ｌ、４０５Ｒは、落書き画像を構成するスタンプやフレームなどの（典型的にはグループ化され表示されうる）編集操作の種類を選択可能に表示するものであって、利用者が各種落書きを行うためのツールすなわち（選択された）落書き対象画像に対する各種編集操作の指示のためのツールである。なお、フレーム画像や背景画像などはその画像内容を見やすく表示するためにサムネイル画像の形でパレット領域４０２Ｌ、４０２Ｒに含まれることが多いが、このサムネイル画像も選択可能な形で表示されるため、ここでは便宜上ツールと称する。

【0065】

また、このパレット領域４０２Ｌ、４０２Ｒの近傍には、落書きの種類に応じて、仮想的な落書きペンの種類を選択可能にするためのペンボタン４２１Ｌ、４２１Ｒと、利用者の前景となる小さな画像であるスタンプ画像の種類を選択可能にするためのスタンプボタン４２２Ｌ、４２２Ｒと、撮影画像の周囲近傍を装飾するフレーム画像の種類を選択可能にするためのフレームボタン４２３Ｌ、４２３Ｒと、利用者の背景となる背景画像の種類を選択可能にするための背景ボタン４２４Ｌ、４２４Ｒとが表示されている。利用者Ｕは、左操作画面４００Ｌに対しては対を成す２つのタッチペン４９Ｌ１、４９Ｌ２のいずれかで、これらの各種操作ボタン群の１つを選択する（すなわち表示されたボタン画像上にペン先を接触させる）操作を行うことにより、パレット領域４０２Ｌ、４０２Ｒ内に対応する種類の複数の落書きのためのツールが表示される。ここでは説明の便宜のため、フレームボタン４２３Ｌ、４２３Ｒが選択されているものとする。

【0066】

また、パレット領域４０２Ｌ、４０２Ｒの上辺近傍には選択可能な複数のタブ領域４２０Ｌ、４２０Ｒが設けられており、それらのいずれかを選択することにより、選択されるタブ領域に関連づけられた複数のツール４０５Ｌ、４０５Ｒが表示される。そして或るスタンプ画像を示すツールが選択され、その状態で落書き領域４０１Ｌ内の任意の位置をタッチペンで触れると、当該位置に選択中のツールに対応するフレーム画像が（合成）表示される。

【0067】

ここ図７に示されるように、左操作画面４００Ｌの落書き領域４０１Ｌには２人の利用者が写る撮影画像が落書き対象として表示され、右操作画面４００Ｒの落書き領域４０１Ｒには３人の利用者が写る撮影画像が落書き対象として表示されている。そして、左側の利用者は、パレット領域４０２Ｌに含まれる８つのフレーム画像のうちの上段の左から三番目のフレーム画像を選択し、また右側の利用者も、パレット領域４０２Ｒに含まれる８つのフレーム画像のうちの、右側の利用者と同一のフレーム画像を選択するものとする。

【0068】

図８は２人の利用者により選択される上記フレーム画像を示す図である。このフレーム画像は撮影画像に対して前景として（上書きの形で）合成されるため、落書き領域４０１Ｌに含まれる２人の利用者が写る撮影画像に対して上記フレーム画像を単純に合成すると、図９に示す合成画像となり、落書き領域４０１Ｒに含まれる３人の利用者が写る撮影画像に対して上記フレーム画像を単純に合成すると、図１０に示す合成画像となる。

【0069】

ここで、図９に示す合成画像では、特に違和感なく利用者の顔がはっきり見える形となっているが、図１０に示す合成画像では、３人の利用者のうちの中央に写る利用者の顔の上にフレーム画像の一部が差し掛かっており、当該中央の利用者の顔の全体がはっきり見える形とはなっていない。すなわち、フレーム画像を構成する「ＪＡＮＵＡＲＹ」という文字部分が極めて邪魔になっている。

【0070】

また、図１０に示す合成画像では、３人の利用者のうちの左側および右側に写る各利用者の顔の上にフレーム画像の一部が差し掛かっており、当該両側の利用者の顔の一部がやや隠される形となっている。すなわち、フレーム画像を構成するハート型形状の画像部分が邪魔になっている。

【0071】

そこで、本実施形態では、当該邪魔になっている「ＪＡＮＵＡＲＹ」という文字部分を下方に動かして、利用者の顔がはっきりと見える形になるよう、かつ邪魔になっているハート型の画像を消去して、利用者の顔が隠されないように、フレーム画像を部分的に変更して合成する。

【0072】

図１１は、本実施形態においてフレーム画像を変更した後に合成した結果得られる合成画像を示す図である。このように表示すれば、利用者の顔が隠されることなくはっきりと見える形でフレーム画像を撮影画像に合成することができ、撮影画像に合成されるべき付加画像が利用者の顔部分に差し掛かる状態を、利用者の操作を要することなく低減または解消することができる。このようなフレーム画像の部分的な変更は、遊戯用写真作成装置における後述する落書き編集処理の中で行われるので、以下遊戯用写真作成装置における処理手順について説明する。

【0073】

＜４．遊戯用写真作成装置における処理手順＞
上述したように、この遊戯用写真作成装置には、撮影ユニット３と編集ユニット４と出力ユニット５とが含まれている。撮影ユニット３では撮影処理が行われ、編集ユニット４では後述する落書き編集処理が行われ、出力ユニット５では出力処理が行われる。なお、或る利用者が撮影ユニット３でプレイしている時に他の利用者は編集ユニット４でプレイし、さらに他の利用者は出力ユニット５で合成画像を出力することができるように構成されている。すなわち、この遊戯用写真作成装置は、撮影処理と落書き編集処理と出力処理とを並行して行うことができる。以下に、撮影処理、落書き編集処理、および出力処理の手順の概要について説明する。

【0074】

＜４．１ 撮影処理＞
図１２は、本実施形態における撮影処理の手順を示すフローチャートである。この遊戯用写真作成装置が使用されていない時（プレイが行われていない時）には、撮影操作用タッチパネル２０にはデモ画像が表示されている。デモ画像の表示中に利用者がコイン投入口２６にコインを投入すると、プレイが開始される（ステップＳ１００）。

【0075】

プレイが開始されると、第１の制御部７０は、利用者による撮影モードの選択を受け付ける（ステップＳ１１０）。ステップＳ１１０では、例えば画質（具体的にはコントラストが高いくっきりとした画質、柔らかなふんわりとした画質、または透明感のあるクールな画質のうちのいずれか）を選択し、明るさを選択し、自動で撮影するか手動で撮影するかを選択し、自動で撮影する場合には撮影用テーマの選択が行われる。この場合、第１の制御部７０は、予め用意された複数の撮影用テーマの中から１つ以上の撮影用テーマを利用者に選択させるための画面を撮影操作用タッチパネル２０に表示し、利用者による選択操作を受け付ける。そして、第１の制御部７０は、利用者の選択操作に基づいて選択情報を取得し、選択された撮影用テーマに基づいて、撮影の際に使用するフレームと背景との組み合わせを決定する。また手動で撮影する場合は、上記フレームと背景とを利用者が自由に決定する。なおここではフレーム画像は選択されず、後述する落書き編集処理において選択されるものとして説明するが、ここでフレーム画像が選択される場合でも同様の処理を行うことができる。詳しくは後述する。その後、ステップＳ１２０に進み、撮影が行われる。この撮影により、撮影画像データが第１の制御部７０のメモリに格納される。

【0076】

ステップＳ１３０では、撮影画像に基づいて生成された落書き対象画像（撮影画像を含む画像）が、撮影操作用タッチパネル２０に表示される。詳しくは、ステップＳ１３０の処理が行われる都度、図５に示した撮影操作用タッチパネル２０の落書き対象画像表示領域２０３に落書き対象画像が順次追加表示される。その後、ステップＳ１４０に進み、第１の制御部７０は、予め定められた枚数の撮影が終了したか否かを判定する。判定の結果、当該枚数の撮影が終了していればステップＳ１５０に進み、当該枚数の撮影が終了していなければステップＳ１２０に戻る。なお、実際には撮影のための制限時間（例えば３分）が設けられる。

【0077】

ステップＳ１５０では、複数の落書き対象画像の中から実際の落書き対象となる画像の（利用者による）選択が行われる。具体的には、第１の制御部７０は、落書きおよび印刷に使用する画像を利用者に選択させるために、落書き対象画像の一覧を撮影操作用タッチパネル２０に表示し、利用者による選択操作を受け付ける。そして、第１の制御部７０は、利用者によって選択された画像を実際の落書き対象画像として第２の制御部８０に送る。ステップＳ１５０の終了後、ステップＳ１６０に進む。ステップＳ１６０では、案内画面の表示が行われる。具体的には、第１の制御部７０は、利用者を編集ユニット４のいずれか（４ａまたは４ｂ）に導くための画面を撮影操作用タッチパネル２０に表示する。これにより、撮影処理が終了する。

【0078】

＜４．２ 落書き編集処理＞
図１３は、本実施形態における落書き編集処理の手順を示すフローチャートである。第２の制御部８０が所定のプログラムに基づき図８に示すように動作することで、この落書き編集処理が実現される。この処理では、上述した撮影処理の終了後、第２の制御部８０は、ネットワーク（ＬＡＮ）６を介して第１の制御部７０から送られる落書き対象画像を取得する（ステップＳ２００）。

【0079】

次に、第２の制御部８０は、第１の制御部７０によって行われた撮影処理により取得され、利用者によって選択された複数の落書き対象画像を第１の制御部７０から受け取り（ステップ２００）、受け足られた複数の落書き対象画像それぞれに対して顔領域の認識処理が行われる（ステップＳ２１０）。この顔領域の認識処理は、周知の手法を採用すればよく、例えば予め記憶されたモデル画像を拡大・縮小、回転することによりテンプレート画像を生成し、このテンプレート画像を基準として顔としての特徴を有する画像が撮影画像内に含まれている場合に当該領域を顔領域として認識する手法や、テンプレートを使用しない周知の認識手法、例えば肌色領域の形状に基づき顔領域を認識したり、各種のパターン認識手法を使用した認識手法等を採用可能である。これらの周知の手法についての詳しい説明は省略する。なお、周知の顔検出用ＬＳＩチップなどのハードウェアを使用すれば、ソフトウェア処理の場合よりも顔領域の認識を高速化することができる。

【0080】

上記顔領域の認識処理（Ｓ２１０）が終了した後、タイマー４６が所定の時間（具体的には、落書きを許可する時間）に設定され、カウントダウンが開始される（ステップＳ２２０）。

【0081】

タイマー４６のカウントダウン開始後、編集ユニット４を構成するユニット４ａ，４ｂのそれぞれの編集操作用タッチパネル４００において、落書き編集操作画面が表示され、利用者による落書き操作（描画操作）が受け付けられる（ステップＳ２３０〜Ｓ２５０）。この落書き操作のうちフレーム画像を（ここでは前景として）撮影画像に対して合成する操作を行うときに、ステップＳ２１０において認識された顔領域に基づくフレーム画像の部分的な変更処理が（必要に応じて）行われる。この処理内容については、詳しく後述する。なおこの落書き編集処理時において、編集ユニット４では、撮影画像に基づく落書き対象画像に対する編集操作の他に、デコメール画像等の素材画像を作成するための編集操作が受け付けられてもよい。

【0082】

上記処理は、具体的には編集操作画面内のボタンやツールなどの１つをタッチペンでタッチすると、その座標値が入力され（Ｓ２３０）、対応する落書き画面処理（Ｓ２４０）が行われる。その後ステップＳ２５０においてタイマー４６の残り時間が０になる（または利用者が終了させる操作を行う）ことにより落書きが終了したかが判定され、終了していない場合（ステップＳ２５０においてＮｏの場合）にはステップＳ２３０に戻り、落書きが終了するまで処理が繰り返され、落書きが終了した場合（ステップＳ２５０においてＹｅｓの場合）には、処理はステップＳ２６０に進む。

【0083】

ステップＳ２６０では、出力される写真の分割パターンの選択が行われる。具体的には、第２の制御部８０は、予め用意された複数の分割パターンの中からいずれかの分割パターンを利用者に選択させるための操作画面を編集操作用タッチパネル４００に表示し、利用者による選択操作を受け付ける。そして、第２の制御部８０は、利用者の選択操作に基づいて、選択情報を取得する。ステップＳ２６０の処理が終了した後、ステップＳ２７０の処理に進む。

【0084】

ステップＳ２７０では、案内画面の表示が行われる。具体的には、第２の制御部８０は、利用者を出力ユニット５に導くための画面を編集操作用タッチパネル４００に表示する。これにより、落書き編集処理が終了する。落書き編集処理が終了すると、出力ユニット５において、編集ユニット４から送られてきた合成画像に基づいて写真シール等の印刷処理が開始されることなどについては前述した通りである。次に、ステップＳ２４０において行われる落書き編集処理のうち、フレーム画像の部分的な変更処理について、図１４を参照して詳しく説明する。

【0085】

＜４．３ フレーム画像の部分的変更処理＞
図１４は、フレーム画像の部分的な変更処理の流れを示すフローチャートである。この図１４に示すステップＳ５００では、フレーム画像を構成する複数の要素画像のうち、撮影画像に対する合成位置を変更することができるよう設定されている要素画像（以下「特定要素画像」という）の合成位置が、予め定められた位置に初期設定される。このフレーム画像の構成する要素画像と、図１３に示すステップＳ２１０において前述した顔領域の認識処理により得られる顔領域との位置関係について、図１５を参照して説明する。

【0086】

図１５は、フレーム画像の各要素画像と、利用者の顔領域との位置関係を示す図である。この図１５に示される撮影画像の外周に沿って配置される多数のハート型の画像は、ここでは撮影画像に対する合成位置を変更することができない要素画像（以下「装飾要素画像」という）である。

【0087】

なお、この装飾要素画像は、合成位置を変更すると撮影画像の外周に沿って多数が配置されるフレームとしてのデザインが崩れるため、合成位置の変更ができないよう設定されているが、デザインが崩れない場合であっても、構成要素間の距離が短いことから位置を変更しにくいなど、合成位置の変更ができないように設定されている理由について特に限定はない。また、特定要素画像として合成位置の変更ができるように設定される理由についても同様に限定はない。

【0088】

また図１５に示される顔領域の認識処理によって得られる顔領域Ｆ１〜Ｆ３には見やすくするために斜線が付されている。この顔領域Ｆ１〜Ｆ３は、図１０または図１１などに示される撮影画像に含まれる３人の利用者の像の顔部分に対応している。撮像画像からこの顔領域Ｆ１〜Ｆ３を認識する方法については前述したとおりである。

【0089】

なお、上記のように顔領域Ｆ１〜Ｆ３と実際の顔領域とは同一である必要はなく、実際の利用者の顔の像が占める領域よりも広い領域を顔領域に設定する構成であってもよい。そうすれば顔に接したまたは接近した位置に要素画像が配置されることを防止することができる。逆に、実際の利用者の顔の像が占める領域よりも狭い領域を顔領域に設定する構成であってもよい。そうすれば顔領域と若干重複する部分にも要素画像を配置することができるため、顔が大きく隠されないようにしつつ多くの装飾要素画像を配置することが可能になる。

【0090】

ここで、図１５を参照すれば分かるように、多数の装飾要素画像のうち、重複装飾要素画像５０１〜５０４だけが顔領域Ｆ１，Ｆ３と部分的に重なっており、またＪＡＮＵＡＲＹという文字を配置してなる特定要素画像５５０が顔領域Ｆ２と部分的に重なっている。このように利用者の前景として合成されるフレーム画像によって利用者の顔が隠されたり、はっきりと見えない形にならないように、以下のような処理が行われる。

【0091】

図１４に示すステップＳ５１０では、特定要素画像と顔領域との重なり量が演算される。２つの画像の重なり量は、例えば画像を構成する各画素を２つの画像間でＡＮＤ演算することにより得られる画素数によって算出されるなど周知の様々な手法が考えられ、適宜の演算手法を採用可能である。また重なり量は、重複する面積や、重なっている顔領域に対する割合など、重なりを示すどのような量で表されてもよい。ここでは例えば顔領域Ｆ３は、特定要素画像５５０と、その面積の２０％が重なっているものとする。

【0092】

続いてステップＳ５２０では、重なり量が所定値以下であるか否かが判定される。ここでこの所定値とは利用者の顔が隠されたり、はっきりと見えない形にならない程度に重なりが低減されるよう適宜の値が定められるが、重なりを一切認めない場合（重なりを完全に解消する場合）には適宜の値として０が設定される。上記判定の結果、重なり量が所定値以下である場合（ステップＳ５２０においてＹｅｓである場合）、処理はステップＳ５５０へ進み、所定値よりも大きい場合（ステップＳ５２０においてＮｏである場合）、処理はステップＳ５３０へ進む。

【0093】

ステップＳ５３０では、特定要素画像の撮影画像に対する合成位置が所定量だけ下方となるよう変更される。具体的には、撮影画像の左上隅を原点とすると、合成位置を示すＹ座標をＬだけ大きくする。続いて、ステップＳ５４０において、変更後の合成位置が下方限界位置であるか否かが判定される。ここで下方限界位置とは、典型的には次にＬだけ下方に座標を変更すると撮影画像外となる位置であるが、フレーム画像のデザイン上の観点など適宜の制約条件に基づいて限界となるべき位置が決定されてもよい。上記判定の結果、下方限界位置である場合（ステップＳ５４０においてＹｅｓである場合）、処理はステップＳ５５０へ進み、下方限界位置でない場合（ステップＳ５４０においてＮｏである場合）、処理はステップＳ５１０へ戻り、その後下方限界位置となるか、または重なり量が所定値以下になるまで、上記処理が繰り返される（Ｓ５４０→Ｓ５１０→Ｓ５２０→…→Ｓ５４０）。このようにすれば特定要素画像は下方限界まで到達しない限り下方へ移動されることにより、特定要素画像と顔領域との重なりが解消されることになる。

【0094】

次にステップＳ５５０では、複数の装飾要素画像のうちの１つと顔領域との重なり量を予め定められた順番で演算する。ここではハート型の装飾要素画像は２８個含まれており、例えば左上隅から時計回りに順に選ばれる１つの装飾要素画像と顔領域Ｆ１〜Ｆ３との重なり量が演算される。この重なり量の演算手法については、特定要素画像において説明したとおりである。

【0095】

続いてステップＳ５６０では、ステップＳ５５０における演算により得られる重なり量が所定値より大きいか否かが判定される。ここでの所定値については、ステップＳ５２０において説明したとおりである。上記判定の結果、重なり量が所定値より大きい場合（ステップＳ５６０においてＹｅｓである場合）、当該装飾要素画像を撮影画像に対して合成されるべき対象（合成対象）から消去する（ステップＳ５７０）。消去方法としては周知の様々な手法を適用可能であって、例えば合成対象として全ての装飾要素画像を含む画像を生成し、当該装飾要素画像をその中から実際に消去してもよいし、合成対象をリスト化しておき、当該リストから一時的に消去するような構成であってもよい。その後処理はステップＳ５８０へ進む。また重なり量が所定値以下である場合（ステップＳ５６０においてＮｏである場合）、処理はステップＳ５８０へ進む。

【0096】

ステップＳ５８０では、全装飾要素画像の演算が終了したか否かが判定され、終了していない場合、処理はステップＳ５５０に戻り、全装飾要素画像の演算が終了するまで上記処理が繰り返され（Ｓ５８０→Ｓ５５０→Ｓ５６０→…→Ｓ５８０）、終了するとステップＳ５７０において消去されなかった未消去の装飾要素画像全てと、（算出された合成位置に）特定要素画像とを、撮影画像に対して合成することにより合成画像を生成し（ステップＳ５９０）、フレーム画像の部分的変更処理が終了する。

【0097】

図１６は、以上のような処理の経過および結果、部分的に変更されたフレーム画像と、顔領域との位置関係を示す図である。図１６に示すように、特定要素画像５５０の合成位置は、初期位置から下方へＬだけ移動されたことにより、合成後の特定要素画像５５０と顔領域Ｆ３との重なりが解消されている。また、図１６を図１５と比較すれば分かるように、２８個のハート型の装飾要素画像のうち、重複装飾要素画像５０１〜５０４だけが顔領域Ｆ１，Ｆ３と部分的に重なっていたため、消去されている。

【0098】

このように、撮影画像に合成されるべき装飾要素画像のうち、利用者の顔部分に差し掛かる装飾要素画像は消去され、特定要素画像は利用者の顔部分に差し掛からないように合成位置が移動される。よって、フレーム画像の主要な画像要素であって、一連の文字や記号、模様などにより構成されているため、その一部を消去することが好ましくない画像を特定要素画像に設定すれば、装飾要素画像の場合とは異なり、その一部が消去されることなく、合成位置が移動される。よって、当該特定要素画像の示す意味や、連続性などに基づくデザインを保持する（または少なくとも大きく変えないようにする）ことが可能となる。

【0099】

また、フレーム画像の画像要素であって、位置を移動させることが他の画像要素との位置関係または（典型的には多数が設けられることによる全体的な）配置関係などの理由から好ましくないような画像を装飾要素画像に設定すれば、特定要素画像の場合とは異なり、その位置が移動されることなく、当該装飾要素画像が消去される。よって、当該装飾画像要素と他の画像要素との位置関係や全体的な配置関係などに基づく（典型的には全体的な）デザインを保持する（または少なくとも大きく変えないようにする）ことが可能となる。

【0100】

＜５．効果＞
以上のように本実施形態によれば、撮影画像に合成されるべき特定要素画像や装飾要素画像からなる付加画像が利用者の顔部分に差し掛かる状態を、撮影画像に基づき顔部分の領域を認識し、特定要素画像を移動し、または装飾要素画像を部分的に消去することにより、利用者の操作を要することなく自動的に、またデザインを大きく変えることなく低減または解消することができる。

【0101】

＜６．変形例＞
本実施形態では、特定要素画像の初期設定された合成位置から下方向へ移動させることにより合成位置を算出する構成であるが、上方向やその他の方向へ移動させてもよい。ただし、撮影画像に含まれる顔部分は通常撮影画像の上半分にあることが多く、また顔部分の上の空白部分（背景部分）には利用者による（ペンやスタンプなどの）落書きが含まれることが多いため、顔部分やこれらの落書き部分を避けるように下方向へ移動させることが好適である場合が多い。さらに、特定要素画像が撮影画像の上下方向に伸びる中心線に掛かりかつ上下方向とは異なる方向（典型的には左右方向）に配列される一連の文字、記号、または模様を示す複数の画像を含む場合には、当該特定要素画像が顔領域に差し掛かる可能性が高く、また当該特定要素画像を左右方向へ移動させても顔領域に差し掛かる状態が解消される可能性は低いと考えられるため、上下方向、特に上述した理由により下方向へ移動させることが好ましいと言える。

【0102】

また 本実施形態では、初期設定された合成位置から下方向へＬずつ移動させる計算式に基づき、利用者の顔部分に差し掛からない移動後の合成位置を算出する構成であるが、移動量や、移動のための計算式などは、移動距離やデザイン性、計算の容易性などの観点から様々に定めることができる。典型的には、デザイン性などの観点から好適な位置に設定されることが多い初期設定された合成位置から（徐々に）離れるように計算することが好ましく、また初期設定された合成位置にできるだけ近い位置に移動後の合成位置を定めることが好ましい。また計算方法も上記のように徐々に離れるように計算するのではなく、図１７に示すように一回的に移動後の合成位置を算出する手法が使用されてもよい。

【0103】

図１７は、移動後の特定要素画像の合成位置を一回的に算出する例を説明するための図である。図１７に示す特定要素画像５５０は、移動後の合成位置にあって、その上辺６０１および下辺６０２の一方が顔領域Ｆ３の下端に接するように移動後の位置が定められる。すなわち、この特定要素画像５５０の上辺６０１が顔領域Ｆ３に最も下方で接する接線となるように、移動後の合成位置が算出される。このような計算は顔領域に対する所定の傾きを有する接線を計算する一般的な方程式ないし近似式に基づき、一回的に行うことができる。このような接線方程式を使用する手法のほか、周知の様々な計算手法を適用可能である。また、移動後の合成位置を計算により算出しない方法も考えられる。以下、図１８を参照して説明する。

【0104】

図１８は、移動後の特定要素画像の合成位置を計算により算出しない例を説明するための図である。図１８には、特定要素画像の候補となる３つの候補特定要素画像５５１〜５５３が示されており、これらには図の上から順に高い優先順位が付されている。すなわち、候補特定要素画像５５１の優先順位は第１位であり、候補特定要素画像５５２の優先順位は第２位であり、候補特定要素画像５５３の優先順位は第３位である。

【0105】

ここでまず、候補特定要素画像５５１〜５５３のうち、顔領域Ｆ１〜Ｆ３のいずれかの領域（ここでは顔領域Ｆ３）と重複する部分を有しないものは、候補特定要素画像５５３および候補特定要素画像５５２であり、これらのうち優先順位が最も高いものを特定要素画像と決定する。ここでは優先順位が第２位の候補特定要素画像５５２が特定要素画像と決定され、撮影画像に対して合成される。このように、予め定められた（合成位置に合成されるべき）候補となる複数の特定要素画像のうち、顔領域と重ならず、かつ最も優先順位が高い候補特定要素画像を特定要素画像と定めることにより、複雑な計算を行うことなく、簡単に顔領域と重複しない位置に合成されるべき特定要素画像の合成位置を定めることができる。また、候補となる複数の特定要素画像をデザイン上好適なものに限定して設定すれば、上記のように計算で算出する場合よりも、デザイン上好適な位置に合成することができる場合が多くなると言える。また上記優先順位を顔領域から近い順に定めるのではなく、デザイン上優れた順に定める構成であってもよい。そうすれば、特定要素画像をよりデザイン上好適な位置に合成することができる。

【0106】

もっとも、前述したように合成位置を計算により（典型的には一回的に）算出する構成では、予め複数の候補となる合成位置の中から選択する構成よりも、さらに（典型的にはデザイン上）好適な位置を算出することができる場合もあり得ると考えられ、また候補となる合成位置では全てが顔領域と重なってしまう場合であっても、顔領域と重ならない合成位置を算出可能である点で優れていると言える。

【0107】

本実施形態では、フレーム画像は特定要素画像と複数の装飾要素画像とを含むように説明したが、１つ以上の特定要素画像のみを含む構成であってもよい。また、フレーム画像は前景画像である特定要素画像の他に、利用者の像に対して背景となるべき背景画像を含んでいてもよい。ここで背景画像とは、利用者の顔領域だけでなく、（前述したクロマキー処理により抽出される）利用者の像全体に対して背景となるべき画像を指す。したがって、利用者の顔領域に対してのみ背景となる（背景として見える）画像は背景画像ではなく、特殊な前景画像であると言える。フレーム画像は、特定要素画像の他に、この特殊な前景画像を含んでいてもよい。

【0108】

図１９は、特定要素画像と複数の特殊な前景画像とを含むフレーム画像と顔領域との関係を示す図である。この図１９に示されるように、特定要素画像５５０は、上記実施形態と同様に初期設定された合成位置から下方へＬだけ移動された合成位置に合成されている。また、この図１９には、装飾要素画像に代えて、同様のハート型の多数の特殊な前景画像が示されている。これらの特殊な前景画像のうち、４つの特殊前景画像６０１〜６０４だけが顔領域Ｆ１，Ｆ２に部分的に隠されている（この部分だけを見れば背景となっている）。このように装飾要素画像のように顔領域に重なる装飾要素画像を消去するのではなく、あたかも背景画像のように顔領域に対して部分的に隠される構成とすれば、当該ハート型の画像が利用者の顔部分に差し掛かる状態を解消することができる。

【0109】

本実施形態では、特定要素画像が１つである例で説明したが複数であってもよく、また装飾要素画像の数にも特に限定はない。なお、特定要素画像が複数設けられる場合、顔領域と重複する場合におけるそれらの移動方向や移動量、移動のための計算手法などは、それぞれにおいて適宜に定められていればよく、同一である必要はない。さらに、特定要素画像が形状を保持したまま移動されなければならないわけではなく、顔領域に重ならないように部分的に（または全体的に）変形されてもよい。この場合には変形された部分の合成位置が予め定められた合成位置から変更される構成であると言える。

【符号の説明】

【0110】

３…撮影ユニット
４…編集ユニット
５…出力ユニット
６…ネットワーク（ＬＡＮ）
１０…カメラ
２０…撮影操作用タッチパネル
３０…出力操作用タッチパネル
３５…ネットワークプリンタ
３１…赤外線ポート
７０…第１の制御部
７２…第１の表示・操作部（撮影操作用タッチパネル）
８０…第２の制御部
８１，８２…第２の表示・操作部（編集操作用タッチパネル）
９０…第３の制御部
９１…第３の表示・操作部（出力操作用タッチパネル）
９２…印刷出力部（ネットワークプリンタ）
９４…非接触通信部（赤外線ポート）
４００…編集操作用タッチパネル
５５０…特定要素画像
Ｆ１〜Ｆ３…顔領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】