特許 5750253 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5750253

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】画像生成プログラム、撮像装置、撮像システム、及び画像生成方法

(51)【国際特許分類】

   G06T 1/00 20060101AFI20150625BHJP

   H04N 5/232 20060101ALI20150625BHJP

【ＦＩ】

   G06T1/00 340A

   H04N5/232 Z

【請求項の数】15

【全頁数】39

(21)【出願番号】特願2010-217532(P2010-217532)

(22)【出願日】2010年9月28日

(65)【公開番号】特開2012-73782(P2012-73782A)

(43)【公開日】2012年4月12日

【審査請求日】2013年8月7日

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】110001276

【氏名又は名称】特許業務法人 小笠原特許事務所

(74)【代理人】

【識別番号】100098291

【弁理士】

【氏名又は名称】小笠原 史朗

(74)【代理人】

【識別番号】100151541

【弁理士】

【氏名又は名称】高田 猛二

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】秋房 祐亮

(72)【発明者】

【氏名】森 直子

(72)【発明者】

【氏名】吉田 美鈴

(72)【発明者】

【氏名】鍵田 亜沙子

(72)【発明者】

【氏名】山根 隆薫

【審査官】 新井 則和

(56)【参考文献】

【文献】 特開２００６−３４４１９９（ＪＰ，Ａ）

【文献】 特開２００７−３００５６２（ＪＰ，Ａ）

【文献】 特開２００９−２２５３９８（ＪＰ，Ａ）

【文献】 国際公開第２００９／００１５３０（ＷＯ，Ａ１）

【文献】 特開２０００−０２２９２９（ＪＰ，Ａ）

【文献】 特開２００３−１４３３９２（ＪＰ，Ａ）

【文献】 特開２００７−０７９８９４（ＪＰ，Ａ）

【文献】 特開２００５−３１８３４７（ＪＰ，Ａ）

【文献】 特開２０１０−０９３７４１（ＪＰ，Ａ）

【文献】 近江幹，ｉＰｈｏｎｅ＆ｉＰｏｄ ｔｏｕｃｈの最新アプリをチェック！ ＋ＡＰＰｓ，Ｍａｃ Ｆａｎ 第１７巻 第１号，日本，株式会社毎日コミュニケーションズ，２００９年 １月 １日，第17巻 第1号，p.186-186

【文献】 大崎誠，びっくりする写真が簡単に作れる マジカルフォトレタッチ術，ＰＣ Ｊａｐａｎ 第１３巻 第１１号，日本，ソフトバンククリエイティブ株式会社，２００８年１１月 １日，第13巻 第11号，p.82-89

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像装置のコンピュータに実行させる画像生成プログラムであって、
前記コンピュータを、
撮像部によって撮像された画像を第１撮像画像として取得する画像取得手段と、
前記画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する第１判定手段と、
前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定された場合に、当該顔画像を使用する２以上の画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する画像処理方法選択手段と、
前記第１撮像画像に対して、前記画像処理方法選択手段によって選択された画像処理を施す画像処理手段として機能させる、画像生成プログラム。

【請求項2】

前記コンピュータを、
前記撮像部によって予め撮像された画像を第２撮像画像としてメモリに記憶する記憶制御手段と、
前記第２撮像画像に顔を表す顔画像が含まれているか否かを判定する第２判定手段として更に機能させ、
前記画像処理方法選択手段は、前記第２撮像画像に顔画像が含まれていると前記第２判定手段によって判定された場合に、当該顔画像を使用する画像処理を含む前記複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項１に記載の画像生成プログラム。

【請求項3】

前記コンピュータを、前記画像処理手段によって画像処理が施された前記第１撮像画像を、前記撮像装置が備える表示手段に表示させる第１表示制御手段として更に機能させる、請求項１に記載の画像生成プログラム。

【請求項4】

前記コンピュータを、前記撮像部によってリアルタイムに撮像される画像の代わりに、当該画像を含まない代替画像を前記撮像装置が備える表示手段に表示させる第２表示制御手段として更に機能させる、請求項１又は３に記載の画像生成プログラム。

【請求項5】

前記コンピュータを、前記撮像部によってリアルタイムに撮像される画像に含まれている顔を表す顔画像の位置を特定する位置特定手段として更に機能させ、
前記第２表示制御手段は、前記位置特定手段によって特定された顔画像の位置を示唆するマーカ画像を含む前記代替画像を前記表示手段に表示させる、請求項４に記載の画像生成プログラム。

【請求項6】

前記第１判定手段は、前記第１撮像画像に複数の顔画像が含まれているか否かを判定し、
前記画像処理方法選択手段は、前記第１撮像画像に複数の顔画像が含まれていると前記第１判定手段によって判定された場合に、当該複数の顔画像同士を入れ替える画像処理を含む前記複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項１に記載の画像生成プログラム。

【請求項7】

前記画像処理方法選択手段は、前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定された場合に、当該顔画像を複製して前記第１撮像画像に挿入する画像処理を含む前記複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項１に記載の画像生成プログラム。

【請求項8】

前記画像処理方法選択手段は、前記第２撮像画像に顔画像が含まれていると前記第２判定手段によって判定された場合に、当該顔画像を前記第１撮像画像に挿入する画像処理を含む前記複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項２に記載の画像生成プログラム。

【請求項9】

前記画像処理方法選択手段は、前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定され、且つ前記第２撮像画像に顔画像が含まれていると前記第２判定手段によって判定された場合に、前記第１撮像画像に含まれている顔画像を前記第２撮像画像に含まれている顔画像に差し替える画像処理を含む前記複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項２に記載の画像生成プログラム。

【請求項10】

前記画像処理方法選択手段は、前記第２撮像画像に顔画像が含まれていないと前記第２判定手段によって判定された場合に、顔画像を使用しない画像処理をランダムに選択する、請求項２に記載の画像生成プログラム。

【請求項11】

前記撮像部によって前記第１撮像画像よりも前に撮像された画像を第２撮像画像として記憶する記憶手段を備え、
前記画像処理方法選択手段は、前記第１撮像画像に含まれている顔を表す顔画像を使用する画像処理と、前記第２撮像画像に含まれている顔を表す顔画像を使用する画像処理とを含む複数の画像処理から、いずれかの画像処理をランダムに選択する、請求項１に記載の画像生成プログラム。

【請求項12】

前記画像処理方法選択手段は、前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定された場合に、当該顔画像を使用する複数の画像処理のいずれかを選択する、請求項１に記載の画像生成プログラム。

【請求項13】

撮像部によって撮像された画像を第１撮像画像として取得する画像取得手段と、
前記画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する第１判定手段と、
前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定された場合に、当該顔画像を使用する２以上の画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する画像処理方法選択手段と、
前記第１撮像画像に対して、前記画像処理方法選択手段によって選択された画像処理を施す画像処理手段とを備える、撮像装置。

【請求項14】

撮像部によって撮像された画像を第１撮像画像として取得する画像取得手段と、
前記画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する第１判定手段と、
前記第１撮像画像に顔画像が含まれていると前記第１判定手段によって判定された場合に、当該顔画像を使用する２以上の画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する画像処理方法選択手段と、
前記第１撮像画像に対して、前記画像処理方法選択手段によって選択された画像処理を施す画像処理手段とを含む、撮像システム。

【請求項15】

撮像装置に実行される画像生成方法であって、
撮像部によって撮像された画像を第１撮像画像として取得するステップと、
取得された前記第１撮像画像に顔を表す顔画像が含まれているか否かを判定するステップと、
前記第１撮像画像に顔画像が含まれていると判定した場合に、当該顔画像を使用する２以上の画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択するステップと、
前記第１撮像画像に対して、前記選択するステップで選択した画像処理を施すステップとを含む、画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法に関し、より特定的には、人物等の顔を撮像して得られた撮像画像に対して顔認識機能を用いて画像処理を行う撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法に関する。

【背景技術】

【0002】

近年、撮像装置は高機能化しており、撮影により得られた画像を単に記録するだけではなく、撮像装置において様々な画像処理が行われている。例えば特許文献１には、人物を撮影して得られた画像から顔認識機能を用いて人物の顔を検出し、検出した顔の肌色部分を補正する機能を備えた撮像装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６−１４８３２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、特許文献１に記載の撮像装置の画像処理機能は、より綺麗な写真を撮ることに対しては有効であるが、同じ撮像装置で同じ被写体を撮影すると同様の画像処理が施されて同じような写真が撮影されるため、意外性に欠け、撮像装置のユーザに興趣をもたらす効果が低かった。

【0005】

それ故に、本発明の目的は、意外性があり且つ興趣性が高い撮像画像を得ることができる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法を提供することである。

【課題を解決するための手段】

【0006】

本発明に係る画像生成プログラムは、撮像装置のコンピュータに実行させる画像生成プログラムであって、コンピュータを、画像取得手段、第１判定手段、画像処理方法選択手段、及び画像処理手段として機能させる。画像取得手段は、撮像部によって撮像された画像を第１撮像画像として取得する。第１判定手段は、画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する。画像処理方法選択手段は、第１撮像画像に顔画像が含まれていると第１判定手段によって判定された場合に、その顔画像を使用する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する。画像処理手段は、第１撮像画像に対して、画像処理方法選択手段によって選択された画像処理を施す。

【0007】

例えば撮像装置のユーザによって所定の操作が行われたときに、撮像部によって撮像された画像が第１撮像画像として取得される。第１撮像画像が取得されると、その第１撮像画像に顔画像が含まれているか否かが判定される。そして、第１撮像画像に顔画像が含まれていると判定された場合、複数の画像処理からいずれかの画像処理がランダムに選択され、第１撮像画像に対して、選択された画像処理が施される。このようにランダムに選択された画像処理が施されることで、撮像装置のユーザが意図しない画像処理が施された意外性がある撮像画像が得られる。なお、選択可能な画像処理には、第１撮像画像に含まれている顔画像を使用する画像処理が含まれている。このため、顔画像を使用する画像処理が選択されて第１撮像画像に施された場合に、意外性があるだけではなく、興趣性が高い
撮像画像が得られる。

【0008】

なお、第１撮像画像内の顔画像を使用する画像処理としては、第１撮像画像に含まれている顔画像を複製してその第１撮像画像に挿入する処理、第１撮像画像に含まれている顔画像を複製すると共に複製した顔画像を拡大又は縮小して第１撮像画像に挿入する処理、第１撮像画像に含まれている顔画像同士を入れ替える処理が例として挙げられる。ただし、第１撮像画像内の顔画像を使用する画像処理は、その顔画像を使用する画像処理であれば、ここで例示した画像処理に限定されるものではない。

【0009】

コンピュータを、撮像部によって予め撮像された画像を第２撮像画像としてメモリに記憶する記憶制御手段、及び第２撮像画像に顔を表す顔画像が含まれているか否かを判定する第２判定手段として更に機能させてもよい。この場合、画像処理方法選択手段は、第２撮像画像に顔画像が含まれていると第２判定手段によって判定された場合に、その顔画像を使用する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する。

【0010】

この構成によれば、画像処理方法選択手段が選択可能な画像処理に、予めメモリに記憶されている第２撮像画像に含まれている顔画像を使用する画像処理が含まれている。つまり、リアルタイムに取得される第１撮像画像には含まれていない顔画像を使用する画像処理を選択可能である。このため、第２撮像画像内の顔画像を使用する画像処理が選択されて第１撮像画像に施された場合に、第１撮像画像内の顔画像を使用する画像処理が選択される場合に比べて、より一層意外性があって興趣性が高い撮像画像が得られる。

【0011】

なお、第２撮像画像内の顔画像を使用する画像処理としては、第２撮像画像に含まれている顔画像を第１撮像画像に挿入する処理、第１撮像画像に含まれている顔画像を第２撮像画像に含まれている顔画像に差し替える処理が例として挙げられる。ただし、第２撮像画像内の顔画像を使用する画像処理は、その顔画像を使用する画像処理であれば、ここで例示した画像処理に限定されるものではない。

【0012】

コンピュータを、画像処理手段によって画像処理が施された第１撮像画像を、撮像装置が備える表示手段に表示させる第１表示制御手段として更に機能させてもよい。

【0013】

この構成によれば、画像処理手段によって画像処理が施された第１撮像画像が表示手段に表示されるので、撮像装置のユーザが画像処理の結果を容易に確認することが可能になる。

【0014】

コンピュータを、撮像部によってリアルタイムに撮像される画像の代わりに、この画像を含まない代替画像を撮像装置が備える表示手段に表示させる第２表示制御手段として更に機能させてもよい。

【0015】

ところで、撮像部によってリアルタイムに撮像される画像が表示手段に表示される場合、その表示内容から撮像装置のユーザが画像処理の結果を容易に予測できてしまう可能性がある。上記構成によれば、撮像部によってリアルタイムに撮像される画像が表示手段に表示されないので、画像処理によって得られる画像の意外性が低下してしまうのを防止することが可能になる。なお、代替画像の表示期間は特に限定されるものではないが、例えば、第１撮像画像が取得される前から、画像処理が施された第１撮像画像が表示されるまでの間、継続して代替画像を表示手段に表示させる態様が挙げられる。

【0016】

コンピュータを、撮像部によってリアルタイムに撮像される画像に含まれている顔を表す顔画像の位置を特定する位置特定手段として更に機能させてもよい。この場合、第２表
示制御手段は、位置特定手段によって特定された顔画像の位置を示唆するマーカ画像を含む代替画像を表示手段に表示させる。

【0017】

撮像部によって撮像された第１撮像画像に顔を表す顔画像が含まれていなければ、顔画像を用いた画像処理を選択して実行することはできない。上記構成によれば、撮像部によって撮影される顔の位置を示唆するマーカ画像を含んだ代替画像が表示手段に表示されるので、撮像装置のユーザは、代替画像を見ながら表示手段の画面に顔が含まれるように撮影を行って、顔画像を使用する画像処理が施された撮像画像が得られ易い状況を意図的に作り出すことが可能になる。

【0018】

第１判定手段は、第１撮像画像に複数の顔画像が含まれているか否かを判定してもよい。この場合、画像処理方法選択手段は、第１撮像画像に複数の顔画像が含まれていると第１判定手段によって判定された場合に、これら複数の顔画像同士を入れ替える画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する。

【0019】

この構成によれば、撮像部によって複数人の顔が撮影された場合に、複数人の顔が入れ替わるという実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い撮像画像を得ることが可能になる。

【0020】

画像処理方法選択手段は、第１撮像画像に顔画像が含まれていると第１判定手段によって判定された場合に、その顔画像を複製して第１撮像画像に挿入する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択してもよい。

【0021】

この構成によれば、撮像部によって顔が撮影された場合に、心霊写真のようにあるはずのない場所に顔が写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い撮像画像を得ることが可能になる。

【0022】

画像処理方法選択手段は、第２撮像画像に顔画像が含まれていると第２判定手段によって判定された場合に、その顔画像を第１撮像画像に挿入する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択してもよい。

【0023】

この構成によれば、撮像部の前方には存在していない顔が写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い撮像画像を得ることが可能になる。なお、第１撮像画像には含まれていない顔画像が第１撮像画像に挿入されるので、第１撮像画像に含まれている顔画像を複製して第１撮像画像に挿入する場合に比べて、より意外性があってより興趣性が高い撮像画像が得られる。

【0024】

画像処理方法選択手段は、第１撮像画像に顔画像が含まれていると第１判定手段によって判定され、且つ第２撮像画像に顔画像が含まれていると第２判定手段によって判定された場合に、第１撮像画像に含まれている顔画像を第２撮像画像に含まれている顔画像に差し替える画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択してもよい。

【0025】

この構成によれば、第１撮像画像に含まれているはずの顔が撮像部の前方には存在していない顔として写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い撮像画像を得ることが可能になる。

【0026】

画像処理方法選択手段は、第２撮像画像に顔画像が含まれていないと第２判定手段によって判定された場合に、顔画像を使用しない画像処理をランダムに選択する。

【0027】

仮に、画像処理方法選択手段によって顔画像を使用する画像処理が連続して選択された場合、画像処理によって得られる撮像画像の意外性が低下する可能性がある。上記構成によれば、顔画像を使用する画像処理と、顔画像を使用しない画像処理とがランダムに選択されるので、顔画像を使用する画像処理が施された撮像画像が得られることもあれば、顔画像を使用しない画像処理が施された撮像画像が得られることもある。このため、画像処理によって得られる撮像画像の意外性の低下を抑制することが可能になる。

【0028】

本発明は、画像取得手段、第１判定手段、画像処理方法選択手段、及び画像処理手段とを備える撮像装置として捉えることもできる。画像取得手段は、撮像部によって撮像された画像を第１撮像画像として取得する。第１判定手段は、画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する。画像処理方法選択手段は、第１撮像画像に顔画像が含まれていると第１判定手段によって判定された場合に、その顔画像を使用する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する。画像処理手段は、第１撮像画像に対して、画像処理方法選択手段によって選択された画像処理を施す。

【0029】

また、本発明は、画像取得手段、第１判定手段、画像処理方法選択手段、及び画像処理手段を含む撮像システムとして捉えることもできる。画像取得手段は、撮像部によって撮像された画像を第１撮像画像として取得する。第１判定手段は、画像取得手段によって取得された第１撮像画像に顔を表す顔画像が含まれているか否かを判定する。画像処理方法選択手段は、第１撮像画像に顔画像が含まれていると第１判定手段によって判定された場合に、その顔画像を使用する画像処理を含む複数の画像処理から、いずれかの画像処理をランダムに選択する。画像処理手段は、第１撮像画像に対して、画像処理方法選択手段によって選択された画像処理を施す。

【0030】

また、本発明は、撮像装置に実行される画像生成方法として捉えることもできる。この画像生成方法では、まず、撮像部によって撮像された画像が第１撮像画像として取得される。次に、取得された第１撮像画像に顔を表す顔画像が含まれているか否かが判定される。続いて、第１撮像画像に顔画像が含まれていると判定された場合に、その顔画像を使用する画像処理を含む複数の画像処理から、いずれかの画像処理がランダムに選択される。そして、第１撮像画像に対して、ランダムに選択された画像処理が施される。

【発明の効果】

【0031】

この発明によれば、ランダムに選択された画像処理が第１撮像画像に施されるので、撮像装置のユーザが意図しない画像処理が施された、意外性がある撮像画像を得ることができる。また、第１撮像画像に対する画像処理として、第１撮像画像に含まれている顔画像を使用する画像処理が選択され得る。このため、顔画像を使用する画像処理が選択されて第１撮像画像に施されることで、意外性があるだけではなく興趣性が高い撮像画像を得ることができる。

【図面の簡単な説明】

【0032】

【図1】開いた状態のゲーム装置１０の正面図

【図2】開いた状態のゲーム装置１０の右側面図

【図3A】閉じた状態のゲーム装置１０の左側面図

【図3B】閉じた状態のゲーム装置１０の正面図

【図3C】閉じた状態のゲーム装置１０の右側面図

【図3D】閉じた状態のゲーム装置１０の背面図

【図4】ゲーム装置１０の内部構成の一例を示すブロック図

【図5】上側ＬＣＤ２２及び下側ＬＣＤ１２の表示例を示すゲーム装置１０の正面図

【図6】外カメラ画像５１から顔画像５４，５５を取得する処理について説明するための説明図

【図7】人物７４の顔が昇っていく様子を表した不思議画像９１を示す上側ＬＣＤ２２の画面図

【図8】人物７５の顔が曼陀羅のように配置された不思議画像９２を示す上側ＬＣＤ２２の画面図

【図9】人物７４の顔と人物７５の顔が入れ替えられた不思議画像９３を示す上側ＬＣＤ２２の画面図

【図10】保存画像５６から顔画像５９を取得する処理について説明するための説明図

【図11】人物７４の顔画像５４が顔画像５９に差し替えられた不思議画像９４を示す上側ＬＣＤ２２の画面図

【図12】人物７４，７５の顔画像５４，５５が顔画像５９に差し替えられた不思議画像９５を示す上側ＬＣＤ２２の画面図

【図13】外カメラ画像５１に複数の顔画像５９が挿入された不思議画像９６を示す上側ＬＣＤ２２の画面図

【図14】外側撮像部２３による撮影で得られた外カメラ画像５０の一例を示す図

【図15】外カメラ画像５０に複数の顔画像５９が挿入された不思議画像９７を示す上側ＬＣＤ２２の画面図

【図16】メインメモリ３２のメモリマップ

【図17】撮影が行われる際にゲーム装置１０で実行される処理の一例を示すフローチャート

【図18】撮影が行われる際にゲーム装置１０で実行される処理の一例を示すフローチャート

【図19】図１８のステップＳ３１，３２における同一性判定処理の詳細フローチャート

【図20】外カメラ画像５１に含まれている２つの顔領域８１，８２を示す説明図

【図21】顔画像５４，５５を外カメラ画像５１に挿入するシャッフル処理の流れについて説明するための説明図

【図22】ステップＳ４３のシャッフル処理の詳細フローチャート

【図23】顔領域８１を規定する特徴点Ｐ１〜Ｐ１６を示す説明図

【図24】複数のポリゴンＰＧ１を示す説明図

【図25】顔領域８２を規定する特徴点Ｐ２１〜Ｐ３６を示す説明図

【図26】複数のポリゴンＰＧ２を示す説明図

【発明を実施するための形態】

【0033】

以下、適宜図面を参照しつつ、本発明の一実施形態に係る画像生成プログラムを実行する撮像装置について説明する。なお、本発明の画像生成プログラム及び撮像装置は任意のコンピュータシステムに適用可能であるが、本実施形態では、撮像装置の一例としての携帯型のゲーム装置１０において、外部メモリ４５に記録されている画像生成プログラムが実行される場合を例に説明する。

【0034】

［ゲーム装置１０の構成］
図１は、開いた状態のゲーム装置１０の正面図である。図２は、開いた状態のゲーム装置１０の右側面図である。図３Ａは、閉じた状態のゲーム装置１０の左側面図である。図３Ｂは、閉じた状態のゲーム装置１０の正面図である。図３Ｃは、閉じた状態のゲーム装置１０の右側面図である。図３Ｄは、閉じた状態のゲーム装置１０の背面図である。

【0035】

ゲーム装置１０は、交換可能なメモリカード（外部メモリ４５）内に記憶されたプログラム、又はサーバや他のゲーム装置から受信したプログラムを実行可能である。また、ゲーム装置１０は、画像を撮像する撮像部を有しており、撮像された撮像画像（以下「カメ
ラ画像」という。）を表示したり保存したりすることができる。なお、以下の説明では、撮像部によりカメラ画像をリアルタイムに取得することを「撮像」といい、ユーザの指示に応じて撮像部によりカメラ画像を取得して保存することを「撮影」というものとする。

【0036】

ゲーム装置１０は、下側ハウジング１１及び上側ハウジング２１を備える。上側ハウジング２１は、下側ハウジング１１に対して開閉可能に連結されている。このため、ゲーム装置１０は折り畳みが可能である。このゲーム装置１０は、開いた状態（図１，２参照）で使用され、未使用時には閉じた状態（図３Ａ〜図３Ｄ参照）で保管される。

【0037】

［下側ハウジング１１の構成］
図１〜図３Ｄに示されるように、下側ハウジング１１には、下側ＬＣＤ（Liquid Crystal Display：液晶表示装置）１２、タッチパネル１３、各操作ボタン１４（１４Ａ〜１４Ｌ）、アナログスティック１５、ＬＥＤ１６Ａ，１６Ｂ、収容部１７、マイクロフォン用孔１８、及び無線スイッチ１９が設けられている。

【0038】

下側ＬＣＤ１２は、画像を平面的に表示する横長の表示画面を有しており、下側ハウジング１１の内側面１１Ｂの中央に設けられている。下側ＬＣＤ１２の画素数は、本実施形態では２５６ｄｏｔ×１９２ｄｏｔ（横×縦）であるが、これ以外の解像度であってもよい。なお、下側ＬＣＤ１２はＬＣＤに限定されるものではなく、例えばＥＬ（Electro Luminescence）を利用した表示装置等の他の表示装置であってもよい。

【0039】

タッチパネル１３は、下側ＬＣＤ１２の表示画面を覆うように設けられており、座標入力手段として機能する。タッチパネル１３として、本実施形態では抵抗膜方式のタッチパネルが用いられるが、静電容量方式等の他の方式のタッチパネルが用いられてもよい。

【0040】

収容部１７（図１、図３Ｄに示す破線）には、ユーザがタッチパネル１３に対する操作に使用するタッチペン２８が下側ハウジング１１の上面から収納される。なお、タッチパネル１３に対する入力は、例えばユーザが指で行うことも可能である。

【0041】

図１に示されるように、下側ハウジング１１の内側面１１Ｂには、十字ボタン１４Ａ、ボタン１４Ｂ、ボタン１４Ｃ、ボタン１４Ｄ、ボタン１４Ｅ、電源ボタン１４Ｆ、セレクトボタン１４Ｊ、ＨＯＭＥボタン１４Ｋ、及びスタートボタン１４Ｌが設けられている。また、図３Ｂ及び図３Ｄに示されるように、下側ハウジング１１の上面の左端部にＬボタン１４Ｇが設けられ、右端部にＲボタン１４Ｈが設けられている。また、図３Ａに示されるように、下側ハウジング１１の左側面には、音量ボタン１４Ｉが設けられている。これらの操作ボタン１４Ａ〜１４Ｌには、ゲーム装置１０が実行するプログラムに応じた機能が適宜割り当てられる。例えば、十字ボタン１４Ａは選択操作等に使用され、Ｌボタン１４Ｇ及びＲボタン１４Ｈは、撮像部による撮影の指示に使用される。

【0042】

アナログスティック１５（図１参照）は、方向を指示するデバイスである。このアナログスティック１５及び十字ボタン１４Ａは、下側ハウジング１１を把持したユーザが左手の親指で操作可能な位置に設けられている。アナログスティック１５は、そのキートップが、下側ハウジング１１の内側面１１Ｂに対して平行にスライド可能に構成されており、ゲーム装置１０が実行するプログラムに応じて機能する。

【0043】

下側ハウジング１１の内側面１１Ｂには、マイクロフォン用孔１８が形成されている。下側ハウジング１１の内部には、後述するマイク４３（図４参照）が設けられており、マイクロフォン用孔１８を介して入力された音がマイク４３によって検出される。

【0044】

図３Ａに示されるように、下側ハウジング１１の左側面には、開閉可能なカバー部１１
Ｃが設けられている。このカバー部１１Ｃの内部には、データ保存用外部メモリ４６（図１参照）をゲーム装置１０に対して着脱可能に装着するためのコネクタ（不図示）が設けられている。データ保存用外部メモリ４６（メモリの一例）は、このコネクタに接続された状態で、例えばゲーム装置１０によって撮像されたカメラ画像を記憶（保存）する。

【0045】

図３Ｄに示されるように、下側ハウジング１１の上面には、挿入口１１Ｄが形成されている。この挿入口１１Ｄの内部には、画像生成プログラム等を記録した記録媒体としての外部メモリ４５（図１参照）をゲーム装置１０に対して着脱可能に装着するためのコネクタ（不図示）が設けられている。挿入口１１Ｄから挿入された外部メモリ４５がこのコネクタに接続されることで、画像生成プログラムがゲーム装置１０に読み出される。

【0046】

図１に示されるように、下側ハウジング１１の下面には、第１ＬＥＤ１６Ａが設けられている。第１ＬＥＤ１６Ａは、ゲーム装置１０の電源のＯＮ／ＯＦＦ状況をユーザに通知する。図３Ｃに示されるように、下側ハウジング１１の右側面には、第２ＬＥＤ１６Ｂが設けられている。ゲーム装置１０は、他の機器との間で無線通信を行うことが可能に構成されている。第２ＬＥＤ１６Ｂは、ゲーム装置１０の無線通信の確立状況をユーザに通知する。ゲーム装置１０は、無線ＬＡＮに接続する機能を有する。第２ＬＥＤ１６Ｂに近接して設けられた無線スイッチ１９が操作されることにより、この無線通信の機能が有効／無効になる。

【0047】

［上側ハウジング２１の構成］
上側ハウジング２１には、上側ＬＣＤ２２（表示手段の一例）、外側撮像部２３、内側撮像部２４、３Ｄ調整スイッチ２５、及び３Ｄインジケータ２６が設けられている。

【0048】

図１に示されるように、ゲーム装置１０が折り畳まれた際に内側面１１Ｂと対向する上側ハウジング２１の内側面２１Ｂに、上側ＬＣＤ２２が設けられている。上側ＬＣＤ２２は、横長の表示画面を有しており、内側面２１Ｂの中央に設けられている。上側ＬＣＤ２２の画素数は、本実施形態では６４０ｄｏｔ×２００ｄｏｔ（横×縦）であるが、これ以外の解像度であってもよい。なお、上側ＬＣＤ２２はＬＣＤに限定されるものではなく、例えばＥＬを利用した表示装置等の他の表示装置であってもよい。

【0049】

上側ＬＣＤ２２は、立体視可能な画像（立体画像）を表示する表示装置である。上側ＬＣＤ２２は、実質的に同一の表示領域を用いて左目用画像と右目用画像とを表示する。具体的には、上側ＬＣＤ２２は、左目用画像と右目用画像とを所定単位で（例えば、１列ずつ）横方向に交互に表示する。なお、上側ＬＣＤ２２は、左目用画像と右目用画像とを交互に表示する方式の表示装置であってもよい。また、上側ＬＣＤ２２は、裸眼立体視可能な表示装置である。この場合、上側ＬＣＤ２２は、横方向に交互に表示される左目用画像と右目用画像とを左目及び右目のそれぞれに分解して見えるようにレンチキュラー方式やパララックスバリア方式（視差バリア方式）のものが用いられる。本実施形態では、上側ＬＣＤ２２は、パララックスバリア方式のものとする。上側ＬＣＤ２２は、視差バリアを用いてユーザの左目に左目用画像をユーザの右目に右目用画像をそれぞれ視認させることにより、ユーザにとって立体感のある立体画像（立体視可能な画像）を表示する表示装置として機能する。なお、上側ＬＣＤ２２は、視差バリアを無効にすることができ、これにより、画像を平面的に表示することもできる。

【0050】

３Ｄ調整スイッチ２５は、図１及び図２に示されるように、上側ハウジング２１の内側面１１Ｂと右側面とが交差する部分に設けられている。この３Ｄ調整スイッチ２５は、例えば上下方向へスライド可能なスライダを有している。このスライダが最下点位置に配置されている場合、上側ＬＣＤ２２の視差バリアが無効にされ、上側ＬＣＤ２２に画像が平面的に表示される。一方、スライダが最下点よりも上側に配置されている場合、上側ＬＣ
Ｄ２２に画像が立体的に表示される。なお、スライダの位置を変化させることで、左目用画像と右目用画像との横方向の位置のズレ量が変化し、立体画像の見え方が調整される。

【0051】

３Ｄインジケータ２６は、図１に示されるように、上側ハウジング２１の内側面２１Ｂに設けられている。３Ｄインジケータ２６は上側ＬＣＤ２２が立体表示モードであるか否かを報知するものである。この３Ｄインジケータ２６は、本実施形態ではＬＥＤであり、上側ＬＣＤ２２が立体表示モードであるとき（３Ｄ調整スイッチ２５が最下点よりも上側に配置されているとき）に点灯する。

【0052】

外側撮像部２３（撮像部の一例）は、図３Ｂに示されるように、上側ハウジング２１の外側面２１Ｄ（内側面２１Ｂとは反対側の面）に設けられている。この外部撮像部２３は、外側左撮像部２３Ａ及び外側右撮像部２３Ｂから構成されている。外側左撮像部２３Ａ及び外側右撮像部２３Ｂは、それぞれ所定の共通の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを有している。外側左撮像部２３Ａ及び外側右撮像部２３Ｂは、ユーザが上側ＬＣＤ２２を正面から視認した場合に、図１に示されるように、外側左撮像部２３Ａが左側に位置すると共に外側右撮像部２３Ｂが右側に位置するように設けられている。なお、外側左撮像部２３Ａ及び外側右撮像部２３Ｂの間隔は、人間の両目の間隔程度に設定されている。また、外側左撮像部２３Ａ及び外側右撮像部２３Ｂの撮像方向５２（図２参照）は、いずれも外側面２１Ｄの外向きの法線方向であり、且つ互いに平行である。

【0053】

外側左撮像部２３Ａと外側右撮像部２３Ｂとは、ゲーム装置１０が実行するプログラムによって、ステレオカメラとして使用することが可能である。外側撮像部２３をステレオカメラとして使用する場合、外側左撮像部２３Ａは、ユーザの左目で視認されるカメラ画像（左目用画像）を撮像し、外側右撮像部２３Ｂは、ユーザの右目で視認されるカメラ画像（右目用画像）を撮像する。このため、外側撮像部２３によって撮像されたカメラ画像を上側ＬＣＤ２２に立体的に表示することが可能である。また、プログラムによっては、外側左撮像部２３Ａ及び外側右撮像部２３Ｂのいずれか一方を単独で用いて、外側撮像部２３を非ステレオカメラとして使用することも可能である。

【0054】

内側撮像部２４は、上側ハウジング２１の内側面２１Ｂに設けられている。内側撮像部２４は、所定の解像度を有する撮像素子（例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等）と、レンズとを含む。この内側撮像部２４は、外側撮像部２３とは反対方向を撮像する撮像部である。

【0055】

上側ハウジング２１の内側面２１Ｂには、スピーカ孔２１Ｅが形成されている。後述するスピーカ４４（図４参照）からの音声は、このスピーカ孔２１Ｅを介して出力される。

【0056】

［ゲーム装置１０の内部構成］
次に、図４を参照しつつ、ゲーム装置１０の内部構成について説明する。ここで、図４は、ゲーム装置１０の内部構成の一例を示すブロック図である。

【0057】

図４に示されるように、ゲーム装置１０は、情報処理部３１、メインメモリ３２、外部メモリＩ／Ｆ３３、データ保存用外部メモリＩ／Ｆ３４、データ保存用内部メモリ３５、無線通信モジュール３６、ローカル通信モジュール３７、リアルタイムクロック（ＲＴＣ）３８、加速度センサ３９、角速度センサ４０、電源回路４１、及びＩ／Ｆ回路４２等の電子部品を備えている。これらの電子部品は、電子回路基板上に実装されて下側ハウジング１１（又は上側ハウジング２１）内に収納されている。

【0058】

情報処理部３１は、ＣＰＵ（Central Processing Unit）３１１、ＧＰＵ（Graphics Pr
ocessing Unit）３１２、ＶＲＡＭ（Video RAM）３１３を含む情報処理手段である。本実施形態では、外部メモリ４５に画像生成プログラムが記憶されており、ＣＰＵ３１１は、外部メモリ４５から画像生成プログラムを読み出して実行する。なお、画像生成プログラムは、他の機器との通信によって他の機器から取得されてもよい。

【0059】

ＧＰＵ３１２は、ＣＰＵ３１１からの命令に応じてＶＲＡＭ３１３に画像を描画し、その画像を上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に出力する。その結果、上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に画像が表示される。

【0060】

メインメモリ３２は、ＣＰＵ３１１のワーク領域やバッファ領域として用いられる揮発性の記憶手段（例えばＰＳＲＡＭ（Pseudo-SRAM））である。メインメモリ３２は、情報
処理部３１の処理で用いられる各種データを一時的に記憶したり、外部（外部メモリ４５や他の機器等）から取得されたプログラムを一時的に記憶したりする。

【0061】

外部メモリＩ／Ｆ３３は、外部メモリ４５を着脱可能に接続するためのインターフェースである。外部メモリ４５は、情報処理部３１によって実行されるプログラムを記憶する不揮発性の記憶手段である。外部メモリ４５は、例えば読み取り専用の半導体メモリで構成される。外部メモリ４５が外部メモリＩ／Ｆ３３に接続されると、外部メモリ４５に記憶されたプログラムがメインメモリ３２に読み込まれて、情報処理部３１によって実行される。

【0062】

データ保存用外部メモリＩ／Ｆ３４は、データ保存用外部メモリ４６を着脱可能に接続するためのインターフェースである。データ保存用外部メモリ４６は、不揮発性の読み書き可能なメモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成さる。このデータ保存用外部メモリ４６には、例えば外側撮像部２３又は内側撮像部２４による撮影で得られたカメラ画像が記憶される。データ保存用外部メモリ４６がデータ保存用外部メモリＩ／Ｆ３４に接続されると、情報処理部３１は、データ保存用外部メモリ４６に記憶された画像を読み込んで上側ＬＣＤ２２及び／又は下側ＬＣＤ１２に表示することができる。

【0063】

データ保存用内部メモリ３５は、読み書き可能な不揮発性メモリ（例えばＮＡＮＤ型フラッシュメモリ）で構成される。このデータ保存用内部メモリ３５には、例えば無線通信モジュール３６を介した無線通信によってダウンロードされたデータやプログラムが格納される。

【0064】

無線通信モジュール３６は、例えばＩＥＥＥ８０２．１１．ｂ／ｇの規格に準拠した方式により、無線ＬＡＮに接続する機能を有する。ローカル通信モジュール３７は、所定の通信方式（例えば赤外線通信）により同種のゲーム装置との間で無線通信を行う機能を有する。ＣＰＵ３１１は、無線通信モジュール３６を用いてインターネットを介して他の機器との間でデータを送受信したり、ローカル通信モジュール３７を用いて同種の他のゲーム装置との間でデータを送受信したりすることができる。

【0065】

加速度センサ３９は、３軸（本実施形態では、ｘｙｚ軸）方向に沿った直線方向の加速度（直線加速度）の大きさを検出する。角速度センサ４０は、ゲーム装置１０の３軸（本実施形態では、ｘｙｚ軸）周りに生じるそれぞれの角速度を検出する。ＣＰＵ３１１は、加速度センサ３９が検出した加速度を示すデータと、角速度センサ４０が検出した角速度を示すデータとに基づいて、ゲーム装置１０の姿勢や動きを算出することができる。

【0066】

ＲＴＣ３８は、時間をカウントして情報処理部３１に出力する。情報処理部３１は、ＲＴＣ３８によって計時された時間に基づき現在時刻（日付）を計算する。電源回路４１は、ゲーム装置１０が有する電源（例えば下側ハウジング１１に収納される充電式電池）か
らゲーム装置１０の各部品に電力を供給する。

【0067】

Ｉ／Ｆ回路４２には、マイク４３、スピーカ４４、及びタッチパネル１３が接続されている。マイク４３は、ユーザの音声を検知して音声信号をＩ／Ｆ回路４２に出力する。スピーカ４４は、Ｉ／Ｆ回路４２から不図示のアンプを介して入力された音声信号に応じた音を出力する。Ｉ／Ｆ回路４２は、マイク４３及びスピーカ４４（アンプ）を制御する音声制御回路を有している。音声制御回路は、音声信号に対するＡ／Ｄ変換及びＤ／Ａ変換を行ったり、音声信号を所定の形式の音声データに変換したりする。また、Ｉ／Ｆ回路４２は、タッチパネル１３を制御するタッチパネル制御回路を有している。タッチパネル制御回路は、タッチパネル１３からの信号に基づいて所定の形式のタッチ位置データを生成して情報処理部３１に出力する。タッチ位置データは、タッチパネル１３の入力面において入力が行われた位置（タッチ位置）の座標を示すデータである。なお、タッチパネル制御回路は、タッチパネル１３からの信号の読み込み、及びタッチ位置データの生成を所定時間に１回の割合で行う。ＣＰＵ３１１は、タッチ位置データを取得することにより、タッチパネル１３に対して入力が行われたタッチ位置を検出することができる。

【0068】

情報処理部３１には、各操作ボタン１４Ａ〜１４Ｌの操作状況を示す操作データが出力される。情報処理部３１のＣＰＵ３１１は、この操作データに基づいて操作ボタン１４Ａ〜１４Ｌの操作の有無を判断し、操作された操作ボタン１４に対応する所定の処理を実行する。

【0069】

下側ＬＣＤ１２及び上側ＬＣＤ２２は、情報処理部３１（ＧＰＵ３１２）の指示に従って画像を表示する。情報処理部３１は、例えば、外側撮像部２３によって撮像された左目用画像と右目用画像とを用いた立体画像（立体視可能な画像）を上側ＬＣＤ２２に表示させる。

【0070】

３Ｄ調整スイッチ２５は、スライダの位置に応じた電気信号を情報処理部３１に出力する。これに対して、情報処理部３１（ＣＰＵ３１１）は、３Ｄ調整スイッチ２５からの電気信号に基づいて上側ＬＣＤ２２の表示モードを設定する。また、情報処理部３１は、３Ｄインジケータ２６の点灯を制御する。

【0071】

なお、上述したハードウェア構成は単なる一例に過ぎず、ゲーム装置１０の構成は適宜変更可能である。

【0072】

［上側ＬＣＤ２２及び下側ＬＣＤ１２の表示画面］
本実施形態におけるゲーム装置１０では、外側撮像部２３を用いて撮影が行われた場合に、その撮影で得られたカメラ画像（第１撮像画像に相当、以下「外カメラ画像」という。）に対して、ランダムに選択された画像処理が施される。その際、撮影で得られた外カメラ画像に含まれている顔を表す顔画像、又は過去の撮影で得られたデータ保存用外部メモリ４６内のカメラ画像（第２撮像画像に相当、以下「保存画像」という。）に含まれている顔を表す顔画像を使用する画像処理が選択される場合がある。その結果、極めて興趣性が高い不思議画像（図７〜９，図１１〜１３，図１５参照）を得ることができる。ここで、不思議画像は、撮像部によってリアルタイムに取得されたカメラ画像（ここでは外カメラ画像）に対して顔画像を使用する画像処理を施して得られる画像である。

【0073】

以下、図５を参照しつつ、不思議画像９１〜９７を得るための撮影を行う際に上側ＬＣＤ２２及び下側ＬＣＤ１２に表示される画像について説明する。図５は、上側ＬＣＤ２２及び下側ＬＣＤ１２の表示例を示すゲーム装置１０の正面図である。ゲーム装置１０が不思議画像９１〜９７を得ることが可能な撮影モードに移行すると、図５に示されるように、ボタン６１〜６４を含む操作画面が下側ＬＣＤ１２に表示される。ボタン６１〜６４は
、それぞれ所定の処理と対応付けられた画像である。ユーザは、下側ＬＣＤ１２に表示されているボタン６１〜６４を任意に選択することによって、情報処理部３１に所定の処理を実行させることができる。タッチパネル１３がタッチペン２８でタッチされると、タッチ位置に位置するボタン（図５ではボタン６１）がハイライト（例えば輪郭強調）される。そして、ボタン上に位置するタッチペン２８がタッチパネル１３から離されると、ボタンのハイライトが解除されると共にそのボタンに対応する処理が実行される。

【0074】

ボタン６１は、ゲーム装置１０を不思議画像を得るための撮影が可能な状態に移行させるためのボタンである。ボタン６１が選択されると、後述する代替画像７０が上側ＬＣＤ２２に表示される（図５参照）。

【0075】

ボタン６２は、ゲーム装置１０による撮影で得られた画像を閲覧するためのボタンである。ボタン６２が選択されると、例えばデータ保存用外部メモリ４６に記憶されている画像のサムネイル画像が下側ＬＣＤ１２に一覧表示される。この状態で、ユーザは、所望のサムネイル画像を選択することで、そのサムネイル画像に対応する保存画像を上側ＬＣＤ２２に表示させることができる。ボタン６３は、撮影に関する各種設定の変更を指示するためのボタンである。ボタン６４は、撮影に使用する撮像部の切り替えを指示するためのボタンである。ユーザは、このボタン６４を操作することによって、撮影に使用する撮像部を外側撮像部２３又は内側撮像部２４に切り替えることができる。

【0076】

上側ＬＣＤ２２には、撮影が指示される前に外側撮像部２３によってリアルタイムに取得される外カメラ画像に代えて、代替画像７０が表示される。この代替画像７０は、他の撮影モードでは上側ＬＣＤ２２に表示される外カメラ画像を隠すブラインドとして機能する。このように、不思議画像を得るための撮影モードでは、外カメラ画像の表示が非表示となる。これにより、外側撮像部２３によってリアルタイムに取得される外カメラ画像から、その外カメラ画像に対する画像処理の内容をゲーム装置１０のユーザが容易に予測できてしまうのを防止している。

【0077】

ところで、不思議画像を得るための画像処理では顔画像が使用される場合があるので、外側撮像部２３による撮影で得られた外カメラ画像に顔を表す顔画像が含まれているか、或いは保存画像に顔を表す顔画像が含まれている必要がある。つまり、ゲーム装置１０のユーザは、被写体としての人物の顔を含むように撮影を行わなければ、外カメラ画像に含まれている顔画像を使用する画像処理の結果として得られる不思議画像を得ることはできない。

【0078】

そこで、本実施形態では、外側撮像部２３の撮像範囲に人物の顔が含まれている場合に、その人物の顔の位置を示唆するマーカ画像７１，７２を含む代替画像７０が上側ＬＣＤ２２に表示される。具体的には、外側撮像部２３によってリアルタイムに取得される外カメラ画像に対して顔認識処理が実行され、人物の顔を識別できた場合にはその位置及び数が特定され、マーカ画像を含む代替画像７０が上側ＬＣＤ２２に表示される。ここでは、外側撮像部２３の撮像範囲に２人の顔が含まれているので、上側ＬＣＤ２２に２つのマーカ画像７１，７２を含む代替画像７０が表示されている。このように、上側ＬＣＤ２２にマーカ画像を含む代替画像７０が表示されるので、上側ＬＣＤ２２に外カメラ画像が表示されていなくても、ゲーム装置１０のユーザが外側撮像部２３の撮像範囲に顔が含まれているか否か、また、撮像範囲に含まれている顔の数を容易に把握することができる。

【0079】

［不思議画像を得るための画像処理の概要］
以下、図６〜図１５を参照しつつ、顔画像を使用する画像処理について説明する。ここで、図６は、撮影で得られた外カメラ画像５１から顔画像５４，５５を取得する処理について説明するための説明図である。

【0080】

外側撮像部２３の撮像範囲に２人の人物７４，７５が含まれている場合、外側撮像部２３による撮影で、図６に例示されるような外カメラ画像５１を取得することができる。ゲーム装置１０では、このように取得された外カメラ画像５１に対して、顔認識処理が実行される。これにより、人物７４，７５の顔を表す領域（図２０の顔領域８１，８２）が特定され、外カメラ画像から人物７４，７５の顔を表す顔画像５４，５５が取得される。このように、外カメラ画像５１から顔画像（ここでは顔画像５４，５５）を取得できる場合、撮影で得られた外カメラ画像に対して顔画像を使用する画像処理を施すことが可能である。

【0081】

次に、図７〜図９を参照しつつ、顔画像５４又は顔画像５５を使用する画像処理について説明する。ここで、図７は、人物７４の顔が昇っていく様子を表した不思議画像９１を示す上側ＬＣＤ２２の画面図である。図８は、複製された人物７５の顔が曼陀羅のように配置された不思議画像９２を示す上側ＬＣＤ２２の画面図である。図９は、人物７４の顔と人物７５の顔が入れ替えられた不思議画像９３を示す上側ＬＣＤ２２の画面図である。なお、図７以降の上側ＬＣＤ２２の画面図においては、人物７４，７５の背景の図示が省略されている。

【0082】

図７に示されるように、外側撮像部２３による撮影で得られた外カメラ画像５１に顔画像５４，５５が含まれている場合に、顔画像５４を使用する画像処理が選択される場合がある。この場合、外カメラ画像５１に対して顔認識処理が行われて人物７４の顔画像５４が取得される。そして、顔画像５４が示す顔が外カメラ画像５１における人物７４の顔の上方に位置するように顔画像５４を外カメラ画像５１に合成する画像処理が行われて不思議画像９１が得られる。ちなみに、この不思議画像９１は、人物７４が幽体離脱する様子を表現したものである。なお、この不思議画像９１を得るための画像処理は、外カメラ画像に少なくとも１つの顔画像が含まれていてば実行可能である。また、顔画像５５を使用して不思議画像９１と同様の不思議画像を得ることも当然可能である。

【0083】

図８に示されるように、外側撮像部２３による撮影で得られた外カメラ画像５１に人物７４，７５の顔画像５４，５５が含まれている場合に、顔画像５５を使用する画像処理が選択される場合がある。この場合、外カメラ画像５１に対して顔認識処理が行われて人物７５の顔画像５５が取得される。そして、顔画像５５が示す顔が外カメラ画像５１における人物７５の顔の八方に位置するように顔画像５５を外カメラ画像５１に合成する画像処理が行われて不思議画像９２が得られる。ちなみに、この不思議画像９２は、人物７５を曼陀羅として表現したものである。なお、この不思議画像９２を得るための画像処理は、外カメラ画像に少なくとも１つの顔画像が含まれていてば実行可能である。また、顔画像５４を使用して不思議画像９２と同様の不思議画像を得ることも当然可能である。

【0084】

図９に示されるように、外側撮像部２３による撮影で得られた外カメラ画像５１に人物７４，７５の顔画像５４，５５が含まれている場合に、顔画像５４及び顔画像５５を使用する画像処理が選択される場合がある。この場合、外カメラ画像５１に対して顔認識処理が行われて２つの顔画像５４，５５が取得される。そして、顔画像５４が人物７５の顔に重なると共に顔画像５５が人物７４の顔に重なるように顔画像５４，５５を外カメラ画像５１に合成する画像処理が行われて不思議画像９３が得られる。ちなみに、この不思議画像９３は、人物７４の顔と人物７５の顔が入れ替わった様子を表現したものである。なお、外カメラ画像に３つ以上の顔画像が含まれている場合に不思議画像９３と同様の不思議画像を得ることも当然可能である。

【0085】

ところで、ゲーム装置１０では、今回の撮影で得られた外カメラ画像から取得される顔画像を使用する画像処理だけでなく、ゲーム装置１０において過去の撮影で取得されてデ
ータ保存用外部メモリ４６に記憶されている保存画像から取得される顔画像を使用する画像処理も実行可能である。図１０は、保存画像５６から顔画像５９を取得する処理について説明するための説明図である。

【0086】

図１０に示されるように、データ保存用外部メモリ４６に記憶されている保存画像５６に３人の人物の顔画像が含まれている場合、ゲーム装置１０では、外カメラ画像５１に対して行われるのと同様に、保存画像５６に対しても顔認識処理が実行される。そして、３人の人物のいずれかの人物の顔を表す領域が特定され、例えば真ん中の人物の顔を表す顔画像５９が取得される。このように保存画像５６から顔画像（ここでは顔画像５９）を取得できる場合、今回の撮影で得られた外カメラ画像に対して、この顔画像を使用する画像処理を施すことが可能である。

【0087】

図１１は、人物７４の顔画像５４が顔画像５９に差し替えられた不思議画像９４を示す上側ＬＣＤ２２の画面図である。図１１に示されるように、保存画像５６に顔画像５９が含まれている場合に、顔画像５９を使用する画像処理が選択される場合がある。この場合、保存画像５６に対する顔認識処理を行って図１０に示される真ん中の人物の顔画像５９が取得される。そして、顔画像５９が人物７４の顔画像５４の上に重なるように顔画像５９を外カメラ画像５１に合成する画像処理が行われて不思議画像９４が得られる。ちなみに、この不思議画像９４は、人物７４の顔が撮影の際にゲーム装置１０の周辺にはいない別人の顔に入れ替わった様子を表現したものである。なお、顔画像５９を人物７５の顔の上に配置した不思議画像を得ることも可能である。

【0088】

図１２は、人物７４，７５の顔画像５４，５５が顔画像５９に差し替えられた不思議画像９５を示す上側ＬＣＤ２２の画面図である。図１２に示されるように、保存画像５６に顔画像５９が含まれている場合に、顔画像５９を使用する画像処理が選択される場合がある。この場合、保存画像５６に対する顔認識処理を行って図１０に示される真ん中の人物の顔画像５９が取得される。そして、外カメラ画像５１に対して人物７４の顔画像５４が顔画像５９に差し替えられ、且つ人物７５の顔画像５５が顔画像５９に差し替えられるように２つの顔画像５９を外カメラ画像５１に合成する画像処理が行われて不思議画像９５が得られる。ちなみに、この不思議画像９５は、人物７４，７５の顔が撮影の際にゲーム装置１０の周辺にはいない別人の顔に入れ替わった様子を表現したものである。なお、このような顔合成画像９５を得る画像処理の変形例として、外カメラ画像５１に含まれている全ての顔画像を、同じく外カメラ画像５１に含まれているいずれかの顔画像（例えば顔画像５４）に差し替える画像処理を行うようにしてもよい。この場合、外カメラ画像５１に含まれている全ての顔画像が、外側撮像部２３の前方にいる誰か１人の顔に入れ替わった不思議画像が得られる。これにより、外側撮像部２３によって撮影される複数の人物が兄弟のようになった様子を表現することができる。

【0089】

図１３は、外カメラ画像５１に複数の顔画像５９が挿入された不思議画像９６を示す上側ＬＣＤ２２の画面図である。図１０に示されるように、保存画像５６に顔画像５９が含まれている場合に、顔画像５９を使用する画像処理が選択される場合がある。この場合、保存画像５６に対する顔認識処理を行って図１０に示される真ん中の人物の顔画像５９が取得される。そして、外カメラ画像５１に対して人物７４，７５の周辺に顔画像５９が示す顔が３つ配置されるように、３つの顔画像５９を外カメラ画像５１に合成する画像処理が行われて不思議画像９６が得られる。ちなみに、この不思議画像９６は、人物７４，７５の顔の周りに、撮影の際にゲーム装置１０の周辺にはいない別人の顔が背後霊のように浮かび上がった様子を表現したものである。なお、このような不思議画像９６を得る際に、保存画像から取得された顔画像に対して目隠しの黒線、眼鏡、角のような装飾画像を合成する画像処理を施してから、その画像処理が施された顔画像を外カメラ画像５１に合成するようにしてもよい。

【0090】

図１４は、外側撮像部２３による撮影で得られた外カメラ画像５０の一例を示す図である。図１５は、外カメラ画像５０に複数の顔画像５９が挿入された不思議画像９７を示す上側ＬＣＤ２２の画面図である。

【0091】

図１４に示されるように、撮影により顔画像を含まない外カメラ画像５０が得られた場合であっても、保存画像に顔画像が含まれていれば、外カメラ画像５０に対して顔画像を使用する画像処理を施すことが可能である。図１０に示されるように、保存画像５６に顔画像５９が含まれている場合に、顔画像５９を使用する画像処理が選択される場合がある。この場合、保存画像５６に対する顔認識処理を行って図１０に示される真ん中の人物の顔画像５９が取得される。そして、外カメラ画像５０に対して顔画像５９が示す６つの顔画像が配置されるように、６つの顔画像５９を外カメラ画像５０に合成する画像処理が行われて不思議画像９７が得られる。ちなみに、この不思議画像９７は、建物の周辺に撮影の際にゲーム装置１０の周辺にはいない人物の顔が地縛霊のように浮かび上がった様子を表現したものである。

【0092】

このように、ゲーム装置１０では、今回の撮影で得られた外カメラ画像に含まれている顔画像、又は過去の撮影で得られた保存画像に含まれている顔画像を使用する画像処理によって、興趣性が高い撮像画像を得ることができる。

【0093】

［メモリマップ］
以下、図１６を参照しつつ、メインメモリ３２に記憶されるデータについて説明する。ここで、図１６は、メインメモリ３２のメモリマップである。図１６に例示されるように、メインメモリ３２は、プログラム記憶領域３２１及びデータ記憶領域３２３を有している。プログラム記憶領域３２１には、ＣＰＵ３１１によって実行されるプログラムが記憶される。データ記憶領域３２３には、不思議画像９１〜９７を得るための処理に必要な各種データが記憶される。プログラム記憶領域３２１内のプログラム、及びデータ記憶領域３２３内のデータの一部は、外部メモリ４５に予め記憶されたデータが、不思議画像を得るための処理に際してメインメモリ３２に読み出されたものである。

【0094】

プログラム記憶領域３２１には、画像生成プログラム３２２等が記憶されている。画像生成プログラム３２２は、後述する図１７〜１９，２２に示されている一連の処理を情報処理部３１に実行させるためのプログラムである。

【0095】

データ記憶領域３２３には、カメラ画像データ３２４、保存画像データ３２５、顔認識結果データ３２６、上側ＬＣＤ表示データ３２７、下側ＬＣＤ表示データ３２８、顔処理フラグ３２９、選択情報データ３３０、顔画像データ３３１、テクスチャデータ３３２、ポリゴンデータ３３３、不思議画像データ３３４等が記憶される。

【0096】

カメラ画像データ３２４は、外側撮像部２３が撮像した外カメラ画像を示すデータである。不思議画像を得るための撮影において、本実施形態では、外側撮像部２３及び内側撮像部２４のうちの外側撮像部２３のみが使用されるので、外側撮像部２３が撮像した外カメラ画像によって、カメラ画像データ３２４が更新される。なお、外側撮像部２３は外側左撮像部２３Ａ及び外側右撮像部２３Ｂによって構成されているので、外カメラ画像は、２つの撮像部２３Ａ，２３Ｂによって取得される２つの外カメラ画像から構成されている。このカメラ画像データ３２４の更新周期は、ゲーム装置１０が処理を行う時間単位（例えば１／６０秒）と同じでもよいし、この時間単位と異なっていてもよい。なお、このカメラ画像データ３２４には、撮影前に上側ＬＣＤ２２に表示したり顔認識処理に使用するための取得される外カメラ画像の他に、撮影によって得られた外カメラ画像（例えば外カメラ画像５０，５１）のデータも含まれている。この撮影によって得られる外カメラ画像のデータは、撮影が行われる毎に更新される。

【0097】

保存画像データ３２５は、データ保存用外部メモリ４６から読み出されたカメラ画像（例えば保存画像５６）のデータである。記憶制御手段として機能する情報処理部３１は、外側撮像部２３又は内側撮像部２４によって予め撮像された画像を、その画像に顔画像が含まれているか否かを示す管理情報を付与してデータ保存用外部メモリ４６に記憶する。このようにデータ保存用外部メモリ４６に記憶されたカメラ画像が、外側撮像部２３による撮影が行われるのに先立って読み出され、保存画像データ３２５としてデータ記憶領域３２３に格納される。

【0098】

顔認識結果データ３２６は、カメラ画像データ３２４が示す外カメラ画像及び保存画像データ３２５が示す保存画像に対して行われた顔認識処理の結果を示すデータである。この顔認識結果データ３２６は、外カメラ画像及び保存画像に対して行われた顔認識処理によって人物の顔を識別できたか否かを示すデータ、外カメラ画像又は保存画像に対して顔として認識できた領域を示すデータ等から構成される。ゲーム装置１０では、外側撮像部２３を使用した撮影で外カメラ画像が取得されると、取得された外カメラ画像に対して実行する画像処理がランダムに決定され、その外カメラ画像に対して決定された画像処理が施されるが、外カメラ画像又は保存画像に顔画像が含まれていなければ外カメラ画像に対して顔画像を使用する画像処理を施すことはできない。このため、ゲーム装置１０では、顔認識結果データ３２６を考慮した上で、外カメラ画像に対してどのような画像処理を施すかがランダムに決定される。この顔認識結果データ３２６は、保存画像に対する顔認識処理が行われたとき（具体的にはゲーム装置１０が不思議画像を得るための撮影モードに移行したとき）、及び外側撮像部２３による撮影で外カメラ画像が取得されたときに更新される。

【0099】

上側ＬＣＤ表示データ３２７は、上側ＬＣＤ２２に表示される画像に関するデータである。この上側ＬＣＤ表示データ３２７には、代替画像７０、マーカ画像（例えばマーカ画像７１，７２）等のデータが含まれている。なお、マーカ画像を表示する位置は、顔認識結果データ３２６に含まれている、外カメラ画像に対して顔として認識できた領域を示すデータに基づいて決定される。

【0100】

下側ＬＣＤ表示データ３２８は、下側ＬＣＤ１２に表示される画像に関するデータである。この下側ＬＣＤ表示データ３２８には、ボタン６１〜６４（図５参照）の画像等のデータが含まれている。

【0101】

顔処理フラグ３２９は、保存画像データ３２５が示す保存画像に外カメラ画像に対する画像処理に使用可能な顔画像が含まれているか否かを示すデータである。この顔処理フラグ３２９は、顔画像が含まれていることを示す管理情報が保存画像データ３２５が示す保存画像に付与されている場合に「ＯＮ」に設定され、顔画像が含まれていることを示す管理情報が保存画像に付与されていない場合に「ＯＦＦ」に設定される。

【0102】

選択情報データ３３０は、撮影により得られた外カメラ画像に対して実行する画像処理として選択された画像処理を識別する情報を示すデータである。

【0103】

テクスチャデータ３３２は、外カメラ画像（例えば外カメラ画像５０，５１）に対して合成する顔画像（例えば顔画像５４，５５，５９）をテクスチャマッピングを用いて外カメラ画像上で表現するために使用される顔テクスチャを示すデータである。このテクスチャデータ３２９は、本実施形態では、外カメラ画像５１（図６参照）に含まれている顔画像５４や顔画像５５、保存画像５６（図１０参照）に含まれている顔画像５９に基づいて生成される。

【0104】

ポリゴンデータ３３３は、顔認識処理によって識別された顔の特徴点に基づいて生成される複数のポリゴンＰＧ（図２４が示すポリゴンＰＧ１や図２６が示すポリゴンＰＧ２）に関するデータである。ここで、ポリゴンＰＧ１は、外カメラ画像５１に対する顔認識処理によって識別された人物７４の顔の特徴点Ｐ１〜Ｐ１６（図２３参照）に基づいて生成された複数のポリゴンである。ポリゴンＰＧ２は、外カメラ画像５１に対する顔認識処理によって識別された人物７５の顔の特徴点Ｐ２１〜Ｐ３６（図２５参照）に基づいて生成された複数のポリゴンである。なお、本実施形態では、複数のポリゴンＰＧ１が特徴点Ｐ１〜Ｐ１６に基づいて生成され、複数のポリゴンＰＧ２が特徴点Ｐ２１〜Ｐ３６に基づいて生成される場合について説明するが、例えば鼻の特徴点Ｐ１，Ｐ２１に代えて後述する口の中心点Ａ４，Ｂ４（図２３，２５参照）を用いて複数のポリゴンＰＧ１，ＰＧ２を生成してもよい。ポリゴンデータ３３３は、テクスチャ座標データ３３３１、カメラ画像座標データ３３３２、サイズデータ３３３３、傾きデータ３３３４等から構成される。

【0105】

テクスチャ座標データ３３３１は、ポリゴンＰＧ（本実施形態ではポリゴンＰＧ１，ＰＧ２）の各頂点が配置されるテクスチャ座標を示すデータである。カメラ画像座標データ３３３２は、ポリゴンＰＧ（本実施形態ではポリゴンＰＧ１，ＰＧ２）の各頂点に対するカメラ画像座標を示すデータである。サイズデータ３３３３は、外カメラ画像に対する画像処理に使用される顔画像が表す顔の大きさを示すデータである。例えば顔画像５４（図２３参照）が表す顔の大きさは横サイズＸ１と縦サイズＹ１によって表され、顔画像５５（図２５参照）が表す顔の大きさは横サイズＸ２と縦サイズＹ２によって表される。ここで、横サイズＸ１は、顔領域８１が示す顔の左目の中心点Ａ１から右目の中心点Ａ２までの距離を示す。縦サイズＹ１は、中心点Ａ１と中心点Ａ２とを結ぶ線分αの中点Ａ３から口の中心点Ａ４までの距離を示す。また、横サイズＸ２は、顔領域８２が示す顔の左目の中心点Ｂ１から右目の中心点Ｂ２までの距離を示す。縦サイズＹ２は、中心点Ｂ１と中心点Ｂ２とを結ぶ線分βの中心点Ｂ３から口の中心点Ｂ４までの距離を示す。外カメラ画像に対する画像処理に使用される顔画像は、このサイズデータ３３３３が示す大きさに基づいて、拡大／縮小処理されてから外カメラ画像に合成される。傾きデータ３３３４は、顔画像が示す顔の水平方向に対する傾き（例えば図２３に示される例では線分αの傾き、図２５に示される例では線分βの傾き）を示すデータである。外カメラ画像に対する画像処理に使用される顔画像は、この傾きデータ３３３４が示す傾きに基づいて、回転処理されてから外カメラ画像に合成される。なお、本実施形態においては、点Ａ１〜Ａ４，Ｂ１〜Ｂ４の座標が顔領域８１，８２の大きさと傾きを求めるためだけに使用されるが、複数のポリゴンＰＧ１，ＰＧ２（図２４，２６参照）を生成するために使用されてもよい。

【0106】

不思議画像データ３３４は、外カメラ画像に対する画像処理によって得られた不思議画像（本実施形態では不思議画像９１〜９７）のデータである。なお、不思議画像は、撮影直後に上側ＬＣＤ２２に立体表示されるため、左目用画像及び右目用画像から構成される。撮影直後における外カメラ画像に対する画像処理が完了すると、不思議画像データ３３４が示す不思議画像が、上側ＬＣＤ表示データ３２７の一部として上側ＬＣＤ２２に表示される。

【0107】

なお、図には示されていないが、データ記憶領域３２３には、ゲーム装置１０に対して行われた操作の内容を示す操作データや、仮想ゲーム空間の様子を画面表示するための仮想カメラの制御に関するデータ等が記憶されるが、これらのデータは本発明とは直接関係しないので、ここでの詳細な説明は省略する。

【0108】

［メイン処理］
次に、図１７及び図１８を参照しつつ、情報処理部３１によって実行されるメイン処理について説明する。ここで、図１７及び図１８は、撮影が行われる際にゲーム装置１０で
実行される処理の一例を示すフローチャートである。なお、以下に説明する一連の処理は、画像生成プログラム３２２に基づいてＣＰＵ３１１が発行する命令に従って行われる。

【0109】

ユーザの所定操作によってゲーム装置１０が不思議画像を得ることが可能な撮影モードに移行すると、情報処理部３１は、図１７に示されるように、カメラ画像を取得する（ステップＳ１）。具体的には、情報処理部３１は、外側撮像部２３によってリアルタイムに撮像された外カメラ画像を取得して、カメラ画像データ３２４を更新する。

【0110】

次に、情報処理部３１は、ステップＳ１の処理で取得された外カメラ画像に対する顔認識処理を実行し（ステップＳ２）、外カメラ画像に対して顔を識別できたか否かを判定する（ステップＳ３）。

【0111】

顔を識別できなかったと判定した場合（ステップＳ３：ＮＯ）、すなわち外カメラ画像５０（図１４参照）のように顔画像を含まない外カメラ画像が取得された場合、第２表示制御手段として機能する情報処理部３１は、外側撮像部２３の撮像範囲内に人物が存在していないと判断して、マーカ画像を含まない代替画像７０を上側ＬＣＤ２２に表示させる（ステップＳ４）。具体的には、情報処理部３１は、上側ＬＣＤ表示データ３２７に含まれている代替画像７０だけを上側ＬＣＤ２２に表示させる。

【0112】

一方、顔を識別できたと判定した場合（ステップＳ３：ＹＥＳ）、すなわち外カメラ画像５１（図６参照）のように顔画像を含む外カメラ画像が取得された場合、位置特定手段として機能する情報処理部３１は、ステップＳ１の処理で取得された外カメラ画像に含まれている顔の位置を特定する（ステップＳ５）。具体的には、情報処理部３１は、例えば外カメラ画像５１に対するステップＳ２の顔認識処理の結果に基づいて人物７４，７５の顔の特徴点のカメラ画像座標を取得し、そのカメラ画像座標に基づいて人物７４，７５の顔の位置を特定する。そして、情報処理部３１は、ステップＳ５の処理で特定した位置にマーカ画像（例えばマーカ画像７１，７２）を配置した代替画像７０を上側ＬＣＤ２２に表示させる（ステップＳ６）。

【0113】

このステップＳ４又はステップＳ６の表示処理は、後述するステップＳ２２の処理が行われるまで継続される。つまり、画像処理が施された外カメラ画像が上側ＬＣＤ２２に表示されるまでは、外側撮像部２３によってリアルタイムに撮像される外カメラ画像の代わりに、外カメラ画像を含まない代替画像７０が上側ＬＣＤ２２に表示される。これにより、上側ＬＣＤ２２の表示内容から、ゲーム装置１０のユーザが画像処理の内容を容易に推測できないようにしている。また、外カメラ画像に人物の顔を表す顔画像が含まれている場合には、ステップＳ６の処理によって、その顔画像の位置を示唆するマーカ画像７１，７２を含む代替画像７０が上側ＬＣＤ２２に表示される。このため、外側撮像部２３によってリアルタイムに取得される外カメラ画像が表示されなくても、ユーザが外側撮像部２３の撮像範囲に人物の顔が含まれているかを確認しながら撮影を行うことができる。

【0114】

ステップＳ４又はステップＳ６の処理を行った場合、情報処理部３１は、保存画像に対する顔画像の有無を既に判定したか否かを判定する（ステップＳ８）。上述したように、保存画像データ３２５が示す保存画像に顔画像が含まれていることを示す管理情報が付与されている場合には顔処理フラグ３２９が「ＯＮ」に設定され、逆に保存画像に顔画像が含まれていることを示す管理情報が付与されていない場合には顔処理フラグ３２９が「ＯＦＦ」に設定される。このため、情報処理部３１は、このステップＳ８において、顔処理フラグ３２９が「ＯＮ」又は「ＯＦＦ」に設定されているか否かに基づいて、保存画像に対する顔画像の有無を既に判定したか否かを判定する。顔画像の有無を既に判定していると情報処理部３１によって判定された場合（ステップＳ８：ＹＥＳ）、処理が後述するステップＳ１３へ進められる。

【0115】

情報処理部３１は、保存画像に対する顔画像の有無を判定していないと判定した場合（ステップＳ８：ＮＯ）、保存画像に顔画像が含まれているか否かを判定する（ステップＳ９）。具体的には、情報処理部３１は、保存画像データ３２５としてデータ記憶領域３２３に格納されている保存画像の管理情報を参照して、その保存画像に顔画像が含まれているか否かを判定する。ここで、保存画像に顔画像が含まれている場合（ステップＳ９：ＹＥＳ）、すなわち顔画像が含まれていることを示す管理情報が保存画像に付与されている場合、情報処理部３１は、顔処理フラグ３２９を「ＯＮ」に設定する（ステップＳ１０）。逆に、保存画像に顔画像が含まれていない場合（ステップＳ９：ＮＯ）、すなわち顔画像が含まれていないことを示す管理情報が保存画像に付与されている場合、情報処理部３１は、顔処理フラグ３２９を「ＯＦＦ」に設定する（ステップＳ１１）。

【0116】

ステップＳ１０の処理が行われた場合、ステップＳ１１の処理が行われた場合、又はステップＳ８で「ＹＥＳ」と判定された場合、情報処理部３１は、Ｌボタン１４Ｇ又はＲボタン１４Ｈの操作の有無に基づいて、撮影が指示されたか否かを判定する（ステップＳ１３）。撮影が指示されていないと情報処理部３１によって判定された場合（ステップＳ１３：ＮＯ）、処理がステップＳ１へ戻される。なお、例えば後述する「その他の画像処理」の中に撮影前から画像処理を行う必要がある画像処理が含まれているような場合には、ステップＳ８〜ステップＳ１１の処理をステップＳ１に先立って行うようにしてもよい。

【0117】

画像取得手段として機能する情報処理部３１は、撮影が指示されたと判定した場合（ステップＳ１３：ＹＥＳ）、撮影を実行する（ステップＳ１４）。具体的には、情報処理部３１は、外側撮像部２３によって撮像された外カメラ画像（第１撮像画像）を取得し、取得した外カメラ画像に基づいてカメラ画像データ３２４を更新する。

【0118】

ステップＳ１４の処理に続いて、情報処理部３１は、顔処理フラグ３２９が「ＯＮ」に設定されているか否かを判定する（ステップＳ１５）。顔処理フラグ３２９が「ＯＦＦ」に設定されていると判定した場合（ステップＳ１５：ＮＯ）、情報処理部３１は、顔画像を使用しないその他の画像処理をランダムに選択して、選択情報データ３３０を更新する（ステップＳ１６）。このステップＳ１６の処理で選択可能な画像処理としては、ステップＳ１４における撮影で得られたカラーの外カメラ画像をモノクロ画像に変換する処理、カラーの外カメラ画像をセピア色の画像に変換する処理、外カメラ画像の各画素の濃淡を反転させる処理等が挙げられる。ただし、このステップＳ１６で選択される処理は、顔画像を使用しない画像処理であればここで例示した処理に限定されるものではなく、従来から一般的に行われている他の画像処理であってもよい。

【0119】

ところで、保存画像に顔画像が含まれていることを示す管理情報が付与されていたとしても、外カメラ画像に対する画像処理に実際に使用可能な顔画像が保存画像に含まれていないこともあり得る。このような場合としては、例えば、外側撮像部２３によって過去に取得された保存画像のうちの左目用画像（外側左撮像部２３Ａで取得された外カメラ画像）については顔画像を識別できるが、右目用画像（外側右撮像部２３Ｂで取得された外カメラ画像）については顔画像を識別できないようなケースが挙げられる。

【0120】

そこで、第２判定手段として機能する情報処理部３１は、顔処理フラグ３２９が「ＯＮ」に設定されていると判定した場合（ステップＳ１５：ＹＥＳ）、保存画像データ３２５が示す保存画像に対して顔認識処理を実行して、顔認識結果データ３２６を更新する（ステップＳ１７）。具体的には、例えば内側撮像部２４によって過去に撮影された１つのカメラ画像（以下「内カメラ画像」という。）が保存画像として記憶されている場合、情報処理部３１は、その保存画像に対して顔認識処理を実行する。また、例えば外側撮像部２３（外側左撮像部２３Ａ及び外側右撮像部２３Ｂ）によって過去に撮影した２つの外カメ
ラ画像が保存画像として記憶されている場合、情報処理部３１は、左目用画像として利用される外側左撮像部２３Ａによって取得された外カメラ画像に対して顔認識処理を実行する。

【0121】

情報処理部３１は、顔認識結果データ３２６を参照して、保存画像に含まれている顔画像をステップＳ１４の撮影で得られた外カメラ画像に対する画像処理に使用できるか否かを判定する（ステップＳ１８）。具体的には、情報処理部３１は、保存画像データ３２５が示す保存画像から顔画像を取得できるか否かを判定する。なお、保存画像が外側左撮像部２３Ａによって取得された左目用画像と外側右撮像部２３Ｂによって取得された右目用画像とから構成されている場合、左目用画像について顔画像を取得できるか否かを判定する。ここで、顔画像を画像処理に使用できると情報処理部３１によって判定された場合（ステップＳ１８：ＹＥＳ）、後述するステップＳ３１（図１８参照）へ処理が進められる。なお、顔処理フラグ３２９が「ＯＮ」に設定されているにも関わらず保存画像に対する顔認識処理を行っているのは、保存画像に顔画像が含まれていることを示す情報が含まれていたとしても、実際の顔認識処理によって顔を識別できない場合があり得るからである。

【0122】

情報処理部３１は、顔画像を使用できないと判定した場合（ステップＳ１８：ＮＯ）、顔以外の画像を使用する画像処理をランダムに選択して選択情報データ３３０を更新する（ステップＳ１９）。ここで、顔以外の画像を使用する画像処理とは、ステップＳ１４の処理で取得された外カメラ画像に対して、予めデータ記憶領域３２３等に記憶されている顔以外の画像（例えばＵＦＯの画像）を合成する処理である。なお、このステップＳ１９で選択される画像処理が顔以外の画像を外カメラに合成する画像処理であるのに対して、ステップＳ１６で選択される画像処理が顔以外の画像を外カメラ画像に合成する画像処理ではない点で、両ステップで選択される画像処理の内容が相違する。

【0123】

情報処理部３１は、ステップＳ１６の処理、又はステップＳ１９の処理を行って画像処理を選択した後、ステップＳ１４の撮影で得られた外カメラ画像に対して、選択情報データ３３０が示す画像処理を実行する（ステップＳ２０）。

【0124】

情報処理部３１は、ステップＳ２０において顔画像を使用しない画像処理が施された外カメラ画像、又は後述するステップＳ３８〜Ｓ４４のいずれかにおいて顔画像を使用する画像処理が施された外カメラ画像を、不思議画像データ３３４としてデータ記憶領域３２３に保存すると共に、データ保存用外部メモリ４６に保存する（ステップＳ２１）。

【0125】

そして、第１表示制御手段として機能する情報処理部３１は、不思議画像データ３３４が示す外カメラ画像を代替画像７０に代えて上側ＬＣＤ２２に一定時間（例えば５秒間）表示させる（ステップＳ２２）。このステップＳ２２の処理が行われた後、処理がステップＳ１へ戻されて、新たな不思議画像を得るための撮影が可能な状態となる。

【0126】

一方、情報処理部３１は、保存画像データ３２５が示す保存画像に含まれている顔画像をステップＳ１４の撮影で得られた外カメラ画像に対する画像処理に使用できると判定した場合（ステップＳ１８：ＹＥＳ）、図１８に示されるように、ステップＳ１４の撮影で得られた外カメラ画像に対する同一性判定処理を実行し（ステップＳ３１）、保存画像に対する同一性判定処理を実行する（ステップＳ３２）。ここで、同一性判定処理とは、外カメラ画像又は保存画像が、外側左撮像部２３Ａによる撮影で得られた外カメラ画像（以下「左カメラ画像」という。）と、外側右撮像部２３Ｂによる撮影で得られた外カメラ画像（以下「右カメラ画像」という。）から構成されている場合に、左カメラ画像に含まれている顔画像と右カメラ画像に含まれている顔画像が同一人物のものであるか否かを判定する処理である。外カメラ画像と保存画像の両方とも左カメラ画像及び右カメラ画像の２
つの画像から構成され得るので、この同一性判定処理は、外カメラ画像と保存画像の両方に関して同様に行われる。

【0127】

ステップＳ３２の処理を行った場合、情報処理部３１は、ステップＳ３１，Ｓ３２の同一性判定処理の結果に基づいて、今回の撮影で取得された外カメラ画像と保存画像の両方に関して、左カメラ画像及び右カメラ画像に同一人物の顔画像が含まれているか否かを判定する（ステップＳ３３）。後述する同一性判定処理によって左カメラ画像及び右カメラ画像から同一人物の顔画像を取得できている場合、同一人物の顔画像が含まれていると情報処理部３１によって判定され（ステップＳ３３：ＹＥＳ）、処理が後述するステップＳ３５へ進められる。

【0128】

一方、情報処理部３１は、左カメラ画像及び右カメラ画像に同一人物の顔画像が含まれていないと判定した場合（ステップＳ３３：ＮＯ）、左目用顔画像から右目用顔画像を生成する（ステップＳ３４）。ここで、左目用顔画像は、ステップＳ１４の撮影で外側左撮像部２３Ａによって取得された左カメラ画像に対して顔画像を使用する画像処理を施す場合に使用される顔画像である。右目用顔画像は、同じくステップＳ１４の撮影で外側右撮像部２３Ｂによって取得された右カメラ画像に対して顔画像を使用する画像処理を施す場合に使用される顔画像である。なお、このステップＳ３４の処理は、保存画像が内側撮像部２４による撮影で得られた内カメラ画像である場合にも行われる。

【0129】

画像処理方法選択手段として機能する情報処理部３１は、ステップＳ３４の処理を行った場合、又はステップＳ３３で「ＹＥＳ」と判定した場合、ステップＳ１４の撮影で得られた外カメラ画像に対して実行可能な画像処理をランダムに選択して、選択情報データ３３０を更新する（ステップＳ３５）。

【0130】

後に詳述するが、ステップＳ３１，Ｓ３２の同一性判定処理によって、ステップＳ１４の撮影で得られた外カメラ画像に顔画像が含まれているか否かが判定されると共に、保存画像に顔画像が含まれているか否かが判定される。そして、これら２つの判定処理によって、顔画像を使用する画像処理の中から、今回の撮影で得られた外カメラ画像に対して情報処理部３１が実行可能な画像処理が明らかとなる。したがって、情報処理部３１は、ステップＳ３１，Ｓ３２の同一性判定処理の結果を踏まえて、顔画像を使用する画像処理の中でどの処理が実行可能であるかを判断して、顔画像を使用する２以上の画像処理の中からランダムに１つの画像処理を選択する。

【0131】

以下、ステップＳ３５の処理で選択可能な画像処理について説明する。例えばステップＳ１４の撮影で取得された外カメラ画像５１（図６参照）に顔画像が含まれている場合、顔画像を使用する画像処理として、以下の処理が選択可能である。すなわち、外カメラ画像５１に含まれている１つの顔画像を使用する画像処理として、図７に示されるように、人物７４が幽体離脱する様子を表すために顔画像５４を複製して人物７４の顔の上方に位置するように外カメラ画像５１に挿入する画像処理（ステップＳ４０の「幽体離脱処理」）が選択可能である。また、同じく外カメラ画像５１に含まれている１つの顔画像を使用する画像処理として、図８に示されるように、人物７５が曼陀羅のようになった様子を表すために顔画像５５を複製して人物７５の顔の八方に位置するように外カメラ画像５１に挿入する画像処理（ステップＳ４１の「顔曼陀羅処理」）を選択可能である。また、外カメラ画像５１に含まれている複数の顔画像を使用する画像処理として、図６及び図９の対比から明らかなように、人物７４の顔画像５４と人物７５の顔画像５５を入れ替える画像処理（ステップＳ４３の「シャッフル処理」）を選択可能である。なお、本実施形態では、撮影で得られた外カメラ画像に顔画像が含まれている場合に、「幽体離脱処理」、「顔曼陀羅処理」、「シャッフル処理」のいずれかがランダムに選択されるが、「幽体離脱処理」は、顔画像の上方にその顔画像を複製して合成する処理であるため、外カメラ画像に
含まれている顔画像の位置が一定の位置よりも下でなければ「幽体離脱処理」が選択されないようにしてもよい。また、「顔曼陀羅処理」は、顔画像の周囲に顔画像を合成する処理であるため、外カメラ画像に含まれている顔画像の大きさが一定の大きさよりも小さくなければ「顔曼陀羅処理」が選択されないようにしてもよい。

【0132】

また、例えば保存画像５６（図１０参照）に顔画像が含まれている場合、顔画像を使用する画像処理として、以下の処理が選択可能である。すなわち、保存画像５６に含まれている例えば顔画像５９を使用する画像処理として、図１３に示されるように、顔画像５９が示す顔が人物７４，７５の周辺に位置するように顔画像５９を外カメラ画像５１に挿入する画像処理（ステップＳ３８の「背後霊処理」）が選択可能である。また、保存画像５６に含まれている例えば顔画像５９を使用する画像処理として、図１５に示されるように、人物の顔が写っていない外カメラ画像５０（図１４参照）に顔画像５９が示す顔が表れるように顔画像５９を外カメラ画像５０に挿入する画像処理（ステップＳ３９の「地縛霊処理」）が選択可能である。なお、保存画像に含まれている顔画像を使用する画像処理を行う場合に、撮影で得られた外カメラ画像に顔画像が含まれていれば「背後霊処理」が選択され、顔画像が含まれていなければ「地縛霊処理」が選択されるようにしてもよい。

【0133】

また、例えば外カメラ画像５１に顔画像が含まれており、且つ保存画像５６に顔画像が含まれている場合、顔画像を使用する画像処理として、以下の処理が選択可能である。すなわち、図１１に示されるように、外カメラ画像５１に対して人物７４の顔を表す顔画像５４を顔画像５９に差し替える画像処理（ステップＳ４２の「単独入替処理」）が選択可能である。また、図１２に示されるように、外カメラ画像５１に対して人物７４，７５の顔を表す顔画像５４，５５を両方とも顔画像５９に差し替える画像処理（ステップＳ４４の「全員入替処理」）が選択可能である。

【0134】

このように、情報処理部３１は、ステップＳ３５において、今回の撮影で得られた外カメラ画像に顔画像が含まれているか否か、保存画像に顔画像が含まれているか否かに応じて、顔画像を使用する２以上の画像処理をピックアップして、ピックアップした画像処理の中からいずれかの画像処理をランダムに選択する。そして、情報処理部３１は、ステップＳ３５の処理で選択した画像処理（ステップＳ３８〜Ｓ４４のいずれかの画像処理）を、ステップＳ１４の撮影で得られた外カメラ画像に施す。その結果、不思議画像９１〜９７のいずれかを得ることができる。なお、撮影で得られた外カメラ画像又は保存画像に顔画像が含まれているか否か、外カメラ画像に顔画像が含まれている場合にはその顔画像の位置や大きさ等の条件によっては、顔画像を使用する画像処理が必然的に１つに決まってしまう場合もあり得る。このような場合は、条件に該当する画像処理を選択して実行すればよい。

【0135】

一方、保存画像に顔画像が含まれていないと判定した場合（ステップＳ１８で「ＮＯ」、ステップＳ１５で「ＮＯ」）、上述したように、情報処理部３１は、顔画像を使用しない画像処理をランダムに選択する。

【0136】

このように、ゲーム装置１０では、外側撮像部２３による撮影が行われた際に、撮影で得られた外カメラ画像に対して実行する画像処理として、顔画像を使用する２以上の画像処理と、顔画像を使用しない２以上の画像処理を含む複数の画像処理の中から、いずれかの画像処理がランダムに選択され、選択された画像処理が外カメラ画像に施される。なお、本実施形態では、図１７のステップＳ１８で「ＹＥＳ」と判定された場合には必ず顔画像を使用する画像処理が選択される場合について説明したが、顔画像が保存されていたとしても、顔画像を使用しない画像処理が選択される場合があってもよい。

【0137】

［同一性判定処理］
外側撮像部２３が外側左撮像部２３Ａ及び外側右撮像部２３Ｂの２つの撮像部によって構成されているので、外側撮像部２３によって取得される外カメラ画像は、基本的には左カメラ画像及び右カメラ画像の２つの外カメラ画像によって構成される。このような状況において、外カメラ画像に含まれている顔画像を使用する画像処理を行う場合、左カメラ画像の画像処理に使用される顔画像が表す人物と、右カメラ画像の画像処理に使用される顔画像が表す人物とが同一人物である必要がある。なぜなら、画像処理後の画像を上側ＬＣＤ２２に立体表示させた場合に、左カメラ画像に挿入された顔画像と右カメラ画像に挿入された顔画像とが別の人物の顔であるために、顔画像が示す顔が顔と認識できなくなってしまうからである。このことは、保存画像として記憶されているカメラ画像を使用して外カメラ画像に対する画像処理を行う場合についても同様である。そこで、本実施形態では、撮影で得られた外カメラ画像と、保存画像として記憶されているカメラ画像のそれぞれについて、以下に説明する同一性判定処理が行われる。ここで、同一性判定処理とは、左カメラ画像に含まれている顔画像と右カメラ画像に含まれている顔画像とが同一人物の顔を表すものであるか否かを判定する処理である。

【0138】

以下、図１９を参照しつつ、情報処理部３１によって実行される同一性判定処理について説明する。ここで、図１９は、図１８のステップＳ３１，３２における同一性判定処理の詳細フローチャートである。なお、この同一性判定処理は、撮影で得られた外カメラ画像、及び保存画像データ３２５として撮影前からデータ記憶領域３２３に記憶されている保存画像の両方に対して行われるものであるため、以下の説明では、特に支障がなければ外カメラ画像と内カメラ画像とを特に区別せずに図１９の一連の処理について説明する。

【0139】

情報処理部３１は、まず、左カメラ画像に対する顔認識処理を実行して、顔認識結果データ３２６を更新する（ステップＳ３１１）。そして、第１判定手段及び第２判定手段として機能する情報処理部３１は、顔認識結果データ３２６を参照して、左カメラ画像に１以上の顔画像が含まれているかを判定する（ステップＳ３１２）。

【0140】

ところで、外側撮像部２３を用いた撮影では、顔画像を含む外カメラ画像５１が取得されることもあれば、顔画像を含まない外カメラ画像５０が取得されることもある。このため、例えば外カメラ画像５１が取得された場合にはステップＳ３１２において「ＹＥＳ」と判定されて、後述するステップＳ３１３へ処理が進められる。一方、例えば外カメラ画像５０が取得された場合にはステップＳ３１２において「ＮＯ」と判定されて、ステップＳ３２における保存画像に対する同一性判定処理へ処理が進められる。

【0141】

これに対して、保存画像に関しては、ステップＳ１８の処理において、外カメラ画像に対する画像処理に使用可能な顔画像が左カメラ画像には含まれていると判定されているので、保存画像に対するステップＳ３１２の処理では必ず「ＹＥＳ」と判定される。

【0142】

情報処理部３１は、左カメラ画像に１以上の顔が含まれていると判定した場合（ステップＳ３１２：ＹＥＳ）、左目用顔画像を取得する（ステップＳ３１３）。具体的には、情報処理部３１は、ステップＳ３１１の顔認識処理の結果に基づいて、左カメラ画像に含まれている人物の顔を示す顔領域を特定し、特定した顔領域の画像を左目用顔画像として取得する。

【0143】

ステップＳ３１３の処理に続いて、情報処理部３１は、ステップＳ３１１の処理で顔認識処理を行った左カメラ画像が、外側撮像部２３による撮影で得られたものであるか否かを判定する（ステップＳ３１４）。ステップＳ１４の処理で取得されたカメラ画像に対して一連の同一性判定処理が行われる場合、このカメラ画像は、外側撮像部２３による撮影で得られた外カメラ画像であるため、このステップＳ３１４においては必ず「ＹＥＳ」と判定されて、後述するステップＳ３１５へ処理が進められる。一方、保存画像に対して一
連の同一性判定処理が行われる場合、その保存画像が外側撮像部２３を使用する撮影で得られたものであれば保存画像データ３２５の一部として右カメラ画像が存在するので、このステップＳ３１４において「ＹＥＳ」と判定されて、ステップＳ３１５へ処理が進められる。また、保存画像が内側撮像部２４を使用する撮影で得られたものであれば、ステップＳ３１１の処理で顔認識処理を行った左カメラ画像が内カメラ画像であって、右カメラ画像は存在しないので、このステップＳ３１４において「ＮＯ」と判定されて、上述したステップＳ３４の処理で、ステップＳ３１３の処理で生成された左目用顔画像に基づいて右目用顔画像が生成されることになる。

【0144】

情報処理部３１は、ステップＳ３１３の処理で左目用顔画像を取得した左カメラ画像が外側撮像部２３による撮影で得られたものであると判定した場合（ステップＳ３１４：ＹＥＳ）、左目用画像から顔の特徴点を検出する（ステップＳ３１５）。そして、情報処理部３１は、右カメラ画像の顔認識処理を実行して顔認識結果データ３２６を更新する（ステップＳ３１６）。この顔認識処理は、ステップＳ３１１において左カメラ画像に対して行われたのと同様に行われる。

【0145】

情報処理部３１は、顔認識結果データ３２６を参照して、ステップＳ３１６の顔認識処理の結果に基づいて、右カメラ画像に１以上の顔画像が含まれているかを判定する（ステップＳ３１７）。右カメラ画像に１以上の顔画像が含まれていないと情報処理部３１によって判定された場合（ステップＳ３１７：ＮＯ）、ステップＳ３３の処理において同一人物の顔画像がないと判定されて、ステップＳ３４へ処理が進められる。

【0146】

情報処理部３１は、右カメラ画像に１以上の顔画像が含まれていると判定した場合（ステップＳ３１７：ＹＥＳ）、右カメラ画像におけるステップＳ３１３の処理で取得した左目用顔画像とほぼ同じ位置について顔認識処理を行って顔を検出する（ステップＳ３１８）。そして、情報処理部３１は、ステップＳ３１８の処理の結果として顔を検出できたか否かを判定する（ステップＳ３１９）。ここで、顔を検出できなかったと情報処理部３１によって判定された場合（ステップＳ３１９：ＮＯ）、右カメラ画像から左目用顔画像が示す人物と同一人物の顔を表す右目用顔画像を得るために、上述したステップＳ３４の処理が行われる。

【0147】

情報処理部３１は、右カメラ画像から顔を検出できたと判定した場合（ステップＳ３１９：ＹＥＳ）、右カメラ画像からステップＳ３１８の処理で検出した顔を示す右目用顔画像を取得する（ステップＳ３２０）。そして、情報処理部３１は、この右目用顔画像に関して、ステップＳ３１５の処理と同様に、顔の特徴点を検出する（ステップＳ３２１）。

【0148】

そして、情報処理部３１は、ステップＳ３１５の処理によって左目用画像から検出した顔の特徴点と、ステップＳ３２１の処理によって右目用画像から検出した顔の特徴点とを比較して、左目用顔画像が示す顔の人物と、右目用顔画像が示す顔の人物とが同一人物であるか否かを判定する（ステップＳ３２２）。上述したステップＳ３３の判定は、このステップＳ３２２の判定結果を利用して行われる。

【0149】

このように、今回の撮影で得られた外カメラ画像を構成する左カメラ画像及び右カメラ画像に対して同一人物の顔画像が合成されるように、左カメラ画像から取得された左目用顔画像と右カメラ画像から取得された右目用顔画像とが同一人物の顔であるか否かが判定され、別人の顔であると判定された場合には、ステップＳ３４の処理によって、左目用顔画像から、その左目用顔画像が表す顔と同一人物の右目用顔画像が生成される。

【0150】

［シャッフル処理］
以下、図２０〜図２６を参照しつつ、顔画像を使用する画像処理の一例として、ステップＳ４３のシャッフル処理について説明する。ここで、図２０は、外カメラ画像５１に含まれている２つの顔領域８１，８２を示す図である。図２１は、顔画像５４，５５を外カメラ画像５１に挿入するシャッフル処理の流れについて説明するための説明図である。図２２は、ステップＳ４３のシャッフル処理の詳細フローチャートである。図２３は、顔領域８１を規定する特徴点Ｐ１〜Ｐ１６を示す説明図である。図２４は、複数のポリゴンＰＧ１を示す説明図である。図２５は、顔領域８２を規定する特徴点Ｐ２１〜Ｐ３６を示す説明図である。図２６は、複数のポリゴンＰＧ２を示す説明図である。

【0151】

今回の撮影で取得された外カメラ画像５１に２人の人物７４，７５の顔画像５４，５５が含まれている場合、外カメラ画像５１に対して人物７４の顔画像５４と人物７５の顔画像５５とを入れ替える画像処理（シャッフル処理）が施されて、不思議画像９３（図９参照）が得られる場合がある。外カメラ画像５１が取得された場合、図２０に示されるように、外カメラ画像５１に対する顔認識処理によって、２つの顔領域８１，８２が検出され、それぞれの顔領域８１，８２に含まれる顔を表す２つの顔画像５４，５５が取得される。そして、図２１に示されるように、顔画像５４が人物７４とは別人である人物７５の顔領域８２に配置されると共に、顔画像５５が人物７５とは別人の人物７４の顔領域８１に配置されるように、２つの顔画像５４，５５が外カメラ画像５１に合成される。

【0152】

次に、図２２のフローチャートを参照しつつ、ステップＳ４３のシャッフル処理についてより詳細に説明する。なお、以下の説明では、顔画像５４を人物７５の顔領域８２に合成する処理について説明するが、顔画像５５を人物７４の顔領域８１に合成する処理は顔画像５４を顔領域８２に合成する処理と同様に行われるため、ここでの詳細な説明は省略する。

【0153】

ステップＳ３５（図１８参照）の処理によってシャッフル処理が選択されると、情報処理部３１のＣＰＵ３１１は、複数のポリゴンＰＧ１，ＰＧ２の各頂点のカメラ画像座標を設定する（ステップＳ４３１）。具体的には、ＣＰＵ３１１は、カメラ画像データ３２４が示す外カメラ画像５１及び外カメラ画像５１に対する顔認識結果データ３２６を用いて、外カメラ画像５１における人物７４の顔の位置（顔領域８１の位置）及び顔の特徴点Ｐ１〜Ｐ１６（図２３参照）の位置を取得すると共に、外カメラ画像５１における人物７５の顔の位置（顔領域８２の位置）及び顔の特徴点Ｐ２１〜Ｐ３６（図２５参照）の位置を取得する。そして、ＣＰＵ３１１は、特徴点Ｐ１〜Ｐ１６の位置に基づいて複数のポリゴンＰＧ１（図２４参照）の各頂点の位置（カメラ画像座標）を設定すると共に、特徴点Ｐ２１〜Ｐ３６の位置に基づいて複数のポリゴンＰＧ２（図２６参照）の各頂点の位置（カメラ画像座標）を設定する。そして、ＣＰＵ３１１は、複数のポリゴンＰＧ１及び複数のポリゴンＰＧ２に対して設定した各頂点の位置を用いて、複数のポリゴンＰＧ１及び複数のポリゴンＰＧ２に対するカメラ画像座標データ３３３２を更新する。ここで、複数のポリゴンＰＧ１，ＰＧ２は、識別された顔における複数の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６に基づいて三角形又は四角形でそれぞれ設定される。また、顔の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６は、公知のソフトウェアを利用して、撮影で得られた外カメラ画像５１から識別された顔画像（顔領域８１，８２が示す画像）に対してエッジ検出等の画像処理を施すことによって、顔画像における鼻先１点、眉４点（左右２点ずつ）、顎先端１点、頬１０点（左右５点ずつ）の計１６点が検出される。なお、複数のポリゴンＰＧ１，ＰＧ２の頂点の位置は、検出された顔の特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６と一致させる必要はなく、特徴点Ｐ１〜Ｐ１６、Ｐ２１〜Ｐ３６の位置に基づいた任意の位置に設定すればよい。

【0154】

このように、ステップＳ４３１の処理によって、複数のポリゴンＰＧ１と複数のポリゴンＰＧ２の各頂点のカメラ画像座標が設定される。これにより、外カメラ画像５１に含まれる顔領域８１及び顔領域８２が検出される。

【0155】

ところで、人物７４の顔の傾きと人物７５の顔の傾きが異なる場合がある。これは、撮影時の人物７４と人物７５の姿勢の違い等によるものである。また、人物７４の顔領域８１と人物７５の顔領域８２の大きさが異なる場合がある。これは、人物７４と人物７５の相対的な顔の大きさの違いだけでなく、撮影時における外側撮像部２３から人物７４の顔までの距離と、外側撮像部２３から人物７５の顔までの距離との違いによるものである。このため、顔領域８１に対応する顔画像５４をそのまま顔領域８２に配置する画像処理を行ったのでは、興趣性があっても、極めて不自然な顔を示す画像が得られることとなる。

【0156】

そこで、本実施形態では、顔画像５４を顔領域８２に配置するに際して、顔画像５４の回転処理と拡大／縮小処理を行うこととしている。

【0157】

ＣＰＵ３１１は、ステップＳ４３１の処理によってポリゴンＰＧ１，ＰＧ２の各頂点のカメラ画像座標を設定した後、顔領域８２（図２０参照）の顔に対する顔領域８１（図２０参照）の顔の傾きを算出する（ステップＳ４３２）。具体的には、ＣＰＵ３１１は、顔領域８１の左目の中心点Ａ１と右目の中心点Ａ２とを両端とする線分αの傾きを算出して、水平方向に対する顔領域８１の顔の傾きを求める。また、ＣＰＵ３１１は、顔領域８２の左目の中心点Ｂ１と右目の中心点Ｂ２とを両端とする線分βの傾きを算出して、水平方向に対する顔領域８２の顔の傾きを求める。そして、ＣＰＵ３１１は、これら２つの傾きを用いて傾きデータ３３３４を更新した後、これら２つの傾きの差を求めることにより、顔領域８２の顔に対する顔領域８１の顔の傾きを算出する。

【0158】

次に、ＣＰＵ３１１は、ポリゴンＰＧ１を回転させる（ステップＳ４３３）。顔領域８１に含まれる顔を回転させる場合、顔領域８１を規定する各特徴点Ｐ１〜Ｐ１６の位置を回転移動させる必要がある。このように、顔領域８１の各特徴点Ｐ１〜Ｐ１６の位置を変化させた場合、特徴点Ｐ１〜Ｐ１６に基づいて設定したポリゴンＰＧ１の各頂点位置も回転移動させる必要がある。そこで、このステップＳ４３３において、ＣＰＵ３１１は、ステップＳ４３１の処理で設定した複数のポリゴンＰＧ１の各頂点のカメラ画像座標を、ステップＳ４３２の処理で算出した傾きに応じて回転移動させた位置に変更し、変更後のカメラ画像座標を用いてカメラ画像座標データ３３３２を更新する。

【0159】

このステップＳ４３３の処理が行われることにより、ポリゴンＰＧ１によって表される人物７４の顔の傾きが人物７５の顔の傾きとほぼ一致するように、ポリゴンＰＧ１の各頂点のカメラ画像座標が補正される。

【0160】

ステップＳ４３３の処理に続いて、ＣＰＵ３１１は、ポリゴンＰＧ１の大きさを変化させるための倍率（拡大率又は縮小率）を算出する（ステップＳ４３４）。具体的には、ＣＰＵ３１１は、顔認識結果データ３２６に含まれている顔領域８１を示すデータ（ここでは点Ａ１〜Ａ４の位置を示すデータ）に基づいて、図２３に示されるように、顔領域８１の横サイズＸ１と縦サイズＹ１を算出する。また、ＣＰＵ３１１は、顔認識結果データ３２６に含まれている顔領域８２を示すデータ（ここでは点Ｂ１〜Ｂ４の位置を示すデータ）に基づいて、図２５に示されるように、顔領域８２の横サイズＸ２と縦サイズＹ２を算出する。そして、ＣＰＵ３１１は、算出した顔領域８１，８２のサイズに基づいて、サイズデータ３３３３を更新する。続いて、ＣＰＵ３１１は、サイズデータ３３３３を参照して、横サイズＸ１が横サイズＸ２とほぼ一致し、且つ縦サイズＹ１が縦サイズＹ２とほぼ一致するように、ポリゴンＰＧ１の倍率（拡大率又は縮小率）の近似値を算出する。

【0161】

次に、ＣＰＵ３１１は、ステップＳ４３４の処理で算出した倍率に応じて、ポリゴンＰＧ１を拡大又は縮小する（ステップＳ４３５）。顔領域８１の大きさが顔領域８２の大きさとほぼ一致するように顔領域８１を拡大又は縮小する場合、顔領域８１を規定する特徴点Ｐ１〜Ｐ１６間の距離が変化するために、特徴点Ｐ１〜Ｐ１６の位置に基づいて設定されるポリゴンＰＧ１の各頂点の位置を変化させる必要がある。そこで、このステップＳ４３５において、ＣＰＵ３１１は、カメラ画像座標データ３３３２を参照して、ステップＳ４３３の処理で変更された複数のポリゴンＰＧ１の各頂点のカメラ画像座標を、ステップＳ４３４の処理で算出した倍率でポリゴンＰＧ１を拡大又は縮小して移動させた位置に変更し、変更後のカメラ画像座標を用いてカメラ画像座標データ３３３２を更新する。

【0162】

このように、複数のポリゴンＰＧ１の傾きや大きさを変化させることによって、顔画像５４を顔領域８２に配置した場合に、人物７５の顔が不自然になる（例えば頭に対して顔が大きすぎたりする）のを防止することができる。なお、ここでは、複数のポリゴンＰＧ１の回転処理を行ってから拡大又は縮小処理を行うこととしているが、複数のポリゴンＰＧ１の拡大又は縮小処理を行ってから回転処理を行うようにしてもよい。

【0163】

続いて、ＣＰＵ３１１は、カメラ画像座標データ３３３２を参照して、ポリゴンＰＧ１の各頂点の位置（テクスチャ座標）を設定し、設定した各頂点の位置に基づいて、ポリゴンＰＧ１のテクスチャ座標データ３３３１を更新する（ステップＳ４３６）。

【0164】

そして、ＣＰＵ３１１は、ポリゴンＰＧ１に顔画像５４を描画する（ステップＳ４３７）。具体的には、ＣＰＵ３１１は、顔領域８１の顔画像５４に基づいて、複数のポリゴンＰＧ１の各ポリゴンにマッピングするためのテクスチャを生成して、テクスチャデータ３３２を更新する。そして、ＣＰＵ３１１は、テクスチャ座標データ３３３１が示す各頂点のテクスチャ座標に基づいて、テクスチャデータ３３２が示す顔画像５４のテクスチャを複数のポリゴンＰＧ１の各ポリゴンにマッピングする。そして、情報処理部３１は、顔認識結果データ３２６を参照して、複数のポリゴンＰＧ１の基準点（図２３に示される中点Ａ３）が複数のポリゴンＰＧ２の基準点（図２５に示される中点Ｂ３）と一致するように複数のポリゴンＰＧ１を配置してＶＲＡＭ３１３に描画する。その際、顔画像５４の周縁部と、顔領域８２の周辺の画像との違和感を低減させるために、画素の透過度を示すアルファ値を、ポリゴンＰＧ１の各頂点に対しては「０」に設定する。

【0165】

このように、人物７４の顔画像５４が人物７５の顔領域８２に適合するように顔画像５４に対して回転処理及び拡大／縮小処理が施されて、処理後の顔画像５４が顔領域８２に位置するように外カメラ画像５１に合成される。また、人物７５の顔画像５５についても、人物７４の顔領域８１に適合するように回転処理及び拡大／縮小処理が施されて、処理後の顔画像５５が顔領域８１に位置するように外カメラ画像５１に合成される。その結果、図９に例示されるような不思議画像９３を得ることができる。

【0166】

なお、その他の不思議画像９１，９２，９４〜９７を得るための画像処理は、本実施形態で説明したシャッフル処理と同様に、外カメラ画像５１又は保存画像５６から顔画像を取得して外カメラ画像５１に合成する処理であるため、ここでの詳細な説明は省略する。また、本実施形態で説明した各不思議画像９１〜９７における顔画像の配置位置、合成する顔画像の数、各顔画像の角度、各顔画像の大きさはあくまでも一例であって、適宜変更されてもよいことは言うまでもない。

【0167】

［本実施形態の作用効果］
以上説明したように、本実施形態によれば、撮影により外カメラ画像が取得されると、外カメラ画像に顔画像が含まれているか否かが判定され、顔画像が含まれている場合、顔画像を使用する２以上の画像処理と顔画像を使用しない２以上の画像処理とを含む複数の画像処理からいずれかの画像処理がランダムに選択され、外カメラ画像に対して、選択された画像処理が施される。このように、外カメラ画像にはランダムに選択された画像処理が施されるので、ゲーム装置１０のユーザや被写体である人物が意図しない画像処理が施
された、意外性のあるカメラ画像を得ることができる。なお、複数の画像処理には、撮影で得られた外カメラ画像に含まれている顔画像を使用する画像処理が含まれているので、この顔画像を使用する画像処理が選択された場合には、意外性があるだけではなく、興趣性が高い画像（例えば不思議画像９１〜９３）を得ることができる。

【0168】

また、本実施形態では、過去の撮影で得られた保存画像（例えば保存画像５６）に含まれている顔画像を使用する画像処理（例えば単独入替処理、全員入替処理、背後霊処理、地縛霊処理）を選択可能である。つまり、リアルタイムに取得される外カメラ画像には含まれていない顔画像を使用する画像処理の選択が可能である。このため、保存画像内の顔画像を使用する画像処理が選択されて外カメラ画像に施された場合には、外カメラ画像に含まれている顔画像を使用する画像処理が外カメラ画像に施される場合に比べて、より一層意外性があって興趣性が高い不思議画像（不思議画像９４〜９７）を得ることができる。

【0169】

また、本実施形態では、画像処理が施された外カメラ画像が上側ＬＣＤ２２に表示されるので、ゲーム装置１０のユーザや撮影時に被写体となった人物が画像処理の結果を容易に確認することができる。

【0170】

ところで、外側撮像部２３によってリアルタイムに撮像される外カメラ画像を例えば上側ＬＣＤ２２に表示するようにした場合、ゲーム装置１０のユーザが画像処理の結果を容易に予測できてしまうおそれがある。これに対して、本実施形態では、外側撮像部２３によってリアルタイムに撮像される外カメラ画像は表示されずに、代替画像７０が表示されるので、画像処理によって得られる不思議画像の意外性が低下してしまうのを効果的に防止することができる。

【0171】

また、外側撮像部２３による撮影で得られた外カメラ画像に顔画像が含まれていなければ、その顔画像を使用する画像処理を選択して実行することはできない。これに対して、本実施形態では、外側撮像部２３によって撮影される顔の位置を示唆するマーカ画像７１，７２を含む代替画像７０（図５参照）が上側ＬＣＤ２２に表示されるので、ユーザは、代替画像７０を見ながら被写体となる各人物に対応する全てのマーカ画像が上側ＬＣＤ２２に表示されるようにゲーム装置１０を構えて撮影を行うことで、外カメラ画像に含まれている顔画像を使用する画像処理が施された画像（例えば不思議画像９１〜９３）が得られ易い状況を意図的に作り出すことができる。

【0172】

また、上記実施形態では、外側撮像部２３によって複数人の顔が撮影された場合に、これら複数人の顔が入れ替わるという実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い画像（不思議画像９３）を得ることができる。

【0173】

また、上記実施形態では、外側撮像部２３によって人物の顔が撮影された場合に、心霊写真のようにあるはずのない場所に顔が写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い画像（不思議画像９１，９２）を得ることができる。

【0174】

また、上記実施形態では、ゲーム装置１０の前方には存在していない顔（外側撮像部２３の撮像範囲に含まれていない顔）が写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い画像（不思議画像９６，９７）を得ることができる。

【0175】

また、上記実施形態では、撮影で得られた外カメラ画像に含まれているはずの顔が外側撮像部２３の前方には存在していない顔として写り込むといった実空間の状況とは大きく異なる、意外性があり且つ興趣性が高い画像（不思議画像９４，９５）を得ることができる。

【0176】

ところで、複数回の撮影で顔画像を使用する画像処理が連続して選択された場合、画像処理によって得られる画像の意外性が低下する可能性がある。上記実施形態によれば、顔画像を使用する画像処理と、顔画像を使用しない画像処理とがランダムに選択されるので、顔画像を使用した画像処理が施された画像が得られることもあれば、顔画像を使用しない画像処理が施された画像が得られることもある。このため、画像処理によって得られる画像の意外性の低下を抑制することができる。

【0177】

［変形例］
なお、本発明は上記実施形態に限定されるものではなく、以下の形態であってもよい。すなわち、上記実施形態では、過去の撮影で得られた保存画像に含まれている顔画像を使用する画像処理が実行され得る場合について説明したが、撮影で得られた外カメラ画像に対する画像処理に、保存画像に含まれている顔画像を使用しないようにしてもよい。

【0178】

また、上記実施形態では、外側撮像部２３による撮影で得られた外カメラ画像に画像処理を施して不思議画像を得る場合について説明したが、内側撮像部２４による撮影で得られた内カメラ画像に画像処理を施して不思議画像を得るようにしてもよい。

【0179】

また、上記実施形態では、画像処理によって得られた画像（例えば不思議画像９１〜９７）が上側ＬＣＤ２２に表示される場合について説明したが、画像処理によって得られた画像を下側ＬＣＤ１２に表示するようにしてもよい。この場合、下側ＬＣＤ１２が表示手段として機能する。また、画像処理によって得られた画像を例えばゲーム装置１０と通信可能に接続された液晶テレビの画面に表示させるようにすれば、画像処理によって得られた画像を必ずしもゲーム装置１０において表示する必要はない。

【0180】

また、上記実施形態では、外側撮像部２３をステレオカメラとして使用して、立体的に表示される不思議画像９１〜９７を得る場合について説明したが、外側撮像部２３を非ステレオカメラとして使用して、平面的に表示される不思議画像を得るようにしてもよい。

【0181】

また、上記実施形態では、上側ＬＣＤ２２にマーカ画像７１，７２を含む代替画像７０を表示させる場合について説明したが、マーカ画像７１，７２に関しては表示させないようにしてもよい。

【0182】

また、上記実施形態では、撮影が行われるまでは、外側撮像部２３によってリアルタイムに取得される外カメラ画像の代わりに、上側ＬＣＤ２２に代替画像７０が表示される場合について説明したが、リアルタイムに取得される外カメラ画像を表示するようにしてもよい。ただし、この場合、ゲーム装置１０のユーザが画像処理の結果を容易に予測できてしまう可能性があるので、上記実施形態で説明したように、リアルタイムに取得される外カメラ画像は表示させずに代替画像７０を表示させるのが好ましい。

【0183】

また、上記実施形態では、携帯型のゲーム装置１０に本発明が適用された場合を例に説明したが、本発明は、ゲーム装置に限らず、任意の携帯型電子機器、例えば、ＰＤＡ（Personal Digital Assistance）や携帯電話等に適用されてもよい。

【0184】

また、上記実施形態では、不思議画像を得るまでの全ての処理をゲーム装置１０で行う場合を例に説明したが、一部の処理を他の装置で行っても構わない。例えば、ゲーム装置１０が他の装置（例えば、サーバや他のゲーム装置）と通信可能に接続されている場合、上述したフローチャートにおける処理ステップは、ゲーム装置１０及び他の装置が１つの撮像システムとして協働することによって実行されてもよい。また、上記実施形態においては、ゲーム装置１０の情報処理部３１が所定のプログラムを実行することによって、上
述したフローチャートにおける処理が行われたが、ゲーム装置１０が備える専用回路によって上記処理の一部又は全部が行われてもよい。

【0185】

また、上述したゲーム装置１０の形状、撮像部の数、撮像部の設置位置、撮像部の撮像方向等は単なる一例に過ぎず、他の形状、数、及び設置位置であっても、本発明を実現できることは言うまでもない。また、上述したメイン処理で用いられる処理順序、設定値、判定に用いられる値等は、単なる一例に過ぎず他の順序や値であっても、本発明を実現できることは言うまでもない。

【0186】

また、画像生成プログラムは、外部メモリ４５やデータ保存用外部メモリ４６等の外部記憶媒体を通じてゲーム装置１０に供給されるだけでなく、有線又は無線の通信回線を通じてゲーム装置１０に供給されてもよい。また、上記画像生成プログラムは、ゲーム装置１０内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、不揮発性メモリの他に、ＣＤ−ＲＯＭ、ＤＶＤ、或いはそれらに類する光学式ディスク状記憶媒体、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープ等であってもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを一時的に記憶するＲＡＭ等の揮発性メモリでもよい。

【0187】

以上、本発明を詳細に説明してきたが、上述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。

【産業上の利用可能性】

【0188】

本発明は、人物等の顔を撮像して得られた撮像画像に対して顔認識機能を用いて画像処理を行う撮像装置のコンピュータに実行させる画像生成プログラム、撮像装置、撮像システム、及び画像生成方法等に適用可能である。

【符号の説明】

【0189】

１０ ゲーム装置（撮像装置の一例）
２２ 上側ＬＣＤ（表示手段の一例）
２３ 外側撮像部（撮像部の一例）
３１ 情報処理部
３２ メインメモリ
４６ データ保存用外部メモリ（メモリの一例）
５０，５１ 外カメラ画像（第１撮像画像の一例）
５４，５５，５９ 顔画像の一例
５６ 保存画像（第２撮像画像の一例）
７０ 代替画像
７１，７２ マーカ画像
９１，９２，９３，９４，９５，９６，９７ 不思議画像
３１１ ＣＰＵ
３１２ ＧＰＵ
３１３ ＶＲＡＭ

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】