特許 5664877 サービス提供装置、それに用いる制御方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5664877

(24)【登録日】2014年12月19日

(45)【発行日】2015年2月4日

(54)【発明の名称】サービス提供装置、それに用いる制御方法及びコンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20150115BHJP

   A63F 13/53 20140101ALI20150115BHJP

【ＦＩ】

   G06T19/00 D

   A63F13/53

【請求項の数】7

【全頁数】20

(21)【出願番号】特願2012-214287(P2012-214287)

(22)【出願日】2012年9月27日

(65)【公開番号】特開2014-67381(P2014-67381A)

(43)【公開日】2014年4月17日

【審査請求日】2013年12月18日

(73)【特許権者】

【識別番号】506113602

【氏名又は名称】株式会社コナミデジタルエンタテインメント

(74)【代理人】

【識別番号】100099645

【弁理士】

【氏名又は名称】山本 晃司

(72)【発明者】

【氏名】浅見 祐一

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−０５８９６８（ＪＰ，Ａ）

【文献】 特開２０１２−００３３６３（ＪＰ，Ａ）

【文献】 特開２０１１−２０３８３５（ＪＰ，Ａ）

【文献】 特開２０１１−０２９９４７（ＪＰ，Ａ）

【文献】 特開２００８−０１２１０２（ＪＰ，Ａ）

【文献】 特開２００５−２２８１４０（ＪＰ，Ａ）

【文献】 特開２００５−０６３２２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００，１９／００，１９／２０

Ａ６３Ｆ ９／２４，１３／００−１３／９８

Ｇ０６Ｔ １５／００−１５／８７

(57)【特許請求の範囲】

【請求項1】

ユーザが撮影されている撮影画像を利用して所定のサービスを提供するサービス提供装置であって、
撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像を撮影し、前記ユーザ存在画像の前記ユーザの画像の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像を撮影する撮影手段と、
前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分の画像を特定する画像特定手段と、
前記画像特定手段の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正手段と、
前記透過率補正手段の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像が前記撮影画像の前記ユーザの画像として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成手段と、
所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較手段と、
前記画像比較手段の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正手段と、
を備え、
前記データ生成手段は、前記合成画像データとして、前記画像補正手段によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データを生成する、サービス提供装置。

【請求項2】

前記画像比較手段は、前記所定の基準として光度を利用し、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像の光度と当該部分に対応する前記ユーザ非存在画像の光度とを比較し、
前記画像補正手段は、前記ユーザ存在画像と前記ユーザ非存在画像との間の光度差に基づいて、当該光度差が減少するように前記非存在部分の画像の光度を補正することにより、前記画像比較手段の比較結果を補正に反映する、請求項１に記載のサービス提供装置。

【請求項3】

前記所定の補正条件は、前記光度差が所定値以上の場合に満たされる、請求項２に記載のサービス提供装置。

【請求項4】

前記所定のサービスとして、ゲームが提供される、請求項１〜３のいずれか一項に記載のサービス提供装置。

【請求項5】

少なくとも一つの操作部を有する入力装置と、
ゲーム音を再生出力する音声出力装置と、
楽曲を再生させるための楽曲データを記憶する楽曲データ記憶手段と、
前記楽曲データに基づいて前記音声出力装置から前記楽曲を再生させる楽曲再生手段と、
を更に備え、
前記楽曲中において操作を実行すべき操作時期が記述されたシーケンスデータに基づいて、各操作時期に対応する指示標識及び現在時刻に対応する基準標識を所定の経路に沿って時間順に配置し、前記指示標識が当該指示標識によって示されるべき操作時期に前記基準標識に一致するように時間の進行に応じて前記指示標識及び前記基準標識の間に前記所定の経路に沿った相対的変位を生じさせることにより、各操作時期をプレイヤに案内する音楽ゲームが前記ゲームとして提供される、請求項４に記載のサービス提供装置。

【請求項6】

ユーザが撮影されている撮影画像を利用して所定のサービスを提供するサービス提供装置であって、撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像を撮影し、前記ユーザ存在画像の前記ユーザの画像の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像を撮影する撮影手段を備えるサービス提供装置に組み込まれるコンピュータに、
前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分の画像を特定する画像特定工程と、
前記画像特定工程の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正工程と、
前記透過率補正工程の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像が前記撮影画像の前記ユーザの画像として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成工程と、
所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較工程と、
前記画像比較工程の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正工程と、
を実行させ、
前記データ生成工程では、前記合成画像データとして、前記画像補正工程によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データが生成される、制御方法。

【請求項7】

ユーザが撮影されている撮影画像を利用して所定のサービスを提供するサービス提供装置であって、撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像を撮影し、前記ユーザ存在画像の前記ユーザの画像の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像を撮影する撮影手段を備えたサービス提供装置に組み込まれるコンピュータを、
前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分の画像を特定する画像特定手段、前記画像特定手段の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正手段、前記透過率補正手段の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像が前記撮影画像の前記ユーザの画像として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成手段、所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較手段、及び前記画像比較手段の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正手段として機能させるように構成され、
前記データ生成手段では、前記合成画像データとして、前記画像補正手段によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データが生成される、サービス提供装置用のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ユーザが撮影されている撮影画像を利用して所定のサービスを提供するサービス提供装置等に関する。

【背景技術】

【0002】

所定のサービスを提供するサービス提供装置の一例としてゲーム機が存在する。このようなゲーム機では、所定のサービスとしてゲームが提供される。また、このようなゲームの一例として、音楽のリズムに合わせてプレイヤに所定の操作を要求する音楽ゲームが存在する。そして、音楽のリズムに対応するノーツバーの移動を通じてピッキングブレード等を操作すべき操作時期が案内されるゲームが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００１−９６０６１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１のような音楽ゲームにおいて、臨場感を高めるためにプレイヤに対応するキャラクタがゲーム画面に表示される場合がある。このようなキャラクタとして実際のプレイヤを撮影して得られるプレイヤ画像が使用される場合には、ゲーム画面は現実空間の画像と仮想空間の画像とが組み合わされた拡張空間として機能する。そして、このような場合には、ゲームの臨場感を更に向上させることができる。一方、プレイヤ画像の取得には、実際にプレイヤを撮影する必要がある。この場合、プレイヤによって遮られ、プレイヤの背後の風景は撮影されない。したがって、拡張空間においてプレイヤ画像とともに現実空間のプレイヤの背後の風景を再現するのは難しい。一方で、拡張空間において現実空間のプレイヤの背後の風景を再現することができれば、現実空間の範囲が拡大され、拡張空間の現実性が更に向上するので、更に臨場感を向上させることができる。

【0005】

そこで、本発明は、サービス提供時の臨場感を向上させることができるサービス提供装置等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明のサービス提供装置は、ユーザが撮影されている撮影画像（３６）を利用して所定のサービスを提供するサービス提供装置（１）であって、撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像（ＲＧ）を撮影し、前記ユーザ存在画像の前記ユーザの画像（ＰＩ）の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像（ＰＧ）を撮影する撮影手段（ＯＳ）と、前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分（ＫＡ）の画像を特定する画像特定手段（１５）と、前記画像特定手段の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正手段（１５）と、前記透過率補正手段の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像（ＣＧ）が前記撮影画像の前記ユーザの画像（ＰＩ）として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成手段と、所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較手段（１５）と、前記画像比較手段の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正手段（１５）と、を備え、前記データ生成手段は、前記合成画像データとして、前記画像補正手段によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データを生成するものである。

【0007】

本発明によれば、撮影範囲にユーザが存在している場合のユーザ存在画像及びそこにユーザが存在していない場合のユーザ非存在画像が撮影される。また、ユーザ存在画像のユーザの画像及びユーザ非存在画像におけるユーザ存在画像のユーザの画像の位置に対応する部分の画像が重ね合わさるように合成される。また、この合成は、両方の画像が視覚的に認識できるように透過率が補正されて実行される。つまり、ユーザの画像及びその背景の画像が視覚的に認識できる合成画像が生成される。そして、この合成画像が所定のサービスの提供に利用されるので、所定のサービスを提供する際の現実空間の範囲を拡大することができる。これにより、拡張空間の現実性を向上させることができるので、サービス提供時の臨場感を向上させることができる。

【0008】

また、ユーザ存在画像とユーザ非存在画像との間には撮影時間の相違が生じ得る。そして、撮影時間の相違は、両画像間に相違を生じさせるケースが多い。本発明によれば、合成される両写真間の所定の基準に関する相違が取得され、その相違が非存在部分の画像の補正に反映される。このため、このような相違を解消するような補正を実現することできる。これにより、より自然な合成を実現することができる。

【0009】

また、本発明の補正が実行される態様において、前記画像比較手段は、前記所定の基準として光度を利用し、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像の光度と当該部分に対応する前記ユーザ非存在画像の光度とを比較し、前記画像補正手段は、前記ユーザ存在画像と前記ユーザ非存在画像との間の光度差に基づいて、当該光度差が減少するように前記非存在部分の画像の光度を補正することにより、前記画像比較手段の比較結果を補正に反映してもよい。撮影時間の相違は、例えば、昼の撮影結果と夜の撮影結果といった具合に画像の全体に同じ傾向の光度差を生じさせるケースが多い。この態様の場合、補正対象の画像間の同じ場所の光度が補正の基準として利用される。このため、両画像間の光度差の全体傾向を補正に反映することができる。これにより、更に自然な合成を実現することができる。

【0010】

本発明の補正の基準に光度差を利用する態様において、前記所定の補正条件は、前記光度差が所定値以上の場合に満たされてもよい。この場合、例えば、不自然な合成になり得る光度差の値を所定値として利用することにより、光度の補正を不自然な合成になり得る場合に限定することができる。これにより、不要な補正を抑制することができる。

【0011】

所定のサービスとして、どのようなサービスが提供されてもよい。例えば、本発明のサービス提供装置の一態様において、前記所定のサービスとして、ゲームが提供されてもよい。また、この態様において、少なくとも一つの操作部（８）を有する入力装置（３）と、ゲーム音を再生出力する音声出力装置（６）と、楽曲を再生させるための楽曲データ（２７）を記憶する楽曲データ記憶手段（１６）と、前記楽曲データに基づいて前記音声出力装置から前記楽曲を再生させる楽曲再生手段（１５）と、を更に備え、前記楽曲中において操作を実行すべき操作時期が記述されたシーケンスデータ（３０）に基づいて、各操作時期に対応する指示標識（ＯＩ）及び現在時刻に対応する基準標識（ＤＩ）を所定の経路に沿って時間順に配置し、前記指示標識が当該指示標識によって示されるべき操作時期に前記基準標識に一致するように時間の進行に応じて前記指示標識及び前記基準標識の間に前記所定の経路に沿った相対的変位を生じさせることにより、各操作時期をプレイヤに案内する音楽ゲームが前記ゲームとして提供されてもよい。これらの場合、所定のサービスとして、臨場感の高いゲーム或いは音楽ゲームを提供することができる。

【0012】

本発明の制御方法は、ユーザが撮影されている撮影画像（３６）を利用して所定のサービスを提供するサービス提供装置（１）であって、撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像（ＲＧ）を撮影し、前記ユーザ存在画像の前記ユーザの画像（ＰＩ）の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像（ＰＧ）を撮影する撮影手段を備えるサービス提供装置に組み込まれるコンピュータ（１５）に、前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分（ＫＡ）の画像を特定する画像特定工程と、前記画像特定工程の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正工程と、前記透過率補正工程の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像（ＣＧ）が前記撮影画像の前記ユーザの画像（ＰＩ）として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成工程と、所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較工程と、前記画像比較工程の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正工程と、を実行させ、前記データ生成工程では、前記合成画像データとして、前記画像補正工程によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データが生成されるものである。

【0013】

本発明のサービス提供装置用のコンピュータプログラムは、ユーザが撮影されている撮影画像（３６）を利用して所定のサービスを提供するサービス提供装置（１）であって、撮影範囲に前記ユーザが存在している場合に対応するユーザ存在画像（ＲＧ）を撮影し、前記ユーザ存在画像の前記ユーザの画像の位置に前記ユーザが存在していない場合に対応するユーザ非存在画像（ＰＧ）を撮影する撮影手段を備えたサービス提供装置に組み込まれるコンピュータ（１５）を、前記撮影手段の撮影結果に基づいて、前記ユーザ存在画像における前記ユーザの画像及び前記ユーザ非存在画像における前記ユーザの画像の位置に対応する非存在部分（ＫＡ）の画像を特定する画像特定手段、前記画像特定手段の特定結果に基づいて、前記ユーザの画像及び前記非存在部分の画像が重ねて配置された場合に、前記ユーザの画像又は前記非存在部分の画像の透過を通じて両方の画像が視覚的に認識できるように、前記ユーザの画像及び前記非存在部分の画像の少なくともいずれか一方の透過率を補正する透過率補正手段、前記透過率補正手段の補正結果に基づいて、少なくともいずれか一方の透過率が補正された後の前記ユーザの画像及び前記非存在部分の画像が重ねて配置された合成画像（ＣＧ）が前記撮影画像の前記ユーザの画像（ＰＩ）として使用されるように、前記合成画像を表示するための合成画像データを生成するデータ生成手段、所定の基準に基づいて、前記ユーザ存在画像の前記ユーザの画像とは異なる部分の画像と当該部分に対応する前記ユーザ非存在画像の画像とを比較する画像比較手段、及び前記画像比較手段の比較結果が所定の補正条件を満たしている場合に、前記比較結果が反映されるように、前記非存在部分の画像を補正する画像補正手段として機能させるように構成され、前記データ生成手段では、前記合成画像データとして、前記画像補正手段によって補正された後の前記非存在部分の画像に基づく合成画像を表示するための合成画像データが生成されるものである。本発明の制御方法或いは、コンピュータプログラムが実行されることにより、本発明のサービス提供装置を実現することができる。

【0014】

なお、以上の説明では本発明の理解を容易にするために添付図面の参照符号を括弧書きにて付記したが、それにより本発明が図示の形態に限定されるものではない。

【発明の効果】

【0015】

以上、説明したように、本発明によれば、サービス提供時の臨場感を向上させることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の一形態に係るサービス提供装置として構成されたゲーム機の外観を概略的に示す図。

【図2】ゲーム機の要部の機能ブロック図。

【図3】ゲーム画面の一例が表示されたモニタの周辺の要部を拡大して模式的に示す図。

【図4】プレイヤ画像として背景を透過する透過画像が使用される場合の特別ゲーム画面の一例を示す図。

【図5】リアル画像及び過去画像の合成の一例について説明するための説明図。

【図6】合成画像の生成に関連するゲーム提供部の要部の概略構成を示す機能ブロック図。

【図7】画像合成処理ルーチンのフローチャートの一例を示す図。

【発明を実施するための形態】

【0017】

以下、本発明の一形態に係るサービス提供装置として構成されたゲーム機について説明する。図１は、本発明の一形態に係るサービス提供装置として構成されたゲーム機１の外観を概略的に示す図である。ゲーム機１は、所定の対価の消費と引き換えに、ユーザとしてのプレイヤに所定のサービスとしての所定の範囲の音楽ゲームを提供する業務用のゲーム機として構成されている。具体的には、図１に示すように、ゲーム機１は、筐体２及び入力装置３を備えている。入力装置３は、プレイヤによってプレイ行為の入力等に利用される。また、筐体２の上部には、モニタ４が設けられている。モニタ４は、表示面が入力装置３の方向、つまりプレイヤ側を向くように筐体２の正面に配置されている。モニタ４の上方には、状態検出装置５が設けられている。状態検出装置５の両側には、それぞれに音声出力装置としての筐体側スピーカ６が設けられている。

【0018】

状態検出装置５は、プレイ中のプレイヤの状態を検出するための装置である。具体的には、状態検出装置５は、例えば、撮影手段としての光学センサＯＳ（図２参照）及び深度センサを含んでいる。深度センサは、状態検出装置５とプレイヤとの間の距離（深度）を検出するための周知のセンサである。光学センサＯＳは、プレイヤの体の各部位の動きを検出ための周知のセンサである。光学センサＯＳは、カメラを含んでいる。カメラは、撮影方向が入力装置３の方を向くように配置されている。より具体的には、カメラは、撮影範囲にプレイヤのプレイ行為が含まれるように配置されている。そして、光学センサＯＳは、カメラの撮影結果に基づいて、プレイヤの体の各部位の位置及び動きを検出する。一例として、この検出には、いわゆるボーン情報が利用される。ボーン情報とは、プレイヤの骨の情報を意味する。このように状態検出装置５は、光学センサＯＳ及び深度センサ等に基づいて、プレイヤの体の各部位の動きや深度といったプレイ中のプレイヤの状態を検出する周知の装置である。また、状態検出装置５は、所定の周期でプレイヤの状態を検出するように構成されている。

【0019】

入力装置３には、カードリーダ７及び４つのプレイ用操作部８が設けられている。また、入力装置３には、スティック９を置くためのスティック置き場１０が設けられている。カードリーダ７は、プレイヤが所持するカードＳＭ（図２参照）の情報を読み取るための装置である。カードリーダ７の両側には、それぞれに入力装置側スピーカ１１が設けられている。各プレイ用操作部８は、打楽器のドラムを模した形状を有している。一方、スティック９は、各プレイ用操作部８へのプレイ行為の入力に使用される。具体的には、例えば、スティック９によって各プレイ用操作部８の上面を叩くような操作がプレイ行為として各プレイ用操作部８に入力される。なお、ゲーム機１には、その他にも押釦スイッチ、十字キーといった業務用のゲーム機が備える各種の入力装置及び出力装置が設けられていてよい。

【0020】

図２を参照して、ゲーム機１の構成について更に説明する。図２は、ゲーム機１の要部の機能ブロック図である。図２に示すように、ゲーム機１には、コンピュータとしての制御ユニット１５及び外部記憶装置１６が設けられている。制御ユニット１５は、制御主体としてのゲーム制御部１７と、そのゲーム制御部１７からの出力に従って動作する表示制御部１８及び音声出力制御部１９と、を備えている。ゲーム制御部１７は、マイクロプロセッサと、そのマイクロプロセッサの動作に必要な内部記憶装置（一例としてＲＯＭ及びＲＡＭ）等の各種の周辺装置と、を組み合わせたユニットとして構成されている。表示制御部１８は、ゲーム制御部１７から与えられる描画データに応じた画像をフレームバッファに描画し、その描画した画像に対応する映像信号をモニタ４に出力することにより、モニタ４上に所定の画像を表示させる。音声出力制御部１９は、ゲーム制御部１７から与えられる音声再生データに応じた音声再生信号を生成して筐体側スピーカ６及び入力装置側スピーカ１１に出力することにより、これらのスピーカ６、１１から所定の楽曲（効果音等を含む）を再生させる。このように、制御ユニット１５には、モニタ４、筐体側スピーカ６及び入力装置側スピーカ１１も接続されている。

【0021】

各プレイ用操作部８の内部には、振動センサ２０が設けられている。振動センサ２０は、各プレイ用操作部８の上面の振動を検出する。このような振動は、例えば、プレイ用操作部８の上面がスティック９を利用して叩かれた場合に生じる。つまり、振動センサ２０は、プレイヤがプレイ用操作部８を叩くという操作を検出する。振動センサ２０は、制御ユニット１５に接続され、検出結果をゲーム制御部１７に出力する。

【0022】

また、制御ユニット１５には、上述の状態検出装置５及びカードリーダ７も接続されている。状態検出装置５の検出結果は、制御ユニット１５に出力される。また、その検出結果は、例えば、ゲーム制御部１７の内部記憶装置に少なくとも一時的に記憶される。カードリーダ７は、カードＳＭの情報を読み取って、その情報に対応した信号を制御ユニット１５に出力する。カードＳＭには、ＩＣチップ、磁気ストライプといった不揮発性記憶媒体（不図示）が設けられている。そして、その記憶媒体には、例えば、カードＳＭ毎にユニークなＩＤ（以下、カードＩＤと呼ぶことがある。）及び消費可能な対価の量が記憶されている。つまり、一例として、カードリーダ７は、カードＳＭの記憶媒体に記憶された消費可能な対価の量を読み取って、制御ユニット１５に出力する。そして、その対価は、例えば、ゲームをプレイするために消費される。また、カードＳＭの記憶媒体に記憶された消費可能な対価の量は、消費された量に応じてカードリーダ７を介して制御ユニット１５によって減算される。また、カードＩＤは、例えば、プレイヤの特定に利用される。このような特定には、例えば、プレイヤ毎にユニークなＩＤとカードＩＤとを対応付けるためのデータを通じて実現されてよい。また、このようなデータは、例えば、ゲーム機１がインタネット等のネットワークを介してサーバに接続されている場合には、サーバから提供されてもよい。なお、カードＳＭの記憶媒体に代えて、携帯電話等に実装されたＩＣチップ等の記憶媒体が利用されてもよい。

【0023】

更に、制御ユニット１５には、外部記憶装置１６が接続されている。外部記憶装置１６には、例えば、ハードディスク等の磁気記憶媒体、ＤＶＤＲＯＭ、ＣＤＲＯＭ等の光学式記憶媒体、あるいはＥＥＰＲＯＭ等の不揮発性半導体メモリ装置といった、電源の供給がなくても記憶を保持可能な記憶媒体が使用される。

【0024】

外部記憶装置１６には、ゲームプログラム２１及びゲームデータ２２が記憶されている。ゲームプログラム２１は、ゲーム機１が所定の手順に従って音楽ゲームを実行するために必要なコンピュータプログラムである。ゲーム機１が起動されると、ゲーム制御部１７はその内部記憶装置に記憶されたオペレーションプログラムを実行することにより、ゲーム機１として動作するために必要な各種の処理を実行する。続いて、ゲーム制御部１７は、外部記憶装置１６からゲームプログラム２１を読み込んでこれを実行することにより、ゲームプログラム２１に従って音楽ゲームを実行するための環境を設定する。

【0025】

また、ゲーム制御部１７がゲームプログラム２１を実行することにより、ゲーム制御部１７にはゲーム提供部２６が生成される。ゲーム提供部２６は、プレイヤが選択した音楽（楽曲）の再生に合わせてプレイヤに操作時期を指示するための処理、あるいはプレイヤの操作に応じて効果音等の演出を発生させるための処理といった音楽ゲームを提供するための各種処理を実行する。ゲーム提供部２６は、コンピュータハードウェアとコンピュータプログラムとの組み合わせによって実現される論理的装置である。なお、ゲーム制御部１７には、上述のゲーム提供部２６の他にも各種の論理装置が生成され得る。しかし、それらの図示は省略した。

【0026】

ゲームデータ２２には、ゲームプログラム２１が実行される際に参照されるべき各種のデータが含まれている。例えば、ゲームデータ２２には、楽曲データ２７、効果音データ２８、画像データ２９及びシーケンスデータ３０が含まれている。楽曲データ２７は、ゲームの対象となる楽曲を各スピーカ６、１１から再生出力させるために必要なデータである。図２では、一種類の楽曲データ２７が示されているが、実際には、プレイヤが複数の楽曲からプレイする楽曲を選択可能である。ゲームデータ２２には、それらの複数の楽曲データ２７がそれぞれの曲を識別するための情報を付して記録されている。効果音データ２８は、プレイヤの操作に応答して各スピーカ６、１１から出力させるべき複数種類の効果音を、効果音毎にユニークなコードと対応付けて記録したデータである。効果音は、楽器その他の様々な種類の音声を含む。効果音データは、各種類に対して、音程を変えて所定のオクターブ数だけ用意されていてもよい。画像データ２９は、ゲーム画面内の背景画像、各種のオブジェクト、アイコン等をモニタ４に表示させるためのデータである。

【0027】

シーケンスデータ３０は、プレイヤに対して指示すべき操作時期等を定義したデータである。一曲の楽曲データ２７に対して、最低一個のシーケンスデータ３０が用意される。シーケンスデータ３０は、例えば、条件定義部と、操作シーケンス部と、を備えている。条件定義部には、例えば、音楽のテンポ、ビート、トラック等を指定する情報、楽曲毎に異なるゲームの実行条件を指定する情報といった、ゲームを実行するための各種の条件を指定する情報が記述される。一方、操作シーケンス部には、例えば、適切な操作をすべき時期が楽曲中の時刻と対応付けてられて記述される。例えば、操作シーケンス部は、楽曲中において操作が行われるべき操作時期を指定する情報、及び操作すべきプレイ用操作部８を指定する情報を含んでいる。そして、操作シーケンス部は、一例として、これらの情報が互いに対応付けられるように記述された複数のレコードの集合として構成されていてよい。シーケンスデータ３０として、このような周知のデータが利用されてよい。

【0028】

次に、ゲーム機１が提供する音楽ゲームの概要を説明する。ゲーム機１では、所定の時期に所定のプレイ行為を要求する音楽ゲームが提供される。また、音楽ゲームで使用する楽曲は、プレイヤによって選択される。この選択は、楽曲選択画面を通じて実行される。一方、所定のプレイ行為を実行すべき所定の時期は、音楽中における所定の楽器の演奏時期に対応している。そして、所定のプレイ行為によって、プレイの対象に選択された音楽を形成する楽器の演奏が実現される。所定の時期は、ゲーム画面を通じて案内される。ゲーム画面には、現実空間の画像と仮想空間の画像とが融合された拡張空間の画像が利用される。

【0029】

図３は、ゲーム画面の一例が表示されたモニタ４の周辺の要部を拡大して模式的に示す図である。図３に示すように、モニタ４には、ゲーム画面３５が表示されている。ゲーム画面３５は、現実空間画像３６及びＡＲ画像３７を含んでいる。現実空間画像３６には、光学センサＯＳのカメラが撮影した撮影画像が利用される。光学センサＯＳのカメラの撮影範囲には、プレイ行為を実行するプレイヤ及び４つのプレイ用操作部８が含まれている。このため、現実空間画像３６には、プレイヤに対応するユーザの画像としてのプレイヤ画像ＰＩが含まれる。プレイヤ画像ＰＩは、光学センサＯＳのカメラによって撮影されたプレイヤの画像である。

【0030】

一方、ＡＲ画像３７は、現実空間を拡張するように現実空間画像３６の上に配置される仮想空間の画像である。ＡＲ画像３７は、現実空間及び仮想空間を融合することにより形成される拡張空間のオブジェクトとして機能する。具体的には、ＡＲ画像３７は、基準標識としての４つのドラム画像ＤＩ及び指示標識としてのオブジェクト画像ＯＩを含んでいる。４つのドラム画像ＤＩは、各プレイ用操作部８の画像をそれぞれ覆うように各プレイ用操作部８の画像の上に配置される。また、一例として、４つのドラム画像ＤＩとして、異なる打楽器の画像が利用される。このようなドラム画像ＤＩとして、例えば、シンバル、スネアドラム、バスドラム、和太鼓の画像がそれぞれ利用される。つまり、一例として、シンバル、スネアドラム、バスドラム、和太鼓に対応するドラム画像ＤＩのそれぞれがＡＲ画像３７として各プレイ用操作部８の画像の上に一つずつ配置される。また、各プレイ用操作部８が操作された場合には、各プレイ用操作部８に対応するドラム画像ＤＩが示す楽器の音が再生される。つまり、各ドラム画像ＤＩは、各プレイ用操作部８が操作された場合の効果を示している。結果として、各プレイ用操作部８は、各ドラム画像ＤＩを介して、シンバル、スネアドラム、バスドラム、和太鼓といった仮想的な打楽器として機能する。なお、各プレイ用操作部８の画像の上に、ＡＲ画像３７が配置される形態に限定されない。例えば、各プレイ用操作部８の画像がそのまま表示されてもよい。

【0031】

各ドラム画像ＤＩには、各ドラム画像ＤＩから上方に向かって延びる所定の経路としての仮想レーンが設定されている。但し、仮想レーンは、ゲーム画面３５中には、表示されていない。オブジェクト画像ＯＩは、ゲーム中に再生される楽曲の適宜な時期に仮想レーン上に配置される。また、オブジェクト画像ＯＩは、仮想レーンの上方、つまり各ドラム画像ＤＩの反対側に出現する。そして、オブジェクト画像ＯＩは、楽曲の進行に伴って各ドラム画像ＤＩとの間の距離を減少させつつ仮想レーンに沿って各ドラム画像ＤＩまで移動する。つまり、各ドラム画像ＤＩは、オブジェクト画像ＯＩの到達位置としても機能する。そして、オブジェクト画像ＯＩは、各ドラム画像ＤＩにおいて、その上面と重なった後、ゲーム画面３５から消滅する。

【0032】

オブジェクト画像ＯＩは、各ドラム画像ＤＩの上面と同様の形状に形成されている。そして、オブジェクト画像ＯＩは、適切な操作を実行すべき時期（操作時期）を指示するために表示される。より具体的には、オブジェクト画像ＯＩの各ドラム画像ＤＩへの到達に合わせて、つまりオブジェクト画像ＯＩの位置及びドラム画像ＤＩの位置の一致に合わせて、プレイヤには適切な操作が要求される。また、各プレイ用操作部８をスティック９で叩く操作が適切な操作に該当する。つまり、オブジェクト画像ＯＩの位置及びドラム画像ＤＩの位置の一致に合わせて、オブジェクト画像ＯＩが到達したドラム画像ＤＩに対応するプレイ用操作部８をスティック９で叩く操作がプレイヤには要求される。

【0033】

さらに、オブジェクト画像ＯＩがドラム画像ＤＩに到達した時刻とプレイヤが適切な操作を実行した時刻との間のずれ時間が検出される。そして、そのずれ時間が小さいほどプレイヤの操作が高く評価される。また、叩く操作が実行されたプレイ用操作部８に対応する効果音、より具体的にはそのプレイ用操作部８に配置されたドラム画像ＤＩが示す打楽器に対応する効果音がプレイ用操作部８の近くに配置された入力装置側スピーカ１１から再生される。なお、プレイ用操作部８から遠くに配置された筐体側スピーカ６からは、ゲームの対象となる楽曲が再生出力される。このように、プレイ用操作部８の近くに配置された入力装置側スピーカ１１から効果音を再生出力することにより、プレイ用操作部８から効果音が発生しているかのような感覚をプレイヤに与えることができる。

【0034】

このように、ゲーム機１の音楽ゲームでは、オブジェクト画像ＯＩとドラム画像ＤＩとの間の距離の減少を通じて、適切な操作時期が案内される。また、この音楽ゲームでは、各プレイ用操作部８に対して適切な操作が実行された場合には、それらに割り当てられた楽器の音が再生され、音楽にそれらの演奏音が追加される。

【0035】

また、プレイヤ画像ＰＩとして、背景を透過する透過画像が使用される場合がある。このような場合には、撮影範囲（或いはプレイ位置でもよい）にプレイヤが存在しない場合の撮影結果がプレイヤ画像ＰＩの背景に合成され、あたかもプレイヤ画像ＰＩを透過して背景の画像が見えているように演出される。図４は、プレイヤ画像ＰＩとして、背景を透過する透過画像が使用される場合の特別ゲーム画面３５Ｓの一例を示す図である。図４に示すように、特別ゲーム画面３５Ｓは、透過型プレイヤ画像ＰＩｓを含んでいる。そして、透過型プレイヤ画像ＰＩｓは、背景画像に含まれるゲーム機画像ＭＩの一部を透過している。ゲーム機画像ＭＩは、現実空間においてプレイヤの後ろに位置している他のゲーム機に対応する画像である。プレイヤは、他のゲーム機の一部の撮影を遮るように位置している。このため、プレイヤによって遮られる部分は、光学センサＯＳによって撮影された撮影画像には含まれない。つまり、図３に示すように、本来、現実空間画像３６には、ゲーム機画像ＭＩのプレイヤの背後に位置する部分は表示されない。一方で、図４に示すように、透過型プレイヤ画像ＰＩｓが使用される場合には、ゲーム機画像ＭＩの現実空間画像３６には含まれていない部分が透過型プレイヤ画像ＰＩｓを通して表示される。

【0036】

図５を参照して、特別ゲーム画面３５Ｓについて更に説明する。特別ゲーム画面３５Ｓは、光学センサＯＳの現時点の撮影結果に対応するユーザ存在画像としてのリアル画像、及び過去の撮影結果に対応するユーザ非存在画像としての過去画像が合成された合成画像によって実現される。より具体的には、リアル画像のプレイヤ画像ＰＩが位置する部分に該当する部分が過去画像から切り出され、リアル画像のプレイヤ画像ＰＩの位置に合成される。したがって、過去画像として、プレイヤがプレイしていない時期に撮影された画像、つまりプレイヤが入力装置３の前に存在しない画像が使用される。また、リアル画像及び過去画像が合成される際には、プレイヤ画像ＰＩの透過率が調整され、プレイヤ画像ＰＩは透過型プレイヤ画像ＰＩｓに変化する。

【0037】

図５は、リアル画像及び過去画像の合成の一例について説明するための説明図である。図５に示すように、現在の撮影結果に対応するリアル画像ＲＧにはゲームをプレイ中のプレイヤ画像ＰＩが含まれ、過去の撮影結果に対応する過去画像ＰＧにはプレイヤ画像ＰＩが含まれていない。このため、過去画像ＰＧには、プレイ中のプレイヤによって遮られる部分を含む他のゲーム機のゲーム機画像ＭＩの全体が表示されている。そして、リアル画像ＲＧにおいてプレイヤ画像ＰＩが配置される位置に対応する過去画像ＰＧの一部がリアル画像ＲＧのプレイヤ画像ＰＩの位置に合成される。より具体的には、リアル画像ＲＧと過去画像ＰＧとが比較され、まず過去画像ＰＧにおいて、リアル画像ＲＧのプレイヤ画像ＰＩに対応する非存在部分としての切り出し部分ＫＡが特定される。そして、特定された切り出し部分ＫＡの画像が過去画像ＰＧから切り出され、リアル画像ＲＧのプレイヤ画像ＰＩの位置に合成される。この際、あたかも背景のゲーム機画像ＭＩが透過して見えているように、プレイヤ画像ＰＩの透過率が調整され、プレイヤ画像ＰＩは透過型プレイヤ画像ＰＩｓに変化する。このようにして、本来は撮影されていないプレイヤの背景の画像があたかも透過型プレイヤ画像ＰＩｓを透過して見えるように合成画像ＣＧが生成される。

【0038】

さらに、切り出し部分ＫＡの画像がリアル画像ＲＧと合成される際には、切り出し部分ＫＡの画像の光度（或いは明度でもよい）が補正される場合もある。例えば、過去画像ＰＧとして昼等のゲーム機１の周辺が明るい時間帯に撮影された画像が使用される一方で、リアル画像ＲＧとして夜等のゲーム機１の周辺が暗い時間帯に撮影された画像が使用されている場合がある。或いは、この逆の場合のように、切り出し部分ＫＡの画像とリアル画像ＲＧとの間に光度差が生じている場合がある。このような場合、切り出し部分ＫＡの画像がそのままリアル画像ＲＧに合成されると、不自然な合成画像ＣＧが生成される可能性がある。したがって、このような場合、切り出し部分ＫＡの画像の光度が調整され、リアル画像ＲＧに合成される。具体的には、まず過去画像ＰＧの切り出し部分ＫＡ以外の部分の光度とリアル画像ＲＧのその部分に対応する部分の光度とが比較される。そして、その光度差を基準として、その光度差が減少するように、切り出し部分ＫＡの画像の光度が調整される。このようにして、光度が調整された後の切り出し部分ＫＡの画像が合成に使用される。

【0039】

次に、合成画像ＣＧを生成するための機能を説明する。合成画像ＣＧの生成は、ゲーム提供部２６が実行する。図６は、合成画像ＣＧの生成に関連するゲーム提供部２６の要部の概略構成を示す機能ブロック図である。図６に示すように、ゲーム提供部２６には、合成画像ＣＧを生成するために、リアル画像取得部４０、過去画像取得部４１、プレイヤ切り出し部４２、補正値決定部４３、背景切り出し部４４、透過度設定部４５、背景画像補正部４６及び合成部４７が設けられる。

【0040】

リアル画像取得部４０は、光学センサＯＳのカメラの撮影結果に基づいて、現在の撮影範囲の撮影画像を取得する。より具体的には、リアル画像取得部４０は、光学センサＯＳのカメラの撮影結果に基づいて、リアル画像ＲＧを取得する。一方、過去画像取得部４１は、光学センサＯＳのカメラの撮影結果に基づいて、過去の撮影範囲の撮影画像を取得する。より具体的には、過去画像取得部４１は、光学センサＯＳのカメラの撮影結果に基づいて、過去画像ＰＧを取得する。過去画像ＰＧは、例えば、ゲーム制御部１７の内部記憶装置に記憶されている。この際、過去画像ＰＧとして、例えば、現在時刻から最も近く、かつ、撮影範囲（或いは、少なくとも切り出し部分ＫＡ）にプレイヤが存在していない撮影画像が取得される。プレイヤの存在の有無は、例えば、深度センサの検出結果に基づいて判断される。一例として、入力装置３の位置から所定範囲内の深度（状態検出装置５からの距離）において深度センサが何も検出しない場合に、プレイヤが存在していないと判断される。このような判断に基づいて、プレイヤが存在しない撮影範囲を光学センサＯＳのカメラが撮影するように、過去画像取得部４１が光学センサＯＳを制御してもよい。或いは、光学センサＯＳは、所定間隔で撮影範囲を撮影するように制御されていてもよい。

【0041】

プレイヤ切り出し部４２は、リアル画像取得部４０が取得したリアル画像ＲＧに基づいて、プレイヤ画像ＰＩの位置を特定する。この特定は、例えば、深度センタの検出結果に基づいて実現される。具体的には、プレイヤ切り出し部４２は、一例として、深度センタの検出結果に基づいて所定範囲内の深度に位置する物体（プレイヤ）の領域を特定する。そして、光学センサＯＳの検出結果に基づいて、リアル画像ＲＧのうちその特定した領域に対応する部分をプレイヤ画像ＰＩとして特定する。一例として、このようにしてプレイヤ画像ＰＩは、特定される。さらに、プレイヤ切り出し部４２は、特定したプレイヤ画像ＰＩをリアル画像ＲＧから切り出す。また、透過度設定部４５は、プレイヤ切り出し部４２が切り出したプレイヤ画像ＰＩの透過度を設定する。この設定は、例えば、予め決められた所定の値に基づいて実行されてもよい。所定の値として、例えば、プレイヤ画像ＰＩが視覚的に認識可能に維持されつつ、プレイヤ画像ＰＩの下に合成された切り出し部分ＫＡの画像もプレイヤ画像ＰＩを透過して視覚的に認識可能な値が利用される。或いは、リアル画像ＲＧ若しくは過去画像ＰＧの光度に基づいて決定されてもよい。

【0042】

一方、背景切り出し部４４は、過去画像取得部４１が取得した過去画像ＰＧ及びプレイヤ切り出し部４２が特定したプレイヤ画像ＰＩの位置に基づいて、過去画像ＰＧ中のプレイヤ画像ＰＩの位置に対応する部分を特定する。より具体的には、背景切り出し部４４は、過去画像ＰＧ中の切り出し部分ＫＡを特定する。さらに、背景切り出し部４４は、特定した切り出し部分ＫＡの画像を過去画像ＰＧから切り出す。

【0043】

また、補正値決定部４３は、リアル画像取得部４０が取得したリアル画像ＲＧ及び過去画像取得部４１が取得した過去画像ＰＧに基づいて、切り出し部分ＫＡの画像を補正するための補正値を決定する。この補正は、例えば、切り出し部分ＫＡの画像の光度に対して実行される。つまり、補正値決定部４３は、一例として、切り出し部分ＫＡの画像の光度が適正に調整されるように、所定の基準に基づいて補正値を決定する。所定の基準として、例えば、リアル画像ＲＧ及び過去画像ＰＧの同じ所定位置の光度差が利用される。つまり、一例として、この決定は、リアル画像ＲＧ及び過去画像ＰＧの所定位置の光度を比較することにより実現される。この所定位置として、プレイヤが存在する可能性が少ない位置（少なくともプレイヤ画像ＰＩの位置及び切り出し部分ＫＡの位置とは異なる位置）が利用される。また、例えば、所定位置は、プレイヤ画像ＰＩの位置或いは切り出し部分ＫＡの位置を基準に決定されてもよい。この場合、補正値決定部４３は、プレイヤ切り出し部４２或いは背景切り出し部４４からプレイヤ画像ＰＩの位置或いは切り出し部分ＫＡの位置を取得してよい。また、このような所定位置として、例えば、プレイヤ画像ＰＩの位置或いは切り出し部分ＫＡの位置から上方等に一定距離離れた位置が採用されてもよい。なお、この場合の所定位置は、プレイヤ画像ＰＩの位置或いは切り出し部分ＫＡの位置から近いほど好ましい。

【0044】

背景画像補正部４６は、背景切り出し部４４が切り出した切り出し部分ＫＡ及び補正値決定部４３の決定結果に基づいて、切り出し部分ＫＡの画像を補正する。具体的には、背景画像補正部４６は、補正値決定部４３が決定した補正値に基づいて、切り出し部分ＫＡの画像の光度を補正する。そして、合成部４７は、背景画像補正部４６が光度を補正した切り出し部分ＫＡの画像をリアル画像ＲＧのプレイヤ画像ＰＩの下（後ろ）に互いに重なるように合成する。さらに、この際、合成部４７は、透過度設定部４５の設定結果に基づいて、プレイヤ画像ＰＩの透過度を調整し、プレイヤ画像ＰＩを透過型プレイヤ画像ＰＩｓに変化させる。このようにして、ゲーム提供部２６は、合成画像ＣＧを生成する。

【0045】

次に、画像合成処理について説明する。画像合成処理は、合成画像ＣＧを生成するために実行される。したがって、画像合成処理は、ゲーム制御部１７のゲーム提供部２６によって実行される。なお、ゲーム制御部１７は、例えば、ゲーム提供部２６を通じて、その他にも楽曲選択画面或いはゲーム画面３５を表示するための周知な処理を実行する。例えば、このような処理には、シーケンスデータ３０で指定された操作時期にオブジェクト画像ＯＩが各ドラム画像ＤＩに到達するように、オブジェクト画像ＯＩの位置を制御するための処理、所定の位置にドラム画像ＤＩを表示するための処理、プレイヤのプレイ行為を評価して得点を付与する処理等が含まれる。しかし、これらの処理の詳細な説明は省略する。

【0046】

図７は、画像合成処理ルーチンのフローチャートの一例を示す図である。図７のルーチンは、例えば、所定の提供条件に基づいて実行される。例えば、所定の提供条件として、プレイヤによる所定の操作の有無が採用されてもよい。このような所定の操作として、例えば、合成画像ＣＧの利用を希望する意思表示に対応する操作が採用されてよい。つまり、一例として、プレイヤによって所定の操作が実行された場合に図７のルーチンが実行される。なお、所定の提供条件として、例えば、その他にもゲームの進行状況、オプション等、ゲームの都合に依存するゲーム条件が採用されてもよい。或いは、所定の提供条件として、ゲーム機１の管理者等による設定若しくは時間といった各種条件が採用されてもよい。

【0047】

図７のルーチンを開始すると、ゲーム提供部２６は、まずステップＳ１１において、光学センサＯＳのカメラの撮影結果に基づいて、現在の撮影範囲の撮影画像、つまりリアル画像ＲＧを取得する。続くステップＳ１２において、ゲーム提供部２６は、光学センサＯＳのカメラの撮影結果に基づいて、過去の撮影範囲の撮影画像、つまり過去画像ＰＧを取得する。また、次のステップＳ１３において、ゲーム提供部２６は、ステップＳ１１で取得したリアル画像ＲＧ及びステップＳ１２で取得した過去画像ＰＧに基づいて、プレイヤ画像ＰＩ及び切り出し部分ＫＡを特定する。この特定は、一例として、上述のように深度センサの検出結果に基づいて実行される。具体的には、深度センサの検出結果に基づいて、所定範囲内の深度に位置する人物をプレイヤと特定し、リアル画像ＲＧ内のその特定した人物の画像に対応する部分をプレイヤ画像ＰＩとして特定する。また、この特定したプレイヤ画像ＰＩを基準に、このプレイヤ画像ＰＩの位置に対応する過去画像ＰＧ内の部分を切り出し部分ＫＡとして特定する。一例として、このようにして、プレイヤ画像ＰＩ及び切り出し部分ＫＡは、特定される。

【0048】

続くステップＳ１４において、ゲーム提供部２６は、補正条件を満たすか否か判別する。具体的には、ゲーム提供部２６は、補正条件に基づいて、切り出し部分ＫＡの画像の補正を実行すべきか否か判別する。補正条件として、例えば、所定値以上の光度差が利用される。つまり、一例として、リアル画像ＲＧ及び過去画像ＰＧの所定位置の光度差が所定値以上の場合に補正条件が満たされ、切り出し部分ＫＡの画像の補正が実行される。この判別結果が否定的結果の場合、つまり補正条件を満たさない場合には、ゲーム提供部２６は、次のステップＳ１５をスキップして、ステップＳ１６に進む。一方、この判別結果が肯定的結果の場合、つまり補正条件を満たす場合には、ゲーム提供部２６は、ステップＳ１５に進む。

【0049】

ステップＳ１５において、ゲーム提供部２６は、切り出し部分ＫＡの画像を切り出し、この画像を補正する。より具体的には、ゲーム提供部２６は、まずステップＳ１３の特定結果に基づいて、過去画像ＰＧから切り出し部分ＫＡの画像を切り出す。そして、ゲーム提供部２６は、上述のようにリアル画像ＲＧ及び過去画像ＰＧの所定位置の光度差を基準に補正値を決定し、その補正値に基づいて切り出し部分ＫＡの光度が調整されるように、切り出し部分ＫＡの画像を補正する。続くステップＳ１６において、ゲーム提供部２６は、ステップＳ１３で特定したプレイヤ画像ＰＩの透過率を決定する。この決定は、一例として、上述のように、所定の値に基づいて実行される。或いは、リアル画像ＲＧ若しくは過去画像ＰＧの所定位置等の光度に基づいて実行されてもよい。

【0050】

続くステップＳ１７において、ゲーム提供部２６は、ステップＳ１１で取得したリアル画像ＲＧのプレイヤ画像ＰＩの背後に切り出し部分ＫＡの画像（ステップＳ１５を経ている場合は、補正後の画像）が重ね合わせるように合成され、かつ、プレイヤ画像ＰＩの画像がステップＳ１６で決定された透過率に基づいて透過型プレイヤ画像ＰＩｓに変化した合成画像ＣＧを表示するための合成画像データを生成する。次のステップＳ１８において、ゲーム提供部２６は、合成画像ＣＧを使用する特別ゲーム画面３５Ｓがモニタ４に表示されるように、ステップＳ１７で生成した合成画像データを出力して、今回のルーチンを終了する。これにより、透過型プレイヤ画像ＰＩｓを透過して背景の画像が見える特別ゲーム画面３５Ｓが表示される。また、透過型プレイヤ画像ＰＩｓの背景として使用される切り出し部分ＫＡの画像の光度が不自然にならないように調整される。

【0051】

以上に説明したように、この形態によれば、リアル画像ＲＧのプレイヤ画像ＰＩの背景の画像を補うように、プレイヤが撮影されていない過去画像ＰＧの切り出し部分ＫＡの画像が切り出され、プレイヤ画像ＰＩの背後に合成される。また、プレイヤ画像ＰＩは、背後の切り出し部分ＫＡの画像が透過されるように透過率が調整され、透過型プレイヤ画像ＰＩｓに変化する。このため、特別ゲーム画面３５Ｓでは、透過型プレイヤ画像ＰＩｓの背後もあたかも現実空間画像３６のように機能する。結果として、特別ゲーム画面３５Ｓでは、あたかも現実空間が拡張されているような印象をプレイヤに与えることができる。これにより、特別ゲーム画面３５Ｓの現実性を向上させることができるので、ゲームの臨場感をより向上させることができる。

【0052】

また、切り出し部分ＫＡの画像は、光度が調整された後に透過型プレイヤ画像ＰＩｓの背後に合成される。より具体的には、リアル画像ＲＧのプレイヤ画像ＰＩ以外の部分の光度と過去画像ＰＧのその部分と対応する部分の光度とが比較され、その光度差が減少するように切り出し部分ＫＡの画像の光度が調整される。したがって、例えば、リアル画像ＲＧが夜の時間帯に撮影され、過去画像ＰＧが昼の時間帯に撮影されている場合のように、リアル画像ＲＧと過去画像ＰＧとの間に光度差が生じている場合には、切り出し部分ＫＡの画像の光度は、他の部分の光度差を基準に補正される。これにより、より自然な合成を実現することができる。

【0053】

以上の形態において、制御ユニット１５が、ゲーム制御部１７のゲーム提供部２６を通じて図７のルーチンを実行することにより、本発明の画像特定手段、透過率補正手段、データ生成手段、画像比較手段及び画像補正手段として機能する。さらに、制御ユニット１５が、楽曲データ２７に基づいてゲーム提供部２６及び音声出力制御部１９を通じてスピーカ６、１１から所定の楽曲を再生させることにより、本発明の楽曲再生手段として機能する。また、外部記憶装置１６が、楽曲データ２７を記憶することにより、本発明の楽曲データ記憶手段として機能する。

【0054】

本発明は上述の形態に限定されず、適宜の形態にて実施することができる。上述の形態では、所定の基準として光度が利用され、リアル画像ＲＧと過去画像ＰＧとの間の光度差が減少するように切り出し部分ＫＡの画像が補正されている。しかし、本発明は、このような形態に限定されない。例えば、所定の基準として異物の有無が利用され、リアル画像ＲＧと過去画像ＰＧとの間に撮影物の相違が存在する場合に、このような撮影物の相違が解消されるように、つまり異物が除去されるように補正が実行されてもよい。

【0055】

また、上述の形態では、ゲーム機１が提供するゲームとして、楽曲を再生し、楽曲に対応する時期にプレイ行為を要求する音楽ゲームが採用されている。しかし、ゲーム機１が提供するゲームは、このようなゲームに限定されない。例えば、ゲーム機１は、ゲーム結果を差別化可能な限り、アクションゲーム、ロールプレイングゲーム、シューティングゲーム等の各種ゲームを提供してもよい。

【0056】

上述の形態では、撮影手段として光学センサＯＳが採用されている。しかし、撮影手段は、このような形態に限定されない。例えば、撮影手段として、単にカメラが利用されてもよい。さらに、ゲーム機１として、商業施設に設置される業務用ゲーム機、家庭用の据置型ゲーム機、携帯型のゲーム機、ネットワークを利用してゲームを提供するゲーム機といった各種のゲーム機が採用されてよい。さらに、サービス提供装置が提供するサービスは、ゲームに限定されない。所定のサービスとして、例えば、各種情報を案内する情報提供サービス、或いは予約サービス等、各種のサービスが採用されてよい。つまり、サービス提供装置は、ゲーム機として構成される形態に限定されない。

【符号の説明】

【0057】

１ ゲーム機
３ 入力装置
６ 筐体側スピーカ（音声出力装置）
８ プレイ用操作部（操作部）
１５ 制御ユニット（コンピュータ、画像特定手段、透過率補正手段、データ生成手段、画像比較手段、画像補正手段、楽曲再生手段）
１６ 外部記憶装置（楽曲データ記憶手段）
２７ 楽曲データ
３０ シーケンスデータ
３６ 現実空間画像（撮影画像）
ＲＧ リアル画像（ユーザ存在画像）
ＰＧ 過去画像（ユーザ非存在画像）
ＣＧ 合成画像
ＤＩ ドラム画像（基準標識）
ＯＩ オブジェクト画像（指示標識）
ＯＳ 光学センサ（撮影手段）
ＰＩ プレイヤ画像（ユーザの画像）
ＫＡ 切り出し部分（非存在部分）

【図1】

【図2】

【図3】

【図6】

【図7】

【図4】

【図5】