特開 2023-88034 コンピュータプログラム、並びにこれを用いた画像表示方法及び画像表示システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023088034

(43)【公開日】2023-06-26

(54)【発明の名称】コンピュータプログラム、並びにこれを用いた画像表示方法及び画像表示システム

(51)【国際特許分類】

   A63F 13/52 20140101AFI20230619BHJP

   A63F 13/80 20140101ALI20230619BHJP

   A63F 13/428 20140101ALI20230619BHJP

   G06T 15/50 20110101ALI20230619BHJP

   G06T 19/00 20110101ALI20230619BHJP

   G06F 3/0346 20130101ALI20230619BHJP

   A63F 13/211 20140101ALI20230619BHJP

【ＦＩ】

A63F13/52

A63F13/80 B

A63F13/428

G06T15/50

G06T19/00 A

G06F3/0346 423

A63F13/211

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021202650

(22)【出願日】2021-12-14

(71)【出願人】

【識別番号】506113602

【氏名又は名称】株式会社コナミデジタルエンタテインメント

(74)【代理人】

【識別番号】100099645

【弁理士】

【氏名又は名称】山本 晃司

(74)【代理人】

【識別番号】100161090

【弁理士】

【氏名又は名称】小田原 敬一

(72)【発明者】

【氏名】御子柴 英利

【テーマコード（参考）】

5B050

5B080

5B087

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050BA11

5B050DA04

5B050EA07

5B050EA26

5B050FA02

5B050FA05

5B080AA13

5B080BA00

5B080CA00

5B080FA02

5B080GA02

5B080GA11

5B080GA21

5B080GA22

5B080GA23

5B087AA07

5B087BC32

5B087DE01

(57)【要約】

【課題】カード状のオブジェクトの対象領域の表現をホログラムシート状に変化させる。
【解決手段】ゲームで利用されるカード状のオブジェクトに含まれる対象領域１８の色情報を決定するために必要な基準方向をユーザ装置のセンサの出力に基づいて検出するステップと、検出された基準方向の変化に伴って対象領域の表現がホログラムシート状に変化するように、基準方向と関連付けて対象領域の色情報を決定するステップと、を所定のコンピュータに実行させ、色情報を決定するステップでは、対象領域に入射する光の入射方向と対象領域に関するユーザ装置のユーザの視線方向との少なくともいずれか一方の方向を基準方向と関連付けて変化させつつ、入射方向及び前記視線方向を参照して色情報を決定する。
【選択図】図３

【特許請求の範囲】

【請求項1】

カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させるためのコンピュータプログラムであって、
前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、
前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるように構成され、
前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向と前記対象領域に関する前記ユーザ装置のユーザの視線方向との少なくともいずれか一方の方向を前記基準方向と関連付けて変化させつつ、前記入射方向及び前記視線方向を参照して前記色情報を決定する、コンピュータプログラム。

【請求項2】

前記色情報を決定するステップでは、前記入射方向を前記基準方向に応じて変化させる一方で、前記視線方向を一定に維持して前記色情報を決定する請求項１に記載のコンピュータプログラム。

【請求項3】

前記色情報を決定するステップでは、前記視線方向を前記基準方向に応じて変化させる一方で、前記入射方向を一定に維持して前記色情報を決定する請求項１に記載のコンピュータプログラム。

【請求項4】

前記色情報を決定するステップでは、前記入射方向及び前記視線方向のそれぞれを前記基準方向に応じて変化させつつ前記色情報を決定する請求項１に記載のコンピュータプログラム。

【請求項5】

前記色情報を決定するステップでは、前記対象領域を複数のピクセルの集合として定義したときの各ピクセルの法線方向を記述したバンプマップの情報に基づいて、各ピクセルにおける法線方向を判別し、判別された法線方向と前記入射方向及び前記視線方向との関係に応じて色情報が変化するようにして各ピクセルの色情報を決定する請求項１～４のいずれか一項に記載のコンピュータプログラム。

【請求項6】

カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させるコンピュータプログラムであって、
前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、
前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるように構成され、
前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向を前記基準方向と関連付けて変化させつつ、前記入射方向を参照して前記色情報を決定する、コンピュータプログラム。

【請求項7】

前記オブジェクトが前記ユーザ装置にてプレイされるゲームにて表示されるべきカードである請求項１～６のいずれか一項に記載のコンピュータプログラム。

【請求項8】

前記対象領域が、前記カードの背景の少なくとも一部である請求項７に記載のコンピュータプログラム。

【請求項9】

前記センサは、前記ユーザ装置の姿勢に応じた信号を出力する請求項１～８のいずれか一項に記載のコンピュータプログラム。

【請求項10】

カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させる画像表示方法であって、
請求項１～９のいずれか一項のコンピュータプログラムに従って、前記基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させる画像表示方法。

【請求項11】

カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させる画像表示システムであって、
請求項１～９のいずれか一項のコンピュータプログラムに従って、前記基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させる画像表示システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、カード状のオブジェクトの画像の表現に関して、ホログラムシート状の変化を生じさせるためのコンピュータプログラム等に関する。

【背景技術】

【0002】

ゲーム画面に表示されるカード状のオブジェクトの表現に関して、現実世界における物理的なカードに見られるようなホログラムシート状の色変化を与える試みがなされている。例えば、特許文献１には、光の反射を疑似的に表現した白色部分を有する複数のシートをそれらの表示態様が差別化されるようにして予め用意し、ユーザの端末装置の傾きの検出値に応じてシートを適宜に選択し、選択されたシートをキャラクタ等の画像と重ね合わせることにより、端末装置の傾きに応じた色変化を与える技術が開示されている。特許文献２には、カード状のオブジェクトの背景部分に重ね合わされる色変化画像内の色を、端末装置の姿勢（傾き）及び画像内の表示位置をパラメータに含んだ三角関数に従って変化させることにより、カードの背景部分の表現をホログラムシート状に変化させる技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５６６１８３５号公報

【特許文献2】特許第６７２３８９５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来の技術は、端末の姿勢の変化に応じて背景領域等の表現に一定の変化を生じさせるに過ぎない。一方、現実のカードのホログラムシート部分は、ユーザがこれを観察する方向のみならず、光の当たり具合に応じても見え方が変化する。従来の技術は、光の当たり方に応じた変化を必ずしも十分に表現できておらず、改善の余地がある。

【0005】

そこで、本発明は、カード状のオブジェクトの少なくとも一部の領域の表現をホログラムシート状に変化させる場合に好適なコンピュータプログラム等を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係るコンピュータプログラムは、カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させるためのコンピュータプログラムであって、前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるように構成され、前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向と、前記対象領域に関する前記ユーザ装置のユーザの視線方向との少なくともいずれか一方の方向を前記基準方向と関連付けて変化させつつ、前記入射方向及び前記視線方向を参照して前記色情報を決定するものである。

【0007】

本発明の他の態様に係るコンピュータプログラムは、カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させるコンピュータプログラムであって、前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるように構成され、前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向を前記基準方向と関連付けて変化させつつ、前記入射方向を参照して前記色情報を決定するものである。

【0008】

本発明の一態様に係る画像表示方法は、カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させる画像表示方法であって、上記態様のコンピュータプログラムに従って、前記基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるものである。

【0009】

本発明の一態様に係る画像表示システムは、カード状のオブジェクトの画像をユーザ装置に表示させる処理を所定のコンピュータに実行させる画像表示システムであって、上記態様のコンピュータプログラムに従って、前記基準方向を前記ユーザ装置のセンサの出力に基づいて検出するステップと、前記対象領域の色情報を決定するステップと、を前記コンピュータに実行させるものである。

【図面の簡単な説明】

【0010】

【図1】本発明の一態様に係るコンピュータプログラムが適用されるゲーム機を含んだゲームシステムの一例を示す図。

【図2】ゲーム画面にカードが表示された例を示す図。

【図3】図２のカードの背景画像の変化の一例を示す図。

【図4】仮想３次元空間におけるカードと視線方向及び環境光の入射方向との関係の一例を示す図。

【図5】ゲーム機の姿勢の変化に対応して入射方向を変化させる場合の一例を示す図。

【図6】ゲーム機の姿勢の変化に対応して視線方向を変化させる場合の一例を示す図。

【図7】ゲーム機の姿勢の変化に対応して入射方向及び視線方向を変化させる場合の一例を示す図。

【図8】ゲーム機の姿勢の変化に対応して仮想３次元空間内でカードの向きを変化させる場合の一例を示す図。

【図9】背景画像をホログラムシート状に表現する手法の一例を説明するための図。

【図10】ゲーム機の制御系の構成の一例を示す図。

【図11】図１０の制御ユニットが背景画像を描画するために実行する処理の一例を示すフローチャート。

【図12】ゲーム機のカメラを用いて現実世界における環境光の入射方向を検出する例を示す図。

【図13】ゲーム機のカメラを用いて現実世界におけるユーザの視線方向を検出する例を示す図。

【図14】ユーザの操作に応じて仮想３次元空間におけるカードを曲げ変形させる例を示す図。

【発明を実施するための形態】

【0011】

図１は本発明の一形態に係るゲームシステムの一例を示している。図１のゲームシステム１は、画像表示システムの一例であって、ゲーム機２と、所定のネットワークＮＴを介してゲーム機２と通信可能なサーバ３とを含むネットワークシステムとして構成されている。ゲーム機２は、本発明が適用される対象となるユーザ装置の一例である。ゲーム機２は、サーバ３に対する端末装置として機能し、サーバ３と、又はサーバ３を介して他のゲーム機２と通信することにより所定のゲームをユーザに実行させる。ただし、ゲーム機２はサーバ３との通信を伴わないスタンドアローン型のゲーム機であってもよい。その場合、ゲーム機２が単独でゲームシステムを構成する。

【0012】

ゲーム機２は、本体４と、一対のコントローラ５Ａ、５Ｂとを含む。本体４は、ゲームを提供するための各種の処理を実行し、コントローラ５Ａ、５Ｂは、ユーザの操作を検出して本体４に操作情報を提供する入力手段の一例として機能する。本体４には、出力手段、あるいは表示手段の一例としてのモニタ６が一体的に設けられている。モニタ６に代えて、又は加えて、ゲーム機２とは別体のモニタがゲーム画面の表示に用いられてもよい。コントローラ５Ａ、５Ｂのそれぞれは、本体４に対して一体的に又は着脱可能に設けられ、本体４と有線又は無線で接続されることにより、ゲーム機２における入力手段の一例として機能する。以下では、コントローラ５Ａ及びコントローラ５Ｂを「コントローラ５」と代表して表記する一方、両者を第１コントローラ５Ａ及び第２コントローラ５Ｂと区別して表記することがある。

【0013】

各コントローラ５には、ユーザによって操作可能な操作部として、押釦スイッチ７ａ、方向指示キー７ｂ等の操作部７が設けられている。各コントローラ５からは、操作部７の操作状態に応じた信号が本体４に向けて出力される。各コントローラ５には、そのコントローラ５の姿勢（傾き）に応じた信号を出力するセンサの一例として、ジャイロセンサ８が内蔵されている。ジャイロセンサ８は、ゲーム機２に関して設定された直交３軸（Ｇｘ軸、Ｇｙ軸及びＧｚ軸）の回りの回転運動（例えば角加速度）に対応した信号を、コントローラ５の姿勢を示す信号として出力する。検出軸Ｇｘ、Ｇｙ、Ｇｚの方向は、現実空間における姿勢の変化を検出できる限りにおいて適宜に定められてよい。一例として、モニタ６の画面の法線方向がＧｚ軸として設定され、同画面の短辺方向及び長辺方向をそれぞれＧｘ軸及びＧｙ軸として設定されてよい。この場合、ゲーム機２と正対するユーザから見て、Ｇｘ軸回りの回転がロール、Ｇｙ軸回りの回転がピッチ、Ｇｚ軸回りの回転がヨーに相当する。

【0014】

ゲーム機２では、カードを利用したゲームがユーザに提供される。図２は、そのゲームにおいて、モニタ６に表示されるゲーム画面の一例を示している。図２のゲーム画面１０は、例えばユーザが獲得したキャラクタやアイテム等のカードを図鑑のごとく閲覧させる場合に表示される画面の一例である。ゲーム画面１０は、カードのキャラクタ等を象徴するアイコン画像１１がマトリクス状に並べて表示される一覧表示部１２と、カーソル１３にて選択されたアイコン画像１１に対応するキャラクタ等のカード画像１４が表示されるカード表示部１５とを含む。一覧表示部１２では、ユーザが獲得済のキャラクタ等のアイコン画像１１がハイライト表示される一方、未取得のキャラクタ等のアイコン画像１１はグレー表示されるといったごとく、ユーザによる獲得の有無に応じてアイコン画像１１の表示態様が差別化されてよい。あるいは、ユーザによって獲得されたキャラクタ等に対応するアイコン画像１１のみが表示されることとしてもよい。

【0015】

一方、図３に拡大して示すように、カード画像１４は、キャラクタ等の外観態様を示すメイン画像１６と、カードを装飾するフレーム画像１７と、背景画像１８とをさらに含む。フレーム画像１７は、キャラクタ等の名前、カードのランク等を示す文字列その他の情報部１７ａをさらに含む。背景画像１８はカード画像１４の装飾性、演出性を高めるものである。本形態では、ジャイロセンサ８が検出する姿勢の変化と関連付けて背景画像１８の表現がホログラムシート状に変化するようにカード画像１４が描画される。したがって、背景画像１８は対象領域の一例に相当する。図３では、図面表現上の制約から、背景画像１８が比較的明るく表現される場合を同図（ａ）に、背景画像１８が比較的暗く表現される場合を同図（ｂ）に例示する。背景画像１８の変化は、同図（ａ）、（ｂ）の状態のいずれかの２段階に限って生じるものではなく、コントローラ５の姿勢の変化に応じて連続的に、あるいは無段階で生じるものである。

【0016】

背景画像１８の変化に関しては、現実の物理的なホログラムシートのそれと同様に、ユーザが観察する方向（視線方向）、及び光が当たる方向（入射方向）が考慮される。つまり、コントローラ５の姿勢と関連付けて視線方向及び入射方向の少なくともいずれか一方の方向が変化したものと見做されて背景画像１８が描画される。なお、２つのコントローラ５Ａ、５Ｂのそれぞれにジャイロセンサ８が内蔵されているため、いずれか一方のコントローラ５、例えば第１コントローラ５Ａのジャイロセンサ８の出力が背景画像１８を描画する際の基準として利用されてよい。コントローラ５が本体４と一体化され、又は本体４に装着された状態にある場合、いずれのコントローラ５のジャイロセンサ８を利用しても、その出力はゲーム機２の姿勢を示すものとなる。コントローラ５が本体４から分離されている場合には、いずれか一方のコントローラ５のジャイロセンサ８の出力信号を、ゲーム機２の姿勢を代表する示す出力信号として利用してよい。つまり、本体４の姿勢は不変であっても、いずれか一方のコントローラ５の姿勢の変化をもってゲーム機２の姿勢が変化したものと見做す。本体４にジャイロセンサが内蔵されている場合には、そのジャイロセンサの出力信号と関連付けて背景画像１８の表現を変化させてもよい。いずれにしても、背景画像１８の表現を変化させるための基準となる方向の変化を検出するジャイロセンサは適宜に定められてよい。以下では、いずれか一方のコントローラ５のジャイロセンサ８の出力を、ゲーム機２の姿勢の変化を代表する出力であると見做して説明を続ける。

【0017】

次に、図４～図８を参照して、背景画像１８の表現をホログラムシート状に変化させるための処理の一例を説明する。カード画像１４を描画する処理では、背景画像１８の領域とそれ以外の領域（図３の例では、メイン画像１６及びフレーム画像１７の領域）とが区別して特定される。背景画像１８は、画像処理用の所定のシェーダプログラムを利用して描画され、それ以外の領域は、予め定められたテクスチャ画像をそのまま利用して描画される。メイン画像１６等の描画は、一例としてシェーダプログラムのテクスチャ画像の色情報をシェーダプログラムにてそのまま利用するように処理されてもよい。あるいは、背景画像１８の描画とは異なるレイヤに別プロセスで描画して、背景画像１８上に重ね合わせるようにしてもよい。以下では、背景画像１８を描画するための処理を中心に説明する。

【0018】

図４に示すように、所定の仮想３次元空間ＶＳ内に、カード画像１４に対応するオブジェクトとしてのカード２０と、カード２０を撮影する仮想カメラ２１とが配置された状態を仮定する。仮想３次元空間ＶＳには３軸直交座標系としてのワールド座標系（Ｗｘ－Ｗｙ－Ｗｚ）が設定され、カード２０には３軸直交座標系としてのオブジェクト座標系（ＯｘーＯｙ－Ｏｚ）が設定される。各座標系の原点、及び各軸の方向の取り方は適宜でよい。図４では、オブジェクト座標系に関し、一例としてカード２０の法線方向にＺ軸を、カード２０の短辺方向及び長辺方向にＸ軸及びＹ軸がそれぞれ設定されるものとする。

【0019】

仮想カメラ２１は適宜の位置に適宜の向きで設定することが可能である。ただし、図２及び図３で示したカード画像１４は、ゲーム機２の姿勢に関わりなく、ユーザから見て常に正対する向きで、かつ形状及び大きさが不変の画像として表示される。したがって、図４の例において、仮想カメラ２１はカード２０を法線方向から一定の画角で撮影するように設定される。つまり、仮想カメラ２１によるカード２０の撮影方向Ｃは、カード２０の法線方向と一致する。仮想カメラ２１の撮影光軸は、一例としてカード２０の中心を通るように設定される。撮影光軸は、カード２０の全面を撮影範囲に含めることが可能である限り、必ずしもカード２０の中心を通るように設定されることを要しない。

【0020】

仮想３次元空間ＶＳでは、カード２０に対する環境光の入射方向Ｌも設定される。例えば、所定の光源２２からカード２０に向けて光が照射されるものと仮定して、その光の方向が入射方向Ｌとして設定される。環境光はカード２０に当たる光であり、自然光又は照明光のいずれであってもよい。図４の光源２２は、環境光の方向を示すために描かれているものであって、仮想３次元空間ＶＳ内に、仮想的なオブジェクトとして光源２２が配置されることは必須ではない。例えば、環境光が太陽光のような平行光であるとした場合、光源２２は特定方向に無限遠の位置にあるものと見做してよい。その場合、環境光の入射方向Ｌを設定すれば足り、光源２２それ自体を仮想３次元空間ＶＳに配置することは必要ではない。この点は、後述する図５～図８及び図１４で示した光源２２に関しても同様である。一方、平行光を照射する照明装置が光源２２として仮想３次元空間ＶＳ内の特定位置に設定されてもよい。点光源からの照明光のように一定に広がる環境光を設定する場合には、光源２２の位置を定める必要がある。環境光の設定に関しては、その方向に加えて、強度（明るさ）、色温度、波長分布といった各種の特性が併せて設定されてもよい。それらの特性は背景画像１８の描画に適宜に反映されてよい。

【0021】

次に、図５を参照して、ゲーム機２の姿勢と、カード２０に対する視線方向及び入射方向との関係の一例を説明する。図５は、ゲーム機２の姿勢の変化に対応して環境光の入射方向Ｌを変化させる場合の例である。この例では、光源２２がゲーム機２の姿勢の変化に応じて仮想３次元空間内で向きを変えると仮定し、光源２２が想像線の位置から矢印Ａで示すごとく実線の位置に移動したものとする。カード２０は不動である。図２のゲーム画面１０において、カード画像１４は常に正対した状態、すなわちカード２０を正面から観察した状態で表示されるため、仮想カメラ２１もカード２０と同様に不動である。つまり、カード２０と仮想カメラ２１との相対的な位置関係は不変である。

【0022】

また、図５において、ユーザは、仮想カメラ２１による撮影方向Ｃと同一方向からカード２０を観察するものとする。例えば、仮想カメラ２１の位置（結像面の位置）にユーザの目２３があると仮定する。したがって、カード２０に対するユーザの視線方向Ｅは仮想カメラ２１の撮影方向Ｃと一致し、カード２０に対する視線方向Ｅはゲーム機２の姿勢の変化に関わらず一定である。したがって、カード２０と入射方向Ｌとの関係がゲーム機２の姿勢に応じて変化する。

【0023】

背景画像１８を描画するためのシェーダプログラムは、ユーザの視線方向Ｅ及び環境光の入射方向Ｌをパラメータとして背景画像１８の各ピクセルの色情報を決定する。図５の例では、視線方向Ｅがカード２０に対して一定に維持される一方、環境光の入射方向Ｌがカード２０に対して変化する。したがって、モニタ６にはカード２０を正面から観察した状態で示すようにカード画像１４を表示させつつ、その背景画像１８の表現を、カード２０に対する光の当たり方が変化した場合と同様に変化させることが可能である。現実のホログラムシートの見え方は、これを観察する方向及び光が当たる方向に応じて多様に変化し、観察する方向が変わらなくとも、光が当たる方向が変われば見え方も変化する。図５の例では、そのような変化を再現することが可能である。

【0024】

図５の例では、ゲーム機２の姿勢の変化に応じて光源２２、すなわち入射方向Ｌが変化するものとしたが、ゲーム機２の姿勢の変化に応じてカード２０及び仮想カメラ２１を一体的に移動させる一方で、光源２２を不動としても、カード２０に対して入射方向Ｌを変化させることができる。つまり、光源２２を移動させる一方で、カード２０及び仮想カメラ２１を不動とする場合も、カード２０及び仮想カメラ２１を一体的に移動させる一方で光源２２を不動とする場合でも、カード２０及び仮想カメラ２１と、光源２２との位置関係は相対的に変化し、カード２０に対する入射方向Ｌが変化することに変わりはない。なお、図５の例では、カード２０及び仮想カメラ２１を光源２２に対してカード２０の法線方向の軸線回りに相対的に回転させた場合でも入射方向Ｌが変化して背景画像１８の見え方が変わることとなる。例えば、図１のジャイロ軸Ｇｚがモニタ６の法線方向であり、そのジャイロ軸Ｇｚの回りのヨー運動が仮想３次元空間におけるカード２０の法線方向の回りの回転運動と対応付けられるものとすれば、ジャイロセンサ８がジャイロ軸Ｇｚの回りのヨー運動のみを検出し、ジャイロ軸Ｇｘ、Ｇｙの回りのロール運動及びピッチ運動は検出されない場合でも、カード２０に対する入射方向Ｌが変化し、それに伴って背景画像１８の見え方が変化することとなる。視線方向Ｅ及び入射方向Ｌに応じて背景画像１８にホログラムシート状の変化を生じさせる手法は、既存のシェーダプログラムによる処理と同様でよいが、その手法の一例は後述する。撮影方向Ｃ及び視線方向Ｅは、カード２０の位置に応じて厳密には相違する。しかしながら、その差が無視できる程度であれば、撮影方向Ｃ及び視線方向Ｅはカード２０の全域でそれぞれ一定であるとみなしてよい。ただし、カード２０の位置に応じて撮影方向Ｃ及び視線方向Ｅを変化させてもよい。

【0025】

図６は、ゲーム機２の姿勢の変化に対応して視線方向Ｅを変化させる場合の例である。図６の例においても、カード２０はゲーム機２の姿勢の変化に関わらず不動であり、仮想カメラ２１も不動であるとする。また、図５の例では、仮想３次元空間内で光源２２が移動するものとしたが、図６の例では、光源２２も不動であり、カード２０に対する環境光の入射方向Ｌは一定に維持される。

【0026】

一方、図６の例では、ゲーム機２の姿勢の変化に伴って、ユーザの目２３が仮想３次元空間内で移動するものと仮定する。つまり、カード２０を法線方向から仮想カメラ２１で撮影したカード画像１４がモニタ６に表示されるが、そのモニタ６に表示されるカード画像１４をユーザが観察する方向がゲーム機２の姿勢に応じて変化するものと仮定する。例えば目２３が想像線の位置から矢印Ａで示すごとく実線の位置へ移動したと仮定する。したがって、背景画像１８の描画に関して考慮されるべき視線方向Ｅは仮想カメラ２１による撮影方向Ｃと一致せず、カード２０に対して変化する方向となる。その視線方向Ｅの変化が背景画像１８に反映される。この例では、現実のホログラムシートに関して、光が当たる方向が一定でかつ観察する方向が変わる場合の見え方の変化を再現することができる。なお、図６の例において、目２３の位置を不変とし、ゲーム機２の姿勢の変化に伴ってカード２０、仮想カメラ２１及び光源２２を一体的に移動させると仮定してもカード２０に対する視線方向Ｅを変化させることが可能である。

【0027】

図７は、ゲーム機２の姿勢の変化に伴って、カード２０に対する視線方向Ｅ及び入射方向Ｌの両者を変化させる場合の例である。この例でも、ゲーム機２の姿勢の変化に関わりなくカード２０及び仮想カメラ２１は不動である。一方、光源２２及びユーザの目２３はゲーム機２の姿勢の変化に応じて仮想３次元空間内で移動すると仮定する。例えば、光源２２及び目２３が想像線の位置から矢印Ａで示すごとく実線の位置へと移動したものとする。この場合、視線方向Ｅと入射方向Ｌとの相互の関係はゲーム機２の姿勢の変化に関わりなく一定に維持されるが、カード２０に対しては視線方向Ｅ及び入射方向Ｌの両者が一体的に変化する。よって、視線方向Ｅ及び入射方向Ｌの両者の変化を背景画像１８の表現に反映させることができる。

【0028】

図８は、ゲーム機２の姿勢と、カード２０に対する視線方向及び入射方向との関係のさらに他の例を示す。図８の例において、カード２０はゲーム機２の姿勢の変化に応じて仮想３次元空間内でその向きを変え、それに伴って仮想カメラ２１から見たときのカード２０の向きも変化するものとする。一例として、変化前のカード２０の一例を想像線で示し、矢印Ａのごとく向きを変えたカード２０の一例を実線で示す。一方、図８の例において、仮想カメラ２１及び光源２２は、ゲーム機２の姿勢に関わりなく、仮想３次元空間内で一定位置に一定の向きで配置されていると仮定される。ユーザの目２３も仮想カメラ２１の位置にあると仮定される。したがって、カード２０の向きが変化すれば、それに伴ってカード２０に対する視線方向Ｅ及び環境光の入射方向Ｌの両者が変化する。

【0029】

図８の例では、図２のゲーム画面１０のように、カード２０を常に正対した状態で観察したカード画像１４を表示することはできない。ゲーム機２の姿勢を変化させると、それに応じてカード２０が適宜に向きを変えるような画像が表示される。その場合でも、カード２０に対する視線方向Ｅ及び入射方向Ｌが変化するため、その変化に伴って背景画像１８の表現を、ホログラムシート状に変化させることが可能である。

【0030】

次に、図９を参照して、背景画像１８の表現を、視線方向及び入射方向と関連付けてホログラムシート状に変化させるための手法の一例を説明する。図９に示すように、背景画像１８を描画するために利用される情報の一例を示す。背景画像１８の描画には、一例として、バンプマップ３０と、そのバンプマップ３０に対応する色情報３１とが利用される。

【0031】

バンプマップ３０は、背景画像１８の各ピクセルにおける法線方向を指定する情報である。例えば、背景画像１８上の任意のピクセルＰｉｊにおける法線方向が適宜の座標系の値を用いた法線ベクトルＮｉｊ（Ｘｉｊ、Ｙｉｊ、Ｚｉｊ）として指定される。法線ベクトルは一例として単位ベクトルとして定義されてよく、以下では法線方向を法線ベクトルＮと同義として表現することがある。法線ベクトルＮは、一例として、オブジェクト座標系に従って表現されてよいが、カード２０に対して一義的、あるいは固有的に定まる座標系であれば他の座標系で定義されてもよい。図９では、バンプマップ３０にて指定される法線方向の相違を周期的な濃淡のパターンとして便宜的に示すが、バンプマップ３０は、背景画像１８にホログラムシート状の変化を生じさせるに適した法線ベクトルが各ピクセルに設定される限りにおいて適宜に設定されてよい。一例として、カード２０の表面にホログラムシートと同様の微細な凹凸が形成されているものと見做して、バンプマップ３０の各ピクセルの法線ベクトルが差別化される。つまり、バンプマップ３０は、カード２０に対して、現実のホログラムシートと同様の微細な凹凸を疑似的に付与するものである。

【0032】

色情報３１は、背景画像１８の各ピクセルに与えるべき色情報の初期値を指定するための情報である。色情報３１は、一例として、スペキュラマップ３２、ディフューズマップ３３及びエミッションマップ３４とを含む。スペキュラマップ３２は、背景画像１８に鏡面反射効果を与えるための色情報を、デュフーズマップ３３は背景画像１８に拡散反射効果を与えるための色情報を、エミッションマップ３４は背景画像１８にエミッション効果を与えるための色情報をそれぞれピクセル単位で指定する情報である。例えば、スペキュラマップ３２では、任意のピクセルＰｉｊにおける色情報Ｃｉｊとして、そのピクセルＰｉｊに与えるべきＲＧＢの各値Ｒｉｊ、Ｇｉｊ及びＢｉｊが指定される。他のマップ３３、４も同様にして色情報が指定されてよい。

【0033】

図９に示したピクセルＰｉｊにおける法線ベクトルＮｉｊと、視線方向Ｅ及び入射方向Ｌとの関係から明らかなように、カード２０に対して視線方向Ｅ及び入射方向Ｌが一定であったとしても、各ピクセルの法線ベクトルＮの方向を基準とした場合の視線方向Ｅ及び入射方向Ｌはピクセルごとに相違する。背景画像１８を描画するシェーダは、各ピクセルに対して色情報３１で指定された色情報を、各ピクセルにおける法線ベクトルＮと、視線方向Ｅ及び入射方向Ｌとをパラメータとして取り込んだ演算則（関数）に従って補正し、演算結果に従って各ピクセルの最終的な色情報を決定する。そのような処理により、背景画像１８の各ピクセルの色情報は、色情報３１で指定された初期値に対して、法線ベクトルＮ、視線方向Ｅ及び入射方向Ｌに応じて多様に変化する。それにより、背景画像１８に表現をホログラムシート状に表示させることができる。しかも、視線方向Ｅ及び入射方向Ｌの少なくともいずれか一方の方向は、上記で例示したようにゲーム機２の姿勢に応じて変化する。したがって、ゲーム機２の姿勢を変化させると、それに伴って、背景画像１８の表現も、あたかも視線方向や光の入射方向が変化したかのごとく変化する。よって、現実のホログラムシートと同様に背景画像１８の表現を変化させることが可能である。

【0034】

次に、ゲーム機２の制御系、及びその処理の一例について、カード画像１４の描画に関わる部分を中心に説明する。図１０は、ゲーム機２の制御系の概略構成の一例を示す。ゲーム機２は、制御ユニット５０と記憶ユニット５１とを備えている。制御ユニット５０はマイクロプロセッサとしてのＣＰＵ、ＧＰＵ及びそれらの動作に必要な内部記憶装置、例えばキャッシュメモリ、ＲＡＭ、フレームメモリ等を含んだコンピュータとして構成されている。記憶ユニット５１は制御ユニット５０に対する外部記憶装置として機能する磁気記憶媒体、フラッシュメモリ等の不揮発性記憶媒体を用いた記憶装置である。制御ユニット５０には、コントローラ５Ａ、５Ｂの操作部７及びジャイロセンサ８、モニタ６が接続される。制御ユニット５０は、音源制御ユニット、ネットワーク制御ユニット等がさらに含まれてよい。

【0035】

記憶ユニット５１には、ゲームを提供するためのゲームプログラムＰｇ、ゲームデータＤｇ、及びプレイデータＤｐが記録される。ゲームプログラムＰｇは、制御ユニット５０の基本的な動作を制御するオペレーティングシステム、あるいはＧＰＵに画像描画処理を実行させるために予め制御ユニット５０に実装される画像描画用のプログラム等と協働して、ゲームに必要な各種の演算処理及び動作制御を制御ユニット５０に実行させるためのアプリケーションプログラムである。ゲームプログラムＰｇは、ゲーム処理プログラムＰｇ１及び画像処理プログラムＰｇ２をさらに含む。ゲーム処理プログラムＰｇ１は、ゲーム機２にて提供されるゲームをユーザの選択に応じて進行させるために必要な各種の処理を制御ユニット５０に実行させるためのコンピュータプログラムである。画像処理プログラムＰｇ２は、ゲームの進行状況に応じた画像を描画してモニタ６に表示させるためのコンピュータプログラムである。上述したカード画像１４を描画するためのシェーダプログラムも画像処理プログラムＰｇ２の一部を構成する。

【0036】

ゲームデータＤｇは、ゲームの制御において適宜に参照されるべきデータである。カード画像１４を描画するために必要な各種のデータ、例えば、図９に示したバンプマップ３０及び色情報３１、さらには、カード画像１４にて表現されるべきメイン画像１６、フレーム画像１７等の各種のテクスチャのデータがゲームデータＤｇに含まれてよい。プレイデータＤｐは、ゲーム機２のユーザによるゲームのプレイと関連付けられたユーザごとのデータである。例えば、ユーザのプレイ履歴、ステータスといった情報がプレイデータＤｐに含まれてよい。ゲームプログラムＰｇ、及びゲームデータＤｇは、サーバ３からゲーム機２に適宜に配信されて記憶ユニット５１に保存される。ただし、それらのデータは、ゲーム機２が読み込み可能な記憶媒体を介して提供されてもよい。

【0037】

制御ユニット５０がゲームプログラムＰｇを読み取ることにより、制御ユニット５０には、ゲーム処理部５２及び画像処理部５３が設けられる。ゲーム処理部５２は、制御ユニット５０のＣＰＵとゲーム処理プログラムＰｇ１とが協働することにより実現される論理的装置であり、画像処理部５３は制御ユニット５０のＧＰＵと画像処理プログラムＰｇ２とが協働することにより実現される論理的装置である。ゲーム処理部５２は、ゲーム処理プログラムＰｇ１に従ってゲームを制御する。画像処理部５３は、ゲーム処理部５２によるゲームの進行状況に応じた画像を描画し、モニタ６に表示させるための処理を実行する。なお、３次元オブジェクトの画像を描画するための汎用的な画像処理を制御ユニット５０のＧＰＵに実行させるためのコンピュータプログラム、例えば汎用的なシェーダプログラム等が予めゲーム機２に実装される場合、画像処理プログラムＰｇ２はその汎用的なコンピュータプログラムと連携して画像処理部５３が実現されるように構成されてよい。

【0038】

図１１は、ゲーム機２の制御ユニット５０が背景画像１８を描画するために実行する処理手順の一例を示している。この例は、図５で示したように、ゲーム機２の姿勢の変化に対応して入射方向Ｌを変化させ、視線方向Ｅをカード２０に対して不変として背景画像１８を描画する場合の処理の一例である。ゲーム機２でプレイされるゲームがカード画像１４を表示させる状態である場合、背景画像１８を描画するために図１１の処理が開始される。図１１の処理が開始されると、まずゲーム処理部５２は、ジャイロセンサ８の出力に基づいてゲーム機２の現在の姿勢を検出し、これをセットする（ステップＳ１１）。ゲーム機２の姿勢は、ゲーム機２が特定の姿勢にある状態を初期の姿勢とし、その初期の姿勢におけるジャイロセンサ８の出力と、現在のジャイロセンサ８の出力との差分として検出されてよい。初期の姿勢は、一例としてカード画像１４の表示を開始する時点でのゲーム機２の姿勢とすることができるが、これに限らず、ゲームを起動した時点や特定のモードに遷移した時点でのゲーム機２の姿勢を初期の姿勢とすることができる。ステップＳ１１にて検出される姿勢は、ゲーム機２がどのような方向にあるかを示すものであって、その方向が、背景画像１８の色情報を決定するために必要な基準方向の一例に相当する。

【0039】

次に、ゲーム処理部５２は、カード２０を仮想３次元空間にセットする（ステップＳ１２）。一例として、ゲーム処理部５２は、仮想３次元空間内の所定位置にカード２０をポリゴンモデルとして配置する。さらに、ゲーム処理部５２は、背景画像１８を描画するために用意されたバンプマップ３０、色情報３１等のテクスチャをセットし（ステップＳ１３）、続いて、背景画像１８を描画するためのシェーダをセットする（ステップＳ１４）。この場合のシェーダは、背景画像１８を描画するためにプログラムされたプログラマブルシェーダであってよく、画像処理プログラムＰｇ２の一部として制御ユニット５０に提供されるものであってよい。ステップＳ１４の処理を終えると、ゲーム処理部５２は、ステップＳ１１～Ｓ１４でセットした情報を背景画像１８の描画のための情報として画像処理部５３に渡し、背景画像１８の描画を開始させる（ステップＳ１５）。その後、ゲーム処理部５２は図１１の処理を終える。

【0040】

一方、画像処理部５３は、ステップＳ１５の処理に対応して図１１の処理を開始する。画像処理部５３は、まずゲーム処理部５２から与えられた情報に基づいて、ステップＳ２１の頂点シェーダ処理、ステップＳ２２のピクセルシェーダ処理、及びステップＳ２３のポストエフェクト処理を順次実行して背景画像１８を描画し、さらには、ゲーム画面１０の他の画像を加えた最終的な画像を描画してモニタ６に表示させる。頂点シェーダ処理は、カード２０を構成するポリゴンの各頂点の仮想３次元空間における座標を２次元のスクリーン座標系に変換する処理であり、ピクセルシェーダ処理は、スクリーン座標系内における各ピクセルの色情報を決定する処理であり、ポストエフェクト処理は各ピクセルの色情報を所定の条件に従ってさらに補正する処理である。これらの処理は、一般的なシェーダプログラムと同様に行われてよいが、背景画像１８の処理に関しては、各ピクセルの法線方向、視線方向、及び環境光の入射方向に基づく処理が含まれ、かつ入射方向にはゲーム機２の姿勢の変化が反映される。それらの処理内容の一例を図１１に付記するが、以下に要点を説明する。

【0041】

まず、ステップＳ２１の頂点シェーダ処理では、ステップＳ１１でセットされたゲーム機２の姿勢、言い換えればジャイロセンサ８の出力に基づいて検出される基準方向に従ってカード２０に対する環境光の入射方向が決定される。ただし、基準方向の変化と、入射方向の変化との量的（角度的）な対応関係は、必ずしも１対１の関係に設定されることを要しない。例えば、所定のジャイロ軸の回りに関してジャイロセンサ８が検出した回転角がＸ°であった場合、同軸回りに入射方向が変化した角度が２倍の２Ｘ°に変換されるといったように、基準方向の変化量に対して、入射方向の変化量を一定比率で増加させてもよい。その場合には、ゲーム機２の姿勢の変化に対する背景画像１８の変化の程度を拡大して、ホログラムシート状の変化をユーザにより強く印象付けることが可能である。ただし、基準方向の変化量に対して入射方向の変化量を一定比率で縮小させてもよい。１対１の関係ではゲーム機２の姿勢の変化に対して背景画像１８の変化が不自然に大きい場合等にそのような縮小関係が設定されてもよい。

【0042】

頂点シェーダ処理では、ステップＳ１２でセットされたカード２０のポリゴンモデルを仮想３次元空間に配置し、各ポリゴンの仮想３次元空間における頂点座標を、仮想カメラの結像面に対応する２次元のスクリーン座標系における座標値に変換する処理も行われる。図５の例では、仮想カメラ２１がカード２０を法線方向から撮影するように配置され、カード２０と仮想カメラ２１との位置関係は不変である。したがって、仮想３次元空間におけるカード２０の位置及び向きに関わりなく、座標変換後のスクリーン座標系における各ポリゴンの頂点座標は一定である。

【0043】

上述したように、カード２０に入射する環境光が平行光であれば、仮想３次元空間に光源２２を配置して入射方向を特定しなくとも、ジャイロセンサ８の出力に基づいて特定される基準方向から、入射方向を一義的に求めることができる。また、カード２０と仮想カメラ２１との対応関係も一定である。そのため、頂点シェーダ処理を省略し、スクリーン座標系における各ポリゴンの頂点座標を直接的に特定し、バンプマップ３０や色情報３１における座標を特定することも可能である。しかしながら、一般に、シェーダプログラムは仮想３次元空間にポリゴンモデルを配置し、ポリゴンの各頂点の３次元座標をスクリーン座標系の２次元座標に変換する頂点シェーダ処理を実施し、その処理結果を利用してピクセルシェーダ処理を実施するように構成される。よって、カード２０のポリゴンモデルを仮想３次元空間に一旦配置し、スクリーン座標系における頂点座標を求める手順を採用すれば、既存のプログラマブルシェーダの応用が可能となり、好都合である。なお、図８に示したように、仮想３次元空間内でカード２０と仮想カメラ２１との位置関係を変化させる場合には、頂点シェーダ処理による座標変換処理が必要である。

【0044】

ステップＳ２２のピクセルシェーダ処理では、一例として、スペキュラ処理、ディフューズ処理、及びエミッション処理を経て背景画像１８上の各ピクセルの最終色が決定される。この処理において、バンプマップ３０で指定される各ピクセルの法線ベクトルＮ、カード２０に対する環境光の入射方向Ｌ、及び視線方向Ｅをパラメータとして参照した演算が行われる。なお入射方向Ｌ及び視線方向Ｅはそれらの方向を持つ単位ベクトルとして表現されて演算に取り込まれる。以下では、入射方向Ｌ及び視線方向Ｅはいずれもベクトルを意味するものとする。

【0045】

スペキュラ処理は、カード２０上での鏡面反射が背景画像１８の各ピクセルの色情報に与える影響を演算する処理である。例えば、入射方向Ｌ及び視線方向Ｅを加算してハーフベクトルＨが求められる。次に、各ピクセルの法線ベクトルＮとハーフベクトルＨの内積（Ｎ・Ｈ）に対する所定乗数ａのべき乗によって各ピクセルにおける鏡面反射の強さが演算される。さらに、各ピクセルのスペキュラ（鏡面反射）を考慮した色情報としてのスペキュラＳｐが、スペキュラ色と強さとの乗算によって求められる。スペキュラ色は、一例として、スペキュラマップ３２によって指定される各ピクセルの色情報でよい。この処理では、視線方向Ｅと入射方向Ｌとのずれが小さく、かつそれらの方向と法線ベクトルＮとのずれが小さいほど鏡面反射の強さが増加し、結果としてスペキュラＳｐは、白色側、換言すればより明るくなる側に変化する。カード２０を正面から観察する方向をカード２０の全体としての法線方向とすれば、その法線方向に対する入射方向Ｌ及び視線方向Ｅのずれが小さいほど、背景画像１８の鏡面反射による明るさが増す一方で、各ピクセルの法線ベクトルＮに対する入射方向Ｌ及び視線方向Ｅとのずれに応じて鏡面反射の強さに差が生じることとなる。

【0046】

ディフューズ処理は、カード２０上での反射によって生じる拡散光が背景画像１８の各ピクセルの色情報に与える影響を演算する処理である。例えば、入射方向Ｌと各ピクセルの法線ベクトルＮとの内積により各ピクセルにおける拡散光の強さが求められる。次いで、各ピクセルのディフューズ（拡散反射）を考慮した色情報としてのディフューズＤｆが、ディフューズ色と強さとの乗算によって求められる。ディフューズ色は、一例として、ディフューズマップ３３によって指定される各ピクセルの色情報でよい。この処理では、入射方向Ｌと法線ベクトルＮとのずれが小さいほど拡散反射の強さが増加し、結果としてディフューズＤｆは、白色側、換言すればより明るくなる側に変化する。つまり、各ピクセルの法線ベクトルＮに対する入射方向Ｌとのずれに応じて拡散反射の強さに差が生じることとなる。

【0047】

エミッション処理は、背景画像１８の色情報をさらに補正するための処理である。スペキュラ処理及びディフューズ処理によって得られる色情報に対して、背景画像１８を少なくとも一部の明るさを一様に増加させたい、といったように、色情報を適宜に補正したい場合、その補正量としてエミッションマップ３４で指定されたエミッション色をエミッションＥｍとして設定する。例えば、カード２０に対して逆光、つまりはカード２０の背後から環境光が当たるような状況をスペキュラ処理及びディフューズ処理で再現すると、カード２０での反射がほぼ生じないこととなり、背景画像１８が一様に黒又はこれに近い暗色で表現される場合がある。そのような場合、エミッションＥｍを設定して全体的な明るさを増加させる、といった場合にエミッションＥｍが設定されてよい。その他にも、背景画像１８の明るさが上限又は下限を超えないように色情報を補正するといった処理が適用されてもよい。ただし、エミッションＥｍは省略されてもよい。

【0048】

ピクセルシェーダ処理では、上記のように求められたスペキュラＳｐ、ディフューズＤｆ及びエミッションＥｍを加算することにより、各ピクセルの最終的な色情報が演算される。得られる色情報は、背景画像１８の各ピクセルの色情報を、各ピクセルにおける法線ベクトルＮに対する入射方向Ｌ及び視線方向Ｅの関係に応じた鏡面反射及び拡散反射をパラメータとして参照して変化させたものとなる。したがって、バンプマップ３０にて指定される各ピクセルの法線ベクトルＮを現実のホログラムシートの微細な凹凸に倣って変化させることにより、ホログラムシート状の色分布を表現することができる。しかも、ゲーム機２の姿勢の変化に対応して入射方向Ｌを変化させることにより、光が当たる方向に応じて背景画像１８が変化する様子をホログラムシート状のそれと同様に表現することが可能である。

【0049】

ステップＳ２３のポストエフェクト処理は、ピクセルシェーダ処理によって決定された背景画像１８の各ピクセルの最終色に対して、さらなる視覚効果を追加するために行われる処理である。一例として、輝度が所定の明るさ以上となるピクセルといったように特定の条件を満たすピクセルを抽出し、抽出されたピクセルに対して、ぼかし効果が生じるように色情報を補正するといった処理が行われてよい。ただし、ポストエフェクト処理も適宜に省略可能である。

【0050】

以上では、図５の例、すなわち、ゲーム機２の姿勢の変化に対して入射方向Ｌを変化させる場合に対して図１１の処理が適用されるものとしたが、図６、図７又は図８の例であっても、同様に図１１の処理が適用されてよい。すなわち、ゲーム機２の姿勢の変化に対して、視線方向Ｅを変化させれば図６の例を実現することができ、視線方向Ｅ及び入射方向Ｌの両者を変化させれば図７の例を実現することができる。また、ゲーム機２の姿勢の変化に対して仮想３次元空間内でカード２０及び仮想カメラ２１を移動させるものとすれば、図８の例を実現することが可能である。

【0051】

本発明は上述した形態に限定されず、適宜の変形又は変更が施された形態にて実施されてよい。例えば、上述したようにカード２０を常に正対した状態で撮影した画像をカード画像１４として表示する場合、仮想３次元空間にポリゴンモデルとしてカード２０を配置し、各ポリゴンの３次元の頂点座標を、仮想カメラ２１のスクリーン座標系に変換する処理は必ずしも必要ではない。また、スクリーン座標系に射影されたカード２０の各位置の座標もそのような座標変換を経ずとも特定可能であって、バンプマップ３０や色情報３１の座標との対応関係も一義的に定まる。しかも、ゲーム機２の姿勢の変化と、入射方向Ｌ又は視線方向Ｅとの対応関係に関しても、必ずしも仮想３次元空間におけるシーン構築を要せずして特定することが可能である。したがって、カード２０を２次元のスクリーン座標系に配置し、これに対してステップＳ２２以下の処理を行うことも可能である。

【0052】

一方、図１１の処理は、カード画像１４のうち、背景画像１８の部分を描画するために必要な処理を抜き出して示したものであって、メイン画像１６等の他の画像については適宜の手法で描画されてよい。メイン画像１６やフレーム画像１７の少なくとも一部を対象として陰影を付すといった処理を行う場合には、それに適したシェーダプログラムを用意し、図１１の処理の前後において、適宜の順序で処理を連ねるようにしてもよい。さらに、メイン画像１６等の一部を背景画像１８と同様にホログラムシート状に変化させる場合には、その部分にも図１１の処理が適用されてよい。メイン画像１６、フレーム画像１７及び背景画像１８を別々の処理で描画する場合でも、Ｚバッファを用いればその処理の順序は不問であり、背後の画像ほど先に処理することは必須ではない。

【0053】

図１１で示した画像処理部５３の処理内容は一例であって、ゲーム機２の姿勢の変化に伴って入射方向Ｌ及び視線方向Ｅの少なくともいずれか一方を変化させ、その変化が背景画像１８の表現に対してホログラムシート状の変化を与えるものであれば適宜に変更されてよい。

【0054】

図１１の処理では、ピクセルシェーダ処理において入射方向Ｌ及び視線方向Ｅのいずれもパラメータとして考慮して色情報を決定したが、入射方向Ｌの変化を背景画像１８の表現に反映させる限りにおいては、視線方向Ｅをパラメータとして考慮せず、入射方向Ｌと法線ベクトルＮとの関係から各ピクセルの色情報を決定するといった簡易的な処理が適用されてもよい。その場合でも、法線ベクトルＮと入射方向Ｌとの関係の変化を背景画像１８の表現に反映させて、光が当たる方向の変化に対応した背景画像１８の変化を表現することが可能である。すなわち、背景画像１８の色情報を決定するために必要な基準方向をゲーム機２のセンサの出力に基づいて検出し、検出された基準方向と関連付けて入射方向Ｌを変化させつつ、その入射方向をパラメータとして参照して、背景画像１８の表現がホログラムシート状に変化するように各ピクセルの色情報を決定してもよい。

【0055】

上記の形態では、ジャイロセンサ８の出力を利用して基準方向を検出し、その基準方向の変化に応じて入射方向Ｌ及び視線方向Ｅの少なくともいずれか一方の方向を変化させたが、基準方向の検出に用いるセンサは、ジャイロセンサ８による例に限らない。方向の情報を含んだ信号を出力可能なセンサであれば、基準方向の検出に適宜に用いることが可能である。また、基準方向はゲーム機２の姿勢と関連付けて設定される例に限らない。基準方向は、背景画像１８の表現に変化を与えるように変化する方向であって、入射方向Ｌや視線方向Ｅを特定するための基準となるものであればよく、ゲーム機２の姿勢を代表する方向であることを必ずしも要しない。

【0056】

例えば、図１２に示したように、ゲーム機２に設けられたカメラ６０を利用してユーザの周囲の外界を撮影し、得られた画像から現実世界における光源（太陽の場合も含む。）６１からの環境光の入射方向Ｌｒを検出し、これを基準方向としてカード２０に対する入射方向Ｌを決定してもよい。この場合、カメラ６０が基準方向を検出するためのセンサの一例として機能する。現実世界の環境光の方向を基準方向として検出すれば、その方向の変化をカード２０に対する入射方向Ｌの変化に反映させることができる。それにより、ゲーム機２の周囲の環境光の方向の変化に応じて背景画像１８の表現を変化させることが可能である。

【0057】

現実の入射方向Ｌｒの検出はカメラ６０に限らず、入射方向Ｌｒと相関する信号が得られるものであればよい。例えば、ゲーム機２の周囲の現実世界の明暗を明るさセンサで検出する場合、明度の変化を手がかりとして現実世界における入射方向Ｌｒを判別し得る。複数の明るさセンサを、入射方向Ｌｒに応じた出力差が生じるようにゲーム機２に設け、それらの明るさセンサの出力に基づいて入射方向Ｌｒを検出してもよい。例えば、複数の明るさセンサをそれぞれが感度を有する方向を差別化して配置すれば、各センサが検出する明るさの差を手掛かりとして入射方向Ｌｒを判別し得る。なお、図１２において光源６１は便宜的に示したものである。光源６１は必ずしもカメラ６０の撮影範囲ＰＡに含まれていることを要しない。

【0058】

視線方向Ｅに関しても、図１３に示すようにカメラ６０の画像からユーザの現実の目６２の位置を判別し、その判別結果からユーザの現実の視線方向Ｅｒを検出し、これを基準方向としてカード２０に対する視線方向Ｅを決定してもよい。この場合もカメラ６０が基準方向の検出に利用されるセンサの一例として機能する。現実の視線方向Ｅｒに従ってカード２０に対する視線方向Ｅを決定する手法は、図６のようにカード２０に対して視線方向Ｅを相対的に変化させる場合に適用可能である。その場合、現実の視線方向Ｅｒをカード２０に対する視線方向Ｅに反映させることができる。さらに、カメラ６０による現実の入射方向Ｌｒを併せて基準方向として検出し、現実の入射方向Ｌｒ及び視線方向Ｅｒの変化と関連付けてカード２０に対する入射方向Ｌ及び視線方向Ｅを変化させてもよい。このような手法は、図７の例のようにゲーム機２の姿勢の変化に対して入射方向Ｌ及び視線方向Ｅの両者を変化させる場合に好適に用いることができる。入射方向Ｌ及び視線方向Ｅを現実世界の入射方向Ｌｒ及び視線方向Ｅｒに反映させることが可能である。ユーザの現実の目６２の位置を判別する方法は既知の方法によることができる。

【0059】

上記の形態では、カード２０が平板状のオブジェクトであることを前提としたが、カード２０をコントローラ５の姿勢に対応して曲げ変形させてもよい。例えば、図１のゲーム機２において、コントローラ５Ａ、５Ｂが本体４から分離可能である場合には、各コントローラ５Ａ、５Ｂのそれぞれが互いに異なる姿勢を取り得る。よって、例えば左の第１コントローラ５Ａが左側に傾けられ、右の第２コントローラ５Ｂが右側に傾けられた場合、これをカード２０の曲げ操作であると見做して、図１４に示すようにカード２０の左右を曲げ変形させてもよい。この場合、バンプマップ３０で指定される法線ベクトルＮをカード２０の曲げの程度に応じて変化させれば、カード２０の曲げに応じて入射方向Ｌ及び視線方向Ｅを相対的に変化させ、その変化に応じて背景画像１８の表現を変化させることが可能である。なお、図１４ではカード２０の左右端を下方に曲げ変形させた状態を例示するが、コントローラ５Ａ、５Ｂを上記と逆方向に傾けた場合にはカード２０の左右端を上方に変位させることも可能である。さらには、コントローラ５Ａ、５Ｂを前方又は後方にそれぞれ相反的に傾けた場合に、カード２０の上下端を曲げ変形させることも可能である。

【0060】

上記の形態では、カード画像１４の背景画像１８の表現をホログラムシート状に変化させるものとしたが、本発明よってホログラムシート状の表現が適用される対象領域は背景画像１８に限らない。カード状のオブジェクトの適宜の領域が対象領域として設定されてよい。カード状のオブジェクトは、ゲームにて利用されるカードに限定されない。本発明は、各種のカード状のオブジェクトの少なくとも一部を対象領域として、その表現をホログラムシート状に変化させる用途に適用可能である。

【0061】

本発明におけるユーザ装置は、ゲーム機に限らず、ユーザによって操作される各種の装置、例えばスマートフォン、タブレット、モバイルＰＣ等であってもよい。また、本発明は、ユーザ装置とは異なるコンピュータに処理を実行させ、その処理結果に応じた画像をユーザ装置に表示出力させるものであってもよい。例えば、ユーザ装置をサーバ、リモートアクセス先のコンピュータ等の他のコンピュータに対する遠隔入出力端末装置として機能させ、カード状のオブジェクトを描画するための処理を他のコンピュータにて実行し、処理結果をユーザ装置に表示させるようにしてもよい。

【0062】

上述した実施の形態及び変形例のそれぞれから導き出される本発明の各種の態様を以下に記載する。なお、以下の説明では、本発明の各態様の理解を容易にするために添付図面に図示された対応する構成要素を括弧書きにて付記するが、それにより本発明が図示の形態に限定されるものではない。

【0063】

本発明の一態様に係るコンピュータプログラムは、カード状のオブジェクト（２０）の画像（１４）をユーザ装置（２）に表示させる処理を所定のコンピュータ（５０）に実行させるためのコンピュータプログラム（Ｐｇ）であって、前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向（一例としてゲーム機２の姿勢を示す方向）を前記ユーザ装置のセンサ（８；６０）の出力に基づいて検出するステップ（Ｓ１１）と、前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップ（Ｓ２１～Ｓ２３）と、を前記コンピュータに実行させるように構成され、前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向（Ｌ）と、前記対象領域に関する前記ユーザ装置のユーザの視線方向（Ｅ）との少なくともいずれか一方の方向を前記基準方向と関連付けて変化させつつ、前記入射方向及び前記視線方向を参照して前記色情報を決定するものである。

【0064】

上記態様によれば、対象領域の色情報を決定するにあたって入射方向及び視線方向を参照することにより、オブジェクトにどの方向から光が当たり、かつオブジェクトをどの方向から観察しているか、を対象領域の表現に反映させることができる。しかも、ユーザ装置のセンサの出力に基づいて検出する基準方向の変化と関連付けて入射方向及び視線方向の少なくともいずれか一方を変化させることにより、対象領域の表現を、現実のホログラムシートのように、光が当たる方向や観察する方向に応じて多様に変化させることができる。

【0065】

上記態様において、前記色情報を決定するステップでは、前記入射方向を前記基準方向に応じて変化させる一方で、前記視線方向を一定に維持して前記色情報を決定してもよい（一例として図５参照）。あるいは、前記色情報を決定するステップでは、前記視線方向を前記基準方向に応じて変化させる一方で、前記入射方向を一定に維持して前記色情報を決定してもよい（一例として図６参照）。さらに、前記色情報を決定するステップでは、前記視線方向及び前記入射方向のそれぞれを前記基準方向に応じて変化させつつ前記色情報を決定してもよい（一例として図７参照）。いずれの場合でも、オブジェクトの対象領域に対する光の入射方向又は視線方向のいずれか、又は両者を、ユーザ装置のセンサを用いて検出した基準方向の変化と関連付けて変化させて対象領域の表現をホログラムシート状に変化させることが可能である。

【0066】

上記態様において、前記色情報を決定するステップでは、前記対象領域を複数のピクセルの集合として定義したときの各ピクセルの法線方向（Ｎ）を記述したバンプマップ（３０）の情報に基づいて、各ピクセルにおける法線方向を判別し、判別された法線方向と前記入射方向及び前記視線方向との関係に応じて色情報が変化するようにして各ピクセルの色情報を決定してもよい。これによれば、バンプマップの情報にて各ピクセルの法線方向を種々変化させることにより、対象領域に疑似的な凹凸を付与し、法線方向と光の入射方向や視線方向との関係に応じて色情報を適宜に変化させることが可能である。

【0067】

本発明の他の態様に係るコンピュータプログラムは、カード状のオブジェクト（２０）の画像（１４）をユーザ装置（２）に表示させる処理を所定のコンピュータ（５０）に実行させるコンピュータプログラム（Ｐｇ）であって、前記オブジェクトに含まれる対象領域の色情報を決定するために必要な基準方向（一例としてゲーム機２の姿勢を示す方向）を前記ユーザ装置のセンサ（８；６０）の出力に基づいて検出するステップ（Ｓ１１）と、前記検出された基準方向の変化に伴って前記対象領域の表現がホログラムシート状に変化するように、前記基準方向と関連付けて前記対象領域の色情報を決定するステップ（Ｓ２１～Ｓ２３）と、を前記コンピュータに実行させるように構成され、前記色情報を決定するステップでは、前記対象領域に入射する光の入射方向（Ｌ）を前記基準方向と関連付けて変化させつつ、前記入射方向を参照して前記色情報を決定するものである。

【0068】

上記態様によれば、対象領域の色情報を決定するにあたって入射方向を参照することにより、オブジェクトにどの方向から光が当たっているか、を対象領域の表現に反映させることができる。しかも、ユーザ装置のセンサの出力に基づいて検出する基準方向の変化と関連付けて入射方向を変化させることにより、対象領域の表現を、現実のホログラムシートのように、光が当たる方向に応じて多様に変化させることができる。

【0069】

上記の各態様においては、前記オブジェクトが前記ユーザ装置にてプレイされるゲームにて表示されるべきカードであってもよい。この場合、前記対象領域が、前記カードの背景の少なくとも一部であってもよい。これによれば、ゲームに用いられるカードの少なくとも一部、さらにはカードの背景の少なくとも一部に関して、その表現をホログラムシート状に変化させることにより、カードの装飾性、演出性を高め、ユーザの所有欲、あるいは獲得意欲を高め、ひいてはゲームの興趣を高めることができる。

【0070】

上記各態様において、前記センサは、前記ユーザ装置の姿勢に応じた信号を出力するものであってもよい。これによれば、ユーザ装置の姿勢の変化に応じてオブジェクトの対象領域の表現をホログラムシート状に変化させることが可能である。

【0071】

なお、本発明の一態様に係るコンピュータプログラムは、記憶媒体に記憶された状態で提供されてもよい。この記憶媒体を用いれば、例えばコンピュータに本発明に係るコンピュータプログラムをインストールして実行することにより、そのコンピュータを利用して本発明のシステムを実現することができる。コンピュータプログラムを記憶した記憶媒体は、ＣＤＲＯＭ等の非一過性の記憶媒体であってもよい。

【0072】

本発明は、カード状のオブジェクト（２０）の画像（１４）をユーザ装置（２）に表示させる処理を所定のコンピュータ（５０）に実行させる画像表示方法であって、上記態様のコンピュータプログラム（Ｐｇ）に従って、前記基準方向を前記ユーザ装置のセンサ（８）の出力に基づいて検出するステップ（Ｓ１１）と、前記対象領域の色情報を決定するステップ（Ｓ２１～Ｓ２３）と、を前記コンピュータに実行させる画像表示方法の態様として構成されてもよい。また、本発明は、カード状のオブジェクト（２０）の画像（１４）をユーザ装置（２）に表示させる処理を所定のコンピュータ（５０）に実行させる画像表示システム（１）であって、上記態様のコンピュータプログラム（Ｐｇ）に従って、前記基準方向を前記ユーザ装置のセンサ（８）の出力に基づいて検出するステップ（Ｓ１１）と、前記対象領域の色情報を決定するステップ（Ｓ２１～Ｓ２３）と、を前記コンピュータに実行させる画像表示システムの態様として構成されてもよい。これらの画像表示方法及び画像表示システムによれば、上記態様のコンピュータプログラムに従って、カード状のオブジェクトの少なくとも一部の領域の表現をホログラムシート状に変化させることが可能である。

【符号の説明】

【0073】

１ ゲームシステム（画像表示システム）
２ ゲーム機（ユーザ装置）
８ ジャイロセンサ
１４ カード画像
１８ 背景画像（対象領域）
２０ カード（オブジェクト）
３０ バンプマップ
５０ 制御ユニット
６０ カメラ
Ｅ 視線方向
Ｌ 入射方向
Ｎ 法線ベクトル（法線方向）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】