特開 2024-17898 画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024017898

(43)【公開日】2024-02-08

(54)【発明の名称】画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法

(51)【国際特許分類】

   G06T 15/50 20110101AFI20240201BHJP

   G06T 19/00 20110101ALI20240201BHJP

【ＦＩ】

G06T15/50 300

G06T19/00 A

【審査請求】有

【請求項の数】26

【出願形態】ＯＬ

(21)【出願番号】P 2022120844

(22)【出願日】2022-07-28

(11)【特許番号】

(45)【特許公報発行日】2024-01-18

(71)【出願人】

【識別番号】391041718

【氏名又は名称】株式会社ハル研究所

(71)【出願人】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(72)【発明者】

【氏名】加藤 歩

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA09

5B050EA07

5B050EA30

5B050FA02

5B050FA05

5B080CA01

5B080FA02

5B080FA15

5B080GA13

(57)【要約】

【課題】オブジェクトの接続部分が自然に見えるような画像を生成することが可能な画像処理プログラムを提供する。
【解決手段】画像処理システムの一例は、まず、第１のオブジェクトについて、法線情報及び色情報をＧバッファに書き込むとともに、深度情報を深度バッファに書き込む。次に、画像処理システムの一例は、第２のオブジェクトについて、法線情報をＧバッファに書き込む際に、第１のオブジェクトの深度情報と第２のオブジェクトの深度情報との差分を計算し、当該差分に基づいて、第１のオブジェクトの法線情報と第２のオブジェクトの法線情報とをブレンドし、当該ブレンドした法線情報をＧバッファに書き込む。そして、画像処理システムの一例は、Ｇバッファに記憶された情報及び光源情報に基づいて、フレームバッファに画像をレンダリングする。
【選択図】図９

【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、ディファードレンダリングに基づいて仮想空間内のオブジェクトの画像を生成させる画像処理プログラムであって、前記コンピュータに、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、第１のバッファへの法線情報の書き込みと、第２のバッファへの色情報の書き込みとを少なくとも含む第１処理を行わせ、
前記第１処理の後、前記仮想空間内の第２のオブジェクトについて、深度テストを行わせるとともに、前記深度バッファへの深度情報の書き込みと、前記第１のバッファへの法線情報の書き込みと、前記第２のバッファへの色情報の書き込みとを少なくとも含む第２処理を行わせ、
前記第２処理における前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とがブレンドされるように、前記第２のオブジェクトの法線情報を前記第１のバッファに書き込ませ、
少なくとも前記第１のバッファ及び前記第２のバッファに記憶された情報に基づいてレンダリングを行わせることにより画像を生成させる、画像処理プログラム。

【請求項2】

前記コンピュータに、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを前記差に応じたブレンド率でブレンドした法線情報を、前記第１のバッファに書き込ませる、請求項１に記載の画像処理プログラム。

【請求項3】

前記ブレンド率は、前記差が小さいほど、前記第１のバッファに既に記憶された法線情報の割合が高くなるように設定される、請求項２に記載の画像処理プログラム。

【請求項4】

前記コンピュータに、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記差が所定範囲内の画素について、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを所定の比率でブレンドした法線情報を、前記第１のバッファに書き込ませる、請求項１に記載の画像処理プログラム。

【請求項5】

前記コンピュータにさらに、
前記第２のオブジェクトの前記第２のバッファへの色情報の書き込みにおいて、前記差に基づいて、当該差が小さい部分について前記第２のオブジェクトの色情報と前記第２のバッファに既に記憶された色情報とがブレンドされるように、前記第２のオブジェクトの色情報を前記第２のバッファに書き込ませる、請求項２から４の何れかに記載の画像処理プログラム。

【請求項6】

前記第１のオブジェクトは、キャラクタの第１の部位であり、
前記第２のオブジェクトは、前記キャラクタの第２の部位である、請求項２から４の何れかに記載の画像処理プログラム。

【請求項7】

情報処理装置のコンピュータに、仮想空間内のオブジェクトの画像を生成させる画像処理プログラムであって、前記コンピュータに、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、法線バッファへの法線情報の書き込みと、フレームバッファへの描画とを少なくとも含む第１処理を行わせ、
前記第１処理の後、前記仮想空間内の第２のオブジェクトについて、深度テストを行わせるとともに、前記フレームバッファへの描画を含む第２処理を行わせ、
前記第２処理における前記第２のオブジェクトの前記フレームバッファへの描画において、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記法線バッファに既に記憶された法線情報とがブレンドされるように法線情報を算出させ、当該算出された法線情報に基づくレンダリングを行わせる、画像処理プログラム。

【請求項8】

プロセッサを備え、ディファードレンダリングに基づいて仮想空間内のオブジェクトの画像を生成する画像処理システムであって、前記プロセッサは、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、第１のバッファへの法線情報の書き込みと、第２のバッファへの色情報の書き込みとを少なくとも含む第１処理を行い、
前記第１処理の後、前記仮想空間内の第２のオブジェクトについて、深度テストを行うとともに、前記深度バッファへの深度情報の書き込みと、前記第１のバッファへの法線情報の書き込みと、前記第２のバッファへの色情報の書き込みとを少なくとも含む第２処理を行い、
前記第２処理における前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とがブレンドされるように、前記第２のオブジェクトの法線情報を前記第１のバッファに書き込み、
少なくとも前記第１のバッファ及び前記第２のバッファに記憶された情報に基づいてレンダリングを行うことにより画像を生成する、画像処理システム。

【請求項9】

前記プロセッサは、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを前記差に応じたブレンド率でブレンドした法線情報を、前記第１のバッファに書き込む、請求項８に記載の画像処理システム。

【請求項10】

前記ブレンド率は、前記差が小さいほど、前記第１のバッファに既に記憶された法線情報の割合が高くなるように設定される、請求項９に記載の画像処理システム。

【請求項11】

前記プロセッサは、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記差が所定範囲内の画素について、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを所定の比率でブレンドした法線情報を、前記第１のバッファに書き込む、請求項８に記載の画像処理システム。

【請求項12】

前記プロセッサはさらに、
前記第２のオブジェクトの前記第２のバッファへの色情報の書き込みにおいて、前記差に基づいて、当該差が小さい部分について前記第２のオブジェクトの色情報と前記第２のバッファに既に記憶された色情報とがブレンドされるように、前記第２のオブジェクトの色情報を前記第２のバッファに書き込む、請求項９から１１の何れかに記載の画像処理システム。

【請求項13】

前記第１のオブジェクトは、キャラクタの第１の部位であり、
前記第２のオブジェクトは、前記キャラクタの第２の部位である、請求項９から１１の何れかに記載の画像処理システム。

【請求項14】

プロセッサを備え、仮想空間内のオブジェクトの画像を生成する画像処理システムであって、前記プロセッサは、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、法線バッファへの法線情報の書き込みと、フレームバッファへの描画とを少なくとも含む第１処理を行い、
前記第１処理の後、前記仮想空間内の第２のオブジェクトについて、深度テストを行うとともに、前記フレームバッファへの描画を含む第２処理を行い、
前記第２処理における前記第２のオブジェクトの前記フレームバッファへの描画において、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記法線バッファに既に記憶された法線情報とがブレンドされるように法線情報を算出し、当該算出した法線情報に基づくレンダリングを行う、画像処理システム。

【請求項15】

プロセッサを備え、ディファードレンダリングに基づいて仮想空間内のオブジェクトの画像を生成する画像処理装置であって、前記プロセッサは、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、第１のバッファへの法線情報の書き込みと、第２のバッファへの色情報の書き込みとを少なくとも含む第１処理を行い、
前記第１処理の後、前記仮想空間内の第２のオブジェクトについて、深度テストを行うとともに、前記深度バッファへの深度情報の書き込みと、前記第１のバッファへの法線情報の書き込みと、前記第２のバッファへの色情報の書き込みとを少なくとも含む第２処理を行い、
前記第２処理における前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とがブレンドされるように、前記第２のオブジェクトの法線情報を前記第１のバッファに書き込み、
少なくとも前記第１のバッファ及び前記第２のバッファに記憶された情報に基づいてレンダリングを行うことにより画像を生成する、画像処理装置。

【請求項16】

前記プロセッサは、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを前記差に応じたブレンド率でブレンドした法線情報を、前記第１のバッファに書き込む、請求項１５に記載の画像処理装置。

【請求項17】

前記ブレンド率は、前記差が小さいほど、前記第１のバッファに既に記憶された法線情報の割合が高くなるように設定される、請求項１６に記載の画像処理装置。

【請求項18】

前記プロセッサは、
前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記差が所定範囲内の画素について、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを所定の比率でブレンドした法線情報を、前記第１のバッファに書き込む、請求項１５に記載の画像処理装置。

【請求項19】

前記プロセッサはさらに、
前記第２のオブジェクトの前記第２のバッファへの色情報の書き込みにおいて、前記差に基づいて、当該差が小さい部分について前記第２のオブジェクトの色情報と前記第２のバッファに既に記憶された色情報とがブレンドされるように、前記第２のオブジェクトの色情報を前記第２のバッファに書き込む、請求項１６から１８の何れかに記載の画像処理装置。

【請求項20】

前記第１のオブジェクトは、キャラクタの第１の部位であり、
前記第２のオブジェクトは、前記キャラクタの第２の部位である、請求項１６から１８の何れかに記載の画像処理装置。

【請求項21】

ディファードレンダリングに基づいて仮想空間内のオブジェクトの画像を生成する画像処理方法であって、
前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、第１のバッファへの法線情報の書き込みと、第２のバッファへの色情報の書き込みとを少なくとも含む第１ステップを行い、
前記第１ステップの後、前記仮想空間内の第２のオブジェクトについて、深度テストを行うとともに、前記深度バッファへの深度情報の書き込みと、前記第１のバッファへの法線情報の書き込みと、前記第２のバッファへの色情報の書き込みとを少なくとも含む第２ステップを行い、
前記第２ステップにおける前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とがブレンドされるように、前記第２のオブジェクトの法線情報を前記第１のバッファに書き込み、
少なくとも前記第１のバッファ及び前記第２のバッファに記憶された情報に基づいてレンダリングを行うことにより画像を生成するステップを行う、画像処理方法。

【請求項22】

前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを前記差に応じたブレンド率でブレンドした法線情報が、前記第１のバッファに書き込まれる、請求項２１に記載の画像処理方法。

【請求項23】

前記ブレンド率は、前記差が小さいほど、前記第１のバッファに既に記憶された法線情報の割合が高くなるように設定される、請求項２２に記載の画像処理方法。

【請求項24】

前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記差が所定範囲内の画素について、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを所定の比率でブレンドした法線情報が、前記第１のバッファに書き込まれる、請求項２１に記載の画像処理方法。

【請求項25】

前記第２のオブジェクトの前記第２のバッファへの色情報の書き込みにおいて、前記差に基づいて、当該差が小さい部分について前記第２のオブジェクトの色情報と前記第２のバッファに既に記憶された色情報とがブレンドされるように、前記第２のオブジェクトの色情報が前記第２のバッファに書き込まれる、請求項２２から２４の何れかに記載の画像処理方法。

【請求項26】

前記第１のオブジェクトは、キャラクタの第１の部位であり、
前記第２のオブジェクトは、前記キャラクタの第２の部位である、請求項２２から２４の何れかに記載の画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、仮想空間内のオブジェクトの画像を生成することが可能な画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法に関する。

【背景技術】

【0002】

従来より、例えば突起を有するオブジェクトを仮想空間内に配置し、当該オブジェクトの画像を生成する画像処理システムがある（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１３－９４３０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような突起を有するオブジェクトの画像を生成する場合に、突起の接続部分が目立つことがあり、当該接続部分が自然に見えるようにするためには改善の余地があった。

【0005】

それ故、本発明の目的は、オブジェクトの接続部分が自然に見えるような画像を生成することが可能な画像処理プログラム、画像処理システム、画像処理装置、および画像処理方法を提供することである。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく、本発明は、以下の構成を採用した。

【0007】

（第１の構成）
第１の構成の画像処理プログラムは、情報処理装置のコンピュータに、ディファードレンダリングに基づいて仮想空間内のオブジェクトの画像を生成させる。前記画像処理プログラムは、前記コンピュータに、前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、第１のバッファへの法線情報の書き込みと、第２のバッファへの色情報の書き込みとを少なくとも含む第１処理を行わせる。前記第１処理の後、前記画像処理プログラムは、前記コンピュータに、前記仮想空間内の第２のオブジェクトについて、深度テストを行わせるとともに、前記深度バッファへの深度情報の書き込みと、前記第１のバッファへの法線情報の書き込みと、前記第２のバッファへの色情報の書き込みとを少なくとも含む第２処理を行わせ、前記第２処理における前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とがブレンドされるように、前記第２のオブジェクトの法線情報を前記第１のバッファに書き込ませる。そして、前記画像処理プログラムは、前記コンピュータに、少なくとも前記第１のバッファ及び前記第２のバッファに記憶された情報に基づいてレンダリングを行わせることにより画像を生成させる。

【0008】

上記によれば、第１のオブジェクトと深度情報が近い部分について、第１のオブジェクトの法線情報と第２のオブジェクトの法線情報とがブレンドされるように、第２のオブジェクトの法線情報が第１のバッファに書き込まれる。これにより、第１のオブジェクトと第２のオブジェクトとの接続部分が目立たず、自然に見える画像を生成することができる。

【0009】

（第２の構成）
第２の構成では、上記第１の構成において、前記コンピュータに、前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを前記差に応じたブレンド率でブレンドした法線情報を、前記第１のバッファに書き込ませてもよい。

【0010】

上記によれば、上記深度情報の差に応じてブレンド率が設定されるため、より自然に第１のオブジェクトの法線情報と第２のオブジェクトの法線情報とをブレンドすることができる。

【0011】

（第３の構成）
第３の構成では、上記第２の構成において、前記ブレンド率は、前記差が小さいほど、前記第１のバッファに既に記憶された法線情報の割合が高くなるように設定されてもよい。

【0012】

上記によれば、上記深度情報の差が小さいほど、第１のバッファに既に記憶された法線情報の割合が高くなるため、上記深度情報の差が小さい部分について第２のオブジェクトの法線情報を第１のオブジェクトの法線情報に近づけて第１のバッファに書き込むことができる。これにより、第２のオブジェクトを第１のオブジェクトに馴染ませることができる。

【0013】

（第４の構成）
第４の構成では、上記第１の構成において、前記コンピュータに、前記第２のオブジェクトの前記第１のバッファへの法線情報の書き込みにおいて、前記差が所定範囲内の画素について、前記第２のオブジェクトの法線情報と前記第１のバッファに既に記憶された法線情報とを所定の比率でブレンドした法線情報を、前記第１のバッファに書き込ませてもよい。

【0014】

上記によれば、上記深度情報の差が所定範囲内の画素について、第２のオブジェクトの法線情報と第１のオブジェクトの法線情報とを所定の比率でブレンドすることができる。

【0015】

（第５の構成）
第５の構成では、上記第１から第４の構成の何れかにおいて、前記コンピュータにさらに、前記第２のオブジェクトの前記第２のバッファへの色情報の書き込みにおいて、前記差に基づいて、当該差が小さい部分について前記第２のオブジェクトの色情報と前記第２のバッファに既に記憶された色情報とがブレンドされるように、前記第２のオブジェクトの色情報を前記第２のバッファに書き込ませてもよい。

【0016】

上記によれば、第２のオブジェクトの色情報と第１のオブジェクトの色情報とをブレンドすることができる。

【0017】

（第６の構成）
第６の構成では、上記第１から第５の構成の何れかにおいて、前記第１のオブジェクトは、キャラクタの第１の部位であってもよく、前記第２のオブジェクトは、前記キャラクタの第２の部位であってもよい。

【0018】

上記によれば、キャラクタの第１の部位と第２の部位との接続部分を目立たないようにすることができる。

【0019】

（第７の構成）
第１の構成の画像処理プログラムは、情報処理装置のコンピュータに、仮想空間内のオブジェクトの画像を生成させる。前記画像処理プログラムは、前記コンピュータに、前記仮想空間内の第１のオブジェクトについて、深度バッファへの深度情報の書き込みと、法線バッファへの法線情報の書き込みと、フレームバッファへの描画とを少なくとも含む第１処理を行わせる。前記第１処理の後、前記画像処理プログラムは、前記コンピュータに、前記仮想空間内の第２のオブジェクトについて、深度テストを行わせるとともに、前記フレームバッファへの描画を含む第２処理を行わせ、前記第２処理における前記第２のオブジェクトの前記フレームバッファへの描画において、前記第２のオブジェクトの深度情報と前記深度バッファに既に記憶された深度情報との差に基づいて、当該差が小さい部分について前記第２のオブジェクトの法線情報と前記法線バッファに既に記憶された法線情報とがブレンドされるように法線情報を算出させ、当該算出された法線情報に基づくレンダリングを行わせる。

【0020】

上記によれば、第１のオブジェクトと深度情報が近い部分について、第１のオブジェクトの法線情報と第２のオブジェクトの法線情報とがブレンドされ、ブレンドされた法線情報に基づいて画像がレンダリングされる。これにより、第１のオブジェクトと第２のオブジェクトとの接続部分が目立たないような画像を生成することができる。

【0021】

また、他の実施形態は、画像処理システムであってもよいし、画像処理装置であってもよいし、画像処理方法であってもよい。

【発明の効果】

【0022】

本発明によれば、第１のオブジェクトと第２のオブジェクトとの接続部分が目立たず、自然に見える画像を生成することができる。

【図面の簡単な説明】

【0023】

【図1】本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図

【図2】本体装置２の内部構成の一例を示すブロック図

【図3】仮想空間に配置される仮想オブジェクト１００を表す３次元モデルの一例を示す図

【図4】本実施形態の画像生成処理の概要を示す図

【図5】図４のステップ２において腕部１０２をＧバッファに書き込む際の処理を概念的に表した図

【図6】ブレンド処理が行われない場合の仮想オブジェクト１００の画像と、ブレンド処理が行われる場合の仮想オブジェクト１００の画像とを概念的に示した図

【図7】ゲーム処理の実行中に本体装置２のメモリに記憶されるデータの一例を示す図

【図8】本体装置２のプロセッサ８１によって実行されるゲーム処理の一例を示すフローチャート

【図9】ステップＳ１０４の画像生成処理の一例を示すフローチャート

【発明を実施するための形態】

【0024】

（システム構成）
以下、本実施形態の一例に係るゲームシステムについて説明する。本実施形態におけるゲームシステム１の一例は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる。以下では、本実施形態のゲームシステム１のハードウェア構成について説明し、その後に本実施形態のゲームシステム１の制御について説明する。

【0025】

図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。

【0026】

左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。

【0027】

本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。

【0028】

また、本体装置２は、ディスプレイ１２の画面上にタッチパネル１３を備える。本実施形態においては、タッチパネル１３は、マルチタッチ入力が可能な方式（例えば、静電容量方式）のものである。ただし、タッチパネル１３は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式（例えば、抵抗膜方式）のものであってもよい。

【0029】

図２は、本体装置２の内部構成の一例を示すブロック図である。

【0030】

本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを含む。プロセッサ８１は、ＣＰＵ機能及びＧＰＵ機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。なお、ＣＰＵとＧＰＵとがそれぞれ別々のプロセッサとして構成されてもよい。また、プロセッサ８１の内部には、一時的にデータを記憶するメモリが設けられる。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。

【0031】

本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。

【0032】

本体装置２は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。

【0033】

プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。

【0034】

本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ－Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。

【0035】

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

【0036】

プロセッサ８１は、左側端子１７、右側端子２１、および下側端子２７に接続される。プロセッサ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信する。また、プロセッサ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信する。また、プロセッサ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、画像データや音声データ）を据置型モニタ等に出力することができる。

【0037】

本体装置２は、タッチパネル１３の制御を行う回路であるタッチパネルコントローラ８６を備える。タッチパネルコントローラ８６は、タッチパネル１３とプロセッサ８１との間に接続される。タッチパネルコントローラ８６は、タッチパネル１３からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ８１へ出力する。

【0038】

本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。

【0039】

また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。

【0040】

（画像生成処理の概要）
次に、本実施形態の画像生成処理について説明する。本実施形態のゲームシステム１（画像処理システムの一例）は、３次元の仮想空間に仮想オブジェクトを配置し、当該仮想オブジェクトを用いてゲームを行う。ゲームシステム１は、仮想カメラに基づいて仮想オブジェクトを含む仮想空間の画像を生成し、生成した画像をディスプレイ１２又は据置型モニタ（以下、これらを「表示装置」という）に出力する。以下、本実施形態のゲームシステム１において行われる画像生成処理の概要について説明する。

【0041】

図３は、仮想空間に配置される仮想オブジェクト１００を表す３次元モデルの一例を示す図である。仮想オブジェクト１００は、仮想空間内のキャラクタオブジェクトである。例えば、ユーザによって制御されるプレイヤキャラクタである。なお、仮想オブジェクト１００は、プロセッサ８１によって自動で制御されるノンプレイヤキャラクタであってもよい。

【0042】

仮想オブジェクト１００は、胴体部１０１と、胴体部１０１に接続された腕部１０２とを備える。胴体部１０１は、複数の頂点Ｖ１（図３の黒色の丸印）を有し、これら複数の頂点Ｖ１によって略球形状を形成している。また、腕部１０２は、複数の頂点Ｖ２（図３の白色の丸印）を有する。腕部１０２は、例えば、長楕円体を半分に切り取ったような形状であり、その先端部は丸みを帯びてやや尖った形状となっている。腕部１０２の根元部分は、胴体部１０１の球面に接触するように接続される。なお、図３では、一方の腕部１０２のみが示されているが、胴体部１０１の反対側には他方の腕部１０２が設けられる。仮想オブジェクト１００は、胴体部１０１及び腕部１０２の他にも、他の部位（脚部等）を備えてもよいが、ここでは説明のために省略する。

【0043】

仮想オブジェクト１００は、例えばユーザの操作により、仮想空間内で移動したり、所定のアクションを行ったりする。例えば、仮想オブジェクト１００の腕部１０２は、ユーザの操作等に応じたアニメーションに基づいて動作する。具体的には、腕部１０２の根元部分が胴体部１０１の球面に接触したまま、腕部１０２が胴体部１０１の球面上を移動したり、腕部１０２の姿勢が胴体部１０１に対して変化したりする。

【0044】

図３に示される仮想オブジェクト１００が仮想空間に配置される。仮想空間には、仮想カメラ、１又は複数の光源、仮想オブジェクト１００、及び、その他のオブジェクト（例えば、仮想空間に固定されたオブジェクト、仮想空間を移動可能な敵オブジェクト等）が配置される。プロセッサ８１によって画像生成処理が行われることで、仮想カメラから仮想オブジェクト１００を見た画像が生成されて、表示装置に表示される。画像生成処理では、仮想空間に設定された光源に基づく陰影が付加される。

【0045】

図４は、本実施形態の画像生成処理の概要を示す図である。図４では、プロセッサ８１（具体的にはＧＰＵ）が、胴体部１０１と腕部１０２とを備える仮想オブジェクト１００をフレームバッファにレンダリングする場合の処理の流れが示されている。本実施形態では、レンダリングの方法として、例えばディファードレンダリング（ディファードシェーディングともいう）が用いられる。

【0046】

図４に示されるように、プロセッサ８１は、Ｇバッファ（Ｇｅｏｍｅｔｒｙ Ｂｕｆｆｅｒ）と深度バッファとを用いて画像を生成する。Ｇバッファ及び深度バッファは、例えば、プロセッサ８１内部のメモリ又はＤＲＡＭ８５の一部の記憶領域である。Ｇバッファは、法線情報を記憶する第１のＧバッファと、色情報を記憶する第２のＧバッファとを含む。第１のＧバッファには、画像として生成されるときの画素毎の法線情報が記憶される。すなわち、仮想空間に配置された仮想オブジェクト１００の表面上の点Ｐを画像平面上に投影した場合に、当該仮想オブジェクト１００上の点Ｐは画像平面上の特定の画素Ｅｐに対応付けられるが、当該画素Ｅｐに対して、点Ｐの法線情報が記憶される。具体的には、法線情報として、法線の方向を示すｘ、ｙ、ｚ座標値が記憶される。

【0047】

また、第２のＧバッファには、画素毎の色情報が記憶される。また、Ｇバッファには、これらの他にも、反射情報（スペキュラ）、ラフネス等が記憶される。

【0048】

また、深度バッファには、画素毎の深度値（仮想カメラから見たときの奥行きを示す値）を示す深度情報が記憶される。

【0049】

具体的には、プロセッサ８１は、ステップ１において、胴体部１０１をＧバッファに書き込む。より具体的には、プロセッサ８１は、胴体部１０１の法線情報を第１のＧバッファに書き込むとともに、胴体部１０１の色情報を第２のＧバッファに書き込む。図４では、胴体部１０１の法線情報として、モノクロの円形の画像が示されているが、これは、各画素の法線方向をその画素の濃淡で表したものである。なお、この画像は、第１のＧバッファに記憶された法線情報をあくまでも概念的に画像として表したものであるため、各画素における法線方向を正確にその画素の濃淡で表したものではない。

【0050】

また、第２のＧバッファに書き込まれる胴体部１０１の色情報は、胴体部１０１に予め設定された色の情報であり、光源や反射等に関係なく定められる色に関する情報である。色情報は、ベースカラー（アルベド、拡散反射光とも言う）に関する情報を含む。色情報は、例えばＲＧＢ値であってもよい。第２のＧバッファには、画素毎の色情報が書き込まれる。例えば、胴体部１０１が球形であって赤色である場合、第２のＧバッファには、赤色の円が胴体部１０１の色情報として書き込まれる。また、胴体部１０１が球形であり、球面に模様（テクスチャ）が付される場合、第２のＧバッファには、模様を有する円が胴体部１０１の色情報として書き込まれる。

【0051】

また、プロセッサ８１は、ステップ１において、胴体部１０１の深度情報を深度バッファに書き込む。胴体部１０１の深度情報は、画素毎の深度値に関する情報である。プロセッサ８１は、胴体部１０１の表面上の各点の位置と仮想カメラの位置とに基づいて、胴体部１０１の画素毎の深度値を算出し、算出した各画素の深度値を深度バッファに書き込む。なお、図４では、胴体部１０１の深度情報として、モノクロの円形の画像が示されているが、これは、深度バッファに記憶された各画素の深度値の大きさをその画素の濃淡で表したものである。例えば、仮想カメラからの距離が遠いほど深度値が大きくなる場合において、図４では、深度値が大きい画素の色を明るく、深度値が小さい画素の色を暗く表している。

【0052】

次に、プロセッサ８１は、ステップ２において、腕部１０２をＧバッファに書き込む。具体的には、プロセッサ８１は、腕部１０２の色情報を第２のＧバッファに書き込む。また、プロセッサ８１は、腕部１０２の法線情報を第１のＧバッファに書き込む。また、プロセッサ８１は、腕部１０２の深度情報を深度バッファに書き込む。ここで、プロセッサ８１は、ステップ２において第１のＧバッファに腕部１０２の法線情報を書き込む際に、深度情報に基づくブレンド処理を行う。ステップ２の詳細については後述する。

【0053】

次に、プロセッサ８１は、ステップ３において、Ｇバッファに書き込まれた情報と、光源情報とに基づいて、フレームバッファにレンダリングを行う。ステップ３では、これらの情報の他にも、反射情報やラフネスを用いて、レンダリングが行われる。そして、フレームバッファにレンダリングされた画像が表示装置に出力されて表示される。

【0054】

ここで、上記ステップ２の詳細について説明する。図５は、図４のステップ２において腕部１０２をＧバッファに書き込む際の処理を概念的に表した図である。

【0055】

図５に示されるように、腕部１０２の法線情報をＧバッファに書き込む際には、プロセッサ８１は、まず、ステップ２－１として、胴体部１０１の深度値と腕部１０２の深度値との差を算出する。具体的には、プロセッサ８１は、画素毎に、既に深度バッファに記憶された深度値（すなわち、胴体部１０１の深度値）と、新たに書き込む腕部１０２の深度値との差を算出する。なお、図５では、分かりやすさのため、新たに深度バッファに書き込む腕部１０２の輪郭を破線で示している。図５に示されるように、腕部１０２の根元部分は胴体部１０１と接続されているため、当該接続部分の深度値は、胴体部１０１と腕部１０２とで近い。すなわち、接続部分（図５の実線の長方形の部分）の近傍においては、胴体部１０１の深度値と腕部１０２の深度値との差は小さい。接続部分から離れるほど、胴体部１０１の深度値と腕部１０２の深度値との差は大きくなる。

【0056】

次に、プロセッサ８１は、ステップ２－２において、第１のＧバッファに腕部１０２の法線情報を書き込む。具体的には、プロセッサ８１は、ステップ２－１で算出した深度値の差に応じて、既に第１のＧバッファに記憶されている法線情報（すなわち、胴体部１０１の法線情報）と、新たに書き込む腕部１０２の法線情報とをブレンドするブレンド処理を行う。プロセッサ８１は、各画素について深度値の差に基づくブレンド処理を行う。

【0057】

具体的には、プロセッサ８１は、深度値の差が小さいほど、既に第１のＧバッファに記憶されている法線情報の割合が大きくなるように、既に第１のＧバッファに記憶されている法線情報と腕部１０２の法線情報とをブレンドし、ブレンドした法線情報を第１のＧバッファに書き込む。例えば、プロセッサ８１は、深度値の差が「０」の画素については、既に第１のＧバッファに記憶されている法線情報の割合が１００％となるようにブレンド後の法線情報を算出する。すなわち、深度値の差が「０」である画素については、既に第１のＧバッファに記憶されている法線情報が保持される。また、深度値の差が「０」から所定値の間である画素については、深度値の差が小さいほど、既に記憶された胴体部１０１の法線情報に近づくように、ブレンド後の法線情報を算出する。深度値の差が所定値を超える画素については、腕部１０２の法線情報の割合が１００％になる。すなわち、深度値の差が所定値を超える画素については、既に第１のＧバッファに記憶されている法線情報が、腕部１０２の法線情報に上書きされる。

【0058】

例えば、プロセッサ８１は、以下に示す式１に基づいて、各画素の法線情報を算出し、算出した法線情報を第１のＧバッファに書き込んでもよい。
法線情報＝胴体部の法線情報×ｗ＋腕部の法線情報×（１－ｗ） （式１）

【0059】

ここで、ｗは、ブレンド率であり、胴体部１０１の法線情報の割合を示す。ｗは、０から１までの値を取り得る。ｗは、例えば、深度値の差が０の場合には１になり、深度値の差が０～所定値の範囲では当該差に応じて線形的に変化し、深度値の差が所定値を超える場合には０になる。また、法線情報は、法線方向を表すｘ、ｙ、ｚ各軸の座標値である。したがって、深度値の差が比較的小さい画素については、既に第１のＧバッファに記憶されている胴体部１０１の法線情報と腕部１０２の法線情報とをブレンドした法線情報が、第１のＧバッファに書き込まれる。深度値の差が小さいほど、算出される法線方向は、既に第１のＧバッファに記憶されている胴体部１０１の法線方向に近づく。

【0060】

なお、「胴体部１０１の法線情報と腕部１０２の法線情報とをブレンドする」とは、胴体部１０１の法線情報と腕部１０２の法線情報との間の値を算出することを意味し、例えば、胴体部１０１の法線情報と腕部１０２の法線情報との線形補間を算出することを含む。なお、２つの値をブレンドする方法として、線形補間に限らず、任意の方法が用いられてもよい。例えば、所定の関数に基づいて、深度値の差に応じて胴体部１０１の法線情報と腕部１０２の法線情報とがブレンドされてもよい。また、例えば、深度値の差に応じて予め複数のブレンド率が定められており、当該予め定められたブレンド率で胴体部１０１の法線情報と腕部１０２の法線情報とがブレンドされてもよい。

【0061】

このように、画素毎に深度値の差を算出し、当該差に基づいて胴体部１０１の法線情報と腕部１０２の法線情報とをブレンドするブレンド処理が行われる。これにより、胴体部１０１と腕部１０２との接続部分の法線方向の差が小さくなる。図５は、第１のＧバッファに書き込まれる法線方向が、仮想空間内で横から見た場合にどのような方向を示すものであるかを説明する図である。図５の（ａ）では、胴体部１０１の法線情報と腕部１０２の法線情報とのブレンド処理が行われない場合について示されている。この場合、腕部１０２は胴体部１０１の表面から突出するように設けられているため、胴体部１０１と腕部１０２との接続部分では、胴体部１０１の法線方向と腕部１０２の法線方向とは大きく異なり、これらの角度は例えば約９０度となる。

【0062】

一方、ブレンド処理が行われる場合は、図５の（ｂ）に示されるように、胴体部１０１と腕部１０２との接続部分において、新たに第１のＧバッファに書き込まれる腕部１０２の法線方向が、既に第１のＧバッファに記憶されている胴体部１０１の法線方向に近づく。接続部分から離れるほど、新たに第１のＧバッファに書き込まれる法線情報は、本来の腕部１０２の法線情報に近くなる。

【0063】

フレームバッファに画像が描画される際には、光源の位置及び方向と、Ｇバッファに記憶された法線情報とに基づいて陰影に関する計算が行われ、陰影が付加された画像が生成される。本実施形態の画像生成処理では、胴体部１０１と腕部１０２との接続部分近傍において、胴体部１０１の法線情報と腕部１０２の法線情報とがブレンドされる。このため、接続部分近傍においては、胴体部１０１と腕部１０２の法線方向が近くなり、当該接続部分の陰影が近くなる。これにより、胴体部１０１と腕部１０２との接続部分を目立たないようにすることができ、腕部１０２を胴体部１０１に馴染ませることができる。

【0064】

なお、法線情報に加えて、色情報に対して上記と同様の方法によりブレンド処理が行われてもよい。具体的には、腕部１０２の色情報を第２のＧバッファに書き込む際に、腕部１０２の深度値と深度バッファに記憶された胴体部１０１の深度値との差を算出し、当該差に応じて、既に第２のＧバッファに記憶された胴体部１０１の色情報と、腕部１０２の色情報とをブレンドした色情報を、第２のＧバッファに書き込む。具体的には、深度値の差が小さいほど、既に記憶された胴体部１０１の色情報の割合が大きくなるように、胴体部１０１の色情報と腕部１０２の色情報とをブレンドする。これにより、胴体部１０１と腕部１０２との接続部分の色情報が近くなり、腕部１０２を胴体部１０１に馴染ませることができる。

【0065】

例えば、プロセッサ８１は、以下に示す式２に基づいて、各画素の色情報を算出し、算出した色情報を第２のＧバッファに書き込んでもよい。
色情報＝胴体部の色情報×ｗ２＋腕部の色情報×（１－ｗ２） （式２）

【0066】

ここで、ｗ２は、ブレンド率であり、胴体部１０１の色情報の割合を示す。ｗ２は、例えば、深度値の差が０の場合には１になり、深度値の差が０～所定値の範囲では当該差に応じて線形的に変化し、深度値の差が所定値を超える場合には０になる。

【0067】

図６は、ブレンド処理が行われない場合の仮想オブジェクト１００の画像と、ブレンド処理が行われる場合の仮想オブジェクト１００の画像とを概念的に示した図である。図６の左側は、法線情報のブレンド処理が行われない場合の仮想オブジェクト１００の画像を示し、図６の右側は、法線情報のブレンド処理が行われる場合の仮想オブジェクト１００の画像を示す。図６に示されるように、法線情報のブレンド処理が行われない場合、光源の位置や方向にもよるが、胴体部１０１と腕部１０２との接続部分が比較的はっきりする。これは、光源の位置や方向によって、胴体部１０１の陰影と腕部１０２の陰影とが異なるからである。一方、法線情報のブレンド処理が行われる場合、胴体部１０１と腕部１０２との接続部分近傍の法線方向が近くなる。このため、光源の位置や方向によらず、胴体部１０１と腕部１０２との接続部分がぼやけ、これらが滑らかに繋がっているような画像となる。これにより、胴体部１０１と腕部１０２との接続部分が目立たない自然な画像を生成することができる。腕部１０２が胴体部１０１に対して動く場合でも、胴体部１０１と腕部１０２との接続部分を目立たないようにすることができ、腕部１０２を胴体部１０１に馴染ませることができる。すなわち、ゲーム中に腕部１０２が胴体部１０１に対して動く場合、腕部１０２と胴体部１０１との角度が鋭角から鈍角に変化することがあるが、これらの相対的な位置や姿勢がどのように変化しても、画像生成処理において上記のように法線情報のブレンド処理が行われる。このため、胴体部１０１と腕部１０２との接続部分近傍の法線方向が近くなり、胴体部１０１と腕部１０２との接続部分が目立たないような画像を生成することができる。

【0068】

なお、腕部１０２以外の部位（例えば脚部や頭部）が胴体部１０１に接続される場合も、同様の処理が行われる。例えば、胴体部１０１がＧバッファに書き込まれた後、脚部をＧバッファに書き込む際に、胴体部１０１の深度情報と脚部の深度情報との差が算出される。当該差に応じて、既に第１のＧバッファに記憶された胴体部１０１の法線情報と脚部の法線情報とをブレンドした法線情報が、第１のＧバッファに書き込まれる。そして、Ｇバッファに書き込まれた情報、光源情報、反射情報、ラフネス等に基づいて、レンダリングが行われる。

【0069】

（画像生成処理の詳細）
次に、画像生成処理の詳細について説明する。まず、本体装置２のメモリ（プロセッサ８１内のメモリ、ＤＲＡＭ８５、フラッシュメモリ８４、又は外部記憶媒体等）に記憶されるデータについて説明する。図７は、ゲーム処理の実行中に本体装置２のメモリに記憶されるデータの一例を示す図である。

【0070】

図７に示されるように、本体装置２のメモリ（プロセッサ８１内のメモリ、ＤＲＡＭ８５、フラッシュメモリ８４、又は外部記憶媒体等）には、プログラムと、操作データと、仮想オブジェクトデータと、光源情報とが記憶される。また、メモリ（例えば、プロセッサ８１内のメモリ）は、Ｇバッファと、深度バッファと、フレームバッファとを含む。Ｇバッファには、法線情報を記憶する第１のＧバッファと、色情報を記憶する第２のＧバッファとがある。また、Ｇバッファには、反射情報を記憶する領域がある。

【0071】

プログラムは、後述するゲーム処理を実行するためのプログラムである。プログラムは、後述する画像生成処理を行うための画像処理プログラムを含む。プログラムは、スロット２３に装着される外部記憶媒体又はフラッシュメモリ８４に予め記憶されており、ゲームの実行時にＤＲＡＭ８５に読み込まれる。なお、プログラムは、ネットワーク（例えばインターネット）を介して他の装置から取得されてもよい。

【0072】

操作データは、左コントローラ３及び右コントローラ４から取得された操作に関するデータである。例えば、操作データは、左コントローラ３及び右コントローラ４から所定の時間間隔（例えば、１／２００秒間隔）で本体装置２に送信され、メモリに記憶される。

【0073】

仮想オブジェクトデータは、仮想オブジェクト１００に関するデータであり、仮想オブジェクト１００の形状等外観に関するデータを含む。具体的には、仮想オブジェクトデータは、仮想オブジェクト１００の胴体部１０１の形状に関するデータ、腕部１０２の形状に関するデータ、胴体部１０１の色に関するデータ、腕部１０２の色に関するデータ等を含む。また、仮想オブジェクトデータは、胴体部１０１及び腕部１０２の反射情報に関するデータを含む。また、仮想オブジェクトデータは、仮想空間における仮想オブジェクト１００の位置や向きに関するデータと、胴体部１０１に対する腕部１０２の位置や姿勢に関するデータとを含む。

【0074】

光源情報は、仮想空間に設定される光源に関する情報である。光源情報は、光源の数、各光源の種類、位置、方向に関する情報を含む。なお、本実施形態では、ゲームのシーンに応じて、光源の数、各光源の種類、位置、方向が異なる。

【0075】

Ｇバッファは、上記法線情報を記憶する第１のＧバッファと、上記色情報を記憶する第２のＧバッファとを含む。また、Ｇバッファには、反射情報が記憶される。また、深度バッファには深度情報が記憶される。また、フレームバッファには、表示装置に出力される画像が記憶される。

【0076】

（本体装置２におけるゲーム処理の詳細）
次に、本体装置２において行われるゲーム処理の詳細について説明する。図８は、本体装置２のプロセッサ８１によって実行されるゲーム処理の一例を示すフローチャートである。

【0077】

図８に示されるように、プロセッサ８１は、まず、初期処理を実行する（ステップＳ１００）。具体的には、プロセッサ８１は、３次元の仮想空間を設定し、仮想空間に仮想オブジェクト１００、仮想カメラ、光源、その他のゲームに用いられる各種オブジェクトを配置する。プロセッサ８１は、初期処理を実行した後、次のステップＳ１０１～ステップＳ１０６の処理を所定のフレーム時間間隔（例えば、１／６０秒間隔）で繰り返し実行する。

【0078】

ステップＳ１０１において、プロセッサ８１は、コントローラからの操作データを取得する。

【0079】

次に、プロセッサ８１は、取得した操作データに基づいて、仮想オブジェクト１００の制御を行う（ステップＳ１０２）。ここでは、プロセッサ８１は、操作データに基づいて、仮想オブジェクト１００を仮想空間内において移動させたり、所定のアクションを行わせたりする。また、プロセッサ８１は、操作データに基づいて、仮想オブジェクト１００の胴体部１０１を動作させたり、腕部１０２を動作させたりする。また、プロセッサ８１は、仮想オブジェクト１００の制御に応じた処理（例えば、所定のアクションに応じた処理）を行う。

【0080】

次に、プロセッサ８１は、仮想カメラの制御を行う（ステップＳ１０３）。プロセッサ８１は、仮想カメラの視野内に仮想オブジェクト１００が含まれるように、仮想カメラを制御する。例えば、プロセッサ８１は、仮想オブジェクト１００の移動に応じて、仮想カメラを仮想空間内で移動させたり、仮想カメラの姿勢を変化させたりする。また、プロセッサ８１は、操作データに基づいて、仮想カメラの位置および姿勢を変化させてもよい。

【0081】

次に、プロセッサ８１は、画像生成処理を行う（ステップＳ１０４）。ここでは上述した方法により画像が生成されてフレームバッファに記憶される。ステップＳ１０４の画像生成処理の詳細については後述する。

【0082】

次に、プロセッサ８１は、画像出力処理を行う（ステップＳ１０５）。具体的には、プロセッサ８１は、ステップＳ１０４でフレームバッファに記憶した画像を表示装置（ディスプレイ１２又は外部の表示装置）に出力する。また、プロセッサ８１は、ステップＳ１０２の処理の結果に応じた音声を出力する。

【0083】

次に、プロセッサ８１は、ゲーム処理を終了するか否かを判定する（ステップＳ１０６）。例えば、プレイヤによってゲームの終了が指示された場合、プロセッサ８１は、ゲーム処理を終了すると判定し（ステップＳ１０６：ＹＥＳ）、図８に示すゲーム処理を終了する。プロセッサ８１は、ゲーム処理を終了しないと判定した場合（ステップＳ１０６：ＮＯ）、ステップＳ１０１の処理を再び実行する。以上で、図８に示すゲーム処理の説明を終了する。

【0084】

（画像生成処理）
次に、上記ステップＳ１０４の画像生成処理の詳細について説明する。図９は、ステップＳ１０４の画像生成処理の一例を示すフローチャートである。なお、図９では、胴体部１０１及び腕部１０２を有する仮想オブジェクト１００の画像を生成する場合を例にして説明するが、仮想オブジェクト１００は、胴体部１０１及び腕部１０２以外にも部位を有してもよい。また、仮想カメラの撮像範囲に含まれる他のオブジェクトについても、仮想オブジェクト１００と同様の処理が行われるが、他のオブジェクトについての処理については省略する。

【0085】

ステップＳ１２１において、プロセッサ８１は、胴体部１０１の法線情報及び色情報をＧバッファに書き込む。具体的には、プロセッサ８１は、まず、深度テストを行って、オブジェクト同士の前後関係を判定する。胴体部１０１の手前側（仮想カメラ側）に他のオブジェクトが存在しない場合、プロセッサ８１は、胴体部１０１の法線情報を第１のＧバッファに書き込むとともに、胴体部１０１の色情報を第２のＧバッファに書き込む。また、プロセッサ８１は、胴体部１０１の深度情報を深度バッファに書き込む（ステップＳ１２２）。

【0086】

次に、プロセッサ８１は、腕部１０２の深度値を算出して深度テストを実行する（ステップＳ１２３）。深度テストの結果、腕部１０２の深度値が胴体部１０１の深度値よりも小さい場合（腕部１０２の方が胴体部１０１よりも仮想カメラ側に位置している場合）、プロセッサ８１は、次のステップＳ１２４に処理を進める。

【0087】

ステップＳ１２４において、プロセッサ８１は、深度バッファに書き込まれている胴体部１０１の深度値を読み取り、当該胴体部１０１の深度値とステップＳ１２３で算出した腕部１０２の深度値との差分ｄを計算する。ここではプロセッサ８１は、各画素の深度値の差分ｄを算出する。

【0088】

次に、プロセッサ８１は、深度値の差分ｄに基づいて、既に第１のＧバッファに記憶されている胴体部１０１の法線情報と、腕部１０２の法線情報とをブレンドした法線情報を、第１のＧバッファに書き込む（ステップＳ１２５）。具体的には、プロセッサ８１は、差分ｄが小さいほど、既に第１のＧバッファに記憶されている胴体部１０１の法線情報の割合が高くなるように、胴体部１０１の法線情報と腕部１０２の法線情報とをブレンドした法線情報を算出する。例えば、プロセッサ８１は、上述した式１に基づいて、各画素の法線情報を算出する。そして、プロセッサ８１は、算出した法線情報を第１のＧバッファに書き込む。

【0089】

次に、プロセッサ８１は、腕部１０２の色情報を第２のＧバッファに書き込む（ステップＳ１２６）。ここで、プロセッサ８１は、上記深度値の差分ｄに基づいて、既に第２のＧバッファに記憶されている胴体部１０１の色情報と、腕部１０２の色情報とをブレンドした色情報を、第２のＧバッファに書き込む。具体的には、プロセッサ８１は、差分ｄが小さいほど、既に第２のＧバッファに記憶されている胴体部１０１の色情報の割合が高くなるように、胴体部１０１の色情報と腕部１０２の色情報とをブレンドした色情報を算出し、算出した色情報を第２のＧバッファに書き込む。なお、プロセッサ８１は、ステップＳ１２６において上記ブレンド処理を行わず、腕部１０２の色情報を第２のＧバッファに書き込んでもよい。

【0090】

次に、プロセッサ８１は、腕部１０２の深度情報を深度バッファに書き込む（ステップＳ１２７）。

【0091】

そして、プロセッサ８１は、Ｇバッファに記憶された情報と光源情報とに基づく描画処理を行う（ステップＳ１２８）。具体的には、プロセッサ８１は、Ｇバッファに記憶された法線情報、色情報、反射情報、光源情報等に基づいて、フレームバッファに画像をレンダリングする。ここでは、各画素に対して、Ｇバッファに記憶された法線情報と光源情報とに基づく陰影計算が行われ、さらに反射情報に基づいて光の反射の影響が加えられる。また、プロセッサ８１は、これらの情報に加えて、ラフネス、深度情報等にも基づいて、画像をレンダリングしてもよい。このようにして陰影や反射が付加された画像が生成されて、フレームバッファに記憶される。以上で図９の画像生成処理の説明を終了する。

【0092】

以上のように、本実施形態の画像生成処理では、プロセッサ８１は、まず、仮想オブジェクト１００の胴体部１０１（第１のオブジェクト）について、Ｇバッファに法線情報及び色情報を書き込むとともに、深度バッファに深度情報を書き込む（ステップＳ１２１～ステップＳ１２２）。次に、プロセッサ８１は、腕部１０２（第２のオブジェクト）について、Ｇバッファに法線情報及び色情報の書き込みを行うとともに、深度バッファに深度情報の書き込みを行う（ステップＳ１２４～ステップＳ１２７）。具体的には、腕部１０２のＧバッファへの法線情報の書き込みにおいて（ステップＳ１２５）、プロセッサ８１は、腕部１０２の深度情報と深度バッファに既に記憶された胴体部１０１の深度情報との差が小さい部分についてＧバッファに既に記憶された胴体部１０１の法線情報と腕部１０２の法線情報とがブレンドされるように、腕部１０２の法線情報をＧバッファに書き込む（ステップＳ１２５）。そして、プロセッサ８１は、Ｇバッファに書き込まれた情報（法線情報、色情報等）と光源情報とに基づいてレンダリングを行い、フレームバッファに画像を記憶する。

【0093】

このように、胴体部１０１と腕部１０２との深度値が近い部分について、胴体部１０１と腕部１０２の法線情報をブレンドすることで、胴体部１０１と腕部１０２との接続部分が目立たないような画像を生成することができ、腕部１０２を胴体部１０１に馴染ませることができる。

【0094】

なお、法線情報や色情報に限らず、反射情報についても上記と同様の方法によってブレンド処理が行われてもよい。例えば、深度値の差分ｄに基づいて、胴体部１０１の反射に関するパラメータと腕部１０２の反射に関するパラメータとをブレンドした値が算出される。胴体部１０１と腕部１０２との接続部分において、胴体部１０１の反射に関するパラメータと、腕部１０２の反射に関するパラメータとが大きく異なる場合には、これらが近い値になるようにブレンドされる。これにより、胴体部１０１と腕部１０２との接続部分を目立たないようにすることができ、腕部１０２を胴体部１０１に馴染ませることができる。

【0095】

（変形例）
以上、本実施形態の画像処理について説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。

【0096】

例えば、上記実施形態では、先にＧバッファへの胴体部１０１の書き込みを行い、その後、Ｇバッファへの腕部１０２の書き込みを行うようにした。他の実施形態では、先にＧバッファへの腕部１０２の書き込みを行い、その後、Ｇバッファへの胴体部１０１の書き込みを行ってもよい。この場合、Ｇバッファへの胴体部１０１の書き込みを行う際に、既に深度バッファに記憶された腕部１０２の深度値と、胴体部１０１の深度値との差を算出する。当該差が小さいほど、既にＧバッファに記憶されている腕部１０２の法線情報の割合が高くなるように、胴体部１０１の法線情報と腕部１０２の法線情報とがブレンドされる。そして、ブレンド後の法線情報がＧバッファに書き込まれる。このようにすることで、胴体部１０１と腕部１０２との接続部分に近いほど、後から書き込まれる胴体部１０１の法線情報が、既に記憶されている腕部１０２の法線情報に近づく。これにより、胴体部１０１が腕部１０２に馴染んだような画像が表示される。色情報や反射情報をブレンドする場合も同様である。

【0097】

また、上記実施形態では、仮想オブジェクト１００の一部位である胴体部１０１についてＧバッファへの書き込みを行い、その後、同じ仮想オブジェクト１００の別部位である腕部１０２についてＧバッファへの書き込みを行った。他の実施形態では、第１のオブジェクトについてＧバッファへの書き込みを行い、その後、第２のオブジェクトについてＧバッファへの書き込みを行ってもよい。第２のオブジェクトのＧバッファへの書き込みを行う際には、上述のように深度情報の差に応じたブレンド処理が行われてもよい。

【0098】

すなわち、プロセッサ８１は、第１のオブジェクトの色情報及び法線情報のＧバッファへの書き込みを行うとともに、第１のオブジェクトの深度情報の深度バッファへの書き込みを行い、その後、第２のオブジェクトの色情報及び法線情報のＧバッファへの書き込みを行うとともに、第２のオブジェクトの深度情報の深度バッファへの書き込みを行ってもよい。プロセッサ８１は、第２のオブジェクトの法線情報のＧバッファへの書き込みを行う際には、既に深度バッファに記憶されている第１のオブジェクトの深度情報と、第２のオブジェクトの深度情報との差分を算出し、当該差分が小さいほど、既にＧバッファに記憶されている第１のオブジェクトの法線情報の割合が高くなるように、第１のオブジェクトの法線情報と第２のオブジェクトの法線情報とをブレンドした法線情報を、Ｇバッファに書き込んでもよい。

【0099】

第１のオブジェクト及び第２のオブジェクトは、上述した胴体部１０１及び腕部１０２のように滑らかな曲面形状に限らず、任意の形状であってもよい。例えば、第１のオブジェクト及び第２のオブジェクトは、立方体のような角を有する形状であってもよい。また、第１のオブジェクト及び第２のオブジェクトは、キャラクタオブジェクトの一部位に限らず任意のオブジェクトであってもよい。第１のオブジェクト及び第２のオブジェクトは、別々のオブジェクトであってもよい。

【0100】

また、上記実施形態では、胴体部１０１の法線情報と腕部１０２の法線情報とを深度値の差に応じたブレンド率でブレンドした。他の実施形態では、深度値の差が所定範囲内である場合、胴体部１０１の法線情報と腕部１０２の法線情報とを予め定められたブレンド率でブレンドしてもよい。すなわち、深度値の差が所定範囲内である画素については、同じブレンド率（例えば５０％）で胴体部１０１の法線情報と腕部１０２の法線情報とをブレンドしてもよい。色情報や反射情報についても同様である。

【0101】

また、他の実施形態では、法線情報についてのみ上記ブレンド処理が行われてもよいし、色情報についてのみ上記ブレンド処理が行われてもよいし、反射情報についてのみ上記ブレンド処理が行われてもよい。

【0102】

また、上記実施形態では、深度バッファに深度情報が書き込まれたが、他の実施形態では、深度情報もＧバッファに書き込まれてもよい。また、上記各バッファに書き込まれた情報は、他のバッファに書き込まれてもよい。

【0103】

また、上記では、ディファードレンダリングを用いて画像がレンダリングされる場合について説明したが、フォワードレンダリングを用いて画像がレンダリングされてもよい。本実施形態のゲームのシーンに応じて、ディファードレンダリングを用いて画像をレンダリングする場合と、フォワードレンダリングを用いて画像をレンダリングする場合とがあってもよい。例えば、仮想空間に光源が複数存在するシーンにおいては、ディファードレンダリングを用いて画像がレンダリングされ、光源が比較的少ない別のシーンでは、フォワードレンダリングを用いて画像がレンダリングされてもよい。

【0104】

フォワードレンダリングを用いて画像をレンダリングする場合において、上述のように深度値の差に応じてブレンドされた法線情報を用いて画像がレンダリングされてもよい。具体的には、まず、第１のオブジェクトについて、深度バッファへの深度値の書き込み、法線情報を格納する法線バッファへの法線情報の書き込みを行うとともに、フレームバッファに画像を描画する。その後、第２のオブジェクトについて、フレームバッファに画像をレンダリングする際に、第２のオブジェクトの深度値と、深度バッファに記憶された深度値との差を算出し、当該差が小さい部分について、第２のオブジェクトの法線情報と法線バッファに既に記憶された法線情報とをブレンドし、当該ブレンドされた法線情報に基づいて、画像をレンダリングしてもよい。この場合、深度値の差に応じたブレンド率で法線情報がブレンドされてもよいし、深度値の差が所定範囲内の画素については所定のブレンド率で法線情報がブレンドされてもよい。

【0105】

また、フォワードレンダリングを用いて画像をレンダリングする場合において、上述のように深度値の差に応じて、各オブジェクトの色情報（各オブジェクトの画像）がブレンドされてもよい。具体的には、まず、第１のオブジェクトについて、深度バッファに深度値を書き込むとともに、フレームバッファに第１のオブジェクトの画像（陰影が付加された画像）を描画する。その後、第２のオブジェクトについて、フレームバッファに画像を描画する際に、第２のオブジェクトの深度値と、深度バッファに記憶された深度値（第１のオブジェクトの深度値）との差を算出し、当該差が小さい部分について、第２のオブジェクトの画像とフレームバッファに既に記憶された画像（第１のオブジェクトの画像）とをブレンドしてもよい。２つの画像をブレンドする際には、色情報（例えば、ＲＧＢ値）が、上記のように深度値の差に応じたブレンド率でブレンドされてもよい。また、深度値の差が所定範囲内の画素については所定のブレンド率で色情報がブレンドされてもよい。

【0106】

また、上記実施形態では、仮想オブジェクト１００を用いてゲームを行うこととしたが、上述した画像生成処理は、ゲーム画像に限らず任意の画像を生成する際に用いられてもよい。

【0107】

また、上記ハードウェア構成は単なる一例であり、他の任意のハードウェアにおいて上記画像生成処理が行われてもよい。例えば、パーソナルコンピュータ、タブレット端末、スマートフォン、インターネット上のサーバ等、任意の情報処理装置において上記処理が実行されてもよい。また、上記処理は、複数の装置を含む情報処理システムにおいて実行されてもよい。

【0108】

また上記実施形態及びその変形例に係る構成は、互いに矛盾しない限り、任意に組み合わせることが可能である。また、上記は本発明の例示に過ぎず、上記以外にも種々の改良や変形が加えられてもよい。

【符号の説明】

【0109】

１ ゲームシステム
２ 本体装置
８１ プロセッサ
１００ 仮想オブジェクト
１０１ 胴体部
１０２ 腕部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】