特許 7698754 画像処理プログラム、画像処理システム、画像処理方法、および画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-06-17

(45)【発行日】2025-06-25

(54)【発明の名称】画像処理プログラム、画像処理システム、画像処理方法、および画像処理装置

(51)【国際特許分類】

   G06T 15/06 20110101AFI20250618BHJP

【ＦＩ】

G06T15/06

【請求項の数】 20

(21)【出願番号】P 2024011579

(22)【出願日】2024-01-30

【審査請求日】2024-10-29

(73)【特許権者】

【識別番号】000233778

【氏名又は名称】任天堂株式会社

(74)【代理人】

【識別番号】100158780

【弁理士】

【氏名又は名称】寺本 亮

(74)【代理人】

【識別番号】100121359

【弁理士】

【氏名又は名称】小沢 昌弘

(74)【代理人】

【識別番号】100130269

【弁理士】

【氏名又は名称】石原 盛規

(72)【発明者】

【氏名】藤澤 保仁

【審査官】益戸 宏

(56)【参考文献】

【文献】特開平８－１２３８３５（ＪＰ，Ａ）

【文献】水原白，リアルタイムレイトレーシングの可能性を切り拓く，ＣＧＷＯＲＬＤ＋ｄｉｇｉｔａｌｖｉｄｅｏ，2014年10月01日，Vpl.194，pp.68-71

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １５／０６

(57)【特許請求の範囲】

【請求項1】

情報処理装置のコンピュータに、
仮想空間内のオブジェクトについて、
第１のデプスバッファを用いて第１のデプステストと当該第１のデプスバッファの更新を行わせ、
前記第１のデプステストの結果に基づいてフレームバッファに描画を行わせ、
前記オブジェクトのうち第１の種類のオブジェクトについてさらに、第２のデプスバッファを用いて第２のデプステストと当該第２のデプスバッファの更新を行わせ、
描画が行われた前記フレームバッファの画素ごとに、当該画素を着目画素として、
前記第１のデプスバッファのデプスに基づいて、仮想カメラから前記着目画素に対応する前記仮想空間内の位置に向かう方向を入射方向、当該位置を反射位置として反射するレイの方向をレイトレース方向として算出させ、
当該レイトレース方向に沿って当該レイをトレースさせ、前記レイのトレース距離が第１の距離より小さい第２の距離未満の場合には前記第１のデプスバッファ、前記第２の距離以上の場合には前記第２のデプスバッファのデプスに基づいて、前記レイが前記仮想空間内においてオブジェクトに衝突する衝突位置を判定させ、
前記トレース距離が前記第１の距離以内となる範囲内において前記衝突位置が判定された場合に、当該衝突位置に対応する前記フレームバッファ内の画素の色に基づいた色を、前記着目画素の色に加えさせる映り込みの色として決定させる、画像処理プログラム。

【請求項2】

前記コンピュータにさらに、
前記衝突位置に対応する前記フレームバッファ内の画素の色に基づいて前記着目画素の色に加えさせる映り込みの色を、前記第１のデプスバッファに基づいた前記衝突位置と前記第２のデプスバッファに基づいた前記衝突位置とで異なるパラメータに基づいて決定させる、請求項１に記載の画像処理プログラム。

【請求項3】

前記コンピュータにさらに、
第２の種類のオブジェクトについて、フレームバッファへの描画を行わずにレンダリングした画像をテクスチャとして設定した平面オブジェクトを前記仮想空間内の前記第２の種類のオブジェクトの位置に配置させ、
前記レイが前記平面オブジェクトと交差する場合に、交差位置の前記テクスチャの色に基づいて前記着目画素の色にさらに加えさせる映り込みの色として決定させ、
前記フレームバッファに前記映り込みの色を反映させ、
前記映り込みの色を反映させた後に、前記第２の種類のオブジェクトをフレームバッファに描画させる、請求項１に記載の画像処理プログラム。

【請求項4】

前記コンピュータにさらに、
前記入射方向と前記反射位置の法線方向に基づいた反射方向に、さらに画面内側向きの補正を加えた方向を前記レイトレース方向として算出させる、請求項１に記載の画像処理プログラム。

【請求項5】

前記第２の種類のオブジェクトは、平たい形状のオブジェクトである、請求項３に記載の画像処理プログラム。

【請求項6】

プロセッサを備える画像処理システムであって、前記プロセッサは、
仮想空間内のオブジェクトについて、
第１のデプスバッファを用いて第１のデプステストと当該第１のデプスバッファの更新を行い、
前記第１のデプステストの結果に基づいてフレームバッファに描画を行い、
前記オブジェクトのうち第１の種類のオブジェクトについてさらに、第２のデプスバッファを用いて第２のデプステストと当該第２のデプスバッファの更新を行い、
描画が行われた前記フレームバッファの画素ごとに、当該画素を着目画素として、
前記第１のデプスバッファのデプスに基づいて、仮想カメラから前記着目画素に対応する前記仮想空間内の位置に向かう方向を入射方向、当該位置を反射位置として反射するレイの方向をレイトレース方向として算出し、
当該レイトレース方向に沿って当該レイをトレースさせ、前記レイのトレース距離が第１の距離より小さい第２の距離未満の場合には前記第１のデプスバッファ、前記第２の距離以上の場合には前記第２のデプスバッファのデプスに基づいて、前記レイが前記仮想空間内においてオブジェクトに衝突する衝突位置を判定し、
前記トレース距離が前記第１の距離以内となる範囲内において前記衝突位置が判定された場合に、当該衝突位置に対応する前記フレームバッファ内の画素の色に基づいた色を、前記着目画素の色に加える映り込みの色として決定する、画像処理システム。

【請求項7】

前記プロセッサはさらに、
前記衝突位置に対応する前記フレームバッファ内の画素の色に基づいて前記着目画素の色に加える映り込みの色を、前記第１のデプスバッファに基づいた前記衝突位置と前記第２のデプスバッファに基づいた前記衝突位置とで異なるパラメータに基づいて決定する、請求項６に記載の画像処理システム。

【請求項8】

前記プロセッサはさらに、
第２の種類のオブジェクトについて、フレームバッファへの描画を行わずにレンダリングした画像をテクスチャとして設定した平面オブジェクトを前記仮想空間内の前記第２の種類のオブジェクトの位置に配置し、
前記レイが前記平面オブジェクトと交差する場合に、交差位置の前記テクスチャの色に基づいて前記着目画素の色にさらに加える映り込みの色として決定し、
前記フレームバッファに前記映り込みの色を反映し、
前記映り込みの色を反映した後に、前記第２の種類のオブジェクトをフレームバッファに描画する、請求項６に記載の画像処理システム。

【請求項9】

前記プロセッサはさらに、
前記入射方向と前記反射位置の法線方向に基づいた反射方向に、さらに画面内側向きの補正を加えた方向を前記レイトレース方向として算出する、請求項６に記載の画像処理システム。

【請求項10】

前記第２の種類のオブジェクトは、平たい形状のオブジェクトである、請求項８に記載の画像処理システム。

【請求項11】

画像処理方法であって、
仮想空間内のオブジェクトについて、
第１のデプスバッファを用いて第１のデプステストと当該第１のデプスバッファの更新を行うこと、
前記第１のデプステストの結果に基づいてフレームバッファに描画を行うこと、
前記オブジェクトのうち第１の種類のオブジェクトについてさらに、第２のデプスバッファを用いて第２のデプステストと当該第２のデプスバッファの更新を行うこと、
描画が行われた前記フレームバッファの画素ごとに、当該画素を着目画素として、
前記第１のデプスバッファのデプスに基づいて、仮想カメラから前記着目画素に対応する前記仮想空間内の位置に向かう方向を入射方向、当該位置を反射位置として反射するレイの方向をレイトレース方向として算出すること、
当該レイトレース方向に沿って当該レイをトレースさせ、前記レイのトレース距離が第１の距離より小さい第２の距離未満の場合には前記第１のデプスバッファ、前記第２の距離以上の場合には前記第２のデプスバッファのデプスに基づいて、前記レイが前記仮想空間内においてオブジェクトに衝突する衝突位置を判定すること、
前記トレース距離が前記第１の距離以内となる範囲内において前記衝突位置が判定された場合に、当該衝突位置に対応する前記フレームバッファ内の画素の色に基づいた色を、前記着目画素の色に加える映り込みの色として決定すること、を備える、画像処理方法。

【請求項12】

前記衝突位置に対応する前記フレームバッファ内の画素の色に基づいて前記着目画素の色に加える映り込みの色を、前記第１のデプスバッファに基づいた前記衝突位置と前記第２のデプスバッファに基づいた前記衝突位置とで異なるパラメータに基づいて決定すること、をさらに備える、請求項１１に記載の画像処理方法。

【請求項13】

第２の種類のオブジェクトについて、フレームバッファへの描画を行わずにレンダリングした画像をテクスチャとして設定した平面オブジェクトを前記仮想空間内の前記第２の種類のオブジェクトの位置に配置すること、
前記レイが前記平面オブジェクトと交差する場合に、交差位置の前記テクスチャの色に基づいて前記着目画素の色にさらに加える映り込みの色として決定すること、
前記フレームバッファに前記映り込みの色を反映すること、
前記映り込みの色を反映した後に、前記第２の種類のオブジェクトをフレームバッファに描画すること、をさらに備える、請求項１１に記載の画像処理方法。

【請求項14】

前記入射方向と前記反射位置の法線方向に基づいた反射方向に、さらに画面内側向きの補正を加えた方向を前記レイトレース方向として算出すること、をさらに備える、請求項１１に記載の画像処理方法。

【請求項15】

前記第２の種類のオブジェクトは、平たい形状のオブジェクトである、請求項１３に記載の画像処理方法。

【請求項16】

プロセッサを備える画像処理装置であって、前記プロセッサは、
仮想空間内のオブジェクトについて、
第１のデプスバッファを用いて第１のデプステストと当該第１のデプスバッファの更新を行い、
前記第１のデプステストの結果に基づいてフレームバッファに描画を行い、
前記オブジェクトのうち第１の種類のオブジェクトについてさらに、第２のデプスバッファを用いて第２のデプステストと当該第２のデプスバッファの更新を行い、
描画が行われた前記フレームバッファの画素ごとに、当該画素を着目画素として、
前記第１のデプスバッファのデプスに基づいて、仮想カメラから前記着目画素に対応する前記仮想空間内の位置に向かう方向を入射方向、当該位置を反射位置として反射するレイの方向をレイトレース方向として算出し、
当該レイトレース方向に沿って当該レイをトレースさせ、前記レイのトレース距離が第１の距離より小さい第２の距離未満の場合には前記第１のデプスバッファ、前記第２の距離以上の場合には前記第２のデプスバッファのデプスに基づいて、前記レイが前記仮想空間内においてオブジェクトに衝突する衝突位置を判定し、
前記トレース距離が前記第１の距離以内となる範囲内において前記衝突位置が判定された場合に、当該衝突位置に対応する前記フレームバッファ内の画素の色に基づいた色を、前記着目画素の色に加える映り込みの色として決定する、画像処理装置。

【請求項17】

前記プロセッサはさらに、
前記衝突位置に対応する前記フレームバッファ内の画素の色に基づいて前記着目画素の色に加える映り込みの色を、前記第１のデプスバッファに基づいた前記衝突位置と前記第２のデプスバッファに基づいた前記衝突位置とで異なるパラメータに基づいて決定する、請求項１６に記載の画像処理装置。

【請求項18】

前記プロセッサはさらに、
第２の種類のオブジェクトについて、フレームバッファへの描画を行わずにレンダリングした画像をテクスチャとして設定した平面オブジェクトを前記仮想空間内の前記第２の種類のオブジェクトの位置に配置し、
前記レイが前記平面オブジェクトと交差する場合に、交差位置の前記テクスチャの色に基づいて前記着目画素の色にさらに加える映り込みの色として決定し、
前記フレームバッファに前記映り込みの色を反映し、
前記映り込みの色を反映した後に、前記第２の種類のオブジェクトをフレームバッファに描画する、請求項１６に記載の画像処理装置。

【請求項19】

前記プロセッサはさらに、
前記入射方向と前記反射位置の法線方向に基づいた反射方向に、さらに画面内側向きの補正を加えた方向を前記レイトレース方向として算出する、請求項１６に記載の画像処理装置。

【請求項20】

前記第２の種類のオブジェクトは、平たい形状のオブジェクトである、請求項１８に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、描画された画像に基づいて反射を表現することが可能な画像処理プログラム、画像処理システム、画像処理方法、および画像処理装置に関する。

【背景技術】

【0002】

従来より、描画された画像に対する処理を行うことで反射を表現する方法がある（例えば、非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】“Screen Space Reflection”、［online］、２０２３年、Unity Technologies、［令和５年１２月２０日検索］、インターネット＜URL：https://docs.unity3d.com/ja/2019.4/Manual/PostProcessing-ScreenSpaceReflection.html＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記従来技術は描画された画像に対する処理であるため、オブジェクト毎に映り込みの仕方を調整することは困難であった。

【0005】

それ故、本発明の目的は、オブジェクト毎に映り込みの仕方を異ならせることが可能な画像処理プログラム、画像処理システム、画像処理方法、および画像処理装置を提供することである。

【課題を解決するための手段】

【0006】

上記の課題を解決すべく、本発明は、以下の構成を採用した。

【0007】

（第１の構成）
第１の構成の画像処理プログラムは、情報処理装置のコンピュータに、仮想空間内のオブジェクトについて、第１のデプスバッファを用いて第１のデプステストと当該第１のデプスバッファの更新を行わせ、前記第１のデプステストの結果に基づいてフレームバッファに描画を行わせ、前記オブジェクトのうち第１の種類のオブジェクトについてさらに、第２のデプスバッファを用いて第２のデプステストと当該第２のデプスバッファの更新を行わせる。また、画像処理プログラムは、前記コンピュータに、描画が行われた前記フレームバッファの画素ごとに、当該画素を着目画素として、前記第１のデプスバッファのデプスに基づいて、仮想カメラから前記着目画素に対応する前記仮想空間内の位置に向かう方向を入射方向、当該位置を反射位置として反射するレイの方向をレイトレース方向として算出させ、当該レイトレース方向に沿って当該レイをトレースさせ、前記レイのトレース距離が第１の距離より小さい第２の距離未満の場合には前記第１のデプスバッファ、前記第２の距離以上の場合には前記第２のデプスバッファのデプスに基づいて、前記レイが前記仮想空間内においてオブジェクトに衝突する衝突位置を判定させ、前記トレース距離が前記第１の距離以内となる範囲内において前記衝突位置が判定された場合に、当該衝突位置に対応する前記フレームバッファ内の画素の色に基づいた色を、前記着目画素の色に加えさせる映り込みの色として決定させる。

【0008】

上記によれば、トレース距離に応じて参照するデプスバッファを切り替えることで、例えば、オブジェクトによって遠くまで映り込ませることができ、オブジェクト毎に映り込み方を異ならせることができる。

【0009】

（第２の構成）
第２の構成では、上記第１の構成において、前記コンピュータにさらに、前記衝突位置に対応する前記フレームバッファ内の画素の色に基づいて前記着目画素の色に加えさせる映り込みの色を、前記第１のデプスバッファに基づいた前記衝突位置と前記第２のデプスバッファに基づいた前記衝突位置とで異なるパラメータに基づいて決定させてもよい。

【0010】

上記によれば、参照するデプスバッファに応じて異なるパラメータに基づいて、衝突位置に対応する画素の色を着目画素の色に加えることができる。

【0011】

（第３の構成）
第３の構成では、上記第１又は第２の構成において、前記コンピュータにさらに、第２の種類のオブジェクトについて、フレームバッファへの描画を行わずにレンダリングした画像をテクスチャとして設定した平面オブジェクトを前記仮想空間内の前記第２の種類のオブジェクトの位置に配置させ、前記レイが前記平面オブジェクトと交差する場合に、交差位置の前記テクスチャの色に基づいて前記着目画素の色にさらに加えさせる映り込みの色として決定させ、前記フレームバッファに前記映り込みの色を反映させ、前記映り込みの色を反映させた後に、前記第２の種類のオブジェクトをフレームバッファに描画させてもよい。

【0012】

上記によれば、さらに第２の種類のオブジェクトの映り込みを生成することができ、例えば、第２の種類のオブジェクトが前記オブジェクトの手前側に存在する場合でも、前記オブジェクトの映り込みと、第２の種類のオブジェクトの映り込みとを生成することができる。

【0013】

（第４の構成）
第４の構成では、上記第１から第３の構成の何れかにおいて、前記コンピュータにさらに、前記入射方向と前記反射位置の法線方向に基づいた反射方向に、さらに画面内側向きの補正を加えた方向を前記レイトレース方向として算出させてもよい。

【0014】

上記によれば、法線方向に基づく反射方向を補正した方向に基づいてレイトレースを行うことができる。

【0015】

（第５の構成）
第５の構成では、上記第３の構成において、前記第２の種類のオブジェクトは、平たい形状のオブジェクトであってもよい。

【0016】

上記によれば、第２の種類のオブジェクトは平たい形状のオブジェクトであり、映り込みも平面的に見えるため、違和感のない画像とすることができる。

【0017】

また、他の実施形態は、上記画像処理を行う画像処理システムであってもよいし、画像処理装置であってもよいし、画像処理方法であってもよい。

【発明の効果】

【0018】

本発明によれば、オブジェクト毎に映り込みの仕方を異ならせることができる。

【図面の簡単な説明】

【0019】

【図1】本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図

【図2】本体装置２の内部構成の一例を示すブロック図

【図3】本実施形態のゲームの実行中に仮想空間に配置される複数のオブジェクトの一例を示す図

【図4】表示装置に表示されるゲーム画像の一例を示す図

【図5】キャラクタオブジェクト以外のオブジェクトの映り込みに関する画像処理の概要を示す図

【図6】第１デプスバッファの一例を示す図

【図7】ステップＳ２によるレンダリングが行われた後のフレームバッファに描画された画像の一例を示す図

【図8】第２デプスバッファの一例を示す図

【図9】レイトレースが行われる様子を示す図であり、反射位置ＲＰａから反射したレイが円柱オブジェクト３４に衝突する様子を示した図

【図10】第１デプスバッファを用いて、反射位置ＲＰａから反射するレイの衝突判定が行われる様子を示す図

【図11】レイトレースが行われる様子を示す図であり、反射位置ＲＰｂから反射したレイが木オブジェクト３２に衝突する様子を示した図

【図12】レイトレースが行われる様子を示す図であり、反射位置ＲＰｃから反射したレイがオブジェクトに衝突しない様子を示した図

【図13】第２デプスバッファを用いて、レイの衝突判定が行われる様子を示す図

【図14】各画素に映り込む色が加えられたときのフレームバッファに描画される画像の一例を示す図

【図15】反射方向を補正したレイトレース方向の一例を示す図

【図16】反射方向に対する補正の詳細を説明するための図

【図17】円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在しないときのゲーム画像の一例を示す図

【図18】キャラクタオブジェクト４１が移動し、円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在するときのゲーム画像の一例を示す図

【図19】キャラクタオブジェクト及びその奥側にあるオブジェクトの映り込みを生成するための画像処理の概要を示す図

【図20】ステップＳ１１で作成されるキャラクタ平面の一例を示す図

【図21】ステップＳ１３におけるキャラクタの映り込みの色の算出について説明するための図

【図22】図１９の画像処理が行われた場合に表示されるゲーム画像の一例を示す図

【図23】本体装置２のメモリに記憶されるデータの一例を示す図

【図24】本体装置２のプロセッサ８１によって実行されるメイン処理の一例を示すフローチャート

【図25】ステップＳ１０５のＳＳＲ処理の一例を示すフローチャート

【図26】ステップＳ１２２のレイトレース処理の一例を示すフローチャート

【図27】ステップＳ１４１におけるキャラクタの映り込みの色の算出処理の一例を示すフローチャート

【発明を実施するための形態】

【0020】

（システム構成）
以下、本実施形態の一例に係るゲームシステムについて説明する。本実施形態におけるゲームシステム１の一例は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる。以下では、本実施形態のゲームシステム１のハードウェア構成について説明し、その後に本実施形態のゲームシステム１の制御について説明する。

【0021】

図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２を備える。左コントローラ３および右コントローラ４は、ユーザが入力を行うための操作部を備える装置である。

【0022】

左コントローラ３および右コントローラ４は、本体装置２に着脱可能である。なお、以下において、左コントローラ３および右コントローラ４の総称として「コントローラ」と記載することがある。

【0023】

本体装置２単体または本体装置２に左コントローラ３および右コントローラ４が装着された一体型装置は、携帯型装置となってもよい。また、本体装置２または一体型装置が手持ち型の装置となってもよい。また、本体装置２または一体型装置が可搬型装置となってもよい。

【0024】

また、本体装置２は、ディスプレイ１２の画面上にタッチパネル１３を備える。本実施形態においては、タッチパネル１３は、マルチタッチ入力が可能な方式（例えば、静電容量方式）のものである。ただし、タッチパネル１３は、任意の種類のものであってよく、例えば、シングルタッチ入力が可能な方式（例えば、抵抗膜方式）のものであってもよい。

【0025】

図２は、本体装置２の内部構成の一例を示すブロック図である。

【0026】

本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、１又は複数のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、１又は複数のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを含む。プロセッサ８１は、ＣＰＵ機能及びＧＰＵ機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。なお、ＣＰＵとＧＰＵとがそれぞれ別々のプロセッサとして構成されてもよい。また、プロセッサ８１の内部には、一時的にデータを記憶する１又は複数のメモリが設けられる。プロセッサ８１は、記憶部（具体的には、フラッシュメモリ８４等の内部記憶媒体、あるいは、スロット２３に装着される外部記憶媒体等）に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。

【0027】

本体装置２は、自身に内蔵される内部記憶媒体の一例として、フラッシュメモリ８４およびＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８５を備える。フラッシュメモリ８４およびＤＲＡＭ８５は、プロセッサ８１に接続される。フラッシュメモリ８４は、主に、本体装置２に保存される各種のデータ（プログラムであってもよい）を記憶するために用いられるメモリである。ＤＲＡＭ８５は、情報処理において用いられる各種のデータを一時的に記憶するために用いられるメモリである。

【0028】

本体装置２は、スロットインターフェース（以下、「Ｉ／Ｆ」と略記する。）９１を備える。スロットＩ／Ｆ９１は、プロセッサ８１に接続される。スロットＩ／Ｆ９１は、スロット２３に接続され、スロット２３に装着された所定の種類の記憶媒体（例えば、専用メモリカード）に対するデータの読み出しおよび書き込みを、プロセッサ８１の指示に応じて行う。

【0029】

プロセッサ８１は、フラッシュメモリ８４およびＤＲＡＭ８５、ならびに上記各記憶媒体との間でデータを適宜読み出したり書き込んだりして、上記の情報処理を実行する。

【0030】

本体装置２は、ネットワーク通信部８２を備える。ネットワーク通信部８２は、プロセッサ８１に接続される。ネットワーク通信部８２は、ネットワークを介して外部の装置と通信（具体的には、無線通信）を行う。本実施形態においては、ネットワーク通信部８２は、第１の通信態様としてＷｉ－Ｆｉの規格に準拠した方式により、無線ＬＡＮに接続して外部装置と通信を行う。また、ネットワーク通信部８２は、第２の通信態様として所定の通信方式（例えば、独自プロトコルによる通信や、赤外線通信）により、同種の他の本体装置２との間で無線通信を行う。

【0031】

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

【0032】

プロセッサ８１は、左側端子１７、右側端子２１、および下側端子２７に接続される。プロセッサ８１は、左コントローラ３と有線通信を行う場合、左側端子１７を介して左コントローラ３へデータを送信するとともに、左側端子１７を介して左コントローラ３から操作データを受信する。また、プロセッサ８１は、右コントローラ４と有線通信を行う場合、右側端子２１を介して右コントローラ４へデータを送信するとともに、右側端子２１を介して右コントローラ４から操作データを受信する。また、プロセッサ８１は、クレードルと通信を行う場合、下側端子２７を介してクレードルへデータを送信する。このように、本実施形態においては、本体装置２は、左コントローラ３および右コントローラ４との間で、それぞれ有線通信と無線通信との両方を行うことができる。また、左コントローラ３および右コントローラ４が本体装置２に装着された一体型装置または本体装置２単体がクレードルに装着された場合、本体装置２は、クレードルを介してデータ（例えば、画像データや音声データ）を据置型モニタ等に出力することができる。

【0033】

本体装置２は、タッチパネル１３の制御を行う回路であるタッチパネルコントローラ８６を備える。タッチパネルコントローラ８６は、タッチパネル１３とプロセッサ８１との間に接続される。タッチパネルコントローラ８６は、タッチパネル１３からの信号に基づいて、例えばタッチ入力が行われた位置を示すデータを生成して、プロセッサ８１へ出力する。

【0034】

本体装置２は、電力制御部９７およびバッテリ９８を備える。電力制御部９７は、バッテリ９８およびプロセッサ８１に接続される。また、図示しないが、電力制御部９７は、本体装置２の各部（具体的には、バッテリ９８の電力の給電を受ける各部、左側端子１７、および右側端子２１）に接続される。電力制御部９７は、プロセッサ８１からの指令に基づいて、バッテリ９８から上記各部への電力供給を制御する。

【0035】

また、バッテリ９８は、下側端子２７に接続される。外部の充電装置（例えば、クレードル）が下側端子２７に接続され、下側端子２７を介して本体装置２に電力が供給される場合、供給された電力がバッテリ９８に充電される。

【0036】

（画像処理の概要）
次に、本実施形態の画像処理について説明する。本実施形態のゲームシステム１（画像処理システムの一例）では、３次元の仮想空間に複数のオブジェクトが配置され、ゲームが行われる。

【0037】

図３は、本実施形態のゲームの実行中に仮想空間に配置される複数のオブジェクトの一例を示す図である。本実施形態のゲームが開始されると、ｘｙｚ直交座標系によって定義される３次元の仮想空間が設定される。例えば、ｙ軸は仮想空間の上方向の軸であり、ｘ軸は、右方向の軸であり、ｚ軸は奥方向の軸である。

【0038】

図３に示されるように、仮想空間には、複数のオブジェクトとして、地面オブジェクト３０が配置される。地面オブジェクト３０は、地面を模したオブジェクトであり、例えば、ｘｚ平面に平行な平面である。なお、地面オブジェクト３０は、凹凸を有してもよいし、斜面を有してもよい。地面オブジェクト３０上には、木オブジェクト３２と、円柱オブジェクト３４とが配置される。また、例えば、仮想空間のｚ軸方向の所定位置には、山オブジェクト３６が配置される。これら地面オブジェクト３０、木オブジェクト３２、円柱オブジェクト３４は、仮想空間に固定される。

【0039】

また、仮想空間には、キャラクタオブジェクト４１及び４３が配置される。キャラクタオブジェクト４１及び４３は、平たい形状のオブジェクトであり、上下左右方向の長さに比べて厚さ方向の長さが小さい板状のオブジェクトである。例えば、キャラクタオブジェクト４１及び４３は、それぞれ、前面を構成する平面状のメッシュと背面を構成する平面状のメッシュとを含む３Ｄオブジェクトである。キャラクタオブジェクト４１は、プレイヤによって制御されるプレイヤキャラクタである。キャラクタオブジェクト４１は、仮想空間内において、コントローラに対する入力に応じたアクションを行う。例えば、キャラクタオブジェクト４１は、アクションとして、地面オブジェクト３０上を移動したり、仮想空間内で手足を動かしたり、ジャンプしたり、顔の向きを変化させたりする。キャラクタオブジェクト４１が左右方向に移動すると、画面が左右方向にスクロールされる。また、キャラクタオブジェクト４３は、キャラクタオブジェクト４１の移動に応じて移動するノンプレイヤキャラクタであり、プロセッサ８１によって自動制御される。なお、キャラクタオブジェクト４３は、プレイヤによって制御されてもよい。

【0040】

仮想空間には、仮想カメラが配置されており、当該仮想カメラから仮想空間を見たゲーム画像が生成され、生成されたゲーム画像がディスプレイ１２又は据置型モニタ（以下、これらを「表示装置」という）に表示される。

【0041】

図４は、表示装置に表示されるゲーム画像の一例を示す図である。表示装置には、各オブジェクト（３０、３２、３４、３６、４１、４３）の画像が表示される。例えば地面オブジェクト３０は反射面であり、地面オブジェクト３０上には各オブジェクトが映り込む。本実施形態では、ＳＳＲ（スクリーンスペースリフレクション）と呼ばれる方法で、各オブジェクトの映り込みが生成される。

【0042】

例えば、図４に示されるように、地面オブジェクト３０上には、木オブジェクト３２の映り込み５２と、円柱オブジェクト３４の映り込み５４とが表示される。また、地面オブジェクト３０上には、キャラクタオブジェクト４１の映り込み６１と、キャラクタオブジェクト４３の映り込み６３とが表示される。一方、地面オブジェクト３０上には、山オブジェクト３６の映り込みは表示されない。

【0043】

本実施形態では、木オブジェクト３２及び円柱オブジェクト３４は、予め特定のオブジェクトとして設定されており、仮想カメラからある程度離れていても地面オブジェクト上に映り込むように設定される。一方、山オブジェクト３６は、特定のオブジェクトとして設定されない。

【0044】

特定のオブジェクトは、メッシュ（ポリゴンの集合体）単位で設定される。例えば、木オブジェクト３２を構成する複数のメッシュのそれぞれが、特定のオブジェクトとして設定されてもよい。また、木オブジェクト３２を構成する複数のメッシュのうちの何れかのメッシュが、特定のオブジェクトとして設定されてもよい。例えば、木オブジェクト３２が、幹の部分を構成する第１のメッシュと、葉が茂った部分を構成する第２のメッシュとで構成される場合、第１のメッシュ及び第２のメッシュのうち、第１のメッシュのみが特定のオブジェクトとして設定されてもよい。すなわち、「特定のオブジェクト」は、必ずしも外観上１つに見えるオブジェクトでなくてもよく、外観上１つに見えるオブジェクトのうちの一部を構成するメッシュであってもよい。例えば、ｘｚ平面に平行な地面とｘｚ平面に垂直な壁面とが連続的に形成された地形オブジェクトは、外観上、段差を有する１つの地形を形成するように見えるが、地面と壁面とが異なるメッシュにより構成される場合がある。このような地形オブジェクトにおける壁面が、特定のオブジェクトとして設定され、地面は特定のオブジェクトとして設定されなくてもよい。

【0045】

本実施形態では、特定のオブジェクトとして設定された木オブジェクト３２及び円柱オブジェクト３４が、地面オブジェクト上に映り込む。以下、これらのオブジェクトの映り込みに関する画像処理について説明する。

【0046】

図５は、キャラクタオブジェクト以外のオブジェクトの映り込みに関する画像処理の概要を示す図である。

【0047】

図５に示されるように、プロセッサ８１は、まず、第１デプステストを行う（ステップＳ１）。ここでは、キャラクタオブジェクト以外の全てのオブジェクト（３０、３２、３４、３６）について、画素単位でデプステストが行われ、当該デプステストの結果が第１デプスバッファに記憶される。

【0048】

図６は、第１デプスバッファの一例を示す図である。図６に示されるように、第１デプスバッファには、キャラクタオブジェクト以外の全てのオブジェクト（３０、３２、３４、３６）について、画素ごとのデプス値が記憶される。なお、図６では、各オブジェクトの画像が表示されているが、これは、第１デプスバッファに記憶された各画素のデプス値を概念的に表したものである。各画素の位置は、スクリーン座標系の座標値で表される。例えば、スクリーン座標系のＳｘ軸は、画像（画面）における右方向の軸であり、Ｓｙ軸は、画像における上方向の軸である。スクリーン座標系の原点は、例えば、画像の中心に設定されてもよいし、画像の左下に設定されてもよい。

【0049】

図５に戻り、ステップＳ１の後、プロセッサ８１は、第１デプステストの結果に基づいて、フレームバッファへのレンダリングを行う（ステップＳ２）。ステップＳ２では、第１デプスバッファに記憶されたデプスに基づいて、フレームバッファに画像が描画される。本実施形態では、レンダリングの方法として、ディファードレンダリング（ディファードシェーディングともいう）が用いられる。ステップＳ２では、画素毎の法線情報を記憶した法線バッファが更新され、フレームバッファに画像が描画される。なお、レンダリングの方法として、ディファードレンダリングではなく、フォワードレンダリングが用いられてもよい。

【0050】

図７は、ステップＳ２によるレンダリングが行われた後のフレームバッファに描画された画像の一例を示す図である。図７に示されるように、ステップＳ２では、フレームバッファに、キャラクタオブジェクト以外の全てのオブジェクト（３０、３２、３４、３６）の画像が描画される。画素毎に、色情報が記憶される。色情報は、例えば、３つの色を表すＲＧＢ値と、透明度（あるいは不透明度）を表すアルファ値とを含む。なお、図７では陰影が省略されているが、ステップＳ２では、陰影がついた画像が生成される。

【0051】

図５に戻り、ステップＳ２の後、プロセッサ８１は、仮想空間に配置された複数のオブジェクトのうち、特定のオブジェクトについて、さらに第２デプステストを行う（ステップＳ３）。具体的には、複数のオブジェクト（３０、３２、３４、３６）のうち、特定のオブジェクトとして設定された木オブジェクト３２及び円柱オブジェクト３４について、さらに第２デプステストが行われ、当該第２デプステストの結果が第２デプスバッファに記憶される。これにより、第２デプスバッファには、仮想カメラの撮像範囲に含まれる複数のオブジェクト（３０、３２、３４、３６）のうち、木オブジェクト３２及び円柱オブジェクト３４のみの画素毎のデプス値が記憶される。

【0052】

図８は、第２デプスバッファの一例を示す図である。図８に示されるように、第２デプスバッファには、木オブジェクト３２及び円柱オブジェクト３４の画素毎のデプス値が記憶される。一方、山オブジェクト３６のデプス値は、第２デプスバッファに記憶されない。なお、図８は、第２デプスバッファに記憶された各画素のデプス値を概念的に表したものである。

【0053】

図５に戻り、ステップＳ３の後、プロセッサ８１は、第１デプスバッファ又は第２デプスバッファを用いて、レイトレースを行う（ステップＳ４）。ここでは、画素（以下では「着目画素」という）毎に処理が行われる。具体的には、プロセッサ８１は、着目画素を設定し、仮想カメラの位置から着目画素に向かう方向にレイ（仮想的な光線）を飛ばしたときのレイの反射位置を計算し、当該反射位置から反射するレイがオブジェクトと衝突するか否かの衝突判定を行う。

【0054】

次に、プロセッサ８１は、レイの衝突位置に対応するフレームバッファ内の画素の色を、着目画素に映り込む色として算出する（ステップＳ５）。ステップＳ５の処理も画素毎に行われる。

【0055】

以下、図７に示される各画素ＰＩＸａ～ＰＩＸｃが着目画素として設定された場合のステップＳ４及びＳ５の処理について具体的に説明する。

【0056】

例えば、プロセッサ８１は、図７に示される画素ＰＩＸａを着目画素として設定する。画素ＰＩＸａは、円柱オブジェクト３４よりも仮想カメラ側にある画素である。プロセッサ８１は、着目画素ＰＩＸａのスクリーン座標系における位置と、第１デプスバッファに記憶された当該位置のデプス値とに基づいて、着目画素ＰＩＸａの仮想空間における位置を、レイの反射位置ＲＰａとして算出する。

【0057】

図９は、レイトレースが行われる様子を示す図であり、反射位置ＲＰａから反射したレイが円柱オブジェクト３４に衝突する様子を示した図である。図９の右方向は、仮想カメラＶＣに基づいて生成されたゲーム画像が画面に表示されたときの画面の奥方向である。

【0058】

図９に示されるように、プロセッサ８１は、仮想カメラＶＣの位置から反射位置ＲＰａに向かう方向を入射方向とし、当該反射位置ＲＰａから反射するレイの方向をレイトレース方向ＲＴＤａとして算出する。具体的には、プロセッサ８１は、入射方向と反射位置ＲＰａの法線とに基づいて、レイの反射方向を算出する。入射方向の入射角と、反射方向の反射角とは等しい。そして、プロセッサ８１は、当該反射方向、又は、当該反射方向に補正を加えた方向を、レイトレース方向ＲＴＤａとして算出する。なお、反射方向の補正については後に説明する。

【0059】

プロセッサ８１は、反射位置ＲＰａからレイトレース方向ＲＴＤａにレイを進行させ、レイがオブジェクトと衝突するか否かの衝突判定を行う。プロセッサ８１は、レイのトレース距離がＬａ未満では、第１デプスバッファを用いて衝突判定を行う。ここで、トレース距離は、反射位置からレイトレース方向に沿った距離である。

【0060】

図１０は、第１デプスバッファを用いて、反射位置ＲＰａから反射するレイの衝突判定が行われる様子を示す図である。プロセッサ８１は、まず、仮想空間における反射位置ＲＰａからレイトレース方向ＲＴＤａに最大距離Ｌｂだけ進んだ仮想空間における位置を算出し、当該算出した位置をスクリーン座標系に変換することで、スクリーン座標系におけるレイトレース終了位置を算出する。プロセッサ８１は、スクリーン座標系において、反射位置ＲＰａ（着目画素ＲＰａ）をレイトレース開始位置とし、当該レイトレース開始位置からレイトレース終了位置までレイを伸ばし、レイの先端がオブジェクトと衝突するか否かを判定する。具体的には、プロセッサ８１は、レイを所定距離進行させ、レイの先端のデプスと、第１デプスバッファに記憶された各位置のデプスとに基づいて、レイがオブジェクトと衝突するか否かを判定する。図９及び図１０に示す例では、反射位置ＲＰａで反射したレイが、衝突位置ＣＰａにおいて衝突すると判定される。

【0061】

レイが衝突位置ＣＰａにおいてオブジェクトと衝突すると判定された場合、ステップＳ５において、当該衝突位置ＣＰａに対応するフレームバッファの画素の色が、着目画素ＲＰａに映り込む色として算出される。

【0062】

次に、図７に示される画素ＰＩＸｂが着目画素として設定される場合と、画素ＰＩＸｃが着目画素として設定される場合とについて説明する。画素ＰＩＸｂは、木オブジェクト３２よりも仮想カメラ側にある画素である。また、画素ＰＩＸｃは、山オブジェクト３６よりも仮想カメラ側にある画素である。

【0063】

図１１は、レイトレースが行われる様子を示す図であり、反射位置ＲＰｂから反射したレイが木オブジェクト３２に衝突する様子を示した図である。図１２は、レイトレースが行われる様子を示す図であり、反射位置ＲＰｃから反射したレイがオブジェクトに衝突しない様子を示した図である。図１３は、第２デプスバッファを用いて、レイの衝突判定が行われる様子を示す図である。

【0064】

図１１に示されるように、プロセッサ８１は、画素ＰＩＸｂを着目画素として設定した場合、上記と同様に、着目画素ＰＩＸｂに対応する反射位置ＲＰｂを算出し、反射位置ＲＰｂから反射するレイの方向を、レイトレース方向ＲＴＤｂとして算出する。プロセッサ８１は、レイトレース方向ＲＴＤｂにレイを進行させ、レイがオブジェクトと衝突するか否かの衝突判定を行う。プロセッサ８１は、トレース距離がＬａ未満のときは、第１デプスバッファを用いてレイの衝突判定を行うが、トレース距離がＬａ未満のときは、レイはオブジェクトと衝突しない。このため、プロセッサ８１は、さらにレイを進行させ、第２デプスバッファを用いて、レイの衝突判定を行う（図１３）。図１１及び図１３に示されるように、トレース距離がＬａ以上であり、かつ、最大距離Ｌｂ以下であるときに、レイは衝突位置ＣＰｂにおいて木オブジェクト３２と衝突すると判定される。

【0065】

一方、図１２に示されるように、プロセッサ８１は、画素ＰＩＸｃを着目画素として設定した場合、上記と同様に、着目画素ＰＩＸｃに対応する反射位置ＲＰｃを算出し、反射位置ＲＰｃから反射するレイの方向をレイトレース方向ＲＴＤｃとして算出し、当該レイトレース方向ＲＴＤｂにレイを進行させる。プロセッサ８１は、トレース距離がＬａ未満のときは、第１デプスバッファを用いてレイの衝突判定を行い、トレース距離がＬａ以上であり、かつ、最大距離Ｌｂ以下であるときは、第２デプスバッファを用いてレイの衝突判定を行う。ここで、図１３に示されるように、第２デプスバッファには山オブジェクト３６のデプスは記憶されていない。このため、図１２及び図１３に示されるように、プロセッサ８１は、レイを最大距離Ｌｂまで進行させても、レイはオブジェクトと衝突しないと判定する。

【0066】

なお、第１デプスバッファに基づいてレイの衝突位置が算出された場合と、第２デプスバッファに基づいてレイの衝突位置が算出された場合とで、衝突位置の画素の色を着目画素の色に加える際のパラメータを異ならせてもよい。例えば、第２デプスバッファに基づいて衝突位置が算出された場合は、第１デプスバッファに基づいて衝突位置が算出された場合よりも、映り込みの色が濃くなるようにパラメータが変更されてもよい。

【0067】

各着目画素について上述したステップＳ４及びＳ５の処理が行われることにより、各着目画素に映り込む色が決定される。そして、各着目画素の色に、決定された映り込む色を加えることで、各オブジェクトの映り込みがフレームバッファに描画されることになる。

【0068】

図１４は、各画素に映り込む色が加えられたときのフレームバッファに描画される画像の一例を示す図である。

【0069】

図１４に示されるように、画素ＲＰａに対して、上述のように算出された衝突位置ＣＰａの画素の色が加えられる。円柱オブジェクト３４の手前側の領域（仮想カメラ側の領域）に含まれる各画素に対して同様の処理が行われることで、円柱オブジェクト３４の映り込み５４がフレームバッファに描画される。また、画素ＲＰｂに対して、衝突位置ＣＰｂの画素の色が加えられる。木オブジェクト３２の手前側の領域に含まれる各画素に対して同様の処理が行われることで、木オブジェクト３２の映り込み５２がフレームバッファに描画される。一方、画素ＲＰｃについては、衝突位置は算出されない。山オブジェクト３６の手前側の領域に含まれる各画素に対して処理が行われる場合も同様である。このため、山オブジェクト３６の映り込みはフレームバッファには描画されない。

【0070】

このように、本実施形態では、複数のオブジェクトについて第１デプステストを行った結果を第１デプスバッファに記憶し、複数のオブジェクトのうちの特定のオブジェクトについて第２デプステストを行った結果を第２デプスバッファに記憶する。トレース距離がＬａ未満のときは、第１デプスバッファに基づいてレイの衝突判定を行い、トレース距離がＬａ以上、かつ、最大距離Ｌｂ以下のときは、第２デプスバッファに基づいてレイの衝突判定を行う。これにより、ＳＳＲを用いて、複数のオブジェクトのうちの特定のオブジェクトについては、仮想カメラから離れている場合でも、映り込みを表示させ、特定のオブジェクト以外のオブジェクトについては、映り込みを表示させないようにすることができる。映り込ませたいオブジェクトを特定のオブジェクトに指定することで、所望のオブジェクトを例えば地面に映り込ませることができる。逆に、映り込ませたくないオブジェクトを特定のオブジェクトに指定しないことで、所望のオブジェクトを、映り込ませないようにすることができる。

【0071】

また、第１デプスバッファに基づいてレイの衝突位置が算出された場合と、第２デプスバッファに基づいてレイの衝突位置が算出された場合とで、衝突位置の画素の色を着目画素に映り込ませる際のパラメータを異ならせる。これにより、例えば、特定のオブジェクトをより濃く、はっきりと映り込ませることができる。

【0072】

（反射方向の補正）
次に、反射方向の補正について説明する。上述のように、仮想カメラＶＣから反射位置に向かう方向が入射方向として算出され、当該入射方向と反射位置の法線方向とに基づいて、反射方向が算出される。本実施形態では、補正条件が満たされる場合に、反射方向を補正した方向が、レイトレース方向として設定される。補正条件が満たされない場合、反射方向が、レイトレース方向として設定される。以下、反射方向が補正される補正条件、及び、補正の方法について具体的に説明する。

【0073】

図１５は、反射方向を補正したレイトレース方向の一例を示す図である。図１５に示されるように、例えば、画面の左端に近い着目画素（反射位置ＲＰ１）についてレイトレースが行われる場合、入射方向と法線方向とに基づいて算出される反射方向ＲＤ１が補正され、補正後の方向が、レイトレース方向ＲＴＤ１として設定される。また、反射位置ＲＰ１よりも画面の右側にある着目画素（反射位置ＲＰ２）についてレイトレースが行われる場合も、反射方向ＲＤ２が補正され、補正後の方向が、レイトレース方向ＲＴＤ２として設定される。

【0074】

補正条件は、反射位置に関する条件と、反射方向に関する条件の両方が成立する場合に、満たされる。反射位置に関する条件は、反射位置が画面の端から所定範囲にあることである。また、反射方向に関する条件は、反射方向が画面の外側を向いていることである。反射位置に関する条件、及び、反射方向に関する条件のうち一方が成立しない場合、補正条件は満たされず、反射方向は補正されない。例えば、反射位置が画面の左端から画面の左右方向の長さの１／４までの範囲にあり、かつ、反射方向が画面の左方向を向いている場合、補正条件が満たされる。また、反射位置が画面の右端から１／４までの範囲にあり、かつ、反射方向が画面の右方向を向いている場合、補正条件が満たされる。

【0075】

画面の左端に近い反射位置ＲＰ１の方が、反射位置ＲＰ２よりも補正の度合いが大きい。具体的には、反射位置のスクリーン座標系のＳｘ軸方向における位置に基づいて、補正の度合いＣＲが決定される。反射位置のＳｘ軸方向における位置が、画面の左端又は右端に近いほど、補正の度合いＣＲが大きくなる。また、スクリーン座標系における反射方向とＳｙ軸方向との角度が大きいほど、補正の度合いＣＲは小さくなる。

【0076】

図１６は、反射方向に対する補正の詳細を説明するための図である。図１６に示されるように、例えば、反射方向ＲＤと画面の上方向（Ｓｙ軸方向）との角度が４５度以下である場合、補正の度合いＣＲは、反射位置ＲＰのＳｘ座標値に応じた値ＣＲ（Ｓｘ）に設定される。ＣＲ（Ｓｘ）は、例えば、０～１の範囲で設定され、反射位置が画面の左端又は右端に近いほど大きくなる。反射方向ＲＤと画面の上方向との角度が４５度を超える場合、その超えた角度に応じて、反射位置ＲＰのＳｘ座標値に応じた値ＣＲ（Ｓｘ）が小さくなる。反射方向ＲＤと画面の上方向との角度が閾値（例えば、６０度～６５度）を超える場合、補正の度合いＣＲは、「０」に設定される。

【0077】

補正の度合いＣＲに応じて、反射方向に、画面内側向きの補正が加えられる。具体的には、仮想空間における反射位置ＲＰから反射方向ＲＤに最大距離Ｌｂだけ進んだ位置をスクリーン座標系に変換した位置が、レイトレース終了位置ＥＰとして算出される。このレイトレース終了位置ＥＰのＳｘ座標値が、補正の度合いＣＲに応じて、画面の内側方向に移動するように補正される。例えば、線形補完により、レイトレース終了位置ＥＰのＳｘ座標値が、反射位置ＲＰのＳｘ座標値に近づくように補正される。例えば、反射位置ＲＰが画面の左端から所定範囲に位置している場合、レイトレース終了位置ＥＰは、補正の度合いＣＲに応じて、右方向（Ｓｘ軸正方向）に移動される。レイトレース終了位置ＥＰのＳｘ座標値は、反射位置ＲＰのＳｘ座標値を超えて移動されない。また、レイトレース終了位置ＥＰのＳｙ座標値については、補正前後で変化しない。そして、反射位置ＥＰから、移動後のレイトレース終了位置ＥＰ‘に向かう方向が、レイトレース方向ＲＴＤとして算出される。

【0078】

このように、画面の端に近い領域においては、反射方向を補正した方向がレイトレース方向として算出される。これにより、画面の端において、ＳＳＲによる映り込みを生成することができる。例えば、図１５に示されるように、画面の左端にある位置ＲＰ１の画素について、反射方向ＲＤ１にレイトレースが行われる場合、レイの衝突位置が画面の外側になる場合があり、衝突位置の画素の色を、位置ＲＰ１の画素に加えることができない。このため、反射方向に対して補正が行われない場合は、画面の端の部分が、他の部分と異なる色になってしまい、違和感のある画像になってしまう場合がある。

【0079】

本実施形態では、入射方向と法線方向とに基づく反射方向が補正され、補正後の方向がレイトレース方向として設定されるため、レイの衝突位置を画面内に収め易くすることができ、レンダリングした画像に基づいて映り込みを生成することができる。レイトレース終了位置ＥＰのＳｘ座標値は、反射位置ＲＰのＳｘ座標値に近づくように移動される。このため、画面の外側を向く反射方向が、最大の補正が行われても、画面の内側を向く方向とはならず、画面の上方向となる。したがって、例えば、画面の左端の位置の画素に、それよりも右側の画素の色が映り込まない。これにより、不自然にオブジェクトが歪められて地面に映り込むことを防止することができる。

【0080】

また、本実施形態では、反射位置が画面の端に近いほど補正の度合いが大きくなる。このため、画面の端の近傍でも、画面内の画素に基づいて映り込みを生成することができる。

【0081】

また、例えば、反射方向が画面の内側を向いている場合において、反射方向が補正された場合、実際の映り込みとはかけ離れた映り込みになることがある。本実施形態では、反射方向が画面の外側を向いていない場合、反射方向の補正は行われないため、実際の映り込みとかけ離れた映り込みが生成されることを防止することができる。

【0082】

また、反射方向と画面の上方向との角度が比較的大きい場合（例えば４５度を超える場合）、補正の度合いＣＲは小さくなる。反射方向と画面の上方向との角度が閾値を超えると、補正の度合いが０になる。これにより、例えば、地面が斜面になっている場合に、補正の度合いが大きすぎて不自然な映り込みが生成されることを防止することができる。また、反射方向が横方向となる壁面への映り込みに対する補正を抑制することができる。

【0083】

また、本実施形態では、反射方向の補正は、スクリーン座標系における左右方向の成分についてのみ行われる。このため、例えば、画面の左右方向に仮想空間が広がり、横方向にスクロールされるゲームに適している。

【0084】

（キャラクタオブジェクトの映り込みの生成）
次に、キャラクタオブジェクト４１及び４３の映り込みを生成する方法について説明する。図１７は、円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在しないときのゲーム画像の一例を示す図である。図１８は、キャラクタオブジェクト４１が移動し、円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在するときのゲーム画像の一例を示す図である。

【0085】

図１７に示されるように、円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在しない場合、例えば、手前側の反射位置ＲＰｄからレイトレースが行われ、衝突位置ＣＰｄが算出され、当該衝突位置ＣＰｄの色が、反射位置ＲＰｄの色に加えられる。各画素に対して同様の処理が行われることで、円柱オブジェクト３４の映り込み５４が表示される。

【0086】

一方、図１８では、円柱オブジェクト３４の手前側にキャラクタオブジェクト４１が存在し、図１７と同じ位置ＣＰｄにキャラクタオブジェクト４１の頭部が存在する。この場合、反射位置ＲＰｄの画素には、図１７に示す円柱オブジェクト３４の衝突位置ＣＰｄの画素の色を加えることができず、反射位置ＲＰｄには円柱オブジェクト３４の一部が映り込まない。このように、例えば、キャラクタオブジェクト４１が円柱オブジェクト３４の手前に位置するときは、本来の各オブジェクトの位置関係に応じた自然な映り込みを表現することができない場合がある。

【0087】

本実施形態では、キャラクタオブジェクト及びその奥側にあるオブジェクトの映り込みを表示するために、図１９に示す方法で画像処理が行われる。図１９は、キャラクタオブジェクト及びその奥側にあるオブジェクトの映り込みを生成するための画像処理の概要を示す図である。

【0088】

図１９に示されるように、プロセッサ８１は、まず、キャラクタオブジェクト以外のオブジェクトのレンダリングを行う（ステップＳ１０）。ここでは、仮想空間に配置された複数のオブジェクト３０、３２、３４、３６をフレームバッファに描画する処理が行われる。ステップＳ１０の処理は、図５のステップＳ１～Ｓ２の処理である。

【0089】

次に、プロセッサ８１は、キャラクタオブジェクトを別バッファにレンダリングして、当該レンダリングした画像をテクスチャとして設定したキャラクタ平面を作成する（ステップＳ１１）。

【0090】

図２０は、ステップＳ１１で作成されるキャラクタ平面の一例を示す図である。図２０に示されるように、キャラクタオブジェクト４１が別バッファにレンダリングされ、当該キャラクタオブジェクト４１をレンダリングした画像が、２次元の平面オブジェクトにテクスチャとして設定されることにより、キャラクタ平面６５が作成される。同様に、キャラクタオブジェクト４３をレンダリングした画像をテクスチャとして設定したキャラクタ平面６６が作成される。本実施形態では、各キャラクタオブジェクトをレンダリングした画像が、毎フレーム生成される。なお、各キャラクタオブジェクトをレンダリングした画像は、予め用意されてもよい。例えば、キャラクタオブジェクト４１の各アクションに応じた画像が予め記憶媒体に記憶され、当該予め記憶された画像をテクスチャとして設定したキャラクタ平面６５が作成されてもよい。

【0091】

次に、プロセッサ８１は、キャラクタオブジェクト以外のオブジェクトの映り込みの色を算出する（ステップＳ１２）。ここでは、仮想空間に配置された複数のオブジェクト３０、３２、３４、３６について、映り込みの色が算出される。具体的には、プロセッサ８１は、上述した図５のステップＳ３～Ｓ５の処理を行う。この時点では、キャラクタオブジェクトはフレームバッファに描画されていないため、仮想空間において仮想カメラＶＣから見てオブジェクトの手前側にキャラクタオブジェクトが存在する場合であっても、当該オブジェクトの映り込みの色を算出することができる。算出されたキャラクタオブジェクト以外のオブジェクトの映り込みの色（以下では、「第１の映り込みの色」という）は、映り込みバッファに記憶される。例えば、映り込みバッファには、第１の映り込みの色を示す色情報として、ＲＧＢ値とアルファ値とが記憶される。

【0092】

次に、プロセッサ８１は、キャラクタの映り込みの色を算出する（ステップＳ１３）。ここでは、プロセッサ８１は、ステップＳ１１で作成されたキャラクタ平面を仮想空間に配置したときのキャラクタオブジェクトの映り込みの色を算出する。

【0093】

図２１は、ステップＳ１３におけるキャラクタの映り込みの色の算出について説明するための図である。図２１に示されるように、プロセッサ８１は、仮想空間におけるキャラクタオブジェクト４１の位置及び姿勢に応じてキャラクタ平面６５を仮想空間に配置したときの当該キャラクタ平面６５とレイとの交差位置を算出する。具体的には、プロセッサ８１は、キャラクタ平面６５を仮想空間に配置したときのデプスを計算し、反射位置ＲＰｅからレイトレース方向ＲＴＤｅに向かうレイとキャラクタ平面６５との交差位置ＣＲＰｅを算出する。交差位置ＣＲＰｅにおける画素の色が、キャラクタの映り込みの色（以下では、「第２の映り込みの色」という）として算出される。ここで、キャラクタ平面６５のうち、キャラクタオブジェクト４１の画像以外の部分については透明に設定され、レイと交差しない。例えば、反射位置ＲＰｆからレイトレース方向ＲＴＤｆに向かうレイは、キャラクタ平面６５のうちのキャラクタオブジェクト４１の画像とは交差しない。この場合、交差位置は算出されない。算出された第２の映り込みの色は、映り込みバッファに記憶される。例えば、映り込みバッファには、第２の映り込みの色を示す色情報として、ＲＧＢ値とアルファ値とが記憶される。

【0094】

図１９に戻り、プロセッサ８１は、次に、ステップＳ１２の結果とステップＳ１３の結果とに基づいて、着目画素に映り込む色を算出する（ステップＳ１４）。例えば、第１の映り込みの色に、第２の映り込みの色が加えられることにより、着目画素に映り込む色が算出される。ここで、「第１の色に第２の色を加える」とは、２つの色を混合することであってもよい。例えば、「第１の色に第２の色を加える」とは、第１の色を背景色とし、第２の色を前景色とするアルファブレンドを行うことであってもよい。また、「第１の色に第２の色を加える」とは、第２の色を背景色とし、第１の色を前景色とするアルファブレンドを行うことであってもよい。また、「第１の色に第２の色を加える」とは、第１の色と第２の色とをそれぞれのアルファ値に基づいて混合することであってもよい。また、「第１の色に第２の色を加える」とは、第２の色が第１の色よりも優先され、第１の色に第２の色を上塗りすることであってもよい。

【0095】

次に、プロセッサ８１は、ステップＳ１４で算出した結果をフレームバッファにレンダリングする（ステップＳ１５）。ここでは、プロセッサ８１は、フレームバッファに記憶された着目画素の色に、ステップＳ１４で算出した映り込む色を加える。例えば、プロセッサ８１は、着目画素の色を背景色とし、ステップＳ１４で算出した映り込む色を前景色としたアルファブレンドを行う。これにより、フレームバッファに、キャラクタオブジェクト及びキャラクタオブジェクト以外のオブジェクトの映り込みが描画される。

【0096】

ステップＳ１５の処理が行われた後、プロセッサ８１は、キャラクタオブジェクト４１及び４３をフレームバッファにレンダリングする（ステップＳ１６）。これにより、図２２に示されるようなゲーム画像が生成されて表示装置に表示される。

【0097】

図２２は、図１９の画像処理が行われた場合に表示されるゲーム画像の一例を示す図である。図２２に示されるように、木オブジェクト３２及びその映り込み５２が表示される。また、キャラクタオブジェクト４３及びその映り込み６３も表示される。また、円柱オブジェクト３４及びその映り込み５４が表示される。円柱オブジェクト３４の手前側にはキャラクタオブジェクト４１が存在し、キャラクタオブジェクト４１及びその映り込み６１が表示される。円柱オブジェクト３４の映り込み５４と、キャラクタオブジェクト４１の映り込み６１とは一部が重なるが、これらは何れも実際の形状および位置関係に応じた形状となり、自然な映り込みを表現することができる。

【0098】

本実施形態では、キャラクタオブジェクトは平たい形状のオブジェクトである。上述のように、キャラクタオブジェクトの画像をテクスチャとして設定したキャラクタ平面に基づいて、キャラクタオブジェクトの映り込みを生成する場合、キャラクタオブジェクトの映り込みが平面的に見えてしまう。キャラクタオブジェクト自体がある程度の厚さを有する立体的なオブジェクトである場合、その映り込みが平面的に見えると違和感のある画像になる可能性があるが、本実施形態では、キャラクタオブジェクト自体が平たい形状のオブジェクトであるため、違和感のない画像とすることができる。

【0099】

（画像処理の詳細）
次に、上述した画像処理の詳細について説明する。まず、本体装置２のメモリ（プロセッサ８１内のメモリ、ＤＲＡＭ８５、フラッシュメモリ８４、又は外部記憶媒体等）に記憶されるデータについて説明する。図２３は、本体装置２のメモリに記憶されるデータの一例を示す図である。

【0100】

図２３に示されるように、本体装置２のメモリには、プログラムと、操作データと、オブジェクトデータと、キャラクタデータと、キャラクタ平面データとが記憶される。また、本体装置２のメモリには、第１デプスバッファと、第２デプスバッファと、法線バッファと、映り込みバッファと、フレームバッファとが記憶される。

【0101】

プログラムは、後述するメイン処理を実行するためのプログラムであり、上述した映り込みに関する画像処理を行う画像処理プログラムを含む。プログラムは、スロット２３に装着される外部記憶媒体又はフラッシュメモリ８４に予め記憶されており、ゲームの実行時にＤＲＡＭ８５に読み込まれる。なお、プログラムは、ネットワーク（例えばインターネット）を介して他の装置から取得されてもよい。

【0102】

操作データは、左コントローラ３及び右コントローラ４から取得された操作に関するデータである。例えば、操作データは、左コントローラ３及び右コントローラ４から所定の時間間隔（例えば、１／２００秒間隔）で本体装置２に送信され、メモリに記憶される。

【0103】

オブジェクトデータは、仮想空間に配置されたキャラクタオブジェクト以外の各オブジェクト（３０、３２、３４、３６）に関するデータである。オブジェクトデータは、各オブジェクトの仮想空間における位置や姿勢に関するデータと、形状に関するデータと、テクスチャに関するデータとを含む。また、オブジェクトデータは、各オブジェクトが特定のオブジェクトとして設定されているか否かに関する情報を含む。例えば、木オブジェクト３２及び円柱オブジェクト３４は、特定のオブジェクトとして設定される。一方、山オブジェクト３６は、特定のオブジェクトとして設定されない。

【0104】

キャラクタデータは、キャラクタオブジェクト４１，４３に関するデータである。キャラクタデータは、各キャラクタの仮想空間における位置や姿勢に関するデータと、形状に関するデータと、テクスチャに関するデータとを含む。本実施形態では、各キャラクタオブジェクトは、３Ｄモデルとして形成されているが、上下左右方向に比べて厚さ方向が薄い平面的なオブジェクトとして形成されている。

【0105】

キャラクタ平面データは、２次元のオブジェクトであり、キャラクタオブジェクトをレンダリングした画像をテクスチャとして設定した平面オブジェクトに関するデータである。キャラクタ平面データは、キャラクタオブジェクト４１の画像をテクスチャとして設定したキャラクタ平面６５に関するデータと、キャラクタオブジェクト４３の画像をテクスチャとして設定したキャラクタ平面６６に関するデータとを含む。

【0106】

第１デプスバッファは、第１デプステストの結果に基づいて生成・更新される画素毎のデプス値を記憶したバッファである。第１デプスバッファには、仮想カメラＶＣの撮像範囲に含まれるキャラクタオブジェクト以外の全てのオブジェクトのデプス値が記憶される。

【0107】

第２デプスバッファは、第２デプステストの結果に基づいて生成・更新される画素毎のデプス値を記憶したバッファである。第２デプスバッファには、仮想カメラＶＣの撮像範囲に含まれる特定のオブジェクトのデプス値が記憶される。

【0108】

法線バッファは、各画素の法線情報を記憶したバッファである。

【0109】

映り込みバッファは、上記第１の映り込みの色（キャラクタオブジェクト以外のオブジェクトの映り込みの色）及び上記第２の映り込みの色（キャラクタオブジェクトの映り込みの色）を記憶するためのバッファである。映り込みバッファには、後述するレイトレース処理において、レイがキャラクタオブジェクト以外のオブジェクトと衝突した場合に、第１の映り込みの色が記憶され、レイとキャラクタ平面とが交差する場合に、第２の映り込みの色が記憶される。詳細は後述するが、映り込みバッファには、複数の映り込みの色が記憶される場合がある。

【0110】

フレームバッファは、表示されるゲーム画像を格納するバッファである。フレームバッファに記憶された画像が、所定のタイミングで表示装置に出力され、表示装置において表示される。

【0111】

（本体装置２におけるゲーム処理の詳細）
次に、図２４から図２７を参照して、本体装置２において行われる処理の詳細について説明する。図２４は、本体装置２のプロセッサ８１によって実行されるメイン処理の一例を示すフローチャートである。図２４から図２７に示す処理は、プロセッサ８１のＣＰＵ又はＧＰＵによって行われる。

【0112】

図２４に示されるように、プロセッサ８１は、まず、初期処理を実行する（ステップＳ１００）。具体的には、プロセッサ８１は、３次元の仮想空間を設定し、仮想空間に各オブジェクト（３０、３２、３４、３６）、各キャラクタオブジェクト（４１，４３）、仮想カメラＶＣ、光源、その他のゲームに用いられる各種オブジェクトを配置する。プロセッサ８１は、初期処理を実行した後、次のステップＳ１０１～ステップＳ１０８の処理を所定のフレーム時間間隔（例えば、１／６０秒間隔）で繰り返し実行する。

【0113】

ステップＳ１０１において、プロセッサ８１は、コントローラからの操作データを取得する。

【0114】

次に、プロセッサ８１は、取得した操作データに基づいて、ゲーム処理を行う（ステップＳ１０２）。例えば、プロセッサ８１は、操作データに基づいて、キャラクタオブジェクト４１を仮想空間内で移動させたり、キャラクタオブジェクト４１に所定のアクション（例えば、ジャンプアクション、攻撃アクション等）を行わせたりする。また、プロセッサ８１は、所定のアルゴリズムに従ってキャラクタオブジェクト４３を仮想空間内で移動させたり、キャラクタオブジェクト４３に所定のアクションを行わせたりする。また、プロセッサ８１は、キャラクタオブジェクト以外の敵オブジェクトを仮想空間内で制御したり、キャラクタオブジェクトの障害となる障害オブジェクトを仮想空間内で移動させたりする。

【0115】

次に、プロセッサ８１は、キャラクタオブジェクト以外のオブジェクトのレンダリング処理を行う（ステップＳ１０３）。具体的には、プロセッサ８１は、仮想カメラＶＣの撮像範囲に含まれるキャラクタオブジェクト４１、４３以外の各オブジェクトについて、第１デプステストを行い、第１デプスバッファを更新する。また、プロセッサ８１は、第１デプスバッファに記憶されたデプスに基づいて、各オブジェクトをフレームバッファに描画する。本実施形態では、レンダリングの方法としてディファードレンダリングが用いられる。ステップＳ１０３では、法線バッファの更新も行われる。なお、レンダリングの方法としてフォワードレンダリングが用いられてもよい。

【0116】

次に、プロセッサ８１は、キャラクタオブジェクトを別バッファにレンダリングして、キャラクタ平面を作成する（ステップＳ１０４）。具体的には、プロセッサ８１は、キャラクタオブジェクト４１を別バッファにレンダリングし、当該別バッファにレンダリングされたキャラクタオブジェクト４１の画像をテクスチャとして平面オブジェクトに設定することにより、キャラクタ平面６５を作成する。また、プロセッサ８１は、同様に、キャラクタオブジェクト４３の画像をテクスチャとして平面オブジェクトに設定したキャラクタ平面６６を作成する。

【0117】

ステップＳ１０４の後、プロセッサ８１は、ＳＳＲ処理を行う（ステップＳ１０５）。ＳＳＲ処理は、キャラクタオブジェクトを含む全てのオブジェクトの映り込みをフレームバッファに描画するための処理である。以下、ＳＳＲ処理の詳細について説明する。

【0118】

（ＳＳＲ処理）
図２５は、ステップＳ１０５のＳＳＲ処理の一例を示すフローチャートである。

【0119】

図２５に示されるように、プロセッサ８１は、特定のオブジェクトに対して第２デプステストを行い、第２デプスバッファを更新する（ステップＳ１２１）。例えば、プロセッサ８１は、予め特定のオブジェクトとして設定された木オブジェクト３２及び円柱オブジェクト３４に対して、デプステストを行い、第２デプスバッファを更新する。なお、特定のオブジェクトの設定は、メッシュ単位で行われる。

【0120】

次に、プロセッサ８１は、レイトレース処理を行う（ステップＳ１２２）。レイトレース処理は、各着目画素に対して行われる。ここでは、各着目画素への映り込みの色が算出される。なお、レイトレース処理は、全ての画素について行われてもよいし、特定の範囲の画素についてのみ行われてもよい。たとえば、モデルが描画されていない部分、モデルやメッシュ単位でＳＳＲが無効に設定されている部分、法線方向が特定の範囲外の部分等を除外することで負荷を軽減するようにしてもよい。以下、レイトレース処理の詳細について説明する。

【0121】

（レイトレース処理）
図２６は、ステップＳ１２２のレイトレース処理の一例を示すフローチャートである。

【0122】

図２６に示されるように、プロセッサ８１は、着目画素の仮想空間における位置を反射位置として算出し、反射方向を算出する（ステップＳ１３１）。具体的には、プロセッサ８１は、着目画素のスクリーン座標系における位置と、第１デプスバッファに記憶された着目画素のデプスとに基づいて、着目画素の仮想空間における位置を、反射位置として算出する。また、プロセッサ８１は、仮想カメラＶＣの位置から反射位置に向かう方向を入射方向とし、当該入射方向と反射位置の法線方向とに基づいて、反射方向を算出する。

【0123】

次に、プロセッサ８１は、算出した反射方向、又は、反射方向を補正した方向をレイトレース方向として設定する（ステップＳ１３２）。ここでは、補正条件が満たされる場合は、反射方向を補正した方向がレイトレース方向として設定され、補正条件が満たされない場合は、反射方向がレイトレース方向として設定される。また、レイトレース終了位置が設定される。補正条件および補正の方法については、上述した通りである。

【0124】

ステップＳ１３２の後、プロセッサ８１は、判定用デプスバッファとして第１デプスバッファを設定し、着目画素からレイトレースを開始する（ステップＳ１３３）。レイトレースはスクリーン座標系で行われる。次に、プロセッサ８１は、レイを所定距離進める（ステップＳ１３４）。

【0125】

続いて、プロセッサ８１は、トレース距離が最大距離Ｌｂを超えたか否かを判定する（ステップＳ１３５）。具体的には、プロセッサ８１は、スクリーン座標系におけるレイの先端がレイトレース終了位置に到達したか否かを判定する。

【0126】

トレース距離がＬｂを超えたと判定した場合（ステップＳ１３５：ＹＥＳ）、プロセッサ８１は、次にステップＳ１４１の処理を行う。

【0127】

一方、トレース距離がＬｂ以下である場合（ステップＳ１３５：ＮＯ）、プロセッサ８１は、レイがオブジェクトと衝突したか否かを判定する（ステップＳ１３６）。具体的には、プロセッサ８１は、判定用デプスバッファを用いて、レイの先端がオブジェクトと衝突したか否かを判定する。

【0128】

レイがオブジェクトと衝突していないと判定した場合（ステップＳ１３６：ＮＯ）、プロセッサ８１は、トレース距離がＬａ以上か否かを判定する（ステップＳ１３７）。

【0129】

トレース距離がＬａ以上である場合（ステップＳ１３７：ＹＥＳ）、プロセッサ８１は、判定用デプスバッファを第２デプスバッファに変更し（ステップＳ１３８）、再びステップＳ１３４の処理を実行する。一方、トレース距離がＬａ未満である場合（ステップＳ１３７：ＮＯ）、プロセッサ８１は、判定用デプスバッファを維持したまま、ステップＳ１３４の処理を再び実行する。

【0130】

一方、レイがオブジェクトと衝突したと判定した場合（ステップＳ１３６：ＹＥＳ）、プロセッサ８１は、レイの衝突位置の色から第１の映り込みの色を算出する（ステップＳ１３９）。例えば、プロセッサ８１は、フレームバッファに記憶された衝突位置の画素の色を第１の映り込みの色として算出してもよいし、衝突位置の画素の色に所定の処理を加えた色を第１の映り込みの色として算出してもよい。第１デプスバッファに基づいて衝突したと判定された場合と第２デプスバッファに基づいて衝突したと判定された場合とで、第１の映り込みの色が異なる。例えば、判定用デプスバッファとして第１デプスバッファが設定されている場合、トレース距離に応じて、衝突位置の画素の色を薄く変化させ（アルファ値を小さくし）、当該変化させた色を第１の映り込みの色として算出してもよい。また、判定用デプスバッファとして第２デプスバッファが設定されている場合、トレース距離に関わらず、衝突位置の画素の色を、第１の映り込みの色として算出してもよい。また、判定用デプスバッファとして第２デプスバッファが設定されている場合、トレース距離に応じて衝突位置の画素の色を薄く変化させるが、判定用デプスバッファとして第１デプスバッファが設定されている場合よりは濃くなるように変化させ、当該変化させた色を、第１の映り込みの色として算出してもよい。そして、プロセッサ８１は、算出した第１の映り込みの色を映り込みバッファに記憶する。ここで、第１デプスバッファに基づいてレイが衝突したと判定された場合に映り込みバッファに記憶される第１の映り込みの色を、「第１の映り込みの色（第１デプスバッファ）」と表記する。また、第２デプスバッファに基づいてレイが衝突したと判定された場合に映り込みバッファに記憶される第１の映り込みの色を、「第１の映り込みの色（第２デプスバッファ）」と表記する。

【0131】

次に、プロセッサ８１は、判定用デプスバッファが第１デプスバッファであり、かつ、ステップＳ１３９で算出した第１の映り込みの色が半透明か否かを判定する（ステップＳ１４０）。例えば、トレース距離がＬａ以下であり、かつ、第１の映り込みの色が半透明である場合は、さらに奥側にレイトレースが行われる。半透明であるということは、映り込みのアルファ値が１．０未満であるということであるが、アルファ値は距離Ｌａ、衝突位置、その他各種パラメータに基づいて独自に算出される。

【0132】

ステップＳ１４０でＮＯと判定した場合、プロセッサ８１は、ステップＳ１４１に処理を進める。ステップＳ１４０でＹＥＳと判定した場合、プロセッサ８１は、ステップＳ１３８に処理を進める。

【0133】

ステップＳ１４１において、プロセッサ８１は、キャラクタオブジェクトの映り込みの色（第２の映り込みの色）を算出する。以下、ステップＳ１４１の処理の詳細について説明する。

【0134】

図２７は、ステップＳ１４１におけるキャラクタの映り込みの色の算出処理の一例を示すフローチャートである。

【0135】

図２７に示されるように、プロセッサ８１は、レイとキャラクタ平面との交差位置を算出する（ステップＳ１５１）。具体的には、プロセッサ８１は、キャラクタ平面をキャラクタオブジェクトの仮想空間における位置及び姿勢に応じて配置したときのデプスを算出し、上記レイトレースに用いられたレイと、キャラクタ平面とが交差するか否かを判定する。レイがキャラクタ平面と交差する場合、プロセッサ８１は、その交差位置を算出する。

【0136】

次に、プロセッサ８１は、交差位置の色を第２の映り込みの色として映り込みバッファに記憶する（ステップＳ１５２）。具体的には、プロセッサ８１は、交差位置に対応するキャラクタオブジェクトのテクスチャ画像の画素の色に基づく色を、第２の映り込みの色として記憶する。なお、第２の映り込みの色は、キャラクタオブジェクトのテクスチャ画像の画素の色であってもよいし、当該画素の色に所定の処理を加えて算出した色であってもよい。プロセッサ８１は、ステップＳ１５２の処理を行った場合、図２７に示す処理を終了し、処理を図２６に戻す。なお、レイが複数のキャラクタ平面と交差する場合、複数の第２の映り込みの色が映り込みバッファに記憶される。この場合、複数の第２の映り込みの色は、交差位置が仮想カメラに近い順に、映り込みバッファに記憶されてもよい。

【0137】

ステップＳ１３９及びステップＳ１５２の処理が行われることにより、映り込みバッファには、０から複数の映り込みの色が記憶される。例えば、映り込みバッファには、レイの衝突位置又は交差位置に応じた映り込みの色が、仮想カメラに近い順に、記憶されてもよい。例えば、トレース距離がＬａ未満である第１の位置でレイが衝突したと判定され、かつ、トレース距離がＬａ以上Ｌｂ未満である第２の位置でレイが衝突したと判定された場合において、第１の位置と第２の位置との間でレイがキャラクタ平面と交差する場合、映り込みバッファには、仮想カメラから近い順に、第１の映り込みの色（第１デプスバッファ）、第２の映り込みの色、第１の映り込みの色（第２デプスバッファ）が記憶される（図２３参照）。なお、レイが何れのオブジェクトとも衝突せず、キャラクタ平面とも交差しない場合、映り込みバッファには、映り込みの色は記憶されない。

【0138】

図２６に戻り、プロセッサ８１は、ステップＳ１４１の処理の後、映り込みバッファに記憶された映り込みの色に基づいて、着目画素に映り込む色を算出する（ステップＳ１４２）。映り込みバッファに複数の映り込みの色が記憶されている場合、プロセッサ８１は、仮想カメラから遠い順に複数の映り込みの色をアルファブレンドすることで、着目画素に映り込む色を算出してもよい。例えば、図２３に示されるように、映り込みバッファに、仮想カメラから近い順に、第１の映り込みの色（第１デプスバッファ）、第２の映り込みの色、第１の映り込みの色（第２デプスバッファ）が記憶されている場合、プロセッサ８１は、第１の映り込みの色（第２デプスバッファ）に第２の映り込みの色をアルファブレンドした色を算出し、さらにその算出した色に第１の映り込みの色（第１デプスバッファ）をアルファブレンドすることにより、着目画素に映り込む色を算出してもよい。また、例えば、映り込みバッファにおいて、仮想カメラに近い順に、第２の映り込みの色、第１の映り込みの色が記憶されている場合（すなわち、仮想カメラから見てキャラクタの手前側にオブジェクトが存在せず、かつ、キャラクタの奥側にオブジェクトが存在する場合）、プロセッサ８１は、第１の映り込みの色に第２の映り込みの色をアルファブレンドすることで、着目画素に映り込む色を算出してもよい。例えば、手前側の第２の映り込みの色が不透明である場合、着目画素に映り込む色として、第２の映り込みの色が設定される。また、手前側の第２の映り込みの色が半透明である場合、着目画素に映り込む色として、第１の映り込みの色と第２の映り込みの色とをブレンドした色が算出される。プロセッサ８１は、算出した映り込む色をメモリに記憶する。

【0139】

ステップＳ１４２の処理を行った場合、プロセッサ８１は、図２６の処理を終了し、処理を図２５に戻す。

【0140】

図２５に戻り、ステップＳ１２２の後、プロセッサ８１は、レイトレース処理の結果に基づいて、フレームバッファへのレンダリングを行う（ステップＳ１２３）。例えば、プロセッサ８１は、フレームバッファに記憶された着目画素の色に、ステップＳ１４２で算出された映り込む色を加える。これにより、着目画素の色に、ステップＳ１４２で算出された映り込む色が反映される。

【0141】

次に、プロセッサ８１は、全画素についてステップＳ１２２及びＳ１２３の処理を行ったか否かを判定する（ステップＳ１２４）。プロセッサ８１は、ステップＳ１２４でＮＯと判定した場合、ステップＳ１２２の処理を再び実行する。全画素についてステップＳ１２２及びＳ１２３の処理が行われることにより、仮想空間に配置されたキャラクタオブジェクト以外のオブジェクトの映り込み（５２、５４）と、キャラクタオブジェクトの映り込み（６１、６３）とがフレームバッファに描画される。プロセッサ８１は、ステップＳ１２４でＹＥＳと判定した場合、図２５の処理を終了し、処理を図２４に戻す。

【0142】

図２４に戻り、ステップＳ１０５の後、プロセッサ８１は、キャラクタオブジェクト４１及び４３をフレームバッファにさらにレンダリングする（ステップＳ１０６）。

【0143】

次に、プロセッサ８１は、フレームバッファに記憶された画像を表示装置に出力する（ステップＳ１０７）。これにより、ゲーム画像が表示される。

【0144】

次に、プロセッサ８１は、ゲームを終了するか否かを判定する（ステップＳ１０８）。例えば、プレイヤによってゲームの終了が指示された場合、プロセッサ８１は、図２４に示すゲーム処理を終了する。プロセッサ８１は、ゲームを終了しないと判定した場合（ステップＳ１０８：ＮＯ）、ステップＳ１０１の処理を再び実行する。以上で、図２４に示すメイン処理の説明を終了する。

【0145】

なお、上記フローチャートにおける処理の順番、内容、判定に用いられた値等は単なる一例であり、これらは適宜変更されてもよい。

【0146】

以上のように、本実施形態では、トレース距離がＬａ未満である場合は、第１デプスバッファに基づいてレイの衝突判定が行われ、トレース距離がＬａ以上である場合は、第２デプスバッファに基づいてレイの衝突判定が行われる（ステップＳ１３５～ステップＳ１４０）。これにより、特定のオブジェクトについてトレース距離が長い場合であっても映り込みを表示させることができる。また、特定のオブジェクト以外のオブジェクトについては、映り込みを表示させないようにすることができ、所望のオブジェクトを映り込ませたり、映り込ませないようにしたりすることができる。また、第１デプスバッファ及び第２デプスバッファに基づいて映り込みを生成し、第１デプスバッファに基づく場合はトレース距離に応じて映り込みの色の薄くすることにより、特定のオブジェクトについては大きくはっきりと映り込ませ、それ以外のオブジェクトについては、小さく映り込ませることができる。

【0147】

また、本実施形態では、着目画素（反射位置）が画面の端に近い場合、入射方向と反射位置における法線方向とに基づく反射方向を補正した方向が、レイトレース方向として設定される（ステップＳ１３２）。これにより、フレームバッファに描画された画素に基づいて映り込みの色を算出することができ、画面の端であっても映り込みを生成することができる。

【0148】

また、本実施形態では、キャラクタオブジェクト以外のオブジェクトを先にフレームバッファに描画し、当該オブジェクトの映り込みを描画し、さらにキャラクタオブジェクトの映り込みを描画し、最後にキャラクタオブジェクトを描画する。これにより、仮想カメラから見てキャラクタオブジェクトの奥側にあるオブジェクトの映り込みを表示するとともに、キャラクタオブジェクトの映り込みも表示することができる。

【0149】

また、本実施形態では、第１デプスバッファに基づいて算出された衝突位置の色と、第２デプスバッファに基づいて算出された衝突位置の色と、キャラクタ平面との交差位置の色とを算出し、奥から順にこれらの色をアルファブレンドする。これにより、仮想カメラから見て各オブジェクトが重なる場合でも、各オブジェクトの映り込みを表示することができる。

【0150】

（変形例）
以上、本実施形態の画像処理について説明したが、上記実施形態は単なる一例であり、例えば以下のような変形が加えられてもよい。

【0151】

例えば、上記実施形態では、レンダリングの方法としてディファードレンダリングが用いられたが、他の実施形態では、フォワードレンダリングが用いられてもよい。フォワードレンダリングが用いられる場合、上記ＳＳＲ処理において、例えば、着目画素の周囲の複数の画素のデプスに基づいて着目画素に対応する反射位置の法線方向を推定し、入射方向と当該法線方向とに基づいて、反射方向が算出されてもよい。あるいは、仮想空間におけるメッシュの姿勢を算出し、着目画素に対応する反射位置の法線方向を算出し、当該法線方向に基づいて、反射方向が算出されてもよい。

【0152】

また、上記実施形態では、画面の左端又は右端から所定範囲の領域の画素について反射方向を補正したが、他の実施形態では、画面の上端又は下端から所定範囲の領域の画素についても反射方向を補正してもよい。上記実施形態では、反射方向の補正において、スクリーン座標系におけるレイトレース終了位置のＳｘ軸方向における位置を、反射位置のＳｘ軸方向における位置に近づけた。他の実施形態では、レイトレース終了位置のＳｙ軸方向における位置についても、Ｓｙ軸正方向又は負方向に移動させることにより、反射方向の補正が行われてもよい。レイトレース終了位置を横方向及び／又は縦方向に移動させることで、レイの衝突位置が画面内に収まるように、反射方向が補正されてもよい。

【0153】

また、上記実施形態では、レイトレースをスクリーン座標系で行ったが、他の実施形態では、レイトレースを仮想空間のｘｙｚ座標系で行ってもよい。すなわち、仮想空間のｘｙｚ座標系においてレイを伸ばしていき、レイの衝突位置を計算し、衝突位置に対応する位置の画素の色を、映り込みの色として算出してもよい。

【0154】

また、上記実施形態では、キャラクタオブジェクトの画像をテクスチャとして平面オブジェクトに設定したキャラクタ平面を作成し、当該キャラクタ平面を用いてキャラクタオブジェクトの映り込みの色を算出した。他の実施形態では、キャラクタオブジェクトの画像をテクスチャとして３次元のオブジェクトに設定し、当該３次元のオブジェクトを用いてキャラクタオブジェクトの映り込みの色を算出してもよい。また、上記実施形態では、キャラクタオブジェクトは平たい形状のオブジェクトであるとしたが、他の実施形態では、キャラクタオブジェクトは厚さを有する立体的な形状のオブジェクトであってもよい。

【0155】

また、上記実施形態では、地面を反射面として、地面にオブジェクトが映り込む場合について説明したが、地面以外の面（例えば、壁面や天井面）を反射面として、上述した処理によりオブジェクトを映り込ませてもよい。

【0156】

また、上記実施形態では、ゲーム画像を生成するものとしたが、上述した画像処理は、ゲーム画像に限らず任意の画像を生成する際に用いられてもよい。

【0157】

また、上記ハードウェア構成は単なる一例であり、他の任意のハードウェアにおいて上記画像処理が行われてもよい。例えば、パーソナルコンピュータ、タブレット端末、スマートフォン、インターネット上のサーバ等、任意の情報処理装置において上記処理が実行されてもよい。また、上記画像処理は、複数の装置を含む情報処理システムにおいて実行されてもよい。複数の装置が上記画像処理を分散実行してもよい。また、上記画像処理を行う装置と、画像を表示する装置とが異なってもよい。例えば、第１の装置（例えばサーバ）が、上記画像処理の一部又は全部を実行することにより画像を生成し、生成した画像をネットワーク（例えば、インターネットやＬＡＮ）を介して第２の装置に送信し、第２の装置が当該画像を表示してもよい。

【0158】

また上記実施形態及びその変形例に係る構成は、互いに矛盾しない限り、任意に組み合わせることが可能である。また、上記は本発明の例示に過ぎず、上記以外にも種々の改良や変形が加えられてもよい。

【符号の説明】

【0159】

１ ゲームシステム
２ 本体装置
８１ プロセッサ
３２ 木オブジェクト
３４ 円柱オブジェクト
３６ 山オブジェクト
４１、４３ キャラクタオブジェクト

【要約】

【課題】オブジェクト毎に映り込みの仕方を異ならせることが可能な画像処理プログラムを提供する。
【解決手段】一実施形態に係る画像処理システムは、仮想空間内のオブジェクトについて、第１デプステストを行うことで第１デプスバッファを更新し、当該第１デプスバッファに基づいてフレームバッファにレンダリングを行う。画像処理システムは、前記オブジェクトのうちの特定のオブジェクトについて、第２デプステストを行うことで第２デプスバッファを更新する。画像処理システムは、トレース距離が第１の距離よりも小さい第２の距離未満である場合は、第１デプスバッファに基づいてレイトレースを行い、トレース距離が第２の距離以上である場合は、第２デプスバッファに基づいてレイトレースを行い、レイの衝突位置に対応するフレームバッファ内の画素の色を、映り込む色として算出する。
【選択図】図５

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】