特許 7651252 画像処理方法、画像処理装置、ゲーム装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-17

(45)【発行日】2025-03-26

(54)【発明の名称】画像処理方法、画像処理装置、ゲーム装置及びプログラム

(51)【国際特許分類】

   G06T 5/70 20240101AFI20250318BHJP

   A63F 13/52 20140101ALI20250318BHJP

【ＦＩ】

G06T5/70

A63F13/52

G06T5/00 705

【請求項の数】 4

(21)【出願番号】P 2018241536

(22)【出願日】2018-12-25

(65)【公開番号】P2020102137

(43)【公開日】2020-07-02

【審査請求日】2021-12-24

【審判番号】

【審判請求日】2023-12-27

(73)【特許権者】

【識別番号】511249637

【氏名又は名称】株式会社Ｃｙｇａｍｅｓ

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(74)【代理人】

【識別番号】100127236

【弁理士】

【氏名又は名称】天城 聡

(72)【発明者】

【氏名】堀端 彰

(72)【発明者】

【氏名】藤田 健作

(72)【発明者】

【氏名】堀 壮太郎

【合議体】

【審判長】高橋 宣博

【審判官】樫本 剛

【審判官】片岡 利延

(56)【参考文献】

【文献】特開昭６３－２５９７７８号公報（ＪＰ，Ａ）

【文献】特開平１０－１８７９６４（ＪＰ，Ａ）

【文献】特開２００７－２７２３５６号公報（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06T 15/00 - 19/20

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
プレイヤキャラクタを後方かつ所定距離離れた位置から撮影するカメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得工程と、
各画素の前記色情報を変換して画像を変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定工程と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換工程と、
を実行し、
前記変換工程では、
画素毎に参照エリアを設定し、前記参照エリア内の他の画素の前記色情報に基づき各画素の前記色情報を変換し、
前記決定工程では、
画素毎に、前記距離情報に基づき前記参照エリアの大きさを決定し、
前記距離がｄ_０以上ｄ_１未満の画素に対しては、前記参照エリアの大きさとして第１の固定値を決定し、
前記距離がｄ_１以上ｄ_２未満の画素に対しては、前記距離から前記参照エリアを算出する第１の関数に基づき、前記距離が大きくなるほど小さい前記参照エリアを決定し、
前記距離がｄ_２以上ｄ_３未満の画素に対しては、前記参照エリアの大きさとして第２の固定値を決定し、
前記距離がｄ_３以上ｄ_４未満の画素に対しては、前記距離から前記参照エリアを算出する第２の関数に基づき、前記距離が大きくなるほど大きい前記参照エリアを決定し、
前記距離がｄ_４以上の画素に対しては、前記参照エリアの大きさとして第３の固定値を決定し、
前記第２の固定値＜前記第１の固定値＜前記第３の固定値、を満たし、
前記第２の固定値は、１画素分の大きさであり、
前記第１の関数は、前記距離がｄ_１の時に前記第１の固定値を算出し、前記距離がｄ_２の時に前記第２の固定値を算出し、
前記第２の関数は、前記距離がｄ_３の時に前記第２の固定値を算出し、前記距離がｄ_４の時に前記第３の固定値を算出する画像処理方法。

【請求項2】

プレイヤキャラクタを後方かつ所定距離離れた位置から撮影するカメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有し、
前記変換部は、
画素毎に参照エリアを設定し、前記参照エリア内の他の画素の前記色情報に基づき各画素の前記色情報を変換し、
前記決定部は、
画素毎に、前記距離情報に基づき前記参照エリアの大きさを決定し、
前記距離がｄ_０以上ｄ_１未満の画素に対しては、前記参照エリアの大きさとして第１の固定値を決定し、
前記距離がｄ_１以上ｄ_２未満の画素に対しては、前記距離から前記参照エリアを算出する第１の関数に基づき、前記距離が大きくなるほど小さい前記参照エリアを決定し、
前記距離がｄ_２以上ｄ_３未満の画素に対しては、前記参照エリアの大きさとして第２の固定値を決定し、
前記距離がｄ_３以上ｄ_４未満の画素に対しては、前記距離から前記参照エリアを算出する第２の関数に基づき、前記距離が大きくなるほど大きい前記参照エリアを決定し、
前記距離がｄ_４以上の画素に対しては、前記参照エリアの大きさとして第３の固定値を決定し、
前記第２の固定値＜前記第１の固定値＜前記第３の固定値、を満たし、
前記第２の固定値は、１画素分の大きさであり、
前記第１の関数は、前記距離がｄ_１の時に前記第１の固定値を算出し、前記距離がｄ_２の時に前記第２の固定値を算出し、
前記第２の関数は、前記距離がｄ_３の時に前記第２の固定値を算出し、前記距離がｄ_４の時に前記第３の固定値を算出する画像処理装置。

【請求項3】

コンピュータを、
プレイヤキャラクタを後方かつ所定距離離れた位置から撮影するカメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得手段、
各画素の前記色情報を変換して画像を変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定手段、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換手段、
として機能させ、
前記変換手段は、
画素毎に参照エリアを設定し、前記参照エリア内の他の画素の前記色情報に基づき各画素の前記色情報を変換し、
前記決定手段は、
画素毎に、前記距離情報に基づき前記参照エリアの大きさを決定し、
前記距離がｄ_０以上ｄ_１未満の画素に対しては、前記参照エリアの大きさとして第１の固定値を決定し、
前記距離がｄ_１以上ｄ_２未満の画素に対しては、前記距離から前記参照エリアを算出する第１の関数に基づき、前記距離が大きくなるほど小さい前記参照エリアを決定し、
前記距離がｄ_２以上ｄ_３未満の画素に対しては、前記参照エリアの大きさとして第２の固定値を決定し、
前記距離がｄ_３以上ｄ_４未満の画素に対しては、前記距離から前記参照エリアを算出する第２の関数に基づき、前記距離が大きくなるほど大きい前記参照エリアを決定し、
前記距離がｄ_４以上の画素に対しては、前記参照エリアの大きさとして第３の固定値を決定し、
前記第２の固定値＜前記第１の固定値＜前記第３の固定値、を満たし、
前記第２の固定値は、１画素分の大きさであり、
前記第１の関数は、前記距離がｄ_１の時に前記第１の固定値を算出し、前記距離がｄ_２の時に前記第２の固定値を算出し、
前記第２の関数は、前記距離がｄ_３の時に前記第２の固定値を算出し、前記距離がｄ_４の時に前記第３の固定値を算出するプログラム。

【請求項4】

プレイヤからの操作入力を受付ける入力受付部と、
仮想３次元空間内におけるプレイヤキャラクタの位置及び向きを管理するプレイヤキャラクタ制御部と、
前記仮想３次元空間内におけるノンプレイヤキャラクタの位置及び向きを管理するノンプレイヤキャラクタ制御部と、
前記プレイヤキャラクタを後方かつ所定距離離れた位置から撮影する仮想カメラの前記仮想３次元空間内における位置及び向きを管理するカメラ制御部と、
前記仮想３次元空間内における前記プレイヤキャラクタ、前記ノンプレイヤキャラクタ及び前記仮想カメラの位置及び向きに基づき、前記仮想カメラによって撮像された前記仮想３次元空間を２次元平面の画像として描画する描画部と、
出力装置に、前記２次元平面の画像を表示させる表示制御部と、
を有し、
前記描画部は、
前記仮想カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有し、
前記変換部は、
画素毎に参照エリアを設定し、前記参照エリア内の他の画素の前記色情報に基づき各画素の前記色情報を変換し、
前記決定部は、
画素毎に、前記距離情報に基づき前記参照エリアの大きさを決定し、
前記距離がｄ_０以上ｄ_１未満の画素に対しては、前記参照エリアの大きさとして第１の固定値を決定し、
前記距離がｄ_１以上ｄ_２未満の画素に対しては、前記距離から前記参照エリアを算出する第１の関数に基づき、前記距離が大きくなるほど小さい前記参照エリアを決定し、
前記距離がｄ_２以上ｄ_３未満の画素に対しては、前記参照エリアの大きさとして第２の固定値を決定し、
前記距離がｄ_３以上ｄ_４未満の画素に対しては、前記距離から前記参照エリアを算出する第２の関数に基づき、前記距離が大きくなるほど大きい前記参照エリアを決定し、
前記距離がｄ_４以上の画素に対しては、前記参照エリアの大きさとして第３の固定値を決定し、
前記第２の固定値＜前記第１の固定値＜前記第３の固定値、を満たし、
前記第２の固定値は、１画素分の大きさであり、
前記第１の関数は、前記距離がｄ_１の時に前記第１の固定値を算出し、前記距離がｄ_２の時に前記第２の固定値を算出し、
前記第２の関数は、前記距離がｄ_３の時に前記第２の固定値を算出し、前記距離がｄ_４の時に前記第３の固定値を算出するゲーム装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法、画像処理装置、ゲーム装置及びプログラムに関する。

【背景技術】

【0002】

画像を絵画調に変調する変調フィルタとして、Symmetric Nearest Neighbor（SNN）フィルタ、メディアンフィルタ、Kuwaharaフィルタなどが良く知られている。これらの変調フィルタは、各画素の色情報を他の画素（例：各画素の周辺の他の画素）の色情報に基づき変換することで、画像全体を絵画調に変調するものである。

【0003】

特許文献１及び２には、元画像に対してフォグ（霧、雲、弓削、もや、ここり、ちり、煙、竜巻又は露等）が掛かった画像を生成する技術であって、視点（仮想カメラ）からの距離に応じてフォグ濃度を制御するパラメータであるα値を変化させ、視点からの距離が遠くなるほどフォグ濃度を濃くする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００６－３１８３８６号公報

【文献】特開２００６－３１８３８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した画像を絵画調に変調する変調フィルタを用いた一般的な処理では、すべての画素の色情報を一律に同じ具合（例：ぼやけ具合、滲み具合）で変換する。当該具合の調整は、例えば、色情報を変換する際に参照する他の画素の数や、他の画素の色情報の重み等を調整することで実現される。

【0006】

上述した一般的な処理の場合、全体が絵画調になった画像を生成することはできても、所定の描画対象のエッジの明瞭さと絵画っぽさを両立させた画像を生成することはできない。特許文献１及び２は、画像を絵画調に変調する変調フィルタに関する当該課題およびその解決手段を、記載も示唆もしていない。

【0007】

本発明は所定の、描画対象のエッジの明瞭さと絵画っぽさを両立させて、画像を描画することを課題とする。

【課題を解決するための手段】

【0008】

本発明によれば、
コンピュータが、
カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得工程と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定工程と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換工程と、
を実行する画像処理方法が提供される。

【0009】

また、本発明によれば、
カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有する画像処理装置が提供される。

【0010】

また、本発明によれば、
コンピュータを、
カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得手段、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定手段、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換手段、
として機能させるプログラムが提供される。

【0011】

また、本発明によれば、
プレイヤからの操作入力を受付ける入力受付部と、
仮想３次元空間内におけるプレイヤキャラクタの位置及び向きを管理するプレイヤキャラクタ制御部と、
前記仮想３次元空間内におけるノンプレイヤキャラクタの位置及び向きを管理するノンプレイヤキャラクタ制御部と、
前記仮想３次元空間内における仮想カメラの位置及び向きを管理するカメラ制御部と、
前記仮想３次元空間内における前記プレイヤキャラクタ、前記ノンプレイヤキャラクタ及び前記仮想カメラの位置及び向きに基づき、前記仮想カメラによって撮像された前記仮想３次元空間を２次元平面の画像として描画する描画部と、
出力装置に、前記２次元平面の画像を表示させる表示制御部と、
を有し、
前記描画部は、
前記仮想カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有するゲーム装置が提供される。

【発明の効果】

【0012】

本発明によれば、所定の描画対象のエッジの明瞭さと絵画っぽさを両立させて、画像を描画することが可能となる。

【図面の簡単な説明】

【0013】

【図1】本実施形態の画像処理装置のハードウエア構成の一例を示す図である。

【図2】本実施形態の画像処理装置の機能ブロック図の一例である。

【図3】本実施形態の変換処理を説明するための図である。

【図4】本実施形態の参照エリア情報の一例を模式的に示す図である。

【図5】本実施形態の参照エリア情報の一例で定義された内容を示す図である。

【図6】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図7】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図8】本実施形態の画像処理装置の処理の流れの一例を示すフローチャートである。

【図9】本実施形態のゲーム装置の機能ブロック図の一例である。

【図10】本実施形態の描画部の機能ブロック図の一例である。

【発明を実施するための形態】

【0014】

＜第１の実施形態＞
まず、本実施形態の画像処理装置の処理の概要を説明する。本実施形態の画像処理装置は、「カメラからの距離を示す距離情報」及び「色情報」を画素毎に示す画像情報を取得すると、「各画素の色情報を変換して画像を絵画調に変調する変調フィルタ」の設定を、各画素の距離情報に基づき画素毎に決定する。ここで決定する設定は、各画素の色情報の変換の具合（例：ぼやけ具合、滲み具合）である。この設定を調整することで、画像の変調具合が調整される。そして、画像処理装置は、決定した各画素の変調フィルタの設定に基づき、画素毎に色情報を変換する。

【0015】

このように、本実施形態の画像処理装置によれば、各画素の色情報の変換の具合（例：ぼやけ具合、滲み具合）を画素毎に設定し、画素毎に設定した内容で各画素の色情報を変換することができる。このため、本実施形態の画像処理装置によれば、１つの画像の中で、部分的に変換の具合を変えることができる。すなわち、本実施形態の画像処理装置によれば、変換の具合が強い部分、変換の具合が弱い部分、変換されていない部分などが混在した１つの画像を生成することができる。結果、本実施形態の画像処理装置によれば、所定の描画対象のエッジの明瞭さと絵画っぽさを両立させて、画像を絵画調に変調することが可能となる。

【0016】

次に、本実施形態の画像処理装置の構成を説明する。まず、画像処理装置のハードウエア構成の一例について説明する。本実施形態の画像処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

【0017】

図１は、本実施形態の画像処理装置のハードウエア構成を例示するブロック図である。図１に示すように、画像処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。画像処理装置は周辺回路４Ａを有さなくてもよい。なお、画像処理装置は物理的及び／又は論理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。

【0018】

バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばコントローラ、キーボード、マウス、マイク、ポインティングデバイス、タッチパネル、物理ボタン、カメラ等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

【0019】

次に、本実施形態の画像処理装置の機能構成を説明する。図２に、画像処理装置１０の機能ブロック図の一例を示す。図示するように、画像処理装置１０は、取得部１１と、決定部１２と、変換部１３とを有する。

【0020】

取得部１１は、画像に関する情報であって、画素毎に色情報及び距離情報を示す画像情報を取得する。

【0021】

画像は、例えばゲーム内の１つのシーンを示す画像である。より具体的には、画像は、３次元空間内での位置情報を管理されている複数の描写対象を、所定の視点に設置された仮想のカメラから撮像（撮影）し、これを２次元に透視投影した画像である。描写対象は、ゲームに登場するキャラクタや、背景の一部をなす物体（木等の植物や、家等の構造物等）等が例示されるが、これらに限定されない。２次元画像の描写の際の隠面消去の方法には、例えば、デプスバッファ法（Ｚバッファ法）が利用される。

【0022】

色情報は、各画素が表す描写対象の色を示す。距離情報は、カメラ（視点）から各画素が表す描写対象までの距離を示す。

【0023】

決定部１２は、各画素の色情報を変換して画像を絵画調に変調する変調フィルタ（以下、単に「変調フィルタ」という場合がある）の設定を、各画素の距離情報に基づき画素毎に決定する。

【0024】

変調フィルタは、各画素の色情報を、他の画素の色情報に基づき変換することで、画像を絵画調に変換するフィルタである。変調フィルタは、例えば、Symmetric Nearest Neighbor（SNN）フィルタ、メディアンフィルタ、Kuwaharaフィルタなどであるが、これらに限定されない。

【0025】

図３を用いて、変調フィルタによる処理の概要を説明する。図３では、複数の画素が示されている。ここでは、各行に付した数字と、各列に付したアルファベットを用いて、各画素を識別する。例えば、１を付された行に位置し、かつ、Ｂを付された列に位置する画素は、画素１Ｂと呼ぶ。

【0026】

変調フィルタによる処理では、処理対象の画素を含むように参照エリアが設定される。参照エリアは、処理対象の画素のみを含んでもよいし、処理対象の画素とその他の画素（例：処理対象の画素の周辺に位置する画素）を含んでもよい。図３の例の場合、画素３Ｃが処理対象の画素であり、斜線を引いたエリアが参照エリアである。図示する参照エリアは、処理対象の画素を中心とした所定の大きさの正方形である。参照エリアには、画素２Ｂ～２Ｄ、画素３Ｂ～３Ｄ及び画素４Ｂ～４Ｄが含まれる。そして、変調フィルタによる処理では、参照エリア内の画素の色情報に基づき、処理対象の画素の色情報を変換する。変換の仕方は様々であり、本実施形態では特段制限されない。なお、図示する参照エリアは正方形であるが、参照エリアの形状はこれに限定されない。

【0027】

次に、決定部１２が画素毎に決定する設定について説明する。決定部１２が決定する設定は、各画素の色情報の変換の具合（例：ぼやけ具合、滲み具合）である。この設定を調整することで、画像の変調具合が調整される。

【0028】

各画素の色情報の変換の具合を調整するパラメータは、例えば参照エリアの大きさが例示される。参照エリアが大きい程、ぼやけ具合や滲み具合は大きくなり、絵画調となる程度は大きくなる。一方、参照エリアが小さい程、ぼやけ具合や滲み具合は小さくなり、絵画調となる程度は小さくなる。

【0029】

決定部１２は、各画素の距離情報と予め定められたルールとに基づき、各画素に設定する参照エリアの大きさを決定する。予め定められたルールは、距離情報で示される距離から参照エリアの大きさを算出する算出式であってもよいし、距離情報で示される距離と参照エリアの大きさとの関係を定義したテーブルであってもよいし、その他であってもよい。

【0030】

参照エリアの大きさは、例えば画素数を用いて表現することができる。この場合、決定部１２により決定される参照エリアの大きさは１画素以上Ｍ画素以下である。Ｍの値は、１より大の任意の値である。

【0031】

ここで、決定部１２による処理の一例として、カメラからの距離をＮ段階（Ｎは２以上の整数）に分けて段階ごとに参照エリアの大きさを定義した参照エリア情報と、距離情報とに基づき、決定部１２が画素毎に参照エリアの大きさを決定する処理を説明する。

【0032】

図４は、カメラからの距離の段階ごとに参照エリアの大きさを定義した参照エリア情報の一例である。図示する参照エリア情報は、段階番号と、距離範囲と、閾値と、算出式とを有する。

【0033】

段階番号は、複数の段階各々に付された番号であり、複数の段階を識別する情報である。Ｎ＝５であり、カメラからの距離が５段階に分けられている。距離範囲は、例えば上限値と下限値とで複数の段階各々の距離の範囲を示す。閾値は、各段階において距離が最大である時の参照エリアの大きさを示す。参照エリアの大きさは画素数で示されている。算出式は、参照エリアの大きさＬを算出するための式である。オペレータが、Ｎの値、各段階の距離範囲、閾値及び算出式を決定し、決定した内容を含む参照エリア情報を画像処理装置１０に登録する。なお、図示するＮの値、各段階の距離範囲、閾値及び算出式の具体例はあくまで一例であり、これらに限定されない。

【0034】

図５は、図４の参照エリア情報で定義されたカメラからの距離と参照エリアの大きさとの関係を示す。図中縦軸が参照エリアの大きさを示し、横軸がカメラからの距離を示す。

【0035】

図４より、段階１の閾値は９画素であるため、図５に示すように、段階１において距離が最大である時（段階１と段階２の境界）の参照エリアの大きさは９画素となる。そして、図４より、段階１における参照エリアの大きさＬの算出式はＬ＝（閾値）であるため、図５に示すように、段階１における参照エリアの大きさＬは９画素で一定となる。

【0036】

同様に、図４より、段階２の閾値は１画素であるため、図５に示すように、段階２において距離が最大である時（段階２と段階３の境界）の参照エリアの大きさは１画素となる。そして、図４より、段階２における参照エリアの大きさＬの算出式はＬ＝ｆ_１（ｄ）である。ｄは、距離情報が示すカメラからの距離である。関数ｆ_１（ｄ）は、エルミネート補完法、線形補完法、ラグランジュ補完法、スプライン補完法等の任意の補完法を用いて生成された関数である。これらの補完法で関数を算出するために与えられる複数の値（ｄとＬの複数のペア）は、オペレータが決定する。図５には、カメラからの距離が大きくなる程、参照エリアの大きさが小さくなる関数の曲線が示されている。

【0037】

同様に、図４より、段階３の閾値は１画素であるため、図５に示すように、段階３において距離が最大である時（段階３と段階４の境界）の参照エリアの大きさは１画素となる。そして、図４より、段階３における参照エリアの大きさＬの算出式はＬ＝（閾値）であるため、図５に示すように、段階３における参照エリアの大きさＬは１画素で一定となる。

【0038】

同様に、図４より、段階４の閾値は２５画素であるため、図５に示すように、段階４において距離が最大である時（段階４と段階５の境界）の参照エリアの大きさは２５画素となる。そして、図４より、段階４の参照エリアの大きさＬの算出式はＬ＝ｆ_２（ｄ）である。関数ｆ_２（ｄ）は、エルミネート補完法、線形補完法、ラグランジュ補完法、スプライン補完法等の任意の補完法を用いて生成されたものである。これらの補完法で関数を算出するために与えられる複数の値（ｄとＬの複数のペア）は、オペレータが決定する。図５には、カメラからの距離が大きくなる程、参照エリアの大きさが大きくなる関数の曲線が示されている。

【0039】

同様に、図４より、段階５の閾値は２５画素であるため、図５に示すように、段階５において距離が最大である時の参照エリアの大きさは２５画素となる。そして、図４より、段階５における参照エリアの大きさＬの算出式はＬ＝（閾値）であるため、図５に示すように、段階５における参照エリアの大きさＬは２５画素で一定となる。

【0040】

図２に戻り、変換部１３は、決定部１２により決定された画素毎の変調フィルタの設定（参照エリアの大きさ）に基づき、画素毎に色情報を変換する。具体的には、変換部１３は、画素毎に、決定部１２により決定された大きさの参照エリアを設定し、参照エリア内の他の画素の色情報に基づき各画素の色情報を変換する。例えば、変換部１３は、各画素との相対的な位置関係が予め定められた位置関係となるように、各画素の参照エリアを設定する。相対的な位置関係は、例えば「各画素が参照エリアの中心となる」等であるが、これに限定されない。色情報の変換の具体的な処理は特段制限されず、Symmetric Nearest Neighbor（SNN）フィルタ、メディアンフィルタ、Kuwaharaフィルタなどの処理を利用することができる。

【0041】

なお、参照エリアの大きさとして「１画素」が設定されている場合、変換部１３は、その画素の色情報を変換しない。すなわち、取得部１１が取得したその画素に対応する色情報が、画像の変調処理後もそのままその画素の色情報となる。

【0042】

次に、図６のフローチャートを用いて、本実施形態の画像処理装置１０の処理の流れの一例を説明する。

【0043】

まず、画像処理装置１０は、カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する（取得工程Ｓ１０）。画像情報は、例えばゲーム内の１つのシーンを示す画像に関する情報である。距離情報、色情報及び画像の詳細は、上述の通りである。例えば、画像処理装置１０は、ゲーム中に、そのゲーム内の１つのシーンを示す画像に関する画像情報を、その画像がディスプレイ等に出力される前に取得することができる。

【0044】

次に、画像処理装置１０は、各画素の色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の距離情報に基づき画素毎に決定する（決定工程Ｓ２０）。具体的には、図７のフローチャートに示すように、画像処理装置１０は、各画素の距離情報を取得すると（Ｓ２１）、画素毎に、距離情報に基づき参照エリアの大きさを決定する（Ｓ２２）。例えば、画像処理装置１０は、図４に示すような参照エリア情報を参照し、距離情報が示す距離がどの段階の距離範囲に含まれるか特定する。そして、画像処理装置１０は、特定した段階の算出式に基づき、参照エリアの大きさＬを決定する。画像処理装置１０は、画素毎に当該処理を行うことができる。

【0045】

図６に戻り、決定工程Ｓ２０の後、画像処理装置１０は、決定工程Ｓ２０で決定された画素毎の変調フィルタの設定（参照エリアの大きさ）に基づき、画素毎に色情報を変換する（変換工程Ｓ３０）。具体的には、図８のフローチャートに示すように、画像処理装置１０は、決定工程Ｓ２０で決定された画素毎の変調フィルタの設定（参照エリアの大きさ）に基づき、画素毎に参照エリアを設定する（Ｓ３１）。例えば、画像処理装置１０は、各画素との相対的な位置関係が予め定められた位置関係となるように、各画素の参照エリアを設定する。相対的な位置関係は、例えば「各画素が参照エリアの中心となる」等であるが、これに限定されない。次いで、画像処理装置１０は、画素毎に、設定された参照エリア内の他の画像の色情報に基づき、色情報を変換する。色情報の変換の具体的な処理は特段制限されず、Symmetric Nearest Neighbor（SNN）フィルタ、メディアンフィルタ、Kuwaharaフィルタなどの処理を利用することができる。

【0046】

以上説明した画像処理装置１０によれば、各画素の色情報の変換の具合（例：ぼやけ具合、滲み具合）を画素毎に設定し、画素毎に設定した内容で各画素の色情報を変換することができる。このため、画像処理装置１０によれば、１つの画像の中で、部分的に変換の具合を変えることができる。すなわち、画像処理装置１０によれば、変換の具合が強い部分、変換の具合が弱い部分、変換されていない部分などが混在した１つの画像を生成することができる。結果、本実施形態の画像処理装置によれば、所定の描画対象のエッジの明瞭さと絵画っぽさを両立させて、画像を絵画調に変換することが可能となる。

【0047】

また、図４及び図５に示すような参照エリア情報に基づき変調処理を行う画像処理装置１０によれば、以下のような特徴を有するように参照エリアの大きさを決定し、画像の変調処理を行うことができる。

【0048】

（特徴１）距離情報が示す距離が段階３の距離範囲（Ｄ１以上Ｄ２以下）に含まれる場合、参照エリアの大きさとして各画素の大きさ（１画素）を決定する。すなわち、カメラからの距離が当該距離範囲に含まれる描画対象に対しては、絵画調とする変調を行わない。

【0049】

（特徴２）距離情報が示す距離が段階４の距離範囲（Ｄ２より大）である場合、距離情報が示す距離が大きくなるほど大きな参照エリアを決定する。すなわち、カメラからの距離が当該距離範囲に含まれる描画対象に対しては、カメラからの距離が大きくなる程より絵画調とする変調を行う。

【0050】

（特徴３）距離情報が示す距離が段階２の距離範囲（Ｄ１より小）である場合、距離情報が示す距離が小さくなるほど大きな参照エリアを決定する。すなわち、カメラからの距離が当該距離範囲に含まれる描画対象に対しては、カメラからの距離が小さくなる程より絵画調とする変調を行う。

【0051】

例えば、段階３の距離範囲は、焦点が合う距離範囲である。段階４の距離範囲は、視点からの距離が大きいため焦点が合わず、距離が大きくなる程ぼやける距離範囲である。そして、段階２の距離範囲は、視点からの距離が小さいため焦点が合わず、距離が小さくなる程ぼやける距離範囲である。図４及び図５に示すような参照エリア情報に基づけば、画像処理装置１０は、このような実際の物の見え方と同様な内容で画像を変調することができる。結果、より実態に合ったリアルな画像を生成することができる。

【0052】

ここで、本実施形態の変形例を説明する。上述した実施形態では、各画素の色情報の変換の具合を調整するパラメータとして、参照エリアの大きさを採用した。当該パラメータとして、参照エリアの大きさに代えて、各画素間の色差等を採用してもよい。色差が大きい程、ぼやけ具合や滲み具合は強めになり、絵画調となる程度は大きくなる。一方、色差が小さい程、ぼやけ具合や滲み具合は弱めになり、絵画調となる程度は小さくなる。当該変形例においても、本実施形態と同様な作用効果が実現される。

【0053】

＜第２の実施形態＞
本実施形態のゲーム装置は、第１の実施形態で説明した画像処理装置１０の機能部を含む。図９に、ゲーム装置１００の機能ブロック図の一例を示す。図示するように、ゲーム装置１００は、入力受付部１と、プレイヤキャラクタ制御部２と、ノンプレイヤキャラクタ制御部３と、カメラ制御部４と、描画部５と、表示制御部６とを有する。詳細は後述するが、描画部５が画像処理装置１０の機能部を有する。

【0054】

なお、本実施形態のゲーム装置１００が提供するゲームでは、仮想３次元空間内にプレイヤキャラクタとノンプレイヤキャラクタとが存在する。プレイヤキャラクタとノンプレイヤキャラクタは、仮想３次元空間内を移動し、他のキャラクタと闘ったり、他のキャラクタと会話したりする。仮想３次元空間は、互いに直交するＸ軸、Ｙ軸及びＺ軸で定義される直行座標系で表される。以下、当該直交座標系の座標を、「仮想３次元空間の座標」という場合がある。

【0055】

入力受付部１は、プレイヤからの操作入力を受付ける。入力受付部１は、ゲームコントローラ、ポインティングデバイス、タッチパネル、物理ボタン、マウス、キーボード、マイク、カメラ等のあらゆる入力装置を介して、プレイヤからの操作入力を受付けることができる。操作入力の具体的な内容は、ゲーム毎に定められる設計的事項である。プレイヤは、例えば、プレイヤキャラクタに所定の行動（例：移動）を行わせるための操作入力を行う。

【0056】

プレイヤキャラクタ制御部２は、プレイヤからの操作入力に基づきプレイヤキャラクタを制御する。例えば、プレイヤキャラクタ制御部２は、仮想３次元空間内におけるプレイヤキャラクタの現在位置を仮想３次元空間の座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）で管理している。また、プレイヤキャラクタ制御部２は、プレイヤキャラクタの向き（例：顔が向く方向）を、例えば基準方向からのＸ軸、Ｙ軸及びＺ軸回りでの回転角度（θ_ｘｐ、θ_ｙｐ、θ_ｘｐ）で管理している。そして、プレイヤキャラクタ制御部２は、プレイヤからの操作入力に基づき、仮想３次元空間内におけるプレイヤキャラクタの新たな位置や向きを決定し、上記座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）及び回転角度（θ_ｘｐ、θ_ｙｐ、θ_ｘｐ）を更新する。

【0057】

ノンプレイヤキャラクタ制御部３は、ノンプレイヤキャラクタを制御する。例えば、ノンプレイヤキャラクタ制御部３は、仮想３次元空間内におけるノンプレイヤキャラクタの現在位置を仮想３次元空間の座標（ｘ_ｎｐ、ｙ_ｎｐ、ｚ_ｎｐ）で管理している。また、ノンプレイヤキャラクタ制御部３は、ノンプレイヤキャラクタの向き（例：顔が向く方向）を、例えば基準方向からのＸ軸、Ｙ軸及びＺ軸回りでの回転角度（θ_ｘｎｐ、θ_ｙｎｐ、θ_ｘｎｐ）で管理している。そして、ノンプレイヤキャラクタ制御部３は、任意の手段で（所定のアルゴリズムに基づき）、仮想３次元空間内におけるノンプレイヤキャラクタの新たな位置や向きを決定し、上記座標（ｘ_ｎｐ、ｙ_ｎｐ、ｚ_ｎｐ）及び回転角度（θ_ｘｎｐ、θ_ｙｎｐ、θ_ｘｎｐ）を更新する。

【0058】

カメラ制御部４は、プレイヤからの操作入力に基づき、又は、プレイヤからの操作入力に起因したプレイヤキャラクタの仮想３次元空間内における移動に基づき、仮想３次元空間内に位置する仮想カメラを制御する。例えば、カメラ制御部４は、仮想３次元空間内における仮想カメラの現在位置を仮想３次元空間の座標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）で管理している。また、カメラ制御部４は、仮想カメラの向き（例：光軸が向く方向）を、例えば基準方向からのＸ軸、Ｙ軸及びＺ軸回りでの回転角度（θ_ｘｃ、θ_ｙｃ、θ_ｘｃ）で管理している。そして、カメラ制御部４は、プレイヤからの操作入力に基づき、又は、プレイヤからの操作入力に起因したプレイヤキャラクタの仮想３次元空間内における移動に基づき、仮想３次元空間内における仮想カメラの新たな位置や向きを決定し、上記座標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）及び回転角度（θ_ｘｃ、θ_ｙｃ、θ_ｘｃ）を更新する。

【0059】

仮想カメラの位置及び向きを決定する手法は特段制限されず、あらゆる技術を採用できる。例えば、仮想カメラは、プレイヤキャラクタを後方、かつ、所定距離離れた位置から撮影するように定められてもよい。この場合、カメラ制御部４は、プレイヤキャラクタの位置を示す座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）及び向きを示す回転角度（θ_ｘｐ、θ_ｙｐ、θ_ｘｐ）の変更に追従して、仮想カメラの現在位置を示す座標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）及び向きを示す回転角度（θ_ｘｃ、θ_ｙｃ、θ_ｘｃ）を変更することができる。なお、上記例では、仮想カメラの撮影方向はプレイヤキャラクタを基準に定義されたが、プレイヤキャラクタと異なるオブジェクト（例：ノンプレイヤキャラクタ、任意のオブジェクト等）を基準に定義してもよい。また、仮想カメラの移動経路や回転方向が予め定められていてもよい。そして、カメラ制御部４は、当該緯度経路や回転方向に従い、仮想カメラの現在位置や向きを変更してもよい。

【0060】

描画部５は、プレイヤキャラクタ制御部２が管理するプレイヤキャラクタの現在位置及び向き、ノンプレイヤキャラクタ制御部３が管理するノンプレイヤキャラクタの現在位置及び向き、及び、カメラ制御部４が管理する仮想カメラの現在位置及び向きに基づき、仮想カメラによって撮像された３次元空間を２次元平面の画像として描画する。なお、仮想３次元空間内には、位置が変更しないオブジェクト（例：建物、植物等）が存在し、当該オブジェクト各々の仮想３次元空間内の位置を示す座標が予め登録されていてもよい。そして、描画部５は、当該オブジェクトの情報をさらに用いて、上記２次元平面の画像を描画してもよい。

【0061】

描画部５は、図１０に示すように、取得部１１と、決定部１２と、変換部１３と、情報取得部１４と、２次元画像描画部１５と、出力部１６とを有する。

【0062】

情報取得部１４は、プレイヤキャラクタ制御部２が管理するプレイヤキャラクタの現在位置及び向きを示す情報（例：座標（ｘ_ｐ、ｙ_ｐ、ｚ_ｐ）及び回転角度（θ_ｘｐ、θ_ｙｐ、θ_ｘｐ））、ノンプレイヤキャラクタ制御部３が管理するノンプレイヤキャラクタの現在位置及び向きを示す情報（例：座標（ｘ_ｎｐ、ｙ_ｎｐ、ｚ_ｎｐ）及び回転角度（θ_ｘｎｐ、θ_ｙｎｐ、θ_ｘｎｐ））、及び、カメラ制御部４が管理する仮想カメラの現在位置及び向きを示す情報（例：標（ｘ_ｃ、ｙ_ｃ、ｚ_ｃ）及び回転角度（θ_ｘｃ、θ_ｙｃ、θ_ｘｃ））を取得する。情報取得部１４は、さらに、位置が変更しないオブジェクトの位置及び向きを示す情報を取得してもよい。また、情報取得部１４は、種々のゲーム処理の結果を示す情報を取得してもよい。

【0063】

２次元画像描画部１５は、情報取得部１４により取得された情報に基づき、仮想カメラによって撮像された３次元空間を２次元平面の画像として描画する。当該描画を実現する手法は特段制限されず、あらゆる技術を採用できる。例えば、２次元画像描画部１５は、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換等のジオメトリ処理等の前処理を実行してもよい。次いで、２次元画像描画部１５は、前処理の結果に基づき、描画データを生成してもよい。描画データは、色データ、テクスチャ座標、プリミティブ面の頂点の座標、法線ベクトル、α値等を含む。そして、２次元画像描画部１５は、描画データに基づき、透視変換後のプレイヤキャラクタ等を描画した画像に関する画像情報を生成する。画像情報は、仮想カメラからの距離を示す距離情報及び色情報を画素毎に示す。なお、２次元画像描画部１５は、デプスバッファ法（Ｚバッファ法）等を用いた隠面消去処理を利用することができる。

【0064】

取得部１１、決定部１２及び変換部１３は、２次元画像描画部１５が生成した画像情報に基づき、第１の実施形態で説明した処理を実行する。

【0065】

出力部１６は、２次元画像描画部１５により生成され、かつ、画像処理装置１０により変調処理を実行された画像を示す画像情報（以下、変調処理後の画像情報）を出力する。

【0066】

図９に戻り、表示制御部６は、描画部５の出力部１６により出力された変調処理後の画像情報で示される画像を、出力装置に表示させる。出力装置は、ディスプレイ、投影装置等が例示されるが、これらに限定されない。出力装置は、ゲーム装置１００と物理的及び／論理的に分かれており、ゲーム装置１００に接続された外部装置であってもよい。その他、出力装置は、ゲーム装置１００と物理的及び論理的に一体となっていてもよい。

【0067】

ゲーム装置１００のハードウエア構成の一例は、第１の実施形態で説明した画像処理装置１０のハードウエア構成の一例と同様である。

【0068】

以上説明したゲーム装置１００によれば、第１の実施形態の画像処理装置１０と同様な作用効果が実現される。

【0069】

なお、上記説明から明らかなように、ゲーム装置１００は、常に変化のない静止した空間を描画するのでなく、プレイヤからの操作入力やＣＰＵの制御によって状況が刻一刻と変化する３次元空間内の場面を都度描画する。状況が刻一刻と変化するため、仮想カメラと描画対象（プレイヤキャラクタ等）との相対的な位置関係（距離や向き）も動的に変化する。ゲーム装置１００は、このような状況が刻一刻と変化する環境下で、「同じ描画対象」を、あるときはエッジをきかせて描画し、あるときは絵画的に描画するという風に、状況に応じた手法で描画することができる。

【0070】

以下、参考形態の例を付記する。
１． コンピュータが、
カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得工程と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定工程と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換工程と、
を実行する画像処理方法。
２． １に記載の画像処理方法において、
前記コンピュータは、
前記変換工程では、画素毎に参照エリアを設定し、前記参照エリア内の他の画素の前記色情報に基づき各画素の前記色情報を変換し、
前記決定工程では、画素毎に、前記距離情報に基づき前記参照エリアの大きさを決定する画像処理方法。
３． ２に記載の画像処理方法において、
前記コンピュータは、
前記決定工程では、前記カメラからの距離をＮ段階（Ｎは２以上の整数）に分けて段階ごとに前記参照エリアの大きさを定義した参照エリア情報と、前記距離情報とに基づき、画素毎に前記参照エリアの大きさを決定する画像処理方法。
４． ３に記載の画像処理方法において、
前記コンピュータは、
前記決定工程では、前記参照エリアの大きさを算出する算出式である前記参照エリア情報に基づき、画素毎に前記参照エリアの大きさを決定する画像処理方法。
５． ２から４のいずれかに記載の画像処理方法において、
前記コンピュータは、
前記決定工程では、
前記距離情報が示す距離がＤ１以上Ｄ２以下に含まれる場合、前記参照エリアの大きさとして各画素の大きさを決定し、
前記距離情報が示す距離がＤ２より大きい場合、前記距離情報が示す距離が大きくなるほど大きな前記参照エリアを決定し、
前記距離情報がＤ１より小さい場合、前記距離情報が示す距離が小さくなるほど大きな前記参照エリアを決定する画像処理方法
６． カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有する画像処理装置。
７． コンピュータを、
カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得手段、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定手段、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換手段、
として機能させるプログラム。
８． プレイヤからの操作入力を受付ける入力受付部と、
仮想３次元空間内におけるプレイヤキャラクタの位置及び向きを管理するプレイヤキャラクタ制御部と、
前記仮想３次元空間内におけるノンプレイヤキャラクタの位置及び向きを管理するノンプレイヤキャラクタ制御部と、
前記仮想３次元空間内における仮想カメラの位置及び向きを管理するカメラ制御部と、
前記仮想３次元空間内における前記プレイヤキャラクタ、前記ノンプレイヤキャラクタ及び前記仮想カメラの位置及び向きに基づき、前記仮想カメラによって撮像された前記仮想３次元空間を２次元平面の画像として描画する描画部と、
出力装置に、前記２次元平面の画像を表示させる表示制御部と、
を有し、
前記描画部は、
前記仮想カメラからの距離を示す距離情報及び色情報を画素毎に示す画像情報を取得する取得部と、
各画素の前記色情報を変換して画像を絵画調に変調する変調フィルタの設定を、各画素の前記距離情報に基づき画素毎に決定する決定部と、
決定された画素毎の前記変調フィルタの設定に基づき、画素毎に前記色情報を変換する変換部と、
を有するゲーム装置。

【符号の説明】

【0071】

１Ａ プロセッサ
２Ａ メモリ
３Ａ 入出力Ｉ／Ｆ
４Ａ 周辺回路
５Ａ バス
１ 入力受付部
２ プレイヤキャラクタ制御部
３ ノンプレイヤキャラクタ制御部
４ カメラ制御部
５ 描画部
６ 表示制御部
１０ 画像処理装置
１１ 取得部
１２ 決定部
１３ 変換部
１４ 情報取得部
１５ ２次元画像描画部
１６ 出力部
１００ ゲーム装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】