特開 2024-120387 画像処理装置、画像処理プログラム及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024120387

(43)【公開日】2024-09-05

(54)【発明の名称】画像処理装置、画像処理プログラム及び画像処理方法

(51)【国際特許分類】

   G06T 15/50 20110101AFI20240829BHJP

   G06T 19/00 20110101ALI20240829BHJP

【ＦＩ】

G06T15/50

G06T19/00 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023027145

(22)【出願日】2023-02-24

(71)【出願人】

【識別番号】599115217

【氏名又は名称】株式会社 ディー・エヌ・エー

(74)【代理人】

【識別番号】110001210

【氏名又は名称】弁理士法人ＹＫＩ国際特許事務所

(72)【発明者】

【氏名】服部 令奈

(72)【発明者】

【氏名】山本 真史

(72)【発明者】

【氏名】鈴木 信介

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050AA03

5B050BA09

5B050BA10

5B050CA07

5B050EA26

5B050FA02

5B050FA05

5B050GA08

5B080AA00

5B080BA02

5B080CA00

5B080FA02

5B080GA11

(57)【要約】

【課題】従来にない多様な表現の画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供する。
【解決手段】仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって日向又は陰の表現を含む前記オブジェクトの画像を生成し、オブジェクトに対して設定される第１のパラメータに応じて、画像におけるオブジェクトの表示態様を変化させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって日向又は陰の表現を含む前記オブジェクトの画像を生成する画像処理装置であって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記オブジェクトに対して設定される第２のパラメータであって、前記第２のパラメータは複数の色情報を含み、
前記第２のパラメータに応じて、前記画像における前記オブジェクトの表示態様を前記複数の色情報に基づいて変更することを特徴とする画像処理装置。

【請求項3】

請求項２に記載の画像処理装置であって、
前記画像における前記オブジェクトの表示態様を前記複数の色情報のグラデーションによって変更することを特徴とする画像処理装置。

【請求項4】

請求項２に記載の画像処理装置であって、
前記複数の色情報は、日向色Ｌｃ１及び陰色Ｌｃ２を特定する情報を含み、
前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変更することを特徴とする画像処理装置。

【請求項5】

請求項４に記載の画像処理装置であって、
前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、
前記第２のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて、前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。

【請求項6】

請求項１に記載の画像処理装置であって、
前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、
前記第１のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。

【請求項7】

コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる機能を実行させる画像処理プログラムであって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理プログラム。

【請求項8】

コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる画像処理方法であって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。

【背景技術】

【0002】

仮想三次元空間に配置された三次元のオブジェクトに対して光源から光を照射した場合にオブジェクトに生ずる陰を表現するシェーディング技術が知られている。

【0003】

特許文献１には、キャラクタ等のオブジェクトが配置された仮想三次元空間を所与の視点から見た様子を示す画像を表示させる技術であって、視点から見たオブジェクトの画像と、光源の三次元座標に基づいて光の拡散を示す画像とを生成し、これらの画像を合成することによってオブジェクトの陰を表現した画像を生成する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－６５３８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、三次元オブジェクトから生成される画像において、オブジェクト単位での日向色や陰色の調整をしたい場合があるが、画像が多数のオブジェクトで構成されるシーンでのオブジェクト単位の日向色や陰色の調整がうまく表現されず、シーン全体として違和感を生ずることが多かった。

【0006】

本発明は、仮想三次元空間に配置されたオブジェクトに対して、従来にない多様な表現の画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の１つの態様は、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって日向又は陰の表現を含む前記オブジェクトの画像を生成する画像処理装置であって、前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置である。

【0008】

本発明の別の態様は、コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる機能を実行させる画像処理プログラムであって、前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理プログラムである。

【0009】

本発明の別の態様は、コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる画像処理方法であって、前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理方法である。

【0010】

ここで、前記オブジェクトに対して設定される第２のパラメータであって、前記第２のパラメータは複数の色情報を含み、前記第２のパラメータに応じて、前記画像における前記オブジェクトの表示態様を前記複数の色情報に基づいて変更することが好適である。

【0011】

また、前記画像における前記オブジェクトの表示態様を前記複数の色情報のグラデーションによって変更することが好適である。

【0012】

また、前記複数の色情報は、日向色Ｌｃ１及び陰色Ｌｃ２を特定する情報を含み、前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変更することが好適である。

【0013】

また、前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、前記第２のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて、前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変化させることが好適である。

【0014】

また、前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、前記第１のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて前記画像における前記オブジェクトの表示態様を変化させることが好適である。

【発明の効果】

【0015】

本発明によれば、仮想三次元空間に配置されたオブジェクトに対して、従来にない多様な表現の画像を生成することができる画像処理装置、画像処理プログラム及び画像処理方法を提供することができる。本発明の実施の形態の他の目的は、本明細書全体を参照することにより明らかになる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態における画像処理装置の構成を示す図である。

【図2】本発明の実施の形態における画像処理方法を示すフローチャートである。

【図3】本発明の実施の形態における画像処理画面の例を示す図である。

【図4】本発明の実施の形態における画像処理画面の例を示す図である。

【図5】本発明の実施の形態における画像処理画面の例を示す図である。

【図6】本発明の実施の形態における画像処理を説明する図である。

【発明を実施するための形態】

【0017】

本発明の実施の形態における画像処理装置１００は、図１に示すように、処理部１０、記憶部１２、入力部１４、出力部１６及び通信部１８を含んで構成される。

【0018】

画像処理装置１００は、一般的なコンピュータにより構成することができる。処理部１０は、ＣＰＵ等を含んで構成され、画像処理装置１００における処理を統合的に行う。処理部１０は、記憶部１２に記憶されている画像処理プログラムを実行することにより、本実施の形態における画像処理を行う。記憶部１２は、画像処理において用いられる画像処理プログラム、画像処理に必要な情報等を記憶する。記憶部１２は、例えば、半導体メモリ、ハードディスク等で構成することができる。記憶部１２は、画像処理装置１００の内部に設けてもよいし、無線や有線等の情報網を利用して処理部１０からアクセスできるように外部に設けてもよい。入力部１４は、画像処理装置１００に対して情報を入力するための手段を含む。出力部１６は、画像処理装置１００において処理された情報を表示させる手段を含む。通信部１８は、外部の装置（サーバ等）との情報交換を行うためのインターフェースを含んで構成される。通信部１８は、例えば、インターネット等の情報通信網１０２に接続されることによって、外部の装置との通信を可能にする。

【0019】

［画像処理装置の構築］
以下、図２のフローチャートを参照して、画像処理装置１００における画像処理方法について説明する。画像処理装置１００は、画像処理プログラムを実行することによって、本発明の実施の形態における画像処理を行う。

【0020】

画像処理は、図３に示すような画像処理画面２００において行われる。画像処理画面２００には、三次元オブジェクトから生成された画像を表示させる画像表示領域２０２及び画像処理において使用される第１パラメータ及び第２パラメータを設定するためのパラメータ設定領域２０４が含まれる。画像処理画面２００は、画像処理装置１００の出力部１６に表示される。

【0021】

なお、以下の説明において、画像処理画面２００の画像表示領域２０２に表示されている三次元オブジェクトから生成された画像は、画像の色をグレースケールに変換したものであり、実際の色を正確に表現していない。

【0022】

ステップＳ１０は、三次元オブジェクトを設定する処理が行われる。当該ステップにおける処理によって、画像処理装置１００は、三次元オブジェクト設定手段として機能する。本実施の形態における画像処理では、仮想三次元空間に配置された三次元オブジェクトについて指定された視点からみた二次元画像を生成して出力する処理が行われる。そこで、仮想三次元空間に三次元オブジェクトを配置する処理が行われる。

【0023】

仮想三次元空間は、互いに直交するＸ軸、Ｙ軸、Ｚ軸の座標軸を組み合わせて表現される。仮想三次元空間内の位置は、これらの座標軸における三次元座標により特定される。

【0024】

三次元オブジェクトは、それぞれ異なる面方向を有する複数のパーツ（例えばポリゴン）を組み合わせて構成される。仮想三次元空間において三次元オブジェクトを構成するそれぞれのパーツの座標、形状、各面の方向を示す面ベクトルを設定することによって、三次元オブジェクトを仮想三次元空間に配置することができる。

【0025】

また、仮想三次元空間には、仮想カメラが設定される。画像処理装置１００では、仮想カメラからみた三次元オブジェクトが二次元画像として生成される。仮想カメラについて、仮想三次元空間における座標、視線方向を示す視線ベクトル、視野角、画像のアスペクト比が設定される。

【0026】

さらに、仮想三次元空間には、光源が設定される。画像処理装置１００では、仮想三次元空間に配置された三次元オブジェクトに対して光源から照射された光によって三次元オブジェクトに生ずる陰を表現する三次元オブジェクトのシェーディング処理が行われる。光源について、仮想三次元空間における座標、光の放射方向を示す放射ベクトル、光の広がりを示す照射分散角等が設定される。なお、光源は、１つに限定されるものではなく、複数の光源を設定してもよい。

【0027】

ステップＳ１２は、三次元オブジェクトについて一般的なシェーディング処理が行われる。当該ステップにおける処理によって、画像処理装置１００は、シェーディング処理手段として機能する。シェーディング処理は、仮想三次元空間に配置された三次元オブジェクトを構成する各パーツの頂点の法線ベクトルと光源の放射ベクトルの角度に基づいて行われる。また、三次元オブジェクトを構成する各パーツの座標と光源の座標とに基づいて、各パーツと光源との距離を算出して、光源から照射される光の距離減衰を考慮することが好適である。三次元オブジェクトのシェーディング処理は、既存の方法を適用できるので詳しい説明は省略する。

【0028】

ステップＳ１４は、第１パラメータに応じて三次元オブジェクトの表示態様を変更する処理が行われる。当該ステップにおける処理によって、画像処理装置１００は、第１表示態様変更手段として機能する。第１のパラメータは、三次元オブジェクトに対して光源から照射される光の方向を示す情報を含むパラメータであって、三次元オブジェクトを構成する各パーツの頂点の法線方向（法線ベクトル）と第１のパラメータで特定される方向との関係に応じて三次元オブジェクトの表示態様を変更する。

【0029】

具体的には、三次元オブジェクトを構成する各パーツは、パーツを構成する頂点の色Ｃと頂点の法線方向（法線ベクトル）Ｎのパラメータを有する。パーツの頂点の色Ｃと頂点の法線方向（法線ベクトル）Ｎから、パーツの各ピクセルの色Ｃｐと頂点の法線方向（法線ベクトル）Ｎｐが計算される。また、第１パラメータは、仮想光源から照射される照射方向（照射方向ベクトル）Ｌｄと光源の色Ｌｃのパラメータを有する。第１パラメータは、画像処理画面２００のパラメータ設定領域２０４において設定される。例えば、仮想三次元空間を表現する互いに直交するＸ軸、Ｙ軸、Ｚ軸においてユーザが設定した座標と仮想三次元空間の原点とを結んだ方向を照射方向Ｌｄとして指定することができる。また、光源の色Ｌｃは、予め定められた色としてもよいし、パラメータ設定領域２０４においてカラーパレットからユーザが選択した色を設定できるようなインターフェースを用いるようにしてもよい。

【0030】

第１パラメータによる三次元オブジェクトの表示態様の変更は、三次元オブジェクトを構成するパーツの各ピクセルの色Ｃｐを第１補正色Ｃ１に変更することによって行われる。第１補正色Ｃ１への補正は、数式（１）によってパーツの面のピクセル毎に行われる。
（数１）
第１補正色Ｃ１＝パーツのピクセルの色Ｃｐ＋係数Ａ×光源の色Ｌｃ・・・（１）
ただし、係数Ａ＝ｄｏｔ（－法線方向Ｎｐ，照射方向Ｌｄ）は、図６に示すように、法線方向Ｎｐを逆向きにしたベクトルと照射方向Ｌｄとの内積値であり、法線方向Ｎｐと照射方向Ｌｄが相対しているほど大きな値となる。

【0031】

第１パラメータによる三次元オブジェクトの表示態様の変更処理によって、図４の画像表示領域２０２に示すように、三次元オブジェクトのパーツの各ピクセルの第１補正色Ｃ１は、光源から照射される光が当たっているパーツのピクセルの色Ｃｐに光源の色Ｌｃが加算された値となる。

【0032】

ステップＳ１６は、第２パラメータに応じて三次元オブジェクトの表示態様を変更する処理が行われる。当該ステップにおける処理によって、画像処理装置１００は、第２表示態様変更手段として機能する。第２のパラメータは、複数の色情報を含むパラメータであって、第２のパラメータに応じて三次元オブジェクトの表示態様を複数の色情報に基づいて変更する。

【0033】

第２パラメータは、仮想光源から照射される照射方向（照射方向ベクトル）Ｌｄと、日向色Ｌｃ１と陰色Ｌｃ２の２色のパラメータを有する。第２パラメータに含まれる日向色Ｌｃ１と陰色Ｌｃ２の２色のパラメータは、画像処理画面２００のパラメータ設定領域２０４において設定される。例えば、画像処理画面２００において、日向色Ｌｃ１と陰色Ｌｃ２の２色のパラメータについてカラーパレットからユーザが選択した色を設定できるようなインターフェースを用いることが好適である。

【0034】

第２パラメータによる三次元オブジェクトの表示態様の変更は、三次元オブジェクトを構成するパーツの各ピクセルの第１補正色Ｃ１を第２補正色Ｃ２に変更することによって行われる。第２補正色Ｃ２への補正は、数式（２）によってパーツの面のピクセル毎に行われる。
（数２）
第２補正色Ｃ２＝日向色Ｌｃ１×Ａ＋第１補正色Ｃ１×｛Ａ＋（１－Ａ）×陰色Ｌｃ２｝・・・（２）

【0035】

第２パラメータによる三次元オブジェクトの表示態様の変更処理によって、図５の画像表示領域２０２に示すように、三次元オブジェクトのパーツの各ピクセルの第２補正色Ｃ２は、第２パラメータに含まれる複数の色情報のグラデーションによって表現される。すなわち、三次元オブジェクトのパーツのピクセルの第２補正色Ｃ２は、係数Ａが小さいときはパーツのピクセルの色に対して陰色Ｌｃ２が強く乗算反映され、係数Ａが大きいときはパーツのピクセルの色に対して日向色Ｌｃ１が強く加算反映される。したがって、三次元オブジェクトから生成される画像において、オブジェクトの陰が強いほど陰色Ｌｃ２が強く、オブジェクトの陰が弱いほど日向色Ｌｃ１が強くなるように表現される。

【0036】

なお、本実施の形態では、第１パラメータ及び第２パラメータにおいて仮想光源の照射方向Ｌｄを同一としたが、これらを異ならせてもよい。この場合、数式（１）及び数式（２）において、仮想光源の照射方向Ｌｄをそれぞれのパラメータで異なる値を適用すればよい。

【0037】

また、ステップＳ１４における第１パラメータによる処理及びステップＳ１６における第２パラメータにより処理はいずれか一方のみを行うようにしてもよい。

【0038】

ステップＳ１８は、生成された画像データの出力が行われる。当該ステップにおける処理によって、画像処理装置１００は、画像データ出力手段として機能する。処理部１０は、記憶部１２から上記処理によって生成された画像データを読み出し、図５に示すように、出力部１６における画像処理画面２００の画像表示領域２０２に表示させる。また、通信部１８を介して、画像処理装置１００の外部へ画像データを送信するようにしてもよい。

【0039】

生成された画像データの使用方法は、特に限定されるものではないが、例えば電子ゲームのキャラクタを表示する画像を表示させるために用いることができる。

【0040】

本発明の実施の形態によれば、三次元オブジェクトから生成される画像において、画像全体としての違和感を抑制しつつ、オブジェクト単位での日向色及び陰色を反映した画像を生成することができる。

【0041】

［発明の構成］
［構成１］
仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって日向又は陰の表現を含む前記オブジェクトの画像を生成する画像処理装置であって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。
［構成２］
構成１に記載の画像処理装置であって、
前記オブジェクトに対して設定される第２のパラメータであって、前記第２のパラメータは複数の色情報を含み、
前記第２のパラメータに応じて、前記画像における前記オブジェクトの表示態様を前記複数の色情報に基づいて変更することを特徴とする画像処理装置。
［構成３］
構成２に記載の画像処理装置であって、
前記画像における前記オブジェクトの表示態様を前記複数の色情報のグラデーションによって変更することを特徴とする画像処理装置。
［構成４］
構成２又は３に記載の画像処理装置であって、
前記複数の色情報は、日向色Ｌｃ１及び陰色Ｌｃ２を特定する情報を含み、
前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変更することを特徴とする画像処理装置。
［構成５］
構成４に記載の画像処理装置であって、
前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、
前記第２のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて、前記画像における前記オブジェクトの陰が強いほど前記陰色Ｌｃ２が強く、前記オブジェクトの陰が弱いほど前記日向色Ｌｃ１が強くなるように前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。
［構成６］
構成１～５のいずれか１項に記載の画像処理装置であって、
前記オブジェクトは、異なる法線方向をもつ頂点を有する複数のパーツを組み合わせて構成されており、
前記第１のパラメータは前記光源の照射方向を示すパラメータを含み、前記パーツの頂点の法線方向と前記照射方向との関係に応じて前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理装置。
［構成７］
コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる機能を実行させる画像処理プログラムであって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理プログラム。
［構成８］
コンピュータに、仮想三次元空間に配置されたオブジェクトについて、少なくとも１つの光源による照明効果によって陰の表現を含む前記オブジェクトの画像を生成させる画像処理方法であって、
前記オブジェクトに対して設定される第１のパラメータに応じて、前記画像における前記オブジェクトの表示態様を変化させることを特徴とする画像処理方法。

【符号の説明】

【0042】

１０ 処理部、１２ 記憶部、１４ 入力部、１６ 出力部、１８ 通信部、１００ 画像処理装置、１０２ 情報通信網、２００ 画像処理画面、２０２ 画像表示領域、２０４ パラメータ設定領域。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】