特開 2023-166960 画像処理プログラム、画像処理装置、及び画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166960

(43)【公開日】2023-11-22

(54)【発明の名称】画像処理プログラム、画像処理装置、及び画像処理方法

(51)【国際特許分類】

   G06T 15/80 20110101AFI20231115BHJP

【ＦＩ】

G06T15/80

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022190848

(22)【出願日】2022-11-29

(62)【分割の表示】P 2022077761の分割

【原出願日】2022-05-10

(71)【出願人】

【識別番号】517383032

【氏名又は名称】Ａｃｔｉｖ８株式会社

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】大坂 武史

(72)【発明者】

【氏名】小森 俊輔

(72)【発明者】

【氏名】辻本 典良

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA18

5B080DA01

5B080DA06

5B080FA02

5B080GA11

(57)【要約】

【課題】３次元キャラクターをセルルックに維持しながら３次元背景と馴染ませて表示可
能とする。
【解決手段】３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成する
ための画像処理プログラムは、画像処理装置に、前記３次元背景中の光源の情報を用いて
、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェ
ーディングを行うシェーディング処理を実行させる。前記シェーディング処理は、前記明
暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、前記シ
ェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処
理と、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像
処理プログラムであって、
画像処理装置に、
前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の
色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行さ
せ、
前記シェーディング処理は、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と
、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する
色補正処理と、を含む
画像処理プログラム。

【請求項2】

前記シェーディング処理は、前記表面の各部分における法線ベクトルに基づいて前記各
部分における発色を計算するシェーディング計算処理をさらに含み、
前記シェーディング緩和処理は、乱数を用いて前記各部分における法線ベクトルをずら
す処理を含む
請求項１に記載の画像処理プログラム。

【請求項3】

前記色補正処理は、前記表面の色の彩度を取得して当該彩度を上げる処理を含む
請求項１又は２に記載の画像処理プログラム。

【請求項4】

前記３次元背景がＨＤＲ画像であって、前記シェーディング処理は、前記ＨＤＲ画像中
の光源の情報を用いてシェーディングを行う処理である
請求項１又は２に記載の画像処理プログラム。

【請求項5】

前記画像処理装置に、
モーションキャプチャにより生成された動きデータを用いて前記３次元キャラクターを
動作させる処理をさらに実行させる
請求項１又は２に記載の画像処理プログラム。

【請求項6】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像
処理装置であって、
前記ＨＤＲ画像中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の
色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行す
る処理部を備え、
前記処理部は、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と
、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する
色補正処理と、を実行する
画像処理装置。

【請求項7】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像
処理方法であって、
前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の
色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行す
るステップを備え、
前記シェーディング処理を実行するステップは、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和ステッ
プと、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する
色補正ステップと、を含む
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

従来、動画配信システムやゲームシステムにおいて、３次元モデルにより構成される３
次元キャラクターを３次元仮想空間上でリアルタイムに操作するとともに、当該３次元仮
想空間内の仮想カメラから見える画像を生成して表示するリアルタイム画像処理技術が知
られている。このような画像処理においては、よりリアルで高品質な画像を生成すること
が望まれており、リアルな画像を生成するための技術の１つとして「シェーディング」と
呼ばれる技術がある。

【0003】

シェーディングは、３次元コンピュータグラフィックスにおける描画処理（「レンダリ
ング」とも称される）の最終的な段階において、光の当たり具合等を勘案して各画素の色
を変化させ、明暗（別の観点では、陰影）を付ける処理である。具体的には、３次元コン
ピュータグラフィックスでは、３次元仮想空間内に光を発する様々な光源が存在しており
、光源からの入射光や反射光等を３次元キャラクターに当てて、その効果によって面や面
上の各点がどのように発色するかを計算して最終的な描画像を得る。

【0004】

このような陰影付けを面単位で処理し、面全体を均一な色で塗るシェーディングをフラ
ットシェーディングという。また、面の境界線がくっきり描かれた角張った表現になって
しまうといったフラットシェーディングの欠点を補うために、ある頂点の色から別の頂点
の色へ向かって途中の各点の色を滑らかに変化させるグローシェーディング（Ｇｏｕｒａ
ｕｄ ｓｈａｄｉｎｇ）や、各点の法線ベクトルを線形補間によって求めて光の反射を計
算するフォンシェーディング（Ｐｈｏｎｇ ｓｈａｄｉｎｇ）等の手法が一般的に用いら
れている。

【0005】

さらに、アニメーションのセル画の塗り方に似た段階的な陰影付けを行うトゥーンシェ
ーディング（ｔｏｏｎ ｓｈａｄｉｎｇ）も用いられている（例えば、特許文献１及び２
参照）。トゥーンシェーディングでは、３次元モデルをアニメーションのセル画のように
色の明暗の境目がはっきりとするように表示する。具体的には、ライティングによってポ
リゴンの輝度（明度）が決定した後、ある輝度からある輝度までが同一の輝度となるよう
に輝度を加工することで、滑らかな輝度変化を数段階の輝度変化に加工する。その後、こ
の数段階の輝度を用いてポリゴンの色やテクスチャの色に明暗が付けられる。その結果、
アニメーションのセル画の特徴である、明暗の境目がはっきりとした画像が得られる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１－０８４３９６号公報

【特許文献2】特開２００５－０４４１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

近年、ＳＤＲ（Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像よりも輝度のレ
ンジが広く、実際の明るさを表現したリアルな画像であるＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍ
ｉｃ Ｒａｎｇｅ）画像の普及が進んでいる。ＨＤＲ画像によれば、白飛びのない明部と
、黒つぶれのない暗部とを同時に再現することが可能である。

【0008】

例えば実写素材から生成したＨＤＲ画像を、３次元キャラクターの３次元背景として用
いることが考えられる。その場合、３次元の背景画像中の光源の情報に基づいてシェーデ
ィングを行うことにより、３次元キャラクターを３次元背景画像と自然に合成する（すな
わち、３次元キャラクターを３次元背景画像と馴染ませる）ことが望まれる。

【0009】

しかしながら、アニメーション調の３次元キャラクター（「セルルックな３次元キャラ
クター」とも称される）に対して、例えばＨＤＲ画像等を３次元背景として用いてシェー
ディングを施すと、明暗（陰影）によって３次元キャラクターの立体感が強調され、３次
元キャラクターがセルルックではなくなってしまうという問題がある。トゥーンシェーデ
ィングを適用することも考えられるが、トゥーンシェーディングでは、３次元背景の色情
報を３次元キャラクターに反映させて背景と馴染ませることが難しく、不自然な描画にな
ってしまう。

【0010】

そこで、本発明は、３次元キャラクターをセルルックに維持しながら３次元背景と馴染
ませて表示可能とする画像処理プログラム、画像処理装置、及び画像処理方法を提供する
ことを目的とする。

【課題を解決するための手段】

【0011】

第１の態様に係る画像処理プログラムは、３次元背景上で仮想カメラから見える３次元
キャラクターの画像を生成するためのプログラムである。前記画像処理プログラムは、画
像処理装置に、前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面
に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング
処理を実行させる。前記シェーディング処理は、前記明暗を平均化するように前記シェー
ディングを緩和するシェーディング緩和処理と、前記シェーディング緩和処理の後におい
て前記表面の色成分を強調するように補正する色補正処理と、を含む。

【0012】

第２の態様に係る画像処理装置は、３次元背景上で仮想カメラから見える３次元キャラ
クターの画像を生成するための装置である。前記画像処理装置は、前記３次元背景中の光
源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明
暗を付与するシェーディングを行うシェーディング処理を実行する処理部を備える。前記
処理部は、前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩
和処理と、前記シェーディング緩和処理の後において前記表面の色成分を強調するように
補正する色補正処理と、を実行する。

【0013】

第３の態様に係る画像処理方法は、３次元背景上で仮想カメラから見える３次元キャラ
クターの画像を生成するための方法である。前記画像処理方法は、前記３次元背景中の光
源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明
暗を付与するシェーディングを行うシェーディング処理を実行するステップを備える。前
記シェーディング処理を実行するステップは、前記明暗を平均化するように前記シェーデ
ィングを緩和するシェーディング緩和ステップと、前記シェーディング緩和処理の後にお
いて前記表面の色成分を強調するように補正する色補正ステップと、を含む。

【発明の効果】

【0014】

本発明の一態様によれば、３次元キャラクターをセルルックに維持しながら３次元背景
と馴染ませて表示可能とする画像処理プログラム、画像処理装置、及び画像処理方法を提
供できる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る画像処理システムの構成を示す図である。

【図2】実施形態に係るシェーディング緩和処理を説明するための図である。

【図3】実施形態に係るシェーディング緩和処理の効果を説明するための図である。

【図4】実施形態に係る画像処理方法を示す図である。

【発明を実施するための形態】

【0016】

図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分
には同一又は類似の符号を付している。

【0017】

（画像処理システムの構成）
まず、図１を参照して、実施形態に係る画像処理システムの構成について説明する。図
１は、実施形態に係る画像処理システム１の構成を示す図である。画像処理システム１は
、画像処理装置１００と、モーションキャプチャ装置２００と、仮想カメラ操作装置３０
０と、表示装置４００とを有する。

【0018】

画像処理装置１００は、３次元仮想空間において３次元キャラクター（具体的には、３
次元キャラクター）を仮想カメラにより撮影して得られた画像を生成するための装置であ
る。画像処理装置１００は、サーバ側に設けられる装置であってもよいし、端末側に設け
られる装置であってもよい。画像処理装置１００は、３次元仮想空間上で３次元キャラク
ターをリアルタイムで動作させるとともに、当該３次元仮想空間内の仮想カメラから見え
る画像を生成するリアルタイム画像処理を行う。実施形態では、画像処理装置１００を用
いて表示装置４００に対する動画配信を行う一例を主として想定する。画像処理装置１０
０の詳細については後述する。

【0019】

モーションキャプチャ装置２００は、現実の人物の３次元の動きをキャプチャすること
で動きデータを生成し、動きデータを画像処理装置１００に出力する装置である。モーシ
ョンキャプチャ装置２００は、ネットワークを介して画像処理装置１００と接続されてい
てもよい。モーションキャプチャの方式は、光学式モーションキャプチャ、慣性センサ式
モーションキャプチャ、機械式モーションキャプチャ、若しくは磁気式モーションキャプ
チャ、又はこれらの組み合わせであってもよい。光学式モーションキャプチャは、複数の
カメラでキャプチャ空間を構築し、反射マーカーの位置をトラッキングする方式である。
慣性センサ式モーションキャプチャは、ジャイロセンサ（角速度計）及び加速度計からな
る慣性センサから動きの情報を逆算して位置や姿勢を算出する方式である。機械式モーシ
ョンキャプチャは、ポジションメータやエンコーダのような回転角や変位を測定するセン
サを使用した方式である。磁気式モーションキャプチャは、磁場発生装置を用いてキャプ
チャ範囲に磁場を送り、装着した磁気センサで受信する方式である。

【0020】

仮想カメラ操作装置３００は、３次元仮想空間における撮影を行う仮想カメラを操作す
るユーザ操作を受け付けてカメラ操作データを生成し、カメラ操作データを画像処理装置
１００に出力する装置である。仮想カメラ操作装置３００は、ネットワークを介して画像
処理装置１００と接続されていてもよい。

【0021】

表示装置４００は、画像処理装置１００により生成された画像データ（動画像データ）
を取得し、画像の表示を行う装置である。表示装置４００は、ネットワークを介して画像
処理装置１００と接続されていてもよい。表示装置４００は、画像を表示可能な装置であ
ればよく、例えば、スマートフォン、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、又
はタブレット端末等であってもよい。表示装置４００は、液晶ディスプレイ又は有機ＥＬ
（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含む。

【0022】

画像処理装置１００は、記憶部１１０と、処理部１２０とを有する。記憶部１１０は、
各種の情報及びデータを記憶する。記憶部１１０は、プログラム及びデータを記憶する少
なくとも１つのメモリを含む。記憶部１１０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ
Ｍｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含み、処理部１２
０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１１０は、半導体
記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記
憶媒体を含んでもよい。記憶部１１０は、複数の種類の記憶媒体、例えば、メモリカード
、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との
組み合わせを含んでもよい。処理部１２０は、演算処理を行う装置であって、少なくとも
１つのプロセッサを含む。処理部１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃ
ｅｓｓｉｎｇ Ｕｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（Ｍｉｃ
ｒｏ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ
Ｇａｔｅ Ａｒｒａｙ）、及びコプロセッサのうち、少なくとも１つを含む。また、処
理部１２０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＶＲＡ
Ｍ（Ｖｉｄｅｏ ＲＡＭ）等を含む。

【0023】

記憶部１１０は、ＨＤＲ背景画像データ記憶部１１１と、３次元キャラクターデータ記
憶部１１２とを有する。ＨＤＲ背景画像データ記憶部１１１は、３次元背景としてのＨＤ
Ｒ画像（すなわち、３次元のＨＤＲ背景画像）のデータを記憶する。実施形態では、この
ようなＨＤＲ背景画像は、例えば、現実の風景をＨＤＲの画質で３次元（例えば、３６０
°）撮影により撮影して得られた実写データである。但し、ＨＤＲ背景画像は、コンピュ
ータグラフィックス（ＣＧ）により生成されたＣＧ背景データであってもよい。ＨＤＲ背
景データは、光を発する様々な光源の情報を有する。光源は、点光源や平行光線等である
。３次元キャラクターデータ記憶部１１２は、３次元モデルにより構成された３次元キャ
ラクターのデータを記憶する。３次元モデルは、３次元キャラクターの表面を多数のポリ
ゴンで構成したものである。各ポリゴンは、三角形状であってもよいし、四角形状であっ
てもよい。各ポリゴンの情報は、当該ポリゴンの各頂点の座標（ローカル座標）を示す座
標情報と、当該ポリゴンの法線ベクトルを示す法線情報と、当該ポリゴンの色又は当該ポ
リゴンの各頂点の色を示す色情報（テクスチャ情報）とを含んでもよい。

【0024】

（画像処理装置の動作）
次に、図１及び図２を参照して、実施形態に係る画像処理装置１００の動作について説
明する。処理部１２０は、記憶部１１０に記憶されたプログラム（画像処理プログラム）
を実行することにより、キャラクター動作制御部１２１と、仮想カメラ動作制御部１２２
と、シェーダー部１２３と、表示画像生成部１２４とを有する。シェーダー部１２３及び
表示画像生成部１２４は、レンダリング部１５０を構成する。レンダリング部１５０は、
３次元コンピュータグラフィックスにおける描画処理を行う。

【0025】

キャラクター動作制御部１２１は、モーションキャプチャ装置２００により生成された
動きデータを用いて、３次元仮想空間（実施形態では、３次元のＨＤＲ背景画像）上で３
次元キャラクターを動作させる。キャラクター動作制御部１２１は、現実の人物の３次元
の動きと同期して３次元キャラクターを動作させるリアルタイム制御を行ってもよい。キ
ャラクター動作制御部１２１は、動きデータを用いて、３次元キャラクターの姿勢や、手
足の動き、顔の表情等を制御する。

【0026】

仮想カメラ動作制御部１２２は、仮想カメラ操作装置３００により生成されたカメラ操
作データを用いて、３次元仮想空間上で仮想カメラ（すなわち、視点位置及び視線角度）
を動作させる。仮想カメラ動作制御部１２２は、仮想カメラを操作するユーザ操作と同期
して仮想カメラを動作させるリアルタイム制御を行ってもよい。

【0027】

シェーダー部１２３は、描画処理（レンダリング）の最終的な段階において、ＨＤＲ背
景画像中の光源からの光の当たり具合等を勘案して各画素の色を変化させ、明暗（別の観
点では、陰影）を付ける。具体的には、シェーダー部１２３は、光源の位置や光反射から
立体の明暗（陰影）を算出するにあたり、光源からの入射光や反射光等を３次元キャラク
ターに当てて、その効果によって面や面上の各点がどのように発色するかを計算して最終
的な描画像を得る。実施形態では、シェーダー部１２３は、シェーディング計算部１２３
ａと、シェーディング緩和処理部１２３ｂと、色補正処理部１２３ｃとを有する。

【0028】

シェーディング計算部１２３ａは、ＨＤＲ背景画像中の光源の情報を用いて、３次元キ
ャラクターの表面に光源の色の情報を反映させた明暗を付与するシェーディング処理（シ
ェーディング計算）を行う。ここで、シェーディング計算部１２３ａは、３次元キャラク
ターの表面の各部分（具体的には、各ポリゴン）における法線ベクトルに基づいて当該各
部分における発色を計算する。

【0029】

例えば、シェーディング計算部１２３ａは、グローシェーディング（Ｇｏｕｒａｕｄ
ｓｈａｄｉｎｇ）又はフォンシェーディング（Ｐｈｏｎｇ ｓｈａｄｉｎｇ）等の既存の
シェーディング手法を用いたシェーディング計算を行う。グローシェーディングでは、ポ
リゴンの頂点ごとに法線ベクトルを求め、光源と頂点とを結んだベクトルと法線ベクトル
とのなす角によって、その頂点での明るさ（色）を求める。ポリゴン内の角画素の明るさ
は各頂点の値から内挿して求める。また、頂点での法線ベクトルは、その頂点を共有する
周りのポリゴンの法線ベクトルを平均して決める。フォンシェーディングでは、ポリゴン
内の各点の法線ベクトルを線形補間によって求めて光の反射を計算する。

【0030】

このような既存のシェーディング手法によりシェーディングを行うと、明暗（陰影）に
よって３次元キャラクターの立体感が強調され、３次元キャラクターがセルルックではな
くなってしまうという問題がある。特に、３次元背景としてＨＤＲ画像を用いる場合にお
いては、背景が広いレンジの輝度を有しており、強い明暗（すなわち、高いコントラスト
）がシェーディングにより３次元キャラクターに付与され、３次元キャラクターが過度に
立体的になってしまう。

【0031】

シェーディング緩和処理部１２３ｂは、シェーディングに付与される明暗を平均化する
ようにシェーディングを緩和するシェーディング緩和処理を行う。このようにしてシェー
ディングを緩和することにより、３次元キャラクターの立体感が強調されることを抑制し
、３次元キャラクターをＨＤＲ背景画像と馴染ませつつセルルックを維持することが可能
になる。

【0032】

例えば、シェーディング緩和処理部１２３ｂは、シェーディング計算にあたり、図２に
示すように、乱数（擬似乱数を含む）を用いて各ポリゴンにおける法線ベクトルをずらす
処理を行う。このような処理において、モンテカルロ法が用いられてもよい。シェーディ
ング緩和処理部１２３ｂは、ポリゴンごとに乱数を生成し、当該乱数に応じた態様（方向
、角度）で法線ベクトルをずらす。法線ベクトルをずらす態様と乱数との対応関係は、予
めテーブル又は数式等により定められているものとする。なお、図２においては、１つの
ポリゴンについて、当該ポリゴンに対応する乱数に応じて、法線ベクトルをＮｐからＮｐ
’にずらす一例を示している。

【0033】

このような処理を各ポリゴンに対して施すことにより、多数のポリゴンの法線ベクトル
がランダムに分散し、シェーディングにより３次元キャラクターに付与される明暗（陰影
）を平均化、すなわち、明暗（陰影）をぼかすことが可能である。図３（ａ）に、シェー
ディング緩和処理無しの場合の３次元キャラクターの描画を示し、図３（ｂ）に、シェー
ディング緩和処理有りの場合の３次元キャラクターの描画を示す。図３（ａ）及び図３（
ｂ）を比較して分かるように、シェーディング緩和処理によって明暗（陰影）が平均化さ
れ、立体感が強調されることが抑制されている。但し、シェーディング緩和処理は、乱数
を用いる方法に限定されず、シェーディングにより３次元キャラクターに付与される明暗
（陰影）をぼかすことができれば他の方法を採用してもよい。

【0034】

しかしながら、このようにして明暗（陰影）をぼかすことにより、背景色、具体的には
、ＨＤＲ背景画像中の光源の色（色彩）が３次元キャラクターに反映され難くなり、３次
元キャラクターがＨＤＲ背景画像と十分に馴染まなくなり、若干不自然な描画になるとい
う問題がある。

【0035】

色補正処理部１２３ｃは、シェーディング緩和処理の後において、３次元キャラクター
表面の色成分を強調するように補正する。このような色補正処理により、ＨＤＲ背景画像
中の光源の色彩が３次元キャラクターに反映された状態になり、３次元キャラクターがＨ
ＤＲ背景画像と十分に馴染み、自然な描画を実現できる。

【0036】

例えば、色補正処理部１２３ｃは、３次元キャラクター表面の色の彩度を取得して当該
彩度を上げる。彩度とは、色の鮮やかさの度合いをいう。色補正処理部１２３ｃは、３次
元キャラクターの各ポリゴンの各画素の色（画素値）がＨＳＶ色空間で表現されている場
合、色相（Ｈ）及び明度（Ｖ）を変化させずに維持し、彩度（Ｓ）を上げる。ここで、色
補正処理部１２３ｃは、予め定められた補正係数（例えば、“３”）を彩度（Ｓ）に乗算
することで彩度（Ｓ）を上げてもよい。このような補正係数は、光源の光の強度等に応じ
て可変設定されるパラメータであってもよい。

【0037】

なお、各画素の色（画素値）が他の色空間（例えば、ＲＧＢ色空間）で表現されている
場合、色補正処理部１２３ｃは、当該画素値をＨＳＶ色空間に変換したうえで彩度（Ｓ）
を上げてもよい。また、ＨＳＶ色空間に限定されず、他の色空間であっても彩度に相当す
る色成分を上げればよい。

【0038】

表示画像生成部１２４は、３次元のＨＤＲ背景画像上で３次元キャラクターを仮想カメ
ラにより撮影して得られた画像データを生成し、生成した画像データを表示装置４００に
提供（配信）する。具体的には、表示画像生成部１２４は、仮想カメラに対応する視点位
置及び視線角度に基づいて、３次元仮想空間に配置された３次元キャラクターの座標をワ
ールド座標系からスクリーン座標系に変換することで表示画像を生成する。

【0039】

（画像処理方法）
次に、図４を参照して、実施形態に係る画像処理方法について説明する。図４は、実施
形態に係る画像処理方法を示す図である。当該画像処理方法は、ＨＤＲ画像を３次元背景
として仮想カメラから見える３次元キャラクターの画像を生成するためのレンダリング（
特に、シェーディング）を行う方法である。

【0040】

ステップＳ１において、シェーディング緩和処理部１２３ｂは、乱数を用いて、３次元
キャラクターの表面の各ポリゴンにおける法線ベクトルをずらす処理を行う。このような
処理においてモンテカルロ法を用いてもよい。

【0041】

ステップＳ２において、シェーディング計算部１２３ａは、３次元キャラクターの表面
の各ポリゴンについて、シェーディング緩和処理部１２３ｂによりずらされた法線ベクト
ルに基づいて、各ポリゴンにおける発色を計算する。

【0042】

ステップＳ３において、色補正処理部１２３ｃは、３次元キャラクター表面の色成分を
強調するように補正する。例えば、色補正処理部１２３ｃは、３次元キャラクター表面の
色の彩度を取得して当該彩度を上げる。

【0043】

以上説明したように、実施形態に係る画像処理装置１００及び画像処理方法によれば、
３次元キャラクターをセルルックに維持しながらＨＤＲ背景画像と馴染ませて表示するこ
とが可能である。

【0044】

（変更例）
上述の実施形態では、３次元背景（背景マップ）が、現実の風景をＨＤＲの画質で３次
元（例えば、３６０°）撮影により撮影して得られた実写データである一例について説明
した。しかしながら、３次元背景は、球面調和関数（ＳＨ： Ｓｐｈｅｒｉｃａｌ Ｈａ
ｒｍｏｎｉｃｓ）を用いて圧縮されたデータであってもよい。球面調和関数は、簡単に言
えば、放射状に広がる全方位方向の情報分布を基底関数の和で表現するものであり、３次
元コンピュータグラフィックスでは空間全周の状態を非可逆に圧縮する技法として広く用
いられている。具体的には、３次元背景は、複数の球面調和関数のそれぞれのスケーリン
グ係数の組み合わせにより構成される。このような前提下において、シェーディング緩和
処理は、球面調和関数の数（すなわち、次元数）を削減することで色情報を削減する処理
を含んでもよい。

【0045】

（その他の実施形態）
上述の実施形態において、画像処理装置１００を用いて動画配信を行う構成を想定し、
モーションキャプチャ装置２００を用いて３次元キャラクターを動作させる一例について
説明した。しかしながら、モーションキャプチャ装置２００に代えて、３次元キャラクタ
ーを動作させるユーザ操作を受け付けるコントローラを用い、画像処理装置１００をゲー
ムシステムに用いる構成としてもよい。

【0046】

上述の実施形態における動作（及び動作フロー）は、必ずしも上述の説明の順序に沿っ
て時系列に実行されなくてよい。例えば、動作におけるステップは、上述の順序と異なる
順序で実行されてもよいし、並列的に実行されてもよい。また、動作におけるステップの
一部が削除されてもよく、さらなるステップが処理に追加されてもよい。

【0047】

上述の実施形態に係る各処理をコンピュータに実行させるプログラムが提供されてもよ
い。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ
読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能で
ある。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録
媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、
ＣＤ－ＲＯＭ又はＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0048】

本開示で使用されている「に基づいて（ｂａｓｅｄ ｏｎ）」、「に応じて（ｄｅｐｅ
ｎｄｉｎｇ ｏｎ）」という記載は、別段に明記されていない限り、「のみに基づいて」
、「のみに応じて」を意味しない。「に基づいて」という記載は、「のみに基づいて」及
び「に少なくとも部分的に基づいて」の両方を意味する。同様に、「に応じて」という記
載は、「のみに応じて」及び「に少なくとも部分的に応じて」の両方を意味する。また、
「取得する（ｏｂｔａｉｎ／ａｃｑｕｉｒｅ）」は、記憶されている情報の中から情報を
取得することを意味してもよく、他のノードから受信した情報の中から情報を取得するこ
とを意味してもよく、又は、情報を生成することにより当該情報を取得することを意味し
てもよい。「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、及びそれら
の変形の用語は、列挙する項目のみを含むことを意味せず、列挙する項目のみを含んでも
よいし、列挙する項目に加えてさらなる項目を含んでもよいことを意味する。また、本開
示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図さ
れる。本開示において、例えば、英語でのａ，ａｎ，及びｔｈｅのように、翻訳により冠
詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されてい
なければ、複数のものを含むものとする。

【0049】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のもの
に限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが
可能である。

【符号の説明】

【0050】

１ ：画像処理システム
１００ ：画像処理装置
１１０ ：記憶部
１１１ ：ＨＤＲ背景画像データ記憶部
１１２ ：３次元キャラクターデータ記憶部
１２０ ：処理部
１２１ ：キャラクター動作制御部
１２２ ：仮想カメラ動作制御部
１２３ ：シェーダー部
１２３ａ ：シェーディング計算部
１２３ｂ ：シェーディング緩和処理部
１２３ｃ ：色補正処理部
１２４ ：表示画像生成部
１５０ ：レンダリング部
２００ ：モーションキャプチャ装置
３００ ：仮想カメラ操作装置
４００ ：表示装置

【図1】

【図2】

【図3】

【図4】