特開2023-166906 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ Ａｃｔｉｖ８株式会社の特許一覧

特開2023-166906画像処理プログラム、画像処理装置、及び画像処理方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023166906

(43)【公開日】2023-11-22

(54)【発明の名称】画像処理プログラム、画像処理装置、及び画像処理方法

(51)【国際特許分類】

G06T 15/80 20110101AFI20231115BHJP

G06T 19/00 20110101ALI20231115BHJP

【ＦＩ】

G06T15/80

G06T19/00 A

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022077761

(22)【出願日】2022-05-10

(11)【特許番号】

(45)【特許公報発行日】2022-12-16

(71)【出願人】

【識別番号】517383032

【氏名又は名称】Ａｃｔｉｖ８株式会社

(74)【代理人】

【識別番号】110001106

【氏名又は名称】弁理士法人キュリーズ

(72)【発明者】

【氏名】大坂武史

(72)【発明者】

【氏名】小森俊輔

(72)【発明者】

【氏名】辻本典良

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA09

5B050BA12

5B050CA07

5B050DA10

5B050EA07

5B050EA12

5B050EA14

5B050EA18

5B050EA27

5B050EA30

5B050FA02

5B080AA13

5B080AA19

5B080BA02

5B080BA04

5B080DA06

5B080FA02

5B080FA09

5B080FA15

5B080GA14

5B080GA15

5B080GA22

(57)【要約】

【課題】３次元キャラクターをセルルックに維持しながら３次元背景と馴染ませて表示可能とする。
【解決手段】３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像処理プログラムは、画像処理装置に、前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行させる。前記シェーディング処理は、前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処理と、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像処理プログラムであって、
画像処理装置に、
前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行させ、
前記シェーディング処理は、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処理と、を含む
画像処理プログラム。

【請求項2】

前記シェーディング処理は、前記表面の各部分における法線ベクトルに基づいて前記各部分における発色を計算するシェーディング計算処理をさらに含み、
前記シェーディング緩和処理は、乱数を用いて前記各部分における法線ベクトルをずらす処理を含む
請求項１に記載の画像処理プログラム。

【請求項3】

前記色補正処理は、前記表面の色の彩度を取得して当該彩度を上げる処理を含む
請求項１又は２に記載の画像処理プログラム。

【請求項4】

前記３次元背景がＨＤＲ画像であって、前記シェーディング処理は、前記ＨＤＲ画像中の光源の情報を用いてシェーディングを行う処理である
請求項１又は２に記載の画像処理プログラム。

【請求項5】

前記画像処理装置に、
モーションキャプチャにより生成された動きデータを用いて前記３次元キャラクターを動作させる処理をさらに実行させる
請求項１又は２に記載の画像処理プログラム。

【請求項6】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像処理装置であって、
前記ＨＤＲ画像中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行する処理部を備え、
前記処理部は、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処理と、を実行する
画像処理装置。

【請求項7】

３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための画像処理方法であって、
前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行するステップを備え、
前記シェーディング処理を実行するステップは、
前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和ステップと、
前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正ステップと、を含む
画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理プログラム、画像処理装置、及び画像処理方法に関する。

【背景技術】

【0002】

従来、動画配信システムやゲームシステムにおいて、３次元モデルにより構成される３次元キャラクターを３次元仮想空間上でリアルタイムに操作するとともに、当該３次元仮想空間内の仮想カメラから見える画像を生成して表示するリアルタイム画像処理技術が知られている。このような画像処理においては、よりリアルで高品質な画像を生成することが望まれており、リアルな画像を生成するための技術の１つとして「シェーディング」と呼ばれる技術がある。

【0003】

シェーディングは、３次元コンピュータグラフィックスにおける描画処理（「レンダリング」とも称される）の最終的な段階において、光の当たり具合等を勘案して各画素の色を変化させ、明暗（別の観点では、陰影）を付ける処理である。具体的には、３次元コンピュータグラフィックスでは、３次元仮想空間内に光を発する様々な光源が存在しており、光源からの入射光や反射光等を３次元キャラクターに当てて、その効果によって面や面上の各点がどのように発色するかを計算して最終的な描画像を得る。

【0004】

このような陰影付けを面単位で処理し、面全体を均一な色で塗るシェーディングをフラットシェーディングという。また、面の境界線がくっきり描かれた角張った表現になってしまうといったフラットシェーディングの欠点を補うために、ある頂点の色から別の頂点の色へ向かって途中の各点の色を滑らかに変化させるグローシェーディング（Ｇｏｕｒａｕｄｓｈａｄｉｎｇ）や、各点の法線ベクトルを線形補間によって求めて光の反射を計算するフォンシェーディング（Ｐｈｏｎｇｓｈａｄｉｎｇ）等の手法が一般的に用いられている。

【0005】

さらに、アニメーションのセル画の塗り方に似た段階的な陰影付けを行うトゥーンシェーディング（ｔｏｏｎｓｈａｄｉｎｇ）も用いられている（例えば、特許文献１及び２参照）。トゥーンシェーディングでは、３次元モデルをアニメーションのセル画のように色の明暗の境目がはっきりとするように表示する。具体的には、ライティングによってポリゴンの輝度（明度）が決定した後、ある輝度からある輝度までが同一の輝度となるように輝度を加工することで、滑らかな輝度変化を数段階の輝度変化に加工する。その後、この数段階の輝度を用いてポリゴンの色やテクスチャの色に明暗が付けられる。その結果、アニメーションのセル画の特徴である、明暗の境目がはっきりとした画像が得られる。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００１－０８４３９６号公報

【特許文献2】特開２００５－０４４１９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

近年、ＳＤＲ（ＳｔａｎｄａｒｄＤｙｎａｍｉｃＲａｎｇｅ）画像よりも輝度のレンジが広く、実際の明るさを表現したリアルな画像であるＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ）画像の普及が進んでいる。ＨＤＲ画像によれば、白飛びのない明部と、黒つぶれのない暗部とを同時に再現することが可能である。

【0008】

例えば実写素材から生成したＨＤＲ画像を、３次元キャラクターの３次元背景として用いることが考えられる。その場合、３次元の背景画像中の光源の情報に基づいてシェーディングを行うことにより、３次元キャラクターを３次元背景画像と自然に合成する（すなわち、３次元キャラクターを３次元背景画像と馴染ませる）ことが望まれる。

【0009】

しかしながら、アニメーション調の３次元キャラクター（「セルルックな３次元キャラクター」とも称される）に対して、例えばＨＤＲ画像等を３次元背景として用いてシェーディングを施すと、明暗（陰影）によって３次元キャラクターの立体感が強調され、３次元キャラクターがセルルックではなくなってしまうという問題がある。トゥーンシェーディングを適用することも考えられるが、トゥーンシェーディングでは、３次元背景の色情報を３次元キャラクターに反映させて背景と馴染ませることが難しく、不自然な描画になってしまう。

【0010】

そこで、本発明は、３次元キャラクターをセルルックに維持しながら３次元背景と馴染ませて表示可能とする画像処理プログラム、画像処理装置、及び画像処理方法を提供することを目的とする。

【課題を解決するための手段】

【0011】

第１の態様に係る画像処理プログラムは、３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するためのプログラムである。前記画像処理プログラムは、画像処理装置に、前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行させる。前記シェーディング処理は、前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処理と、を含む。

【0012】

第２の態様に係る画像処理装置は、３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための装置である。前記画像処理装置は、前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行する処理部を備える。前記処理部は、前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和処理と、前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正処理と、を実行する。

【0013】

第３の態様に係る画像処理方法は、３次元背景上で仮想カメラから見える３次元キャラクターの画像を生成するための方法である。前記画像処理方法は、前記３次元背景中の光源の情報を用いて、前記３次元キャラクターの表面に前記光源の色の情報を反映させた明暗を付与するシェーディングを行うシェーディング処理を実行するステップを備える。前記シェーディング処理を実行するステップは、前記明暗を平均化するように前記シェーディングを緩和するシェーディング緩和ステップと、前記シェーディング緩和処理の後において前記表面の色成分を強調するように補正する色補正ステップと、を含む。

【発明の効果】

【0014】

本発明の一態様によれば、３次元キャラクターをセルルックに維持しながら３次元背景と馴染ませて表示可能とする画像処理プログラム、画像処理装置、及び画像処理方法を提供できる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る画像処理システムの構成を示す図である。

【図2】実施形態に係るシェーディング緩和処理を説明するための図である。

【図3】実施形態に係るシェーディング緩和処理の効果を説明するための図である。

【図4】実施形態に係る画像処理方法を示す図である。

【発明を実施するための形態】

【0016】

図面を参照して実施形態について説明する。図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。

【0017】

（画像処理システムの構成）
まず、図１を参照して、実施形態に係る画像処理システムの構成について説明する。図１は、実施形態に係る画像処理システム１の構成を示す図である。画像処理システム１は、画像処理装置１００と、モーションキャプチャ装置２００と、仮想カメラ操作装置３００と、表示装置４００とを有する。

【0018】

画像処理装置１００は、３次元仮想空間において３次元キャラクター（具体的には、３次元キャラクター）を仮想カメラにより撮影して得られた画像を生成するための装置である。画像処理装置１００は、サーバ側に設けられる装置であってもよいし、端末側に設けられる装置であってもよい。画像処理装置１００は、３次元仮想空間上で３次元キャラクターをリアルタイムで動作させるとともに、当該３次元仮想空間内の仮想カメラから見える画像を生成するリアルタイム画像処理を行う。実施形態では、画像処理装置１００を用いて表示装置４００に対する動画配信を行う一例を主として想定する。画像処理装置１００の詳細については後述する。

【0019】

モーションキャプチャ装置２００は、現実の人物の３次元の動きをキャプチャすることで動きデータを生成し、動きデータを画像処理装置１００に出力する装置である。モーションキャプチャ装置２００は、ネットワークを介して画像処理装置１００と接続されていてもよい。モーションキャプチャの方式は、光学式モーションキャプチャ、慣性センサ式モーションキャプチャ、機械式モーションキャプチャ、若しくは磁気式モーションキャプチャ、又はこれらの組み合わせであってもよい。光学式モーションキャプチャは、複数のカメラでキャプチャ空間を構築し、反射マーカーの位置をトラッキングする方式である。慣性センサ式モーションキャプチャは、ジャイロセンサ（角速度計）及び加速度計からなる慣性センサから動きの情報を逆算して位置や姿勢を算出する方式である。機械式モーションキャプチャは、ポジションメータやエンコーダのような回転角や変位を測定するセンサを使用した方式である。磁気式モーションキャプチャは、磁場発生装置を用いてキャプチャ範囲に磁場を送り、装着した磁気センサで受信する方式である。

【0020】

仮想カメラ操作装置３００は、３次元仮想空間における撮影を行う仮想カメラを操作するユーザ操作を受け付けてカメラ操作データを生成し、カメラ操作データを画像処理装置１００に出力する装置である。仮想カメラ操作装置３００は、ネットワークを介して画像処理装置１００と接続されていてもよい。

【0021】

表示装置４００は、画像処理装置１００により生成された画像データ（動画像データ）を取得し、画像の表示を行う装置である。表示装置４００は、ネットワークを介して画像処理装置１００と接続されていてもよい。表示装置４００は、画像を表示可能な装置であればよく、例えば、スマートフォン、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）、又はタブレット端末等であってもよい。表示装置４００は、液晶ディスプレイ又は有機ＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを含む。

【0022】

画像処理装置１００は、記憶部１１０と、処理部１２０とを有する。記憶部１１０は、各種の情報及びデータを記憶する。記憶部１１０は、プログラム及びデータを記憶する少なくとも１つのメモリを含む。記憶部１１０は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含み、処理部１２０の処理結果を一時的に記憶する作業領域としても利用される。記憶部１１０は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでもよい。記憶部１１０は、複数の種類の記憶媒体、例えば、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでもよい。処理部１２０は、演算処理を行う装置であって、少なくとも１つのプロセッサを含む。処理部１２０は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－Ｃｈｉｐ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、及びコプロセッサのうち、少なくとも１つを含む。また、処理部１２０は、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＶＲＡＭ（ＶｉｄｅｏＲＡＭ）等を含む。

【0023】

記憶部１１０は、ＨＤＲ背景画像データ記憶部１１１と、３次元キャラクターデータ記憶部１１２とを有する。ＨＤＲ背景画像データ記憶部１１１は、３次元背景としてのＨＤＲ画像（すなわち、３次元のＨＤＲ背景画像）のデータを記憶する。実施形態では、このようなＨＤＲ背景画像は、例えば、現実の風景をＨＤＲの画質で３次元（例えば、３６０°）撮影により撮影して得られた実写データである。但し、ＨＤＲ背景画像は、コンピュータグラフィックス（ＣＧ）により生成されたＣＧ背景データであってもよい。ＨＤＲ背景データは、光を発する様々な光源の情報を有する。光源は、点光源や平行光線等である。３次元キャラクターデータ記憶部１１２は、３次元モデルにより構成された３次元キャラクターのデータを記憶する。３次元モデルは、３次元キャラクターの表面を多数のポリゴンで構成したものである。各ポリゴンは、三角形状であってもよいし、四角形状であってもよい。各ポリゴンの情報は、当該ポリゴンの各頂点の座標（ローカル座標）を示す座標情報と、当該ポリゴンの法線ベクトルを示す法線情報と、当該ポリゴンの色又は当該ポリゴンの各頂点の色を示す色情報（テクスチャ情報）とを含んでもよい。

【0024】

（画像処理装置の動作）
次に、図１及び図２を参照して、実施形態に係る画像処理装置１００の動作について説明する。処理部１２０は、記憶部１１０に記憶されたプログラム（画像処理プログラム）を実行することにより、キャラクター動作制御部１２１と、仮想カメラ動作制御部１２２と、シェーダー部１２３と、表示画像生成部１２４とを有する。シェーダー部１２３及び表示画像生成部１２４は、レンダリング部１５０を構成する。レンダリング部１５０は、３次元コンピュータグラフィックスにおける描画処理を行う。

【0025】

キャラクター動作制御部１２１は、モーションキャプチャ装置２００により生成された動きデータを用いて、３次元仮想空間（実施形態では、３次元のＨＤＲ背景画像）上で３次元キャラクターを動作させる。キャラクター動作制御部１２１は、現実の人物の３次元の動きと同期して３次元キャラクターを動作させるリアルタイム制御を行ってもよい。キャラクター動作制御部１２１は、動きデータを用いて、３次元キャラクターの姿勢や、手足の動き、顔の表情等を制御する。

【0026】

仮想カメラ動作制御部１２２は、仮想カメラ操作装置３００により生成されたカメラ操作データを用いて、３次元仮想空間上で仮想カメラ（すなわち、視点位置及び視線角度）を動作させる。仮想カメラ動作制御部１２２は、仮想カメラを操作するユーザ操作と同期して仮想カメラを動作させるリアルタイム制御を行ってもよい。

【0027】

シェーダー部１２３は、描画処理（レンダリング）の最終的な段階において、ＨＤＲ背景画像中の光源からの光の当たり具合等を勘案して各画素の色を変化させ、明暗（別の観点では、陰影）を付ける。具体的には、シェーダー部１２３は、光源の位置や光反射から立体の明暗（陰影）を算出するにあたり、光源からの入射光や反射光等を３次元キャラクターに当てて、その効果によって面や面上の各点がどのように発色するかを計算して最終的な描画像を得る。実施形態では、シェーダー部１２３は、シェーディング計算部１２３ａと、シェーディング緩和処理部１２３ｂと、色補正処理部１２３ｃとを有する。

【0028】

シェーディング計算部１２３ａは、ＨＤＲ背景画像中の光源の情報を用いて、３次元キャラクターの表面に光源の色の情報を反映させた明暗を付与するシェーディング処理（シェーディング計算）を行う。ここで、シェーディング計算部１２３ａは、３次元キャラクターの表面の各部分（具体的には、各ポリゴン）における法線ベクトルに基づいて当該各部分における発色を計算する。

【0029】

例えば、シェーディング計算部１２３ａは、グローシェーディング（Ｇｏｕｒａｕｄｓｈａｄｉｎｇ）又はフォンシェーディング（Ｐｈｏｎｇｓｈａｄｉｎｇ）等の既存のシェーディング手法を用いたシェーディング計算を行う。グローシェーディングでは、ポリゴンの頂点ごとに法線ベクトルを求め、光源と頂点とを結んだベクトルと法線ベクトルとのなす角によって、その頂点での明るさ（色）を求める。ポリゴン内の角画素の明るさは各頂点の値から内挿して求める。また、頂点での法線ベクトルは、その頂点を共有する周りのポリゴンの法線ベクトルを平均して決める。フォンシェーディングでは、ポリゴン内の各点の法線ベクトルを線形補間によって求めて光の反射を計算する。

【0030】

このような既存のシェーディング手法によりシェーディングを行うと、明暗（陰影）によって３次元キャラクターの立体感が強調され、３次元キャラクターがセルルックではなくなってしまうという問題がある。特に、３次元背景としてＨＤＲ画像を用いる場合においては、背景が広いレンジの輝度を有しており、強い明暗（すなわち、高いコントラスト）がシェーディングにより３次元キャラクターに付与され、３次元キャラクターが過度に立体的になってしまう。

【0031】

シェーディング緩和処理部１２３ｂは、シェーディングに付与される明暗を平均化するようにシェーディングを緩和するシェーディング緩和処理を行う。このようにしてシェーディングを緩和することにより、３次元キャラクターの立体感が強調されることを抑制し、３次元キャラクターをＨＤＲ背景画像と馴染ませつつセルルックを維持することが可能になる。

【0032】

例えば、シェーディング緩和処理部１２３ｂは、シェーディング計算にあたり、図２に示すように、乱数（擬似乱数を含む）を用いて各ポリゴンにおける法線ベクトルをずらす処理を行う。このような処理において、モンテカルロ法が用いられてもよい。シェーディング緩和処理部１２３ｂは、ポリゴンごとに乱数を生成し、当該乱数に応じた態様（方向、角度）で法線ベクトルをずらす。法線ベクトルをずらす態様と乱数との対応関係は、予めテーブル又は数式等により定められているものとする。なお、図２においては、１つのポリゴンについて、当該ポリゴンに対応する乱数に応じて、法線ベクトルをＮｐからＮｐ’にずらす一例を示している。

【0033】

このような処理を各ポリゴンに対して施すことにより、多数のポリゴンの法線ベクトルがランダムに分散し、シェーディングにより３次元キャラクターに付与される明暗（陰影）を平均化、すなわち、明暗（陰影）をぼかすことが可能である。図３（ａ）に、シェーディング緩和処理無しの場合の３次元キャラクターの描画を示し、図３（ｂ）に、シェーディング緩和処理有りの場合の３次元キャラクターの描画を示す。図３（ａ）及び図３（ｂ）を比較して分かるように、シェーディング緩和処理によって明暗（陰影）が平均化され、立体感が強調されることが抑制されている。但し、シェーディング緩和処理は、乱数を用いる方法に限定されず、シェーディングにより３次元キャラクターに付与される明暗（陰影）をぼかすことができれば他の方法を採用してもよい。

【0034】

しかしながら、このようにして明暗（陰影）をぼかすことにより、背景色、具体的には、ＨＤＲ背景画像中の光源の色（色彩）が３次元キャラクターに反映され難くなり、３次元キャラクターがＨＤＲ背景画像と十分に馴染まなくなり、若干不自然な描画になるという問題がある。

【0035】

色補正処理部１２３ｃは、シェーディング緩和処理の後において、３次元キャラクター表面の色成分を強調するように補正する。このような色補正処理により、ＨＤＲ背景画像中の光源の色彩が３次元キャラクターに反映された状態になり、３次元キャラクターがＨＤＲ背景画像と十分に馴染み、自然な描画を実現できる。

【0036】

例えば、色補正処理部１２３ｃは、３次元キャラクター表面の色の彩度を取得して当該彩度を上げる。彩度とは、色の鮮やかさの度合いをいう。色補正処理部１２３ｃは、３次元キャラクターの各ポリゴンの各画素の色（画素値）がＨＳＶ色空間で表現されている場合、色相（Ｈ）及び明度（Ｖ）を変化させずに維持し、彩度（Ｓ）を上げる。ここで、色補正処理部１２３ｃは、予め定められた補正係数（例えば、“３”）を彩度（Ｓ）に乗算することで彩度（Ｓ）を上げてもよい。このような補正係数は、光源の光の強度等に応じて可変設定されるパラメータであってもよい。

【0037】

なお、各画素の色（画素値）が他の色空間（例えば、ＲＧＢ色空間）で表現されている場合、色補正処理部１２３ｃは、当該画素値をＨＳＶ色空間に変換したうえで彩度（Ｓ）を上げてもよい。また、ＨＳＶ色空間に限定されず、他の色空間であっても彩度に相当する色成分を上げればよい。

【0038】

表示画像生成部１２４は、３次元のＨＤＲ背景画像上で３次元キャラクターを仮想カメラにより撮影して得られた画像データを生成し、生成した画像データを表示装置４００に提供（配信）する。具体的には、表示画像生成部１２４は、仮想カメラに対応する視点位置及び視線角度に基づいて、３次元仮想空間に配置された３次元キャラクターの座標をワールド座標系からスクリーン座標系に変換することで表示画像を生成する。

【0039】

（画像処理方法）
次に、図４を参照して、実施形態に係る画像処理方法について説明する。図４は、実施形態に係る画像処理方法を示す図である。当該画像処理方法は、ＨＤＲ画像を３次元背景として仮想カメラから見える３次元キャラクターの画像を生成するためのレンダリング（特に、シェーディング）を行う方法である。

【0040】

ステップＳ１において、シェーディング緩和処理部１２３ｂは、乱数を用いて、３次元キャラクターの表面の各ポリゴンにおける法線ベクトルをずらす処理を行う。このような処理においてモンテカルロ法を用いてもよい。

【0041】

ステップＳ２において、シェーディング計算部１２３ａは、３次元キャラクターの表面の各ポリゴンについて、シェーディング緩和処理部１２３ｂによりずらされた法線ベクトルに基づいて、各ポリゴンにおける発色を計算する。

【0042】

ステップＳ３において、色補正処理部１２３ｃは、３次元キャラクター表面の色成分を強調するように補正する。例えば、色補正処理部１２３ｃは、３次元キャラクター表面の色の彩度を取得して当該彩度を上げる。

【0043】

以上説明したように、実施形態に係る画像処理装置１００及び画像処理方法によれば、３次元キャラクターをセルルックに維持しながらＨＤＲ背景画像と馴染ませて表示することが可能である。

【0044】

（変更例）
上述の実施形態では、３次元背景（背景マップ）が、現実の風景をＨＤＲの画質で３次元（例えば、３６０°）撮影により撮影して得られた実写データである一例について説明した。しかしながら、３次元背景は、球面調和関数（ＳＨ：ＳｐｈｅｒｉｃａｌＨａｒｍｏｎｉｃｓ）を用いて圧縮されたデータであってもよい。球面調和関数は、簡単に言えば、放射状に広がる全方位方向の情報分布を基底関数の和で表現するものであり、３次元コンピュータグラフィックスでは空間全周の状態を非可逆に圧縮する技法として広く用いられている。具体的には、３次元背景は、複数の球面調和関数のそれぞれのスケーリング係数の組み合わせにより構成される。このような前提下において、シェーディング緩和処理は、球面調和関数の数（すなわち、次元数）を削減することで色情報を削減する処理を含んでもよい。

【0045】

（その他の実施形態）
上述の実施形態において、画像処理装置１００を用いて動画配信を行う構成を想定し、モーションキャプチャ装置２００を用いて３次元キャラクターを動作させる一例について説明した。しかしながら、モーションキャプチャ装置２００に代えて、３次元キャラクターを動作させるユーザ操作を受け付けるコントローラを用い、画像処理装置１００をゲームシステムに用いる構成としてもよい。

【0046】

上述の実施形態における動作（及び動作フロー）は、必ずしも上述の説明の順序に沿って時系列に実行されなくてよい。例えば、動作におけるステップは、上述の順序と異なる順序で実行されてもよいし、並列的に実行されてもよい。また、動作におけるステップの一部が削除されてもよく、さらなるステップが処理に追加されてもよい。

【0047】

上述の実施形態に係る各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭ又はＤＶＤ－ＲＯＭ等の記録媒体であってもよい。

【0048】

本開示で使用されている「に基づいて（ｂａｓｅｄｏｎ）」、「に応じて（ｄｅｐｅｎｄｉｎｇｏｎ）」という記載は、別段に明記されていない限り、「のみに基づいて」、「のみに応じて」を意味しない。「に基づいて」という記載は、「のみに基づいて」及び「に少なくとも部分的に基づいて」の両方を意味する。同様に、「に応じて」という記載は、「のみに応じて」及び「に少なくとも部分的に応じて」の両方を意味する。また、「取得する（ｏｂｔａｉｎ／ａｃｑｕｉｒｅ）」は、記憶されている情報の中から情報を取得することを意味してもよく、他のノードから受信した情報の中から情報を取得することを意味してもよく、又は、情報を生成することにより当該情報を取得することを意味してもよい。「含む（ｉｎｃｌｕｄｅ）」、「備える（ｃｏｍｐｒｉｓｅ）」、及びそれらの変形の用語は、列挙する項目のみを含むことを意味せず、列挙する項目のみを含んでもよいし、列挙する項目に加えてさらなる項目を含んでもよいことを意味する。また、本開示において使用されている用語「又は（ｏｒ）」は、排他的論理和ではないことが意図される。本開示において、例えば、英語でのａ，ａｎ，及びｔｈｅのように、翻訳により冠詞が追加された場合、これらの冠詞は、文脈から明らかにそうではないことが示されていなければ、複数のものを含むものとする。

【0049】

以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

【符号の説明】

【0050】

１：画像処理システム
１００：画像処理装置
１１０：記憶部
１１１：ＨＤＲ背景画像データ記憶部
１１２：３次元キャラクターデータ記憶部
１２０：処理部
１２１：キャラクター動作制御部
１２２：仮想カメラ動作制御部
１２３：シェーダー部
１２３ａ：シェーディング計算部
１２３ｂ：シェーディング緩和処理部
１２３ｃ：色補正処理部
１２４：表示画像生成部
１５０：レンダリング部
２００：モーションキャプチャ装置
３００：仮想カメラ操作装置
４００：表示装置

【図1】