特許 6600544 ３Ｄレンダリング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6600544

(24)【登録日】2019年10月11日

(45)【発行日】2019年10月30日

(54)【発明の名称】３Ｄレンダリング方法及び装置

(51)【国際特許分類】

   G06T 15/50 20110101AFI20191021BHJP

【ＦＩ】

   G06T15/50 600

【請求項の数】37

【全頁数】21

(21)【出願番号】特願2015-238716(P2015-238716)

(22)【出願日】2015年12月7日

(65)【公開番号】特開2016-115347(P2016-115347A)

(43)【公開日】2016年6月23日

【審査請求日】2018年8月1日

(31)【優先権主張番号】10-2014-0180315

(32)【優先日】2014年12月15日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】朴 陞 忍

(72)【発明者】

【氏名】安 民 修

(72)【発明者】

【氏名】李 炯 旭

(72)【発明者】

【氏名】河 仁 友

【審査官】 岡本 俊威

(56)【参考文献】

【文献】 特開２０１２−０８９１２１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／００−１５／８７

(57)【特許請求の範囲】

【請求項1】

３Ｄモデルをレンダリングする３Ｄレンダリング方法において、
直接光源の視点から前記３Ｄモデルをレンダリングして前記直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、
前記場面情報に基づいて前記場面が整合された整合画像を生成するステップと、
前記整合画像から少なくとも１つの間接光源をサンプリングするステップと、
を含む、３Ｄレンダリング方法。

【請求項2】

前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項１に記載の３Ｄレンダリング方法。

【請求項3】

前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー
、反射フラックス、位置、及び奥行き値のうち少なくとも１つに対する属性情報を含む、請求項１又は２に記載の３Ｄレンダリング方法。

【請求項4】

前記整合画像を生成するステップは、前記属性情報別に前記場面が整合された整合画像を生成する、請求項３に記載の３Ｄレンダリング方法。

【請求項5】

前記整合画像を生成するステップは、
第１属性情報に基づいて前記場面を整合させることによって前記第１属性情報と関連する整合画像を生成するステップと、
第１属性情報に基づいた前記場面の整合結果に基づいて第２属性情報と関連する整合画像を生成するステップと、
を含む、請求項４に記載の３Ｄレンダリング方法。

【請求項6】

前記整合画像を生成するステップは、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項１乃至５のいずれか一項に記載の３Ｄレンダリング方法。

【請求項7】

前記間接光源をサンプリングするステップは、
前記整合画像を複数の領域に分割するステップと、
前記領域内の間接光源をサンプリングしようとする関心領域で前記間接光源をサンプリングするステップと、
を含む、請求項１乃至６のいずれか一項に記載の３Ｄレンダリング方法。

【請求項8】

前記サンプリングされた少なくとも１つの間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングするステップをさらに含む、請求項１乃至７のいずれか一項に記載の３Ｄレンダリング方法。

【請求項9】

直接光源は、３Ｄオブジェクトに光を直接放射し、間接光源は、前記直接光源から放射された光が反射、回折又は屈折した領域で光を放射する、請求項１乃至８のいずれか一項に記載の３Ｄレンダリング方法。

【請求項10】

３Ｄモデルをレンダリングする３Ｄレンダリング方法において、
全ての直接光源のうち一部の直接光源の視点から前記３Ｄモデルをレンダリングして前記一部の直接光源のそれぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、
前記場面情報に基づいて前記場面が整合された第１映像を生成するステップと、
前記第１映像から少なくとも１つの間接光源をサンプリングするステップと、
を含む、３Ｄレンダリング方法。

【請求項11】

前記一部の直接光源に含まれない残りの直接光源の視点から前記３Ｄモデルをレンダリングして第２映像を生成するステップと、
前記第２映像を用いて少なくとも１つの間接光源をサンプリングするステップと、
をさらに含む、請求項１０に記載の３Ｄレンダリング方法。

【請求項12】

前記第１映像及び前記第２映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングするステップをさらに含む、請求項１１に記載の３Ｄレンダリング方法。

【請求項13】

前記第１映像を生成するステップは、前記場面において互いに対応する領域を統合して前記第１映像を生成する、請求項１０乃至１２のいずれか一項に記載の３Ｄレンダリング方法。

【請求項14】

前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも１つに対する属性情報を含む、請求項１０乃至１３のいずれか一項に記載の３Ｄレンダリング方法。

【請求項15】

３Ｄモデルをレンダリングする３Ｄレンダリング方法において、
前記３Ｄモデルを直接光源の視点からレンダリングした場面を比較して前記場面が整合された整合画像を生成するか否かを決定するステップと、
前記整合画像を生成する場合、前記場面に関する場面情報に基づいて前記場面が整合された整合画像を生成するステップと、
前記整合画像を用いて少なくとも１つの間接光源をサンプリングするステップと、
を含む、３Ｄレンダリング方法。

【請求項16】

前記整合画像を生成するか否かを決定するステップは、前記場面において、互いに対応する領域の大きさ、又は前記場面の大きさと前記対応する領域の大きさとの間の比率が予め設定された条件を満たす場合、前記整合画像を生成することを決定する、請求項１５に記載の３Ｄレンダリング方法。

【請求項17】

前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項１５又は１６に記載の３Ｄレンダリング方法。

【請求項18】

前記場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも１つに対する属性情報を含む、請求項１５乃至１７のいずれか一項に記載の３Ｄレンダリング方法。

【請求項19】

前記整合画像を生成するステップは、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項１５乃至１８のいずれか一項に記載の３Ｄレンダリング方法。

【請求項20】

直接光源の視点から３Ｄモデルをレンダリングするレンダリング部と、
前記直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部と、を含み、
前記レンダリング部は、
前記場面情報に基づいて前記場面が整合された整合画像を生成して、前記整合画像から少なくとも１つの間接光源をサンプリングする、３Ｄレンダリング装置。

【請求項21】

前記レンダリング部は、前記場面において互いに対応する領域を統合して前記整合画像を生成する、請求項２０に記載の３Ｄレンダリング装置。

【請求項22】

前記場面情報は、それぞれの場面のピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値のうち少なくとも１つに対する属性情報を含む、請求項２０又は２１に記載の３Ｄレンダリング装置。

【請求項23】

前記レンダリング部は、前記場面を比較して前記整合画像を生成するか否かを判断し、前記整合画像を生成することを決定した場合に前記場面に関する場面情報に基づいて前記整合画像を生成する、請求項２０乃至２２のいずれか一項に記載の３Ｄレンダリング装置。

【請求項24】

前記レンダリング部は、前記直接光源の視点に関するカメラパラメータ情報に基づいて前記整合画像を生成する、請求項２０乃至２３のいずれか一項に記載の３Ｄレンダリング装置。

【請求項25】

前記レンダリング部は、前記サンプリングされた少なくとも１つの間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングする、請求項２０乃至２４のいずれか一項に記載の３Ｄレンダリング装置。

【請求項26】

全ての直接光源のうち一部の直接光源の視点から３Ｄモデルをレンダリングするレンダリング部と、
前記一部の直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部とを含み、
前記レンダリング部は、
前記場面情報に基づいて前記場面が整合された第１映像を生成して、前記第１映像から少なくとも１つの間接光源をサンプリングする、３Ｄレンダリング装置。

【請求項27】

前記レンダリング部は、前記一部の直接光源に含まれない残りの直接光源の視点から前記３Ｄモデルをレンダリングして第２映像を生成し、前記第２映像を用いて少なくとも１つの間接光源をサンプリングする、請求項２６に記載の３Ｄレンダリング装置。

【請求項28】

前記レンダリング部は、前記第１映像及び前記第２映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングする、請求項２７に記載の３Ｄレンダリング装置。

【請求項29】

３Ｄモデルをレンダリングする３Ｄレンダリング方法において、
直接光源の各視点から前記３Ｄモデルをレンダリングするステップと、
前記レンダリングの結果から合成映像を生成するステップと、
前記合成映像から間接光源をサンプリングするステップと、
を含む、３Ｄレンダリング方法。

【請求項30】

前記３Ｄモデルをレンダリングするステップは、互いに対応する領域を含む場面を生成し、
前記場面は、少なくとも２つの直接光源の各視点からそれぞれレンダリングされる互いに対応する領域を含み、
前記合成映像を生成するステップは、前記合成映像を取得するために前記対応する領域を含む前記場面を結合するステップを含む、請求項２９に記載の３Ｄレンダリング方法。

【請求項31】

前記３Ｄモデルをレンダリングするステップは、前記直接光源の各視点からそれぞれレンダリングされた場面を生成し、
前記３Ｄレンダリング方法は、それぞれの場面の場面情報を取得するステップをさらに含み、
前記合成映像を生成するステップは、
前記場面情報に基づいて前記場面において対応する領域を識別するステップと、
前記合成映像を取得するために前記対応する領域を含む場面を結合させるステップと、
を含む、請求項２９又は３０に記載の３Ｄレンダリング方法。

【請求項32】

前記場面は、前記直接光源の各視点からそれぞれレンダリングされた属性と関連する場面を含み、
前記対応する領域を識別するステップは、前記属性のうちいずれか１つに基づいて前記対応する領域を識別する請求項３１に記載の３Ｄレンダリング方法。

【請求項33】

前記対応する領域を含む場面を結合するステップは、前記属性のうちいずれか１つに基づいて識別された対応する領域に基づいて複数の属性の全部と関連する対応する領域を含む場面を結合するステップを含む、請求項３２に記載の３Ｄレンダリング方法。

【請求項34】

前記属性は、輝度、反射フラックス、標準、位置、及び奥行き値のうち２つ以上を含む、請求項３２又は３３に記載の３Ｄレンダリング方法。

【請求項35】

前記間接光源をサンプリングするステップは、前記合成映像から一度に間接光源をサンプリングするステップを含む、請求項２９乃至３４のいずれか一項に記載の３Ｄレンダリング方法。

【請求項36】

請求項１乃至１９及び２９乃至３５のうちいずれか一項に記載の３Ｄレンダリング方法を、３Ｄレンダリング装置のプロセッサに実行させるコンピュータプログラム。

【請求項37】

請求項３６に記載のコンピュータプログラムを記憶する記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３Ｄモデルをレンダリングする映像処理技術に関する。

【背景技術】

【0002】

３Ｄレンダリングは、３Ｄモデルをレンダリングするコンピュータグラフィックスの一分野である。３Ｄレンダリングは、３Ｄゲーム、バーチャルリアリティ、アニメーション、及び映画などの様々なアプリケーション領域で利用されている。３Ｄレンダリング方法には、光源から放射された光がオブジェクトの表面で反射する経路を追跡して３Ｄモデルをレンダリングするレイトレーシングレンダリング、直接照明効果だけでなく直接照明がオブジェクトによって反射した反射光や乱反射現象などによる間接照明効果をも反映するラジオシティレンダリング、及び、ベクトルデータをピクセルパターンイメージに変換して３Ｄモデルをレンダリングするラスタライゼーションレンダリングなどがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明の目的は、３Ｄモデルをレンダリングする３Ｄレンダリング方法及び装置を提供することにある。

【課題を解決するための手段】

【0004】

本発明の一実施形態に係る３Ｄレンダリング方法は、直接光源の視点から３Ｄモデルをレンダリングして前記直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、前記場面情報に基づいて前記場面が整合された整合画像を生成するステップと、前記整合画像から少なくとも１つの間接光源をサンプリングするステップと、を含んでもよい。

【0005】

一実施形態に係る３Ｄレンダリング方法における前記整合画像を生成するステップは、前記場面において互いに対応する領域を統合して前記整合画像を生成してもよい。

【0006】

一実施形態に係る３Ｄレンダリング方法における前記整合画像を生成するステップは、第１属性情報に基づいて前記場面を整合させることによって前記第１属性情報と関連する整合画像を生成するステップと、第１属性情報に基づいた前記場面の整合結果に基づいて第２属性情報と関連する整合画像を生成するステップと、を含んでもよい。

【0007】

一実施形態に係る３Ｄレンダリング方法における前記間接光源をサンプリングするステップは、前記整合画像を複数の領域に分割するステップと、前記領域内の間接光源をサンプリングしようとする関心領域で前記間接光源をサンプリングするステップと、を含んでもよい。

【0008】

一実施形態に係る３Ｄレンダリング方法は、前記サンプリングされた少なくとも１つの間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングするステップをさらに含んでもよい。

【0009】

別の実施形態に係る３Ｄレンダリング方法は、全直接光源のうち一部直接光源の視点から３Ｄモデルをレンダリングして前記一部直接光源のそれぞれの視点からレンダリングされた場面に関する場面情報を取得するステップと、前記場面情報に基づいて前記場面が整合された第１映像を生成するステップと、前記第１映像から１つの間接光源をサンプリングするステップと、を含んでもよい。

【0010】

別の実施形態に係る３Ｄレンダリング方法は、前記一部直接光源に含まれない残りの直接光源の視点から前記３Ｄモデルをレンダリングして第２映像を生成するステップと、前記第２映像を用いて少なくとも１つの間接光源をサンプリングするステップと、をさらに含んでもよい。

【0011】

別の実施形態に係る３Ｄレンダリング方法は、前記第１映像及び前記第２映像それぞれに基づいてサンプリングされた間接光源による間接光効果を前記３Ｄモデルに適用して前記３Ｄモデルをレンダリングするステップをさらに含んでもよい。

【0012】

また別の実施形態に係る３Ｄレンダリング方法は、３Ｄモデルを直接光源の視点からレンダリングした場面を比較して前記場面が整合された整合画像を生成するか否かを決定するステップと、前記整合画像を生成することに決めた場合、前記場面に関する場面情報に基づいて前記場面が整合された整合画像を生成するステップと、前記整合画像から少なくとも１つの間接光源をサンプリングするステップと、を含んでもよい。

【0013】

一実施形態に係る３Ｄレンダリング装置は、直接光源の視点から３Ｄモデルをレンダリングするレンダリング部と、前記直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部と、を含んでもよく、前記レンダリング部は、前記場面情報に基づいて前記場面が整合された整合画像を生成して、前記整合画像から少なくとも１つの間接光源をサンプリングしてもよい。

【0014】

別の実施形態に係る３Ｄレンダリング装置は、全直接光源のうち一部直接光源の視点から３Ｄモデルをレンダリングするレンダリング部と、前記一部直接光源の視点からレンダリングされた場面に関する場面情報を格納する場面情報格納部を含んでもよく、前記レンダリング部は、前記場面情報に基づいて前記場面が整合された第１映像を生成して、前記第１映像から少なくとも１つの間接光源をサンプリングしてもよい。

【0015】

また別の実施形態に係る３Ｄレンダリング方法は、直接光源の各視点から３Ｄモデルをレンダリングするステップと、前記レンダリング結果から合成映像を生成するステップと、前記合成映像から間接光源をサンプリングするステップと、を含んでもよい。

【0016】

また別の実施形態に係る３Ｄレンダリング方法における前記３Ｄモデルをレンダリングするステップは、互いに対応する領域を含む場面を生成し、前記場面は、少なくとも２つの直接光源の各視点からそれぞれレンダリングされる互いに対応する領域を含み、前記合成映像を生成するステップは、前記合成映像を取得するために前記対応する領域を含む前記場面を結合するステップを含んでもよい。

【0017】

また別の実施形態に係る３Ｄレンダリング方法における前記３Ｄモデルをレンダリングするステップは、前記直接光源の各視点からそれぞれレンダリングされた場面を生成し、前記３Ｄレンダリング方法は、それぞれの場面の場面情報を取得するステップをさらに含み、前記合成映像を生成するステップは、前記場面情報に基づいて前記場面において対応する領域を識別するステップと、前記合成映像を取得するために前記対応する領域を含む場面を結合させるステップと、を含んでもよい。

【発明の効果】

【0018】

一実施形態によれば、各直接光源の視点により間接光源を何度もサンプリングする必要がなく、３Ｄレンダリングの処理速度が改善され得る。また、一実施形態によれば、間接光源が重複的にサンプリングされることを防止して、レンダリング結果の画質を改善させることができる。

【図面の簡単な説明】

【0019】

【図1】一実施形態に係る３Ｄレンダリング装置が３Ｄモデルをレンダリングする全体的な過程を説明するための図である。

【図2】一実施形態に係る３Ｄレンダリング装置が間接光源をサンプリングして、間接光効果を処理する過程を説明するための図である。

【図3A】一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。

【図3B】一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。

【図4】一実施形態に係る３Ｄレンダリング装置の構成を示す図である。

【図5】一実施形態に係る（ｉ−１）番目、ｉ番目、及び（ｉ＋１）番目の直接光源の各視点からレンダリングされた３つの場面の輝度（ｉｎｔｅｎｓｉｔｙ）、標準（ｎｏｒｍａｌ）、及び奥行き値の一例を示す図である。

【図6】一実施形態に係る各直接光源の視点からレンダリングされた場面を整合して整合画像を生成する過程を説明するための図である。

【図7】一実施形態に係る整合画像から間接光源をサンプリングする過程を説明するための図である。

【図8】一実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【図9】別の実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【図10】また別の実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0020】

以下、実施形態に添付の図面を参照しながら詳細に説明する。以下の特定の構造的又は機能的説明は、単に実施形態を説明するための目的で例示されたものであり、実施形態の範囲が本文に説明された内容に限定されるものと解釈されてはならない。関連技術分野において通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は、同一の部材を示し、公知された機能及び構造は省略する。

【0021】

図１は、一実施形態に係る３Ｄレンダリング装置が３Ｄモデルをレンダリングする全体的な過程を説明するための図である。

【0022】

３Ｄレンダリング装置は、３Ｄモデルをレンダリングして、レンダリング結果映像を出力する。３Ｄレンダリング装置は、３Ｄモデルにグローバルイルミネーション効果を実現して３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、直接光源（ｄｉｒｅｃｔ ｌｉｇｈｔ ｓｏｕｒｃｅ）（又は、ｐｒｉｍａｒｙ ｌｉｇｈｔ ｓｏｕｒｃｅ）だけでなく間接光源（ｉｎｄｉｒｅｃｔ ｌｉｇｈｔ ｓｏｕｒｃｅ）による照明効果を３Ｄモデルに適用して詳細なレンダリング結果映像を生成することができる。

【0023】

直接光源及び間接光源は、コンピュータグラフィックスで３Ｄモデルに照明効果を付与する仮想の光源を示す。直接光源は３Ｄモデルに光を直接放射する光源であり、間接光源は直接光源から放射された光が反射、回折又は屈折した領域で光を放射する光源である。３Ｄレンダリング装置は、間接光源を３Ｄモデル上に適切に配置してより実感できる照明効果を実現することができる。

【0024】

３Ｄレンダリング装置は、間接光源が配置される３Ｄモデル上の領域又は３Ｄモデルに配置される間接光源の個数を調節して３Ｄモデルのレンダリング映像に表われる照明効果を制御してもよい。３Ｄモデルに直接光を放射する複数の直接光源が存在する環境における３Ｄレンダリング装置は、直接光源によって生成された間接光源を効率的にサンプリングしてもよい。間接光源をサンプリングする過程は、３Ｄモデルのどの領域にどれくらい多い数の間接光源を配置するのかを決定する過程である。

【0025】

図１は、３Ｄレンダリング装置が３Ｄモデルをレンダリングする時、３Ｄモデルにグローバルイルミネーション効果を実現する過程を示している。

【0026】

ステップＳ１１０における３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングして各直接光源の視点からのレンダリング情報を取得することができる。３Ｄレンダリング装置は、互いに対応する領域を含む場面を生成してもよく、場面は、２つ以上の直接光源の各視点からそれぞれレンダリングされた互いに対応する領域を含んでもよい。場面は、直接光源の各視点からそれぞれレンダリングされた属性と関連する場面を含む。属性は、例えば、輝度（ｉｎｔｅｎｓｉｔｙ）、反射フラックス（ｒｅｆｌｅｃｔｅｄ ｆｌｕｘ）、標準（ｎｏｒｍａｌ）、位置、及び奥行き値のうち２つ以上を含むことができる。

【0027】

ステップＳ１２０において、３Ｄモデルに適用する間接光源をサンプリングする。３Ｄレンダリング装置は、ステップＳ１１０で取得した情報に基づいて各直接光源の視点からレンダリングされた場面を整合して整合画像を生成し、整合画像を用いて間接光源をサンプリングすることができる。３Ｄレンダリング装置は、色々可能なサンプリング方法を用いて整合画像から間接光源をサンプリングしてもよい。

【0028】

ステップＳ１３０における３Ｄレンダリング装置は、選択的に、遅延レンダリング（ｄｅｆｅｒｒｅｄ ｒｅｎｄｅｒｉｎｇ）のためにカメラ視点から３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、カメラ視点から３Ｄモデルをレンダリングして直接光効果の処理及び間接光効果の処理のためのカメラ視点からのレンダリング情報を取得することができる。カメラ視点からのレンダリング情報は、例えば、３Ｄモデルの奥行き（ｄｅｐｔｈ）、標準又はカラーなどの情報を含んでもよい。

【0029】

ステップＳ１４０における３Ｄレンダリング装置は、３Ｄモデルに直接光源及び間接光源による照明効果を適用して３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、ステップＳ１１０で取得した各直接光源の視点からのレンダリング情報及びステップＳ１３０で取得したカメラ視点からのレンダリング情報を用いて３Ｄモデルをレンダリングする。

【0030】

３Ｄモデルをレンダリングする時、ステップＳ１５０における３Ｄレンダリング装置は、直接光源による直接光効果を処理して３Ｄモデルに直接光効果を適用することができる。ステップＳ１６０における３Ｄレンダリング装置は、間接光源のサンプリング過程を介してサンプリングされた間接光源による間接光効果を処理して３Ｄモデルに間接光効果を適用することができる。３Ｄレンダリング装置は、直接光効果と間接光効果を３Ｄモデルに適用してグローバルイルミネーション効果を実現することができる。

【0031】

例えば、３Ｄレンダリング装置は、直接光遮蔽（ｓｈａｄｉｎｇ）処理された結果と間接光遮蔽処理された結果を統合して３Ｄモデルにグローバルイルミネーション効果を実現することができる。直接光遮蔽は、直接光源から放射された光の距離と角度により３Ｄオブジェクト表面の調度を変化させる方法であり、間接光遮蔽は、３Ｄモデルのレンダリング過程で間接光源から放射された光の距離と角度により３Ｄモデルに含まれた３Ｄオブジェクト表面の調度を変化させる方法である。

【0032】

ステップＳ１７０における３Ｄレンダリング装置は、３Ｄモデルがレンダリングされたレンダリング結果映像に映像後処理を選択的に行う。例えば、３Ｄレンダリング装置は、レンダリング結果映像にアンチエイリアシング（ａｎｔｉ−ａｌｉａｓｉｎｇ）及びレンズグレア効果（ｌｅｎｓ ｇｌａｒｅ ｅｆｆｅｃｔ）などの様々な映像後処理を適用することができる。

【0033】

３Ｄレンダリング装置は、パーソナルコンピュータ（ＰＣ）、スマートフォン、又はタブレットＰＣなどに内蔵して３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、例えば、ゲーム、映画、ユーザインターフェース、バーチャルリアリティ、及び拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）などで３Ｄモデルをレンダリングして、レンダリング結果映像を出力してもよい。

【0034】

図２は、一実施形態に係る３Ｄレンダリング装置が間接光源をサンプリングして、間接光効果を処理する過程を説明するための図である。

【0035】

ステップＳ２１０における３Ｄレンダリング装置は、複数の直接光源が存在する環境において、各直接光源の視点から３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングして各直接光源の視点からレンダリングされた場面に関する場面情報を格納することができる。場面情報は、メモリ又はバッファなどに格納することができる。

【0036】

各直接光源の視点から各属性別に３Ｄモデルがレンダリングされてもよい。３Ｄレンダリング装置は、例えば、各直接光源の視点から輝度、標準、及び奥行き値などの属性別に３Ｄモデルをレンダリングして、各属性別にレンダリングされた場面に対する場面情報を格納してもよい。

【0037】

ステップＳ２２０における３Ｄレンダリング装置は、マルチビューマッチングを行って各直接光源の視点からレンダリングされた複数の場面が整合された整合画像を生成する。３Ｄレンダリング装置は、１つの整合画像又は複数の整合画像を生成することができる。３Ｄレンダリング装置は、各直接光源の視点からレンダリングされた場面に関する場面情報を用いて直接光源の各視点からレンダリングされた場面間に対応する同一の領域を識別し、同一の領域に関する情報を統合して直接光源の各視点からレンダリングされた場面を結合することによって整合画像を生成してもよい。整合画像は、直接光源の各視点からレンダリングされた場面の合成映像である。

【0038】

３Ｄレンダリング装置は、合成映像を取得するために対応する領域を含む場面を結合させることができる。３Ｄレンダリング装置は、属性のうちいずれか１つに基づいて場面において互いに対応する領域を識別してもよい。３Ｄレンダリング装置は、対応する領域を含む場面を結合して合成映像を取得してもよい。一実施形態によれば、３Ｄレンダリング装置は、属性のうちいずれか１つに基づいて識別された対応する領域に基づいて複数の属性の全てと関連する対応する領域を含む場面とを結合させることができる。

【0039】

一実施形態によれば、３Ｄレンダリング装置は、複数の直接光源のうち基準になる基準直接光源を決定し、基準直接光源を除いた残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換することができる。３Ｄレンダリング装置は、直接光源の視点のレンダリングに用いられるカメラのカメラパラメータ情報を用いて残り直接光源の視点からのレンダリング結果を基準直接光源の視点で容易に変換してもよい。３Ｄレンダリング装置は、基準直接光源の視点からのレンダリング結果と残りの直接光源に対する変換されたレンダリング結果を統合して整合画像を生成してもよい。

【0040】

ステップＳ２３０における３Ｄレンダリング装置は、整合画像から間接光源をサンプリングする。３Ｄレンダリング装置は、関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。例えば、３Ｄレンダリング装置は、重要度サンプリング方法などによって整合画像から間接光源をサンプリングしてもよい。３Ｄレンダリング装置は、整合画像に表われる輝度、カラー又はフラックス（ｆｌｕｘ）などの属性に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定してもよく、決定された確率により整合画像から間接光源をサンプリングしてもよい。

【0041】

グローバルイルミネーション効果を適用しようとする３Ｄモデルに複数の直接光源が存在する場合、３Ｄレンダリング装置は、各直接光源の視点により間接光源を何度もサンプリングする必要がなく、整合画像に基づいてたった一度の間接光源のサンプリング過程を行ってレンダリングの処理速度を改善させることができる。また、整合画像を生成する整合過程を介して各直接光源の視点からレンダリングされた場面間の重複性が除去されて同一領域で間接光源が重複的にサンプリングされることを防止することができる。そして、１つの属性に対して直接光源が互いに異なる特性を有する時、整合画像から間接光源がサンプリングされる過程を介して直接光源の異質な特性が統合処理されるため、レンダリング結果映像の画質が改善される。

【0042】

ステップＳ２４０における３Ｄレンダリング装置は、整合画像からサンプリングされた間接光源による間接光効果を処理する。３Ｄレンダリング装置は、サンプリングされた間接光源を用いて間接光遮蔽効果を算出し、算出された間接光遮蔽効果を３Ｄモデルに適用することができる。３Ｄレンダリング装置は、整合画像でサンプリングされた間接光源の位置に対応する３Ｄモデル上の位置に間接光源を配置し、間接光源による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングする。

【0043】

図３Ａ及び図３Ｂは、一実施形態に係る直接光源と間接光源との間の関係を説明するための図である。

【0044】

図３Ａを参照すると、３Ｄモデルを構成する３Ｄオブジェクト３２０，３３０と直接光源３１０が示されている。ここでは、説明の便宜のために１つの直接光源３１０だけを示すが、３Ｄモデルは複数の直接光源を有してもよい。３Ｄモデルに含まれた直接光源３１０は、３Ｄオブジェクト３２０に光を直接放射する光源である。直接光源３１０と３Ｄオブジェクト３２０との間の位置関係によって３Ｄモデルがレンダリングされる仮想空間において、一次的に明るい領域と暗い領域が決定されてもよい。直接光源３１０から放射された光は、３Ｄオブジェクト３２０によって反射、屈折又は回折することができる。直接光源３１０から出力された光３４０は、例えば、３Ｄオブジェクト３２０に反射した後、他の３Ｄオブジェクト３３０に再び反射することができる。ここで、他の３Ｄオブジェクト３３０は、３Ｄオブジェクト３２０の周辺領域を取り囲んでいる壁面と仮定する。３Ｄモデルは、カメラ３１５の視点からレンダリングされて、レンダリング結果映像がユーザに提供されてもよい。

【0045】

３Ｄレンダリング装置は、直接光源３１０から出力された光による直接光効果だけでなく間接光源から出力された光による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングする。間接光源は、直接光源から放射された光が反射、回折又は屈折した領域で光を放射する光源である。図３Ｂを参照すると、直接光源３１０から出力された光３４０が３Ｄオブジェクト３２０に反射した領域に位置する間接光源３５５及び光３４０が他の３Ｄオブジェクト３３０に反射した領域に位置する間接光源３５０，３６０が示されている。３Ｄオブジェクト３２０，３３０を含む３Ｄモデルがレンダリングされる過程において、直接光源３１０だけでなく間接光源３５０，３５５，３６０による照明効果が３Ｄモデルに適用されてレンダリングされる。

【0046】

間接光源３５０，３５５，３６０は、直接光源３１０だけでなく各間接光源３５０，３５５，３６０が位置する３Ｄモデル領域の特性に影響を受ける。各間接光源３５０，３５５，３６０が位置する３Ｄモデルの表面のカラーにより間接光源３５０，３５５，３６０は、互いに異なるカラーの光を放射してもよい。例えば、間接光源３５５が位置した３Ｄオブジェクト３２０の表面のカラーが赤色であれば、間接光源３５５は赤色の光を周辺に放射することができる。

【0047】

図４は、一実施形態に係る３Ｄレンダリング装置の構成を示す図である。

【0048】

３Ｄレンダリング装置４００は、３Ｄモデルをレンダリングしてレンダリング結果映像を出力する。３Ｄモデルに複数の直接光源が存在する環境における３Ｄレンダリング装置４００は、直接光源と関連する間接光源をサンプリングし、３Ｄモデルにサンプリングされた間接光源を配置して間接光源による間接光効果を３Ｄモデルに適用することができる。図４を参照すると、３Ｄレンダリング装置４００は、レンダリング部４１０及び場面情報格納部４２０を含む。

【0049】

レンダリング部４１０は、３Ｄモデルをレンダリングする。レンダリング部４１０は、間接光効果のための間接光源をサンプリングし、直接光源による直接光効果及び間接光源による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングする。

【0050】

レンダリング部４１０は、各直接光源の視点から３Ｄモデルをレンダリングして各直接光源の視点からレンダリングされた場面に関する場面情報を取得することができる。例えば、場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値などに対する属性情報を含んでもよい。レンダリング部４１０は、各直接光源の視点から３Ｄモデルを属性別に順次レンダリングしたり、又はＭＲＴ（Ｍｕｌｔｉ Ｒｅｎｄｅｒ Ｔａｒｇｅｔ）機能を用いて属性別に３Ｄモデルのレンダリングを一度のレンダリング過程を介して行うことができる。場面情報格納部４２０は、各直接光源の視点からレンダリングされた場面に関する場面情報を格納し、格納された場面情報は、整合画像を生成したり、又は３Ｄモデルをレンダリングするのに用いる。

【0051】

レンダリング部４１０は、場面情報に基づいて各直接光源の視点からレンダリングされた場面が整合された整合画像を生成することができる。レンダリング部４１０は、場面で互いに重複したり又は互いに対応する領域を統合して整合画像を生成してもよい。レンダリング部４１０は、場面情報を用いて直接光源の各視点からレンダリングされた場面間に対応する同一の領域を識別し、同一の領域に関する情報を統合して直接光源の各視点からレンダリングされた場面を結合することによって整合画像を生成してもよい。

【0052】

レンダリング部４１０は、例えば、複数の直接光源のうちでいずれか１つの基準直接光源を決定し、基準直接光源を除いた残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換してもよい。レンダリング部４１０は、基準直接光源の視点からのレンダリング結果と残りの直接光源に対する変換されたレンダリング結果を統合して整合画像を生成してもよい。

【0053】

レンダリング部４１０は、３Ｄモデルに関する情報及びカメラパラメータ情報を用いて整合画像を容易に生成してもよい。例えば、レンダリング部４１０は、直接光源の視点からレンダリングされるのに用いられるカメラパラメータ情報を用いて残りの直接光源の視点からのレンダリング結果を基準直接光源の視点により変換し、各直接光源に対するレンダリング結果を統合して整合画像を生成してもよい。カメラパラメータ情報としてカメラの内部パラメータ又は外部パラメータに関する情報を用いてもよい。例えば、カメラの内部パラメータは、焦点の距離及び主点などに関する情報を含んでもよく、外部パラメータは、カメラの３Ｄ世界座標（ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅｓ）及びカメラが向かう方向（ｈｅａｄｉｎｇ ｄｉｒｅｃｔｉｏｎ）などに関する情報を含んでもよい。

【0054】

一実施形態によれば、レンダリング部４１０は、属性情報別に整合画像を生成することができる。属性情報のセットは、直接光源の各視点からレンダリングされた各場面に対する属性情報のうち１つのタイプである。例えば、属性情報の１セットは、直接光源の各視点からレンダリングされた各視点に対する輝度情報又は直接光源の各視点からレンダリングされた各場面に対する奥行き値情報であってもよい。レンダリング部４１０は、いずれか１つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する整合画像を生成してもよい。例えば、レンダリング部４１０は、輝度属性に関する整合画像を生成した後に、輝度属性に関する場面の整合結果を奥行き値属性（ｄｅｐｔｈ ｖａｌｕｅ ａｔｔｒｉｂｕｔｅ）に関する場面の整合過程に適用して奥行き値属性に関する整合画像を生成してもよい。

【0055】

各直接光源の視点から３Ｄモデルがレンダリングされる時、同一の３Ｄモデル座標及び同一の直接光源と関連して同時に属性情報が生成されるため、いずれか１つの属性に関する場面の整合過程が完了すれば、当該整合結果を他の属性に関する場面の整合過程で用いてもよい。したがって、間接光源のサンプリング及び間接光効果の処理に利用しようとする属性情報別に整合画像が必要であるが、場面の整合過程は、属性情報の個数程行われる必要がなく、一度だけ行われれば充分である。格納空間のような資源の効率性を増加させるために、属性情報別に整合画像が生成された後に場面情報格納部４２０に格納された場面情報は、除去されてもよい。

【0056】

レンダリング部４１０は、整合画像を用いて１つ以上の間接光源をサンプリングしてもよい。レンダリング部４１０は、重要度サンプリング方法などのような関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。例えば、レンダリング部４１０は、整合画像に表われる輝度、カラー又はフラックスなどの特徴に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定し、決定された確率により整合画像から間接光源をサンプリングすることができる。レンダリング部４１０は、間接光源のサンプリング過程を介して３Ｄモデル上の領域に間接光源を配置して間接光効果を適用するものであるかを決定してもよい。

【0057】

別の実施形態によれば、レンダリング部４１０は、整合画像を複数の領域に分割して、分割された領域内の間接光源をサンプリングしようとする関心領域にだけ間接光源を選択的にサンプリングする。関心領域は、ユーザの選択によって決定されたり、又は整合画像内の明るさ分布、又は３Ｄオブジェクトの動きなどに基づいて決定されてもよい。例えば、整合画像に含まれた複数の領域内の領域の平均明るさが予め設定された値より大きい領域、又は動く３Ｄオブジェクトが存在する領域が関心領域として決定され得る。レンダリング部４１０は、関心領域ごとに個別的に重要度マップを生成し、生成された重要度マップを用いて関心領域で重要度サンプリングを行ってもよい。レンダリング部４１０は、複数の関心領域に対する重要度マップを並列に生成してもよい。レンダリング部４１０は、関心領域別にサンプリングされる間接光源の個数を予め決定し、決定された個数程、関心領域で間接光源をサンプリングしてもよい。レンダリング部４１０は、整合画像の明るさ分布、カラー分布、及びフラックス分布のうちの１つ以上に基づいて関心領域でサンプリングされる間接光源の個数を決定してもよい。

【0058】

１つの属性に対して直接光源が互いに異なる特性を有するとしても、整合画像において間接光源がサンプリングされる過程で自然に統合処理することができる。例えば、第１直接光源及び第２直接光源が３Ｄモデル上の共通領域を照らしており、第１直接光源と第２直接光源が互いに異なるカラーを有するのであれば、当該共通領域においてサンプリングされた間接光源は、第１直接光源及び第２直接光源のカラーが混ざった特性を有する。互いに異なる特性の直接光源による間接光源が３Ｄモデル上の共通領域に配置される場合、当該直接光源の属性が統合されて間接光源がサンプリングされるため、レンダリング結果映像の画質が改善され得る。

【0059】

レンダリング部４１０は、間接光源のサンプリング過程を介して決定された３Ｄモデル上の領域に間接光源による間接光効果を適用してもよい。レンダリング部４１０は、様々な属性情報別に生成された整合画像から間接光効果を算出するのに必要な情報を抽出し、抽出された情報を用いて間接光源が配置された領域での間接光効果を算出してもよい。レンダリング部４１０は、間接光源による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングすることができる。

【0060】

別の実施形態によれば、レンダリング部４１０は、３Ｄモデルに含まれた全直接光源のうち一部直接光源に対してのみマルチビューマッチングを適用することができる。例えば、さらに多い間接光源らをサンプリングしたり、又は特定直接光源に対しては独立した間接光源のサンプリング過程が必要な場合、レンダリング部４１０は、一部直接光源に対してのみマルチビューマッチングを適用してもよい。レンダリング部４１０は、各一部直接光源の視点からレンダリングされた場面を整合して１つの整合画像を生成し、整合画像から間接光源をサンプリングしてもよい。レンダリング部４１０は、各一部直接光源の視点から３Ｄモデルをレンダリングし、場面情報格納部４２０は、各一部直接光源の視点からレンダリングされた場面に対する場面情報を格納する。レンダリング部４１０は、場面情報に基づいて各一部直接光源の視点からレンダリングされた場面が整合された第１映像を生成し、第１映像から間接光源をサンプリングする。レンダリング部４１０は、一部直接光源を除いた残りの直接光源に対しては残りの直接光源の視点から３Ｄモデルをレンダリングして第２映像を生成し、第２映像から間接光源をサンプリングする。残りの直接光源が複数の場合、レンダリング部４１０は、それぞれの残りの直接光源の視点から３Ｄモデルをレンダリングして複数の第２映像を生成し、それぞれの第２映像から間接光源をサンプリングすることができる。レンダリング部４１０は、間接光源のサンプリング結果を統合して３Ｄモデル上に間接光源を配置してもよい。

【0061】

また別の実施形態によれば、レンダリング部４１０は、各直接光源の視点からレンダリングされた場面を比較し、比較結果に基づいて当該場面が整合された整合画像を生成するか否かを決定することができる。例えば、レンダリング部４１０は、場面において、互いに重複、又は対応する領域の大きさ、又は場面の大きさと対応する領域の大きさとの間の比率が予め設定された条件を満たす場合に整合画像を生成することに決め、その他の場合には、整合画像を生成しないことに決めることができる。整合画像を生成することに決めた場合、レンダリング部４１０は、場面に関する場面情報に基づいて整合画像を生成することができる。レンダリング部４１０は、整合画像から間接光源をサンプリングし、サンプリング結果に基づいて３Ｄモデルに間接光効果を適用してもよい。反対に、整合画像を生成しないことに決めた場合、レンダリング部４１０は、各直接光源の視点から３Ｄモデルをレンダリングして複数の映像を生成し、生成された各映像で間接光源を独立的にサンプリングしてもよい。

【0062】

図５は、一実施形態に係る（ｉ−１）番目、ｉ番目、及び（ｉ＋１）番目の直接光源の各視点からレンダリングされた３つの場面の輝度、標準、及び奥行きの属性値の一例を示す図である。

【0063】

（ｉ−１）番目、ｉ番目、及び（ｉ＋１）番目の直接光源の各視点からレンダリングされた３つの場面の輝度属性情報は、輝度属性情報のセットである。（ｉ−１）番目、ｉ番目、及び（ｉ＋１）番目の直接光源の各視点からレンダリングされた３つの場面の標準属性情報は、標準属性情報のセットである。（ｉ−１）番目、ｉ番目、及び（ｉ＋１）番目の直接光源の各視点からレンダリングされた３つの場面の奥行き値属性情報は、奥行き値属性情報のセットである。

【0064】

図６は、一実施形態に係る各直接光源の視点からレンダリングされた場面を整合して整合画像を生成する過程を説明するための図である。

【0065】

図６には、３つの直接光源の互いに異なる視点から３Ｄモデルをレンダリングした場面６１０，６２０，６３０が示されている。場面６１０，６２０，６３０は、３Ｄモデルに関するいずれか１つの属性に関してレンダリングされた場面である。例えば、場面６１０，６２０，６３０は、３Ｄモデルの輝度、奥行き値、位置、標準、反射フラックス、又はカラーなどの属性に関して３Ｄモデルがレンダリングされた場面である。

【0066】

３Ｄレンダリング装置は、各直接光源の視点からレンダリングされた場面６１０，６２０，６３０を整合して１つの整合画像６４０を生成することができる。３Ｄレンダリング装置は、場面６１０，６２０，６３０で互いに対応又は重複する領域を統合して整合画像６４０を生成することができる。３Ｄレンダリング装置は、例えば、３つの直接光源のうち場面６２０と関連する直接光源を基準直接光源で決定してもよく、基準直接光源の視点に基づいて残りの直接光源の視点からレンダリングされた場面６１０，６３０を変換してもよい。３Ｄレンダリング装置は、場面６１０，６３０の変換結果と基準直接光源の視点からレンダリングされた場面６２０を統合して整合画像６４０を生成してもよい。

【0067】

図７は、一実施形態に係る整合画像から間接光源をサンプリングする過程を説明するための図である。

【0068】

３Ｄレンダリング装置は、整合画像６４０から間接光効果を提供する間接光源７１０をサンプリングし、サンプリング結果に基づいて３Ｄモデル上に間接光源が配置される領域を決定することができる。例えば、３Ｄレンダリング装置は、重要度サンプリング方法によって整合画像６４０から間接光源７１０をサンプリングすることができる。整合画像に表われる輝度、カラー、又はフラックスなどの特徴に基づいて、間接光源がサンプリングされる確率が決定されてもよく、決定された確率情報は重要度マップと表現されてもよい。３Ｄレンダリング装置は、重要度マップに含まれた確率情報に基づいて整合画像６４０から間接光源７１０をサンプリングすることができる。

【0069】

３Ｄレンダリング装置は、整合画像６４０の輝度分布、ＢＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）、及びＢＳＳＲＤＦ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｓｕｒｆａｃｅ Ｓｃａｔｔｅｒｉｎｇ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ）などに基づいて間接光源７１０をサンプリングしてもよい。例えば、３Ｄレンダリング装置は、整合画像６４０に含まれた各ピクセルの明るさ（ｌｉｇｈｔ ｉｎｔｅｎｓｉｔｙ）値に基づいて間接光源７１０がサンプリングされる確率情報を決定し、決定された確率情報に基づいて間接光源が配置される領域を決定することができる。整合画像６４０における明るい領域は、暗い領域より間接光源がサンプリングされる確率が相対的に高く設定されてもよい。

【0070】

図８は、一実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【0071】

ステップＳ８１０における３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングして直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得する。例えば、場面情報は、それぞれの場面に含まれたピクセルの輝度、標準、カラー、反射フラックス、位置、及び奥行き値などに対する属性情報を含んでもよい。

【0072】

ステップＳ８２０における３Ｄレンダリング装置は、ステップＳ８１０で取得された場面情報に基づいて各直接光源の視点からレンダリングされた場面が結合された整合画像を生成する。３Ｄレンダリング装置は、関連技術分野で公知になった様々なマルチビューマッチング方法によって各直接光源の視点からレンダリングされた場面を整合して１つの整合画像を生成することができる。３Ｄレンダリング装置は、属性情報別に整合画像を生成してもよく、いずれか１つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する整合画像を生成してもよい。

【0073】

ステップＳ８３０における３Ｄレンダリング装置は、ステップＳ８２０で生成された整合画像を用いて１つ以上の間接光源をサンプリングする。例えば、３Ｄレンダリング装置は、整合画像に表われる輝度、カラー、又はフラックスなどの特徴に基づいて整合画像の各領域で間接光源がサンプリングされる確率を決定してもよく、決定された確率により整合画像から間接光源をサンプリングしてもよい。

【0074】

ステップＳ８４０における３Ｄレンダリング装置は、３Ｄモデルに間接光源による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、間接光源による間接光遮蔽及び直接光源による直接光遮蔽を３Ｄモデルに適用してグローバルイルミネーション効果を実現することができる。３Ｄレンダリング装置は、３Ｄモデルをレンダリングしてレンダリング結果映像を出力してもよい。

【0075】

図９は、別の実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【0076】

ステップＳ９１０における３Ｄレンダリング装置は、全ての直接光源のうち一部の直接光源の視点から３Ｄモデルをレンダリングして一部の直接光源それぞれの視点からレンダリングされた場面に関する場面情報を取得する。

【0077】

ステップＳ９２０における３Ｄレンダリング装置は、ステップＳ９１０で取得された場面情報に基づいて一部の直接光源の視点からレンダリングされた場面を整合した第１映像を生成する。３Ｄレンダリング装置は、一部の直接光源の視点からレンダリングされた場面において、互いに対応、又は重複する領域を統合して第１映像を生成することができる。３Ｄレンダリング装置は、３Ｄモデルに関する情報及び一部の直接光源の視点に関するカメラパラメータ情報に基づいて第１映像を生成してもよい。３Ｄレンダリング装置は、属性情報別に第１映像を生成してもよい。３Ｄレンダリング装置は、いずれか１つの属性情報と関連する場面の整合結果に基づいて他の属性情報と関連する第１映像を生成してもよい。

【0078】

ステップＳ９３０における３Ｄレンダリング装置は、ステップＳ９２０で生成された第１映像を用いて間接光源をサンプリングする。３Ｄレンダリング装置は、重要度サンプリング方法など関連技術分野で用いられる様々なサンプリング方法によって第１映像から間接光源をサンプリングすることができる。

【0079】

ステップＳ９４０における３Ｄレンダリング装置は、一部の直接光源を除いた残りの直接光源の視点から３Ｄモデルをレンダリングして第２映像を生成する。残りの直接光源が複数の場合、３Ｄレンダリング装置は、それぞれの残りの直接光源の視点から３Ｄモデルをレンダリングして複数の第２映像を生成することができる。

【0080】

ステップＳ９５０における３Ｄレンダリング装置は、ステップＳ９４０で生成した第２映像を用いて間接光源をサンプリングする。３Ｄレンダリング装置は、ステップＳ９３０と同様に、重要度サンプリング方法などによって第２映像から間接光源をサンプリングする。

【0081】

ステップＳ９６０における３Ｄレンダリング装置は、３Ｄモデルに間接光源による間接光効果を適用して３Ｄモデルをレンダリングする。３Ｄレンダリング装置は、第１映像からサンプリングされた間接光源と第２映像からサンプリングされた間接光源に基づいて３Ｄモデル上に間接光源が配置される領域を決定することができる。３Ｄレンダリング装置は、決定された３Ｄモデルの領域に間接光源を配置して、間接光遮蔽処理して間接光効果を３Ｄモデルに適用してもよい。

【0082】

図１０は、また別の実施形態に係る３Ｄレンダリング方法の動作を説明するためのフローチャートである。

【0083】

ステップＳ１０１０における３Ｄレンダリング装置は、３Ｄモデルを各直接光源の視点からレンダリングした場面を比較する。例えば、３Ｄレンダリング装置は、各直接光源の視点からレンダリングした場面を比較して場面間において、互いに対応又は重複する領域が存在するのか、又は、重複する領域の大きさ、又は、場面の大きさと対応する領域の大きさとの間の比率がどれくらいなのかなどを決めることができる。

【0084】

ステップＳ１０２０における３Ｄレンダリング装置は、ステップＳ１０１０の比較結果に基づいて、各直接光源の視点からレンダリングされた場面を整合して整合画像を生成するか否かを決定する。例えば、３Ｄレンダリング装置は、場面間において、重複する領域の大きさ、又は場面の大きさと対応する領域の大きさとの間の比率が予め設定された条件を満たす場合に整合画像を生成することに決めることができる。各直接光源の視点からレンダリングされた場面間において、重複する領域が少なかったり、ほぼない場合、３Ｄレンダリング装置は、整合画像を生成しないことに決めてもよい。

【0085】

ステップＳ１０２０において、整合画像を生成することに決めた場合、ステップＳ１０３０における３Ｄレンダリング装置は、各直接光源の視点からレンダリングされた場面に関する場面情報に基づいて整合画像を生成する。３Ｄレンダリング装置は、場面において互いに対応又は重複する領域を統合して整合画像を生成することができる。

【0086】

ステップＳ１０４０における３Ｄレンダリング装置は、ステップ１０３０で生成された整合画像を用いて間接光源をサンプリングする。３Ｄレンダリング装置は、重要度サンプリング方法など関連技術分野で用いられる様々なサンプリング方法によって整合画像から間接光源をサンプリングすることができる。

【0087】

ステップＳ１０２０において、整合画像を生成しないことに決めた場合、ステップＳ１０５０における３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングして生成された複数の映像を用いて間接光源をサンプリングする。３Ｄレンダリング装置は、各直接光源の視点から３Ｄモデルをレンダリングして複数の映像を生成し、生成された各映像から間接光源を独立的にサンプリングすることができる。

【0088】

ステップＳ１０６０における３Ｄレンダリング装置は、ステップＳ１０４０又はステップＳ１０５０でサンプリングされた間接光源による間接光効果を３Ｄモデルに適用して３Ｄモデルをレンダリングする。

【0089】

以上、説明した構成及び／又は方法によって直接光源の個数より少ない個数の間接光源のサンプリングを行って３Ｄレンダリングに所要する時間を節約してもよい。全ての直接光源から生成された映像が整合されれば、一度だけの間接光源のサンプリングによって間接光源が生成されてもよく、一部の直接光源から生成された映像が整合されても全間接光源のサンプリングの個数は、直接光源の個数より少ない。

【0090】

以上で説明された実施形態は、ハードウェア構成属性、ソフトウェア構成属性、及び／又はハードウェア構成属性及びソフトウェア構成属性の組合で実現してもよい。例えば、実施形態で説明された装置、方法及び構成属性は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる様々な任意の装置として、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて実現されてもよい。処理装置はオペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答して、データをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つが使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理属性（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理属性を含んでいることが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0091】

ソフトウェアはコンピュータプログラム、コード、命令、又は、これらのうちの１つ以上の組合を含んでもよく、希望の通りに動作するように処理装置を構成し、独立的に又は協調的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いかなる類型の機械、構成属性（ｃｏｍｐｏｎｅｎｔ）、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータ読取可能な記録媒体に格納されてもよい。

【0092】

実施形態に係る方法は、多様なコンピュータ手段を介して行われることができるプログラム命令形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。前記コンピュータ読取可能な記録媒体はプログラム命令、データファイル、データ構造などを単独で又は組合せて含んでもよい。
前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記ハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

【0093】

上述のように、限定された図面によって実施形態が説明されたが、当該技術分野で通常の知識を有する者であれば、前記の記載から多様な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で行われたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組合せたり、他の構成要素又は均等物によって代替、置換されても適切な結果が達成される。従って、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だければはく特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0094】

４００：３Ｄレンダリング装置
４１０：レンダリング部
４２０：場面情報格納部

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】