特許 6543508 映像処理方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6543508

(24)【登録日】2019年6月21日

(45)【発行日】2019年7月10日

(54)【発明の名称】映像処理方法及び装置

(51)【国際特許分類】

   G06T 15/50 20110101AFI20190628BHJP

   G06T 13/20 20110101ALI20190628BHJP

【ＦＩ】

   G06T15/50 600

   G06T13/20

【請求項の数】27

【全頁数】22

(21)【出願番号】特願2015-90585(P2015-90585)

(22)【出願日】2015年4月27日

(65)【公開番号】特開2015-215890(P2015-215890A)

(43)【公開日】2015年12月3日

【審査請求日】2017年11月13日

(31)【優先権主張番号】10-2014-0055875

(32)【優先日】2014年5月9日

(33)【優先権主張国】KR

(31)【優先権主張番号】10-2014-0187465

(32)【優先日】2014年12月23日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】河 仁 友

(72)【発明者】

【氏名】安 民 修

(72)【発明者】

【氏名】朴 陞 忍

(72)【発明者】

【氏名】李 炯 旭

【審査官】 村松 貴士

(56)【参考文献】

【文献】 Samuli Laine，外4名，“Incremental Instant Radiosity for Real-Time Indirect Illumination”，EGSR'07 Proceedings of the 18th Eurographics conference on Rendering Techniques，フランス，The Eurographics Association，２００７年，p.277-286

【文献】 西川善司，「ゲーム制作者になるための３Ｄグラフィックス技術 増補改訂版」，株式会社インプレスジャパン，２０１３年，初版，p.323-335

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １３／００ − １９／２０

(57)【特許請求の範囲】

【請求項1】

現在フレームの領域ごとにＶＰＬ（Ｖｉｒｔｕａｌ Ｐｏｉｎｔ Ｌｉｇｈｔ）サンプリング個数を決定するステップと、
以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用するステップと、
前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された結果を調整するステップと、
前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするステップと、
前記以前フレームでサンプリングされたＶＰＬの明度に基づいて、前記現在フレームでサンプリングされたＶＰＬの明度を調整するステップと、
を含む、ことを特徴とする映像処理方法。

【請求項2】

前記結果を調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームの領域ごとにサンプリングされるＶＰＬの個数を調整する、
ことを特徴とする請求項１に記載の映像処理方法。

【請求項3】

前記結果を調整するステップは、前記決定されたＶＰＬサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのＶＰＬを除いた少なくとも１つの新しいＶＰＬをサンプリングするステップ、を含む、
ことを特徴とする請求項１または２に記載の映像処理方法。

【請求項4】

前記サンプリングするステップは、前記新しいＶＰＬがサンプリングされる領域の明度分布に基づいて、前記新しいＶＰＬがサンプリングされる位置を決定するステップ、を含む、
ことを特徴とする請求項３に記載の映像処理方法。

【請求項5】

前記サンプリングするステップは、前記新しいＶＰＬがサンプリングされる領域で前記新しいＶＰＬがサンプリングされる位置を任意に決定するステップ、を含む、
ことを特徴とする請求項３または４に記載の映像処理方法。

【請求項6】

前記サンプリングするステップは、前記現在フレームに現れたオブジェクトの動き及び前記オブジェクトの材質特性のうち少なくとも１つに基づいて、前記新しいＶＰＬがサンプリングされる位置を決定するステップ、を含む、
ことを特徴とする請求項３ないし５のいずれか一項に記載の映像処理方法。

【請求項7】

前記サンプリングするステップは、前記新しいＶＰＬがサンプリングされる領域に含まれる各サブ領域の中心位置に前記新しいＶＰＬをサンプリングする、
ことを特徴とする請求項３ないし６のいずれか一項に記載の映像処理方法。

【請求項8】

前記結果を調整するステップは、前記決定されたＶＰＬサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのＶＰＬのうち少なくとも１つのＶＰＬを除去するステップ、を含む、
ことを特徴とする請求項１ないし７のいずれか一項に記載の映像処理方法。

【請求項9】

前記除去するステップは、前記現在フレームに適用された以前フレームのＶＰＬの明度に基づいて、前記現在フレームに適用された以前フレームのＶＰＬのうち除去するＶＰＬを決定するステップ、を含む、
ことを特徴とする請求項８に記載の映像処理方法。

【請求項10】

前記個数を決定するステップは、
前記現在フレームに複数のオブジェクト領域を設定するステップと、
前記設定されたオブジェクト領域ごとに前記ＶＰＬサンプリングの個数を決定するステップと、
を含む、
ことを特徴とする請求項１ないし９のいずれか一項に記載の映像処理方法。

【請求項11】

前記個数を決定するステップは、
前記現在フレームに複数のグリッド領域を設定するステップと、
前記設定されたグリッド領域ごとに前記ＶＰＬサンプリングの個数を決定するステップと、
を含む、
ことを特徴とする請求項１ないし１０のいずれか一項に記載の映像処理方法。

【請求項12】

前記適用するステップは、前記以前フレームでＶＰＬがサンプリングされた位置に対応する前記現在フレーム内の位置にＶＰＬをサンプリングすることを特徴とする請求項１ないし請求項１１のいずれか１項に記載の映像処理方法。

【請求項13】

前記適用するステップは、視点マトリックス、投影マトリックス、及びモデルマトリックスのうち少なくとも１つを用いて、前記以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用する、
ことを特徴とする請求項１ないし１２のいずれか一項に記載の映像処理方法。

【請求項14】

前記方法は、
前記現在フレームに空間フィルタリングを行うステップ、をさらに含み、
前記決定するステップは、前記空間フィルタリングが実行された現在フレームの領域ごとにＶＰＬサンプリングの個数を決定する、
ことを特徴とする請求項１ないし１３のいずれか一項に記載の映像処理方法。

【請求項15】

前記決定するステップは、現在フレームに設定されたグリッド領域ごとにＶＰＬサンプリングの個数を決定し、
前記結果を調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて前記現在フレームのグリッド領域ごとにサンプリングされたＶＰＬの個数を調整する、
ことを特徴とする請求項１ないし１４のいずれか一項に記載の映像処理方法。

【請求項16】

前記決定するステップは、前記グリッド領域それぞれの明度情報に基づいてグリッド領域ごとにＶＰＬサンプリングの個数を決定する、
ことを特徴とする請求項１５に記載の映像処理方法。

【請求項17】

前記結果を調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームのグリッド領域ごとにＶＰＬの個数を調整する、
ことを特徴とする請求項１５または１６に記載の映像処理方法。

【請求項18】

コンピュータに、
請求項１ないし１７のいずれか一項に記載の方法を実行させるためのプログラムが記録されたコンピュータ読取可能な記録媒体。

【請求項19】

現在フレームの領域ごとにＶＰＬサンプリングの個数を決定するＶＰＬ密度決定部と、
以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用し、前記決定されたＶＰＬサンプリングの個数に基づいて前記以前フレームのＶＰＬが適用された結果を調整するＶＰＬサンプリング部と、
前記現在フレームでサンプリングされたＶＰＬに基づいて前記現在フレームをレンダリングするレンダリング部と、
前記以前フレームでサンプリングされたＶＰＬの明度に基づいて、前記現在フレームでサンプリングされたＶＰＬの明度を調整する時間フィルタリング実行部と、
を含む、ことを特徴とする映像処理装置。

【請求項20】

前記現在フレームに空間フィルタを適用して空間フィルタリングを行う空間フィルタリング実行部、をさらに含み、
前記ＶＰＬ密度決定部は、前記空間フィルタリングが実行された現在フレームの領域ごとにサンプリングされるＶＰＬの個数を決定する、
ことを特徴とする請求項１９に記載の映像処理装置。

【請求項21】

前記ＶＰＬサンプリング部は、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームの領域ごとにＶＰＬの個数を調整する、
ことを特徴とする請求項１９または２０に記載の映像処理装置。

【請求項22】

前記ＶＰＬ密度決定部は、前記現在フレームに複数のグリッド領域を設定し、前記設定されたグリッド領域ごとに前記ＶＰＬサンプリングの個数を決定する、
ことを特徴とする請求項１９ないし２１のいずれか一項に記載の映像処理装置。

【請求項23】

前記ＶＰＬ密度決定部は、前記グリッド領域それぞれの明度情報に基づいてグリッド領域ごとに前記ＶＰＬサンプリングの個数を決定する、
ことを特徴とする請求項２２に記載の映像処理装置。

【請求項24】

現在フレームのグリッド領域ごとにＶＰＬサンプリングの個数を決定するＶＰＬ密度決定部と、
以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用し、前記決定されたＶＰＬサンプリングの個数に基づいて、前記グリッド領域ごとにＶＰＬをサンプリングするＶＰＬサンプリング部と、
前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするレンダリング部と、
を含み、
前記以前フレームでサンプリングされたＶＰＬの明度に基づいて、前記現在フレームでサンプリングされたＶＰＬの明度を調整する、
ことを特徴とする映像処理装置。

【請求項25】

現在フレームの各領域ごとにＶＰＬサンプリング個数を決定するステップと、
以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用し、前記各領域ごとに決定されたＶＰＬサンプリング個数及び以前フレームでサンプリングされたＶＰＬに基づいて、現在フレームでＶＰＬをサンプリングするステップと、
前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするステップと、
を含み、
前記以前フレームでサンプリングされたＶＰＬの明度に基づいて、前記現在フレームでサンプリングされたＶＰＬの明度を調整する、
ことを特徴とする映像処理方法。

【請求項26】

前記サンプリングするステップは、
前記現在フレームの各領域ごとに決定されたＶＰＬサンプリング個数を超過することなく、前記現在フレームに以前フレームから適用されたＶＰＬを保持するステップと、
を含む、ことを特徴とする請求項２５に記載の映像処理方法。

【請求項27】

前記サンプリングするステップは、
前記各領域ごとに決定されたＶＰＬサンプリング個数、前記現在フレームに適用された以前フレームのＶＰＬサンプリング個数に基づいて、前記現在フレームに新しいＶＰＬをサンプリングするか、または、前記現在フレームに適用された以前フレームのＶＰＬを除去するステップと、
を含む、ことを特徴とする請求項２５に記載の映像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像をレンダリングする映像処理技術に関する。

【背景技術】

【0002】

３Ｄゲーム、バーチャルリアリティ（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）アニメーション、映画などの様々な分野で、３Ｄモデルに対するリアルタイムレンダリング（ｒｅａｌ−ｔｉｍｅ ｒｅｎｄｅｒｉｎｇ）に対する関心が高まっている。３Ｄレンダリング方式の１つである全域照明を考慮したラジオシティ方式は、３Ｄモデル内に存在する直接光源による直接照明だけではなく、直接照明がオブジェクトによって反射した反射光や乱反射現象などによる効果をレンダリングに適用するレンダリング方法である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

一実施形態によると、現在フレームの照明環境を考慮した高品質の映像を低い複雑度で実現することにある。

【課題を解決するための手段】

【0004】

一実施形態に係る映像処理方法は、現在フレームの領域ごとにＶＰＬサンプリングの個数を決定するステップと、以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用するステップと、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された結果を調整するステップと、前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするステップとを含む。

【0005】

一実施形態に係る映像処理方法において、前記調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームの領域ごとにサンプリングされるＶＰＬの個数を調整してもよい。

【0006】

一実施形態に係る映像処理方法において、前記調整するステップは、前記決定されたＶＰＬサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのＶＰＬを除いた少なくとも１つの新しいＶＰＬをサンプリングするステップを含んでもよい。

【0007】

一実施形態に係る映像処理方法において、前記サンプリングするステップは、前記新しいＶＰＬがサンプリングされる領域の明度分布に基づいて、前記新しいＶＰＬがサンプリングされる位置を決定するステップを含んでもよい。

【0008】

一実施形態に係る映像処理方法において、前記サンプリングするステップは、前記新しいＶＰＬがサンプリングされる領域で前記新しいＶＰＬがサンプリングされる位置を任意に決定するステップを含んでもよい。

【0009】

一実施形態に係る映像処理方法において、前記サンプリングするステップは、前記現在フレームに現れたオブジェクトの動き及び前記オブジェクトの材質特性のうち少なくとも１つに基づいて、前記新しいＶＰＬがサンプリングされる位置を決定するステップを含んでもよい。

【0010】

一実施形態に係る映像処理方法において、前記調整するステップは、前記決定されたＶＰＬサンプリングの個数を満足するように前記現在フレームに適用された以前フレームのＶＰＬのうち少なくとも１つのＶＰＬを除去するステップを含んでもよい。

【0011】

一実施形態に係る映像処理方法において、前記除去するステップは、前記現在フレームに適用された以前フレームのＶＰＬの明度に基づいて、前記現在フレームに適用された以前フレームのＶＰＬのうち除去するＶＰＬを決定するステップを含んでもよい。

【0012】

一実施形態に係る映像処理方法において、前記決定するステップは、前記現在フレームに複数のオブジェクト領域を設定するステップと、前記設定されたオブジェクト領域ごとに前記ＶＰＬサンプリングの個数を決定するステップを含んでもよい。

【0013】

一実施形態に係る映像処理方法において、前記決定するステップは、前記現在フレームに複数のグリッド領域を設定するステップと、前記設定されたグリッド領域ごとに前記ＶＰＬサンプリングの個数を決定するステップを含んでもよい。

【0014】

一実施形態に係る映像処理方法において、前記適用するステップは、前記以前フレームでＶＰＬがサンプリングされた位置に対応する前記現在フレーム内の位置にＶＰＬをサンプリングしてもよい。

【0015】

一実施形態に係る映像処理方法において、前記適用するステップは、視点マトリックス、投影マトリックス、及びモデルマトリックスのうち少なくとも１つを用いて、前記以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用してもよい。

【0016】

一実施形態に係る映像処理方法は、前記現在フレームに空間フィルタリングを行うステップをさらに含んでもよい。

【0017】

一実施形態に係る映像処理方法において、前記調整するステップは、前記以前フレームでサンプリングされたＶＰＬの明度に基づいて前記現在フレームでサンプリングされたＶＰＬの明度を調整するステップを含んでもよい。

【0018】

一実施形態に係る映像処理方法において、前記決定するステップは、現在フレームに設定されたグリッド領域ごとにＶＰＬサンプリングの個数を決定し、前記調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて前記現在フレームのグリッド領域ごとにサンプリングされたＶＰＬの個数を調整してもよい。

【0019】

一実施形態に係る映像処理方法において、前記決定するステップは、前記グリッド領域それぞれの明度情報に基づいてグリッド領域ごとにＶＰＬサンプリングの個数を決定してもよい。

【0020】

一実施形態に係る映像処理方法において、前記調整するステップは、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームのグリッド領域ごとにＶＰＬの個数を調整してもよい。

【0021】

他の実施形態に係る映像処理装置は、現在フレームの各領域ごとにＶＰＬサンプリング個数を決定するステップと、前記各領域ごとに決定されたＶＰＬサンプリング個数及び以前フレームでサンプリングされたＶＰＬに基づいて、現在フレームでＶＰＬをサンプリングするステップと、前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするステップとを含む。

【0022】

一実施形態に係る映像処理装置において、現在フレームの領域ごとにＶＰＬサンプリングの個数を決定するＶＰＬ密度決定部と、以前フレームでサンプリングされたＶＰＬを前記現在フレームに適用し、前記決定されたＶＰＬサンプリングの個数に基づいて前記以前フレームのＶＰＬが適用された結果を調整するＶＰＬサンプリング部と、前記現在フレームでサンプリングされたＶＰＬに基づいて前記現在フレームをレンダリングするレンダリング部とを含む。

【0023】

一実施形態に係る映像処理装置は、前記以前フレームでサンプリングされたＶＰＬの明度に基づいて、前記現在フレームでサンプリングされたＶＰＬの明度を調整する時間フィルタリング実行部をさらに含んでもよい。

【0024】

一実施形態に係る映像処理装置は、前記現在フレームに空間フィルタを適用して空間フィルタリングを行う空間フィルタリング実行部をさらに含んでもよい。

【0025】

一実施形態に係る映像処理装置において、前記ＶＰＬサンプリング部は、前記決定されたＶＰＬサンプリングの個数に基づいて、前記以前フレームのＶＰＬが適用された現在フレームの領域ごとにＶＰＬの個数を調整してもよい。

【0026】

他の実施形態に係る映像処理装置は、現在フレームのグリッド領域ごとにＶＰＬサンプリングの個数を決定するＶＰＬ密度決定部と、前記決定されたＶＰＬサンプリングの個数に基づいて、前記グリッド領域ごとにＶＰＬをサンプリングするＶＰＬサンプリング部と、前記現在フレームでサンプリングされたＶＰＬに基づいて、前記現在フレームをレンダリングするレンダリング部とを含む。

【発明の効果】

【0027】

一実施形態によると、現在フレームの照明環境を考慮した高品質の映像を低い複雑度で実現することができる。

【図面の簡単な説明】

【0028】

【図1】一実施形態に係る映像処理装置の構成を示す図である。

【図2】一実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図3】一実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図4】一実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図5】一実施形態に係る重要度マップを用いて現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図6】一実施形態に係る重要度マップを用いて現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図7】一実施形態に係る重要度マップを用いて現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図8】他の実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図9】他の実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図10】他の実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図11】他の実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【図12】一実施形態に係る映像処理方法の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0029】

以下、実施形態について添付する図面を参照しながら詳細に説明する。下記の特定の構造的ないし機能的な説明は、単に実施形態を説明するための目的として例示したものであり、権利範囲が本文に説明された実施形態に限定されるものと解釈されることはない。説明した分野に属する通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略する。

【0030】

図１は、一実施形態に係る映像処理装置の構成を示す図である。

【0031】

映像処理装置１００は、２Ｄグラフィック又は３Ｄグラフィックをレンダリングする。映像処理装置１００は、映像フレームを介して表現されるイメージ空間をレンダリングし、レンダリングの結果映像を出力する。映像処理装置１００は、例えば、ゲーム、映画、ユーザインタフェース、仮想現実、または、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）などで３Ｄレンダリングを行ってもよい。

【0032】

映像処理装置１００は、グラフィックレンダリングで全域照明（ｇｌｏｂａｌ ｉｌｌｕｍｉｎａｔｉｏｎ）の効果を実現するために光の反射、屈折及び回折などの自然現象を表現するための仮想のポイント光源（Ｖｉｒｔｕａｌ Ｐｏｉｎｔ Ｌｉｇｈｔ；ＶＰＬ）を現在フレームのイメージ空間に配置してもよい。イメージ空間上に光を直接放射する直接光源とは異なって、ＶＰＬは直接光源から放射された光が反射、屈折又は回折される現象を反映するための仮想の光源である。ＶＰＬは間接光源と称してもよい。映像フレームが示すイメージ空間上にＶＰＬをどこに配置するか決定することを「ＶＰＬサンプリング」という。映像処理装置は、ＶＰＬが配置された領域を中心に、イメージ空間に間接光の効果を適用してもよく、ＶＰＬがイメージ空間のどの領域に配置するかに応じて、レンダリングの結果映像に現れる照明効果が変わり得る。

【0033】

映像処理装置１００は、以前フレームのＶＰＬサンプリングの結果に基づいて現在フレームでＶＰＬをサンプリングしてもよい。現在フレームは、現在のレンダリングの対象となる映像フレームで、時間的に以前フレームに連続する映像フレームを示す。以前フレームは、現在フレームより時間的に先にある映像フレームであり、現在フレームよりも先にＶＰＬがサンプリングされた映像フレームを示す。

【0034】

映像処理装置１００は、以前フレームのＶＰＬ情報を用いて現在フレームに以前フレームでサンプリングされたＶＰＬを適用した後、現在フレームの明度分布に応じて移転フレームのＶＰＬが適用された結果を調整する。以前フレームのＶＰＬ情報は、以前フレームに対するライト視点レンダリング（ｌｉｇｈｔ ｖｉｅｗ ｒｅｎｄｅｒｉｎｇ）映像でサンプリングされたＶＰＬ情報、又は光線追跡方式を用いて、導き出された光線の衝突位置情報などを含んでもよい。

【0035】

映像処理装置１００は、以前フレームにおけるＶＰＬサンプリングの結果を用いて現在フレームのＶＰＬをサンプリングすることでフリッカーの発生を減少させ、必要な資源量を低減させ得る。例えば、映像処理装置１００は、以前フレームで利用されたＶＰＬごとのシャドウマップ（ｓｈａｄｏｗ ｍａｐ）を用いて現在フレームでＶＰＬをサンプリングしてもよい。映像処理装置１００は、現在フレームの明度分布によるＶＰＬをサンプリングすることで、現在フレームの照明環境に適する高画質のレンダリングの結果映像を出力できる。以下、映像処理装置１００の動作をより詳しく説明する。

【0036】

図１を参照すると、映像処理装置１００は、ＶＰＬ密度決定部１２０、ＶＰＬサンプリング部１３０、及びレンダリング部１５０を含む。

【0037】

ＶＰＬ密度決定部１２０は、現在フレームの領域ごとに求められるＶＰＬサンプリングの個数を決定する。ＶＰＬサンプリングの個数は、現在フレームの特定領域でサンプリングされるＶＰＬの個数を示す。ＶＰＬサンプリングの個数は、例えば、ピクセル領域又はピクセルグループ領域内でサンプリングされるＶＰＬの個数を示す。１つのピクセル領域内に複数のＶＰＬがサンプリングされてもよく、ピクセルグループ領域は、現在フレームに現れたオブジェクト領域、グリッド領域又はバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）の領域などを示す。

【0038】

ＶＰＬ密度決定部１２０は、現在フレームの明度情報、視点、直接光源の位置、直接光源の方向、及びオブジェクトの形状情報などに基づいて、現在フレームの領域ごとに求められるＶＰＬサンプリングの個数を決定する。ＶＰＬ密度決定部１２０は、現在フレームで相対的に明るい領域により多いＶＰＬサンプリングの個数を割り当てたり、又は形状情報のオブジェクトのノーマル情報を用いてＶＰＬサンプリングの個数を決定してもよい。ノーマル情報は、オブジェクトの表面に対するノーマルに関する情報を表す。ＶＰＬ密度決定部１２０は、例えば、現在フレームの特定領域の明度値とノーマル値にそれぞれ加重値を適用して合算し、合算した結果が大きい領域に、ＶＰＬがサンプリングされる確率を相対的に高く設定してもよい。 すなわち、特定領域に対して合算した結果が大きいほど、当該の特定領域でＶＰＬがサンプリングされる確率は高くなり、特定領域に対して合算した結果が小さいほど、当該の特定領域でＶＰＬがサンプリングされる確率は低くなる。ＶＰＬ密度決定部１２０は、現在フレームの領域ごとに設定されたサンプリング確率に基づいて、現在フレームの各領域でＶＰＬサンプリングの個数を決定する。

【0039】

ＶＰＬ密度決定部１２０は、例えば、重要度サンプリング方式を用いて、現在フレームの領域ごと明度分布によるＶＰＬサンプリングの個数を決定してもよい。重要度サンプリング方式を用いて、現在フレームで明るい領域は暗い領域よりも相対的にＶＰＬがサンプリングされる確率を高く設定し、より多いＶＰＬサンプリングの個数が割り当てられる。

【0040】

ＶＰＬサンプリング部１３０は、現在フレームでＶＰＬをサンプリングする。ＶＰＬサンプリング部１３０は、以前フレームでサンプリングされたＶＰＬを現在フレームに適用又は投影してもよい。ＶＰＬサンプリング部１３０は、現在フレームの領域ごとに決定されたＶＰＬサンプリングの個数に基づいて、以前フレームのＶＰＬが適用された現在フレームの領域ごとにサンプリングされるＶＰＬの個数を調整する。

【0041】

例えば、ＶＰＬサンプリング部１３０は、以前フレームのＶＰＬが適用された現在フレームに新しいＶＰＬをさらにサンプリングしたり、又は現在フレームに投影された以前フレームのＶＰＬを保持又は除去する。ＶＰＬサンプリング部１３０は、現在フレームに適用されたそれぞれの以前フレームのＶＰＬの重要度に基づいて現在フレーム内にＶＰＬを再配置してもよい。

【0042】

ＶＰＬサンプリング部１３０は、以前フレームでサンプリングされたＶＰＬを現在フレームに投影して現在フレームに対するＶＰＬサンプリングの結果を生成し、現在フレームの照明環境を反映するための新しいＶＰＬを追加的にサンプリングして、現在フレームに対する全体ＶＰＬセットを決定する。以前フレームと現在フレームとの間の照明環境の差が小さく、以前フレームでサンプリングされていない新しいＶＰＬのサンプリングが必要ではない場合、現在フレームで新しいＶＰＬをサンプリングするための追加的な過程は省略する。

【0043】

ＶＰＬサンプリング部１３０は、現在フレームの領域ごとに決定されたＶＰＬサンプリングの個数を満たす範囲内では新しいＶＰＬをサンプリングせず、以前フレームのＶＰＬが投影された現在フレーム内の領域にＶＰＬをサンプリングしてもよい。以前フレームのＶＰＬサンプリングの結果を現在フレームに適用することで、時間的に連続する映像フレームの間でＶＰＬの位置変化を最小化してフリッカー現象を低減することができる。

【0044】

以前フレームと現在フレームとの間で明度分布が互いに同一で、領域ごとに決定されたＶＰＬサンプリングの個数が同一である場合、以前フレームと現在フレームとの間でＶＰＬがサンプリングされる位置は同一であってもよい。これとは異なって、以前フレームと現在フレームとの間で明度分布が互いに異なり、領域ごとのＶＰＬサンプリングの個数が異なる場合は、現在フレームに適用された以前フレームのＶＰＬは再配置されてもよい。

【0045】

現在フレームでサンプリングされたＶＰＬに関する情報は、現在フレームに時間的に連続する次のフレームのＶＰＬサンプリング過程で用いてもよい。

【0046】

他の実施形態によると、映像処理装置１００は、空間フィルタリング実行部１１０及び時間フィルタリング実行部１４０のうち少なくとも１つをさらに含んでもよい。

【0047】

空間フィルタリング実行部１１０は、現在フレームでＶＰＬをサンプリングする前に現在フレームに空間フィルタリングを行ってもよい。特定ＶＰＬの位置、カラー又はノーマル特性がフレームの間で急激に変化する場合、フリッカー現象が発生することがある。プルロコリン現象による影響を低減させるために、空間フィルタリング実行部１１０は、現在フレームに空間フィルタリングを行ってＶＰＬの位置、カラー、及びノーマル特性に対する空間的な不連続性を低減させる。例えば、空間フィルタリング実行部１１０は、ガウスカーネル（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）を現在フレームに適用し、イメージ空間及びオブジェクト上で急激な変化が生じる領域をフィルタリングしてもよく、これによりフレームの間でＶＰＬ特性が急激に変化することを防止する。ここで、空間フィルタリングを実行部１１０は、ガウスカーネルの他に空間フィルタリングを実行することのできる様々なカーネルを用いて空間フィルタリングを行うことができる。ＶＰＬ密度決定部１２０は、空間フィルタリングが実行された現在フレームの領域ごとにＶＰＬサンプリングの個数を決定してもよい。

【0048】

時間フィルタリング実行部１４０は、現在フレームにおけるＶＰＬサンプリングが完了した後、現在フレームに時間フィルタリングを行ってもよい。時間フィルタリング実行部１４０は、以前フレームと現在フレームとの間でＶＰＬの明度が急激に変化しないように、以前フレームのＶＰＬの明度に基づいて現在フレームでサンプリングされたＶＰＬの明度を調整する。

【0049】

レンダリング部１５０は、現在フレームでサンプリングされたＶＰＬを用いて現在フレームをレンダリングし、レンダリングの結果映像を出力する。例えば、レンダリング部１５０は、現在フレームのイメージ空間にサンプリングされたＶＰＬを配置し、ＶＰＬによる間接光の効果が適用されたレンダリングの結果映像を出力してもよい。

【0050】

以下、他の実施形態に係る映像処理装置１００が以前フレームのＶＰＬサンプリングの結果を現在フレームに適用することなく、現在フレームの明度情報に基づいて現在フレームのグリッド領域ごとにＶＰＬをサンプリングする過程を説明する。他の実施形態に係る映像処理装置１００は、ＶＰＬ密度決定部１２０、ＶＰＬサンプリング部１３０、及びレンダリング部１５０を含む。

【0051】

ＶＰＬ密度決定部１２０は、現在フレームのグリッド領域ごとにＶＰＬサンプリングの個数を決定する。ＶＰＬ密度決定部１２０は、現在フレーム内グリッド領域の明度分布に基づいて各グリッド領域のＶＰＬサンプリングの個数を決定する。例えば、ＶＰＬ密度決定部１２０は、明度がさらに明るいグリッド領域でより多くのＶＰＬがサンプリングされるよう、ＶＰＬサンプリングの個数を決定してもよい。または、ＶＰＬ密度決定部１２０は、各グリッド領域の平均明度値を決定し、平均明度値に対応する所定のＶＰＬサンプリングの個数を各グリッド領域のＶＰＬサンプリングの個数に決定してもよい。

【0052】

ＶＰＬサンプリング部１３０は、グリッド領域ごとに決定されたＶＰＬサンプリングの個数に基づいて、現在フレームのグリッド領域でＶＰＬをサンプリングする。レンダリング部１５０は、現在フレームでサンプリングされたＶＰＬに基づいて現在フレームをレンダリングし、レンダリングの結果映像を出力する。映像処理装置１００は、グリッド領域基盤のＶＰＬサンプリングを行って現在フレームでＶＰＬをより早くサンプリングすることができる。

【0053】

図２〜図４は、一実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【0054】

図２は、３個のオブジェクト２１０、２２０、２３０を含む以前フレーム２００を示す。以前フレーム２００で、第１オブジェクト領域２１０に３個のＶＰＬ２１２、２１４、２１６、第２オブジェクト領域２２０に２個のＶＰＬ２２２、２２４、及び第３オブジェクト領域２３０に１つのＶＰＬ２３２がサンプリングされたと仮定する。

【0055】

図３は、以前フレーム２００のＶＰＬサンプリングの結果が適用された現在フレーム３００を示す。現在フレーム３００には、以前フレーム２００の第１オブジェクト領域２１０に対応する第１オブジェクト領域３２０、以前フレーム２００の第３オブジェクト領域２３０に対応する第３オブジェクト領域３１０が含まれている。以前フレーム２００に含まれている第２オブジェクト領域２２０は現在フレーム３００に現れることなく、代わりに新しい第４オブジェクト領域３３０が現在フレーム３００に現れる。

【0056】

ＶＰＬサンプリング部１３０は、以前フレーム２００でＶＰＬ２１２、２１４、２１６、２２２、２２４、２３２がサンプリングされた位置に対応する現在フレーム３００内の位置にＶＰＬをサンプリングする。以前フレーム２００におけるＶＰＬサンプリングの結果が現在フレーム３００に適用され、以前フレーム２００の第１オブジェクト領域２１０にサンプリングされたＶＰＬ２１２、２１４、２１６が、現在フレーム３００の第１オブジェクト領域３２０のＶＰＬ３２２、３２４、３２６に投影されている。そして、以前フレーム２００の第３オブジェクト領域２３０にサンプリングされたＶＰＬ２３２が、現在フレーム３００の第３オブジェクト領域３１０のＶＰＬ３１２に投影されている。しかし、現在フレーム３００は、以前フレームの第２オブジェクト領域２２０に対応するオブジェクト領域を含んでいないため、以前フレームの第２オブジェクト領域２２０でサンプリングされたＶＰＬ２２２、２２４は現在フレーム３００に投影されない。

【0057】

ＶＰＬサンプリング部１３０は、視点マトリックス（ｖｉｅｗ ｍａｔｒｉｘ）、投影マトリックス（ｐｒｏｊｅｃｔｉｏｎ ｍａｔｒｉｘ）、及びオブジェクトごとのモデルマトリックス（ｍｏｄｅｌ ｍａｔｒｉｘ）などのような変換マトリックスを用いて、以前フレーム２００でサンプリングされたＶＰＬ２１２、２１４、２１６、２２２、２２４、２３２を現在フレーム３００に投影する。ＶＰＬサンプリング部１３０は、例えば、以前フレーム２００の視点マトリックスの逆（ｉｎｖｅｒｓｅ）マトリックスと現在フレーム３００の視点マトリックスとを乗算した結果と、以前フレーム２００のＶＰＬサンプリング情報を用いて、以前フレーム２００でサンプリングされたＶＰＬ２１２、２１４、２１６、２２２、２２４、２３２を現在フレーム３００に投影してもよい。また、ＶＰＬサンプリング部１３０は、オブジェクトごとのモデルマトリックスを用いて、動きのある動的オブジェクトに対する以前フレーム２００のＶＰＬサンプリング情報を現在フレーム３００に適用する。

【0058】

現在フレーム３００には、以前フレーム２００の第２オブジェクト領域２２０に対応するオブジェクト領域が現れないため、第２オブジェクト領域２２０でサンプリングされたＶＰＬ２２２、２２４は現在フレーム３００に投影されない。

【0059】

以前フレーム２００と現在フレーム３００との間には視点差、全体的又は局地的な明度差、新しいオブジェクトの登場、又は既存オブジェクトの動きなどが発生することがある。このような要因による影響を最小化するために、ＶＰＬサンプリング部１３０は、以前フレーム２００のＶＰＬサンプリングの結果が適用された現在フレーム３００のＶＰＬサンプリングの結果を調整してもよい。ＶＰＬサンプリング部１３０は、現在フレーム３００のオブジェクト領域ごとに決定されたＶＰＬサンプリングの個数を満足するよう、現在フレーム３００に適用された以前フレーム２００のＶＰＬを除いた新しいＶＰＬをサンプリングする。

【0060】

図４は、現在フレーム３００に適用された以前フレーム２００のＶＰＬサンプリングの結果を調整した結果を示す。ＶＰＬ密度決定部１２０は、現在フレーム３００に現れたオブジェクトごとにオブジェクト領域３１０、３２０、３３０を設定し、オブジェクト領域３１０、３２０、３３０の明度分布に基づいて各オブジェクト領域３１０、３２０、３３０のＶＰＬサンプリングの個数を決定する。ＶＰＬ密度決定部１２０は、例えば、より明るいオブジェクト領域により多いＶＰＬがサンプリングされるよう、現在フレーム３００のオブジェクト領域ごとにＶＰＬサンプリングの個数を決定してもよい。ＶＰＬサンプリング部１３０は、オブジェクト領域ごとに決定されたＶＰＬサンプリングの個数を満足するよう、以前フレーム２００のＶＰＬサンプリングの結果が適用された現在フレーム３００でオブジェクト領域ごとにサンプリングされたＶＰＬの個数を調整してもよい。

【0061】

図４では、第１オブジェクト領域３２０に対して決定されたＶＰＬサンプリングの個数が１個であり、第３オブジェクト領域３１０に対して決定されたＶＰＬサンプリングの個数が３個であり、第４オブジェクト領域３３０に対して決定されたＶＰＬサンプリングの個数が２個であると仮定する。

【0062】

現在フレーム３００に特定領域に適用された以前フレーム２００のＶＰＬの個数が当該領域で決定されたＶＰＬサンプリングの個数よりも多い場合、ＶＰＬサンプリング部１３０は、当該領域に対して決定されたＶＰＬサンプリングの個数を満足するよう、現在フレーム３００に適用された以前フレーム２００のＶＰＬのうち１つ以上のＶＰＬを除去してもよい。現在フレーム３００の第１オブジェクト領域３２０でサンプリングされなければならないＶＰＬの個数が１個であるが、以前フレーム２００のＶＰＬサンプリングの結果が適用された後のＶＰＬの個数が３個（図３に示す第１オブジェクト領域３２０内のＶＰＬ３２２、３２４、３２６）であるため、ＶＰＬサンプリング部１３０は、第１オブジェクト領域３２０で２個のＶＰＬを除去してもよい。ＶＰＬサンプリング部１３０は、第１オブジェクト領域３２０に適用された以前フレーム２００のＶＰＬ３２２、３２４、３２６の明度、ランダム関数又は特定要素に基づいた確率関数などを用いて、除去するＶＰＬを決定してもよい。

【0063】

例えば、ＶＰＬ３２２、３２４、３２６の明度に基づく場合、ＶＰＬサンプリング部１３０は、さらに暗い明度値を有するＶＰＬを優先的に除去してもよい。ランダム関数に基づく場合、ＶＰＬサンプリング部１３０は、ＶＰＬ３２２、３２４、３２６のうち除去するＶＰＬを任意に決定してもよい。図４では、ＶＰＬ３２２、３２４、３２６のうち、ＶＰＬ３２４、３２６が除去された結果を図示している。

【0064】

例えば、ＶＰＬサンプリング部１３０は、第１オブジェクト領域３２０の明度分布に基づいてより暗い領域に位置する２個のＶＰＬ３２４、３２６を除去してもよい。他の例として、ＶＰＬサンプリング部１３０は、ランダム関数などを用いて第１オブジェクト領域３２０内の３個のＶＰＬ３２２、３２４、３２６のうち任意に選択された２個のＶＰＬを除去してもよい。

【0065】

現在フレーム３００の第３オブジェクト領域３１０でサンプリングされなければならないＶＰＬの個数は３個であるが、以前フレーム２００のＶＰＬサンプリングの結果が適用された後のＶＰＬの個数は１つ（図３に示す第３オブジェクト領域３１０内のＶＰＬ３１２）であるため、ＶＰＬサンプリング部１３０は、第３オブジェクト領域３１０内に２個の新しいＶＰＬをさらにサンプリングしてもよい。ＶＰＬサンプリング部１３０は、以前フレーム２００のＶＰＬ２３２が投影された現在フレーム３００のＶＰＬ３１２を保持し、２個の新しいＶＰＬをサンプリングしてもよい。

【0066】

例えば、ＶＰＬサンプリング部１３０は、第３オブジェクト領域３１０の明度分布に基づいて第３オブジェクト領域３１０内に２個の新しいＶＰＬ４１２、４１４を追加的にサンプリングしてもよい。ＶＰＬサンプリング部１３０は、重要度サンプリング方式を用いて、第３オブジェクト領域３１０内で明度による優先順位に応じて２個のＶＰＬ４１２、４１４を追加的にサンプリングしてもよい。ここで、ＶＰＬサンプリング部１３０は、以前フレーム２００のＶＰＬ２３２が現在フレーム３００に投影されたＶＰＬ３１２の領域が、相対的にＶＰＬがサンプリングされる確率を低く設定して、ＶＰＬ３１２の領域に新しいＶＰＬがサンプリングされないようにしてもよい。他の例として、ＶＰＬサンプリング部１３０は、第３オブジェクト領域３１０内で２個の新しいＶＰＬがサンプリングされる位置を任意に決定し、決定された位置に２個の新しいＶＰＬ４１２、４１４をサンプリングしてもよい。他の例として、現在フレーム３００のオブジェクト領域３１０、３２０、３３０は階層的に構成され、ＶＰＬサンプリング部１３０は、新しいＶＰＬがサンプリングされる第３オブジェクト領域３１０に含まれた各サブ領域の中心位置に新しいＶＰＬをサンプリングしてもよい。

【0067】

現在フレーム３００に新たに追加された第４オブジェクト領域３３０に対するＶＰＬサンプリングの個数は２個であるため、ＶＰＬサンプリング部１３０は、第４オブジェクト領域３３０内に２個のＶＰＬ４３２、４３４をサンプリングしてもよい。オブジェクト４領域３３０でサンプリングする２個の新しいＶＰＬ４３２、４３４は、第３オブジェクト領域３１０で新しくサンプリングされたＶＰＬ４１２、４１４と類似方法でサンプリングされてもよい。例えば、ＶＰＬサンプリング部１３０は、第４オブジェクト領域３３０の明度分布に応じて決定された位置又はランダム関数により、任意に決定された位置に新しい２個のＶＰＬ４３２、４３４をサンプリングしてもよい。

【0068】

図５〜図７は、一実施形態に係る重要度マップを用いて現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【0069】

ＶＰＬサンプリング過程で重要度サンプリング方式が用いられる場合、ＶＰＬサンプリング部１３０は、以前フレームのＶＰＬ情報が反映された重要度マップを用いて現在フレームに新しいＶＰＬを追加的にサンプリングしてもよい。重要度サンプリングで、確率分布は、ピクセルの明度により重要度が決定される重要度マップの形態を有してもよい。重要度マップは、現在フレームの各領域でＶＰＬがサンプリングされる確率情報を含んでもよく、重要度マップに基づいた確率分布で確率が相対的に高い領域はＶＰＬがサンプリングされる確率が高いこともある。ＶＰＬサンプリング部１３０は、以前フレームのＶＰＬサンプリングの結果を現在フレームの重要度マップに反映し、現在フレームの領域ごとにサンプリングされるＶＰＬの個数を調節する。

【0070】

図５は、以前フレームのＶＰＬサンプリングの結果が投影された現在フレーム５００を示す図である。現在フレーム５００が示すイメージ空間に第１オブジェクト領域５１０及び第２オブジェクト領域５２０が含まれている。第１オブジェクト領域５１０には、以前フレームでサンプリングされた２個のＶＰＬに対応するＶＰＬ５１２、５１４がサンプリングされ、第２オブジェクト領域５２０には、以前フレームでサンプリングされた１つのＶＰＬに対応するＶＰＬ５２２がサンプリングされている。

【0071】

図６は、重要度マップを用いてＶＰＬをサンプリングする動作を説明するための図である。ＶＰＬサンプリング部１３０は、現在フレーム５００の重要度マップで以前フレームのＶＰＬが投影された領域６１２、６１４、６２２又は領域６１２、６１４、６２２の周辺領域でＶＰＬがサンプリングされる確率を調整する。

【0072】

現在フレーム５００でＶＰＬをサンプリングする場合、ＶＰＬサンプリング部１３０は、現在フレーム５００の重要度マップに投影された以前フレームのＶＰＬの３Ｄ位置でＶＰＬがサンプリングされる確率を低くしたり、又は高くなるように、当該３Ｄ位置の重要度値を調整する。例えば、ＶＰＬサンプリング部１３０は、新しいＶＰＬがサンプリングされないように、領域６１２、６１４、６２２でＶＰＬがサンプリングされる確率を０に設定してもよい。または、ＶＰＬサンプリング部１３０は、任意のカーネルを用いて領域６１２、６１４、６２２の周辺領域でＶＰＬがサンプリングされる確率を調整してもよい。ＶＰＬサンプリング部１３０は、ＶＰＬのサンプリング確率が調整された重要度マップに基づいて、重要度サンプリング方式を行ってもよい。ＶＰＬサンプリング部１３０は、現在フレーム５００で以前フレームのＶＰＬが投影された領域ではない新しいＶＰＬが追加される領域を決定する。

【0073】

以前フレームのＶＰＬの位置に対応する現在フレーム５００内の領域６１２、６１４、６２２の確率値が本来の確率値よりも低い値に設定される場合、領域６１２、６１４、６２２ではＶＰＬがサンプリングされない確率が相対的に高い。この場合、現在フレーム５００内で現在フレーム５００に投影された以前フレームのＶＰＬを除いた新しいＶＰＬがサンプリングされてもよい。ＶＰＬサンプリング部１３０は、現在フレーム５００に投影された以前フレームのＶＰＬと追加的にサンプリングされたＶＰＬとを統合し、現在フレーム５００に対する全体ＶＰＬセットを決定する。

【0074】

図７は、現在フレーム５００のオブジェクト領域ごとに決定されたＶＰＬサンプリングの個数に基づいて調整された現在フレーム５００のＶＰＬサンプリングの結果を示す。現在フレーム５００の第２オブジェクト領域５２０に新しいＶＰＬ７２４がさらにサンプリングされ、以前フレームのＶＰＬ５１２が現在フレーム５００の第１オブジェクト領域５１０に投影されたＶＰＬは除去された。

【0075】

図８〜図１１は、他の実施形態に係る現在フレームでＶＰＬをサンプリングする一例を説明するための図である。

【0076】

図８〜図１１を参考にすると、ＶＰＬ密度決定部１２０は、現在フレームの全体ピクセル領域を規則的な形態又は不規則的な形態を有する複数のグリッド領域に分割し、グリッド領域ごとにＶＰＬサンプリングの個数を決定してもよい。ＶＰＬ密度決定部１２０は、各グリッド領域の明度分布に基づいてグリッド領域ごとにサンプリングされなければならない最適のＶＰＬサンプリングの個数を決定してもよい。

【0077】

ＶＰＬサンプリング部１３０は、グリッド領域ごとに決定されたＶＰＬサンプリングの個数に基づいて以前フレームのＶＰＬが適用された現在フレームでサンプリングされたＶＰＬの個数を調整する。ＶＰＬサンプリング部１３０は、グリッド領域ごとに決定されたＶＰＬサンプリングの個数と現在フレームに投影された以前フレームのＶＰＬの個数とを比較し、比較結果に基づいて現在フレームのグリッド領域でサンプリングされるＶＰＬの個数を調整する。例えば、ＶＰＬサンプリング部１３０は、現在の映像フレームに投影された以前映像フレームのＶＰＬを保持又は除去したり、または、新しいＶＰＬを追加的にサンプリングしてもよい。ＶＰＬサンプリング部１３０は、グリッド領域ごとにＶＰＬをサンプリングすることでＶＰＬをより迅速にサンプリングすることができる。

【0078】

図８〜図１１に示すＶＰＬサンプリング過程は、図２〜図４に示すＶＰＬサンプリング過程と同様である。ただし、図８ないし図１１に示すＶＰＬサンプリング過程は図２〜図４に示すＶＰＬサンプリング過程とは異なり、ＶＰＬサンプリングの個数が現在フレームのグリッド領域単位で決定され、領域ごとのＶＰＬサンプリングの個数がグリッド領域単位で調整される点で差異がある。

【0079】

図８は、２個のオブジェクト領域８１０、８２０を含む以前フレーム８００を示す。以前フレーム８００で、第１オブジェクト領域８１０に２個のＶＰＬ８１２、８１４、第２オブジェクト領域８２０に４個のＶＰＬ８２１、８２２、８２４、８２８がサンプリングされている。

【0080】

図９は、以前フレーム８００のＶＰＬサンプリングの結果が適用された現在フレーム９００を示す。現在フレーム９００には、以前フレーム８００の第１オブジェクト領域８１０に対応する第１オブジェクト領域９１０、以前フレーム８００の第２オブジェクト領域８２０に対応する第２オブジェクト領域９２０が図示されている。そして、新しい第３オブジェクト領域９３０が追加的に現在フレーム９００に含まれている。以前フレーム８００と現在フレーム９００との間の視点差により、以前フレーム８００の第１オブジェクト領域８１０及び第２オブジェクト領域８２０の形態が現在フレーム９００で相異なるように表現されている。

【0081】

以前フレーム８００のＶＰＬサンプリングの結果が現在フレーム９００に適用されることで、以前フレーム８００の第１オブジェクト領域８１０でサンプリングされたＶＰＬ８１２、８１４が、現在フレーム９００の第１オブジェクト領域９１０のＶＰＬ９１２、９１４に投影されている。そして、以前フレーム８００の第２オブジェクト領域８２０でサンプリングされたＶＰＬ８２１、８２２、８２４、８２８が、現在フレーム９００の第２オブジェクト領域９２０のＶＰＬ９２４、９２６、９２８に投影されている。ＶＰＬ９２２は、以前フレーム８００と現在フレーム９００との間の視点差により現在フレーム９００に投影されていない。

【0082】

図１０には、現在フレーム９００のグリッド領域ごとに決定されたＶＰＬサンプリングの個数が図示されている。ＶＰＬサンプリング部１３０は、現在フレーム９００のグリッド領域ごとにＶＰＬサンプリングの個数を決定してもよい。図８〜図１１の実施形態では、第１グリッド領域１０１０に対するＶＰＬサンプリングの個数が２個であり、グリッド領域１０２０、１０３０、１０４０、１０５０に対するＶＰＬサンプリングの個数が１個であると決定し、その他のグリッド領域では、ＶＰＬサンプリングの個数が０であると決定したものと仮定する。

【0083】

図１１は、それぞれのグリッド領域ごとに決定されたＶＰＬサンプリングの個数により現在フレーム９００でＶＰＬをサンプリングした結果を示す。ＶＰＬサンプリング部１３０は、現在フレーム９００のグリッド領域単位でサンプリングされるＶＰＬの個数が調整される。

【0084】

現在フレーム９００の第１グリッド領域１０１０に対するＶＰＬサンプリングの個数は２個であり、現在フレーム９００の第１グリッド領域１０１０に適用された以前フレーム８００のＶＰＬの個数は２個（ＶＰＬ９１２、９１４）であるため、ＶＰＬサンプリング部１３０は、以前フレーム８００で現在フレーム９００の第１グリッド領域１０１０に投影された２個のＶＰＬ９１２、９１４をそのまま保持する。

【0085】

現在フレーム９００の第２グリッド領域１０２０及び第３グリッド領域１０３０に対するＶＰＬサンプリングの個数は１個であり、現在フレーム９００の第２グリッド領域１０２０に適用された以前フレーム８００のＶＰＬの個数は０であるため、ＶＰＬサンプリング部１３０は、第２グリッド領域１０２０及び第３グリッド領域１０３０にそれぞれ１つのＶＰＬをさらにサンプリングしてもよい。ＶＰＬサンプリング部１３０は、第２グリッド領域１０２０及び第３グリッド領域１０３０の明度分布に基づいて、決定された領域又は任意に決定された領域に新しいＶＰＬをサンプリングしてもよい。図１１では、第２グリッド領域１０２０にＶＰＬ１１３２がサンプリングされ、第３グリッド領域１０３０にＶＰＬ１１３４がサンプリングされている。

【0086】

現在フレーム９００の第４グリッド領域１０４０に対するＶＰＬサンプリングの個数は１個であり、現在フレーム９００の第４グリッド領域１０４０に適用された以前フレーム８００のＶＰＬの個数は１個（ＶＰＬ９２４）であるため、ＶＰＬサンプリング部１３０は、以前フレーム８００で第４グリッド領域１０４０に投影された１つのＶＰＬ９２４をそのまま保持してもよい。

【0087】

現在フレーム９００の第５グリッド領域１０５０に対するＶＰＬサンプリングの個数は１個であり、現在フレーム９００の第５グリッド領域１０５０に適用された以前フレーム８００のＶＰＬの個数は２個（ＶＰＬ９２６、９２８）であるため、ＶＰＬサンプリング部１３０は、２個のＶＰＬ９２６、９２８のいずれか１つのＶＰＬを除去してもよい。ＶＰＬサンプリング部１３０は、例えば、ＶＰＬ９２６、９２８のうち明度が相対的に暗いＶＰＬ又は任意に選択されたＶＰＬを除去してもよい。図１１ではＶＰＬ９２８を除去し、ＶＰＬ９２６を保持した結果が図示されている。

【0088】

現在フレーム９００で、グリッド領域１０１０、１０２０、１０３０、１０４０、１０５０を除いた他のグリッド領域に対するＶＰＬサンプリングの個数は０であり、以前フレーム８００のＶＰＬサンプリングの結果が適用された後の各グリッド領域１０１０、１０２０、１０３０、１０４０、１０５０のＶＰＬの個数も０であるため、ＶＰＬサンプリング部１３０は、グリッド領域１０１０、１０２０、１０３０、１０４０、１０５０を除いた他のグリッド領域ではＶＰＬを追加的にサンプリングしない。

【0089】

図１２は、一実施形態に係る映像処理方法の動作を説明するためのフローチャートである。

【0090】

ステップＳ１２１０で、映像処理装置は選択的に空間フィルタリングを行う。映像処理装置は、例えば、ガウスカーネルを現在フレームに適用し、現在フレームのイメージ空間及びオブジェクト上で急激な変化が発生する領域をフィルタリングする。空間フィルタリングによってサンプリングされるＶＰＬの特性が空間により急激に変わることを防止できる。

【0091】

ステップＳ１２２０で、映像処理装置は、現在フレームの領域ごとにＶＰＬサンプリングの個数を決定する。映像処理装置は、現在フレームをグリッド領域、オブジェクト領域、またはバウンディングボックスなどの領域単位に分割し、分割された各領域ごとにＶＰＬサンプリングの個数を決定してもよい。映像処理装置は、例えば、現在フレームを規則的な形態又は不規則的な形態を有する複数のグリッド領域に分割し、重要度サンプリング方式を用いてグリッド領域ごとにＶＰＬサンプリングの個数を決定してもよい。

【0092】

ステップＳ１２３０で、映像処理装置は、以前フレームでサンプリングされたＶＰＬを現在フレームに適用する。映像処理装置は、以前フレームでＶＰＬがサンプリングされた位置に対応する現在フレーム内の位置にＶＰＬをサンプリングしてもよい。映像処理装置は、例えば、視点マトリックス、投影マトリックス又はオブジェクトごとのモデルマトリックスなどを用いて、以前フレームのイメージ空間でサンプリングされたＶＰＬを現在フレームに投影してもよい。

【0093】

ステップＳ１２４０で、映像処理装置は、ステップＳ１２２０で決定されたＶＰＬサンプリングの個数に基づいて以前フレームのＶＰＬが適用された結果を調整する。例えば、映像処理装置は、グリッド領域ごとに決定されたＶＰＬサンプリングの個数により現在フレームのグリッド領域ごとにサンプリングされたＶＰＬの個数を調整してもよい。

【0094】

映像処理装置は、領域ごとに決定されたＶＰＬサンプリングの個数に基づいて現在フレームに投影された以前フレームのＶＰＬを保持又は除去したり、または、現在フレームで新しいＶＰＬをさらにサンプリングしてもよい。映像処理装置は、現在フレームの複数の領域ごとに決定されたＶＰＬサンプリングの個数、及び現在フレーム内の複数の領域に投影された以前フレームのＶＰＬの個数を比較し、比較結果に基づいて現在フレーム内の複数の領域でサンプリングされるＶＰＬの個数を調整してもよい。映像処理装置は、現在フレームの特定領域に対して決定されたＶＰＬサンプリングの個数が以前フレームから投影されたＶＰＬの個数よりも大きい場合、当該の特定領域に１つ以上の新しいＶＰＬを追加的にサンプリングしてもよい。映像処理装置は、現在フレームの特定領域に対して決定されたＶＰＬサンプリングの個数が以前フレームから投影されたＶＰＬの個数よりも小さい場合、当該の特定領域に存在する１つ以上のＶＰＬを削除してもよい。

【0095】

現在フレームに追加的に新しいＶＰＬをサンプリングする場合、映像処理装置は、新しいＶＰＬが追加される領域の明度又は所定の関数に基づいて決定された優先順位に応じて新しいＶＰＬをサンプリングする。映像処理装置は、オブジェクトの動き又はオブジェクトの材質特性などに基づいて新しいＶＰＬをサンプリングしてもよい。例えば、映像処理装置は、オブジェクトの動き又はオブジェクトの材質特性などによりフリッカーが発生する確率が高いと判断した領域に、新しいＶＰＬを追加的にサンプリングしてもよい。

【0096】

現在フレームに投影された以前フレームのＶＰＬを除去する場合、映像処理装置は、例えば、現在フレームに適用された以前フレームのＶＰＬの明度、視点、または、所定の関数に基づいて決定された優先順位に応じて現在フレームに投影された以前フレームのＶＰＬを除去してもよい。

【0097】

ステップＳ１２５０で、映像処理装置は、以前フレームと現在フレームとの間でＶＰＬの明度が急激に変化しないよう、選択的に現在フレームでサンプリングされたＶＰＬの明度を調整する。映像処理装置は、例えば、以前フレームでサンプリングされたＶＰＬと現在フレームでサンプリングされたＶＰＬとの間の明度差が予め設定された範囲に含まれるよう、現在フレームでサンプリングされたＶＰＬの明度を調整する。

【0098】

ステップＳ１２６０で、映像処理装置は、現在フレームでサンプリングされたＶＰＬに基づいて現在フレームをレンダリングする。例えば、映像処理装置は、現在フレームでサンプリングされたＶＰＬを現在フレームに対するライト視点レンダリング映像に配置し、配置されたＶＰＬに基づいてレンダリング映像に間接光効果を反映してもよい。

【0099】

以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0100】

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

【0101】

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

【0102】

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

【0103】

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0104】

１００：映像処理装置
１１０：空間フィルタリング実行部
１２０：ＶＰＬ密度決定部
１３０：ＶＰＬサンプリング部
１４０：時間フィルタリング実行部
１５０：レンダリング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】