特開 2023-16654 多重視点テクスチャを利用した３Ｄポリゴンメッシュレンダリング方法及びその装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023016654

(43)【公開日】2023-02-02

(54)【発明の名称】多重視点テクスチャを利用した３Ｄポリゴンメッシュレンダリング方法及びその装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20230126BHJP

   G06T 15/04 20110101ALI20230126BHJP

   G06T 15/20 20110101ALI20230126BHJP

【ＦＩ】

G06T19/00 A

G06T15/04

G06T15/20 500

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021141596

(22)【出願日】2021-08-31

(31)【優先権主張番号】10-2021-0096720

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】KR

(71)【出願人】

【識別番号】517409206

【氏名又は名称】エフエックスギア インコーポレイティッド

【氏名又は名称原語表記】ＦＸＧＥＡＲ ＩＮＣ．

(74)【代理人】

【識別番号】110000914

【氏名又は名称】弁理士法人ＷｉｓｅＰｌｕｓ

(72)【発明者】

【氏名】ナ， キョン ゴン

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050AA10

5B050BA09

5B050DA04

5B050DA07

5B050EA09

5B050EA18

5B050EA27

5B050FA02

5B050FA05

5B080FA02

5B080FA08

5B080GA22

(57)【要約】      （修正有）

【課題】多重視点テクスチャを利用した３Ｄポリゴンメッシュレンダリング装置、その動作方法及び記録媒体を提供する。
【解決手段】プロセッサと、インストラクションを保存するメモリと、を含む３Ｄポリゴンメッシュレンダリング装置において、プロセッサは、インストラクションを実行することにより、互いに異なるキャプチャカメラ位置で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージを獲得し、客体に係わる３Ｄポリゴンメッシュを獲得し、レンダカメラ位置及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択し、選択された１以上のテクスチャイメージに基づき、３Ｄポリゴンメッシュを２Ｄイメージにレンダリングする。
【選択図】図３

【特許請求の範囲】

【請求項1】

プロセッサと、
インストラクションを保存するメモリと、を含み、
前記プロセッサは、前記インストラクションを実行することにより、
互いに異なるキャプチャカメラ位置で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージを獲得し、
前記客体に係わる三次元（３Ｄ）ポリゴンメッシュを獲得し、
レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択し、
前記選択された１以上のテクスチャイメージに基づき、前記３Ｄポリゴンメッシュを二次元（２Ｄ）イメージにレンダリングする、３Ｄポリゴンメッシュレンダリング装置。

【請求項2】

前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、
前記プロセッサは、
前記選択された１以上のテクスチャイメージのアルファ値に基づき、前記２Ｄイメージのアルファ値を決定する、請求項１に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項3】

前記プロセッサは、
前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージそれぞれの加重値を決定し、
前記加重値に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上のテクスチャイメージとして選択する、請求項１に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項4】

前記プロセッサは、
前記３Ｄポリゴンメッシュの第１点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記加重値を決定する、請求項３に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項5】

前記プロセッサは、
前記３Ｄポリゴンメッシュの第１点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、
前記選択された１以上の第１テクスチャイメージに基づき、前記第１点を前記２Ｄイメージにレンダリングし、
前記３Ｄポリゴンメッシュの第２点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択し、
前記選択された１以上の第２テクスチャイメージに基づき、前記第２点を前記２Ｄイメージにレンダリングする、請求項１に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項6】

前記プロセッサは、
前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上の第１テクスチャイメージとして選択し、
前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上の第２テクスチャイメージとして選択する、請求項５に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項7】

前記プロセッサは、
前記第１点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージそれぞれの第１加重値を決定し、
前記第１加重値に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、
前記第２点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージそれぞれの第２加重値を決定し、
前記第２加重値に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択する、請求項５に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項8】

前記プロセッサは、
前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記第１加重値を決定し、
前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記第２加重値を決定する、請求項７に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項9】

前記プロセッサは、
前記第１点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記第１加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記第１加重値を決定し、
前記第２点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記第２加重値による加重和と、前記第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記第２加重値を決定する、請求項８に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項10】

前記プロセッサは、
前記３Ｄポリゴンメッシュの第１点を、前記１以上のテクスチャイメージそれぞれに再投影することにより、前記第１点に対応する前記１以上のテクスチャイメージ上の１以上の第１テクスチャ点を決定し、
前記１以上の第１テクスチャ点の色相に基づき、前記第１点に対応する前記２Ｄイメージ上の第１レンダリング点の色相を決定する、請求項１に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項11】

前記プロセッサは、
前記複数のキャプチャイメージに基づく３Ｄ再構成により、前記３Ｄポリゴンメッシュを生成する過程において決定されたカメラパラメータを獲得し、
前記カメラパラメータを利用し、前記再投影を行う、請求項１０に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項12】

前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、
前記プロセッサは、
前記１以上の第１テクスチャ点のアルファ値に基づき、前記第１レンダリング点のアルファ値を決定する、請求項１０に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項13】

前記プロセッサは、
前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの加重値を決定し、
前記加重値、及び前記１以上の第１テクスチャ点の色相に基づき、前記第１レンダリング点の色相を決定する、請求項１０に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項14】

前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、
前記プロセッサは、
前記加重値、及び前記１以上の第１テクスチャ点のアルファ値に基づき、前記第１レンダリング点のアルファ値を決定する、請求項１３に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項15】

前記プロセッサは、
前記第１点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記加重値を決定する、請求項１３に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項16】

前記プロセッサは、
前記第１点の位置、前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの第１加重値を決定し、
前記第１加重値、及び前記１以上の第１テクスチャ点の色相に基づき、前記第１レンダリング点の色相を決定し、
前記３Ｄポリゴンメッシュの第２点を、前記１以上のテクスチャイメージそれぞれに再投影することにより、前記第２点に対応する前記１以上のテクスチャイメージ上の１以上の第２テクスチャ点を決定し、
前記第２点の位置、前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの第２加重値を決定し、
前記第２加重値、及び前記１以上の第２テクスチャ点の色相に基づき、前記第２点に対応する前記２Ｄイメージ上の第２レンダリング点の色相を決定する、請求項１３に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項17】

前記プロセッサは、
前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記第１加重値を決定し、
前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記第２加重値を決定する、請求項１６に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項18】

前記プロセッサは、
前記第１点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記第１加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記第１加重値を決定し、
前記第２点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記第２加重値による加重和と、前記第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記第２加重値を決定する、請求項１７に記載の３Ｄポリゴンメッシュレンダリング装置。

【請求項19】

互いに異なるキャプチャカメラ位置で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージを獲得する動作と、
前記客体に係わる３Ｄポリゴンメッシュを獲得する動作と、
レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択する動作と、
前記選択された１以上のテクスチャイメージに基づき、前記３Ｄポリゴンメッシュを２Ｄイメージにレンダリングする動作と、を含む、３Ｄポリゴンメッシュレンダリング装置の動作方法。

【請求項20】

請求項１９に記載の方法をコンピュータで実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、多重視点（ｍｕｌｔｉ－ｖｉｅｗ）テクスチャを利用した三次元（３Ｄ）ポリゴンメッシュレンダリング方法及びその装置に関する。

【背景技術】

【0002】

３Ｄグラフィック技術の発展により、実際の物体を３Ｄモデリングし、二次元（２Ｄ）イメージにレンダリングする技術が発展しており、特に最近では、実物をさまざまな位置で撮影した複数のキャプチャイメージを利用し、実物を３Ｄモデリングする方法が多用されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明が解決しようとする課題は、多重視点テクスチャを利用した３Ｄポリゴンメッシュレンダリング方法及びその装置を提供し、実写（ａｃｔｕａｌ ｉｍａｇｅ）に近いイメージを得ることである。

【課題を解決するための手段】

【0004】

前述の技術的課題を達成するための技術的手段として、本開示の一実施形態は、プロセッサと、インストラクションを保存するメモリと、を含み、前記プロセッサは、前記インストラクションを実行することにより、互いに異なるキャプチャカメラ位置（ｃａｐｔｕｒｅ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ）で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージ（ｍｕｌｔｉ－ｖｉｅｗ ｉｍａｇｅ）を獲得し、前記客体に係わる三次元（３Ｄ）ポリゴンメッシュを獲得し、レンダカメラ位置（ｒｅｎｄｅｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ）、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択し、前記選択された１以上のテクスチャイメージに基づき、前記３Ｄポリゴンメッシュを二次元（２Ｄ）イメージにレンダリングする、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0005】

一実施形態において、前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、前記プロセッサは、前記選択された１以上のテクスチャイメージのアルファ値に基づき、前記２Ｄイメージのアルファ値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0006】

一実施形態において、前記プロセッサは、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージそれぞれの加重値を決定し、前記加重値に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上のテクスチャイメージとして選択する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0007】

一実施形態において、前記プロセッサは、前記３Ｄポリゴンメッシュの第１点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0008】

一実施形態において、前記プロセッサは、前記３Ｄポリゴンメッシュの第１点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、前記選択された１以上の第１テクスチャイメージに基づき、前記第１点を前記２Ｄイメージにレンダリングし、前記３Ｄポリゴンメッシュの第２点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択し、前記選択された１以上の第２テクスチャイメージに基づき、前記第２点を前記２Ｄイメージにレンダリングする、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0009】

一実施形態において、前記プロセッサは、前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上の第１テクスチャイメージとして選択し、前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、前記１以上の第２テクスチャイメージとして選択する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0010】

一実施形態において、前記プロセッサは、前記第１点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージそれぞれの第１加重値を決定し、前記第１加重値に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、前記第２点の位置、前記レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージそれぞれの第２加重値を決定し、前記第２加重値に基づき、前記複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0011】

一実施形態において、前記プロセッサは、前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記第１加重値を決定し、前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記第２加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0012】

一実施形態において、前記プロセッサは、前記第１点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記第１加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記第１加重値を決定し、前記第２点の位置を基準にする前記複数の多重視点イメージのキャプチャカメラ位置ベクトルの、前記第２加重値による加重和と、前記第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、前記第２加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0013】

一実施形態において、前記プロセッサは、前記３Ｄポリゴンメッシュの第１点を、前記１以上のテクスチャイメージそれぞれに再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）することにより、前記第１点に対応する前記１以上のテクスチャイメージ上の１以上の第１テクスチャ点を決定し、前記１以上の第１テクスチャ点の色相に基づき、前記第１点に対応する前記２Ｄイメージ上の第１レンダリング点の色相を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0014】

一実施形態において、前記プロセッサは、前記複数のキャプチャイメージに基づく３Ｄ再構成により、前記３Ｄポリゴンメッシュを生成する過程において決定されたカメラパラメータを獲得し、前記カメラパラメータを利用し、前記再投影を行う、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0015】

一実施形態において、前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、前記プロセッサは、前記１以上の第１テクスチャ点のアルファ値に基づき、前記第１レンダリング点のアルファ値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0016】

一実施形態において、前記プロセッサは、前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの加重値を決定し、前記加重値、及び前記１以上の第１テクスチャ点の色相に基づき、前記第１レンダリング点の色相を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0017】

一実施形態において、前記複数の多重視点イメージ及び前記２Ｄイメージのそれぞれは、アルファチャネルを含み、前記プロセッサは、前記加重値、及び前記１以上の第１テクスチャ点のアルファ値に基づき、前記第１レンダリング点のアルファ値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0018】

一実施形態において、前記プロセッサは、前記第１点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0019】

一実施形態において、前記プロセッサは、前記第１点の位置、前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの第１加重値を決定し、前記第１加重値、及び前記１以上の第１テクスチャ点の色相に基づき、前記第１レンダリング点の色相を決定し、前記３Ｄポリゴンメッシュの第２点を、前記１以上のテクスチャイメージそれぞれに再投影することにより、前記第２点に対応する前記１以上のテクスチャイメージ上の１以上の第２テクスチャ点を決定し、前記第２点の位置、前記レンダカメラ位置、及び前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記１以上のテクスチャイメージそれぞれの第２加重値を決定し、前記第２加重値、及び前記１以上の第２テクスチャ点の色相に基づき、前記第２点に対応する前記２Ｄイメージ上の第２レンダリング点の色相を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0020】

一実施形態において、前記プロセッサは、前記第１点の位置に係わる相対的な前記レンダカメラ位置、及び前記第１点の位置に係わる相対的な前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記第１加重値を決定し、前記第２点の位置に係わる相対的な前記レンダカメラ位置、及び前記第２点の位置に係わる相対的な前記１以上のテクスチャイメージのキャプチャカメラ位置に基づき、前記第２加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0021】

一実施形態において、前記プロセッサは、前記第１点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記第１加重値による加重和と、前記第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記第１加重値を決定し、前記第２点の位置を基準にする前記１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、前記第２加重値による加重和と、前記第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、前記第２加重値を決定する、３Ｄポリゴンメッシュレンダリング装置を提供することができる。

【0022】

本開示の一実施形態は、互いに異なるキャプチャカメラ位置で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージを獲得する動作と、前記客体に係わる３Ｄポリゴンメッシュを獲得する動作と、レンダカメラ位置、及び前記複数の多重視点イメージのキャプチャカメラ位置に基づき、前記複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択する動作と、前記選択された１以上のテクスチャイメージに基づき、前記３Ｄポリゴンメッシュを２Ｄイメージにレンダリングする動作と、を含む、３Ｄポリゴンメッシュレンダリング装置の動作方法を提供することができる。

【0023】

本開示の一実施形態は、本開示の一実施形態による方法をコンピュータで実行するためのプログラムが記録されたコンピュータで読み取り可能な記録媒体を含む。

【発明の効果】

【0024】

本開示の一実施形態は、多重視点テクスチャを利用した３Ｄポリゴンメッシュレンダリング方法及びその装置を提供し、鮮明度、照明効果、シルエットディテールの側面において、従来の方法より実写に近いイメージを得ることができる。

【図面の簡単な説明】

【0025】

【図1】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置の構成を概略的に図示したブロック図である。

【図2】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置の動作について説明するための図面である。

【図3】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置の動作方法の流れを概略的に示したフローチャートである。

【図4】客体をキャプチャした複数のキャプチャイメージを得るための３Ｄキャプチャシステムの例示である。

【図5】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置が、１以上のテクスチャイメージを選択する例を図示した図面である。

【図6】キャプチャカメラ位置ベクトル及びレンダカメラ位置ベクトルについて説明するための図面である。

【図7】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置が、選択された１以上のテクスチャイメージに基づき、３Ｄポリゴンメッシュを２Ｄイメージにレンダリングする方法について説明するための図面である。

【図8】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によって生成された２Ｄイメージを図示した図面である。

【図9】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、従来の３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、を比較した図面である。

【図10】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、従来の３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、を比較した図面である。

【図11】本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、従来の３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、を比較した図面である。

【発明を実施するための形態】

【0026】

本開示の技術的思想を明確化させるために、添付図面を参照し、本開示の実施形態について詳細に説明する。本開示についての説明において、関連する公知機能または構成要素に係わる具体的な説明が、本開示の要旨を必要以上に不明確にしうると判断される場合、その詳細な説明を省略する。図面において、実質的に同一機能構成を有する構成要素については、たとえ他の図面上に表示されているにしても、可能な限り、同一の参照番号及び符号を付した。説明の便宜のために、必要な場合には、装置と方法とを共に叙述することにする。本開示の各動作は、必ずしも記載された順序通りに遂行されなければならないものではなく、並列的、選択的または個別的にも遂行される。

【0027】

図１は、本開示の一実施形態による三次元（３Ｄ）ポリゴンメッシュレンダリング装置の構成を概略的に図示したブロック図である。図１を参照すれば、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置１００は、プロセッサ１１０、及びプロセッサ１１０によって実行されうる１以上のインストラクションを保存するメモリ１２０を含んでもよい。プロセッサ１１０は、１つのプロセッサであっても、複数のプロセッサであってもよい。メモリ１２０は、１つのメモリであっても、複数のメモリであってもよい。プロセッサ１１０がメモリ１２０に保存された１以上のインストラクションを実行することによって遂行する３Ｄポリゴンメッシュレンダリング装置１００の動作は、以下において、図２ないし図８を参照して具体的に説明する。

【0028】

図２は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置の動作について説明するための図面である。図３は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置の動作方法の流れを概略的に示したフローチャートである。図３を参照すれば、３Ｄポリゴンメッシュレンダリング装置１００のプロセッサ１１０は、動作Ｓ３１０において、互いに異なるキャプチャカメラ位置（ｃａｐｔｕｒｅ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ）で客体をキャプチャした複数のキャプチャイメージに対応する複数の多重視点イメージ（ｍｕｌｔｉ－ｖｉｅｗ ｉｍａｇｅ）を獲得することができる。

【0029】

客体をキャプチャした複数のキャプチャイメージは、公知の方法を利用して得ることができる。図４は、複数のキャプチャイメージを得るための３Ｄキャプチャシステムの例示である。図４を参照すれば、互いに異なる位置に配置された複数のカメラによって客体をキャプチャし、複数のキャプチャイメージを得ることができる。ここで、該客体をキャプチャするカメラの位置を、「キャプチャカメラ位置」と言い、各キャプチャイメージをキャプチャしたカメラの位置を、そのキャプチャイメージのキャプチャカメラ位置と言う。一実施形態において、該キャプチャカメラ位置は、特定位置（例：３Ｄキャプチャシステムの中心、または客体の中心）に係わる相対的な位置と示すことができる。そのように、複数のカメラを利用する場合、互いに異なるキャプチャカメラ位置において、同時に客体をキャプチャすることができる。他の実施形態において、１つのカメラの位置を変更しながら、客体を複数回キャプチャし、複数のキャプチャイメージを得ることができる。それ以外にも、多様な多重視点キャプチャ方法を利用し、複数のキャプチャイメージを得ることができる。

【0030】

複数の多重視点イメージそれぞれは、複数のキャプチャイメージそれぞれに対応するイメージである。該多重視点イメージは、対応するキャプチャイメージを変形させたイメージであっても、対応するキャプチャイメージに基づいて生成されたイメージであってもよい。例えば、図２に図示されているように、キャプチャイメージにつき、アルファマッティング２４０を行い、多重視点イメージ２１０を得ることができる。その場合、多重視点イメージ２１０は、アルファチャネルを含み、該アルファチャネルは、客体に係わるアルファ値を含んでもよい。各キャプチャイメージのキャプチャカメラ位置を、対応する多重視点イメージのキャプチャカメラの位置と見ることができる。すなわち、各多重視点イメージのキャプチャカメラの位置は、対応するキャプチャイメージをキャプチャしたカメラの位置である。該多重視点イメージは、対応するキャプチャイメージ自体でもある。すなわち、カメラによって客体をキャプチャしたキャプチャイメージが、そのまま多重視点イメージとしても使用される。

【0031】

再び図３を参照すれば、３Ｄポリゴンメッシュレンダリング装置１００のプロセッサ１１０は、動作Ｓ３２０において、客体に係わる３Ｄポリゴンメッシュを獲得することができる。該客体に係わる３Ｄポリゴンメッシュは、公知の３Ｄ再構成（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）方法を利用して得ることができる。例えば、図２に図示されているように、客体をキャプチャした複数のキャプチャイメージの全部または一部につき、３Ｄ再構成２５０を適用し、客体に係わる３Ｄポリゴンメッシュ２２０を得ることができる。複数の多重視点イメージ２１０につき、３Ｄ再構成を適用し、客体に係わる３Ｄポリゴンメッシュを得ることもできる。キャプチャイメージを利用せずに、別途の方法を利用し、３Ｄポリゴンメッシュを得ることもできる。

【0032】

再び図３を参照すれば、３Ｄポリゴンメッシュレンダリング装置１００のプロセッサ１１０は、動作Ｓ３３０において、レンダカメラ位置（ｒｅｎｄｅｒ ｃａｍｅｒａ ｐｏｓｉｔｉｏｎ）、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択することができる。ここで、該レンダカメラ位置は、３Ｄポリゴンメッシュを二次元（２Ｄ）イメージにレンダリングするとき、２Ｄイメージを見る仮想のカメラの位置を言う。２Ｄイメージを見る仮想のカメラをレンダカメラと言う。一実施形態において、レンダカメラが見る方向（ｖｉｅｗ ｄｉｒｅｃｔｉｏｎ）は、客体の中心に向かうものである。

【0033】

３Ｄポリゴンメッシュレンダリング装置１００のプロセッサ１１０は、動作Ｓ３４０において、選択された１以上のテクスチャイメージに基づき、３Ｄポリゴンメッシュを２Ｄイメージにレンダリングすることができる。そのように、３Ｄポリゴンメッシュレンダリング装置１００は、獲得した多重視点イメージのいずれもテクスチャイメージとして使用するのではなく、レンダカメラ位置により、そのうち一部を選択し、テクスチャイメージとして使用することができる。該２Ｄイメージは、アルファチャネルを含み、３Ｄポリゴンメッシュレンダリング装置１００は、選択された１以上のテクスチャイメージのアルファ値に基づき、２Ｄイメージのアルファ値を決定することができる。

【0034】

生成された２Ｄイメージは、背景イメージに合成され（２６０）、最終イメージが生成されうる。合成（２６０）は、アルファブレンディングを含んでもよい。アルファマッティング２４０、３Ｄ再構成２５０または合成（２６０）のうち少なくとも一つを３Ｄポリゴンメッシュレンダリング装置１００が遂行することもできる。３Ｄポリゴンメッシュレンダリング装置１００は、複数のキャプチャイメージを獲得し、獲得した複数のキャプチャイメージにつき、アルファマッティングを行い、アルファチャネルを含む多重視点イメージを生成することができる。３Ｄポリゴンメッシュレンダリング装置１００は、複数のキャプチャイメージを獲得し、獲得した複数のキャプチャイメージについて３Ｄ再構成を行い、３Ｄポリゴンメッシュを生成することができる。３Ｄポリゴンメッシュレンダリング装置１００は、背景イメージを獲得し、獲得した背景イメージに、客体の２Ｄイメージを合成し、最終イメージを生成することができる。３Ｄポリゴンメッシュレンダリング装置１００は、背景イメージに、客体の２Ｄイメージをアルファブレンディングし、最終イメージを生成することができる。

【0035】

図５は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置が、１以上のテクスチャイメージを選択する例を図示した図面である。図５を参照すれば、３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュ２２０に係わる複数の多重視点イメージ２５０－１ないし２５０－６のうち、キャプチャカメラの位置がレンダカメラの位置５１０に近い２つのイメージ２５０－４及び２５０－５をテクスチャイメージとして選択することができる。そのように、３Ｄポリゴンメッシュレンダリング装置１００は、レンダカメラの位置に近い位置でキャプチャされたイメージを、テクスチャイメージとして使用することにより、客体の実際形態に近い２Ｄイメージを得ることができる。

【0036】

３Ｄポリゴンメッシュレンダリング装置１００は、選択されたテクスチャイメージを、３Ｄポリゴンメッシュ全体をレンダリングするところに利用することもでき、ポリゴンメッシュの一部（例：１つの頂点（ｖｅｒｔｅｘ）、または１つのポリゴン）をレンダリングするところに利用することもできる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、各頂点ごとに、当該頂点をレンダリングするための１以上のテクスチャイメージを選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、複数の頂点、または複数のポリゴンを含む３Ｄポリゴンメッシュの一部分をレンダリングするための１以上のテクスチャイメージを選択することができる。

【0037】

３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点をレンダリングするための１以上の第１テクスチャイメージを選択し、３Ｄポリゴンメッシュの第２点をレンダリングするための１以上の第２テクスチャイメージを選択することができる。ここで、該第１点及び該第２点は、３Ｄポリゴンメッシュの表面上の点であってもよい。該第１点及び該第２点は、３Ｄポリゴンメッシュの頂点であってもよい。該第１点及び該第２点は、２Ｄイメージに表示される点であってもよい。３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点の位置、レンダカメラ位置、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、選択された１以上の第１テクスチャイメージに基づき、第１点を２Ｄイメージにレンダリングし、３Ｄポリゴンメッシュの第２点の位置、レンダカメラ位置、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択し、選択された１以上の第２テクスチャイメージに基づき、第２点を２Ｄイメージにレンダリングすることができる。

【0038】

３Ｄポリゴンメッシュレンダリング装置１００は、第１点の位置に係わる相対的なレンダカメラ位置、及び該第１点の位置に係わる相対的な複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択することができ、第２点の位置に係わる相対的なレンダカメラ位置、及び該第２点の位置に係わる相対的な複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択することができる。ここで、該第１点の位置に係わる相対的なレンダカメラ位置は、該第１点の位置を基準にするレンダカメラ位置ベクトルと言うことができる。該第１点の位置に係わる相対的なキャプチャカメラ位置は、該第１点の位置を基準にするキャプチャカメラ位置ベクトルと言うことができる。ここで、第２点についても同様であるということは、言うまでもない。図６は、キャプチャカメラ位置ベクトル及びレンダカメラ位置ベクトルについて説明するための図面である。図６を参照すれば、第１点６２０は、３Ｄポリゴンメッシュ２２０の頂点のうち一つであり、第１点６２０からキャプチャカメラ位置６１０に向かうベクトル６３０が、第１点６２０を基準にするキャプチャカメラ位置ベクトルであり、第１点６２０からレンダカメラ位置５１０に向かうベクトル６４０が、第１点６２０を基準にするレンダカメラ位置ベクトルである。

【0039】

３Ｄポリゴンメッシュレンダリング装置１００は、複数の多重視点イメージのうち、キャプチャカメラの位置が、レンダカメラの位置に最も近いｋ個のイメージを、テクスチャイメージとして選択することができる。ここで、ｋは、例えば、１、３または８であってもよい。３Ｄポリゴンメッシュレンダリング装置１００は、複数の多重視点イメージのうち複数のイメージを、テクスチャイメージとして選択することができる。複数のテクスチャイメージを使用すれば、レンダカメラの位置が移動するとき、断絶感なしに、自然なアニメーション効果を得ることができる。３Ｄポリゴンメッシュレンダリング装置１００は、複数の多重視点イメージのうち、キャプチャカメラの位置が、レンダカメラの位置を中心に一定範囲以内であるイメージを、テクスチャイメージとして選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、複数の多重視点イメージのうち、客体の中心を基準に、キャプチャカメラ位置が、レンダカメラ位置から一定角度以内であるイメージを、テクスチャイメージとして選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、複数の多重視点イメージのうち、客体の特定位置（例：レンダリングする点）を基準に、キャプチャカメラ位置が、レンダカメラ位置から一定角度以内であるイメージを、テクスチャイメージとして選択することができる。

【0040】

３Ｄポリゴンメッシュレンダリング装置１００は、多重視点イメージそれぞれにつき、レンダカメラ位置に基づく加重値を決定し、決定された加重値に基づき、１以上のテクスチャイメージを選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、レンダカメラ位置、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージそれぞれの加重値を決定し、決定された加重値に基づき、複数の多重視点イメージのうち１以上を、１以上のテクスチャイメージとして選択することができる。一実施形態において、３Ｄポリゴンメッシュレンダリング装置１００は、キャプチャカメラ位置が、レンダカメラ位置に近いほど、当該多重視点イメージの加重値を高く決定することができる。

【0041】

３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点の位置に係わる相対的なレンダカメラ位置、及び第１点の位置に係わる相対的な複数の多重視点イメージのキャプチャカメラ位置に基づき、加重値を決定することができる。ここで、該第１点は、３Ｄポリゴンメッシュの中心、または客体の中心であってもよい。該第１点は、３Ｄポリゴンメッシュの頂点であってもよい。該第１点は、２Ｄイメージにレンダリングする点であってもよい。３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点の位置を基準にする複数の多重視点イメージのキャプチャカメラ位置ベクトルの、加重値による加重和と、第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、次の数式１によって加重値を決定することができる。

【0042】

【数1】

【0043】

ここで、Ｗ_ｉは、ｉ番目多重視点イメージの加重値の加重値であり、Ｃ_ｉは、第１点の位置を基準にするｉ番目多重視点イメージのキャプチャカメラ位置ベクトルであり、Ｖは、第１点の位置を基準にするレンダカメラ位置ベクトルであり、Ｎは、多重視点イメージの個数である。

【0044】

３Ｄポリゴンメッシュレンダリング装置１００は、多重視点イメージのうち、加重値が事前に定義された閾値以上である多重視点イメージを、テクスチャイメージとして選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、選択されたテクスチャイメージの加重値の和が、事前に定義された閾値以上になるように、１以上のテクスチャイメージを選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、加重値が０ではないイメージを、テクスチャイメージとして選択することができる。多重視点イメージからテクスチャイメージを選択するということは、該多重視点イメージにおいて、一部の加重値を０に決定することを含んでもよい。後述するが、該多重視点イメージの加重値が０に決定されれば、当該多重視点イメージが、２Ｄレンダリング時に使用されない。３Ｄポリゴンメッシュレンダリング装置１００は、選択されたテクスチャイメージの加重値の和が１ではない場合、加重値の和が１になるように正規化（ｎｏｒｍａｌｉｚａｔｉｏｎ）することができる。

【0045】

３Ｄポリゴンメッシュレンダリング装置１００は、決定された加重値を、３Ｄポリゴンメッシュ全体をレンダリングするところに利用することもでき、ポリゴンメッシュの一部（例：１つの頂点）をレンダリングするところに利用することもできる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、各頂点ごとに、当該頂点をレンダリングするための加重値を決定することができる。

【0046】

３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点をレンダリングするための１以上の第１加重値を選択し、３Ｄポリゴンメッシュの第２点をレンダリングするための１以上の第２加重値を選択することができる。ここで、該第１点及び該第２点は、３Ｄポリゴンメッシュの表面上の点であってもよい。該第１点及び該第２点は、３Ｄポリゴンメッシュの頂点であってもよい。該第１点及び該第２点は、２Ｄイメージに表示される点であってもよい。３Ｄポリゴンメッシュレンダリング装置１００は、該第１点の位置、レンダカメラ位置、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージそれぞれの第１加重値を決定し、決定された第１加重値に基づき、複数の多重視点イメージのうち１以上を、１以上の第１テクスチャイメージとして選択し、該第２点の位置、レンダカメラ位置、及び複数の多重視点イメージのキャプチャカメラ位置に基づき、複数の多重視点イメージそれぞれの第２加重値を決定し、決定された第２加重値に基づき、複数の多重視点イメージのうち１以上を、１以上の第２テクスチャイメージとして選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、選択された１以上の第１テクスチャイメージに基づき、該第１点を２Ｄイメージにレンダリングし、選択された１以上の第２テクスチャイメージに基づき、該第２点を２Ｄイメージにレンダリングすることができる。

【0047】

３Ｄポリゴンメッシュレンダリング装置１００は、第１点の位置に係わる相対的なレンダカメラ位置、及び第１点の位置に係わる相対的な複数の多重視点イメージのキャプチャカメラ位置に基づき、第１加重値を決定し、第２点の位置に係わる相対的なレンダカメラ位置、及び第２点の位置に係わる相対的な複数の多重視点イメージのキャプチャカメラ位置に基づき、第２加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、該第１点の位置を基準にする複数の多重視点イメージのキャプチャカメラ位置ベクトルの、第１加重値による加重和と、該第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、第１加重値を決定し、該第２点の位置を基準にする複数の多重視点イメージのキャプチャカメラ位置ベクトルの、第２加重値による加重和と、該第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、第２加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、数式１を利用し、該第１加重値及び該第２加重値を決定することができる。

【0048】

図７は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング装置が、選択された１以上のテクスチャイメージに基づき、３Ｄポリゴンメッシュを２Ｄイメージにレンダリングする方法について説明するための図面である。図７を参照すれば、３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュ２２０の第１点７２０を、１以上のテクスチャイメージ２１０それぞれに再投影（ｒｅｐｒｏｊｅｃｔｉｏｎ）することにより、第１点７２０に対応するテクスチャイメージ上の点７１０を決定することができる。説明の便宜上、テクスチャイメージにある点を、テクスチャ点と呼ぶ。ここで、該第１点は、３Ｄポリゴンメッシュの表面上の点であってもよい。該第１点は、３Ｄポリゴンメッシュの頂点であってもよい。該第１点は、２Ｄイメージにレンダリングする点であってもよい。該第１点は、２Ｄイメージに表示される点であってもよい。該テクスチャ点を決定することは、テクスチャイメージ上のテクスチャ点の位置を決定することであってもよい。該テクスチャ点を決定することは、テクスチャイメージ上のテクスチャ点のｕ，ｖ座標値を決定することであってもよい。

【0049】

３Ｄポリゴンメッシュレンダリング装置１００は、決定された１以上のテクスチャ点７１０の色相に基づき、第１点７２０に対応する２Ｄイメージ２３０上の点７３０の色相を決定することができる。説明の便宜上、２Ｄイメージにある点をレンダリング点と呼ぶ。３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュ２２０の第１点７２０を、１以上のテクスチャイメージ２１０それぞれに再投影することにより、第１点７２０に対応する１以上のテクスチャイメージ上の１以上の第１テクスチャ点７１０を決定し、１以上の第１テクスチャ点７１０の色相に基づき、第１点７２０に対応する２Ｄイメージ２３０上の第１レンダリング点７３０の色相を決定することができる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、第１テクスチャ点のＲＧＢ値それぞれの平均値を、第１レンダリング点の各ＲＧＢ値と決定することができる。

【0050】

３Ｄポリゴンメッシュレンダリング装置１００は、１以上の第１テクスチャ点のアルファ値に基づき、第１レンダリング点のアルファ値を決定することができる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、第１テクスチャ点のアルファ値の平均値を、第１レンダリング点のアルファ値と決定することができる。

【0051】

３Ｄポリゴンメッシュレンダリング装置１００は、複数のキャプチャイメージに基づく３Ｄ再構成により、３Ｄポリゴンメッシュを生成する過程において決定されたカメラパラメータを獲得し、獲得したカメラパラメータを利用し、再投影を行うことができる。

【0052】

３Ｄポリゴンメッシュレンダリング装置１００は、テクスチャイメージの加重値を利用し、レンダリング点の色相を決定することができる。一実施形態において、３Ｄポリゴンメッシュレンダリング装置１００は、キャプチャカメラ位置がレンダカメラ位置に近いほど、当該テクスチャイメージの加重値を高く決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、レンダカメラ位置、及び１以上のテクスチャイメージのキャプチャカメラ位置に基づき、１以上のテクスチャイメージそれぞれの加重値を決定し、決定された加重値、及び１以上の第１テクスチャ点の色相に基づき、第１レンダリング点の色相を決定することができる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、決定された加重値を利用し、第１テクスチャ点のＲＧＢ値それぞれの加重和を、第１レンダリング点の各ＲＧＢ値と決定することができる。このとき、３Ｄポリゴンメッシュレンダリング装置１００は、テクスチャイメージの加重値の和が１ではない場合、加重値の和が１になるように正規化することができる。３Ｄポリゴンメッシュレンダリング装置１００は、次の数式Ａにより、第１レンダリング点の色相を決定することができる。

【0053】

【数A】

【0054】

３Ｄポリゴンメッシュレンダリング装置１００は、決定された加重値、及び１以上の第１テクスチャ点のアルファ値に基づき、第１レンダリング点のアルファ値を決定することができる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、決定された加重値を利用し、第１テクスチャ点のアルファ値の加重和を、第１レンダリング点のアルファ値と決定することができる。

【0055】

３Ｄポリゴンメッシュレンダリング装置１００は、多重視点イメージのうち、１以上のテクスチャイメージを選択した後、選択された１以上のテクスチャイメージにつき、加重値を決定することもでき、多重視点イメージ全体に対して加重値を決定した後、多重視点イメージのうち、１以上のテクスチャイメージを選択することもできる。多重視点イメージ全体につき、加重値を決定することは、前述の方法を利用することができ、選択された１以上のテクスチャイメージにつき、加重値を決定する方法も、それと類似した方法によって遂行できる。加重値が０であるイメージは、２Ｄレンダリング時に使用されない。

【0056】

３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点の位置を基準にする１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、加重値による加重和と、第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、該誤差が最小化されるように、加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、次の数式２によって加重値を決定することができる。

【0057】

【数2】

【0058】

ここで、Ｗ’_ｉは、ｉ番目テクスチャイメージの加重値の加重値であり、Ｃ’_ｉは、第１点の位置を基準にするｉ番目テクスチャイメージのキャプチャカメラ位置ベクトルであり、Ｖは、第１点の位置を基準にするレンダカメラ位置ベクトルであり、Ｍは、テクスチャイメージの個数である。

【0059】

３Ｄポリゴンメッシュレンダリング装置１００は、第１点の位置を基準にする複数の多重視点イメージのキャプチャカメラ位置ベクトルの、加重値による加重和と、第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差が最小化されるように、多重視点イメージの加重値を決定することにより、テクスチャイメージの加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、数式１を利用し、多重視点イメージの加重値を決定することにより、テクスチャイメージの加重値を決定することができる。

【0060】

３Ｄポリゴンメッシュレンダリング装置１００は、決定された加重値を、３Ｄポリゴンメッシュ全体をレンダリングするところに利用することもでき、ポリゴンメッシュの一部（例：１つの頂点）をレンダリングするところに利用することもできる。例えば、３Ｄポリゴンメッシュレンダリング装置１００は、各頂点ごとに、当該頂点に対応する２Ｄイメージ上のレンダリング点の色相を決定するための加重値を決定することができる。

【0061】

３Ｄポリゴンメッシュレンダリング装置１００は、３Ｄポリゴンメッシュの第１点をレンダリングするための１以上の第１加重値を選択し、３Ｄポリゴンメッシュの第２点をレンダリングするための１以上の第２加重値を選択することができる。３Ｄポリゴンメッシュレンダリング装置１００は、該第１点の位置、レンダカメラ位置、及び１以上のテクスチャイメージのキャプチャカメラ位置に基づき、１以上のテクスチャイメージそれぞれの第１加重値を決定し、該第１加重値、及び１以上の第１テクスチャ点の色相に基づき、第１レンダリング点の色相を決定し、該第２点を、１以上のテクスチャイメージそれぞれに再投影することにより、該第２点に対応する１以上のテクスチャイメージ上の１以上の第２テクスチャ点を決定し、該第２点の位置、レンダカメラ位置、及び１以上のテクスチャイメージのキャプチャカメラ位置に基づき、１以上のテクスチャイメージそれぞれの第２加重値を決定し、該第２加重値、及び１以上の第２テクスチャ点の色相に基づき、該第２点に対応する２Ｄイメージ上の第２レンダリング点の色相を決定することができる。

【0062】

３Ｄポリゴンメッシュレンダリング装置１００は、第１点の位置に係わる相対的なレンダカメラ位置、及び該第１点の位置に係わる相対的な１以上のテクスチャイメージのキャプチャカメラ位置に基づき、第１加重値を決定し、第２点の位置に係わる相対的なレンダカメラ位置、及び該第２点の位置に係わる相対的な１以上のテクスチャイメージのキャプチャカメラ位置に基づき、第２加重値を決定することができる。

【0063】

３Ｄポリゴンメッシュレンダリング装置１００は、第１点の位置を基準にする１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、第１加重値による加重和と、第１点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、第１加重値を決定し、第２点の位置を基準にする１以上のテクスチャイメージのキャプチャカメラ位置ベクトルの、第２加重値による加重和と、第２点の位置を基準にするレンダカメラ位置ベクトルとの誤差に基づき、第２加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、数式２を利用し、第１加重値及び第２加重値を決定することができる。３Ｄポリゴンメッシュレンダリング装置１００は、数式１を利用し、第１点及び第２点に係わる多重視点イメージの加重値を決定することにより、該第１点に係わるテクスチャイメージの第１加重値、及び該第２点に係わるテクスチャイメージの第２加重値を決定することができる。

【0064】

図８は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によって生成された２Ｄイメージを図示した図面である。図８の最初の図は、本開示の一実施形態による３Ｄポリゴンメッシュを、テクスチャイメージなしにレンダリングして生成した２Ｄイメージである。図８の２番目の図は、本開示の一実施形態による３Ｄポリゴンメッシュを、テクスチャイメージに基づき、アルファ値を利用せずにレンダリングして生成した２Ｄイメージである。図８の３番目の図は、本開示の一実施形態による３Ｄポリゴンメッシュを、テクスチャイメージに基づき、アルファ値を利用し、レンダリングして生成した２Ｄイメージである。図８から分かるように、アルファ値を利用すれば、客体のエッジの毛髪シルエットのようなディテールが、実際と同じように、纎細に表現されうる。従来の３Ｄポリゴンメッシュレンダリング方法は、ポリゴンが開かれた（ｕｎｆｏｌｄｅｄ）２Ｄテクスチャマップを利用するために、テクスチャイメージが特定方向から見たイメージではなく、アルファ値を利用することが不可能であるが、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法は、レンダカメラ位置に基づき、テクスチャイメージを選択し、選択されたテクスチャイメージの色相に基づき、２Ｄイメージの色相を決定するために、アルファ値を利用することができ、それにより、イメージのシルエットディテールが纎細に表現されうる。

【0065】

図９ないし図１１は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、従来の３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージと、を比較した図面である。図９ないし図１１それぞれにおいて、最初の図は、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による客体の２Ｄイメージであり、２番目の図は、従来の３Ｄポリゴンメッシュレンダリング方法による客体の２Ｄイメージである。

【0066】

図９を参照すれば、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージは、従来方式のイメージより、シルエットディテール（例：毛髪）がはるかに纎細であり、実際の客体と類似しているということが分かる。また、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージは、従来方式のイメージより、照明（ｌｉｇｈｔｉｎｇ）効果が明確に示されるということ分かる。該照明効果は、客体を見る位置、すなわち、キャプチャカメラの位置によって異なるように見えるが、従来の３Ｄポリゴンメッシュレンダリング方法は、ポリゴンが開かれた２Ｄテクスチャマップを生成するために、客体を、さまざまな位置でキャプチャしたキャプチャイメージの色相を平均するために、キャプチャカメラの位置による照明効果が消えてしまい、いかなるレンダカメラ位置につき、３Ｄイメージを生成しても、同一テクスチャが適用されるので、レンダカメラ位置による照明効果を示すことが不可能である。一方、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によれば、さまざまな位置でキャプチャしたキャプチャイメージのうち、レンダカメラ位置によって一部イメージを選択し、テクスチャイメージとして使用するために、レンダカメラ位置から見たときの照明効果をそのまま表現することができることになる。図１０においても同様に、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージが、従来方式のイメージより、シルエットディテールと照明効果とにすぐれているということが分かる。

【0067】

図１１を参照すれば、従来方式のイメージと異なり、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法による２Ｄイメージは、人の額や頬などにおいて、照明効果が鮮明に表現されるということが分かる。また、従来の３Ｄポリゴンメッシュレンダリング方法は、ポリゴンが開かれた２Ｄテクスチャマップを生成するために、客体を、さまざまな位置でキャプチャしたキャプチャイメージのいずれの色相も平均するために、イメージの鮮明度が大きく低くなるが、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によれば、少数（例：１、３または８）のイメージの色相のみを利用するために、イメージの鮮明度が非常に高くなる。また、使用するテクスチャイメージの色相をそのまま平均せず、レンダカメラの位置による加重値を適用することにより、イメージの鮮明度をさらに高めることができる。

【0068】

本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によれば、テクスチャの品質が非常にすぐれたものであるために、少数のポリゴンを利用しても、結果物の品質が高くなる。従って、本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によれば、少数のポリゴンを含む３Ｄポリゴンメッシュを利用することにより、データサイズを小さくし、演算速度を向上させながらも、高品質の２Ｄイメージを得ることができる。本開示の一実施形態による３Ｄポリゴンメッシュレンダリング方法によれば、実際に人をさまざまな位置からキャプチャした複数のキャプチャイメージを利用し、人を３Ｄモデリングし、実際の人とほぼ全く同じ２Ｄイメージをレンダリングすることができ、実際の人と全く同じような表情をして話すアバターを生成することができる。

【0069】

本開示の実施形態は、コンピュータで読み取り可能な記録媒体に、コンピュータによって実行可能なコードとして具現することが可能である。コンピュータで読み取り可能な記録媒体は、磁気媒体、光学媒体、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）のような全ての記録媒体を含む。コンピュータで読み取り可能な記録媒体は、非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体の形態によっても提供される。ここで、「非一時的記録媒体」は、実在する（ｔａｎｇｉｂｌｅ）装置であり、信号（ｓｉｇｎａｌ）（例：電磁波）を含まないということを意味するのみであり、該用語は、データが記録媒体に半永久的に保存される場合と、臨時的に保存される場合とを区分するものではない。例として、「非一時的記録媒体」は、データが臨時的に保存されるバッファを含んでもよい。

【0070】

一実施形態によれば、本文書に開示された多様な実施形態による方法は、コンピュータプログラム製品（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ ｐｒｏｄｕｃｔ）に含まれても提供される。該コンピュータプログラム製品は、商品として、販売者と購入者との間で取り引きされうる。該コンピュータプログラム製品は、コンピュータで読み取り可能な記録媒体に保存されて配布されたり、アプリケーションストア（例：プレイストア^ＴＭ）を介するか、あるいは２つのユーザ装置（例：スマトーフォン）間において、直接、オンラインで配布（例：ダウンロードまたはアップロード）されたりもする。オンライン配布の場合、コンピュータプログラム製品（例：ダウンローダブルアプリ）の少なくとも一部は、製造社のサーバ、アプリケーションストアのサーバ、または中継サーバのメモリのようなコンピュータで読み取り可能な記録媒体に、少なくとも仮保存されるか、あるいは臨時的に生成されうる。

【0071】

以上、本開示につき、図面に図示された望ましい実施形態を中心に説明した。そのような実施形態は、該開示を限定するものではなく、例示的なものに過ぎず、限定的な観点ではなく、説明的な観点から考慮されなければならない。本開示が属する技術分野の当業者であるならば、本開示の技術的思想や、必須な特徴を変更せずとも、そのような実施形態を、他の具体的な形態に容易に変形が可能であるということを理解することができるであろう。例えば、単一形に説明されている各構成要素は、分散して実施されもよいし、同様に、分散しているように説明されている構成要素も、結合された形態に実施されてもよい。特許請求の範囲と図面とを含み、本開示の全ての特徴及び／または動作は、該特徴及び／または該動作のうち少なくとも一部が互いに背馳しない以上、いかなる組み合わせでも結合される。たとえ本明細書において、特定用語が使用されているにしても、それらは、単に本開示の概念について説明するための目的に使用されているものであり、意味限定や特許請求の範囲に記載された本開示の範囲を制限するために使用されているものではない。

【0072】

本開示の真の技術的保護範囲は、前述の説明ではなく、特許請求の範囲の技術的思想によって定められるものであり、特許請求の範囲の意味、範囲及びその均等概念から導き出される全ての変更、または変形された形態は、本開示の範囲に含まれると解釈されなければならない。該均等物は、現在公知の均等物だけではなく、将来に開発される均等物、すなわち、構造と係わりなく、同一機能を遂行するように開示された全ての構成要素を含むと理解されなければならない。

【符号の説明】

【0073】

１００ ポリゴンメッシュレンダリング装置
１１０ プロセッサ
１２０ メモリ
２１０ 多重視点イメージ
２２０ ポリゴンメッシュ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【外国語明細書】

Ｔｉｔｌｅ ｏｆ Ｉｎｖｅｎｔｉｏｎ

Ｆｉｇｕｒｅ １

Ｆｉｇｕｒｅ ２

Ｆｉｇｕｒｅ ３

Ｆｉｇｕｒｅ ４

Ｆｉｇｕｒｅ ５

Ｆｉｇｕｒｅ ６

Ｆｉｇｕｒｅ ７

Ｆｉｇｕｒｅ ８

Ｆｉｇｕｒｅ ９

Ｆｉｇｕｒｅ １０

Ｆｉｇｕｒｅ １１