特許 7667007 被写体モデル化装置、レンダリング装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-14

(45)【発行日】2025-04-22

(54)【発明の名称】被写体モデル化装置、レンダリング装置及びプログラム

(51)【国際特許分類】

   G06T 17/00 20060101AFI20250415BHJP

【ＦＩ】

G06T17/00

【請求項の数】 7

(21)【出願番号】P 2021112450

(22)【出願日】2021-07-06

(65)【公開番号】P2023008697

(43)【公開日】2023-01-19

【審査請求日】2024-06-03

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100121119

【弁理士】

【氏名又は名称】花村 泰伸

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】洗井 淳

【審査官】鈴木 肇

(56)【参考文献】

【文献】特開２０１９－２１５６２２（ＪＰ，Ａ）

【文献】国際公開第２０１９／１９８５０１（ＷＯ，Ａ１）

【文献】特開２０１６－２０６７６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００ －１９／２０

Ｇ０６Ｖ １０／００ －２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ １／４１ － １／４１９

Ｈ０４Ｎ １／６４

Ｈ０４Ｎ ７／１０

Ｈ０４Ｎ ７／１４ － ７／１７３

Ｈ０４Ｎ ７／２０ － ７／５６

Ｈ０４Ｎ １３／００ －１７／０６

Ｈ０４Ｎ ２１／００ －２１／８５８

(57)【特許請求の範囲】

【請求項1】

被写体の形状を表した複数の構成点の位置情報からなる点群、複数のカメラのカメラパラメータからなるカメラパラメータ群、及び前記複数のカメラのそれぞれにより撮影された前記被写体の画像からなる画像群を入力し、前記点群をモデル化して光線情報付き点群を生成する被写体モデル化装置であって、
前記点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記カメラパラメータ群を構成する前記カメラパラメータ及び前記画像群を構成する前記画像を順次選択するためのインデックスをｍとして、
前記インデックスｍの前記カメラパラメータに含まれるカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点からカメラへの光線の方向に関する方向情報を演算する方向演算部と、
前記インデックスｍの前記カメラパラメータを用いて、前記インデックスｎの前記構成点の前記位置情報を前記インデックスｍの前記画像の画像座標に投影する投影部と、
前記インデックスｍの前記画像から、前記投影部により投影された前記画像座標の画素値情報を選択する選択部と、
前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記画素値情報を多重化することで、前記インデックスｎの観測光線情報を生成する第一多重化部と、
全ての前記インデックスｎの前記位置情報及び前記第一多重化部により生成された全ての前記インデックスｎの前記観測光線情報を多重化することで、前記光線情報付き点群を生成する第二多重化部と、
を備えたことを特徴とする被写体モデル化装置。

【請求項2】

請求項１に記載の被写体モデル化装置において、
前記選択部は、
前記画像から、前記画像座標の色情報を選択し、
前記第一多重化部は、
前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記色情報を多重化することで、前記インデックスｎの前記観測光線情報を生成する、ことを特徴とする被写体モデル化装置。

【請求項3】

被写体の形状を表した複数の構成点の位置情報及び光線情報が多重化された光線情報付き点群、及び仮想カメラのカメラパラメータｐを用いて、前記光線情報付き点群をレンダリングし、前記仮想カメラにより撮影される合成画像を生成するレンダリング装置において、
前記光線情報を、複数のカメラのカメラパラメータと、前記複数のカメラのそれぞれにより撮影された前記被写体の画像とに基づいて生成された情報であって、前記構成点からカメラへの光線の方向に関する方向情報、及び前記構成点が投影された画素に関する画素値情報を含む情報とし、
前記光線情報付き点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記光線情報に含まれる前記方向情報及び前記画素値情報を順次選択するためのインデックスをｍとして、
前記カメラパラメータｐを用いて、前記インデックスｎの前記構成点の前記位置情報を画像座標に投影する投影部と、
前記カメラパラメータｐに含まれる前記仮想カメラのカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点から前記仮想カメラへの光線の方向に関する仮想方向情報を演算する方向演算部と、
前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報及び前記方向演算部により演算された前記仮想方向情報に基づいて、重み値を演算する重み値演算部と、
前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記画素値情報に対し、前記重み値演算部により演算された全ての前記インデックスｍの前記重み値を用いて重み付け合成し、代表値を求める合成部と、
全ての前記インデックスｎについて、前記合成部により求めた前記代表値を前記投影部により投影された前記画像座標に配置し、前記合成画像を生成する画像生成部と、
を備えたことを特徴とするレンダリング装置。

【請求項4】

請求項３に記載のレンダリング装置において、
前記光線情報を、前記方向情報、及び前記構成点が投影された画素に関する色情報を含む情報とし、
前記光線情報に含まれる前記方向情報及び前記色情報を順次選択するためのインデックスをｍとして、
前記合成部は、
前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記色情報に対し、全ての前記インデックスｍの前記重み値を用いて重み付け合成し、前記代表値を求める、ことを特徴とするレンダリング装置。

【請求項5】

請求項３または４に記載のレンダリング装置において、
前記重み値演算部は、
前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報と前記仮想方向情報との間の成す角の絶対値に対し広義単調減少関数を適用することで、前記重み値を演算する、ことを特徴とするレンダリング装置。

【請求項6】

被写体の形状を表した複数の構成点の位置情報からなる点群、複数のカメラのカメラパラメータからなるカメラパラメータ群、及び前記複数のカメラのそれぞれにより撮影された前記被写体の画像からなる画像群を入力し、前記点群をモデル化して光線情報付き点群を生成する被写体モデル化装置を構成するコンピュータを、
前記点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記カメラパラメータ群を構成する前記カメラパラメータ及び前記画像群を構成する前記画像を順次選択するためのインデックスをｍとして、
前記インデックスｍの前記カメラパラメータに含まれるカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点からカメラへの光線の方向に関する方向情報を演算する方向演算部、
前記インデックスｍの前記カメラパラメータを用いて、前記インデックスｎの前記構成点の前記位置情報を前記インデックスｍの前記画像の画像座標に投影する投影部、
前記インデックスｍの前記画像から、前記投影部により投影された前記画像座標の画素値情報を選択する選択部、
前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記画素値情報を多重化することで、前記インデックスｎの観測光線情報を生成する第一多重化部、及び、
全ての前記インデックスｎの前記位置情報及び前記第一多重化部により生成された全ての前記インデックスｎの前記観測光線情報を多重化することで、前記光線情報付き点群を生成する第二多重化部として機能させるためのプログラム。

【請求項7】

被写体の形状を表した複数の構成点の位置情報及び光線情報が多重化された光線情報付き点群、及び仮想カメラのカメラパラメータｐを用いて、前記光線情報付き点群をレンダリングし、前記仮想カメラにより撮影される合成画像を生成するレンダリング装置を構成するコンピュータを、
前記光線情報を、複数のカメラのカメラパラメータと、前記複数のカメラのそれぞれにより撮影された前記被写体の画像とに基づいて生成された情報であって、前記構成点からカメラへの光線の方向に関する方向情報、及び前記構成点が投影された画素に関する画素値情報を含む情報とし、
前記光線情報付き点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記光線情報に含まれる前記方向情報及び前記画素値情報を順次選択するためのインデックスをｍとして、
前記カメラパラメータｐを用いて、前記インデックスｎの前記構成点の前記位置情報を画像座標に投影する投影部、
前記カメラパラメータｐに含まれる前記仮想カメラのカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点から前記仮想カメラへの光線の方向に関する仮想方向情報を演算する方向演算部、
前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報及び前記方向演算部により演算された前記仮想方向情報に基づいて、重み値を演算する重み値演算部、
前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記画素値情報に対し、前記重み値演算部により演算された全ての前記インデックスｍの前記重み値を用いて重み付け合成し、代表値を求める合成部、及び、
全ての前記インデックスｎについて、前記合成部により求めた前記代表値を前記投影部により投影された前記画像座標に配置し、前記合成画像を生成する画像生成部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の形状及び光線を記録及び描画する技術に関し、特に、３次元コンピュータグラフィクス用の被写体をモデル化する被写体モデル化装置、被写体のモデルを視点に応じてレンダリングするレンダリング装置、及びプログラムに関する。

【背景技術】

【0002】

従来、被写体（オブジェクト）の形状を記述するモデルとして、ポイントクラウドが知られている。このポイントクラウドは、３次元座標を有する点の集合として形状を表現する点群であり、ポイントクラウドの各構成点に対して、色情報（例えば、赤、緑及び青成分）を記録することもある。

【0003】

また、３Ｄ映像の記述法としてライトフィールドが知られている。ライトフィールドには、画像平面上の画像座標２次元及び当該画像座標へ向かう光線の方向２次元からなる４自由度での表現形式、及び、物体表面または内部の点（３次元）から発生した光線の方向２次元を記述する５自由度での表現形式がある。

【0004】

また、画像から被写体を表現する点群を取得し、ライトフィールドから被写体のパラメトリック曲面を抽出し、パラメトリック曲面に関連してテクスチャマップを取得する没入型ビデオフォーマットのための手法が開示されている（例えば、特許文献１を参照）。

【0005】

また、ライトフィールドデータから点群を再構築する手法も開示されている（例えば、特許文献２を参照）。

【0006】

また、ライトフィールド及び点群を組み合わせて鏡面反射成分を取り除くことで、文字情報の認識率を向上する手法が開示されている（例えば、特許文献３を参照）。

【0007】

さらに、被写体の３次元モデルを構成する各三角形パッチについて、ある視点ＣＥから観測したテクスチャを求めるために、複数の視点で撮影した画像の中から、視点ＣＥに最も近い方向から撮影した画像を利用する手法が提案されている（例えば、非特許文献１を参照）。

【先行技術文献】

【特許文献】

【0008】

【文献】特表２０１９－５３４５００号公報

【文献】特表２０１９－５３４６０６号公報

【文献】特開２０１８－４５４６４号公報

【非特許文献】

【0009】

【文献】宇野祐介、中島悠太、河合紀彦、佐藤智和、横矢直和、“拡張現実感のための視点依存テクスチャ・ジオメトリに基づく仮想化実物体の輪郭形状の修復”、電子情報通信学会技術研究報告、信学技報１１２（３８５）、２２３－２２８、２０１３－０１－２３

【発明の概要】

【発明が解決しようとする課題】

【0010】

前述の色情報を記録するポイントクラウドでは、視点に依存しない１つの色情報のみが記録されることが通例である。このため、鏡面反射、異方性反射等のように、視点を変えたときに見た目の色または輝度が変化する場合には、物体を正確に記述することができない。その結果、レンダリング結果が視点によっては不自然な質感を呈することがある。

【0011】

また、前述の４自由度のライトフィールドは、所定の画像平面の各画素について、入射する光線の方向（２自由度）毎に色情報を記録する。その結果、被写体内または被写体間におけるオクルージョンを生じない程度の限定された視点移動範囲内においては、実際の光線に近いものを再生することが可能となり、立体感または質感の提示が可能となる。しかし、前述のとおり、視点移動範囲は限定されるため、所謂３ＤｏＦ＋までの応用に限られる。

【0012】

自由に視点を移動可能な所謂６ＤｏＦに対応しつつ、被写体からの光線を正しく再生するためには、被写体上の微小領域毎に出射する光線の方向に対応付けて、色情報を記録する必要がある（５自由度のライトフィールド）。すなわち、被写体の存在する各３次元空間位置（３自由度）の各方向（２自由度）について、色情報を記録する必要がある。この場合、膨大な記憶容量を要するという問題がある。

【0013】

また、前述の非特許文献１に記載されているように、視点に依存してテクスチャ画像を適応的に選択する手法によれば、テクスチャ画像用に視点数分の画像を保持するだけでよいため、記憶容量を削減することが可能となる。

【0014】

しかし、被写体の領域毎または視点位置毎に、選択すべき最適なテクスチャ画像が変化することがあり、レンダリング結果は、テクスチャ画像の切り替えに伴う空間的及び時間的な画素値の不連続を生じる。この不連続はアーチファクトとして知覚され、主観的画質の低下を招く。

【0015】

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、アーチファクトの少ない視点依存のレンダリングを実現すると共に、自然な質感を呈するレンダリング結果を得ることが可能な被写体モデル化装置、レンダリング装置及びプログラムを提供することにある。

【課題を解決するための手段】

【0016】

前記課題を解決するために、請求項１の被写体モデル化装置は、被写体の形状を表した複数の構成点の位置情報からなる点群、複数のカメラのカメラパラメータからなるカメラパラメータ群、及び前記複数のカメラのそれぞれにより撮影された前記被写体の画像からなる画像群を入力し、前記点群をモデル化して光線情報付き点群を生成する被写体モデル化装置であって、前記点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記カメラパラメータ群を構成する前記カメラパラメータ及び前記画像群を構成する前記画像を順次選択するためのインデックスをｍとして、前記インデックスｍの前記カメラパラメータに含まれるカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点からカメラへの光線の方向に関する方向情報を演算する方向演算部と、前記インデックスｍの前記カメラパラメータを用いて、前記インデックスｎの前記構成点の前記位置情報を前記インデックスｍの前記画像の画像座標に投影する投影部と、前記インデックスｍの前記画像から、前記投影部により投影された前記画像座標の画素値情報を選択する選択部と、前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記画素値情報を多重化することで、前記インデックスｎの観測光線情報を生成する第一多重化部と、全ての前記インデックスｎの前記位置情報及び前記第一多重化部により生成された全ての前記インデックスｎの前記観測光線情報を多重化することで、前記光線情報付き点群を生成する第二多重化部と、を備えたことを特徴とする。

【0017】

また、請求項２の被写体モデル化装置は、請求項１に記載の被写体モデル化装置において、前記選択部が、前記画像から、前記画像座標の色情報を選択し、前記第一多重化部が、前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記色情報を多重化することで、前記インデックスｎの前記観測光線情報を生成する、ことを特徴とする。

【0018】

さらに、請求項３のレンダリング装置は、被写体の形状を表した複数の構成点の位置情報及び光線情報が多重化された光線情報付き点群、及び仮想カメラのカメラパラメータｐを用いて、前記光線情報付き点群をレンダリングし、前記仮想カメラにより撮影される合成画像を生成するレンダリング装置において、前記光線情報を、複数のカメラのカメラパラメータと、前記複数のカメラのそれぞれにより撮影された前記被写体の画像とに基づいて生成された情報であって、前記構成点からカメラへの光線の方向に関する方向情報、及び前記構成点が投影された画素に関する画素値情報を含む情報とし、前記光線情報付き点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記光線情報に含まれる前記方向情報及び前記画素値情報を順次選択するためのインデックスをｍとして、前記カメラパラメータｐを用いて、前記インデックスｎの前記構成点の前記位置情報を画像座標に投影する投影部と、前記カメラパラメータｐに含まれる前記仮想カメラのカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点から前記仮想カメラへの光線の方向に関する仮想方向情報を演算する方向演算部と、前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報及び前記方向演算部により演算された前記仮想方向情報に基づいて、重み値を演算する重み値演算部と、前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記画素値情報に対し、前記重み値演算部により演算された全ての前記インデックスｍの前記重み値を用いて重み付け合成し、代表値を求める合成部と、全ての前記インデックスｎについて、前記合成部により求めた前記代表値を前記投影部により投影された前記画像座標に配置し、前記合成画像を生成する画像生成部と、を備えたことを特徴とする。

【0019】

また、請求項４のレンダリング装置は、請求項３に記載のレンダリング装置において、前記光線情報を、前記方向情報、及び前記構成点が投影された画素に関する色情報を含む情報とし、前記光線情報に含まれる前記方向情報及び前記色情報を順次選択するためのインデックスをｍとして、前記合成部が、前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記色情報に対し、全ての前記インデックスｍの前記重み値を用いて重み付け合成し、前記代表値を求める、ことを特徴とする。

【0020】

また、請求項５のレンダリング装置は、請求項３または４に記載のレンダリング装置において、前記重み値演算部が、前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報と前記仮想方向情報との間の成す角の絶対値に対し広義単調減少関数を適用することで、前記重み値を演算する、ことを特徴とする。

【0021】

さらに、請求項６のプログラムは、被写体の形状を表した複数の構成点の位置情報からなる点群、複数のカメラのカメラパラメータからなるカメラパラメータ群、及び前記複数のカメラのそれぞれにより撮影された前記被写体の画像からなる画像群を入力し、前記点群をモデル化して光線情報付き点群を生成する被写体モデル化装置を構成するコンピュータを、前記点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記カメラパラメータ群を構成する前記カメラパラメータ及び前記画像群を構成する前記画像を順次選択するためのインデックスをｍとして、前記インデックスｍの前記カメラパラメータに含まれるカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点からカメラへの光線の方向に関する方向情報を演算する方向演算部、前記インデックスｍの前記カメラパラメータを用いて、前記インデックスｎの前記構成点の前記位置情報を前記インデックスｍの前記画像の画像座標に投影する投影部、前記インデックスｍの前記画像から、前記投影部により投影された前記画像座標の画素値情報を選択する選択部、前記インデックスｎについて、前記方向演算部により演算された全ての前記インデックスｍの前記方向情報及び前記選択部により選択された全ての前記インデックスｍの前記画素値情報を多重化することで、前記インデックスｎの観測光線情報を生成する第一多重化部、及び、全ての前記インデックスｎの前記位置情報及び前記第一多重化部により生成された全ての前記インデックスｎの前記観測光線情報を多重化することで、前記光線情報付き点群を生成する第二多重化部として機能させることを特徴とする。

【0022】

また、請求項７のプログラムは、被写体の形状を表した複数の構成点の位置情報及び光線情報が多重化された光線情報付き点群、及び仮想カメラのカメラパラメータｐを用いて、前記光線情報付き点群をレンダリングし、前記仮想カメラにより撮影される合成画像を生成するレンダリング装置を構成するコンピュータを、前記光線情報を、複数のカメラのカメラパラメータと、前記複数のカメラのそれぞれにより撮影された前記被写体の画像とに基づいて生成された情報であって、前記構成点からカメラへの光線の方向に関する方向情報、及び前記構成点が投影された画素に関する画素値情報を含む情報とし、前記光線情報付き点群を構成する前記構成点を順次選択するためのインデックスをｎとし、前記光線情報に含まれる前記方向情報及び前記画素値情報を順次選択するためのインデックスをｍとして、前記カメラパラメータｐを用いて、前記インデックスｎの前記構成点の前記位置情報を画像座標に投影する投影部、前記カメラパラメータｐに含まれる前記仮想カメラのカメラ位置及び前記インデックスｎの前記構成点の前記位置情報に基づいて、前記構成点から前記仮想カメラへの光線の方向に関する仮想方向情報を演算する方向演算部、前記インデックスｎについて、前記光線情報に含まれる前記インデックスｍの前記方向情報及び前記方向演算部により演算された前記仮想方向情報に基づいて、重み値を演算する重み値演算部、前記インデックスｎについて、前記光線情報に含まれる全ての前記インデックスｍの前記画素値情報に対し、前記重み値演算部により演算された全ての前記インデックスｍの前記重み値を用いて重み付け合成し、代表値を求める合成部、及び、全ての前記インデックスｎについて、前記合成部により求めた前記代表値を前記投影部により投影された前記画像座標に配置し、前記合成画像を生成する画像生成部として機能させることを特徴とする。

【発明の効果】

【0023】

以上のように、本発明によれば、アーチファクトの少ない視点依存のレンダリングを実現すると共に、自然な質感を呈するレンダリング結果を得ることができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態による被写体モデル化装置の構成例を示すブロック図である。

【図2】被写体モデル化装置の処理例を示すフローチャートである。

【図3】被写体モデル化装置の処理例を説明する概念図である。

【図4】光線情報付き点群Ｋを説明する概念図である。

【図5】本発明の実施形態によるレンダリング装置の構成例を示すブロック図である。

【図6】レンダリング装置の処理例を示すフローチャートである。

【図7】レンダリング装置の処理例を説明する概念図である。

【発明を実施するための形態】

【0025】

以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔被写体モデル化装置〕
まず、本発明の実施形態による被写体モデル化装置について説明する。図１は、本発明の実施形態による被写体モデル化装置の構成例を示すブロック図である。

【0026】

この被写体モデル化装置１は、被写体を構成する各構成点の位置ベクトル（構成点位置）Ｑ_nを含む点群、各カメラのカメラパラメータｐ_mからなるカメラパラメータ群、及び各カメラにより撮影された被写体の画像Ｉ_mからなる撮影画像群を入力する。そして、被写体モデル化装置１は、点群、カメラパラメータ群及び撮影画像群に基づいて、光線情報付き点群Ｋを生成して出力する。

【0027】

点群は、被写体の形状を３次元空間内の点の集合として記述するものである。すなわち、点群は、１以上の構成点からなり、各構成点には、位置情報として３次元座標の構成点位置Ｑ_nが含まれる。点群の構成点の数（構成点数）をＮ（Ｎは１以上の整数）とし、そのｎ番目（ｎは１以上Ｎ以下の整数）の構成点位置をＱ_nとする。

【0028】

撮影画像群は、異なる視点のカメラにより被写体が撮影された複数の画像Ｉ_mである。光線数（画像枚数、カメラ台数）をＭ（Ｍは１以上の整数）とし、そのｍ番目（ｍは１以上Ｍ以下の整数）の画像をＩ_mとする。

【0029】

カメラパラメータ群は、撮影画像群を構成する各画像Ｉ_mが撮影された際の光学系（カメラ及びレンズ）のパラメータである。カメラパラメータ群を構成するｍ番目のカメラパラメータは、画像Ｉ_mが撮影された際のカメラパラメータとし、これをｐ_mとする。

【0030】

カメラパラメータｐ_mは、被写界の３次元座標（以下、「世界座標」という。）を画像の画像座標に対応付けるために必要なパラメータであり、例えば、レンズの光学主点位置、カメラの姿勢、撮像素子の画素の大きさ及び配置、レンズの焦点距離等の情報からなる。

【0031】

以下、被写体及び複数のカメラが配置された空間の座標を世界座標Ｘとし、画像Ｉ_m上の座標を画像座標ｘとして、カメラパラメータｐによる世界座標Ｘから画像座標ｘへの変換を、関数ｈを用いて以下の式で表すこととする。

【数1】

【0032】

図１に示すように、被写体モデル化装置１は、第一カウンタ１０、構成点選択部１１、第二カウンタ１２、パラメータ選択部１３、画像選択部１４、方向ベクトル演算部（方向演算部）１５、投影部１６、画素値選択部１７、第一多重化部１８及び第二多重化部１９を備えている。

【0033】

第一カウンタ１０は、入力される点群の各構成点を順次選択するためのインデックスｎを生成するために、１からＮまで順番にカウントし、カウント値をインデックスｎとして構成点選択部１１及び第二多重化部１９に出力する。

【0034】

構成点選択部１１は、各構成点の構成点位置Ｑ₁，・・・，Ｑ_Nを含む点群を入力すると共に、第一カウンタ１０からインデックスｎを入力する。そして、構成点選択部１１は、点群から、インデックスｎに対応するｎ番目の構成点の構成点位置Ｑ_nを選択し、構成点位置Ｑ_nを方向ベクトル演算部１５、投影部１６及び第二多重化部１９に出力する。

【0035】

第二カウンタ１２は、入力される撮影画像群の各画像Ｉ₁，・・・，Ｉ_M及びこれに対応するカメラパラメータ群の各カメラパラメータｐ₁，・・・，ｐ_Mを順次選択するためのインデックスｍを生成するために、１からＭまで順番にカウントする。そして、第二カウンタ１２は、カウント値をインデックスｍとしてパラメータ選択部１３、画像選択部１４及び第一多重化部１８に出力する。

【0036】

パラメータ選択部１３は、各カメラのカメラパラメータｐ₁，・・・，ｐ_Mからなるカメラパラメータ群を入力すると共に、第二カウンタ１２からインデックスｍを入力する。そして、パラメータ選択部１３は、カメラパラメータ群から、インデックスｍに対応するｍ番目のカメラパラメータｐ_mを選択し、カメラパラメータｐ_mを方向ベクトル演算部１５及び投影部１６に出力する。

【0037】

画像選択部１４は、各カメラにより撮影された画像Ｉ₁，・・・，Ｉ_Mからなる撮影画像群を入力すると共に、第二カウンタ１２からインデックスｍを入力する。そして、画像選択部１４は、撮影画像群から、インデックスｍに対応するｍ番目の画像Ｉ_mを選択し、画像Ｉ_mを画素値選択部１７に出力する。

【0038】

方向ベクトル演算部１５は、構成点選択部１１から構成点位置Ｑ_nを入力すると共に、パラメータ選択部１３からカメラパラメータｐ_mを入力する。カメラパラメータｐ_mには、レンズの光学主点位置の世界座標（以下、「カメラ位置」という。）Ｗ_mが含まれるものとする。

【0039】

方向ベクトル演算部１５は、以下の式にて、構成点位置Ｑ_nからカメラ位置Ｗ_mに至る光線のベクトルの方向情報である方向（以下、「方向ベクトル」という。）Λ_m,nを演算し、方向ベクトルΛ_m,nを第一多重化部１８に出力する。

【数2】

【0040】

投影部１６は、構成点選択部１１から構成点位置Ｑ_nを入力すると共に、パラメータ選択部１３からカメラパラメータｐ_mを入力する。そして、投影部１６は、以下の式にて、カメラパラメータｐ_mを用いて構成点位置Ｑ_nを画像座標ξ_m,nに投影し、画像座標ξ_m,nを画素値選択部１７に出力する。

【数3】

【0041】

つまり、投影部１６は、カメラパラメータｐ_mを用いて、世界座標上のｎ番目の構成点を画像Ｉ_mの画像座標上へ投影することで、構成点位置Ｑ_nを画像座標ξ_m,nに変換する。

【0042】

画素値選択部１７は、画像選択部１４から画像Ｉ_mを入力すると共に、投影部１６から画像座標ξ_m,nを入力する。そして、画素値選択部１７は、画像Ｉ_mから、画像座標ξ_m,nの画素値Ｉ（ξ_m,n）を選択し、これを画素値Ｖ_m,nとして第一多重化部１８に出力する。

【0043】

尚、画素値選択部１７は、画像Ｉ_mから画素値Ｉ（ξ_m,n）を選択する際に、画像座標ξ_m,nに対応する画素値情報が存在しない場合、例えば当該画像座標ξ_m,nに最も近接し、かつ画素値情報が存在する画素値を選択するようにしてもよい。画像座標ξ_m,nに対応する画素値情報が存在しない場合とは、例えば画像座標ξ_m,nを示す座標値が非整数である場合、画像座標ξ_m,nが撮像センサ上における画素配列に合致しない位置を示している場合である。

【0044】

また、画素値選択部１７は、画像座標ξ_m,nに対応する画素値情報が存在しない場合、画像座標ξ_m,nの周辺（例えば、距離が近い方から所定の個数まで）の画素の存在する複数の画素値とその位置関係を考慮して、内挿または外挿により画素値を求めるようにしてもよい。この場合、例えば、内挿に双一次補間、双三次補間、Lanczos補間、スプライン補間等の補間法を用いることができる。

【0045】

第一多重化部１８は、第二カウンタ１２からインデックスｍを、方向ベクトル演算部１５から方向ベクトルΛ_m,nを、画素値選択部１７から画素値Ｖ_m,nをそれぞれ入力する。

【0046】

第一多重化部１８は、インデックスｎについて、全てのインデックスｍの方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nを多重化し、その結果の行列（以下、ｎ番目の構成点における「観測光線情報」という。）Ｌ_nを求める。そして、第一多重化部１８は、観測光線情報Ｌ_nを第二多重化部１９に出力する。

【0047】

すなわち、第一多重化部１８は、ｎ番目の構成点について、ｍ番目の方向ベクトルΛ_m,nと画素値Ｖ_m,nとを対応付けしながら、全てのインデックスｍについてまとめ、その結果の集合を観測光線情報Ｌ_nとして求める。

【0048】

例えば観測光線情報Ｌ_nは、以下の式で表される。

【数4】

【0049】

尚、第一多重化部１８は、前記式（４）のとおり、方向ベクトルΛ_1,n，・・・，Λ_M,nを含む観測光線情報Ｌ_nを求めるようにしてもよい。また、第一多重化部１８は、方向ベクトルΛ_1,n，・・・，Λ_M,nを単位方向ベクトルに変換し、単位方向ベクトルを含む観測光線情報Ｌ_nを求めるようにしてもよい。さらに、第一多重化部１８は、方向ベクトルΛ_1,n，・・・，Λ_M,nを２自由度の角度情報（例えば、方位角及び仰角）に変換し、２自由度の角度を含む観測光線情報Ｌ_nを求めるようにしてもよい。

【0050】

例えば第一多重化部１８は、方向ベクトルΛ_1,n，・・・，Λ_M,nを方位角φ_1,n，・・・，φ_M,n及び仰角θ_1,n，・・・，θ_M,nに変換し、以下の式のとおり、これらの角度を含む観測光線情報Ｌ_nを求める。

【数5】

ａｔａｎ２（Ｙ，Ｘ）は、座標［Ｘ，Ｙ］^Tの偏角を求める関数である。

【0051】

第二多重化部１９は、第一カウンタ１０からインデックスｎを、構成点選択部１１から構成点位置Ｑ_nを、第一多重化部１８から観測光線情報Ｌ_nをそれぞれ入力する。

【0052】

第二多重化部１９は、全てのインデックスｎの構成点位置Ｑ₁，・・・，Ｑ_N及び観測光線情報Ｌ₁，・・・，Ｌ_Nを多重化し、その結果の行列（以下、「光線情報付き点群」という。）Ｋを求める。そして、第二多重化部１９は、光線情報付き点群Ｋを出力する。

【0053】

すなわち、第二多重化部１９は、ｎ番目の構成点の構成点位置Ｑ_nと観測光線情報Ｌ_nとを対応付けしながら、全ての構成点についてまとめ、その結果の集合を光線情報付き点群Ｋとして求める。

【0054】

例えば光線情報付き点群Ｋは、以下の式で表される。

【数6】

【0055】

（処理）
次に、図１に示した被写体モデル化装置１の処理の流れについて詳細に説明する。図２は、被写体モデル化装置１の処理例を示すフローチャートであり、図３は、被写体モデル化装置１の処理例を説明する概念図である。

【0056】

図３において、被写体３の形状が反映された点群のうち、ｎ番目の構成点の構成点位置Ｑ_nが選択されるものとする。カメラ４－１，４－ｍ，４－Ｍのカメラパラメータをそれぞれｐ₁，ｐ_m，ｐ_Mとし、これらのカメラ位置をそれぞれＷ₁，Ｗ_m，Ｗ_Mとする。

【0057】

カメラ４－１，４－ｍ，４－Ｍにより撮影された画像をそれぞれＩ₁，Ｉ_m，Ｉ_Mとし、構成点位置Ｑ_nの構成点が画像Ｉ₁，Ｉ_m，Ｉ_Mの座標に投影された画像座標をそれぞれξ_1,n，ξ_m,n，ξ_M,nとする。また、画像座標ξ_1,n，ξ_m,n，ξ_M,nの画素値をそれぞれＶ_1,n，Ｖ_m,n，Ｖ_M,nとする。

【0058】

まず、第一カウンタ１０は、１をカウント値としたインデックスｎ＝１を生成する（ステップＳ２０１、ｎ←１）。そして、構成点選択部１１は、点群から、インデックスｎに対応するｎ番目の構成点の構成点位置Ｑ_nを選択する（ステップＳ２０２）。図３に示すように、被写体３の形状が反映された点群のうち、ｎ番目の構成点の構成点位置Ｑ_nが選択される。

【0059】

第二カウンタ１２は、１をカウント値としたインデックスｍを生成する（ステップＳ２０３、ｍ←１）。そして、パラメータ選択部１３は、カメラパラメータ群から、インデックスｍのカメラパラメータｐ_mを選択し（ステップＳ２０４）、画像選択部１４は、撮影画像群から、インデックスｍの画像Ｉ_mを選択する（ステップＳ２０５）。

【0060】

図３に示すように、インデックスｍ＝１の場合、カメラパラメータｐ₁及び画像Ｉ₁が選択され、インデックスｍ＝Ｍの場合、カメラパラメータｐ_M及び画像Ｉ_Mが選択される。つまり、インデックスｍの場合、カメラパラメータｐ_m及び画像Ｉ_mが選択される。

【0061】

方向ベクトル演算部１５は、構成点位置Ｑ_nからカメラ位置Ｗ_mに至る方向ベクトルΛ_m,nを演算し（ステップＳ２０６）、投影部１６は、カメラパラメータｐ_mを用いて構成点位置Ｑ_nを画像座標ξ_m,nに投影する（ステップＳ２０７）。そして、画素値選択部１７は、画像Ｉ_mから、画像座標ξ_m,nの画素値Ｖ_m,nを選択する（ステップＳ２０８）。

【0062】

図３に示すように、インデックスｍ＝１の場合、方向ベクトルΛ_1,n、画像座標ξ_1,n及び画素値Ｖ_1,nが得られ、インデックスｍ＝Ｍの場合、方向ベクトルΛ_M,n、画像座標ξ_M,n及び画素値Ｖ_M,nが得られる。つまり、インデックスｍの場合、方向ベクトルΛ_m,n、画像座標ξ_m,n及び画素値Ｖ_m,nが得られる。

【0063】

第二カウンタ１２は、インデックスｍが光線数Ｍ未満であるか否かを判定する（ステップＳ２０９）。第二カウンタ１２は、ステップＳ２０９において、インデックスｍが光線数Ｍ未満であると判定した場合（ステップＳ２０９：Ｙ）、インデックスｍに１を加算し（ステップＳ２１０、ｍ←ｍ＋１）、ステップＳ２０４へ移行する。これにより、インデックスｍについて、ステップＳ２０４～Ｓ２０８の処理が行われる。

【0064】

一方、第二カウンタ１２は、ステップＳ２０９において、インデックスｍが光線数Ｍ未満でないと判定した場合（ステップＳ２０９：Ｎ）、ステップＳ２１１へ移行する。

【0065】

この場合、インデックスｎ（最初はｎ＝１）及び全てのインデックスｍ＝１，・・・，Ｍについて、ステップＳ２０４～Ｓ２０８の処理により、方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nが得られる。

【0066】

第一多重化部１８は、ステップＳ２０９（Ｎ）から移行して、インデックスｎについて、全てのインデックスｍの方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nを多重化し、観測光線情報Ｌ_nを求める（ステップＳ２１１）。

【0067】

第一カウンタ１０は、インデックスｎが構成点数Ｎ未満であるか否かを判定する（ステップＳ２１２）。第一カウンタ１０は、ステップＳ２１２において、インデックスｎが構成点数Ｎ未満であると判定した場合（ステップＳ２１２：Ｙ）、インデックスｎに１を加算し（ステップＳ２１３、ｎ←ｎ＋１）、ステップＳ２０２へ移行する。これにより、インデックスｎについて、ステップＳ２０２～Ｓ２１１の処理が行われる。

【0068】

一方、第一カウンタ１０は、ステップＳ２１２において、インデックスｎが構成点数Ｎ未満でないと判定した場合（ステップＳ２１２：Ｎ）、ステップＳ２１４へ移行する。この場合、全てのインデックスｎ＝１，・・・，Ｎについて、ステップＳ２０２～Ｓ２１１の処理により、構成点位置Ｑ₁，・・・，Ｑ_N及び観測光線情報Ｌ₁，・・・，Ｌ_Nが得られる。

【0069】

第二多重化部１９は、ステップＳ２１２（Ｎ）から移行して、全てのインデックスｎの構成点位置Ｑ₁，・・・，Ｑ_N及び観測光線情報Ｌ₁，・・・，Ｌ_Nを多重化し、光線情報付き点群Ｋを求める（ステップＳ２１４）。

【0070】

図４は、光線情報付き点群Ｋを説明する概念図であり、カメラ台数を５（光線数Ｍ＝５）とした場合の例が示されている。

【0071】

全ての構成点のうち１つの構成点１０１に注目し、この構成点１０１の構成点位置をＱ_nとする。１つの構成点１０１について、その構成点位置Ｑ_nと、５台のカメラ４－１，・・・，４－５により観測された光線情報の成分ｌ₁，・・・，ｌ₅からなる観測光線情報Ｌ_nとが多重化され、光線情報付き点群Ｋの成分（Ｑ_n，Ｌ_n）が得られる。

【0072】

前記式（５）の例では、構成点１０１について、構成点位置Ｑ_nに加えて、５台のカメラ４－１，・・・，４－５により観測された観測光線情報Ｌ_n＝（φ_1,n，θ_1,n，Ｖ_1,n），・・・，（φ_5,n，θ_5,n，Ｖ_5,n）が多重化され、光線情報付き点群Ｋの成分（Ｑ_n，Ｌ_n）が得られる。

【0073】

つまり、全てのインデックスｎの構成点について、構成点位置Ｑ₁，・・・，Ｑ_Nと観測光線情報Ｌ₁，・・・，Ｌ_Nとが多重化され、光線情報付き点群Ｋが得られる。

【0074】

以上のように、本発明の実施形態の被写体モデル化装置１によれば、構成点選択部１１は、点群からインデックスｎの構成点位置Ｑ_nを選択し、パラメータ選択部１３は、カメラパラメータ群からインデックスｍのカメラパラメータｐ_mを選択し、画像選択部１４は、撮影画像群からインデックスｍの画像Ｉ_mを選択する。

【0075】

方向ベクトル演算部１５は、構成点位置Ｑ_nからカメラ位置Ｗ_mに至る方向ベクトルΛ_m,nを演算し、投影部１６は、カメラパラメータｐ_mを用いて構成点位置Ｑ_nを画像座標ξ_m,nに投影し、画素値選択部１７は、画像Ｉ_mから画像座標ξ_m,nの画素値Ｖ_m,nを選択する。

【0076】

これにより、インデックスｎ及び全てのインデックスｍについて、方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nが得られる。

【0077】

第一多重化部１８は、インデックスｎについて、全てのインデックスｍの方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nを多重化し、観測光線情報Ｌ_nを求める。

【0078】

これにより、全てのインデックスｎ＝１，・・・，Ｎについて、構成点位置Ｑ₁，・・・，Ｑ_N及び観測光線情報Ｌ₁，・・・，Ｌ_Nが得られる。

【0079】

第二多重化部１９は、全てのインデックスｎの構成点位置Ｑ₁，・・・，Ｑ_N及び観測光線情報Ｌ₁，・・・，Ｌ_Nを多重化し、光線情報付き点群Ｋを求める。

【0080】

このように、点群の各構成点に対して複数の観測光線情報Ｌ_nが得られるため、視点を変えて観視したときの見え方（例えば色）を違えたレンダリングに供することができる。つまり、後述する図５に示すレンダリング装置２は、被写体モデル化装置１により生成された光線情報付き点群Ｋを用いて、視点を変えて観視したときの画像を生成することができる。

【0081】

レンダリング装置２により視点を変えた画像が生成される際に、被写体３の形状が反映された各構成点の構成点位置Ｑ_nと、構成点に対し複数のカメラ４の視点を基準にして得られた方向ベクトルΛ_m,n及び画素値Ｖ_m,nの観測光線情報Ｌ_nとからなる光線情報付き点群Ｋが使用される。

【0082】

前述の非特許文献１の手法においては、レンダリング結果には、テクスチャ画像の切り替えに伴う空間的及び時間的な画素値の不連続が生じる。これに対し、本発明の実施形態では、レンダリングのために、複数の視点を基準とした方向ベクトルΛ_m,n及び画素値Ｖ_m,nが用いられるため、レンダリング結果には、空間的及び時間的な画素値の不連続が生じることはない。

【0083】

したがって、複数の光線を切り替えながら画像を生成する際に問題となる空間的及び時間的な不連続を回避することができ、結果として、アーチファクトの少ない視点依存のレンダリングを実現すると共に、自然な質感を呈するレンダリング結果を得ることができる。

【0084】

また、観測光線情報Ｌ_nは、各構成点に対して複数のカメラ４の視点数分の構成点位置Ｑ_n、方向ベクトルΛ_m,n及び画素値Ｖ_m,nからなるため、データ量を削減することができる。

【0085】

以下、前述のライトフィールドの記述法を用いた従来技術によるデータ量と、本発明の実施形態によるデータ量とを比較する。この従来技術では、位置（２～３自由度）及び光線方向（２自由度）の計４～５次元空間において画素値を記録する場合、すなわち、４～５次元空間を細かく刻み、その各格子点に画素値を記録する場合を想定する。

【0086】

従来技術では、例えば空間内の1,000,000点に対し、方位角方向360個、仰角方向180個の刻みで色情報を記録すると、1,000,000×360×180＝64,800,000,000個のアドレスに対して画素値（例えば２４ビット値）を記録する必要がある。この場合に必要なメモリ容量は、1.5552×10¹²ビットである。

【0087】

これに対し、本発明の実施形態では、空間内の1,000,000点からなる点群の場合、この数値にカメラ台数（例えば光線数Ｍ＝100）を乗算した1,000,000×100=100,000,000個のアドレスに対し、方向（360×180＝64,800≒65,536のため、１６ビット値）及び画素値（例えば２４ビット値）からなる４０ビット値を記録する必要がある。この場合に必要なメモリ容量は、4.0×10⁹ビットである。

【0088】

このように、従来技術によるデータ量は1.5552×10¹²ビットであるのに対し、本発明の実施形態によるデータ量は4.0×10⁹ビットである。したがって、本発明の実施形態において、カメラ台数が極端に多くない場合（例えば１００台程度の場合）には、データ削減効果が顕著となる。この例ではデータ量は1/388.8倍となる。

【0089】

〔レンダリング装置〕
次に、本発明の実施形態によるレンダリング装置について説明する。図５は、本発明の実施形態によるレンダリング装置の構成例を示すブロック図である。

【0090】

このレンダリング装置２は、図１に示した被写体モデル化装置１により生成された光線情報付き点群Ｋ、及び仮想カメラ５のカメラパラメータｐを入力する。そして、レンダリング装置２は、光線情報付き点群Ｋ及びカメラパラメータｐに基づいて、カメラパラメータｐで示される仮想カメラ５で観測したときのコンピュータグラフィクス（ＣＧ）画像を生成し、これを合成画像Ｊとして出力する。

【0091】

図５に示すように、レンダリング装置２は、第一カウンタ２０、構成点選択部２１、方向ベクトル演算部（方向演算部）２２、投影部２３、第二カウンタ２４、光線選択部２５、重み値演算部２６、画素値合成部２７及び画像生成部２８を備えている。

【0092】

第一カウンタ２０は、光線情報付き点群Ｋの各構成点を順次選択するためのインデックスｎを生成するために、１からＮまで順番にカウントし、カウント値をインデックスｎとして構成点選択部２１及び画像生成部２８に出力する。

【0093】

構成点選択部２１は、図１に示した被写体モデル化装置１により生成された光線情報付き点群Ｋ＝｛（Ｑ₁，Ｌ₁），・・・，（Ｑ_N，Ｌ_N）｝を入力すると共に、第一カウンタ２０からインデックスｎを入力する。そして、構成点選択部２１は、光線情報付き点群Ｋ＝｛（Ｑ₁，Ｌ₁），・・・，（Ｑ_N，Ｌ_N）｝から、インデックスｎに対応するｎ番目の構成点の成分（Ｑ_n，Ｌ_n）を選択する。構成点選択部２１は、構成点位置Ｑ_nを方向ベクトル演算部２２及び投影部２３に出力すると共に、観測光線情報Ｌ_nを光線選択部２５に出力する。

【0094】

方向ベクトル演算部２２は、構成点選択部２１から構成点位置Ｑ_nを入力すると共に、仮想カメラ５のカメラパラメータｐを入力する。カメラパラメータｐには、カメラ位置Ｗが含まれるものとする。

【0095】

方向ベクトル演算部２２は、以下の式にて、構成点位置Ｑ_nからカメラ位置Ｗに至る光線の方向を示す仮想方向情報である単位方向ベクトル（以下、「方向ベクトル」という。）Γ_nを演算し、方向ベクトルΓ_nを重み値演算部２６に出力する。

【数7】

【0096】

投影部２３は、構成点選択部２１から構成点位置Ｑ_nを入力すると共に、仮想カメラ５のカメラパラメータｐを入力する。そして、投影部２３は、以下の式にて、カメラパラメータｐを用いて構成点位置Ｑ_nを画像座標ｑ_nに投影し、画像座標ｑ_nを画像生成部２８に出力する。

【数8】

【0097】

つまり、投影部２３は、カメラパラメータｐを用いて、世界座標上のｎ番目の構成点を、仮想カメラ５により撮影される画像（合成画像Ｊ）の画像座標上へ投影することで、構成点位置Ｑ_nを画像座標ｑ_nに変換する。

【0098】

第二カウンタ２４は、観測光線情報Ｌ_nから方向ベクトルΛ_m,n及び画素値Ｖ_m,nを順次選択すると共に、画素値Ｖ_m,nと重み値β_m,nとを順次対応付けるためのインデックスｍを生成するために、１からＭまで順番にカウントする。そして、第二カウンタ２４は、カウント値をインデックスｍとして光線選択部２５及び画素値合成部２７に出力する。

【0099】

光線選択部２５は、構成点選択部２１から観測光線情報Ｌ_nを入力すると共に、第二カウンタ２４からインデックスｍを入力する。そして、光線選択部２５は、観測光線情報Ｌ_nからインデックスｍに対応するｍ番目の成分（前記式（４）に示した観測光線情報Ｌ_nの場合、第ｍ列を構成する列ベクトルの成分（Λ_m,n，Ｖ_m,n））を選択する。光線選択部２５は、方向ベクトルΛ_m,nの単位ベクトル（以下、説明の便宜上、方向ベクトルΛ_m,nとして説明する。）を重み値演算部２６に出力すると共に、画素値Ｖ_m,nを画素値合成部２７に出力する。

【0100】

尚、光線選択部２５は、前記式（５）に示した観測光線情報Ｌ_nの場合、観測光線情報Ｌ_nからインデックスｍに対応するｍ番目の成分（第ｍ列を構成する列ベクトルの成分（φ_m,n，θ_m,n，Ｖ_m,n））を選択する。

【0101】

光線選択部２５は、以下の式にて、方位角φ_m,n及び仰角θ_m,nを方向ベクトルΛ_m,nに変換し、方向ベクトルΛ_m,nを重み値演算部２６に出力すると共に、画素値Ｖ_m,nを画素値合成部２７に出力する。

【数9】

【0102】

重み値演算部２６は、光線選択部２５から方向ベクトルΛ_m,nを入力すると共に、方向ベクトル演算部２２から方向ベクトルΓ_nを入力する。そして、重み値演算部２６は、方向ベクトルΛ_m,n及び方向ベクトルΓ_nに基づいて、方向ベクトルΛ_m,nと方向ベクトルΓ_nとの間の成す角が狭いほど、大きい値の重み値β_m,nを演算にて求め、当該成す角が広いほど、小さい値の重み値β_m,nを演算にて求める。重み値演算部２６は、例えば方向ベクトルΛ_m,nと方向ベクトルΓ_nとの間の成す角の絶対値に対し、広義単調減少関数を適用することで、重み値β_m,nを求める。

【0103】

レンダリング時には、図１に示した被写体モデル化装置１により光線情報付き点群Ｋが生成された際に活用したカメラのうち、できる限り仮想カメラ５の仮想視点に近い方向のカメラによって観測された画素値Ｖ_m,nを利用することが好ましい。このため、重み値β_m,nとしては、方向ベクトルΛ_m,nと方向ベクトルΓ_nの成す角α_m,nが狭いほど、小さくない値を設定することが好ましい。

【0104】

そこで、重み値演算部２６は、例えば以下の式のように、単位方向ベクトルである方向ベクトルΛ_m,n及び方向ベクトルΓ_nの内積（すなわち、cosα_m,n）の関数ｆを用いて、重み値β_m,nを演算するようにしてもよい。

【数10】

ここで、関数ｆは、内積に対する広義単調増加関数とする。

【0105】

例えば、以下の式に示す関数ｆを用いるようにしてもよい。

【数11】

【数12】

ここで、ｓは正の実定数とする。

【0106】

前記式（１１）及び前記式（１２）において、定数ｓが大きいほど、方向の揃った（角α_m,nが狭い）方向ベクトルΛ_m,n及び方向ベクトルΓ_nの組み合わせがより重視されるようになる。つまり、当該方向ベクトルΛ_m,nに対応する画素値Ｖ_m,nが合成画像Ｊに反映されるようになる。定数ｓは、例えば１以上１００以下程度が好ましい。

【0107】

また、重み値演算部２６は、定数ｓの代わりに、観測光線情報Ｌ_nの光線数Ｍに応じて変化する変数ｓを用いるようにしてもよい。合成画像Ｊは、観測光線情報Ｌ_nの光線数Ｍが多いほど、より方向の揃った方向ベクトルΛ_m,n及び方向ベクトルΓ_nの組み合わせだけに集中した方が、最終的に鮮明となる傾向にある。

【0108】

このため、重み値演算部２６は、光線数Ｍが大きいほど、大きい値の変数ｓを設定し、光線数Ｍが小さいほど、小さい値の変数ｓを設定する（または、光線数Ｍに等しい値の変数ｓを設定する）。そして、重み値演算部２６は、前記式（１１）または前記式（１２）の関数ｆを用いて前記式（１０）にて、重み値β_m,nを演算する。

【0109】

また、重み値演算部２６は、以下の式にて、方向ベクトルΓ_nについて、方向ベクトルΛ_1,n，・・・，Λ_M,nの中から、内積値が最大となるものだけを選択するように、重み値β_m,nを演算するようにしてもよい。

【数13】

【0110】

画素値合成部２７は、第二カウンタ２４からインデックスｍを、光線選択部２５から画素値Ｖ_m,nを、重み値演算部２６から重み値β_m,nをそれぞれ入力する。

【0111】

画素値合成部２７は、インデックスｎについて、インデックスｍの画素値Ｖ_m,n及び重み値β_m,nを対応付けながら、全ての画素値Ｖ_1,n，・・・，Ｖ_M,nに対して全ての重み値β_1,n，・・・，β_M,nを用いた重み付けを行う。そして、画素値合成部２７は、全てのインデックスｍについての重み付け結果を合成し、代表値Ｕ_nを求める。そして、画素値合成部２７は、代表値Ｕ_nを画像生成部２８に出力する。

【0112】

例えば画素値合成部２７は、以下の式にて、重み付き平均値を代表値Ｕ_nとして算出する。

【数14】

【0113】

また、画素値合成部２７は、重み値β_m,nに応じて画素値Ｖ_m,nを再サンプリングし（例えば、重み値β_m,nが大きいほど画素値Ｖ_m,nのサンプル数を増やし）、再サンプリング後の画素値サンプル列の中央値を代表値Ｕ_nとして求めるようにしてもよい。

【0114】

画像生成部２８は、第一カウンタ２０からインデックスｎを、投影部２３から画像座標ｑ_nを、画素値合成部２７から代表値Ｕ_nをそれぞれ入力する。そして、画像生成部２８は以下の式にて、全てのインデックスｎについて、代表値Ｕ_nを画像座標ｑ_nに配置する操作を繰り返して行い、合成画像Ｊを生成して出力する。

【数15】

【0115】

尚、画像生成部２８は、インデックスｎについて、画像座標ｑ_nが合成画像Ｊの画像外にある場合、または、投影部２３にて前記式（８）により画像座標ｑ_nが求められなかった場合（例えば、構成点位置Ｑ_nが仮想カメラ５の後ろ側にある場合）、当該インデックスｎの代表値Ｕ_nを画像座標ｑ_nに配置する処理をスキップするようにしてもよい。

【0116】

また、画像生成部２８は、画像座標ｑ_nの成分が非整数値である場合、その値を整数に丸めた後に、前記式（１５）にて、インデックスｎの代表値Ｕ_nを画像座標ｑ_nに配置する操作を行うようにしてもよい。

【0117】

また、画像生成部２８は、インデックスｎの代表値Ｕ_nを、画像座標ｑ_nの周囲の画素に波及させて補間処理を行うようにしてもよい。さらには、画像生成部２８は、最終的に出力する合成画像Ｊの解像度よりも高い解像度にて仮の合成画像を生成し（オーバサンプリングし）、この仮の合成画像を補間及び縮小することによって、最終的に出力する合成画像Ｊを生成するようにしてもよい。

【0118】

（処理）
次に、図５に示したレンダリング装置２の処理の流れについて詳細に説明する。図６は、レンダリング装置２の処理例を示すフローチャートであり、図７は、レンダリング装置２の処理例を説明する概念図である。

【0119】

図７において、被写体３の形状が反映された点群のうち、ｎ番目の構成点の構成点位置Ｑ_nについて、代表値Ｕ_nが仮想カメラ５により撮影される合成画像Ｊ内の画像座標ｑ_nに配置されるものとする。

【0120】

カメラ４－１，４－ｍ，４－Ｍのカメラパラメータｐ₁，ｐ_m，ｐ_M及びカメラ位置Ｗ₁，Ｗ_m，Ｗ_M、並びに画像Ｉ₁，Ｉ_m，Ｉ_M、画像座標ξ_1,n，ξ_m,n，ξ_M,n、画素値Ｖ_1,n，Ｖ_m,n，Ｖ_M,n及び方向ベクトルΛ_1,n，Λ_m,n，Λ_M,nについては、図３と同様である。

【0121】

まず、第一カウンタ２０は、１をカウント値としたインデックスｎ＝１を生成する（ステップＳ６０１、ｎ←１）。そして、構成点選択部２１は、光線情報付き点群Ｋから、インデックスｎに対応するｎ番目の構成点の構成点位置Ｑ_n及び観測光線情報Ｌ_nを選択する（ステップＳ６０２）。

【0122】

図７に示すように、被写体３の形状が反映された点群のうち、ｎ番目の構成点の構成点位置Ｑ_nが選択されると共に、図示しない観測光線情報Ｌ_nである方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nが選択される。

【0123】

方向ベクトル演算部２２は、構成点位置Ｑ_nからカメラ位置Ｗに至る方向ベクトルΓ_nを演算し（ステップＳ６０３）、投影部２３は、カメラパラメータｐを用いて構成点位置Ｑ_nを画像座標ｑ_nに投影する（ステップＳ６０４）。

【0124】

図７に示すように、被写体３の構成点位置Ｑ_nから仮想カメラ５のカメラ位置Ｗに至る方向ベクトルΓ_nが得られ、合成画像Ｊ内の画像座標ｑ_nが得られる。

【0125】

第二カウンタ２４は、１をカウント値としたインデックスｍを生成する（ステップＳ６０５、ｍ←１）。そして、光線選択部２５は、観測光線情報Ｌ_nから、インデックスｍの方向ベクトルΛ_m,n及び画素値Ｖ_m,nを選択し（ステップＳ６０６）、重み値演算部２６は、方向ベクトルΛ_m,n及び方向ベクトルΓ_nから重み値β_m,nを演算する（ステップＳ６０７）。

【0126】

図７に示すように、インデックスｍ＝１の場合、観測光線情報Ｌ₁から方向ベクトルΛ_1,n及び画素値Ｖ_1,nが選択され、インデックスｍ＝Ｍの場合、観測光線情報Ｌ_Mから方向ベクトルΛ_M,n及び画素値Ｖ_M,nが選択される。つまり、インデックスｍの場合、観測光線情報Ｌ_mから方向ベクトルΛ_m,n及び画素値Ｖ_m,nが選択される。

【0127】

第二カウンタ２４は、インデックスｍが光線数Ｍ未満であるか否かを判定する（ステップＳ６０８）。第二カウンタ２４は、ステップＳ６０８において、インデックスｍが光線数Ｍ未満であると判定した場合（ステップＳ６０８：Ｙ）、インデックスｍに１を加算し（ステップＳ６０９、ｍ←ｍ＋１）、ステップＳ６０６へ移行する。これにより、インデックスｍについて、ステップＳ６０６，Ｓ６０７の処理が行われる。

【0128】

一方、第二カウンタ２４は、ステップＳ６０８において、インデックスｍが光線数Ｍ未満でないと判定した場合（ステップＳ６０８：Ｎ）、ステップＳ６１０へ移行する。

【0129】

この場合、インデックスｎ（最初はｎ＝１）及び全てのインデックスｍ＝１，・・・，Ｍについて、ステップＳ６０６，Ｓ６０７の処理により、画素値Ｖ_1,n，・・・，Ｖ_M,n及び重み値β_1,n，・・・，β_M,nが得られる。

【0130】

画素値合成部２７は、ステップＳ６０８（Ｎ）から移行して、インデックスｎについて、全てのインデックスｍの画素値Ｖ_1,n，・・・，Ｖ_M,nに対し、対応する重み値β_1,n，・・・，β_M,nを用いて重み付け合成し、代表値Ｕ_nを求める（ステップＳ６１０）。

【0131】

第一カウンタ２０は、インデックスｎが構成点数Ｎ未満であるか否かを判定する（ステップＳ６１１）。第一カウンタ２０は、ステップＳ６１１において、インデックスｎが構成点数Ｎ未満であると判定した場合（ステップＳ６１１：Ｙ）、インデックスｎに１を加算し（ステップＳ６１２、ｎ←ｎ＋１）、ステップＳ６０２へ移行する。これにより、インデックスｎについて、ステップＳ６０２～Ｓ６１０の処理が行われる。

【0132】

一方、第一カウンタ２０は、ステップＳ６１１において、インデックスｎが構成点数Ｎ未満でないと判定した場合（ステップＳ６１１：Ｎ）、ステップＳ６１３へ移行する。この場合、全てのインデックスｎ＝１，・・・，Ｎについて、ステップＳ６０２～Ｓ６１０の処理により、画像座標ｑ₁，・・・，ｑ_N及び代表値Ｕ₁，・・・，Ｕ_Nが得られる。

【0133】

画像生成部２８は、ステップＳ６１１（Ｎ）から移行して、全てのインデックスｎについて、代表値Ｕ₁，・・・，Ｕ_Nを対応する画像座標ｑ₁，・・・，ｑ_Nに配置し、合成画像Ｊを生成する（ステップＳ６１３）。

【0134】

以上のように、本発明の実施形態のレンダリング装置２によれば、構成点選択部２１は、図１に示した被写体モデル化装置１により生成された光線情報付き点群Ｋから、インデックスｎの構成点位置Ｑ_n及び観測光線情報Ｌ_nを選択する。また、方向ベクトル演算部２２は、構成点位置Ｑ_nから仮想カメラ５のカメラ位置Ｗに至る方向ベクトルΓ_nを演算する。

【0135】

投影部２３は、カメラパラメータｐを用いて構成点位置Ｑ_nを画像座標ｑ_nに投影する。これにより、全てのインデックスｎについて、画像座標ｑ₁，・・・，ｑ_Nが得られる。

【0136】

光線選択部２５は、観測光線情報Ｌ_nからインデックスｍの方向ベクトルΛ_m,n及び画素値Ｖ_m,nを選択し、重み値演算部２６は、方向ベクトルΛ_m,n及び方向ベクトルΓ_nに基づいて、重み値β_m,nを演算する。

【0137】

これにより、インデックスｎ及び全てのインデックスｍについて、画素値Ｖ_1,n，・・・，Ｖ_M,n及び重み値β_1,n，・・・，β_M,nが得られる。

【0138】

画素値合成部２７は、インデックスｎについて、全てのインデックスｍの画素値Ｖ_1,n，・・・，Ｖ_M,nに対し重み値β_1,n，・・・，β_M,nを用いて重み付け合成し、代表値Ｕ_nを求める。これにより、全てのインデックスｎについて、代表値Ｕ₁，・・・，Ｕ_Nが得られる。

【0139】

画像生成部２８は、全てのインデックスｎについて、代表値Ｕ₁，・・・，Ｕ_Nを画像座標ｑ₁，・・・，ｑ_Nに配置し、合成画像Ｊを生成する。

【0140】

これにより、仮想カメラ５のカメラ位置Ｗである仮想視点と点群の各構成点の相対位置から演算される方向ベクトルΓ_n及び各構成点に付随する光線の方向ベクトルΛ_m,nに応じた重み付けにおいて、光線を補間しつつ合成画像Ｊを生成することができる。つまり、被写体モデル化装置１により生成された光線情報付き点群Ｋを用いて、視点を変えて観視した合成画像Ｊを生成することができる。

【0141】

合成画像Ｊが生成される際には、被写体３の形状が反映された各構成点の構成点位置Ｑ_nと、構成点に対し複数のカメラ４の視点を基準にして得られた方向ベクトルΛ_m,n及び画素値Ｖ_m,nの観測光線情報Ｌ_nとからなる光線情報付き点群Ｋが使用される。

【0142】

前述の非特許文献１の手法においては、レンダリング結果には、テクスチャ画像の切り替えに伴う空間的及び時間的な画素値の不連続が生じる。これに対し、本発明の実施形態では、レンダリングのために、複数の視点を基準とした方向ベクトルΛ_m,n及び画素値Ｖ_m,nが用いられるため、レンダリング結果には、空間的及び時間的な画素値の不連続が生じることはない。

【0143】

したがって、複数の光線を切り替えながら画像を生成する際に問題となる空間的及び時間的な不連続を回避することができ、結果として、アーチファクトの少ない視点依存のレンダリングを実現すると共に、自然な質感を呈するレンダリング結果を得ることができる。

【0144】

尚、レンダリング装置２は、Ｚバッファ法を用いて、合成画像Ｊを生成するようにしてもよい。Ｚバッファ法は、点群を構成する各構成点を順次画像面に投影し、その像を重ね合わせて画像を構成する方法において、カメラ位置から構成点までの距離（または奥行き値（Ｚ値））を記録するＺバッファを併用するものである。

【0145】

構成点の像を画像上に重ね合わせる際に、当該像の画素位置に既に記録されているＺ値と、重ね合わせようとする構成点のＺ値とを比較し、重ね合わせようとする構成点のＺ値の方が小さい場合または両Ｚ値が等しい場合に、重ね合わせようとする構成点の画素値を上書きするものである。

【0146】

具体的には、図５に示したレンダリング装置２において、投影部２３は、画像座標ｑ_nに加え、以下の式にて、カメラパラメータｐに含まれるカメラ位置Ｗから構成点位置Ｑ_nまでの間の距離ｄ_nを求める。そして、投影部２３は、画像座標ｑ_n及び距離ｄ_nを画像生成部２８に出力する。

【数16】

この場合、投影部２３は、距離ｄ_nに代えて奥行き（デプス）値を求め、画像座標ｑ_n及び奥行き値を画像生成部２８に出力するようにしてもよい。

【0147】

画像生成部２８は、第一カウンタ２０からインデックスｎを、投影部２３から画像座標ｑ_n及び距離ｄ_nを、画素値合成部２７から代表値Ｕ_nをそれぞれ入力する。画像生成部２８は、全てのインデックスｎについて、画像座標ｑ₁，・・・，ｑ_N及び距離ｄ₁，・・・，ｄ_Nと代表値Ｕ₁，・・・，Ｕ_Nとを対応付けながら、以下の式にて、合成画像Ｊを求める。

【数17】

Ｊ⁽ⁿ⁾及びＺ⁽ⁿ⁾は、それぞれインデックスｎ＝１の１番目の構成点からインデックスｎのｎ番目の構成点までの間で重ね合わせたときの仮の合成画像及びＺバッファである。

【0148】

画像生成部２８は、まず、前記式（１７－１）のとおり、Ｚバッファの初期値Ｚ⁽⁰⁾を全て無限大に設定し、仮の合成画像の初期値Ｊ⁽⁰⁾を任意の値（例えば０）に設定する。

【0149】

画像生成部２８は、前記式（１７－２）のとおり、既にＺバッファに記録されている当該画像座標ｑ_nにおけるＺ値Ｚ^(n-1)（ｑ_n）と距離ｄ_nとを比較する。そして、画像生成部２８は、距離ｄ_nの方が小さい場合、代表値Ｕ_nを当該画像座標ｑ_nにおける仮の合成画像の画素値Ｊ⁽ⁿ⁾（ｑ_n）に設定する。一方、画像生成部２８は、距離ｄ_nの方が小さくない場合、ｎ－１番目の画素値Ｊ^(n-1)（ｑ_n）をそのまま画素値Ｊ⁽ⁿ⁾（ｑ_n）に維持（コピー）する。

【0150】

画像生成部２８は、前記式（１７－３）のとおり、既にＺバッファに記録されている当該画像座標ｑ_nにおけるＺ値Ｚ^(n-1)（ｑ_n）と距離ｄ_nとを比較する。そして、画像生成部２８は、距離ｄ_nの方が小さい場合、距離ｄ_nを当該画像座標ｑ_nにおけるＺ値Ｚ⁽ⁿ⁾（ｑ_n）に設定する。一方、画像生成部２８は、距離ｄ_nの方が小さくない場合、ｎ－１番目のＺ値Ｚ^(n-1)（ｑ_n）をそのままＺ値Ｚ⁽ⁿ⁾（ｑ_n）に維持（コピー）する。

【0151】

画像生成部２８は、前記式（１７－４）のとおり、画像座標ｑ_n以外の画像座標ｘについて、画素値Ｊ⁽ⁿ⁾（ｘ）及びＺ値Ｚ⁽ⁿ⁾（ｘ）共に、ｎ－１番目の各値をそのまま維持（コピー）する。

【0152】

画像生成部２８は、最後に、前記式（１７－５）のとおり、全てのインデックスｎ＝１，・・・，Ｎの（Ｎ個の）構成点に対し前記式（１７－２）～前記式（１７－４）を適用することで、最終結果である仮の合成画像Ｊ^(N)（ｘ）を求め、これを合成画像Ｊとする。

【0153】

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

【0154】

例えば、図１に示した被写体モデル化装置１の画素値選択部１７は、画像Ｉ_mから画像座標ξ_m,nの画素値Ｖ_m,nを選択し、第一多重化部１８は、方向ベクトルΛ_1,n，・・・，Λ_M,n及び画素値Ｖ_1,n，・・・，Ｖ_M,nを多重化して観測光線情報Ｌ_nを求めるようにした。この場合の画素値Ｖ_m,nは、画像Ｉ_mを構成する画素の振幅方向の値である。画素値Ｖ_m,nは、ＲＧＢ値等の色情報であってもよく、赤外線強度、または距離センサにより測定された距離の値であってもよい。図５に示したレンダリング装置２についても同様である。

【0155】

尚、本発明の実施形態による被写体モデル化装置１及びレンダリング装置２のハードウェア構成としては、通常のコンピュータを使用することができる。被写体モデル化装置１及びレンダリング装置２は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

【0156】

被写体モデル化装置１に備えた第一カウンタ１０、構成点選択部１１、第二カウンタ１２、パラメータ選択部１３、画像選択部１４、方向ベクトル演算部１５、投影部１６、画素値選択部１７、第一多重化部１８及び第二多重化部１９の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。

【0157】

また、レンダリング装置２に備えた第一カウンタ２０、構成点選択部２１、方向ベクトル演算部２２、投影部２３、第二カウンタ２４、光線選択部２５、重み値演算部２６、画素値合成部２７及び画像生成部２８の各機能も、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。

【0158】

また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

【符号の説明】

【0159】

１ 被写体モデル化装置
２ レンダリング装置
３ 被写体
４ カメラ
５ 仮想カメラ
１０，２０ 第一カウンタ
１１，２１ 構成点選択部
１２，２４ 第二カウンタ
１３ パラメータ選択部
１４ 画像選択部
１５，２２ 方向ベクトル演算部（方向演算部）
１６，２３ 投影部
１７ 画素値選択部
１８ 第一多重化部
１９ 第二多重化部
２５ 光線選択部
２６ 重み値演算部
２７ 画素値合成部
２８ 画像生成部
１０１ 構成点
ｎ，ｍ インデックス
Ｎ 構成点数
Ｍ 光線数（画像枚数、カメラ台数）
Ｑ_n 構成点位置
ｐ_m，ｐ カメラパラメータ
Ｗ_m，Ｗ カメラ位置
Ｉ_m 画像
Ｊ 合成画像
Λ_m,n，Γ_n 方向ベクトル
ξ_m,n，ｑ_n 画像座標
Ｖ_m,n 画素値
Ｕ_n 代表値
Ｌ_n 観測光線情報
Ｋ 光線情報付き点群
β_m,n 重み値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】