知財求人 - 知財ポータルサイト「IP Force」
特開2022-35153分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022035153
(43)【公開日】2022-03-04
(54)【発明の名称】分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラム
(51)【国際特許分類】
G06T 15/04 20110101AFI20220225BHJP
G06T 15/80 20110101ALI20220225BHJP
【ＦＩ】
G06T15/04
G06T15/80
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2020139273
(22)【出願日】2020-08-20
(71)【出願人】
【識別番号】000003193
【氏名又は名称】凸版印刷株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100139686
【弁理士】
【氏名又は名称】鈴木 史朗
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(74)【代理人】
【識別番号】100147267
【弁理士】
【氏名又は名称】大槻 真紀子
(72)【発明者】
【氏名】高橋 諄丞
(72)【発明者】
【氏名】酒井 修二
(72)【発明者】
【氏名】渡邉 隆史
【テーマコード（参考）】
5B080
【Ｆターム（参考）】
5B080AA13
5B080AA19
5B080BA02
5B080BA04
5B080DA06
5B080FA02
5B080GA11
5B080GA22
(57)【要約】
【課題】ハイパースペクトルカメラより安価な撮像装置の撮像画像で、対象物体の分光反射率を反映したテクスチャ画像を簡易に生成できる分光テクスチャ画像生成システムを提供する。
【解決手段】本発明は、対象物体の分光反射率の４バンド以上の、三次元形状モデルの分光テクスチャ画像を多視点画像から生成するシステムであり、対象物体を異なる視点及び分光感度の撮像装置で撮像した多視点画像を、分光感度が同一の分光感度グループに分類する多視点画像分類部と、所定の視点の多視点画像を基準画像とし、基準画像と異なる分光感度の他の多視点画像を、基準画像の視点における仮想多視点画像とする仮想多視点画像生成部と、基準画像と仮想多視点画像から４バンド以上の分光反射スペクトルを推定し、分光反射スペクトルに対応する分光画像を生成する分光画像生成部と、分光画像から分光テクスチャ画像を生成する分光テクスチャ画像生成部とを備える。
【選択図】図１
【解決手段】本発明は、対象物体の分光反射率の４バンド以上の、三次元形状モデルの分光テクスチャ画像を多視点画像から生成するシステムであり、対象物体を異なる視点及び分光感度の撮像装置で撮像した多視点画像を、分光感度が同一の分光感度グループに分類する多視点画像分類部と、所定の視点の多視点画像を基準画像とし、基準画像と異なる分光感度の他の多視点画像を、基準画像の視点における仮想多視点画像とする仮想多視点画像生成部と、基準画像と仮想多視点画像から４バンド以上の分光反射スペクトルを推定し、分光反射スペクトルに対応する分光画像を生成する分光画像生成部と、分光画像から分光テクスチャ画像を生成する分光テクスチャ画像生成部とを備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、
前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成部と、
前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部と
を備えることを特徴とする分光テクスチャ画像生成システム。
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、
前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成部と、
前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部と
を備えることを特徴とする分光テクスチャ画像生成システム。
【請求項2】
前記分光テクスチャ画像生成部が、
前記分光反射スペクトルのバンド数よりも少ないバンド数の前記分光画像の各々のテクスチャ画像のそれぞれを生成し、当該テクスチャ画像の各々により前記分光テクスチャ画像を生成する
ことを特徴とする請求項１に記載の分光テクスチャ画像生成システム。
前記分光反射スペクトルのバンド数よりも少ないバンド数の前記分光画像の各々のテクスチャ画像のそれぞれを生成し、当該テクスチャ画像の各々により前記分光テクスチャ画像を生成する
ことを特徴とする請求項１に記載の分光テクスチャ画像生成システム。
【請求項3】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、
前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成部と、
前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部と
を備えることを特徴とする分光テクスチャ画像生成システム。
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、
前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成部と、
前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部と
を備えることを特徴とする分光テクスチャ画像生成システム。
【請求項4】
前記テクスチャ画像生成部が、
いずれかの前記分光感度における前記テクスチャ画像を生成する際、当該テクスチャ画像の二次元座標系におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ領域のそれぞれを張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルを生成し、当該ルックアップテーブルを参照し、前記ポリゴンの頂点座標と前記テクスチャ座標との対応が同様の他の分光感度におけるテクスチャ画像を生成する
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
いずれかの前記分光感度における前記テクスチャ画像を生成する際、当該テクスチャ画像の二次元座標系におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ領域のそれぞれを張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルを生成し、当該ルックアップテーブルを参照し、前記ポリゴンの頂点座標と前記テクスチャ座標との対応が同様の他の分光感度におけるテクスチャ画像を生成する
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
【請求項5】
前記テクスチャ画像を再構成するテクスチャ画像再構成部をさらに備え、
前記テクスチャ画像生成部が、
前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、
前記テクスチャ画像再構成部が、いずれかの前記テクスチャ画像を基準テクスチャ画像とし、他の前記テクスチャ画像における前記ポリゴンの頂点座標と前記テクスチャ座標との対応を、前記基準テクスチャ画像のルックアップテーブルにおける前記ポリゴンの頂点座標と前記テクスチャ座標との対応に一致させる再構成を行う
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
前記テクスチャ画像生成部が、
前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、
前記テクスチャ画像再構成部が、いずれかの前記テクスチャ画像を基準テクスチャ画像とし、他の前記テクスチャ画像における前記ポリゴンの頂点座標と前記テクスチャ座標との対応を、前記基準テクスチャ画像のルックアップテーブルにおける前記ポリゴンの頂点座標と前記テクスチャ座標との対応に一致させる再構成を行う
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
【請求項6】
前記テクスチャ画像生成部が、
前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、
分光テクスチャ画像生成部が、
前記ルックアップテーブルの各々を参照し、当該ルックアップテーブルのそれぞれにおける前記頂点座標に対応させて、前記テクスチャ画像の各々のテクスチャ領域における画素の対応付けを行い、対応付けられた当該画素の各々により分光反射スペクトルを推定し、前記分光テクスチャ画像を生成する
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、
分光テクスチャ画像生成部が、
前記ルックアップテーブルの各々を参照し、当該ルックアップテーブルのそれぞれにおける前記頂点座標に対応させて、前記テクスチャ画像の各々のテクスチャ領域における画素の対応付けを行い、対応付けられた当該画素の各々により分光反射スペクトルを推定し、前記分光テクスチャ画像を生成する
ことを特徴とする請求項３に記載の分光テクスチャ画像生成システム。
【請求項7】
前記分光テクスチャ画像の各々の波長のバンドを、画像表示装置が表示可能な波長のバンドに変換して、前記画像表示装置に表示する可視化用テクスチャ画像を生成する可視化用テクスチャ画像生成部をさらに備える
ことを特徴とする請求項１から請求項６のいずれかに記載の分光テクスチャ画像生成システム。
ことを特徴とする請求項１から請求項６のいずれかに記載の分光テクスチャ画像生成システム。
【請求項8】
前記可視化用テクスチャ画像生成部が、
前記分光テクスチャ画像における波長の各々の分光反射スペクトルと、任意の光源の分光分布と、前記画像表示装置が表示可能な波長のバンドの各々に対応した分光感度とを用い、当該バンドの各々の画素値それぞれを求めて当該画像表示装置に表示する前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
前記分光テクスチャ画像における波長の各々の分光反射スペクトルと、任意の光源の分光分布と、前記画像表示装置が表示可能な波長のバンドの各々に対応した分光感度とを用い、当該バンドの各々の画素値それぞれを求めて当該画像表示装置に表示する前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
【請求項9】
前記可視化用テクスチャ画像生成部が、
前記分光テクスチャ画像の任意の波長のバンドの各々を、前記画像表示装置が表示可能な波長のバンドのそれぞれに対応させて前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
前記分光テクスチャ画像の任意の波長のバンドの各々を、前記画像表示装置が表示可能な波長のバンドのそれぞれに対応させて前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
【請求項10】
前記可視化用テクスチャ画像生成部が、
前記分光テクスチャ画像の画素値範囲を、前記画像表示装置の表示可能な波長のバンドの画素値範囲を連結した画素値連結範囲に拡張し、任意の前記分光テクスチャ画像の画素値を前記画素値連結範囲に対応して補正した補正画素値として、前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
前記分光テクスチャ画像の画素値範囲を、前記画像表示装置の表示可能な波長のバンドの画素値範囲を連結した画素値連結範囲に拡張し、任意の前記分光テクスチャ画像の画素値を前記画素値連結範囲に対応して補正した補正画素値として、前記可視化用テクスチャ画像を生成する
ことを特徴とする請求項７に記載の分光テクスチャ画像生成システム。
【請求項11】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、
多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、
分光画像生成部が、前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成過程と、
分光テクスチャ画像生成部が、前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程と
を備えることを特徴とする分光テクスチャ画像生成方法。
多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、
分光画像生成部が、前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成過程と、
分光テクスチャ画像生成部が、前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程と
を備えることを特徴とする分光テクスチャ画像生成方法。
【請求項12】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、
多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、
テクスチャ画像生成部が、前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成過程と、
分光テクスチャ画像生成部が、前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程と
を備えることを特徴とする分光テクスチャ画像生成方法。
多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、
仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、
テクスチャ画像生成部が、前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成過程と、
分光テクスチャ画像生成部が、前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程と
を備えることを特徴とする分光テクスチャ画像生成方法。
【請求項13】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、
前記コンピュータを、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、
前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成手段、
前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段
として機能させるためのプログラム。
前記コンピュータを、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、
前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成手段、
前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段
として機能させるためのプログラム。
【請求項14】
多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、
前記コンピュータを、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、
前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成手段、
前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段
として機能させるためのプログラム。
前記コンピュータを、
前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、
前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、
前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成手段、
前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、三次元形状モデルに対してテクスチャマッピングを行なうテクスチャ画像を生成する分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムに関する。
【背景技術】
【0002】
多視点画像に基づく、対象物体の三次元形状モデルを生成する三次元形状復元技術は、コンピュータビジョンの研究コミュニティだけでなく、文化財のデジタルアーカイブやエンターテイメント産業など、幅広い分野で注目されている。
【0003】
多視点画像における撮像画像の各々において撮像された対象物体のシルエットや表面テクスチャの写り方の相違により、対象物体の三次元形状を復元する（例えば、特許文献１及び特許文献２参照）。
一般的に、このような多視点画像からの対象物体の三次元形状の復元では、復元された三次元形状モデルに対するテクスチャ画像を、多視点画像における視点画像中の対応する画素におけるＲＧＢ値（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅのそれぞれのチャンネルの画素値）や、多視点画像における対応する複数枚の視点画像の各々におけるＲＧＢ値の平均値などにより生成する。
一般的に、このような多視点画像からの対象物体の三次元形状の復元では、復元された三次元形状モデルに対するテクスチャ画像を、多視点画像における視点画像中の対応する画素におけるＲＧＢ値（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅのそれぞれのチャンネルの画素値）や、多視点画像における対応する複数枚の視点画像の各々におけるＲＧＢ値の平均値などにより生成する。
【0004】
しかしながら、市場に流通して市販される一般的な撮像装置（例えば、デジタルカメラなど）のＲＧＢ値は、対象物体を撮像する際における撮像環境の光源の分光分布や、撮像に利用する撮像装置の分光感度の特性の影響を受ける。
そのため、同一の対象物体を異なる光源下、あるいは異なる撮像装置で撮像した視点画像を用いて三次元形状モデルのテクスチャ画像の生成を行った場合、同一の対象物体であるにもかかわらず、対象物体の分光反射率を得ることができないため、光源やデジタルカメラによって異なる色で三次元形状モデルのテクスチャ画像が生成されてしまう。
そのため、同一の対象物体を異なる光源下、あるいは異なる撮像装置で撮像した視点画像を用いて三次元形状モデルのテクスチャ画像の生成を行った場合、同一の対象物体であるにもかかわらず、対象物体の分光反射率を得ることができないため、光源やデジタルカメラによって異なる色で三次元形状モデルのテクスチャ画像が生成されてしまう。
【0005】
一方で、多視点画像における視点画像間における撮像環境の光源の分光分布や、撮像における分光感度の違いの影響を受けずに、三次元形状復元を行う対象物体の色情報を取得するため、ハイパースペクトルカメラを用いる方法がある。
ハイパースペクトルカメラは、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報をピクセル毎に保持する画像であるハイパースペクトル画像を撮像することができる。
上述したハイパースペクトルカメラを用いて、対象物体の分光反射率（波長ごとの光の反射率）を取得することで、多視点画像の視点画像間における撮像環境の光源の分光分布や、撮像に用いデジタルカメラの分光感度の違いに依存しない色の表現が可能である。
ハイパースペクトルカメラは、数十～数百バンドに細かく波長を分光して各々の強度を示すスペクトル情報をピクセル毎に保持する画像であるハイパースペクトル画像を撮像することができる。
上述したハイパースペクトルカメラを用いて、対象物体の分光反射率（波長ごとの光の反射率）を取得することで、多視点画像の視点画像間における撮像環境の光源の分光分布や、撮像に用いデジタルカメラの分光感度の違いに依存しない色の表現が可能である。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１８－１８１０４７号公報
【特許文献2】特許第５０６８７３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、価格が高価であるという問題がある。
また、ハイパースペクトルカメラは、ハイパースペクトル画像を一枚撮像するために数十秒（場合によっては１分以上）の時間を要し、一枚を１秒以下で撮像できるデジタルカメラに比較して非常に長い。
このため、テクスチャ画像を生成するために多くの撮像画像を撮像するため、対象物体を撮像する際に、ハイパースペクトルカメラはデジタルカメラと比較して多くの時間を要する。例えば、対象物体の百枚以上の多視点画像を撮像するために、デジタルカメラは数分で終了するが、ハイパースペクトルカメラは数時間の作業時間が必要となる。
また、ハイパースペクトルカメラは、ハイパースペクトル画像を一枚撮像するために数十秒（場合によっては１分以上）の時間を要し、一枚を１秒以下で撮像できるデジタルカメラに比較して非常に長い。
このため、テクスチャ画像を生成するために多くの撮像画像を撮像するため、対象物体を撮像する際に、ハイパースペクトルカメラはデジタルカメラと比較して多くの時間を要する。例えば、対象物体の百枚以上の多視点画像を撮像するために、デジタルカメラは数分で終了するが、ハイパースペクトルカメラは数時間の作業時間が必要となる。
【0008】
さらに、ハイパースペクトルカメラは、ＲＧＢ画像を撮像する一般的なデジタルカメラと比較して、撮像される撮像画像の解像度が低いと言う問題がある。すなわち、ハイパースペクトルカメラで撮像した多視点画像から三次元形状モデルのテクスチャ画像の生成を行う場合、多視点画像における視点画像の解像度がテクスチャ画像の解像度に大きく影響する。
このため、対象物体の三次元形状モデルのテクスチャ画像を、デジタルカメラで撮像した画像で生成した場合と同様の解像度で生成することは、解像度の低いハイパースペクトルカメラではできない。
このため、対象物体の三次元形状モデルのテクスチャ画像を、デジタルカメラで撮像した画像で生成した場合と同様の解像度で生成することは、解像度の低いハイパースペクトルカメラではできない。
【0009】
上述した理由から、対象物体を復元した三次元形状モデルのテクスチャ画像を生成する多視点画像として、ハイパースペクトルカメラにより撮像するハイパースペクトル画像を用いることは難しい。このため、ハイパースペクトルカメラに対して価格がより安価であり、かつ短時間に多くの多視点画像を撮像する撮像装置により、簡易に対象物体の形状と分光反射率とを取得する技術が望まれている。
【0010】
本発明は、このような状況に鑑みてなされたもので、一般的なユーザが取得可能な市場に流通している、高価なハイパースペクトルカメラよりも安価な撮像装置の撮像画像により、対象物体の分光反射率を反映したテクスチャ画像を簡易に生成することができる分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムを提供する。
【課題を解決するための手段】
【0011】
上述した課題を解決するために、本発明の分光テクスチャ画像生成システムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成部と、前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部とを備えることを特徴とする。
【0012】
本発明の分光テクスチャ画像生成システムは、前記分光テクスチャ画像生成部が、前記分光反射スペクトルのバンド数よりも少ないバンド数の前記分光画像の各々のテクスチャ画像のそれぞれを生成し、当該テクスチャ画像の各々により前記分光テクスチャ画像を生成することを特徴とする。
【0013】
本発明の分光テクスチャ画像生成システムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムであり、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類部と、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成部と、前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成部と、前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成部とを備えることを特徴とする。
【0014】
本発明の分光テクスチャ画像生成システムは、前記テクスチャ画像生成部が、いずれかの前記分光感度における前記テクスチャ画像を生成する際、当該テクスチャ画像の二次元座標系におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ領域のそれぞれを張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルを生成し、当該ルックアップテーブルを参照し、前記ポリゴンの頂点座標と前記テクスチャ座標との対応が同様の他の分光感度におけるテクスチャ画像を生成することを特徴とする。
【0015】
本発明の分光テクスチャ画像生成システムは、前記テクスチャ画像を再構成するテクスチャ画像再構成部をさらに備え、前記テクスチャ画像生成部が、前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点の位置を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、前記テクスチャ画像再構成部が、いずれかの前記テクスチャ画像を基準テクスチャ画像とし、他の前記テクスチャ画像における前記ポリゴンの頂点座標と前記テクスチャ座標との対応を、前記基準テクスチャ画像のルックアップテーブルにおける前記ポリゴンの頂点座標と前記テクスチャ座標との対応に一致させる再構成を行うことを特徴とする。
【0016】
本発明の分光テクスチャ画像生成システムは、前記テクスチャ画像生成部が、前記分光感度の各々に対応するテクスチャ画像を生成し、また、当該テクスチャ画像の各々を生成する際、当該テクスチャ画像におけるテクスチャ領域の各々の頂点を示すテクスチャ座標と、当該テクスチャ画像を張り付ける三次元形状モデルのポリゴンの頂点の位置を示す頂点座標とが対応づけられたルックアップテーブルのそれぞれを生成し、分光テクスチャ画像生成部が、前記ルックアップテーブルの各々を参照し、当該ルックアップテーブルのそれぞれにおける前記頂点座標に対応させて、前記テクスチャ画像の各々のテクスチャ領域における画素の対応付けを行い、対応付けられた当該画素の各々により分光反射スペクトルを推定し、前記分光テクスチャ画像を生成することを特徴とする。
【0017】
本発明の分光テクスチャ画像生成システムは、前記分光テクスチャ画像の各々の波長のバンドを、画像表示装置が表示可能な波長のバンドに変換して、前記画像表示装置に表示する可視化用テクスチャ画像を生成する可視化用テクスチャ画像生成部をさらに備えることを特徴とする。
【0018】
本発明の分光テクスチャ画像生成システムは、前記可視化用テクスチャ画像生成部が、前記分光テクスチャ画像における波長の各々の分光反射スペクトルと、任意の光源の分光分布と、前記画像表示装置が表示可能な波長のバンドの各々に対応した分光感度とを用い、当該バンドの各々の画素値それぞれを求めて当該画像表示装置に表示する前記可視化用テクスチャ画像を生成することを特徴とする。
【0019】
本発明の分光テクスチャ画像生成システムは、前記可視化用テクスチャ画像生成部が、前記分光テクスチャ画像の任意の波長のバンドの各々を、前記画像表示装置が表示可能な波長のバンドのそれぞれに対応させて前記可視化用テクスチャ画像を生成することを特徴とする。
【0020】
本発明の分光テクスチャ画像生成システムは、前記可視化用テクスチャ画像生成部が、前記分光テクスチャ画像の画素値範囲を、前記画像表示装置の表示可能な波長のバンドの画素値範囲を連結した画素値連結範囲に拡張し、任意の前記分光テクスチャ画像の画素値を前記画素値連結範囲に対応して補正した補正画素値として、前記可視化用テクスチャ画像を生成することを特徴とする。
【0021】
本発明の分光テクスチャ画像生成方法は、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、分光画像生成部が、前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成過程と、分光テクスチャ画像生成部が、前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程とを含むことを特徴とする。
【0022】
本発明の分光テクスチャ画像生成方法は、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成方法であり、多視点画像分類部が、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類過程と、仮想多視点画像生成部が、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成過程と、テクスチャ画像生成部が、前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成過程と、分光テクスチャ画像生成部が、前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成過程とを含むことを特徴とする。
【0023】
本発明のプログラムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、前記基準画像と、当該基準画像と同一の前記視点の前記仮想多視点画像とから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、当該分光反射スペクトルの各々に対応する分光画像それぞれを生成する分光画像生成手段、前記分光画像により、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段として機能させるためのプログラムである。
【0024】
本発明のプログラムは、多視点画像から対象物体の三次元形状モデルのテクスチャ画像として、前記対象物体の分光反射率における４バンド以上の分光反射スペクトルに対応した分光テクスチャ画像を生成する分光テクスチャ画像生成システムとしてコンピュータを機能させるためのプログラムであり、前記コンピュータを、前記対象物体を複数の異なる視点及び複数の異なる分光感度の撮像装置で撮像した多視点画像の各々を、前記分光感度が同一の分光感度グループに分類する多視点画像分類手段、前記視点の各々における前記多視点画像を基準画像とし、当該基準画像の視点の近傍にあり、かつ異なる前記分光感度グループに属する他の前記多視点画像を、前記基準画像の視点から撮像した画像に変換して仮想多視点画像を生成する仮想多視点画像生成手段、前記分光感度グループにおける前記基準画像及び仮想多視点画像の各々から、当該分光感度グループの分光感度に対応したテクスチャ画像を生成するテクスチャ画像生成手段、前記分光感度の各々に対応した前記テクスチャ画像のそれぞれから、前記対象物体の４バンド以上の分光反射スペクトルを推定して、前記三次元形状モデルの前記分光テクスチャ画像を生成する分光テクスチャ画像生成手段として機能させるためのプログラムである。
【発明の効果】
【0025】
以上説明したように、本発明によれば、一般的なユーザが取得可能な市場に流通している、高価なハイパースペクトルカメラよりも安価な撮像装置の撮像画像により、対象物体の分光反射率を反映したテクスチャ画像を簡易に生成することができる分光テクスチャ画像生成システム、分光テクスチャ画像生成方法及びプログラムを提供することができる。
【図面の簡単な説明】
【0026】
【図1】本発明の第１の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
【図2】多視点画像記憶部１０７に書き込まれて記憶されている多視点画像情報テーブルの構成例を示す図である。
【図3】多視点画像記憶部１０７における分光感度グループデータテーブルの構成例を示す図である。
【図4】第１の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。
【図5】仮想多視点画像に変換可能な対象多視点画像を選択する処理を説明する図である。
【図6】多視点画像記憶部１０７における同一視点多視点画像テーブルの構成例を示す図である。
【図7】分光反射率基底ベクトルを合成して分光反射率を表現することを示す概念図である。
【図8】本実施形態における分光画像記憶部１０９に記憶されている分光画像テーブルの構成例を示す図である。
【図9】三次元形状モデルにおけるポリゴンメッシュの展開図の生成を示す概念図である。
【図10】三次元形状モデルにおけるポリコンメッシュ頂点座標と展開図における領域頂点座標との対応を示す対応座標ルックアップテーブルの構成例を示す図である。
【図12】パターン＃１の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
【図13】パターン＃２の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
【図14】パターン＃３の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
【図15】本実施形態による三次元形状モデルに対する分光テクスチャ画像を、多視点画像から生成する処理の動作例を示すフローチャートである。
【図16】本発明の第２の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
【図17】第２の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。
【図18】第２の実施形態におけるテクスチャ画像記憶部１１３のテクスチャ画像テーブルの構成例を示す図である。
【図19】第３の実施形態におけるテクスチャ画像記憶部１１３におけるテクスチャ画像テーブルの構成例を示す図である。
【図20】本発明の第４の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
【図21】本発明の第５の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
【発明を実施するための形態】
【0027】
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。本実施形態においては、図示しない外部装置から、三次元形状モデルとして復元される対象の対象物体を撮像した撮像画像が視点画像のデータとして供給される。この視点画像の各々は、異なる視点から撮像された多視点画像である。また、視点画像の各々は、複数の異なる分光感度の撮像装置のそれぞれで撮像された、同一及び異なる視点の撮像画像データが含まれている。また、本実施形態において用いる撮像装置は、ハイパースペクトルカメラではなく、例えば、一般のユーザが利用するデジタルカメラなどである。本実施形態においては、多視点画像を複数の視点画像（異なる視点、異なる分光感度を有する撮像装置で撮像された撮像画像）の集合体として説明する。
以下、本発明の第１の実施形態について、図面を参照して説明する。
図１は、本発明の第１の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。本実施形態においては、図示しない外部装置から、三次元形状モデルとして復元される対象の対象物体を撮像した撮像画像が視点画像のデータとして供給される。この視点画像の各々は、異なる視点から撮像された多視点画像である。また、視点画像の各々は、複数の異なる分光感度の撮像装置のそれぞれで撮像された、同一及び異なる視点の撮像画像データが含まれている。また、本実施形態において用いる撮像装置は、ハイパースペクトルカメラではなく、例えば、一般のユーザが利用するデジタルカメラなどである。本実施形態においては、多視点画像を複数の視点画像（異なる視点、異なる分光感度を有する撮像装置で撮像された撮像画像）の集合体として説明する。
【0028】
図１において、分光テクスチャ画像生成システム１００は、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、分光画像生成部１０４、分光テクスチャ画像生成部１０５、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、分光画像記憶部１０９及び分光テクスチャ画像記憶部１１０の各々を備えている。
【0029】
データ入出力部１０１は、外部装置から供給される対象物体を各視点毎に撮像した視点画像のデータの各々を多視点画像記憶部１０７に多視点画像として書き込んで記憶させる。
また、データ入出力部１０１は、上記多視点画像を用いて復元した、対象物体の三次元形状モデルのデータを、三次元形状モデル記憶部１０８に書き込んで記憶させる。三次元形状モデルは、三次元点群から復元されたポリゴンメッシュで形成されたサーフェースモデルである。
また、データ入出力部１０１は、三次元形状モデルを復元した外部装置から供給される、多視点画像を撮像した視点座標及び視点方向を示す視点情報、多視点画像を撮像した撮像装置のカメラパラメータ、及び多視点画像を撮像した環境における光源の分光分布（光源分光分布）のデータを、多視点画像記憶部１０７に書き込んで記憶させる。
さらに、データ入出力部１０１は、外部装置からアクセスされ、分光テクスチャ画像の送信を要求された場合、分光テクスチャ画像（後述）の各々を、分光テクスチャ画像記憶部１１０から読み出して外部装置に出力する。
また、データ入出力部１０１は、上記多視点画像を用いて復元した、対象物体の三次元形状モデルのデータを、三次元形状モデル記憶部１０８に書き込んで記憶させる。三次元形状モデルは、三次元点群から復元されたポリゴンメッシュで形成されたサーフェースモデルである。
また、データ入出力部１０１は、三次元形状モデルを復元した外部装置から供給される、多視点画像を撮像した視点座標及び視点方向を示す視点情報、多視点画像を撮像した撮像装置のカメラパラメータ、及び多視点画像を撮像した環境における光源の分光分布（光源分光分布）のデータを、多視点画像記憶部１０７に書き込んで記憶させる。
さらに、データ入出力部１０１は、外部装置からアクセスされ、分光テクスチャ画像の送信を要求された場合、分光テクスチャ画像（後述）の各々を、分光テクスチャ画像記憶部１１０から読み出して外部装置に出力する。
【0030】
図２は、多視点画像記憶部１０７に書き込まれて記憶されている多視点画像情報テーブルの構成例を示す図である。図２に示す多視点画像情報テーブルは、レコード毎に、多視点画像識別情報に対応して、撮像装置種別、視点情報、カメラパラメータ、画像データインデックス及び分光分布データインデックスの各々の欄が設けられている。
多視点画像識別情報は、個々の多視点画像の各々を一意に識別する識別情報（例えば、供給された際の順番を示す番号など）である。視点位置は、例えば、撮像装置の外部パラメータを示し、三次元形状モデルの三次元空間座標系（世界座標系）における撮像装置のレンズの中心座標（以下、視点位置）、レンズの光軸方向（光軸のベクトル、以下、光軸ベクトル）を示す情報である。
多視点画像識別情報は、個々の多視点画像の各々を一意に識別する識別情報（例えば、供給された際の順番を示す番号など）である。視点位置は、例えば、撮像装置の外部パラメータを示し、三次元形状モデルの三次元空間座標系（世界座標系）における撮像装置のレンズの中心座標（以下、視点位置）、レンズの光軸方向（光軸のベクトル、以下、光軸ベクトル）を示す情報である。
【0031】
また、カメラパラメータは、例えば、撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能（画素数）及び歪収差係数などである。画像データインデックスは、多視点画像記憶部１０７において多視点画像のデータが書き込まれた領域を示すアドレスである。分光感度データインデックスは、撮像装置の分光感度のデータが書き込まれた領域を示すアドレスである。分光分布データインデックスは、多視点画像記憶部１０７において、外部装置から供給される対象物体の多視点画像を撮像した環境の光源の分光分布（光源分光分布）のデータが書き込まれた領域を示すアドレスである。
【0032】
図１に戻り、多視点画像分類部１０２は、多視点画像記憶部１０７に記憶されている多視点画像の各々を、異なる分光感度毎に設けられた分光感度グループそれぞれに分類する。そして、多視点画像分類部１０２は、多視点画像記憶部１０７における分光感度グループ毎の分光感度グループデータテーブルに、それぞれの分光感度グループに分類された多視点画像の各々を書き込んで記憶させる。
【0033】
図３は、多視点画像記憶部１０７における分光感度グループデータテーブルの構成例を示す図である。分光感度グループデータテーブルは、分光感度グループ毎に設けられ、分光感度グループの分光感度のデータが示されている。また、分光感度グループデータテーブルは、レコード毎に、多視点画像識別情報、画像インデックス、視点情報、カメラパラメータ及び分光分布データインデックスの欄を備えている。
【0034】
例えば、分光感度がそれぞれ異なる３台の撮像装置で撮像した場合、視点画像の各々は、異なる分光感度が３種類であるため、３個の分光感度グループに分類される。３個の分光感度グループの各々は、それぞれが同一数の多視点画像であっても、異なった数の多視点画像を有してもよい。また、分光感度グループデータテーブルには、分光感度データインデックスが付加されている。分光感度データインデックスは、撮像装置の分光感度のデータが書き込まれた領域を示すアドレスである。
【0035】
視点画像識別情報は、個々の多視点画像を識別する識別情報（例えば、供給された際の順番を示す番号など）である。画像インデックスは、多視点画像記憶部１０７において多視点画像のデータが書き込まれた領域を示すアドレスである。視点位置は、例えば、撮像装置の外部パラメータを示し、世界座標系における視点位置及び光軸ベクトルを示す情報である。カメラパラメータは、例えば、撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能及び歪収差係数などである。分光分布データインデックスは、多視点画像記憶部１０７において、外部装置から供給される対象物体の多視点画像を撮像した環境の光源分光分布のデータが書き込まれた領域を示すアドレスである。
【0036】
図４は、第１の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。撮像装置としては、例えば分光感度の異なる撮像装置Ａ１、Ａ２及びＡ３の３台を用いている。
図４（ａ）は、異なる視点位置及び光軸ベクトルで対象物体５００を撮像した多視点画像の各々（多視点画像６０１から６０７など）を示している。ここで、多視点画像６０１、６０４及び６０７は、撮像装置Ａ３で撮像されている。また、多視点画像６０２及び６０５は、撮像装置Ａ１で撮像されている。多視点画像６０３及び６０６は、撮像装置Ａ２で撮像されている。
図４（ａ）は、異なる視点位置及び光軸ベクトルで対象物体５００を撮像した多視点画像の各々（多視点画像６０１から６０７など）を示している。ここで、多視点画像６０１、６０４及び６０７は、撮像装置Ａ３で撮像されている。また、多視点画像６０２及び６０５は、撮像装置Ａ１で撮像されている。多視点画像６０３及び６０６は、撮像装置Ａ２で撮像されている。
【0037】
図４（ｂ）は、対象多視点画像から仮想多視点画像の生成する処理を示している。
多視点画像６０１を基準多視点画像とし、多視点画像６０１を撮像した撮像装置Ａ３と分光感度の異なる撮像装置Ａ１、Ａ２で撮像した多視点画像６０２及び６０３を対象多視点画像とし、対象多視点画像である多視点画像６０２及び６０３から、多視点画像６０１の視点情報と同様の視点情報を有する仮想視点画像のそれぞれの生成が行われる。
同様に、多視点画像６０２を基準多視点画像とし、多視点画像６０１を撮像した撮像装置Ａ１と分光感度の異なる撮像装置Ａ３、Ａ２で撮像した多視点画像６０１及び６０３を対象多視点画像とし、対象多視点画像である多視点画像６０１及び６０３から、多視点画像６０２の視点情報と同様の視点情報を有する仮想視点画像のそれぞれの生成を示している。
多視点画像６０１を基準多視点画像とし、多視点画像６０１を撮像した撮像装置Ａ３と分光感度の異なる撮像装置Ａ１、Ａ２で撮像した多視点画像６０２及び６０３を対象多視点画像とし、対象多視点画像である多視点画像６０２及び６０３から、多視点画像６０１の視点情報と同様の視点情報を有する仮想視点画像のそれぞれの生成が行われる。
同様に、多視点画像６０２を基準多視点画像とし、多視点画像６０１を撮像した撮像装置Ａ１と分光感度の異なる撮像装置Ａ３、Ａ２で撮像した多視点画像６０１及び６０３を対象多視点画像とし、対象多視点画像である多視点画像６０１及び６０３から、多視点画像６０２の視点情報と同様の視点情報を有する仮想視点画像のそれぞれの生成を示している。
【0038】
多視点画像６０３を基準多視点画像とし、多視点画像６０３を撮像した撮像装置Ａ２と分光感度の異なる撮像装置Ａ１、Ａ３で撮像した多視点画像６０２及び６０４を対象多視点画像とし、対象多視点画像である多視点画像６０２及び６０４から、多視点画像６０２の視点情報と同様の視点情報を有する仮想視点画像のそれぞれの生成を示している。
また、多視点画像６０４から６０７の各々も、それぞれ基準多視点画像とし、分光感度の異なる撮像装置で撮像した多視点画像を対象多視点画像とし、対象多視点画像から仮想多視点画像の生成（変換）の処理を行う。
また、多視点画像６０４から６０７の各々も、それぞれ基準多視点画像とし、分光感度の異なる撮像装置で撮像した多視点画像を対象多視点画像とし、対象多視点画像から仮想多視点画像の生成（変換）の処理を行う。
【0039】
図４（ｃ）は、各視点情報における対象多視点画像及び仮想多視点画像の各々から、分光画像（ハイパースペクトル画像）を生成する処理を示している。分光画像は、例えば、波長４００ｎｍから７００ｎｍの１０ｎｍ毎に生成する（後述）。
図４（ｄ）は、各視点情報の分光画像を用いて、対象物体５００の三次元形状モデルに対する分光テクスチャ画像を生成する処理を示している。分光テクスチャ画像は、例えば、波長４００ｎｍから７００ｎｍの１０ｎｍ毎に生成する（後述）。
図４（ｄ）は、各視点情報の分光画像を用いて、対象物体５００の三次元形状モデルに対する分光テクスチャ画像を生成する処理を示している。分光テクスチャ画像は、例えば、波長４００ｎｍから７００ｎｍの１０ｎｍ毎に生成する（後述）。
【0040】
図１に戻り、仮想多視点画像生成部１０３は、各視点位置における多視点画像を基準多視点画像とし、この基準多視点画像の近傍にある他の視点位置における、基準多視点画像と異なる分光感度グループに属する多視点画像を対象多視点画像とする。そして、仮想多視点画像生成部１０３は、対象多視点画像の各々を、基準多視点画像と同様の視点位置、光軸ベクトルから撮像された撮像画像に変換し、仮想多視点画像の生成を行う。
【0041】
このとき、仮想多視点画像生成部１０３は、仮想多視点画像に変換する対象多視点画像を選択する際、以下の第１条件から第３条件までの３個の条件の全てを満たした場合、基準多視点画像における三次元形状モデルの部分が、異なった視点位置及び光軸ベクトルの対象多視点画像から変換した仮想多視点画像にて再現できると判定する。
【0042】
図５は、仮想多視点画像に変換可能な対象多視点画像を選択する処理を説明する図である。仮想多視点画像生成部１０３は、基準多視点画像に撮像されている三次元形状モデル２００における部分２０１が、仮想多視点画像に変換した際に存在する対象多視点画像を選択する際、分光感度グループ毎に対象多視点画像の各々の視点位置における部分２０１の可視性の判定を行う。
仮想多視点画像生成部１０３は、以下の第１条件から第３条件までの３個の条件の全てを満たした場合、三次元形状モデルの部分が、それぞれの視点画像の視点位置からの可視性を有すると判定する。
仮想多視点画像生成部１０３は、以下の第１条件から第３条件までの３個の条件の全てを満たした場合、三次元形状モデルの部分が、それぞれの視点画像の視点位置からの可視性を有すると判定する。
【0043】
ここで、基準多視点画像に撮像された三次元形状モデルの部分が視点画像に投影され（第１条件）、当該部分の法線ベクトル及び対象多視点画像の光軸ベクトルの内積が負であり（第２条件）、かつ部分が光軸ベクトル方向において他の部分に遮られない視点位置の対象多視点画像である（第３の条件）場合、視点位置が上記３個の条件を満たす場合に仮想多視点画像に変換可能と判定され、この条件を満たす視点位置の対象多視点画像が、仮想多視点画像に変換する対象多視点画像として選択される。
【0044】
ここで、第２条件は、法線ベクトルと光軸ベクトルとが向かい合う、すなわち法線ベクトルが三次元形状モデルの部分から外部に向き、光軸ベクトルが視点位置から三次元形状モデルの部分に向くことで、視点位置から三次元形状モデルの部分が視認できるか否かの条件の一つとなる。
一方、仮想多視点画像生成部１０３は、視点位置が第１条件、第２条件、第３条件のいずれか一つでも満たされない場合、その視点位置の対象多視点画像を仮想多視点画像に変換する対象多視点画像として選択しない。
一方、仮想多視点画像生成部１０３は、視点位置が第１条件、第２条件、第３条件のいずれか一つでも満たされない場合、その視点位置の対象多視点画像を仮想多視点画像に変換する対象多視点画像として選択しない。
【0045】
図５において、視点位置３０１が第２条件及び第３条件を満たさず、視点位置３０２が第２条件を満たすが第３条件を満たしていない。視点位置３０３から３０６までは第１条件、第２条件及び第３条件を満たしているが、ここで、第２条件が部分の法線ベクトル及び視点画像の視線ベクトルの内積が負である条件である。このため、第１条件、第２条件及び第３条件の全てを満たした可視性ありとして全てを選択してもよいし、第１条件、第２条件及び第３条件の全てを満たした視点位置から、第２条件において所定の内積の範囲内の視点位置の視点画像を選択するようにしてもよい。
一方、視点位置３０７は、第２条件及び第３条件を満たすが、視点位置において部分２０１が視点画像に投影されないため、第１条件を満たしていない。
一方、視点位置３０７は、第２条件及び第３条件を満たすが、視点位置において部分２０１が視点画像に投影されないため、第１条件を満たしていない。
【0046】
また、仮想多視点画像生成部１０３は、仮想多視点画像に変換可能と判定された各対象多視点画像に対して、三次元形状モデルの部分のデータと、視点位置のカメラパラメータ（外部パラメータ）とを用いて、各視点の可視性に対応する適性スコアを求める構成としてもよい。この構成の場合、仮想多視点画像生成部１０３は、適性スコアの高い順に所定の数の視点位置の対象多視点画像を選択（仮想多視点画像に変換可能な対象視点画像として一部の視点位置の対象視点画像を選択）する。
また、仮想多視点画像生成部１０３は、各分光感度グループから１枚ずつ対象多視点画像を選択してもよいし、各分光感度グループから１枚以上の複数枚の対象多視点画像を選択してもよい。例えば、第１条件、第２条件、第３条件を満たした多視点画像の中から１枚を選択してもよいし、第１条件、第２条件、第３条件を満たした多視点画像のすべてを対象多視点画像として選択してもよい。複数枚の対象多視点画像を選択した場合、仮想多視点画像生成部１０３は、複数枚の対象多視点画像の対応する画素の平均値や中央値を用いて仮想多視点画像を生成する。
また、仮想多視点画像生成部１０３は、各分光感度グループから１枚ずつ対象多視点画像を選択してもよいし、各分光感度グループから１枚以上の複数枚の対象多視点画像を選択してもよい。例えば、第１条件、第２条件、第３条件を満たした多視点画像の中から１枚を選択してもよいし、第１条件、第２条件、第３条件を満たした多視点画像のすべてを対象多視点画像として選択してもよい。複数枚の対象多視点画像を選択した場合、仮想多視点画像生成部１０３は、複数枚の対象多視点画像の対応する画素の平均値や中央値を用いて仮想多視点画像を生成する。
【0047】
図１に戻り、仮想多視点画像生成部１０３は、対象多視点画像における三次元形状モデルの所定の範囲の部分の画像を、基準多視点画像と同様の視点位置及び光軸ベクトルの２次元平面に変換する座標変換行列（対象多視点画像の二次元座標系を、基準多視点画像の二次元座標系へ変換する行列であり、拡大・縮小、回転、平行移動、アフィン変換及び射影変換の各行列を含む）を、対象多視点画像毎に生成する。
仮想多視点画像生成部１０３は、三次元形状モデルの所定の範囲の部分における３次元形状モデルの表面を構成するポリゴンメッシュの頂点座標値（世界座標系における座標値、以下ポリゴンメッシュ頂点座標値と示す）の各々と、対象多視点画像における画素の座標Ａ（対象多視点画像の二次元座標系）との対応関係を求める。
また、仮想多視点画像生成部１０３は、三次元形状モデルの所定の範囲の部分における３次元形状モデルの表面を構成するポリゴンメッシュ頂点座標の各々と、基準多視点画像における画素の座標Ｂ（基準多視点画像の二次元座標系）との対応関係を求める。
仮想多視点画像生成部１０３は、三次元形状モデルの所定の範囲の部分における３次元形状モデルの表面を構成するポリゴンメッシュの頂点座標値（世界座標系における座標値、以下ポリゴンメッシュ頂点座標値と示す）の各々と、対象多視点画像における画素の座標Ａ（対象多視点画像の二次元座標系）との対応関係を求める。
また、仮想多視点画像生成部１０３は、三次元形状モデルの所定の範囲の部分における３次元形状モデルの表面を構成するポリゴンメッシュ頂点座標の各々と、基準多視点画像における画素の座標Ｂ（基準多視点画像の二次元座標系）との対応関係を求める。
【0048】
これにより、仮想多視点画像生成部１０３は、ポリゴンメッシュ頂点座標により、対象多視点画像と基準多視点画像との２次元座標系の各々において対応する画素の各々の座標Ａ、Ｂそれぞれを取得することができ、対象多視点画像と基準多視点画像との対応する画素の座標Ａ、Ｂの各々を用いて座標変換行列を生成する。
そして、仮想多視点画像生成部１０３は、対象多視点画像の２次元座標系の各々の画素の座標Ａを、求めた座標変換行列により、基準多視点画像の２次元座標系の各々の画素の座標Ｂに変換し、仮想多視点画像を生成する。
ここで、仮想多視点画像生成部１０３は、基準多視点画像に投影される三次元モデルのポリゴンメッシュごとに、対象多視点画像を変更してもよい。これは、異なるポリゴンメッシュでは、対象多視点画像を選択する第１条件、第２条件、第３条件を満たす視点が異なるためである。すなわち、仮想多視点画像生成部１０３は、基準多視点画像の画素ごとに、異なる視点の画像を対象視点画像として選択して、仮想多視点画像を生成してもよい。
そして、仮想多視点画像生成部１０３は、対象多視点画像の２次元座標系の各々の画素の座標Ａを、求めた座標変換行列により、基準多視点画像の２次元座標系の各々の画素の座標Ｂに変換し、仮想多視点画像を生成する。
ここで、仮想多視点画像生成部１０３は、基準多視点画像に投影される三次元モデルのポリゴンメッシュごとに、対象多視点画像を変更してもよい。これは、異なるポリゴンメッシュでは、対象多視点画像を選択する第１条件、第２条件、第３条件を満たす視点が異なるためである。すなわち、仮想多視点画像生成部１０３は、基準多視点画像の画素ごとに、異なる視点の画像を対象視点画像として選択して、仮想多視点画像を生成してもよい。
【0049】
図４（ｂ）に示すように、視点情報毎に、異なる分光感度の撮像装置Ａ１からＡ３の各々で撮像した多視点画像（基準多視点画像及び仮想多視点画像）それぞれが生成される。
このとき、仮想多視点画像生成部１０３は、ポリゴンメッシュ頂点座標に対応する画素以外の画素に対しては、基準多視点画像の画素の各々に対して、対象多視点画像の座標変換を行った画素が対応するように、画素の統合や補完などの処理を行う。すなわち、仮想多視点画像生成部１０３は、生成する仮想多視点画像の画素の各々を、基準多視点画像の画素のそれぞれに対して一対一に対応させるための補正処理を行う。
このとき、仮想多視点画像生成部１０３は、ポリゴンメッシュ頂点座標に対応する画素以外の画素に対しては、基準多視点画像の画素の各々に対して、対象多視点画像の座標変換を行った画素が対応するように、画素の統合や補完などの処理を行う。すなわち、仮想多視点画像生成部１０３は、生成する仮想多視点画像の画素の各々を、基準多視点画像の画素のそれぞれに対して一対一に対応させるための補正処理を行う。
【0050】
また、仮想多視点画像生成部１０３は、視点情報の各々に対応させて、同一視点多視点画像テーブルを多視点画像記憶部１０７に生成し、基準多視点画像及び仮想多視点画像の各々の情報を同一視点多視点画像テーブルに対して書き込んで記憶させる。
図６は、多視点画像記憶部１０７における同一視点多視点画像テーブルの構成例を示す図である。同一視点多視点画像テーブルは、視点情報毎に生成されるため、視点情報が記載される欄が設けられている。また、同一視点多視点画像テーブルは、基準多視点画像に対応したレコードにおいて、基準視点画像識別情報、画像データインデックス、カメラパラメータ、分光感度データインデックス及び分光分布データインデックスの各々の欄が設けられている。
図６は、多視点画像記憶部１０７における同一視点多視点画像テーブルの構成例を示す図である。同一視点多視点画像テーブルは、視点情報毎に生成されるため、視点情報が記載される欄が設けられている。また、同一視点多視点画像テーブルは、基準多視点画像に対応したレコードにおいて、基準視点画像識別情報、画像データインデックス、カメラパラメータ、分光感度データインデックス及び分光分布データインデックスの各々の欄が設けられている。
【0051】
また、基準視点画像識別情報は、基準多視点画像とされた多視点画像の多視点画像識別情報である。画像データインデックスは、基準多視点画像とされた多視点画像のデータが書き込まれた領域のアドレスを示している。カメラパラメータは、基準多視点画像とされた多視点画像を撮像した撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能及び歪収差係数などである。分光感度インデックスは、基準多視点画像とされた多視点画像を撮像した撮像装置の分光感度データが書き込まれた領域のアドレスを示している。分光感度インデックスは、基準多視点画像とされた多視点画像が撮像された環境の光源の分光分布データが書き込まれた領域のアドレスを示している。
【0052】
また、同一視点多視点画像テーブルは、対象多視点画像に対応したレコードにおいて、対象視点画像識別情報、画像データインデックス、カメラパラメータ、分光感度データインデックス及び分光分布データインデックスの各々の欄が設けられている。対象視点画像識別情報は、対象多視点画像とされた多視点画像の多視点画像識別情報である。画像データインデックスは、対象多視点画像とされた多視点画像のデータが書き込まれた領域のアドレスを示している。
【0053】
また、カメラパラメータは、対象多視点画像とされた多視点画像を撮像した撮像装置の内部パラメータを示し、視点画像を撮像した際の撮像装置の焦点距離、画像中心、画像の分解能及び歪収差係数などである。分光感度インデックスは、対象多視点画像とされた多視点画像を撮像した撮像装置の分光感度データが書き込まれた、多視点画像記憶部１０７における領域のアドレスを示している。分光感度インデックスは、対象多視点画像とされた多視点画像が撮像された環境の光源の分光分布データが書き込まれた、多視点画像記憶部１０７における領域のアドレスを示している。
【0054】
図１に戻り、分光画像生成部１０４は、視点情報毎の多視点画像（多視点画像及び仮想多視点画像）から、複数の波長のバンドの各々（例えば、波長４００ｎｍから波長７００ｎｍにおける１０ｎｍ毎のバンド）の分光画像のそれぞれを生成する（図４（ｃ））。
ここで、分光画像生成部１０４は、多視点画像記憶部１０７における各視点情報に対応する同一視点多視点画像テーブルを参照し、基準多視点画像及び仮想多視点画像の各々の画像データ、分光感度データ及び分光分布データの各々を順次読み出し、画素の各々の所定の波長のバンドにおける分光反射スペクトルを推定する。
ここで、分光画像生成部１０４は、多視点画像記憶部１０７における各視点情報に対応する同一視点多視点画像テーブルを参照し、基準多視点画像及び仮想多視点画像の各々の画像データ、分光感度データ及び分光分布データの各々を順次読み出し、画素の各々の所定の波長のバンドにおける分光反射スペクトルを推定する。
【0055】
本実施形態において、分光画像生成部１０４は、例えば、分光画像記憶部１０９から、複数の分光反射率基底ベクトルを読み込む。そして、分光画像生成部１０４は、各視点の多視点画像の画素の分光反射率を、読み込んだ複数の分光反射率基底ベクトルの各々の重み付け和で表現する。分光画像生成部１０４は、各分光反射率基底ベクトルの重み付けを行う重み係数を推定することにより、三次元形状モデルを復元する際に対象物体を撮像した基準多視点画像及び仮想多視点画像の各々の画素における分光反射スペクトルを推定する。
【0056】
ここで、分光反射率基底ベクトルは、主成分分析を用いて複数の分光反射率データの集合である分光反射率データ群から、当該分光反射率データ群を表現するための分光反射率基底ベクトルとして、予め導出されている。
この主成分分析においては、分光反射率の実際の次元よりも、少ない数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元を圧縮し、計算負荷を低減させる。
この主成分分析においては、分光反射率の実際の次元よりも、少ない数の分光反射率基底ベクトルの組み合わせで、分光反射率を表現できるようになる。すなわち、分光反射率基底ベクトルを用いることにより、推定する対象である分光反射率の次元を圧縮し、計算負荷を低減させる。
【0057】
すなわち、分光画像生成部１０４は、以下の（１）式示すように、複数の分光反射率基底ベクトルＢ＝［ｂ１，ｂ２，…］Ｔの重み付け和で表し、この重み付けを行うため、分光反射率基底ベクトルの各々の重み係数ｒ＝［ｒ１，ｒ２，…］Ｔを求めることにより、分光反射スペクトルｓを推定している。ここで、分光反射率基底ベクトルは、例えば、セットとして分光画像記憶部１０９に予め記憶されている。また、分光画像記憶部１０９において、分光反射率基底ベクトルは、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光反射率基底ベクトルを必要に応じた数を読み込んで用いる構成としても良い。
【0058】
図７は、分光反射率基底ベクトルを合成して分光反射率を表現することを示す概念図である。図７に示すように、分光反射スペクトルｓは、所定の物体の各々の分光反射率を用いた主成分分析で得られた分光反射率基底ベクトルｂ１からｂＮｒの各々に対して、それぞれ重み係数を乗算して、乗算結果を合成することで得られる。
すなわち、分光画像生成部１０４は、必要な数の分光反射率基底ベクトルｂ１からｂＮｒを分光画像記憶部１０９から抽出する。
そして、分光画像生成部１０４は、抽出した分光反射率基底ベクトルｂ１からｂＮｒの各々の重み係数ｒ１からｒＮｒのそれぞれを、基準多視点画像の各々の画素の画素値となる分光反射スペクトルｓが得られるように推定し、推定結果から分光反射スペクトルｓを求める（後述）。
すなわち、分光画像生成部１０４は、必要な数の分光反射率基底ベクトルｂ１からｂＮｒを分光画像記憶部１０９から抽出する。
そして、分光画像生成部１０４は、抽出した分光反射率基底ベクトルｂ１からｂＮｒの各々の重み係数ｒ１からｒＮｒのそれぞれを、基準多視点画像の各々の画素の画素値となる分光反射スペクトルｓが得られるように推定し、推定結果から分光反射スペクトルｓを求める（後述）。
【0059】
【数1】
【0060】
図１に戻り、分光画像生成部１０４は、上記（１）式で表した分光反射スペクトルに対し、以下の（２）式を解くことにより、各重み係数ｒを推定する。そして、分光画像生成部１０４は、推定した重み係数により、（１）式により分光反射スペクトルｓの推定を行う。ここで、分光反射スペクトルｓｉは、例えば、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
【0061】
【数2】
【0062】
上記（２）式において、ｐｍ，ｋは、ｍ番目の多視点画像のｋ番目のチャンネルの画素値である。すなわち、ｐｍ，ｋにおいて、ｍは、同一視点多視点画像テーブルの分光画像生成用多視点画像群（基準多視点画像及び仮想多視点画像）における多視点画像を示す番号である。また、ｋは、多視点画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル（バンド）１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。また、各多視点画像から画素値を読み出す画素は、分光画像生成用多視点画像群における基準多視点画像の各々に対応する画素として、仮想多視点画像それぞれの画像データから抽出する。
【0063】
また、（２）式において、行列Ｃｍ、ｋは、ｍ番目の多視点画像のｋ番目のチャンネル（色成分の波長帯域）の分光感度を示している。このＣｍ、ｋにおける要素ｃｍ，ｋ（λ）は、分光画像生成用多視点画像群におけるｍ番目の多視点画像のｋ番目のチャンネルにおける波長λの分光感度を示している。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、分光画像記憶部１０９に書き込まれている。分光画像生成部１０４は、分光画像生成用多視点画像群における多視点画像の各々が撮像された環境における光源の分光分布を多視点画像記憶部１０７の同一視点多視点画像テーブルから読み出す。
また、光源の分光分布ｌは、すでに計測された分光分布データとして、分光画像記憶部１０９に書き込まれている。分光画像生成部１０４は、分光画像生成用多視点画像群における多視点画像の各々が撮像された環境における光源の分光分布を多視点画像記憶部１０７の同一視点多視点画像テーブルから読み出す。
【0064】
ここで、分光画像生成部１０４は、分光画像生成用多視点画像群における分光感度の数に対応して、分光画像記憶部１０９から分光反射率基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（２）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）Ｎｒの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、（２）式を解く際、分光反射率データを表すために用いる分光反射率基底ベクトル（主成分）の数（以下、分光反射率基底ベクトル数）Ｎｒの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
【0065】
ｑ個の分光感度グループにおける多視点画像を用いる場合、「Ｎｒ（分光反射率基底ベクトル数）＝ｑ（分光感度の種類の数、分光感度グループ数）×ｋ（チャンネルの数、以下チャンネル数）」の関係式で決定される。すなわち、分光反射率データを示す分光反射率基底ベクトル数Ｎｒが分光感度グループ数ｑのチャンネル数ｋ倍以下であれば、（３）式を解くことが可能である。
一例としては、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
一例としては、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、基底ベクトルの上限は、９（＝３×３）となる。
【0066】
しかし、（３）式を解く際にノイズの影響を抑制するためには、分光反射率基底ベクトル数Ｎｒが、分光感度グループ数ｑのチャンネル数ｋ倍未満、例えば「Ｎｒ＝ｑ×ｋ－１」として運用することが望ましい。この場合、３台の分光感度の異なる撮像装置を用い、チャンネルがＲ、Ｇ及びＢの３個である場合、分光反射率基底ベクトルの上限は、８（＝３×３－１）となる。
【0067】
また、分光画像生成用多視点画像群が視点情報毎に求められ、基準多視点画像における画素の各々における仮想多視点画像の画素数、すなわち分光感度グループ数ｑが異なる場合がある。この場合には、基準多視点画像における画素それぞれにおいて、分光画像生成部１０４が分光画像記憶部１０９から読み出す分光反射率基底ベクトルのセット（分光反射率基底ベクトル数Ｎｒ）が異なる。分光画像の各々の画素は、基準多視点画像における画素それぞれに対応して構成される。
【0068】
上述した処理により、分光画像生成部１０４は、同一視点多視点画像テーブルの基準多視点画像の画素の各々に対応した分光画像の画素それぞれの分光反射スペクトルを、基準多視点画像及び仮想多視点画像間で対応する画素の画素値から推定して、視点情報毎における分光画像（所定の波長のバンド数の分光画像）を生成し、分光画像記憶部１０９における視点情報毎の分光画像テーブルに書き込んで記憶させる。
図８は、本実施形態における分光画像記憶部１０９に記憶されている分光画像テーブルの構成例を示す図である。図８示す分光画像テーブルは、視点情報の欄が設けられ、またレコード毎に、分光画像識別情報に対応して、バンドの波長及び分光画像データインデックスの各々の欄が設けられている。
図８は、本実施形態における分光画像記憶部１０９に記憶されている分光画像テーブルの構成例を示す図である。図８示す分光画像テーブルは、視点情報の欄が設けられ、またレコード毎に、分光画像識別情報に対応して、バンドの波長及び分光画像データインデックスの各々の欄が設けられている。
【0069】
ここで、視点情報は、分光画像テーブルにおける分光画像の視点情報である。分光画像識別情報は、個々の分光画像を識別する識別情報（例えば、供給された際の順番を示す番号など）である。バンドの波長は、対応する分光画像の分光反射スペクトルの波長帯域を示している。分光画像データインデックスは、分光画像記憶部１０９において分光画像の画像データが書き込まれた領域を示すアドレスである。
【0070】
図１に戻り、分光テクスチャ画像生成部１０５は、三次元形状モデル記憶部１０８から、三次元形状モデルのサーフェースを形成するポリゴンメッシュのデータを読み出し、各視点情報における分光画像の各々の輝度値に基づいて、ポリゴンメッシュの展開図（例えば、ＵＶ展開を行った展開図）を生成する。
図９は、三次元形状モデルにおけるポリゴンメッシュの展開図の生成を示す概念図である。図９（ａ）は、ポリゴンメッシュでサーフェースを構成した三次元形状モデルを示している。図９（ｂ）は、上記サーフェースにおけるポリゴンメッシュの各々を２次元座標系に展開した展開図（一例としてＵＶ展開図）を示している。
図９は、三次元形状モデルにおけるポリゴンメッシュの展開図の生成を示す概念図である。図９（ａ）は、ポリゴンメッシュでサーフェースを構成した三次元形状モデルを示している。図９（ｂ）は、上記サーフェースにおけるポリゴンメッシュの各々を２次元座標系に展開した展開図（一例としてＵＶ展開図）を示している。
【0071】
例えば、図９（ａ）のポリゴンメッシュ６５１及び６０２の各々と、図９（ｂ）における領域８０１、８０２のそれぞれは対応している。すなわち、ポリゴンメッシュ６５１が展開図の領域８０１に展開され、ポリゴンメッシュ６５２が展開図の領域８０２に展開されている。
ここで、世界座標系における三次元形状モデルのポリゴンメッシュ６５１の頂点（以下、ポリゴンメッシュ頂点と示す）７０１から７０４の各々と、２次元座標系における展開図の領域８０１の頂点（以下、領域頂点と示す）９５１、９５２、９５３、９５４のそれぞれが対応している。
同様に、世界座標系における三次元形状モデルのポリゴンメッシュ６５２のポリゴンメッシュ頂点７０３から７０６の各々と、２次元座標系における展開図の領域８０１の領域頂点９５３、９５４、９５５、９５６のそれぞれが対応している。
ここで、世界座標系における三次元形状モデルのポリゴンメッシュ６５１の頂点（以下、ポリゴンメッシュ頂点と示す）７０１から７０４の各々と、２次元座標系における展開図の領域８０１の頂点（以下、領域頂点と示す）９５１、９５２、９５３、９５４のそれぞれが対応している。
同様に、世界座標系における三次元形状モデルのポリゴンメッシュ６５２のポリゴンメッシュ頂点７０３から７０６の各々と、２次元座標系における展開図の領域８０１の領域頂点９５３、９５４、９５５、９５６のそれぞれが対応している。
【0072】
分光テクスチャ画像生成部１０５は、上述した三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値（領域頂点の座標）との対応を示す対応座標ルックアップテーブルを生成する。
図１０は、三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値との対応を示す対応座標ルックアップテーブルの構成例を示す図である。
対応座標ルックアップテーブルは、領域識別情報に対応して、ポリゴンメッシュ頂点座標値と領域頂点座標値との対応関係がレコード単位で示されている。領域識別情報は、展開図における領域の各々を個別に識別する識別情報である。ポリゴンメッシュ頂点座標値は、世界座標系におけるポリゴンメッシュの頂点の各々の座標値である。領域頂点座標値は、展開図における領域（後述のテクスチャ領域）の頂点の各々の座標値である。
図１０は、三次元形状モデルにおけるポリコンメッシュ頂点座標値と、展開図における領域頂点座標値との対応を示す対応座標ルックアップテーブルの構成例を示す図である。
対応座標ルックアップテーブルは、領域識別情報に対応して、ポリゴンメッシュ頂点座標値と領域頂点座標値との対応関係がレコード単位で示されている。領域識別情報は、展開図における領域の各々を個別に識別する識別情報である。ポリゴンメッシュ頂点座標値は、世界座標系におけるポリゴンメッシュの頂点の各々の座標値である。領域頂点座標値は、展開図における領域（後述のテクスチャ領域）の頂点の各々の座標値である。
【0073】
例えば、図１０において、テクスチャ領域識別情報Ｐ１０００１が、図９（ａ）におけるポリゴンメッシュ６５１を示している場合、ポリゴンメッシュ頂点７０１の座標値はポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）であり、ポリゴンメッシュ頂点７０２の座標値はポリゴンメッシュ頂点座標値（x1_2、y1_2、z1_2）であり、ポリゴンメッシュ頂点７０３の座標値はポリゴンメッシュ頂点座標値（x1_3、y1_3、z1_3）であり、ポリゴンメッシュ頂点７０４の座標値はポリゴンメッシュ頂点座標値（x1_4、y1_4、z1_4）である。
【0074】
また、図１０において、図９（ｂ）における領域８０１を示している場合、領域頂点９５１の座標値は領域頂点座標値（U1_1、V1_1）であり、領域頂点９５２の座標値は領域頂点座標値（U1_2、V1_2）であり、領域頂点９５３の座標値は領域頂点座標値（U1_3、V1_3）であり、領域頂点９５４の座標値は領域頂点座標値（U1_4、V1_4）である。
この対応座標ルックアップテーブルによれば、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）で形成されるポリゴンメッシュが、展開図における領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれを頂点とする領域に配置して展開されていることが判る。さらに、対応座標ルックアップテーブルは、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）の各々が、領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれに対応していることを示している。
この対応座標ルックアップテーブルによれば、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）で形成されるポリゴンメッシュが、展開図における領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれを頂点とする領域に配置して展開されていることが判る。さらに、対応座標ルックアップテーブルは、ポリゴンメッシュ頂点座標値（x1_1、y1_1、z1_1）、（x1_2、y1_2、z1_2）、（x1_3、y1_3、z1_3）及び（x1_4、y1_4、z1_4）の各々が、領域頂点座標値（U1_1、V1_1）、（U1_2、V1_2）、（U1_3、V1_3）、（U1_4、V1_4）のそれぞれに対応していることを示している。
【0075】
分光テクスチャ画像生成部１０５は、分光画像記憶部１０９における視点情報毎に設けられた同一視点多視点画像テーブルの各々から、同一の波長のバンドの分光画像のそれぞれを読み出す。
そして、分光テクスチャ画像生成部１０５は、分光画像の各々における画素と、３次元形状モデルのポリゴンメッシュのポリゴンメッシュ頂点座標値との対応を抽出する。ここで、分光テクスチャ画像生成部１０５は、例えば、視点情報及びカメラパラメータの各々に対応させ、３次元形状モデルのポリゴンメッシュを分光画像に投影させ、ポリゴンメッシュ頂点座標値（すなわち、ポリゴンメッシュの各頂点）と画素（分光画像の座標系における画素の座標値）との対応関係を求める。
そして、分光テクスチャ画像生成部１０５は、分光画像の各々における画素と、３次元形状モデルのポリゴンメッシュのポリゴンメッシュ頂点座標値との対応を抽出する。ここで、分光テクスチャ画像生成部１０５は、例えば、視点情報及びカメラパラメータの各々に対応させ、３次元形状モデルのポリゴンメッシュを分光画像に投影させ、ポリゴンメッシュ頂点座標値（すなわち、ポリゴンメッシュの各頂点）と画素（分光画像の座標系における画素の座標値）との対応関係を求める。
【0076】
分光テクスチャ画像生成部１０５は、ポリゴンメッシュを展開した展開図の各領域の画素の画素値として、ポリゴンメッシュ頂点座標値に対応した分光画像の画素座標値で囲まれた画素領域の画素の画素値（分光反射スペクトル）を付与する。
このとき、分光テクスチャ画像生成部１０５は、３次元形状モデルにおけるポリゴンメッシュの各々の面の法線に対して、最も平行な光軸ベクトルを有する視点情報に対応する分光画像の画素値を、優先的に分光テクスチャ画像の画素に付与する。
このとき、分光テクスチャ画像生成部１０５は、３次元形状モデルにおけるポリゴンメッシュの各々の面の法線に対して、最も平行な光軸ベクトルを有する視点情報に対応する分光画像の画素値を、優先的に分光テクスチャ画像の画素に付与する。
【0077】
そして、分光テクスチャ画像生成部１０５は、上述した処理を分光画像の全てに対して行うことにより、展開図における全ての領域における画素の画素値を付与し、使用した分光画像の波長のバンドに対応した波長のバンドの分光テクスチャ画像を生成する。
分光テクスチャ画像生成部１０５は、上述した分光テクスチャ画像を生成する処理を全ての波長のバンドの分光画像の各々に対して行ない、例えば波長のバンドが３１バンドの場合、各々の波長のバンドにそれぞれ対応した３１個の分光テクスチャ画像を生成する（図４（ｄ））。
ここで、分光テクスチャ画像生成部１０５は、１バンドずつ上述した処理を行ってもよいし、複数のバンドで上述した処理をまとめて行ってもよい。例えば、多くの画像フォーマットがＲＧＢの３バンドで表現されることを考えると、３バンドずつまとめて１枚の画像として処理することで、効率的に処理することができる。
分光テクスチャ画像生成部１０５は、上述した分光テクスチャ画像を生成する処理を全ての波長のバンドの分光画像の各々に対して行ない、例えば波長のバンドが３１バンドの場合、各々の波長のバンドにそれぞれ対応した３１個の分光テクスチャ画像を生成する（図４（ｄ））。
ここで、分光テクスチャ画像生成部１０５は、１バンドずつ上述した処理を行ってもよいし、複数のバンドで上述した処理をまとめて行ってもよい。例えば、多くの画像フォーマットがＲＧＢの３バンドで表現されることを考えると、３バンドずつまとめて１枚の画像として処理することで、効率的に処理することができる。
【0078】
分光テクスチャ画像生成部１０５は、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
図１１は、分光テクスチャ画像記憶部１１０における分光テクスチャ画像テーブルの構成例を示す図である。
分光テクスチャ画像テーブルは、レコードの各々において、分光テクスチャ画像識別情報と、バンドの波長と、分光テクスチャ画像データインデックスとの欄が設けられている。
図１１は、分光テクスチャ画像記憶部１１０における分光テクスチャ画像テーブルの構成例を示す図である。
分光テクスチャ画像テーブルは、レコードの各々において、分光テクスチャ画像識別情報と、バンドの波長と、分光テクスチャ画像データインデックスとの欄が設けられている。
【0079】
分光テクスチャ画像識別情報は、分光テクスチャ画像の各々を個別に識別する識別情報である。バンドの波長は、分光テクスチャ画像識別情報の示す分光テクスチャ画像のバンド（チャンネル）の波長を示している。分光テクスチャ画像データインデックスは、分光テクスチャ画像の画像データが書き込まれた、分光テクスチャ画像記憶部１１０における領域のアドレスを示している。
図１１の分光テクスチャ画像テーブルは、例えば、波長４００ｎｍから波長７００ｎｍまでの、１０ｎｍ単位の波長の３１個のバンドの各々の分光テクスチャ画像に対応している。
図１１の分光テクスチャ画像テーブルは、例えば、波長４００ｎｍから波長７００ｎｍまでの、１０ｎｍ単位の波長の３１個のバンドの各々の分光テクスチャ画像に対応している。
【0080】
可視化用テクスチャ画像生成部１０６は、三次元形状モデル記憶部１０８から読み出した三次元形状モデルに対して、所定の条件によって表示部において可視化分光テクスチャ画像のレンダリングを行う。
可視化用テクスチャ画像生成部１０６は、分光テクスチャ画像の分光反射率（全ての分光画像の各々の分光反射スペクトル）を以下の３パターンの所定の条件により、表示画面に表示可能な波長のバンドの画素値に各々に変換し、当該表示画面に表示する。
可視化用テクスチャ画像生成部１０６は、分光テクスチャ画像の分光反射率（全ての分光画像の各々の分光反射スペクトル）を以下の３パターンの所定の条件により、表示画面に表示可能な波長のバンドの画素値に各々に変換し、当該表示画面に表示する。
【0081】
図１２は、パターン＃１の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
パターン＃１は、分光テクスチャ画像における画素の各々の分光反射率を、表示画面に表示可能な色成分ＲＧＢ（red、green、blue）の三個のバンドに対応する任意の分光感度と、任意の光源の分光分布とを用いて、ＲＧＢ値のテクスチャ画像をレンダリングした三次元形状モデルの所定の視点位置及び視点方向（光軸ベクトルに対応）からの画像を示している。ここで、任意の分光感度は、例えば、撮像装置の分光感度でも、等色関数を用いてもよい。上記等色関数には、ＣＩＥ（国際照明委員会）測色基準観察者等色関数などが用いられる。光源の分光分布は、例えば、標準光源Ｄ６５の分光分布でも、日光、ＬＥＤ（light emitting diode）、蛍光灯、白熱灯などの分光分布でもよい。この分光感度及び分光分布の各々のデータは、予め図示しない記憶部に書き込んで記憶させておき、可視化用テクスチャ画像生成部１０６が必要に応じて読み出す構成とする。
パターン＃１は、分光テクスチャ画像における画素の各々の分光反射率を、表示画面に表示可能な色成分ＲＧＢ（red、green、blue）の三個のバンドに対応する任意の分光感度と、任意の光源の分光分布とを用いて、ＲＧＢ値のテクスチャ画像をレンダリングした三次元形状モデルの所定の視点位置及び視点方向（光軸ベクトルに対応）からの画像を示している。ここで、任意の分光感度は、例えば、撮像装置の分光感度でも、等色関数を用いてもよい。上記等色関数には、ＣＩＥ（国際照明委員会）測色基準観察者等色関数などが用いられる。光源の分光分布は、例えば、標準光源Ｄ６５の分光分布でも、日光、ＬＥＤ（light emitting diode）、蛍光灯、白熱灯などの分光分布でもよい。この分光感度及び分光分布の各々のデータは、予め図示しない記憶部に書き込んで記憶させておき、可視化用テクスチャ画像生成部１０６が必要に応じて読み出す構成とする。
【0082】
このパターン＃１の処理において、可視化用テクスチャ画像生成部１０６は、三次元形状モデル記憶部１０８から三次元形状モデル９０１を読み出す。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、分光テクスチャ画像の各々の画素の画素値による分光反射率を、任意の分光感度及び任意の光源の分光分布を用いて、ＲＧＢ値で表現されるテクスチャ画像９０２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９０２を三次元形状モデル９０１にレンダリングした三次元形状モデル９０３を、所定の視点位置及び視点方向からの画像として表示する。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、分光テクスチャ画像の各々の画素の画素値による分光反射率を、任意の分光感度及び任意の光源の分光分布を用いて、ＲＧＢ値で表現されるテクスチャ画像９０２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９０２を三次元形状モデル９０１にレンダリングした三次元形状モデル９０３を、所定の視点位置及び視点方向からの画像として表示する。
【0083】
図１３は、パターン＃２の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
パターン＃２は、任意に３種類の波長のバンドの階調度を、表示画面に表示可能なＲＧＢ値の各々のバンドの階調度として表示させる画像を示している。
図１３におけるグラフ９１１に示すように、波長４４０ｎｍのバンドをＲＧＢにおける色成分Ｂに置き換え、波長４４０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｂの画素値としてする。同様に、波長５００ｎｍのバンドをＲＧＢにおける色成分Ｇに置き換え、波長５００ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｇの画素値としてする。また、波長６６０ｎｍのバンドをＲＧＢにおける色成分Ｒに置き換え、波長６６０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｒの画素値としてする。
パターン＃２は、任意に３種類の波長のバンドの階調度を、表示画面に表示可能なＲＧＢ値の各々のバンドの階調度として表示させる画像を示している。
図１３におけるグラフ９１１に示すように、波長４４０ｎｍのバンドをＲＧＢにおける色成分Ｂに置き換え、波長４４０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｂの画素値としてする。同様に、波長５００ｎｍのバンドをＲＧＢにおける色成分Ｇに置き換え、波長５００ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｇの画素値としてする。また、波長６６０ｎｍのバンドをＲＧＢにおける色成分Ｒに置き換え、波長６６０ｎｍの分光テクスチャ画像の画素値（分光反射スペクトル）を色成分Ｒの画素値としてする。
【0084】
このパターン＃２の処理において、可視化用テクスチャ画像生成部１０６は、三次元形状モデル記憶部１０８から三次元形状モデル９１３を読み出す。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、任意の３個の波長のバンドの分光テクスチャ画像の各々の画素の画素値を、色成分Ｒ、Ｇ、Ｂのそれぞれの画素値とし（グラフ９１１）、ＲＧＢ値で表現されるテクスチャ画像９１２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９１２を三次元形状モデル９１３にレンダリングした三次元形状モデル９１４を、所定の視点位置及び視点方向からの画像として表示する。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、任意の３個の波長のバンドの分光テクスチャ画像の各々の画素の画素値を、色成分Ｒ、Ｇ、Ｂのそれぞれの画素値とし（グラフ９１１）、ＲＧＢ値で表現されるテクスチャ画像９１２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９１２を三次元形状モデル９１３にレンダリングした三次元形状モデル９１４を、所定の視点位置及び視点方向からの画像として表示する。
【0085】
図１４は、パターン＃３の条件により処理した分光テクスチャ画像を、三次元形状モデルにレンダリングした例を示す概念図である。
図１４（ａ）は、パターン＃３としての、分光テクスチャ画像における画素値を、表示装置で表示可能な色成分ＲＧＢの各々の画素値に割り振る処理を説明している。
図１４（ａ）においては、いずれかの１個の分光テクスチャ画像における画素の各々の分光反射スペクトルＲ（λｉ）の範囲Ｔを、例えば、高数値範囲Ｈ、中数値範囲Ｍ、低数値範囲Ｌに３分割する。λｉは、分光テクスチャ画像の各々のバンドの波長を示している（例えば３１個のバンドの場合、１≦ｉ≦３１である）。
そして、高数値範囲Ｈの範囲の分光反射スペクトル強度を色成分Ｒの階調度の範囲に振り分け、中数値範囲Ｍの範囲の分光反射スペクトル強度を色成分Ｇの階調度の範囲に振り分け、低数値範囲Ｌの範囲の分光反射スペクトル強度を色成分Ｂの階調度の範囲に振り分けるパターン＃３の変換ルールを示している。
図１４（ａ）は、パターン＃３としての、分光テクスチャ画像における画素値を、表示装置で表示可能な色成分ＲＧＢの各々の画素値に割り振る処理を説明している。
図１４（ａ）においては、いずれかの１個の分光テクスチャ画像における画素の各々の分光反射スペクトルＲ（λｉ）の範囲Ｔを、例えば、高数値範囲Ｈ、中数値範囲Ｍ、低数値範囲Ｌに３分割する。λｉは、分光テクスチャ画像の各々のバンドの波長を示している（例えば３１個のバンドの場合、１≦ｉ≦３１である）。
そして、高数値範囲Ｈの範囲の分光反射スペクトル強度を色成分Ｒの階調度の範囲に振り分け、中数値範囲Ｍの範囲の分光反射スペクトル強度を色成分Ｇの階調度の範囲に振り分け、低数値範囲Ｌの範囲の分光反射スペクトル強度を色成分Ｂの階調度の範囲に振り分けるパターン＃３の変換ルールを示している。
【0086】
図１４（ｂ）において、可視化用テクスチャ画像生成部１０６は、三次元形状モデル記憶部１０８から三次元形状モデル９２１を読み出す。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、任意の１個の波長のバンドの分光テクスチャ画像の各々の画素の画素値である分光反射スペクトル強度を、上述した変換ルールに対応させて、色成分Ｒ、Ｇ、Ｂのそれぞれの階調度の範囲における画素値に割り振り（図４（ａ））、ＲＧＢ値で表現されるテクスチャ画像９２２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９２２を三次元形状モデル９２１にレンダリングした三次元形状モデル９２３を、所定の視点位置及び視点方向からの画像として表示する。
そして、可視化用テクスチャ画像生成部１０６は、分光画像記憶部１０９を参照して、任意の１個の波長のバンドの分光テクスチャ画像の各々の画素の画素値である分光反射スペクトル強度を、上述した変換ルールに対応させて、色成分Ｒ、Ｇ、Ｂのそれぞれの階調度の範囲における画素値に割り振り（図４（ａ））、ＲＧＢ値で表現されるテクスチャ画像９２２を生成する。
可視化用テクスチャ画像生成部１０６は、テクスチャ画像９２２を三次元形状モデル９２１にレンダリングした三次元形状モデル９２３を、所定の視点位置及び視点方向からの画像として表示する。
【0087】
図１５は、本実施形態による三次元形状モデルに対する分光テクスチャ画像を、多視点画像から生成する処理の動作例を示すフローチャートである。
ステップＳ１０１：
データ入出力部１０１は、外部装置から供給される多視点画像における視点画像の各々に対し、それぞれが撮像された際の分光感度の情報を付加して、多視点画像記憶部１０７に書き込んで記憶させる。
また、データ入出力部１０１は、外部装置から供給される上記多視点画像から復元されたサーフェースモデル（ポリゴンメッシュでサーフェースが構成）の三次元形状モデルのデータを、多視点画像記憶部１０７に書き込んで記憶させる。
ステップＳ１０１：
データ入出力部１０１は、外部装置から供給される多視点画像における視点画像の各々に対し、それぞれが撮像された際の分光感度の情報を付加して、多視点画像記憶部１０７に書き込んで記憶させる。
また、データ入出力部１０１は、外部装置から供給される上記多視点画像から復元されたサーフェースモデル（ポリゴンメッシュでサーフェースが構成）の三次元形状モデルのデータを、多視点画像記憶部１０７に書き込んで記憶させる。
【0088】
ステップＳ１０２：
多視点画像分類部１０２は、多視点画像記憶部１０７を参照して、多視点画像に付加された分光感度に対応して、当該多視点画像の各々を分光感度グループに分類する。
そして、多視点画像分類部１０２は、分光感度グループに分類した多視点画像の各々を、対応する分光感度グループデータテーブルのそれぞれに書き込んで記憶させる。
多視点画像分類部１０２は、多視点画像記憶部１０７を参照して、多視点画像に付加された分光感度に対応して、当該多視点画像の各々を分光感度グループに分類する。
そして、多視点画像分類部１０２は、分光感度グループに分類した多視点画像の各々を、対応する分光感度グループデータテーブルのそれぞれに書き込んで記憶させる。
【0089】
ステップＳ１０３：
仮想多視点画像生成部１０３は、各視点位置における多視点画像を基準多視点画像とし、この基準多視点画像の近傍にある他の視点位置における、基準多視点画像と異なる分光感度グループに属する多視点画像を対象多視点画像とする。
そして、仮想多視点画像生成部１０３は、上記対象多視点画像の各々から、基準多視点画像と同一の視点情報で撮像されたとする仮想視点画像を再現できる対象多視点画像を選択する。
そして、仮想多視点画像生成部１０３は、選択した対象多視点画像の各々を、基準多視点画像と同一の視点位置、光軸ベクトルから撮像された撮像画像に変換し、仮想多視点画像の生成を行い、多視点画像記憶部１０７における同一多視点画像テーブルに書き込んで記憶させる。
仮想多視点画像生成部１０３は、各視点位置における多視点画像を基準多視点画像とし、この基準多視点画像の近傍にある他の視点位置における、基準多視点画像と異なる分光感度グループに属する多視点画像を対象多視点画像とする。
そして、仮想多視点画像生成部１０３は、上記対象多視点画像の各々から、基準多視点画像と同一の視点情報で撮像されたとする仮想視点画像を再現できる対象多視点画像を選択する。
そして、仮想多視点画像生成部１０３は、選択した対象多視点画像の各々を、基準多視点画像と同一の視点位置、光軸ベクトルから撮像された撮像画像に変換し、仮想多視点画像の生成を行い、多視点画像記憶部１０７における同一多視点画像テーブルに書き込んで記憶させる。
【0090】
ステップＳ１０４：
分光画像生成部１０４は、視点情報毎に対応して、同一多視点画像テーブルにおける多視点画像（基準多視点画像及び仮想多視点画像）の各々の画素の各々と、多視点画像それぞれを撮像した撮像装置の分光感度と、光源の分光分布とを用い、（１）式及び（２）式の各々により、各波長のバンドに対応した分光画像それぞれの画素（基準多視点画像の画素に対応）の分光反射スペクトルを求める。
そして、分光画像生成部１０４は、視点情報毎に、所定の波長のバンド（３１個種類）の各々の分光画像（３１個）を生成し、分光画像記憶部１０９における分光画像テーブルに書き込んで記憶させる。
分光画像生成部１０４は、視点情報毎に対応して、同一多視点画像テーブルにおける多視点画像（基準多視点画像及び仮想多視点画像）の各々の画素の各々と、多視点画像それぞれを撮像した撮像装置の分光感度と、光源の分光分布とを用い、（１）式及び（２）式の各々により、各波長のバンドに対応した分光画像それぞれの画素（基準多視点画像の画素に対応）の分光反射スペクトルを求める。
そして、分光画像生成部１０４は、視点情報毎に、所定の波長のバンド（３１個種類）の各々の分光画像（３１個）を生成し、分光画像記憶部１０９における分光画像テーブルに書き込んで記憶させる。
【0091】
ステップＳ１０５：
分光テクスチャ画像生成部１０５は、三次元形状モデルのポリゴンメッシュを展開した展開図を作成し、この展開図における各領域の画素の画素値として、ポリゴンメッシュ頂点座標値に対応した分光画像の画素座標値で囲まれた画素領域の画素の画素値として分光反射スペクトルの強度を付与する。
分光テクスチャ画像生成部１０５は、三次元形状モデルのポリゴンメッシュを展開した展開図を作成し、この展開図における各領域の画素の画素値として、ポリゴンメッシュ頂点座標値に対応した分光画像の画素座標値で囲まれた画素領域の画素の画素値として分光反射スペクトルの強度を付与する。
【0092】
そして、分光テクスチャ画像生成部１０５は、視点情報の各々の分光画像の分光反射スペクトルの強度を画素値として分光反射スペクトルの強度を、展開図の全ての領域における画素のそれぞれに付与することで、１個の波長のバンドに対応する分光テクスチャ画像を生成する。
分光テクスチャ画像生成部１０５は、生成した分光テクスチャ画像を、生成に使用した分光画像の波長のバンドに対応させて、分光テクスチャ画像記憶部１１０における分光テクスチャ画像テーブルに書き込んで記憶させる。
分光テクスチャ画像生成部１０５は、生成した分光テクスチャ画像を、生成に使用した分光画像の波長のバンドに対応させて、分光テクスチャ画像記憶部１１０における分光テクスチャ画像テーブルに書き込んで記憶させる。
【0093】
ステップＳ１０６：
分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成したか否かの判定を行う。
このとき、分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成したと判定した場合、処理を終了する。
一方、分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成していないと判定した場合、処理をステップＳ１０５へ進める。
分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成したか否かの判定を行う。
このとき、分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成したと判定した場合、処理を終了する。
一方、分光テクスチャ画像生成部１０５は、全ての波長のバンドの分光テクスチャ画像を生成していないと判定した場合、処理をステップＳ１０５へ進める。
【0094】
上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から、視点情報毎に異なる分光感度の仮想多視点画像を生成することで、視点情報単位に複数の分光感度に対応した多視点画像を取得し、視点情報毎のハイパースペクトル画像と同様な分光画像を生成することを可能とし、対象物体の分光反射率を通常の色成分ＲＧＢで撮像した画像に比較して、より詳細な分光反射スペクトルとして取得でき、所定の複数の波長のバンド（色成分ＲＧＢの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。
【0095】
また、本実施形態によれば、複数の波長のバンド（例えば３１個）の分光テクスチャ画像を生成し、色成分ＲＧＢを表示する表示装置により観察ができるように、各波長の分光テクスチャ画像の各々の画素値を、色成分ＲＧＢのそれぞれの画素値に対応させることにより、復元した三次元形状モデルにテクスチャマッピングさせて、上記表示装置によりテクスチャマッピングした三次元形状モデルを観察することが可能であるため、対象物体の分光反射率の状態をより詳細に視認することができる。
【0096】
＜第２の実施形態＞
以下、本発明の第２の実施形態について、図面を参照して説明する。
図１６は、本発明の第２の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
図１６において、分光テクスチャ画像生成システム１００Ａは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、テクスチャ画像生成部１１１、分光テクスチャ画像生成部１１２、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、テクスチャ画像記憶部１１３及び分光テクスチャ画像記憶部１１０の各々を備えている。以下、第１の実施形態と異なる構成及び動作について説明する。
以下、本発明の第２の実施形態について、図面を参照して説明する。
図１６は、本発明の第２の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。
図１６において、分光テクスチャ画像生成システム１００Ａは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、テクスチャ画像生成部１１１、分光テクスチャ画像生成部１１２、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、テクスチャ画像記憶部１１３及び分光テクスチャ画像記憶部１１０の各々を備えている。以下、第１の実施形態と異なる構成及び動作について説明する。
【0097】
図１７は、第２の実施形態の分光テクスチャ画像生成システムによる分光テクスチャ画像の生成を説明する概念図である。撮像装置としては、例えば、図４の場合と同様に、分光感度の異なる撮像装置Ａ１、Ａ２及びＡ３の３台を用いている。
図１７において、図１７（ａ）における異なる視点位置及び光軸ベクトル（視点情報の条件）で対象物体５００の多視点画像を撮像する処理と、図１７（ｂ）における対象多視点画像から仮想多視点画像の生成する処理との各々は、それぞれ図４（ａ）、図４（ｂ）のそれぞれと同様である。
図１７において、図１７（ａ）における異なる視点位置及び光軸ベクトル（視点情報の条件）で対象物体５００の多視点画像を撮像する処理と、図１７（ｂ）における対象多視点画像から仮想多視点画像の生成する処理との各々は、それぞれ図４（ａ）、図４（ｂ）のそれぞれと同様である。
【0098】
図１７（ｃ）は、多視点画像記憶部１０７における視点情報毎の同一多視点画像テーブルの各々を参照し、同一の分光感度の多視点画像（基準多視点画像及び仮想多視点画像）を抽出して、テクスチャ画像を生成する処理である。分光感度Ｂ１、Ｂ２及びＢ３の各々の異なる撮像装置でそれぞれ撮像した多視点画像から、分光感度Ｂ１のテクスチャ画像９５１、９５２、９５３を生成する。
図１７（ｄ）は、分光感度の各々異なるテクスチャ画像から、対象物体５００の三次元形状モデルに対する分光テクスチャ画像（ハイパースペクトル画像）それぞれを生成する処理を示している。分光テクスチャ画像は、例えば、波長４００ｎｍから７００ｎｍの１０ｎｍ毎に生成する（後述）。
図１７（ｄ）は、分光感度の各々異なるテクスチャ画像から、対象物体５００の三次元形状モデルに対する分光テクスチャ画像（ハイパースペクトル画像）それぞれを生成する処理を示している。分光テクスチャ画像は、例えば、波長４００ｎｍから７００ｎｍの１０ｎｍ毎に生成する（後述）。
【0099】
図１６に戻り、テクスチャ画像生成部１１１は、多視点画像記憶部１０７における視点情報毎の同一多視点画像テーブルの各々を参照し、同一の分光感度の多視点画像（基準多視点画像及び仮想多視点画像）を抽出して、テクスチャ画像を生成する。
ここで、テクスチャ画像生成部１１１は、三次元形状モデル記憶部１０８から三次元形状モデルのデータを読み出す。
テクスチャ画像生成部１１１は、第１の実施形態における分光テクスチャ画像生成部１０５と同様に、図９で説明した処理により三次元形状モデルのポリゴンメッシュの展開図を生成する。ここで、各テクスチャ画像に対応する展開図は、多視点画像の分光感度毎に異なる対応座標ルックアップテーブルが生成される。
ここで、テクスチャ画像生成部１１１は、三次元形状モデル記憶部１０８から三次元形状モデルのデータを読み出す。
テクスチャ画像生成部１１１は、第１の実施形態における分光テクスチャ画像生成部１０５と同様に、図９で説明した処理により三次元形状モデルのポリゴンメッシュの展開図を生成する。ここで、各テクスチャ画像に対応する展開図は、多視点画像の分光感度毎に異なる対応座標ルックアップテーブルが生成される。
【0100】
そして、テクスチャ画像生成部１１１は、展開図における各領域に対応したポリゴンメッシュを投影した、それぞれ視点情報における多視点画像（基準多視点画像及び仮想多視点画像）の領域における画素の画素値を対応付けて付与する。
テクスチャ画像生成部１１１は、分光感度の各々に対応して生成したテクスチャ画像のそれぞれを、テクスチャ画像記憶部１１３におけるテクスチャ画像テーブルに対して書き込んで記憶させる（図１７（ｃ））。
このとき、テクスチャ画像生成部１１１は、テクスチャ画像の各々を生成する際に、テクスチャ画像のそれぞれに対応して、図１０に示す対応座標ルックアップテーブルを生成する。
テクスチャ画像生成部１１１は、分光感度の各々に対応して生成したテクスチャ画像のそれぞれを、テクスチャ画像記憶部１１３におけるテクスチャ画像テーブルに対して書き込んで記憶させる（図１７（ｃ））。
このとき、テクスチャ画像生成部１１１は、テクスチャ画像の各々を生成する際に、テクスチャ画像のそれぞれに対応して、図１０に示す対応座標ルックアップテーブルを生成する。
【0101】
図１８は、第２の実施形態におけるテクスチャ画像記憶部１１３におけるテクスチャ画像テーブルの構成例を示す図である。
テクスチャ画像テーブルは、レコードの各々において、テクスチャ画像識別情報と、分光感度データインデックスと、テクスチャ画像データインデックスと、ルックアップテーブルインデックスとの欄が設けられている。
テクスチャ画像識別情報は、分光感度毎に生成されたテクスチャ画像の各々を個別に識別する識別情報である。
テクスチャ画像テーブルは、レコードの各々において、テクスチャ画像識別情報と、分光感度データインデックスと、テクスチャ画像データインデックスと、ルックアップテーブルインデックスとの欄が設けられている。
テクスチャ画像識別情報は、分光感度毎に生成されたテクスチャ画像の各々を個別に識別する識別情報である。
【0102】
分光感度データインデックスは、テクスチャ画像に対応する分光感度のデータが書き込まれたテクスチャ画像記憶部１１３における領域を示すアドレスである。テクスチャ画像インデックスは、テクスチャ画像のデータが書き込まれたテクスチャ画像記憶部１１３における領域を示すアドレスである。ルックアップテーブルインデックスは、対応座標ルックアップテーブルのデータが書き込まれたテクスチャ画像記憶部１１３における領域を示すアドレスである。
【0103】
分光テクスチャ画像生成部１１２は、テクスチャ画像記憶部１１３におけるテクスチャ画像テーブルを参照し、テクスチャ画像の各々の分光感度データと、テクスチャ画像における画素の画素値と、テクスチャ画像の対応座標ルックアップテーブルとにより、波長のバンド毎の分光テクスチャ画像を生成する。
ここで、分光テクスチャ画像生成部１１２は、すでに説明した（１）式及び（２）式により、各波長のバンドの分光テクスチャ画像における画素の各々の分光反射スペクトルを推定する。
ここで、分光テクスチャ画像生成部１１２は、すでに説明した（１）式及び（２）式により、各波長のバンドの分光テクスチャ画像における画素の各々の分光反射スペクトルを推定する。
【0104】
このとき、分光テクスチャ画像生成部１１２は、各テクスチャ画像の対応座標ルックアップテーブルにおける同一のポリゴンメッシュ頂点座標値の組合せを抽出することにより、同一のポリゴンメッシュに対応するテクスチャ領域を、それぞれのテクスチャ画像において検出する。
分光テクスチャ画像生成部１１２は、検出したテクスチャ領域における画素の各々の画素値（色成分ＲＧＢ）を用いて、（１）式及び（２）式により、その画素位置に対応するに分光テクスチャ画像における画素の各波長のバンドの分光反射スペクトルを推定する。
分光テクスチャ画像生成部１１２は、検出したテクスチャ領域における画素の各々の画素値（色成分ＲＧＢ）を用いて、（１）式及び（２）式により、その画素位置に対応するに分光テクスチャ画像における画素の各波長のバンドの分光反射スペクトルを推定する。
【0105】
ここで、分光テクスチャ画像生成部１１２は、いずれかのテクスチャ画像を選択し、このテクスチャ画像の展開図のテクスチャ領域の各々の画素の画素値として、取得した分光反射スペクトル強度を付与することで、分光テクスチャ画像を生成する（図１７（ｄ））。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
【0106】
上述したように、本実施形態によれば、一般的なユーザが取得可能な市場に流通しているデジタルカメラなどの撮像装置により、異なる分光感度及び視点情報（視点位置、光軸ベクトル）により撮像した多視点撮像画像から、視点情報毎に異なる分光感度の仮想多視点画像を生成することで、視点情報単位に複数の分光感度に対応した多視点画像をそろえることにより、分光感度毎のテクスチャ画像を生成することが可能とし、分光感度の異なるテクスチャ画像から、ハイパースペクトル画像から生成する場合と同様に、対象物体の分光反射率を通常の色成分ＲＧＢで撮像した画像に比較して、より細かい複数の波長のバンド（色成分ＲＧＢの３バンドを超えるバンド数（例えば、異なる波長の３１バンド））の各々に対応した、対象物体の分光反射率を高精度に反映したテクスチャ画像として、三次元形状モデルに対する分光テクスチャ画像を簡易に生成することができる。
【0107】
＜第３の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。第３の実施形態による分光テクスチャ画像生成システムの構成は、第２の実施形態と同様である（図１７の処理により分光テクスチャ画像の生成を行う）。以下の説明においては、第２の実施形態と異なる動作について説明する。
テクスチャ画像生成部１１１は、いずれかの分光感度の多視点画像（基準多視点画像及び仮想多視点画像）、例えば、多視点画像記憶部１０７の最初に記載された視点情報の同一視点多視点画像テーブルにおける基準多視点画像の分光感度に対応させ、すべての同一視点多視点画像テーブルに含まれる多視点画像を用いてテクスチャ画像を生成する。
このとき、テクスチャ画像生成部１１１は、テクスチャ画像を生成する際に作成した対応座標ルックアップテーブル（図１０と同様のテーブル）を、基準対応座標ルックアップテーブルとしてテクスチャ画像記憶部１１３に対して書き込んで記憶する。
以下、本発明の第３の実施形態について、図面を参照して説明する。第３の実施形態による分光テクスチャ画像生成システムの構成は、第２の実施形態と同様である（図１７の処理により分光テクスチャ画像の生成を行う）。以下の説明においては、第２の実施形態と異なる動作について説明する。
テクスチャ画像生成部１１１は、いずれかの分光感度の多視点画像（基準多視点画像及び仮想多視点画像）、例えば、多視点画像記憶部１０７の最初に記載された視点情報の同一視点多視点画像テーブルにおける基準多視点画像の分光感度に対応させ、すべての同一視点多視点画像テーブルに含まれる多視点画像を用いてテクスチャ画像を生成する。
このとき、テクスチャ画像生成部１１１は、テクスチャ画像を生成する際に作成した対応座標ルックアップテーブル（図１０と同様のテーブル）を、基準対応座標ルックアップテーブルとしてテクスチャ画像記憶部１１３に対して書き込んで記憶する。
【0108】
そして、テクスチャ画像生成部１１１は、基準対応座標ルックアップテーブルを参照し、当該基準対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標値と領域頂点座標値との各々の対応に対して、ポリゴンメッシュ頂点座標値、領域頂点座標値それぞれが同様の対応関係を有するテクスチャ画像を生成する。
すなわち、テクスチャ画像生成部１１１は、基準対応座標ルックアップテーブルを参照し、この基準対応座標ルックアップテーブルを生成した分光感度以外の他の分光感度のテクスチャ画像の各々を生成する。
すなわち、テクスチャ画像生成部１１１は、基準対応座標ルックアップテーブルを参照し、この基準対応座標ルックアップテーブルを生成した分光感度以外の他の分光感度のテクスチャ画像の各々を生成する。
【0109】
図１９は、第３の実施形態におけるテクスチャ画像記憶部１１３におけるテクスチャ画像テーブルの構成例を示す図である。
テクスチャ画像テーブルは、レコードの各々において、テクスチャ画像識別情報と、分光感度データインデックスと、テクスチャ画像データインデックスと、ルックアップテーブルインデックスとの欄が設けられている。
テクスチャ画像識別情報は、分光感度毎に生成されたテクスチャ画像の各々を個別に識別する識別情報である。
テクスチャ画像テーブルは、レコードの各々において、テクスチャ画像識別情報と、分光感度データインデックスと、テクスチャ画像データインデックスと、ルックアップテーブルインデックスとの欄が設けられている。
テクスチャ画像識別情報は、分光感度毎に生成されたテクスチャ画像の各々を個別に識別する識別情報である。
【0110】
分光感度データインデックスは、テクスチャ画像に対応する分光感度のデータが書き込まれたテクスチャ画像記憶部１１３における領域を示すアドレスである。テクスチャ画像インデックスは、テクスチャ画像のデータが書き込まれたテクスチャ画像記憶部１１３における領域を示すアドレスである。
また、分光テクスチャ画像生成部１１２は、テクスチャ画像記憶部１１３におけるテクスチャ画像テーブルを参照して、各テクスチャ画像の領域頂点座標値によるテクスチャ領域における画素の各々を用い、（１）式及び（２）式を用いて、各波長のバンドの分光テクスチャ画像におけるテクスチャ領域における各画素の分光反射スペクトルを求め、分光テクスチャ画像を生成する。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
また、分光テクスチャ画像生成部１１２は、テクスチャ画像記憶部１１３におけるテクスチャ画像テーブルを参照して、各テクスチャ画像の領域頂点座標値によるテクスチャ領域における画素の各々を用い、（１）式及び（２）式を用いて、各波長のバンドの分光テクスチャ画像におけるテクスチャ領域における各画素の分光反射スペクトルを求め、分光テクスチャ画像を生成する。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
【0111】
＜第４の実施形態＞
以下、本発明の第３の実施形態について、図面を参照して説明する。
図２０は、本発明の第４の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。また、本実施形態による分光テクスチャ画像生成システムは、第２の実施形態と同様に、図１７の処理により分光テクスチャ画像の生成を行う。
図２０において、分光テクスチャ画像生成システム１００Ｂは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、テクスチャ画像生成部１１１、テクスチャ画像再構成部１１４、分光テクスチャ画像生成部１１２、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、テクスチャ画像記憶部１１３及び分光テクスチャ画像記憶部１１０の各々を備えている。以下、第１の実施形態と異なる構成及び動作について説明する。
以下、本発明の第３の実施形態について、図面を参照して説明する。
図２０は、本発明の第４の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。また、本実施形態による分光テクスチャ画像生成システムは、第２の実施形態と同様に、図１７の処理により分光テクスチャ画像の生成を行う。
図２０において、分光テクスチャ画像生成システム１００Ｂは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、テクスチャ画像生成部１１１、テクスチャ画像再構成部１１４、分光テクスチャ画像生成部１１２、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、テクスチャ画像記憶部１１３及び分光テクスチャ画像記憶部１１０の各々を備えている。以下、第１の実施形態と異なる構成及び動作について説明する。
【0112】
テクスチャ画像生成部１１１は、第２の実施形態と同様に、分光感度毎のテクスチャ画像を生成する。
このとき、テクスチャ画像生成部１１１は、分光感度の各々のテクスチャ画像を生成する際に、分光感度のそれぞれに対応した対応座標ルックアップテーブルを生成する。
そして、テクスチャ画像再構成部１１４は、いずれかの分光感度の多視点画像（基準多視点画像及び仮想多視点画像）、例えば、多視点画像記憶部１０７の最初に記載された視点情報の同一視点多視点画像テーブルにおける基準多視点画像の分光感度に対応した対応座標ルックアップテーブルを基準対応座標ルックアップテーブルとする。
このとき、テクスチャ画像生成部１１１は、分光感度の各々のテクスチャ画像を生成する際に、分光感度のそれぞれに対応した対応座標ルックアップテーブルを生成する。
そして、テクスチャ画像再構成部１１４は、いずれかの分光感度の多視点画像（基準多視点画像及び仮想多視点画像）、例えば、多視点画像記憶部１０７の最初に記載された視点情報の同一視点多視点画像テーブルにおける基準多視点画像の分光感度に対応した対応座標ルックアップテーブルを基準対応座標ルックアップテーブルとする。
【0113】
テクスチャ画像再構成部１１４は、テクスチャ画像記憶部１１３の基準対応座標ルックアップテーブルと、他の分光感度のテクスチャ画像の対応座標ルックアップテーブルとを比較し、基準対応座標ルックアップテーブルに対応するテクスチャ画像の展開図に対応させ、他のテクスチャ画像におけるテクスチャ領域の配置を変更する。
すなわち、テクスチャ画像再構成部１１４は、対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標との対応と、基準対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標との対応とを比較する。
すなわち、テクスチャ画像再構成部１１４は、対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標との対応と、基準対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標との対応とを比較する。
【0114】
そして、テクスチャ画像再構成部１１４は、対応座標ルックアップテーブル及び基準対応座標ルックアップテーブルの各々におけるポリゴンメッシュ頂点座標から形成されるポリゴンメッシュを抽出する。
テクスチャ画像再構成部１１４は、基準対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標と、対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標とが同一となるように、ポリゴンメッシュ頂点座標と領域頂点座標との対応を再構成し、対応座標ルックアップテーブルの変更を行う。
テクスチャ画像再構成部１１４は、基準対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標と、対応座標ルックアップテーブルにおけるポリゴンメッシュ頂点座標と領域頂点座標とが同一となるように、ポリゴンメッシュ頂点座標と領域頂点座標との対応を再構成し、対応座標ルックアップテーブルの変更を行う。
【0115】
分光テクスチャ画像生成部１１２は、対応座標ルックアップテーブル及び基準対応座標ルックアップテーブルにおける領域頂点座標を対応させ、各テクスチャ画像の領域頂点座標値によるテクスチャ領域における画素の各々を用い、（１）式及び（２）式により、各波長のバンドの分光テクスチャ画像におけるテクスチャ領域における各画素の分光反射スペクトルを求め、分光テクスチャ画像を生成する。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
そして、生成した分光テクスチャ画像の各々を、それぞれの波長のバンドと組み合わせて図１１に示す分光テクスチャ画像記憶部１１０に対して書き込んで記憶させる。
【0116】
＜第５の実施形態＞
以下、本発明の第５の実施形態について、図面を参照して説明する。
図２１は、本発明の第５の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。図２１において、分光テクスチャ画像生成システム１００Ｃは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、分光分布推定部１１５、分光画像生成部１０４、分光テクスチャ画像生成部１０５、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、分光分布基底ベクトル記憶部１１６、分光画像記憶部１０９及び分光テクスチャ画像記憶部１１０の各々を備えている。
以下、本発明の第５の実施形態について、図面を参照して説明する。
図２１は、本発明の第５の実施形態による分光テクスチャ画像生成システムの構成例を示すブロック図である。図２１において、分光テクスチャ画像生成システム１００Ｃは、データ入出力部１０１、多視点画像分類部１０２、仮想多視点画像生成部１０３、分光分布推定部１１５、分光画像生成部１０４、分光テクスチャ画像生成部１０５、可視化用テクスチャ画像生成部１０６、多視点画像記憶部１０７、三次元形状モデル記憶部１０８、分光分布基底ベクトル記憶部１１６、分光画像記憶部１０９及び分光テクスチャ画像記憶部１１０の各々を備えている。
【0117】
本実施形態においても、図示しない外部装置から、三次元形状モデルとして復元する対象の対象物体を撮像した撮像画像データが視点画像として供給される。以下、第１の実施形態と異なる構成及び動作のみ説明する。
第１から第４の実施形態においては、各多視点画像を撮像した際における光源の分光分布をすでに計測された分光分布データとして取得していた。
第５の実施形態において、分光反射率の推定の際、分光分布の推定も行う構成としている。
第１から第４の実施形態においては、各多視点画像を撮像した際における光源の分光分布をすでに計測された分光分布データとして取得していた。
第５の実施形態において、分光反射率の推定の際、分光分布の推定も行う構成としている。
【0118】
分光分布推定部１１５は、複数の異なる分光感度の撮像装置で撮像した視点画像からなる多視点画像により、この多視点画像を撮像した環境における光源の分光分布を推定する。
分光分布推定部１１５は、例えば、分光分布基底ベクトル記憶部１１６から、複数の分光分布基底ベクトルを読み込む。そして、分光分布推定部１１５は、分光反射率の場合と同様に、多視点画像を撮像した環境における光源の分光分布を、読み込んだ複数の分光分布基底ベクトルの重み付け和で表現する。分光分布推定部１１５は、各分光分布基底ベクトルの重み付けを行う重み係数を推定することにより、光源の分光分布を推定する。
分光分布推定部１１５は、例えば、分光分布基底ベクトル記憶部１１６から、複数の分光分布基底ベクトルを読み込む。そして、分光分布推定部１１５は、分光反射率の場合と同様に、多視点画像を撮像した環境における光源の分光分布を、読み込んだ複数の分光分布基底ベクトルの重み付け和で表現する。分光分布推定部１１５は、各分光分布基底ベクトルの重み付けを行う重み係数を推定することにより、光源の分光分布を推定する。
【0119】
ここで、分光分布基底ベクトルは、主成分分析を用いて複数の光源の分光分布の集合である分光分布データ群から、当該分光反射率データ群を表現するための分光分布基底ベクトルとして導出されている。
この主成分分析においては、分光反射率の場合と同様に、分光分布の実際の次元よりも、少ない数の分光分布基底ベクトルの組み合わせで、分光分布を表現できるようになる。すなわち、分光分布基底ベクトルを用いることにより、推定する対象である光源の分光分布の次元を圧縮し、計算負荷を低減させる。
この主成分分析においては、分光反射率の場合と同様に、分光分布の実際の次元よりも、少ない数の分光分布基底ベクトルの組み合わせで、分光分布を表現できるようになる。すなわち、分光分布基底ベクトルを用いることにより、推定する対象である光源の分光分布の次元を圧縮し、計算負荷を低減させる。
【0120】
すなわち、分光分布推定部１１５は、以下の（３）式示すように、複数の分光分布基底ベクトルｅｊ＝［ｅｊ（λ１），ｅｊ（λ２），…］Ｔの重み付け和で表し、分光分布基底ベクトルの各々の重み係数ａ＝［ａ１，ａ２，…］Ｔを求めることにより、分光分布ｌを推定している。ここで、分光分布基底ベクトルは、例えば、セットとして分光分布基底ベクトル記憶部１１６に予め記憶されている。また、分光分布基底ベクトル記憶部１１６において、主成分分析における主成分得点の高い順に複数配列して記憶されており、所定の順までの分光分布基底ベクトルを必要に応じて読み込んで用いる構成としても良い（後述）。
この分光分布基底ベクトルの合成も、図４に示す分光反射率基底ベクトルを合成して分光反射率を表現する場合と同様である。
この分光分布基底ベクトルの合成も、図４に示す分光反射率基底ベクトルを合成して分光反射率を表現する場合と同様である。
【0121】
【数3】
【0122】
そして、分光分布推定部１１５は、上記（３）式で表した分光分布に対し、以下の（４）式を解くことにより、各重み係数ａを推定する。そして、分光分布推定部１１５は、推定した重み係数により、（３）式により分光分布ｌの推定を行う。ここで、分光分布ｌは、例えば、分光反射率の場合と同様に、４００ｎｍから７００ｎｍの波長範囲を１０ｎｍ刻みでサンプリングした３１次元ベクトルとして表している。
【0123】
【数4】
【0124】
上記（４）式において、ｐｍ，ｋは、ｍ番目の視点画像のｋ番目のチャンネルの画素値である。すなわち、ｐｍ，ｋにおいて、ｍは、分光反射率推定用視点群における視点画像を示す番号である。また、ｋは、視点画像における部分における色成分のチャンネルを示している。例えば、部分が色成分Ｒ、Ｇ及びＢの画素値で示されていれば、例えばチャンネル１が色成分Ｒであり、チャンネル２が色成分Ｇであり、チャンネル３が色成分Ｂである。
【0125】
また、（４）式において、行列Ｃｍ、ｋは、ｍ番目の視点画像のｋ番目のチャンネル（色成分の波長帯域、すなわちバンド）の分光感度を示している。このＣｍ、ｋにおける要素ｃｍ，ｋ（λ）は、ｍ番目の視点画像のｋ番目のチャンネルにおける波長λの分光感度を示している。
（４）式で用いる視点画像は、三次元形状モデルの部分をいくつかサンプリングし、そのサンプリングした部分の分光反射率推定用視点群の視点画像である。
そして、分光分布推定部１１５は、サンプリングした部分の分光反射率と、各視点画像における部分に対応する画素値と、視点画像を撮像した撮像装置の分光感度とを用いて、（４）式を解いて重み係数ａを推定することにより、光源の分光分布の推定を行う。このサンプリングする部分は、三次元形状モデルから選択しても良いし、視点画像における画素から選択しても良い。
（４）式で用いる視点画像は、三次元形状モデルの部分をいくつかサンプリングし、そのサンプリングした部分の分光反射率推定用視点群の視点画像である。
そして、分光分布推定部１１５は、サンプリングした部分の分光反射率と、各視点画像における部分に対応する画素値と、視点画像を撮像した撮像装置の分光感度とを用いて、（４）式を解いて重み係数ａを推定することにより、光源の分光分布の推定を行う。このサンプリングする部分は、三次元形状モデルから選択しても良いし、視点画像における画素から選択しても良い。
【0126】
ここで、分光分布推定部１１５は、分光反射率の推定の場合と同様に、分光反射率推定用視点群における分光感度グループの数に対応して、分光分布基底ベクトル記憶部１１６から分光分布基底ベクトルのセットを選択して読み出す構成としてもよい。
また、（３）式を解く際、分光分布データを表すために用いる分光分布基底ベクトル（主成分）の数（以下、分光分布基底ベクトル数）Ｎχの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
また、（３）式を解く際、分光分布データを表すために用いる分光分布基底ベクトル（主成分）の数（以下、分光分布基底ベクトル数）Ｎχの上限は、例えば、多視点画像を撮像する分光感度グループの数（撮像装置の数、あるいは色彩変化フィルタによる分光感度の調整数など）に基づいて決定される。
【0127】
また、分光反射率推定用視点群が三次元形状モデルの部分毎に求められ、部分の各々における分光感度グループ数ｍが異なる。このため、三次元形状モデルの部分それぞれにおいて、分光分布推定部１１５が分光分布基底ベクトル記憶部１１６から読み出す分光分布基底ベクトルのセット（分光分布基底ベクトル数Ｎχ）が異なる。
【0128】
三次元形状モデルの各部分の分光反射率と、光源の分光分布との各々の推定を行う場合、分光反射率及び分光分布の推定を交互に複数回繰返して行う。
分光反射率の推定から行う場合、分光テクスチャ画像生成部１１２は、分光画像記憶部１０９から、予め設定されているデフォルトの光源の分光分布を読み込み、分光反射率の推定を（１）式及び（２）式を用いて行う。
次に、分光分布の推定を行う場合、分光分布推定部１１５は、上記デフォルトの光源の分光分布により求められた分光反射率を用い、分光分布の推定を（３）式及び（４）式を用いて行う。
分光反射率の推定から行う場合、分光テクスチャ画像生成部１１２は、分光画像記憶部１０９から、予め設定されているデフォルトの光源の分光分布を読み込み、分光反射率の推定を（１）式及び（２）式を用いて行う。
次に、分光分布の推定を行う場合、分光分布推定部１１５は、上記デフォルトの光源の分光分布により求められた分光反射率を用い、分光分布の推定を（３）式及び（４）式を用いて行う。
【0129】
一方、分光分布の推定から行う場合、分光分布推定部１１５は、三次元形状モデルからサンプリングされる部分の分光反射率を、予め設定されているデフォルトの分光反射率を用いて、分光分布の推定を（３）式及び（４）式を用いて行う。
次に、分光反射率の推定を行う場合、分光テクスチャ画像生成部１１２は、上記デフォルトの分光反射率により求められた分光分布を用い、分光反射率の推定を（１）式及び（２）式を用いて行う。
次に、分光反射率の推定を行う場合、分光テクスチャ画像生成部１１２は、上記デフォルトの分光反射率により求められた分光分布を用い、分光反射率の推定を（１）式及び（２）式を用いて行う。
【0130】
上述したように、本実施形態によれば、三次元形状モデルの各ボクセル部分の分光反射率の推定と、当該部分からサンプリングした部分を用いた分光分布の推定とを繰り返して行うことにより、三次元形状モデルの部分の各々の分光反射率と、多視点画像を撮像した環境における光源の分光分布との推定精度を高めつつ求めることができる。
また、このとき、分光分布の推定及び分光反射率の推定を繰り返す回数を予め設定して、繰り返し回数がこの設定した回数になった場合に処理を終了してもよいし、得られた数値と直前の計算結果の数値との差が所定の値になった場合に処理を終了する構成としてもよい。
また、このとき、分光分布の推定及び分光反射率の推定を繰り返す回数を予め設定して、繰り返し回数がこの設定した回数になった場合に処理を終了してもよいし、得られた数値と直前の計算結果の数値との差が所定の値になった場合に処理を終了する構成としてもよい。
【0131】
また、分光反射率を推定する場合、分光反射率が既知の参照物体（例えば、カラーチャート）を対象物体と同一画像で撮像した視点画像、あるいは対象物体を撮像した光源下で上記参照物体を撮像した参照画像のいずれかを用いて光源の分光分布を推定する構成としてもよい。
このとき、分光分布推定部１１５は、参照物体と対象物体とを同一画像として撮像された視点画像を用いる場合、分光感度グループの少なくとも２個以上から、上記参照物体が撮像されている視点画像を選択し、光源推定用視点群を生成する。
このとき、分光分布推定部１１５は、参照物体と対象物体とを同一画像として撮像された視点画像を用いる場合、分光感度グループの少なくとも２個以上から、上記参照物体が撮像されている視点画像を選択し、光源推定用視点群を生成する。
【0132】
そして、分光分布推定部１１５は、光源推定用視点群における視点画像に対応した分光感度と、参照物体の所定の部分の既知の分光反射率と、光源推定用視点群における視点画像の上記所定の部分に対応する位置の画素値とを用いて、（３）式及び（４）式により、多視点画像を撮像した光源の分光分布を算出する。
また、本実施形態においては、第１の実施形態に対して光源の分光分布の推定を行う分光分布推定部１１５及び分光分布基底ベクトル記憶部１１６の各々を設けて説明したが、第２の実施形態から第４の実施形態の各々に、付与する構成としてもよい。
また、本実施形態においては、第１の実施形態に対して光源の分光分布の推定を行う分光分布推定部１１５及び分光分布基底ベクトル記憶部１１６の各々を設けて説明したが、第２の実施形態から第４の実施形態の各々に、付与する構成としてもよい。
【0133】
上述したように、本実施形態によれば、対象物体の三次元形状及び分光反射率を推定する処理と、この対象物体の分光反射率、光源の分光分布視点画像及び分光感度に対応して視点画像からグレースケール画像を生成する処理とを繰返すことにより、対象物体の三次元形状の推定の精度とともに、分光反射率の推定の精度を向上させることができる。
【0134】
また、上述した第１から第５の実施形態に、例えば、多視点画像記憶部１０７に記憶されている、対象物体が撮像されている多視点画像の各々を読み込み、この対象物体の三次元形状を推定し、三次元形状モデルを生成する三次元形状復元部（不図示）を設ける構成としてもよい。そして、上記三次元形状復元部は、対象物体の三次元形状モデルのデータを三次元形状モデル記憶部１０８に書き込んで記憶させる。
ここで、三次元形状モデルの生成の手法に関しては、例えば、視点画像からデプスマップを生成し、このデプスマップから三次元形状モデルを三次元点群として生成し、多角形メッシュで表現される三次元メッシュモデル（例えば、三角形メッシュモデル）として生成してもよい（例えば、酒井修二、渡邉隆史、増田智仁、伊藤康一、青木孝文：位相限定相関法に基づく高精度多視点三次元復元アルゴリズムの提案、第２０回 画像の認識・理解シンポジウム（２０１７）を参照）。
また、三次元形状復元部は、三次元点群またはメッシュとして再現する際、視点画像の各々を撮像したときの撮像装置のカメラパラメータの推定も行う。
ここで、三次元形状モデルの生成の手法に関しては、例えば、視点画像からデプスマップを生成し、このデプスマップから三次元形状モデルを三次元点群として生成し、多角形メッシュで表現される三次元メッシュモデル（例えば、三角形メッシュモデル）として生成してもよい（例えば、酒井修二、渡邉隆史、増田智仁、伊藤康一、青木孝文：位相限定相関法に基づく高精度多視点三次元復元アルゴリズムの提案、第２０回 画像の認識・理解シンポジウム（２０１７）を参照）。
また、三次元形状復元部は、三次元点群またはメッシュとして再現する際、視点画像の各々を撮像したときの撮像装置のカメラパラメータの推定も行う。
【0135】
なお、本発明における図１、図１６、図２０及び図２１の各々の分光テクスチャ画像生成システムのそれぞれ機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて実行することにより、対象物体の三次元形状モデルに対する、ハイパースペクトル画像に対応した波長のバンドの各々の分光テクスチャ画像を生成する処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷ（World Wide Web）システムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc - Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ（Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。
【0136】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【0137】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【0138】
１００，１００Ａ，１００Ｂ…分光テクスチャ画像生成システム
１０１…データ入出力部
１０２…多視点画像分類部
１０３…仮想多視点画像生成部
１０４…分光画像生成部
１０５，１１２…分光テクスチャ画像生成部
１０６…可視化用テクスチャ画像生成部
１０７…多視点画像記憶部
１０８…三次元形状モデル記憶部
１０９…分光画像憶部
１１０…分光テクスチャ画像記憶部
１１１…テクスチャ画像生成部
１１３…テクスチャ画像記憶部
１１４…テクスチャ画像再構成部
１１５…分光分布推定部
１１６…分光分布基底ベクトル記憶部
１０１…データ入出力部
１０２…多視点画像分類部
１０３…仮想多視点画像生成部
１０４…分光画像生成部
１０５，１１２…分光テクスチャ画像生成部
１０６…可視化用テクスチャ画像生成部
１０７…多視点画像記憶部
１０８…三次元形状モデル記憶部
１０９…分光画像憶部
１１０…分光テクスチャ画像記憶部
１１１…テクスチャ画像生成部
１１３…テクスチャ画像記憶部
１１４…テクスチャ画像再構成部
１１５…分光分布推定部
１１６…分光分布基底ベクトル記憶部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】