特許 6610065 化粧材シミュレーションシステム、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6610065

(24)【登録日】2019年11月8日

(45)【発行日】2019年11月27日

(54)【発明の名称】化粧材シミュレーションシステム、方法、及びプログラム

(51)【国際特許分類】

   G06T 15/50 20110101AFI20191118BHJP

   G06T 19/20 20110101ALI20191118BHJP

【ＦＩ】

   G06T15/50

   G06T19/20

【請求項の数】21

【全頁数】22

(21)【出願番号】特願2015-152958(P2015-152958)

(22)【出願日】2015年7月31日

(65)【公開番号】特開2017-33319(P2017-33319A)

(43)【公開日】2017年2月9日

【審査請求日】2018年6月21日

(73)【特許権者】

【識別番号】000003193

【氏名又は名称】凸版印刷株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】飯野 浩一

(72)【発明者】

【氏名】池ノ谷 真司

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−１０３０９７（ＪＰ，Ａ）

【文献】 特開２００４−２０６５５１（ＪＰ，Ａ）

【文献】 特開２００２−２９７６８９（ＪＰ，Ａ）

【文献】 特開２００１−３１５２８９（ＪＰ，Ａ）

【文献】 特開２０００−１８７６７７（ＪＰ，Ａ）

【文献】 特開平１１−２０３３３３（ＪＰ，Ａ）

【文献】 特開平１１−１７５７５１（ＪＰ，Ａ）

【文献】 中嶋朋広，“Ｌｅｓｓｏｎ．２２ ＶＩＺ ＆ ｍａｘ Ｑ＆Ａ ＸＶＬデータを利用して洗面化粧台を作成する”，ＣＡＤ＆ＣＧ ＭＡＧＡＺＩＮＥ，日本，株式会社エクスナレッジ，２００５年 ５月 １日，第７巻, 第５号，p.150-153

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １５／５０

Ｇ０６Ｔ １９／２０

(57)【特許請求の範囲】

【請求項1】

絵柄および凹凸の模様が形成された基材を備えた化粧材の画像をシミュレートする化粧材シミュレーションシステムであって、
前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を入力する入力手段であり、前記絵柄の情報は印刷のための画素毎の色の情報であり、前記凹凸の模様の情報は前記凹凸の模様の画素毎の深さまたは高さの情報である、前記入力手段と、
前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を、前記化粧材の質感に関する素材情報に変換するように構成された変換手段であり、前記素材情報は色特性および形状特性を含む、前記変換手段と、
照明情報、前記化粧材の質感に関する素材情報、並びに照明、表示手段の表示面及び観者の相対的位置関係に基づいて、前記化粧材の表示データをレンダリングするように構成されたレンダリング手段と、
前記表示データを用いて前記化粧材の画像を表示する前記表示手段と
を備えた、化粧材シミュレーションシステム。

【請求項2】

前記入力手段は前記化粧材の光沢の情報をさらに入力する手段であり、前記化粧材の光沢の情報は光沢の強さと光沢の鋭さの情報であり、前記素材情報は反射特性をさらに含み、前記変換手段は前記光沢の情報を前記反射特性に変換するようにさらに構成されている、請求項１に記載の化粧材シミュレーションシステム。

【請求項3】

前記化粧材の光沢の情報は、光沢の異方性の情報をさらに含む、請求項２に記載の化粧材シミュレーションシステム。

【請求項4】

前記化粧材の表示データのレンダリングに用いられる前記素材情報の特性の組合せを決定する組合手段と、
前記特性の組合せを含む前記素材情報を記憶する組合編集結果記憶手段と
をさらに備えた、請求項１乃至３のいずれかに記載の化粧材シミュレーションシステム。

【請求項5】

前記化粧材の表示データのレンダリングに用いられる前記素材情報の特性の少なくとも１つを変更する編集手段をさらに備え、
前記組合編集結果記憶手段は、前記特性の少なくとも１つが変更された前記素材情報をさらに記憶する、請求項４に記載の化粧材シミュレーションシステム。

【請求項6】

前記変換手段は、前記組合編集結果記憶手段に記憶された前記素材情報を、化粧材の製造情報としての絵柄の情報、光沢の情報および凹凸の模様の情報に変換するようにさらに構成されている、請求項４または５に記載の化粧材シミュレーションシステム。

【請求項7】

前記化粧材の前記絵柄の情報および前記光沢の情報は、記憶手段に記憶された、予め作成された複数の化粧材の前記絵柄の情報および前記光沢の情報の内の１つである、請求項２，３および６のいずれかに記載の化粧材シミュレーションシステム。

【請求項8】

前記凹凸の模様の情報は、記憶手段に記憶された、予め作成された複数の凹凸の模様の情報の１つである、請求項１乃至７のいずれかに記載の化粧材シミュレーションシステム。

【請求項9】

前記化粧材は、床材、壁材、外壁材、天井材、建具造作材、屋根材、壁面収納材としての化粧材である、請求項１乃至８のいずれかに記載の化粧材シミュレーションシステム。

【請求項10】

空間の表示データをレンダリングする第２のレンダリング手段と、前記空間の表示データを用いて前記空間の画像を表示する第２の表示手段とをさらに備え、
前記第２のレンダリング手段は前記化粧材を前記空間に適応する指示に応答して、前記空間における空間照明情報、前記化粧材の質感に関する素材情報、及び前記空間内における観者の目の位置、視点またはカメラの位置に基づいて、前記化粧材を適用した前記空間の表示データをレンダリングするように構成されている、請求項１乃至７のいずれかに記載の化粧材シミュレーションシステム。

【請求項11】

絵柄および凹凸の模様が形成された基材を備えた化粧材の画像をシミュレートする化粧材シミュレーションシステムにおける化粧材シミュレーション方法であって、前記化粧材シミュレーションシステムは、入力手段と、変換手段と、レンダリング手段と、表示手段とを備え、前記化粧材シミュレーション方法は、
前記入力手段において、前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を入力することであり、前記絵柄の情報は印刷のための画素毎の色の情報であり、前記凹凸の模様の情報は前記凹凸の模様の画素毎の深さまたは高さの情報である、ことと、
前記変換手段により、前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を、前記化粧材の質感に関する素材情報に変換することであり、前記素材情報は色特性および形状特性を含む、ことと、
前記レンダリング手段により、照明情報、前記化粧材の質感に関する素材情報、並びに照明、前記表示手段の表示面及び観者の相対的位置関係に基づいて、前記化粧材の表示データをレンダリングすることと、
前記表示手段で、前記表示データを用いて前記化粧材の画像を表示することと
を含む、化粧材シミュレーション方法。

【請求項12】

前記入力手段において、前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を入力することは、前記入力手段において、前記化粧材の前記絵柄の情報および前記化粧材の光沢の情報、並びに前記凹凸の模様の情報を入力することを含み、前記化粧材の光沢の情報は光沢の強さと光沢の鋭さの情報であり、
前記変換手段により、前記化粧材の前記絵柄の情報および前記凹凸の模様の情報を、前記化粧材の質感に関する素材情報に変換することは、前記変換手段により、前記化粧材の前記絵柄の情報および前記光沢の情報、並びに前記凹凸の模様の情報を、前記化粧材の質感に関する素材情報に変換することを含み、前記素材情報は前記色特性、反射特性および前記形状特性を含む、請求項１１に記載の化粧材シミュレーション方法。

【請求項13】

前記化粧材の光沢の情報は、光沢の異方性の情報をさらに含む、請求項１２に記載の化粧材シミュレーション方法。

【請求項14】

前記化粧材シミュレーションシステムは、組合手段と、組合編集結果記憶手段とをさらに備え、前記方法は、
前記組合手段が、前記化粧材の表示データのレンダリングに用いられる前記素材情報の特性の組合せを決定することと、
前記組合編集結果記憶手段に、前記特性の組合せを含む前記素材情報を記憶することと
をさらに含む、請求項１１乃至１３のいずれかに記載の化粧材シミュレーション方法。

【請求項15】

前記化粧材シミュレーションシステムは、編集手段をさらに備え、前記方法は、
前記編集手段が、前記化粧材の表示データのレンダリングに用いられる前記素材情報の特性の少なくとも１つを変更することと、
前記組合編集結果記憶手段に、前記特性の少なくとも１つが変更された前記素材情報をさらに記憶することと
をさらに含む、請求項１４に記載の化粧材シミュレーション方法。

【請求項16】

前記変換手段が、前記組合編集結果記憶手段に記憶された前記素材情報を、化粧材の製造情報としての絵柄の情報、光沢の情報および凹凸の模様の情報に変換すること
をさらに含む、請求項１４または１５に記載の化粧材シミュレーション方法。

【請求項17】

前記化粧材の前記絵柄の情報および前記光沢の情報は、記憶手段に記憶された、予め作成された複数の化粧材の前記絵柄の情報および前記光沢の情報の内の１つである、請求項１２，１３および１６のいずれかに記載の化粧材シミュレーション方法。

【請求項18】

前記凹凸の模様の情報は、記憶手段に記憶された、予め作成された複数の凹凸の模様の情報の１つである、請求項１１乃至１７のいずれかに記載の化粧材シミュレーション方法。

【請求項19】

前記化粧材は、床材、壁材、外壁材、天井材、建具造作材、屋根材、壁面収納材としての化粧材である、請求項１１乃至１８のいずれかに記載の化粧材シミュレーション方法。

【請求項20】

前記化粧材シミュレーションシステムは、空間の表示データをレンダリングする第２のレンダリング手段と、前記空間の表示データを用いて前記空間の画像を表示する第２の表示手段とをさらに備え、前記化粧材シミュレーション方法は、
前記化粧材を前記空間に適応する指示に応答して、前記第２のレンダリング手段により、前記空間における空間照明情報、前記化粧材の質感に関する素材情報、及び前記空間内における観者の目の位置、視点またはカメラの位置に基づいて、前記化粧材を適用した前記空間の表示データをレンダリングすることをさらに含む、請求項１１乃至１９のいずれかに記載の化粧材シミュレーション方法。

【請求項21】

コンピュータシステムに、請求項１１乃至２０のいずれかに記載の化粧材シミュレーション方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、化粧材シミュレーションシステム、方法、及びプログラムに関し、より詳細には、建築物の建築素材である化粧材の質感を画像表示する化粧材シミュレーションシステム、方法、及びプログラムに関する。

【背景技術】

【0002】

従来、建築物の建築素材（例えば、床、壁及び天井に用いられる面材）として、印刷技術により印刷・加工をした化粧板が使用されている。例えば、基材（合板や繊維板など）の表面に顔料インキを塗布して絵柄（模様および／又は色彩）を形成して、表面をエンボス加工（凹凸加工）した様々な建築素材（化粧材）、あるいは、基材の表面に、絵柄が形成された化粧紙（薄葉紙、ウレタンコート紙、強化紙、チタン紙）または樹脂製の化粧シートを貼付して、表面をエンボス加工（凹凸加工）した様々な建築素材（化粧材）が利用されている。全体または一部において光沢の効果を調整する場合には、光沢を増加／減少させる材料（シート、ニス等）が積層される。従来、エンボス加工のためのエンボス版は、試作を繰り替えして、製作されていた。試作の繰り返しの回数が多くなると、エンボス版の作製費用も多くなる。

【0003】

特許文献１には、エンボス版の仕上がり(凹凸の模様の仕上がり)をコンピュータシミュレートする技術が開示されている。特許文献１に開示された技術により、エンボス版の試作の繰り返しを減らすことができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１−１０３０９７号公報

【非特許文献】

【0005】

【非特許文献1】Berthold K.P Horn et al., “The variational approach to shape from shading,” COMPUTER VISION, GRAPHICS, AND IMAGE PROCESSING 33, 174-208 (1986).

【非特許文献2】Klette, R. et al., “Height data from gradient fields,” Proc. SPIE 2908, Machine Vision Applications, Architectures and Systems Integration, vol. 5, pp. 204-215 (1996)

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に開示された技術は、エンボス版の仕上がり（凹凸の模様の仕上がり）を確認することを可能にするが、絵柄（模様および／又は色彩）と凹凸の模様とを組合せた素材の質感を確認することを可能にしない。建築素材（化粧材）の質感（見え）は、観察環境の変化や建築素材の向きの変化に応じて、変化する。このため、絵柄と凹凸の模柄とを組合せた建築素材の質感を確認するために、絵柄と凹凸の模様とを組合せた建築素材の試作を繰り返すことになる。試作の繰り返しの回数が多くなると、建築素材の作製費用も多くなる。

【0007】

したがって、観察環境の変化や建築素材（化粧材）の向きの変化に応じた質感や見えの確認を可能にする技術を提供することが望ましい。

【0008】

本発明は、このような問題に鑑みてなされたもので、その目的とするところは、観察環境の変化や建築素材（化粧材）の向きの変化に応じた当該建築素材の画像を表示し、建築素材の質感や見えの疑似体験を可能にする化粧材シミュレーションシステム、方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0009】

このような目的を達成するために、本発明の第１の態様は、絵柄および凹凸の模様が形成された基材を備えた化粧材の画像をシミュレートする化粧材シミュレーションシステムである。化粧材シミュレーションシステムは、化粧材の絵柄の情報および凹凸の模様の情報を入力する入力手段であり、絵柄の情報は印刷のための画素毎の色の情報であり、凹凸の模様の情報は凹凸の模様の画素毎の深さまたは高さの情報である、入力手段と、化粧材の絵柄の情報および凹凸の模様の情報を、化粧材の質感に関する素材情報に変換するように構成された変換手段であり、素材情報は色特性および形状特性を含む、変換手段と、照明情報、化粧材の質感に関する素材情報、並びに照明、表示手段の表示面及び観者の相対的位置関係に基づいて、化粧材の表示データをレンダリングするように構成されたレンダリング手段と、表示データを用いて化粧材の画像を表示する表示手段とを備える。

【0010】

一実施形態では、入力手段は化粧材の光沢の情報をさらに入力する手段であり、化粧材の光沢の情報は光沢の強さと光沢の鋭さ（広がり）の情報であり、素材情報は反射特性をさらに含む。変換手段は光沢の情報を反射特性に変換するようにさらに構成されている。一実施形態では、変換手段は光沢の異方性の情報をさらに含む。

【0011】

一実施形態では、化粧材シミュレーションシステムは、化粧材の表示データのレンダリングに用いられる素材情報の特性の組合せを決定する組合手段および化粧材の表示データのレンダリングに用いられる素材情報の特性の少なくとも１つを変更する編集手段の少なくとも一方と、特性の組合せを含む素材情報および特性の少なくとも１つが変更された素材情報の少なくとも一方を記憶する組合編集結果記憶手段とをさらに備える。一実施形態では、化粧材シミュレーションシステムは、上記変換手段は、組合編集結果記憶手段に記憶された素材情報を、化粧材の製造情報としての絵柄の情報、光沢の情報および凹凸の模様の情報に変換するようにさらに構成されている。

【0012】

一実施形態では、化粧材の絵柄の情報および光沢の情報は、記憶手段に記憶された、予め作成された複数の化粧材の絵柄の情報および光沢の情報の内の１つである。凹凸の模様の情報は、記憶手段に記憶された、予め作成された複数の凹凸の模様の情報の１つである。

【0013】

一実施形態では、化粧材は、床材、壁材、外壁材、天井材、建具造作材、屋根材、壁面収納材としての化粧材である。

【0014】

一実施形態では、画像処理システムは、空間の表示データをレンダリングする第２のレンダリング手段と、空間の表示データを用いて空間の画像を表示する第２の表示手段とをさらに備える。第２のレンダリング手段は化粧材を空間に適応する指示に応答して、空間における空間照明情報、化粧材の質感に関する素材情報、及び空間内における観者の目の位置、視点またはカメラ位置に基づいて、化粧材を適用した空間の表示データをレンダリングするように構成されている。

【0015】

一実施形態では、画像処理システムは、携帯型端末と空間画像処理端末とを含む。
携帯型端末は、入力手段、変換手段、レンダリング手段、および表示手段を含む。携帯型端末は、表示手段の表示面の方位を検出するように構成された傾き検出手段、表示手段の周囲照明情報を取得するように構成された周囲照明情報取得手段をさらに含む。空間画像処理端末は、第２のレンダリング手段および第１の表示手段を含む。

【0016】

本発明の第２の態様は、上記化粧材シミュレーションシステムにより実行される、化粧材シミュレーション方法である。

【0017】

本発明の第３の態様は、上記化粧材シミュレーション方法をコンピュータシステムに実行させるプログラムである。

【発明の効果】

【0018】

以上説明したように、本発明によれば、観察環境の変化や建築素材（化粧材）の向きの変化に応じた素材の画像を表示する化粧材シミュレーションシステム、方法を提供することが可能となる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態の化粧材シミュレーションシステムの概略図である。

【図2】本発明の一実施形態の化粧材シミュレーションシステムで画像表示する空間を説明する図である。

【図3】本発明の一実施形態の化粧材シミュレーションシステムの画像処理装置のユーザ・インタフェースを説明するための図である。

【図4】本発明の一実施形態の化粧材シミュレーションシステムの画像処理装置の機能ブロック図である。

【図5】本発明の一実施形態の化粧材シミュレーションシステムの仮想空間画像処理装置の機能ブロック図である。

【図6】本発明の一実施形態を説明するための図であり、（ａ）はエンボス版の凹凸の模様の情報を示すグレー画像であり、（ｂ）および（ｃ）は凹凸の模様の情報から形状特性への変換を説明するための図であり、（ｄ）はグレー画像と凹凸の深さの対応関係を示す図である。

【図7】本発明の一実施形態を説明するための図である。

【図8】本発明の一実施形態を説明するための図である。

【図9】本発明の一実施形態を説明するための図である。

【図10】本発明の一実施形態を説明するための図である。

【図11】本発明の一実施形態に係る化粧材シミュレーションシステムの画像処理装置の処理のフロー図である。

【図12】本発明の一実施形態に係る化粧材シミュレーションシステムの仮想空間画像処理装置の処理のフロー図である。

【発明を実施するための形態】

【0020】

以下、図面を参照しながら本発明の実施形態について詳細に説明する。以下に説明する化粧材シミュレーションシステム、方法、及びプログラムは、建築物の建築素材である化粧材の質感を画像表示する化粧材シミュレーションシステム、方法、及びプログラムに関する。本実施形態の化粧材シミュレーションシステム、方法、及びプログラムによれば、観察環境の変化や建築素材（化粧材）の向きの変化に応じた当該建築素材の画像を表示して質感を確認することが可能となる。したがって、絵柄（模様および／又は色彩）と凹凸の模様との組合せた素材の試作を繰り返す回数を減らすことを可能にする。

【0021】

限定するものではないが、建築物の建築素材（以下単に、素材ともいう。）は、例えば、床材、壁材、外壁材、天井材、建具造作材、屋根材、壁面収納材としての化粧材である。

【0022】

図１は、化粧材シミュレーションシステムの構成を示す図である。化粧材シミュレーションシステムは、画像処理装置１００と仮想空間画像処理装置３００とを含む。化粧材シミュレーションシステムは、画像処理装置１００と仮想空間画像処理装置３００へ各種データ及び／又はサービスを提供するサーバ５００を含んでもよい。

【0023】

図２は、仮想空間画像処理装置３００が備えるモニタ（ディスプレイデバイス等）に表示される仮想空間の一例を示す。仮想空間に関する情報は、壁、床、天井、ドア、窓、及び照明等の間取りの情報を含む。仮想空間情報は、仮想空間画像処理装置３００の仮想空間情報記憶部３０８に格納され、仮想空間画像処理装置のレンダリング部３０４が表示データを生成する際に用いられる。仮想空間情報は、仮想空間画像処理装置３００で作成し仮想空間情報記憶部３０８に格納してもよく、サーバ５００から取得して仮想空間情報記憶部３０８に格納してもよい。

【0024】

図２の仮想空間は、空間の間取りを構成する各種パーツ（壁１〜３、床１、天井１、ドア１、窓１、照明１，２）を含む。仮想空間の情報である仮想空間情報は、各種パーツを識別する情報及び仮想空間における各種パーツの位置を識別する情報を含む。また、仮想空間における光に関する情報（光の方位、色成分及び強度）は、照明情報として定義されている。照明情報は、配光分布を含んでもよい。各種パーツを識別する情報により、パーツの種類（壁、床、天井、ドア等）を識別することができる。位置を識別する情報により、各パーツの仮想空間における場所、他のパーツとの間の境界、距離及び相対的位置関係を算出することができる。各種パーツの素材の選択（決定）方法については、後述する。仮想空間の表示データを生成する際、各種パーツの素材の情報（素材情報：素材の各種特性情報を含む）、各光源２０２，２０４，２０６（照明１及び２並びに太陽）からの光に関する照明情報が考慮される。

【0025】

図３は、仮想空間内の各種パーツの素材を選択する際に、画像処理装置１００で提供されるユーザ・インタフェース（素材ビューア）を例示する図である。例えば、住宅供給者（インテリアデザイナー）は、図３のユーザ・インタフェースを使用して、各種パーツの素材の質感を確認して、適用する素材を選択することができる。また、絵柄（模様および／又は色彩）、光沢、凹凸の模様を選択し、これらを組み合わせた素材の質感を確認し、適用する素材を選択することができる。この場合，絵柄（模様および／又は色彩）と光沢は一対として選択させてもよい。仮想空間画像処理装置３００は、図３のユーザ・インタフェースを使用して選択された素材が適用された仮想空間の表示情報を生成し表示する。したがて、住宅供給者（インテリアデザイナー）は、選択した素材を空間に配置した際の質感や見えを疑似体験できる。

【0026】

画像処理装置１００と仮想空間画像処理装置３００は、仮想空間に関する情報を共有している。例えば、図３に示すようにユーザ・インタフェース（素材ビューア）は、仮想空間（図２）の各種パーツを選択可能にするパーツリスト４０２を含む。ユーザ・インタフェースは、パーツリストから選択されたパーツに適用可能な素材のカテゴリを選択可能にするリスト（素材カテゴリリスト）４０４を含む。さらに、ユーザ・インタフェースは、素材カテゴリリストから選択されたカテゴリに分類された素材のサムネールのリスト（サムネールリスト）４０６を含む。また、ユーザ・インタフェースは、サムネールリストから選択された素材の画像を表示する質感ビューア領域４０８を含む。さらに、ユーザ・インタフェースは、絵柄のサムネールのリスト４１６、光沢のサムネールのリスト４１８および凹凸の模様のサムネールのリスト４２０を含む。質感ビューア領域４０８は、選択された絵柄、光沢および凹凸の模様を組み合わせた素材の画像を表示することもできる。さらにまた、ユーザ・インタフェースは、仮想空間についてモデル化された各種照明環境の照明情報（モデル１，２・・・）の選択を可能にする照明環境リスト４１２を含む。照明環境リストは、仮想空間の照明情報とは別に、画像処理装置１００が存在する実環境の照明情報を含んでもよい。照明環境リストには、モデル化された照明情報の概要（時間帯、光源種別・状態、窓の有無、配光分布）を含んでもよい。質感ビューア領域４０８には、絵柄、光沢および凹凸の模様の組み合わせた素材または選択された素材の素材情報（色特性、形状特性、反射特性）及び照明情報（光の方位、色成分及び強度）が反映された画像が表示される。質感ビューア領域４０８は、ディスプレイの表示領域の全体を占めるように構成してもよい。以下に説明するように、画像処理装置１００は、画像処理装置（タブレット端末）の傾斜（ディスプレイ面の方位）を考慮して、素材の画像をレンダリングして表示する。したがって、観者は、素材を手にしているかのように、素材の画像を観察し素材の質感を体験することができる。

【0027】

図４は、本発明に係る化粧材シミュレーションシステムの画像処理装置の一実施形態である携帯型端末の機能ブロック図である。図４の携帯型端末１００は、例えば、タブレット端末であり、ディスプレイ、プロセッサ、メモリ、各種センサを備える。携帯型端末１００は、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部１１２を構成する。

【0028】

ディスプレイデバイスは、画像の表示に適したディスプレイデバイスであればよく、これに限定するものではないが、電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスが好ましい。ディスプレイデバイスは、表示部１０２を構成する。電磁誘導式、静電容量式又は感圧式のタッチディスプレイデバイスは、表示部１０２および入力部１１２を構成する。

【0029】

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）１０４、変換部１２０、編集部１２２、組合部１２４を構成する。

【0030】

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、周囲照明情報記憶部１０６、素材情報記憶部１１６及び組合編集結果記憶部１２６を構成する。メモリは、傾き検出部１１０により検出されたタブレット端末の傾き（ディスプレイ面の方位）の情報を記憶することもできる。

【0031】

各種センサは、タブレット端末の周囲の照明情報（周囲照明情報）を取得するのに適したデバイス（以下、周囲照明情報取得デバイス）及びタブレット端末の傾きの検出に適したデバイス（傾き検出デバイス）であればよい。例えば、周囲照明情報取得デバイスは、測光デバイス、照度センサ及びカメラの１以上とすることができる。周囲照明情報取得デバイスは内蔵型でも外付型でもよい。また、例えば、傾き検出デバイスは、ジャイロセンサ、加速度センサ、磁気センサの１以上とすることができる。周囲照明情報取得デバイスは、プロセッサと共に又は単独で、周囲照明情報取得部１０８を構成する。また、傾き検出デバイスは、プロセッサと共に又は単独で、傾き検出部１１０を構成する。さらに、各種センサは、観者（例えば、観者の目）の位置を検出するのに適したデバイスを備えてもよい。このようなデバイスは、赤外線センサ及びカメラの１以上とすることができる。

【0032】

例えば、周囲照明情報取得デバイスとしてのカメラは、周囲全周囲画像カメラまたは全天球撮影カメラ（omnidirectional camera）とすることができ、このようなカメラでタブレット端末の全周囲を撮影した全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。あるいは、内蔵型でも外付型のカメラで、カメラを水平面に置いた状態で撮影した基準画像と、カメラの向きを変えて複数回に分けて撮影したタブレット端末の全周囲を画像とを組み合わせて（繋ぎ合わせて）、全周囲画像を生成し、生成された全周囲画像の色味や輝度を実環境の照明情報（周囲照明情報）とすることができる。カメラが備えるイメージセンサのダイナミックレンジ（ラチチュード（latitude））がタブレット端末の周囲の実環境の輝度分布の輝度レンジより狭い場合は、露光量を多段に変えて撮影した後に合成する写真技法（ハイダイナミックレンジ合成（high dynamic range imaging：HDR）を用いてもよい。

【0033】

例えば、タブレット端末の内蔵カメラ（またはタブレット端末との相対的位置関係が既知である外付けカメラ）で撮影される画像から、当該タブレット端末の操作者（観者）の顔（目）の位置を特定することで、タブレット端末の表示面と観者の相対的位置関係を特定することができる。撮影と観者の顔（目）の位置の特定を短い時間間隔で繰り返すことで、タブレット端末の表示面と観者の相対的位置関係をリアルタイムで特定することができる。

【0034】

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部１１４または入力部１１２を構成する。タブレット端末１００は、通信部１１４を介して外部（仮想空間画像処理装置３００又はサーバ５００）から照明情報及び素材情報を取得することもできる。外部から取得した照明情報は、周囲照明情報（実空間の照明情報）の代替として用いることができる。タブレット端末１００は、通信部１１４を介して外部（他のコンピュータ又はサーバ）から取得した素材情報を、変換部１２０による変換で取得した素材情報の代替として用いることもできる。

【0035】

変換部１２０は、入力部１１２、通信部１１４を介して入力されたまたは予めメモリに記憶された複数の素材の絵柄（模様および／又は色彩）情報、反射の情報およびエンボス版の凹凸の模様の情報のうちのから選択されたいずれかを、素材情報に変換する。素材の絵柄（模様および／又は色彩）情報、反射の情報およびエンボス版の凹凸の模様の情報はそれぞれ、異なるデータベース等において記録・管理されていてもよい。この場合、本実施形態の画像処理システムで、素材の絵柄情報、反射の情報およびエンボス版の凹凸の模様の情報を組み合わせた素材の画像を表示することで、質感を擬似的に体験することができる。例えば、異なるデータベースにおいてそれぞれ記録・管理されている素材の絵柄情報とエンボス版の凹凸の模様の情報を選択し、組み合わせた素材の画像を表示して、質感を擬似的に体験することができる。また、絵柄情報およびエンボス版の凹凸の模様の情報をそれぞれ記録管理するデータベースと同一または異なるデータベースにおいて記録・管理されている反射の情報を、上記絵柄情報とエンボス版の凹凸の情報の組合せに加えてもよい。また、変換部１２０は、サーバ５００または他のコンピュータ３００に備えられてもよく、あらかじめ変換された素材情報を通信部１１４を介して通信し素材情報記憶部１１６に記憶されてもよい。

【0036】

素材情報は、建築素材の質感に関する情報である。素材情報は、画素毎のＲＧＢ情報（色特性：素材の地やコート層など、素材を構成する各層の色を示す情報）を含む。また、素材情報は、画素毎の光沢情報（反射特性：素材の表面に設けるコート層など、素材を構成する表面の光沢を示す情報）を含むことが好ましい。反射特性である光沢情報は、例えば、双方向反射率分布関数（BRDF）、双方向散乱面反射率分布関数（BSSRDF）を用いて反射モデル化されたものを用いることができる。モデル化された光沢情報としては、例えば、光沢の強さの情報と光沢の鋭さ（広がり）の情報で構成されるものが挙げられる。このとき、光沢情報は、光沢の強さの情報と光沢の鋭さの情報に加え、光沢の方向性の情報をさらに含むことができる。光沢の方向性の情報により、異方性反射を有する素材の質感を表現することができる。なお、光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の色とあわせ、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

【0037】

例えば、建築素材としての化粧材は、設計段階では、基材（合板や繊維板など）の表面に形成される絵柄（模様および／又は色彩）の印刷用の情報（画素ごとの色の情報）、表面をエンボス加工（凹凸加工）するエンボス版の画素ごとの深さ（高さ）の情報、および追加される光沢を増加または減少させる材料（シート、ニス等）の分布を画素ごとに示す反射の情報で規定される。

【0038】

例えば、素材の絵柄（模様および／又は色彩）の情報は、印刷のための画素毎のＣＭＹＫ情報である。変換部１２０は、各画素について、ＣＭＹＫ情報を、画像表示のためのＲＧＢ情報（色特性）に変換する。また、変換部１２０は、各画素について、ＲＧＢ情報をＣＭＹＫ情報に逆変換することもできる。ＣＭＹＫ情報とＲＢＧ情報との間の変換は、ＩＣＣ（International Color Consortium）プロファイルを用いたプログラム処理により実装することできる。または、素材の絵柄（模様および／又は色彩）の情報は、印刷のための版の画素毎の階調情報とインキの色情報であってもよい。この場合変換部１２０は，各画素について、版の階調情報とインキの色情報を、画像表示のためのＲＧＢ情報（色特性）に変換する。版の階調情報及びインキの色情報とＲＧＢ情報との間の変換は、インキの分光反射率からクベルカ―ムンク（Kubelka-Munk）モデルによるインキの重なり色（ノイゲバウア（Neugbauer）原色）を求める処理と、ノイゲバウア（Neugebauer）モデル等による処理により実装することができる。また、インキの色情報がCIELAB値または三刺激値で与えられた場合には、インキを調色するための基材インキ（例えば、Ｃ、Ｍ、Ｙインキ）の吸収係数と散乱係数から、与えられたCIELAB値または三刺激値を満たす基材インキの混合割合を求め、インキの分光反射率をクベルカ―ムンク（Kubelka-Munk）モデルから求めても良い。

【0039】

例えば、エンボス版の凹凸の模様の情報は、各画素の凹凸の深さ（または高さ）を２５６階調で表す値と最大の深さ（または高さ）を示す値Ｄを含む情報である。例えば、エンボス版の凹凸の模様の情報は、図６（ａ）に示すようなグレー画像としてとして与えられる。図６（ｂ）、（ｃ）に示すように、変換部１２０は、注目画素の左右方向（ｘ軸方向）および上下方向（ｙ軸方向）のそれぞれについて、注目画素を挟んで隣接する２つの画素の深さの差（Δｚ＿ｘ及びΔｚ＿ｙ）を計算する、また、画像の解像度、または、画像の画素数とエンボス版の大きさの関係を用いて、注目画素を挟んで隣接する２つの画素間の左右方向（ｘ軸方向）及び上下方向（ｙ軸方向）の距離（Δｘ及びΔｙ）を計算し、注目画素における左右方向（ｘ軸方向）の傾きをΔｚ＿ｘとΔｘから、注目画素における上下方向（ｙ軸方向）の傾きをΔｚ＿ｙとΔｙから求める。さらに、変換部１２０は、注目画素における左右方向（ｘ軸方向）の傾きと上下方向（ｙ軸方向）の傾きから注目画素の法線ベクトル（形状特性）を計算する。このようにして、変換部１２０は、エンボス版の凹凸の模様の情報（各画素の深さ（または高さ）の情報と、最大の深さ（または高さ）を示す値Ｄ）を、形状特性（画素の法線ベクトル）に変換する。また、変換部１２０は、画素の法線ベクトル（形状特性）を隣接する位置の深さに逆変換することもできる。各画素の凹凸の深さ（または高さ）と法線ベクトルとの間の変換および逆変換は、既知の技法を含む任意の技法で実現することができる。（例えば、非特許文献１，２参照）

【0040】

例えば、反射の情報は、光沢特性が全面一様な光沢分布である場合、一様分布関数（数式）と、パラメータである光沢の強さと光沢の鋭さの数値の最大値および最小値が指定される。例えば、最小値から最大値までの値は２５６階調とすることができる。変換部１２０は、数式とパラメータで指定された反射の情報を、数式（一様分布関数の確率）にしたがって、各画素についての光沢の強さと光沢の鋭さの値に変換することがでる。一様分布関数にしたがうと、各画素の光沢の強さと光沢の鋭さの値の分布は、指定された最大値から最小値の間の値が同じ確率で生じる分布となる。最小値と最大値に同じ値を指定すると、光沢は全面で完全に一様となる。また、最小値と最大値に異なる値を指定すれば、製造上生じる面内のムラを反映することができる。数式は、一様分布関に限らず、例えば、正規分布関数と、パラメータである光沢の強さと光沢の鋭さの平均値と標準偏差とが指定されても良い。あるいは、反射の情報は、画素毎に光沢が異なる場合には、反射の情報は、画像として指定される。例えば、ＲＧＢ画像フォーマットを用い、光沢の強さおよび光沢の鋭さをそれぞれ２５６階調で表す情報（０は最小値、２５５は最大値）とし、ＲチャネルおよびＧチャネルに指定する（Ｂチャネルは使用されない）。反射の情報に光沢の方向性（異方性）の情報を含める場合には、Ｂチャネルに指定する。Ｂチャンネルでは、０は基準軸（たとえば素材面上で互いに直交するｘ軸とｙ軸のうちｘ軸）に相当するものとし、２５５は素材面に直交する軸を中心に回転した角度が３６０度に相当するものとすることができる。または、反射の情報は、化粧材の表面の各画素に用いられる一種の表面コート材（ニス）または二種以上の表面コート材の混合割合として指定される。例えば、変換部１２０は、一種の表面コート材（ニス）または二種以上の表面コート材を種々の混合割合で混合した混合物と、光沢の強さと光沢の鋭さの値との関係を予め測定し格納したデータベースを参照して、指定された一種の表面コート材または二種以上の表面コート材の混合割合を、各画素についての光沢の強さと光沢の鋭さの値に変換することができる。さらに、変換部１２０は、データベースを参照して、各画素についての光沢の強さと光沢の鋭さの値を、一種の表面コート材または二種以上の表面コート材の混合割合に逆変換することができる。例えば、二種以上の表面コート材の混合割合は、光沢度の低いマットニスと光沢度の高いグロスニスの混合割合とすることができる。１つの表面コート材（ニス）または複数の表面コート材の混合物の光沢の強さおよび光沢の鋭さの値は、予め測定しデータベースに格納した値の代替として検量線または近似モデル式により求めた値を用いてもよい。データベースは、携帯型端末１００に備えられてもよく、通信部１１４を介してアクセス可能な他のコンピュータ３００又はサーバ５００に備えられたデータベースであっても良い。反射の情報は、全面一様な光沢分布であっても、全面一様ではない特定のパターンを有する分布であってもよい。光沢特性（各画素についての光沢の強さと光沢の鋭さの値）から変換部１２０により逆変換された光沢の情報（例えば、一種の表面コート材または二種以上の表面コート材の混合割合）は、外部へ出力されて、変換部１２０により逆変換された絵柄（模様および／又は色彩）の情報および／またはエンボス版の凹凸の模様の情報と組みあわされて、光沢の効果を調整した建築素材（化粧材）の製造情報として利用できる。

【0041】

照明情報記憶部１０６は、周囲照明情報取得部１０８によって取得された周囲照明情報又は通信部１１４を介して外部から取得された空間照明情報を記憶する。

【0042】

素材情報記憶部１１６は、変換部１２０により変換された素材情報、または通信部１１４を介して外部から取得された素材情報を記憶する。素材情報は、素材の質感に関する情報である。素材情報は、ピクセル（画素）毎の法線情報（形状特性：装材（床材、壁材、天井材）におけるピクセルの面の向きを示す情報であり、例えば、画素の法線ベクトル情報である）を含む。また、素材情報は、画素毎のＲＧＢ情報（色特性：素材の地の色を示す情報）、画素毎の光沢の強さの情報及び光沢の鋭さの情報（反射特性）を含む。反射情報は、異方性（光沢の方向性）の情報を含んでもよい。光沢の強さの情報は、各ピクセルのＲＧＢ毎の強さの情報としてもよい。周囲照明情報（または外部から取得した空間照明情報）及び素材情報に基づいて表示データが生成される。この結果、素材の質感（光沢感、ざらつき感、凹凸感）が画像表示される。

【0043】

タブレット端末１００は、観者とのインタラクションのためのユーザ・インタフェース（ＵＩ）(例えば、図３の素材ビューア）を提供するＵＩ提供部（不図示）を備える。上述したように、観者は、ＵＩを介して、表示させたい素材を選択することができる。すなわち、タブレット端末１００は、ＵＩを介して観者からの素材の選択を受信し、当該素材をディスプレイに表示することができる。ＵＩは、観者が表示させたい素材を選択することができる、階層形式のカテゴリ別メニュー（素材カテゴリ）を含んでもよい。例えば、素材を壁材、床材及び天井材のようなカテゴリ別に分類し、観者がカテゴリの階層にしたがって素材を選択できるようにしてよい。サブカテゴリでは複数の素材のサムネールを提示して、観者が表示させたい素材を選択させてもよい。

【0044】

また、観者は、ＵＩを介して、絵柄、光沢および凹凸の模様を組み合わせて、素材を選択することができる。

【0045】

組合部１２４は、ＵＩを介して観者から絵柄、光沢および凹凸の模様の選択を受け取り、選択された絵柄、光沢および凹凸の模様を組み合わせた素材の素材情報を決定する。すなわち、組合部１２４は、選択された絵柄、光沢および凹凸の模様にそれぞれ対応する、変換部１２０により変換された色特性、形状特性および反射特性を決定して、取得する。これにより、レンダリング部１０４により、絵柄、光沢および凹凸の模様を組み合わせた素材の表示データがレンダリングされる。組合部１２４により組み合わされた色特性、形状特性および反射特性（素材情報）は、編集結果記憶部１２３に記憶される。

【0046】

また、観者は、ＵＩを介して、表示させた素材の一部または全部を選択して、素材情報（色特性、形状特性、反射特性）を編集すること（素材情報（色特性、形状特性、反射特性）の変更を指示すること）ができる。

【0047】

編集部１２２は、ＵＩを介して観者からの指示を受け取り、素材情報（色特性、形状特性、反射特性）を変更する。例えば、編集部１２２は、観者からの指示にしたがって、選択された絵柄（模様および／又は色彩）の一部または全部の画素について色（ＲＧＢの値）を変えること、回転すること、拡大または縮小すること、および／または平行移動することができる。素材の絵柄（模様および／又は色彩）の情報が、印刷のための版の画素毎の階調情報とインキの色情報の場合、インキの色を変えることによって行ってもよい。また、編集部１２２は、観者からの指示にしたがって、観者により光沢の分布から選択された一部または全部の画素についての光沢の強さおよび光沢の鋭さを変更すること、位置を回転すること、範囲を拡大または縮小すること、および／または平行移動することができる。また、編集部１２２は、観者からの指示にしたがって、選択された一部または全部の画素について、グレー画像における対応する画素の階調値又は最大の深さを表す値Ｄ若しくは対応する画素の形状特性（画素の法線ベクトル）を操作することで、エンボス版の凹凸の深さ（または高さ）を変更すること、深さの最大値Ｄを変更すること、凹凸の模様を回転すること、凹凸の模様を拡大または縮小すること、および／または凹凸の模様を平行移動することができる。編集部１２２が、選択された一部または全部の画素について、グレー画像における対応する画素の階調値又は最大の深さを表す値Ｄを直接操作する場合には、変換部１２０は、編集部１２２により操作されたグレー画像の各画素の凹凸の深さ（または高さ）を階調で表す値と最大の深さ（または高さ）を示す値Ｄを、形状特性（画素の法線ベクトル）に変換する。

【0048】

組合編集結果記憶部１２６は、編集部１２２により変更された素材情報（色特性、形状特性、反射特性）を記憶する。組合編集結果記憶部１２６に記憶された素材情報（色特性、形状特性、反射特性）は、素材の製造のため製造情報として外部へ出力されても良い。例えば、携帯型端末１００は、組合編集結果記憶部１２６に記憶された素材情報を、変換部１２０で逆変換した後に、通信部１１４を介して外部へ送信するように構成されてもよい。色特性、形状特性および反射特性からそれぞれ逆変換された絵柄（模様および／又は色彩）の情報、光沢の情報およびエンボス版の凹凸の模様は、建築素材（化粧材）の製造情報として外部へ出力され、これにより実物の建築素材を製造することができるようになる。絵柄（模様および／又は色彩）の情報および光沢の情報は印刷情報として、エンボス版の凹凸の模様はエンボス版の凹凸の深さまたは高さとして、実物の建築素材の製造に用いることができる。

【0049】

図５は、本発明の一実施形態である化粧材シミュレーションシステムの仮想空間画像処理装置の機能ブロック図である。仮想空間画像処理装置３００は、仮想空間画像のレンダリング及び表示に適したコンピュータであり、モニタ、プロセッサ、メモリを備える。仮想空間画像処理装置３００を構成するコンピュータは、通信デバイス、キーボード、コンピュータマウスを含むポインティングデバイス、及びマイクロフォン等の入力デバイスを含んでもよい。入力デバイスは、入力部３１２を構成する。

【0050】

モニタは、仮想空間の画像表示に適したディスプレイデバイス等であればよく、表示部３０２を構成する。

【0051】

プロセッサは、ＣＰＵの他、ＧＰＵやコプロセッサを含んでもよい。プロセッサは、表示部に表示される画像に対応する表示データを生成する。プロセッサは、レンダリング部（表示データ生成部）３０４を構成する。また、プロセッサは、入力デバイスと共に又は単独で、仮想空間における観者（例えば、観者の目（視点）、あるいはカメラ）の位置を検出する空間内観者位置検出部３１８を構成する。

【0052】

メモリは、ＨＤＤなどの磁気ドライブ及びＳＳＤなどの半導体ドライブのいずれでもよい。メモリは、内蔵型でも外付型でも良い。メモリは、空間照明情報記憶部３０６、空間情報記憶部３０８及び素材情報記憶部３１６を構成する。

【0053】

通信デバイスは、外部機器との接続用のバス（例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ））インタフェース、有線通信用のネットワークインターフェースカード（ＮＩＣ）及び無線通信用の無線デバイスの１以上とすることができる。通信デバイスは、通信部３１４を構成する。仮想空間画像処理装置を構成するコンピュータ３００は、通信部３１４を介して外部（携帯型端末１００又はサーバ５００）との間で、空間情報、空間照明情報及び素材情報を送受することができる。空間照明情報記憶部３０６は空間照明情報を記憶する。素材情報記憶部３１６は素材情報を記憶する。空間情報記憶部３０８は空間情報を記憶する。

【0054】

仮想空間画像処理装置３００のレンダリング部（表示データ生成部）３０４及び空間内観者位置検出部３１８を、サーバ５００に実装してもよい。これらの機能をサーバ５００に実装する場合には、仮想空間画像処理装置３００は、通信部３１４を介して、サーバ５００がレンダリングした空間の表示データを受信して表示部３０２に表示することができる。

【0055】

図７は、周囲照明情報取得部１０８によって周囲照明情報が取得される空間を示す。図７において、ｘ軸及びｙ軸は水平面内で互いに直交する軸であり、ｚ軸は水平面内に直交する軸である。図７の空間には、２つの電灯２０２及び２０４と太陽２０６を含む合計３つの光源が示されている。ｘ軸、ｙ軸及びｚ軸の交点を周囲照明情報取得部１０８の位置として、２つの電灯２０２及び２０４並びに太陽２０６の３つの光源からの光を観測し、光源毎に観測される光の方位、色成分及び強度（輝度）を、空間における周囲照明情報として取得する。光源の数は、３つに限定されない。光源は、発光体に限定されず、周囲照明情報取得部１０８に向けて光を反射する反射体でもよい。空間内で観測される全ての光源の周囲照明情報（光の方位、色成分及び強度）を取得してもよい。取得された周囲照明情報は、照明情報記憶部１０６に記憶される。

【0056】

周囲照明情報代替として、通信部１１４を介して外部から空間照明情報を取得することができる。空間照明情報及び周囲照明情報を単に照明情報という。空間照明情報は、南向きの窓（太陽光が差し込む窓）があり４灯のダウンライトがある部屋や、窓の無く電灯が１つの寝室など、モデル化された空間における照明の情報（予め外部の仮想空間画像処理装置３００又はサーバ５００などに格納されている照明の情報）とすることができる。モデル化された空間は、販売中／建設予定の建築物件のモデルルームの間取り内の１つ又は複数の空間とすることができる。

【0057】

図８は、図７に示した空間にタブレット端末１００を配置した状態を示す。図８には、タブレット端末１００によって表示される画像の観者の目２０８も示されている。タブレット端末１００は、ディスプレイ面を上向きにして、ディスプレイ面がｘｙ面に平行と成るように、ｘ軸、ｙ軸及びｚ軸の交点に配置されている。目２０８の方位は、観者検出部１１８によって検出されるディスプレイ面の法線に対する方位でもよく、ディスプレイ面の法線に予め決められた方位と（観者検出部１１８によって検出しない）してもよい。

【0058】

図８に示す状態で、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。生成された表示データがディスプレイデバイスに表示されると、タブレット端末１００を持っている観者は、あたかも素材を自身の手で持っているかのように、素材の質感を観察することができることができる。

【0059】

レンダリング部１０４は、素材情報記憶部１１６からレンダリングする素材の素材情報（ピクセル毎の法線情報（形状特性）、ＲＧＢ情報（色特性）、光沢の強さの情報及び光沢の鋭さの情報）を読み出し、照明情報記憶部１０６から照明情報（１つまたは複数の光源からの光の方位、色成分及び強度（輝度））を読み出し、各画素における観者の方位に反射する色成分及び強度（輝度）を計算して表示データを生成する。生成された表示データが用いられ、表示部に画像が表示される。図８に示す状態では、素材の表面に３つの光源（２つの電灯２０２及び２０４並びに太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））が計算される。

【0060】

図９に示す状態では、タブレット端末１００のディスプレイ面は水平面（ｘｙ面）から傾斜している。この傾斜は、電灯２０２の光がディスプレイ面に入射しない程度の傾きである。傾き検出部１１０がこの傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に２つの光源（１つの電灯２０４及び太陽２０６）から入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

【0061】

さらに、図１０に示す状態では、タブレット端末１００のディスプレイ面はｚ軸に平行に配置されている。この配置は、２つの電灯２０２及び２０４の光がディスプレイ面に入射しない配置である。傾き検出部１１０がこのときのタブレット端末１００の傾斜を検出し、レンダリング部１０４は、表示データの生成の際に考慮する。すなわち、レンダリング部１０４は、素材の表面に１つの光源（太陽２０６）のみから入射し、目２０８の方位に反射する光の色成分及び強度（輝度））を計算し表示データを生成する。

【0062】

図８から１０を参照して説明したように、レンダリング部１０４によって生成された表示データは、タブレット端末１００の傾き（ディスプレイ面の方位）および目の位置（方位）が反映されている。したがって、タブレット端末１００を持っている観者は、タブレット端末１００を傾けたり、目の位置（方位）を変えたりすることで、素材の実物を観察している時と同様に、素材の質感を観察することができることができる。

【0063】

レンダリング部１０４は、ズーム機能を実装することもできる。上述したように、レンダリング部１０４は、素材の面がディスプレイ面に重ねられているかのように素材の表示データを生成する。ディスプレイ面と、タブレット端末１００を保持する観者との間の距離は、略観者の腕の長さとなり、大きく変化しない。したがって、ユーザ・インタフェース（ＵＩ）を介して受信する観者からのズーム・インの指示に応答して、素材がディスプレイ面と観者との間に置かれているかのように素材の表示データを生成する、あるいは、ＵＩを介して受信するズーム・アウトの指示に応答して、ディスプレイ面が素材と観者との間に置かれている（素材がディスプレイ面の裏側に置かれている）かのように素材の表示データを生成する、ズーム機能をレンダリング部１０４に実装することは有用である。例えば、観者は、ディスプレイ面が水平面に垂直となるようにタブレット端末を保持し、壁材の素材をさせる際に、ズーム・アウト機能を使用して、２〜３ｍは離れた位置の壁を想定して、素材の質感を観察することが可能になる。

【0064】

図１１は、画像処理装置の処理のフローチャートであり、上述した携帯型端末１００によって実行される処理フローの一例である。

【0065】

ステップＳ６０１で、携帯型端末１００（変換部１２０）は、入力された絵柄の情報、エンボス版の凹凸の模様の情報、反射の情報を、素材の素材情報（色特性、形状特性、反射特性）に変換する。たとえば、色特性は素材の画素毎のＲＧＢ情報であり、形状特性は素材の画素毎の法線ベクトル情報であり、反射特性は画素毎の光沢の強さの情報及び光沢の鋭さ（及び異方性（光沢の方向性）の情報）である。入力部１１２、通信部１１４を介して入力された（または入力され素材情報記憶部１１６に記憶された）素材の絵柄情報、エンボス版の凹凸の模様の情報、反射の情報が、素材情報に変換される。変換された素材情報は、素材情報記憶部１１６に記憶される。または、あらかじめ外部で変換された素材情報（色特性、形状特性、反射特性）を通信部１１４を介して取得してもよく、その場合、ステップＳ６０１の処理は実行しないで、取得した素材情報を素材情報記憶部１１６に記憶される。

【0066】

ステップＳ６０３で、携帯型端末１００（レンダリング部１０４）は、周囲照明情報を取得する。当該携帯型端末が配置された実環境において周囲照明情報取得部１０８によって取得された照明情報、又は周囲照明情報記憶部１０６に格納された照明情報が取得される。代替として、通信部１１４を介して取得されたモデル化された空間における外部照明情報、又は通信部１１４を介して取得され周囲照明情報記憶部１０６に格納された外部照明情報が取得される。

【0067】

ステップＳ６０５で、携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を特定する。携帯型端末１００（レンダリング部１０４）は、照明、ディスプレイ面及び観者の相対的位置関係を、照明情報に含まれる光の方位と、ディスプレイ面の方位及び観者の目の方位の少なくとも１つとを用いて計算することにより、特定することができる。携帯型端末の傾き及び観者の目の方位は、傾き検出部１１０及び観者検出部１１８によってそれぞれ検出され、レンダリング部１０４がアクセスできるようにメモリなどに保持されている。

【0068】

ステップＳ６０７で、携帯型端末１００（レンダリング部１０４）は、取得した照明情報と、計算した相対的位置関係と、素材情報（色特性、形状特性、反射特性の組み合わせ）とに基づいて、素材の表示データをレンダリングする。素材情報の色特性、形状特性、反射特性は、予め決定されている組合せがレンダリング部１０４により取得されるか、または、組合部１２４により決定され収取され、レンダリング部１０４に提供される。組合部１２４により決定された素材情報（色特性、形状特性、反射特性の組み合わせ）は、組合編集結果記憶部１２６に記憶される。組合編集結果記憶部１２６に記憶された素材情報は、変換部１２０により逆変換されて、製造情報としてとして外部へ出力される。例えば、光沢の強さおよび光沢の鋭さの値から逆変換された一種の表面コート材または二種以上の表面コート材の混合割合、ＲＧＢ情報から逆変換されたＣＭＹＫ情報、および法線ベクトルから逆変換されたエンボス版の凹凸の深さたは高さの１以上が、建築素材（化粧材）の製造情報として外部へ出力される。

【0069】

ステップＳ６０９で、表示部１０２は、表示データを用いて素材の画像を表示（再表示）する。

【0070】

ステップＳ６１１で、表示部１０２に画像表示された素材の編集が指示されたか否かを判定する。

【0071】

素材の編集が指示された場合、ステップＳ６１３で、指示にしたがって、素材情報を変更する。編集部１２２により変更された素材情報は、組合編集結果記憶部１２６に記憶される。組合編集結果記憶部１２６に記憶された変更した素材情報は、上述したように、変換部１２０により逆変換されて、製造情報としてとして外部へ出力される。

【0072】

ステップＳ６１１で素材の編集が指示されない場合、またはステップＳ６１３の後に、ステップＳ６１５で、プログラムの終了が指示されたかどうかを判定する。プログラムの終了が指示されている場合は、処理のフローを終了する。プログラムの終了が指示されていない場合は、ステップＳ６０３へ戻る。ステップＳ６１３で素材情報が変更された場合には、ステップ６０７において、取得した素材情報に替えて変更した素材情報に基づいて素材の表示データをレンダリングする。これにより、編集した素材の質感を確認することができる。

【0073】

なお、プログラムの終了が指示されていない場合に、ステップＳ６０５へ戻ってもよい。ステップＳ６０３で、仮想空間についてモデル化された照明情報（空間照明情報）を取得した場合には、再取得する必要はない。

【0074】

新たに組み合わされた色特性、形状特性および反射特性を用いて画像を表示した素材および／または１つが編集された色特性、形状特性および反射特性を用いて画像を表示した素材は、新しい素材として登録することができる。例えば、サーバ５００は、新しい素材を識別する識別子を付与して、新しい素材の素材特性（色特性、形状特性および反射特性）を登録する。また、組合編集結果記憶部１２６に記憶された素材特性（色特性、形状特性および反射特性の組合せおよび／または色特性、形状特性および反射特性の一部または全部が編集された素材特性）は、仮想空間画像処理装置３００および／またはサーバ５００に送信され、新しい素材の付帯情報として付加され、実物の素材を製造する際の情報として用いることができる。

【0075】

また、表示部１０２に画像表示された素材を仮想空間のパーツに適用することが選択された場合、仮想空間のパーツの識別子及び選択された素材の識別子を送信する。送信された仮想空間のパーツの識別子及び選択された素材の識別子は、仮想空間画像処理装置３００又はサーバ５００によって、受信される。

【0076】

図１２は、仮想空間画像処理装置の処理のフローチャートである。
ステップＳ７０１で、仮想空間画像処理装置３００（レンダリング部３０４）は、仮想空間照明情報を取得する。空間照明情報記憶部３０６に予め格納されたモデル化された空間の照明情報（空間照明情報）が取得される。空間照明情報は、通信部１１４を介してサーバ５００又は携帯型端末１００から取得され空間照明情報記憶部３０６に格納された空間照明情報とすることができる。

【0077】

ステップＳ７０３で、仮想空間画像処理装置３００（レンダリング部３０４）は、携帯型端末１００からのパーツの識別子及び当該パーツに適用する素材の識別子を受信し、応答して、当該素材の素材情報（色特性、形状特性、反射特性）を取得する。素材情報記憶部３１６に予め格納された素材情報が取得される。素材情報は、通信部３１４を介してサーバ５００又は携帯型端末１００から取得し素材情報記憶部３１６に記憶された素材情報とすることができる。素材情報、上述した色特性、形状特性及び反射特性を示す情報である。

【0078】

ステップＳ７０５で、仮想空間画像処理装置３００（観者位置検出部３１８）は、仮想空間における観者の目の位置（視点あるいはカメラの位置）を決定する。

【0079】

ステップＳ７０７で、仮想空間画像処理装置３００（レンダリング部３０４）は、識別された素材が配置された空間（仮想空間）の表示データをレンダリングする。空間の表示データのレンダリングは、取得した照明情報及び素材情報、並びに決定した仮想空間における観者の目の位置に基づく。

【0080】

ステップＳ７０９で、仮想空間画像処理装置３００（表示部３０２）は、表示データを用いて空間（仮想空間）の画像を表示（再表示）する。

【0081】

ステップＳ７１１で、仮想空間における観者の目（視点）が変更されたかどうか（仮想空間が回転されたかどうか、又は拡大縮小されたかどうか）を決定する。観者の目（視点）が変更された場合は、ステップＳ７０５へ戻り、空間（仮想空間）の表示データのレンダリングをやり直し画像を再表示する（ステップＳ７０９）、変更されない場合はステップＳ７１１を繰り返す。

【0082】

ステップＳ７１３で、プログラムの終了が指示されたかどうかを判定する。プログラムの終了が指示されている場合は、処理のフローを終了する。プログラムの終了が指示されていない場合は、ステップＳ７０５３へ戻る。

【0083】

代替として、ステップＳ７１１を、ステップＳ７０５とＳ７０７の間に挿入し、観者の目（視点）が変更されるまでステップＳ７０５を繰り返し、観者の目（視点）が変更された場合は、ステップＳ７０７からＳ７０９を実行した後に再びステップＳ７１１に戻るようにしてもよい。

【0084】

以上、説明したように、本発明によれば、観察環境の変化や素材の向きの変化に応じた当該素材の画像を表示し、質感や見えの疑似体験を可能にする画像処理システム、方法、及びプログラムを提供できる。

【0085】

なお、上記実施形態の説明では、化粧材シミュレーションシステムが携帯型端末（タブレット端末）と仮想空間画像処理端末（コンピュータ）とを含む構成を説明したが、仮想空間画像処理端末の機能部を携帯型端末に実装し、本発明を実施することができる。また、化粧材シミュレーションシステムの構成にサーバを含め、仮想空間画像処理端末の一部の機能をサーバに実装し、本発明を実施することができる。

【符号の説明】

【0086】

１００ 携帯型端末
１０２ 表示部（感圧式ディスプレイ）
１０４，３０４ レンダリング部（表示データ生成部）
１０６，３０６ 照明情報記憶部
１０８ 周囲照明情報取得部（測光デバイス、照度センサ、カメラ）
１１０ 傾き検出部（ジャイロセンサ、加速度センサ、磁気センサ）
１１２，３１２ 入力部（キーボード、キーパッド、マウス、ポインティングデバイス、マイク）
１１４，３１４ 通信部（ネットワークＩＦカード（ＮＩＣ）、無線デバイス）
１１６，３１６ 素材情報記憶部
１１８ 観者検出部（赤外線センサ、カメラ）
１２０ 変換部
１２２ 編集部
１２６ 組合編集結果記憶部
２０２，２０４ 電灯
２０６ 太陽
２０８ 目

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】