特許 6661336 構造体から光学信号を表すデータを取得するためのシステム、そのデータをマッピングする方法、および、非一過性コンピュータ読み取り可能媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6661336

(24)【登録日】2020年2月14日

(45)【発行日】2020年3月11日

(54)【発明の名称】構造体から光学信号を表すデータを取得するためのシステム、そのデータをマッピングする方法、および、非一過性コンピュータ読み取り可能媒体

(51)【国際特許分類】

   G01B 11/24 20060101AFI20200227BHJP

   G01B 11/26 20060101ALI20200227BHJP

   G01N 21/57 20060101ALI20200227BHJP

【ＦＩ】

   G01B11/24 K

   G01B11/26 H

   G01N21/57

【請求項の数】15

【外国語出願】

【全頁数】21

(21)【出願番号】特願2015-225385(P2015-225385)

(22)【出願日】2015年11月18日

(65)【公開番号】特開2016-114598(P2016-114598A)

(43)【公開日】2016年6月23日

【審査請求日】2018年11月19日

(31)【優先権主張番号】14197409.7

(32)【優先日】2014年12月11日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】508045251

【氏名又は名称】エックス−ライト スウィツァランド ゲゼルシャフト ミット ベシュレンクテル ハフツング

(74)【代理人】

【識別番号】110002147

【氏名又は名称】特許業務法人酒井国際特許事務所

(72)【発明者】

【氏名】マーティン ランプ

(72)【発明者】

【氏名】ビート フリック

(72)【発明者】

【氏名】エイドリアン コールブレナー

(72)【発明者】

【氏名】クリストファー シュワルツ

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 欧州特許出願公開第００４５２９０５（ＥＰ，Ａ１）

【文献】 特開２００４−１６４５７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／０２３２６７９（ＵＳ，Ａ１）

【文献】 独国特許出願公開第０１４８９３９５（ＤＥ，Ａ１）

【文献】 米国特許第０５７１０８７６（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／２４

Ｇ０１Ｂ １１／２６

Ｇ０１Ｎ ２１／５７

(57)【特許請求の範囲】

【請求項1】

構造体の反射面から受信した光学信号を表すデータを取得するためのシステムであって、
ａ）前記反射面の方向へ向けられた広帯域点光源を有する少なくともひとつの第１光源と、
ｂ）前記反射面の方向へ向けられたスペクトル可変点光源を有する少なくともひとつの第２光源と、
ｃ）前記反射面の方向へ向けられ、かつ、可動アーム上に載置された線形広帯域光源を有する少なくともひとつの第３光源と、
ｄ）前記可動アームおよび前記少なくともひとつの第３光源を包囲するドームと、
ｅ）前記ドーム内に包囲される前記構造体を支持するための支持部と、
ｆ）検出システムであって
前記反射面からの前記第１光源の第１反射信号を検出し、前記第１反射信号を前記構造体の前記反射面の画像を記述する第１画像データに変換し、
前記反射面からの前記第２光源の少なくともひとつの第２反射信号を検出し、前記第２反射信号を前記構造体の前記反射面の画像を記述する第２画像データに変換し、
前記反射面からの前記第３光源の少なくともひとつの第３反射信号を検出し、前記第３反射信号を前記構造体の前記反射面の画像を記述する第３画像データに変換する
ように構成された検出システムと、
ｇ）前記検出システムと動作的に接続されたコンピュータであって、前記コンピュータに読み込まれまたは前記コンピュータ上で実行されると、データ処理工程を前記コンピュータに実行させるコンピュータプログラムを実行するように構成された、コンピュータと
を備え、
前記データ処理工程は、
ｈ）前記第１画像データを取得する工程と、
ｉ）前記第２画像データを取得する工程と、
ｊ）前記第３画像データを取得する工程と、
ｋ）前記反射面の３次元表面ジオメトリを記述する表面ジオメトリデータを取得する工程と、
ｌ）前記第１画像データ、前記第２画像データ、前記第３画像データ、および前記表面ジオメトリデータに基づいて、前記第１画像データ、前記第２画像データ、および前記第３画像データによって記述される反射率と、前記反射面の前記３次元表面ジオメトリとの間のマッピングを記述する反射面マッピングデータを決定する工程と、
を有することを特徴とするシステム。

【請求項2】

前記反射面の方向に向けられた構造化光を有する少なくともひとつの第４光源をさらに備え、
前記検出システムは、前記構造体からの前記第４光源の第４反射信号を検出し、かつ、前記第４反射信号を前記構造体の高さフィールドを記述する表面ジオメトリデータに変換するように構成される、ことを特徴とする請求項１に記載のシステム。

【請求項3】

前記検出システム、前記第１光源、前記第２光源、および、前記第３光源は、前記支持部の上方の前記ドーム内に配置され、
少なくともひとつのさらなる光源が前記支持部の下方の半球内に配置されている、ことを特徴とする請求項１に記載のシステム。

【請求項4】

前記検出システム、前記第１光源、前記第２光源、前記第３光源、および、前記第４光源は、前記支持部の上方の前記ドーム内に配置され、
少なくともひとつのさらなる光源が前記支持部の下方の半球内に配置されている、ことを特徴とする請求項２に記載のシステム。

【請求項5】

構造体の反射面の画像データにより記述された光学信号の、前記反射面の３次元表面ジオメトリへのマッピングを表すデータを決定する、コンピュータにより実行されるデジタルデータの処理方法であって、当該方法は、
ａ）前記反射面からの広帯域光の点光源の反射の画像を記述する第１画像データを取得する段階と、
ｂ）前記反射面からのスペクトル可変光の点光源の反射の画像を記述する第２画像データを取得する段階と、
ｃ）アームを動かし、かつ、前記反射面からの前記アームに載置された線形光源の光の反射の画像を記述する第３画像データを取得する段階と、
ｄ）前記反射面の３次元表面ジオメトリを記述する表面ジオメトリデータを取得する段階と、
ｅ）前記第１画像データ、前記第２画像データ、前記第３画像データおよび前記表面ジオメトリデータに基づいて、前記第１画像データ、前記第２画像データ、および前記第３画像データによって記述される反射率と、前記反射面の前記３次元表面ジオメトリとの間のマッピングを記述する反射面マッピングデータを決定する段階と
を備える方法。

【請求項6】

前記表面ジオメトリデータは、前記反射面の高さフィールドを記述する、ことを特徴とする請求項５に記載の方法。

【請求項7】

構造化光の反射の画像を記述する第４画像データを取得する段階をさらに備え、
前記表面ジオメトリデータは前記第４画像データに基づいて取得される、
ことを特徴とする請求項６に記載の方法。

【請求項8】

前記表面ジオメトリデータは、前記反射面の法線フィールドおよび高さフィールドの少なくともひとつを記述する、ことを特徴とする請求項５に記載の方法。

【請求項9】

前記表面ジオメトリデータは、前記反射面の法線フィールドを記述し、かつ、前記第１画像データ、前記第２画像データおよび前記第３画像データの少なくともひとつに基づいて取得される、ことを特徴とする請求項８に記載の方法。

【請求項10】

構造体の反射面の空間的に変化する双方向反射率分布を記述するデータを決定するコンピュータにより実行される方法であって、当該方法は、
請求項５に記載の方法を実行する段階と、
双方向反射率分布関数モデルを記述する反射率関数データを取得する段階と、
前記反射面マッピングデータおよび前記反射率関数データに基づいて、前記反射面の前記空間的に変化する双方向反射率分布を記述する反射率分布データを決定する段階と
を備える方法。

【請求項11】

構造体の反射面のデジタル画像表現をオフラインレンダリングするコンピュータによって実行される方法であって、当該方法は、
請求項１０に記載の方法を実行する段階と、
前記第１画像データ、前記第２画像データおよび前記第３画像データの少なくともひとつ、および、前記反射率分布データに基づいて、前記反射面の画像を記述する表面表現データを決定する段階と、
ディスプレイ装置上で、前記表面表現データの情報コンテンツのオフラインレンダリングを実行する段階と
を備える方法。

【請求項12】

構造体の反射面のシャドー外観を記述するデータを決定するコンピュータによって実行される方法であって、当該方法は、
請求項１０に記載の方法を実行する段階と、
前記第１画像データ、前記第２画像データ、および前記第３画像データの少なくともひとつ、および、前記反射面マッピングデータに基づいて、モデルを記述するシャドー外観データおよび前記反射面のシャドー外観を定義するパラメータを決定する段階と
を備える方法。

【請求項13】

構造体の反射面のデジタル画像表現をリアルタイムレンダリングするコンピュータによって実行される方法であって、当該方法は、
請求項１０に記載の方法を実行する段階と、
前記反射率分布データに基づいて、前記反射面の画像を記述する表面表現データを決定する段階と、
ディスプレイ装置上で、前記表面表現データの情報コンテンツのリアルタイムレンダリングを実行する段階と
を備える方法。

【請求項14】

コンピュータに読み込まれるか、コンピュータによって実行されると、データ処理工程を前記コンピュータに実行させるコンピュータプログラムを含む非一過性コンピュータ読み取り可能媒体であって、前記データ処理工程は、
ａ）前記反射面からの広帯域光の点光源の反射の画像を記述する第１画像データを取得する段階と、
ｂ）前記反射面からのスペクトル可変光の点光源の反射の画像を記述する第２画像データを取得する段階と、
ｃ）アームを動かし、かつ、前記反射面からの前記アームに載置された線形光源の光の反射の画像を記述する第３画像データを取得する段階と、
ｄ）前記反射面の３次元表面ジオメトリを記述する表面ジオメトリデータを取得する段階と、
ｅ）前記第１画像データ、前記第２画像データ、前記第３画像データおよび前記表面ジオメトリデータに基づいて、前記第１画像データ、前記第２画像データ、および前記第３画像データによって記述される反射率と、前記反射面の前記３次元表面ジオメトリとの間のマッピングを記述する反射面マッピングデータを決定する段階と
を有する、ことを特徴とする方法。

【請求項15】

前記検出システムは、前記構造体を通じて伝達される光を前記構造体の透光画像データに変換するようさらに構成されている、ことを特徴とする請求項３または４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、構造物の反射面の画像データにより記述される光学信号を反射面の３次元面ジオメトリへのマッピングを表すデータを決定する方法、および、上記方法を実行するためのプログラムを実行するように構成されたコンピュータを有する、構造体の反射面から受信した光学信号を表すデータを得るための装置に関する。

【背景技術】

【0002】

反射面の光学特性を測定し、得られた空間的に変化する双方向反射率関数を決定する際の一つの問題は、光沢特性の特定を改善させることである。サンプルの反射特性を決定するべくサンプルに照射するために装置内に位置固定した点光源のみを使用することは、サンプルが屈折率異方性を有する場合に、例えば、空間情報の損失をもたらす。この従来技術のアプローチは、例えば、Schwartz, C らによる、DOME II: A Parallelized BTF Acquisition System , in Proceedings of Eurographics Workshop on Material Appearance Modeling; Issue and Acquisition, Zaragoza, Spain, pages 25-31, Eurographics Association, June 2013に記載されている。他に、従来技術のアプローチとして、米国特許第８，８７２，８１１号には、可能なアンダーサンプリングをマークするために測定装置のセンサの位置を補間することを教示している。しかし、こうして得られた測定データの精度はいくらかの不確定さを含み、付加的データの生成のために、計算労力を増加させる。

【発明の概要】

【発明が解決しようとする課題】

【0003】

したがって、本願発明は、特定の構造の空間的に変化する双方向反射率を決定する際に、許容レベルの生成データ量を維持しつつ、改良した光沢測定を与えることができる方法および装置を与えることを目的とする。

【0004】

この目的は、独立項の手段によって達成される。本願発明のさらなる特徴および態様は、以下に開示され、従属項の主題に含まれる。異なる特徴は、本願発明にしたがって、技術的に合理的および実現可能な限度で組み合わされる。例えば、他の実施形態の他の特徴の同じか類似の機能を有するひとつの実施形態の特徴は、交換可能である。例えば、他の実施形態に対する他の機能を補充するひとつの実施形態の特徴は、他の実施形態へ付加可能である。

【課題を解決するための手段】

【0005】

上記した目的を達成するために、第１の態様における本願発明は、構造物の反射面の画像データによって記述された光学信号の反射面の３次元面ジオメトリへのマッピングを表すデータを決定するデジタルデータ処理方法を与える。構造物は、任意の種類（３次元）の構造物であり、例えば、有形（特に、触れることができる）構造体であってよい。例えば、構造体は、少なくともひとつのテクスチャー構造および／またはプラスチック構造および／または皮革構造および／または金属構造および／または塗装構造の少なくともひとつである。反射面は、構造物の外面（例えば、テクスチャー面）であり、その上で測定光が照射され、そこから光が反射される。当該方法は、例えばコンピュータによって実行可能なように構成された、以下の特徴（ステップ）を有する。

【0006】

例示的（例えば第１の）ステップにおいて、当該方法は、構造体の反射面から第１の種類の光の反射の画像（第１画像）を記述する（例えば、定義する）第１画像データを取得する。例として、第１のタイプの光は、広帯域の点光であり、それは、例えば、白色発光ダイオード（ＬＥＤ）または同等の光源から放射される。

【0007】

例示的（第２の）ステップにおいて、当該方法は、構造体の反射面から第２の種類の光の反射の画像（第２画像）を記述する（例えば定義する）第２画像データを取得する。例として、第２の種類の光は、スペクトル（白以外）点光であり、それは、例えば、有色（白以外）ＬＥＤから照射されるか、カラーフィルタを具備する白色ＬＥＤまたは同等の光源から照射される。

【0008】

例示的（第３の）ステップにおいて、当該方法は、構造体からの反射光から第３の種類の光の反射の画像（第３画像）を記述する（定義する）第３画像データを取得する。例として、第３の種類の光は、広帯域な線形光であり、それは、例えば、蛍光管またはＬＥＤの線形アレイから照射される。線形光源は、例えば、一次元方向に伸長し、他の次元の方向に有限な（小さい）厚みを有する。例えば、線形光源は、ひとつの蛍光管または一列のみのＬＥＤの線形アレイを含む。代替的に、線形光源は、モニター（平坦スクリーンモニター、例えば、液晶ディスプレイモニター等）により実行されてもよい。それは、所定の幾何学形状の線形グラフィカル特徴（例えば、直線方向の画素の所定の数、および／または、列方向のディスプレイ基準システムによって作られた、比較的薄い線の形状）を、所定の輝度で表示するようにプログラムされている。この方法で線形光源としてモニターを使用することは、線形光を表示させるようにモニターを適正に制御することにより要求されるような線形光源の幾何学形状を適応することができるという利点を与える。また、モニターは、白色だけではなく、必要により、適当に制御可能であればスペクトル光（有色、すなわち、非白色）も生成することができるという利点を有する。ひとつの実施形態において、線形光源は、支持部の下方に配置される。その上に、構造体が支持され、それにより、線形光源の位置から見た時に、構造体の他の側に少なくとも部分的に検出システムが配置されれば、構造体の第３の種類の光の透過測定が与えられる。

【0009】

上記より、第１種類の光、第２種類の光、および第３種類の光は、光の３つの異なるタイプを構成する。具体的には、３つの種類の光は、各々異なる種類の光を構成する。したがって、開示する方法は、反射面を照射するために少なくとも３つの異なる種類の光を使用する。４または５つの異なる種類の、３つより多くの異なる種類の光を使用することも本願発明の開示範囲に属する。反射率を導出するべく、線形光を含む３つの種類の光を組み合わせることは、点光源（上述した広帯域およびスペクトルＬＥＤなど）によって生成される反射信号の空間アンダーサンプリングに比べ、高い感度を有する改善された光沢測定の利点を与える。このアンダーサンプリングは、概して、構造体および検出器に関する点光源の定義かつ概して固定された位置のために生じる。本発明者らは、点光源のみを使用する光沢測定は、線形光源のような伸長した光源から受信した反射光と組み合わせることにより、大きく改善可能であることを見いだした。したがって、電子データ保存空間を含むコンピュータリソースおよび処理時間の観点から、許容可能なレベルで処理すべきデータ量を維持しつつ、アンダーサンプリングの効果を避けることができることを見いだした。

【0010】

例示的（第４の）ステップにおいて、当該方法は、反射面の表面ジオメトリを記述（例えば、定義）する表面ジオメトリデータを取得する。当該表面ジオメトリは、ひとつの実施形態において、反射面の個々のエレメント間の相対的高さ（高さ方向の間隔および／または垂直方向の間隔）によって定義される。他の実施形態において、表面ジオメトリは、そのエレメントの高さ情報によってではなく、表面エレメントの方向を定義する情報によって定義される。その方向は、グローバル座標系または、反射面のエレメント間の相対位置により定義されてもよい。他の実施形態において、表面ジオメトリは、２次元のポイントの膨大なセットとして与えられる。他の実施形態において、鏡面ジオメトリは、頂点および該頂点間を結ぶ平坦な三角形または四角形からなる三角または四角メッシュとして与えられる。他の実施形態において、表面ジオメトリは、異なる（例えばより高次の）分解能で格納された方向と一緒に、高さフィールド、点クラウドまたはメッシュのいずれかの組み合わせとして与えられる。

【0011】

例示的（第５の）ステップにおいて、第４の種類の光源の構造光パターンは、構造体の面の下での表面下散乱のパラメータを決定するのに使用することができる（この効果は、半透明とも呼ばれる）。原理的に、表面下散乱は、反射現象であり、それは、構造体の内部で生じる。したがって、この明細書において、反射の光学的現象に関する言及は、半透明現象を包含している。しかし、本願明細書の開示において、反射の光学的現象に関する任意の用語が、構造体の外面上で生じる排他的反射を表すように、代替的に理解されてもよい。ひとつの例において、互いに対して所定の距離を有する単一点からなるパターンは、構造体の面上に射影可能である。この間隔スポットにより照射された反射面のそれぞれの画像において、表面下で散乱した光の測定は、表面の照射されない部分から引き算される。モデルは、引き算された測定値に外挿される。

【0012】

本方法の第１の実施形態に従い、表面ジオメトリデータは、反射面の高さフィールドを記述（例えば、定義）する。表面ジオメトリデータは、例えば、構造体の反射面から第４の種類の光の反射の画像（第４画像）を記述する第４画像データに基づいて取得される。第４の種類の光は、第１の種類、第２の種類、第３の種類の光とは異なる。ひとつの例において、第４の種類の光は、例えば、プロジェクタ（ 機）のような構成された光の光源から放射された構造光である。構造光は、所定のパターン（例えば、視覚的パターン）を示す光、すなわち、所定の（具体的には、２次元）パターンで照射される光である。第４の種類の画像データによって記述される画像は、したがって、構造光画像とも呼ばれる。この画像は、例えば、反射面のレリーフなどのトポグラフィーを記述する。高さフィールドは、反射面のエレメントの高度（例えば、相対的高度）を記述する。例えば、高さフィールドは、これらのエレメントの少なくともひとつに対する、これらのエレメントの他の少なくともひとつの高度（すなわち、３次元、例えば、垂直方向での間隔／距離／座標差）を記述する。この高さフィールドは、従来技術の方法、Salvi, J. らによる, A state of the art in structured light patterns for surface profilometry, Pattern Recognition 43, no. 8 (2010): pp. 2666-2680の記載、および、構造光の反射を検出するのに使用される検出システムの幾何学的キャリブレーションの考察からの方法に従うポイントクラウドを生成することにより、構造光画像から再構築可能である。高さフィールドの分解能は、第４の種類の光の反射信号の検出に使用される空間サンプリングに依存する。高さフィールドは、基本的な幾何学的キャリブレーションによって反射面のエレメントの方向の決定を与える。

【0013】

第１の態様に従う方法の第２の実施形態に従い、表面ジオメトリデータは、反射面の法線フィールドを記述（例えば、定義）する。その場合、表面ジオメトリデータは、例えば、第１画像データ、第２画像データ、および第３画像データの少なくともひとつに基づいて取得される。法線フィールドは、反射面のエレメントの方向を記述する。例えば、各エレメントの方向は、その面の法線の方向によって定義される。法線フィールドは、所望の面法線に関する情報を構成するデータセットである。法線フィールドは、反射面が拡散的反射面であり、それぞれの表面エレメントに対して決定された輝度から各面エレメントの方向を決定するという仮定の下で、第１画像、第２画像および第３画像に基づいて得られる。法線フィールドはまた、第１、第２および第３画像データから導出された光沢情報を組み込むことにより、非拡散面に対して改良される。

【0014】

要約すると、表面ジオメトリデータは、上記した高さフィールドおよび法線フィールドの少なくともひとつを記述（例えば、定義）する。

【0015】

例示的（例えば、第６）のステップにおいて、当該方法は、第１画像データ、第２画像データ、および第３画像データならびに表面ジオメトリデータに基づいて、第１画像データ、第２画像データおよび第３画像データならびに反射面の３次元表面ジオメトリによって記述された反射率の間のマッピングを記述する反射面マッピングデータを決定する。例えば、光学信号（具体的には、反射信号）が３次元表面ジオメトリにマッピングされる。マッピングは、例えば、第１画像データ、第２画像データおよび第３画像データを、表面ジオメトリデータによって記述された表面ジオメトリ上で確立される。３次元ジオメトリは、反射面の高さフィールドおよび法線フィールドの少なくともひとつのような表面エレメントの方向の決定を可能にする、例えば、表面ジオメトリデータに含まれる情報によって記述される。

【0016】

第１画像データ、第２画像データ、第３画像データ、および、適用可能であれば第４画像データによって記述される画像は、例えば、検出システムによって生成されたデジタル画像である。その検出システムは、少なくともひとつのデジタルカメラ（他の例では、複数のデジタルカメラ、例えば３次元カメラ）などの少なくともひとつの検出ユニットを有し、それは、第１種類、第２種類および第３種類、もし適用可能であれば第４種類の光の反射信号を検出する。したがって検出システムは、第１種類、第２種類、第３種類、および適用可能であれば第４種類の光のスペクトル反射に特に感度が良い。

【0017】

第２の態様において、本願発明は、構造体の反射面の空間的に変化する双方向反射率分布を記述するデータを決定する方法に関する。当該方法は、コンピュータによって実行される以下のステップを含む。
１．マッピング（第１の態様に従う）を表すデータを決定する上述したデジタルデータ処理方法が実行される。
２．双方向反射率分布関数（BRDF）モデルを記述する反射率関数データが取得される。反射率関数データは、例えば、ＢＲＤＦモデルの数学的表現を表すコードからなる。
３．反射面マッピングデータおよび反射率関数データに基づいて、反射面の空間的に変化する双方向反射率分布を記述する反射率分布データが決定される。例えば、これは、ＢＲＤＦモデルを、例えば、表面位置ごとの表面ジオメトリデータを考慮して、第１画像データ、第２画像データおよび第３画像データに含まれる反射率情報に外挿することにより実行される。外挿プロセスに対して、非線形最適化アルゴリズムが使用される。反射面の空間的に変化する双方向反射率分布を定義する、生成されたＳＶＢＲＤＦ（空間的に変化する双方向反射率分布関数）パラメータが、不揮発性電子メモリ装置上の反射分布データを含むデジタルファイル内に格納される。

【0018】

第３の態様において、本願発明は、構造体の反射面のデジタル画像表現（レンダリング前のデジタルデータ表現の表示であり、具体的には、視覚的に認識可能であり、人間が読める）をオフラインレンダリングするための方法に関する。当該方法は、コンピュータによって実行される以下のステップを含む。
１．構造体の反射面の空間的に変化する双方向反射率分布を記述するデータを決定する上記方法（第２の態様に従う）が実行される。
２．反射分布データに基づいて、表面表現データが決定される（例えば、合成される）。それは、反射面の画像（デジタル画像）を記述（例えば、定義）する。表面表現データは、例えば、特定の観測角度（表面が視覚的に観測される高度角度および方位角）に対して決定される。
３．例えば、第３の態様に従う当該方法は、例えば、標準的なモニターのようなディスプレイ装置上に、または、プロジェクタおよびスクリーン（プロジェクタスクリーン、例えばキャンバススクリーン）を通じて、表面表現データ（すなわち、反射面を表すデジタル画像）の情報コンテンツをオフラインレンダリング（例えば、ディスプレイ）することを含む。

【0019】

第４の態様において、本願発明は、構造体の反射面のシャドー外観（具体的には、シャドー外観を定義するモデルおよびパラメータを記述するデータ）を記述（例えば定義または表現）するデータ（例えば、モデルおよびパラメータ）を決定する方法に関する。当該方法は、コンピュータによって実行可能な以下のステップを含む。
１．構造体の反射面の反射率分布を決定する上記方法（第２の態様に従う）が実行される。
２．反射面マッピングデータおよび、第１画像データ、第２画像データ、第３画像データの少なくともひとつに基づいて、シャドー外観データが決定される。それは、反射面のシャドー外観を記述（例えば、定義）する。シャドー外観を特徴づけるシャドー外観データ内に含まれるシャドー外観パラメータは、後に使用するためにデジタルファイル内に格納される。具体的には、シャドー外観パラメータは、空間的に変化する双方向反射率分布パラメータと一緒にひとつのファイル内に格納される。

【0020】

第５の態様において、本願発明は、構造体の反射面のデジタル画像表現（すなわち、デジタル画像表現の表示、オンラインで生成され、視覚的に認識可能であり、よって人間に読める）のリアルタイムレンダリング方法に関する。当該方法は、コンピュータによって実行可能な以下のステップを含む。
１．構造体の反射面の反射率分布を決定する上述した方法（第２の態様に従う）が実行される。
２．反射率分布データおよび任意のシャドー外観データに基づいて、反射面の画像を記述（例えば、定義）する表面表現データが決定される。
３．例えば、第５の態様に従う方法は、例えば、標準的なモニターのようなディスプレイ装置上またはプロジェクタおよびスクリーン（プロジェクタスクリーン、例えばキャンバススクリーン）を通じた、表面表現データ（すなわち、反射面を表すデジタル画像）の情報コンテンツのオンライン（すなわち、リアルタイム）レンダリング（例えばディスプレイ）を含む。

【0021】

第６の態様において、本願発明は、第２の態様に従う方法の出力を、例えば、サンプル構造の反射面の反射率によって記述された表面特性（例えば、光沢、ぼやけ、画像の区別、および、光輝）を決定する方法のフレームワークに属する、他の電子データ処理の入力として使用することに関する。この方法は、第２の態様に従う方法の出力を、サンプルとして取られた測定と比較するために使用する。それは、例えば、サンプルのそれぞれの表面特性の品質制御のフレームワークで実行される。この方法は、例えばコンピュータによって連続して実行される。

【0022】

第７の態様に従い、本願発明は、コンピュータ上で実行されるか、コンピュータ上にロードされると、上述した態様のいずれかに従う方法をコンピュータに実行させるコンピュータプログラムに関する。

【0023】

第８の態様に従い、本願発明は、上記したプログラムが格納される、非一過性コンピュータ読み取り可能記憶媒体に関する。

【0024】

以下で、本願発明の第９の態様が説明される。それは、第１から第６の態様に従う方法を実行するために使用可能な装置に関する。方法の特徴の説明は、当該装置の特徴に同様に適用可能である。

【0025】

第９の態様の第１実施形態において、本願発明は、構造体の反射面から受信した光学信号を表すデータを取得するための装置に関する。当該装置は、
ａ）反射面上に第１の種類の光を照射するように構成された少なくともひとつの第１光源と、
ｂ）反射面上に第２の種類の光を照射するように構成された少なくともひとつの第２光源と、
ｃ）反射面上に第３の種類の光を照射するように構成された少なくとも一つの第３の光源であり、代替的にまたは付加的に、当該構造体は、第３の種類の光に対して透過的であり、第３の光源は、当該構造体を通じて第４の種類の光を照射するように（それが、反射面を通じて、例えば、反射面を介して検出システムへ伝達されるように）構成されている、ところの第３の光源と、
ｄ）第１の態様に従う方法に関して説明したように、第１、第２および第３の種類の光は光の３つの異なるタイプを構成し、
ｅ）構造体を支持するための支持部（例えば、その上で構造体が配置されて第１種類の光、第２種類の光、第３種類の光、適用可能であれば第４種類の光に従う光を照射されるターンテーブル）と、
ｆ）検出システムであって、
反射面からの第１の種類の光の第１反射信号を検出し、該第１反射信号を、構造体の反射面の画像を記述する第１画像データに変換し、
反射面からの第２の種類の光の第２反射信号を検出し、該第２反射信号を、構造体の反射面の画像を記述する第２画像データに変換し、
反射面から、第３の種類の光の第３の反射信号または透過信号を検出し、該第３反射信号を、構造体の反射面の画像を記述する第３画像データに変換するか、または、該透過信号を、構造体の画像を記述する第３画像データに変換する
ように構成された検出システムと、
ｇ）検出システムと動作的に接続されたコンピュータであって、第７の態様に従うコンピュータプログラムを実行するように構成され、および／または、第８の態様に従う格納媒体を有する、ところのコンピュータと、
を有する。

【0026】

したがって、開示された装置は、反射面を照射するために少なくとも３つの異なる種類の光源を使用する。開示した装置はまた、３つ以上の異なる種類の光源を有してもよい。例えば、異なる種類の対応する数の光を照射するように構成された４つまたは５つの光源を有しても良い。

【0027】

ひとつの例において、検出システムは、第１の態様に従う方法の文脈において説明された検出システムである。

【0028】

第９の態様に従う第２の実施形態において、装置は、
反射面に第４の種類の光を照射するように構成された少なくともひとつの第４の光源を有し、
検出システムは、構造体からの第４の種類の光の第４の反射信号または透過信号を検出し、該第４の反射信号または透過信号を、構造体の反射面の高さフィールドを記述する表面ジオメトリデータに変換するように構成され、
少なくともひとつの第１光源は広帯域点光源であり、少なくともひとつの第２光源は、スペクトル点光源であり、第３光源は広帯域線形光源であり、第４光源は構造光の光源である。構造光の光源は、例えば、第１の態様に従う方法の文脈において説明されたものである。

【0029】

第９の態様に従う第３実施形態において、検出システムおよび第１光源、第２光源、第３光源、ならびに、装置が第７の態様の第２の実施形態の特徴をさらに有する限りにおいて、第４光源が、支持部上の半球上に配置され、第１種類、第２種類、第３種類、ならびに、装置が上記した構成的特徴を含む限りにおいて、第４種類の少なくともひとつの光を照射するように構成された少なくともひとつの他の光源が支持部の下方の半球上に配置される。例えば、第１光源、第２光源、第３光源、および、第９の態様の第２実施形態の特徴をさらに有する限りにおいて、第４の光源が、検出システムとともに、例えば、少なくとも一部が球面構造（例えば、ドーム形状）である保持部に固定される。これは、支持部の上方、したがって、支持部の上方の半球上に配置される。付加的に、上述した種類の光源が下方から、すなわち、支持部の下方の半球から構造体を照射することができるように、支持部の下方に配置されてもよい。その結果、構造体の透明性（例えば、透過率）または半透明性を測定することができる。

【0030】

＜定義＞
本願発明のフレームワーク内で、コンピュータプログラムエレメントは、ハードウエアおよび／またはソフトウエア（ファームウエア、レジデントソフトウエア、マイクロコード等を含む）によって実行可能である。本願発明のフレームワークの範囲内で、コンピュータプログラムエレメントは、コンピュータプログラムプロダクトの形式を取ることも可能である。それは、例えば、命令実行システム上でまたはそれに関連してデータ格納媒体内で実行される、コンピュータ読み取り可能なプログラムインストラクションである“コード”または“コンピュータプログラム”を含む、コンピュータ読み取り可能データ格納媒体によって実行される。このシステムは、コンピュータであってよい。コンピュータは、データ処理装置であり、本願発明に従うコンピュータプログラムエレメントおよび／またはプログラムを実行するための手段、例えば、データ処理装置を有する。データ処理装置は、コンピュータプログラムエレメントを実行するデジタル電子プロセッサ（中央処理ユニットまたはＣＰＵ）および、コンピュータプログラムエレメントを実行するために使用されるデータおよび／または実行して生成されたデータを格納するための揮発性メモリ（例えば、ランダムアクセスメモリまたはＲＡＭ）を有する。本願発明のフレームワーク内で、コンピュータ使用可能、例えば、コンピュータ読み取り可能格納媒体は、命令実行システム、装置またはデバイス上でまたはそれと関連して使用するためのプログラムを含み、格納し、通信し、伝達しまたは輸送することができる、任意のデータストレージ媒体であってよい。コンピュータ使用可能、例えば、コンピュータ読み取り可能データ格納媒体は、例えば、これに限定されないが、電子的、磁気的、光学的、電磁気的、赤外線または半導体システム、装置またはデバイス、あるいは、インターネットのような通信媒体である。コンピュータ使用可能またはコンピュータ読み取り可能データ格納媒体は、例えば、紙または、その上にプログラムが印刷可能な他の適当な媒体であってもよい。プログラムは、紙または他の適当な媒体を光学的にスキャンすることにより、電子的に捕捉可能であり、その後、コンパイルされ、インタプリタされ、または、他の適当な方法で処理される。データ格納媒体は、例えば、不揮発性データ格納媒体である。ここで説明するコンピュータプログラムプロダクトおよび任意のソフトウエアおよび／またはハードウエアは、本例の実施形態において、本願発明の関数を実行するためのさまざまな手段を形成する。コンピュータおよび／またはデータ処理デバイスは、例えば、ガイダンス情報デバイスを有する。それは、ガイダンス情報を出力するための手段を有する。ガイダンス情報は、例えば、視覚的な指示手段（例えばモニターおよび／またはランプ）および／または音響指示手段（例えば、スピーカーおよび／またはデジタルスピーチ出力デバイス）および／または触覚指示手段（例えば、振動エレメント）によって、ユーザに対して出力される。

【0031】

本願発明に従う方法は、例えば、データ処理方法である。データ処理方法は、例えば、コンピュータのような技術手段を使って実行される。データ処理方法は、例えば、コンピュータによって実行される。該コンピュータは、例えば、プロセッサおよび、電子的におよび／または光学的にデータを処理するメモリを有する。上述した計算ステップは、例えば、コンピュータによって実行される。決定ステップ、または計算ステップおよび取得ステップは、技術データ処理方法のフレームワーク内、例えば、プログラムのフレームワーク内で、データを決定するステップである。コンピュータは、例えば、任意の種類のデータ処理デバイスであり、例えば、電子データ処理デバイスである。コンピュータは、デスクトップＰＣ、ノートブック、ネットブック等のような一般的に考えられるデバイスだけでなく、携帯電話または埋め込みプロセッサのようなプログラム可能な任意の装置である。コンピュータは、例えば、“サブコンピュータ”のシステム（ネットワーク）を有してもよい。ここで、各サブコンピュータは、それ自体、自立したコンピュータを表す。コンピュータは、例えば、データを受信または出力するためのおよび／またはアナログ−デジタル変換を実行するためのインターフェースを有する。データは、例えば、物理的特性を表すデータであるか、技術信号から生成されるデータである。コンピュータは、検出システムから第１、第２、第３および第４種類の光の反射を表す、デジタル信号（第１、第２、第３および第４画像信号）を受信するように、および、少なくとも受信画像データに基づく第６の態様に従う方法に従いさらなるデータ処理を実行するように、第９の態様に従う装置と光学的に接続される。デジタル信号は、例えば、反射率の検出と同時に、検出システム内で生成された電気信号のアナログ−デジタル変換によって生成される。

【0032】

表現“データ取得”は、例えば、データがデータ処理方法またはプログラムによって決定されるシナリオを包含する（データ処理方法のフレームワーク内で）。データを決定することは、物理的量を測定すること、および、測定値をデジタルデータに変換すること、および／または、コンピュータによりデータを計算すること、例えば、本願発明の方法を使ってデータを計算することを包含する。“データ取得”の意味は、例えば、データ処理方法またはプログラムによって、例えば、データ処理方法またはプログラムによってさらに処理するために他のプログラム、先行の方法ステップまたはデータ格納媒体から、データが受信されまたは検索されるシナリオも包含する。よって、“データ取得”は、データの受信を待つことおよび／またはデータを受信することも意味する。受信されたデータは、インターフェースを介して入力される。“データ取得”は、例えば、データ格納媒体（例えば、ＲＯＭ、ＲＡＭ、データベース、ハードディスク等）または、インターフェース（例えば、他のコンピュータまたはネットワーク）を介したデータソースからデータを受信または検索するためにデータ処理方法またはプログラムがステップを実行することも意味する。データは、取得ステップの前の付加的なステップを実行することにより“使用可能”の状態になる。この付加的なステップに従い、データは、取得可能となるように生成される。例えば、データは、検出または捕捉される（例えば、解析装置によって）。データは、データ格納媒体（例えば、ＲＯＭ、ＲＡＭ、ＣＤおよび／またはハードドライブ）内にデータを格納する付加的なステップを実行することにより与えられる。その結果、それらは、本願発明に従う方法またはプログラムのフレームワーク内で使用可能となる。したがって、“データ取得”は取得すべきデータを得ておよび／または与えるようにデバイスに命令を送ることも含む。

【0033】

以下で、本願発明に従う態様およびその実施形態が図面を参照して説明される。しかし、本願発明は、以下で説明し図面に示す特徴に限定されない。

【図面の簡単な説明】

【0034】

【図1】図１は、第９の態様の第２実施形態に従う装置の最初の図である。

【図2】図２は、第９の態様の第２実施形態に従う装置の二番目の図である。

【図3】図３は、第９の態様の第３実施形態に従う装置の図である。

【図4】図４は、第９の態様の第１例に従う装置の図である。

【図5】図５は、第９の態様の第３実施形態の第２例に従う装置の図である。

【図6】図６は、第１の態様の第１実施形態に従う方法のフロー図である。

【図7】図７は、第１の態様の第２実施形態に従う方法のフロー図である。

【発明を実施するための形態】

【0035】

図１に示すように、第９の態様の第２実施形態に従う装置は、白色光ＬＥＤ１ａによって実施される複数の第１光源、可変カラーフィルタ２（すなわち、送信された色に関して調節可能なカラーフィルタ２）が取り付けられた白色ＬＥＤ１ｂにより実施される複数の第２光源、および、線形光源３により実施される第３光源を含む。プロジェクタ９が構造光により構造体７を照射するための第４光源として設けられている。線形光源は、少なくともひとつのアーム４（本例においては、２つのアーム４）に取り付けられた白色ＬＥＤの線形アレイ（直線）である。少なくともひとつのアーム４は、従来のモータ（例えば、ステップモータ）により駆動され、半連続的な動作を表す離散的ステップで、反射面（第１、第２、第３および第４光源に対向する構造体７の上部面）を照射するために平坦な構造体７の位置の上を移動する。それにより、反射面は、第３種類の光によって、連続的に照射可能となる。検出システムは、３つのデジタルカメラ５を有する。それは、画像のコントラストを解析することにより輝度の検出を可能にする白黒（グレイスケール）画像情報を生成するように構成されている。構造体７は、ターンテーブル６によって実施される支持構造上に配置される。ターンテーブル６は、ベース部分８に格納されたステップモータを駆動することにより回転される。

【0036】

図２に示すように、ＬＥＤ１ａ、１ｂ、カラーフィルタ２、カメラ５およびプロジェクタ９は、クーポラ形状のドーム１０（すなわち、半球のシェル）によって実施された保持部上に配置される。ドーム１０は、光源が構造体７およびカメラ５に光を照射することができるように、開口部を有し、構造体７からの反射信号を検出する。ドーム１０は、構造体７上の反射測定のために、構造体７の上方に配置されている。

【0037】

図３に示すように、第９の態様の第３実施形態に従う装置は、図１および図２の文脈で説明される特徴のみを有していない。それに加えて、構造体７の下方で、ドーム１１によって実施される第２の保持部を有する。ターンテーブル６は、少なくともひとつのモータ１２（例えば、ステップモータ）によって駆動され、それはターンテーブル６用の支持体に固定されている。

【0038】

図４に示す第９の態様の第３実施形態の第１例において、第２のドーム１１は、点光源１ｃを具備する。点光源１ｃは、白色ＬＥＤまたは有色（スペクトル）ＬＥＤあるいは、両方の組み合わせであってよく、下からの点光源によって構造体７を照射するように構成されている。さらに、第３光源３は、構造体７の間を移動可能であるように配置される。第２のドーム１１は、第１のドーム１０が具備する他の特徴が取り付けられてもよい（例えば、有色ＬＥＤ１ｃ、プロジェクタ９および可能付加カメラ５の代わりに、カラーフィルタ２を具備する白色ＬＥＤ１ｂ）。ＬＥＤ１ｃの位置から見たとき、構造体７の他方の側の位置で第１ドーム１０上に設けられるように、第３の光源３は、２つ設けられてもよい。ひとつは、構造体７の上方の上部半球上で、もうひとつは構造体７の下方の下部半球上である。しかし、本願発明のフレームワーク内で、第３光源は一つのみ与えられ、上部および下部半球を通じて自由に移動（回転）するように配置される。その場合、支持部（ターンテーブル６）は、少なくともひとつの駆動部が第３光源３の回転軸線上にあり、少なくともひとつのアーム４を通じて少なくとも部分的にガイドされて保持され、その結果、ターンテーブル６に回転結合可能となる。ＬＥＤ１ｃの位置から見て構造体７の他方側に配置されるカメラ５により、構造体７の透明度および／または半透明度の測定が可能になる。

【0039】

図５は、第９の態様の第３実施形態の第２例を示す。第２ドーム構造１１の代わりに、平坦な第３光源１ｄが、カメラの位置から見たとき、構造体７の他方側で下方半球上に設けられている。それにより、構造体７の透明性および半透明性の測定が可能になる。平面光源１ｄは、標準的なＬＣＤモニターによって実施される。それは適宜制御され、下方半球内の第１光源、第２光源および第３光源の機能を与えることができる。これによれば、ＬＥＤアレイまたは蛍光管として線形光源３を与える必要がなくなり、付随する駆動および保持機構も必要なくなる。線形光源３は、所定の画素位置で、線形状の明るい画像を表示することによりモニターによって与えられてもよい。画素位置は、下方から構造体７を照射しながら変更可能であり、それにより、構造体７の位置に沿って下方で、線形光源３の移動をシミュレートできる。図１から４に示す配置構成に比べ、線形光源３の代わりに、モニターのようなディスプレイ装置を使用することは、より大きな柔軟性をもたらし、装置を単純な構造とすることができる。モニターの代わりに、制御可能な有色ＬＥＤ（白色およびスペクトル光の両方を照射可能である）の大きな２次元アレイ（平坦）が、平坦な第３光源１ｄとして使用されてもよい。

【0040】

図６は、第１の態様の第１実施形態に従う方法のフロー図を示す。ステップ１０１は、少なくともひとつの点光の白黒画像を記述する第１画像データの取得を含み、ステップ１０２は、少なくともひとつの点光源のスペクトル画像を記述する第２画像データの取得を含み、ステップ１０３は少なくともひとつの線形光源の白黒画像を記述する第３画像データの取得を含み、ステップ１０４は少なくともひとつの構造光画像を記述する第４画像データの取得を含む。

【0041】

大きいダイナミックレンジ（ＨＤＲ）の組み合わせおよび、原画像の放射補正を適用した後に、所定のマテリアルから作成された構造体７の反射面のキャリブレーションされた画像のセットが受信される。これらは、第９の態様に従う装置で、異なる照射条件ごとに、分類される。一方で、点光源１ａ、１ｂ、１ｃ、線光源３、異なる位置の１ｄ、または、プロジェクタ９によって照射されたパターンのいずれかを使って捕捉されたマテリアルの白黒画像が存在する。他方で、カラーフィルタ２（フィルターホイールシステム）を使って生成されたわずかなカラーまたはスペクトル画像が存在する。付加的な例において、各々の画像に対してすべての成分の位置に関する詳細な情報を含む、装置の幾何学的キャリブレーションデータが使用可能である。幾何学的キャリブレーションデータは、ステップ１１０で取得される。

【0042】

ステップ１０７において、マテリアルの高さフィールドは、ステップ１０４で取得した構造光画像から再構築される。まず、従来技術の標準的な方法を使って、ポイントクラウドが生成される。例えば、Salvi, JらによるA state of the art in structured light pattern for surface profilometry, Pattern Recognition 43, no. 8 (2010): pp. 2666-2680には、カメラのパターン画像およびカメラの幾何学的キャリブレーションを利用したものが記載されている。その後、マテリアル基準面上の各々の画素に対して高さ値が生成され、それは、ステップ１０６で表面ジオメトリデータとして取得される。これに対して、ポイントクラウドからのすべてのポイントｐは、基準面に対して垂直に射影されており、平面までの距離（高さ）が測定される。これにより、射影座標ｐ’および対応する高さｈの組が導かれる。基準面上の各画素（ｘ、ｙ）に対して、点Ｐ＝｛ｐ’_ｉ｝の付近でｋ個の組が集められ、（ｘ、ｙ）に対する高さ値は、対応する高さｈ_ｉにフィルタリングを使って生成される。

【数1】

ここで、Ｆは、フィルタのカーネルである。例えば、それは、ガウスの正規分布関数であり、||・||_２はユークリッド距離である。

【0043】

高さフィールドの再構築の後、他のすべての画像は、ステップ１０５において、すべての画像が共通の座標系に置くために、高さフィールドに射影される。つまり、すべての射影画像の同じ画素は、マテリアル面上の同じ位置に対応することを意味する。それにより、反射面マッピングデータ（具体的には、第１の態様に従う方法の文脈で説明されるマッピング）が決定される。

【0044】

射影画像はその後、ＳＶＢＲＤＦフィッティングに送られる。それは、ステップ１０９で実行され、マテリアル基準面上の各画素（ｘ、ｙ）に対する所与のＢＲＤＦモデルに対するパラメータのセットを探す。パラメータのこのマップは、ステップ１１２で決定され、その後、デジタル（電子）ファイル内に格納され、画像生成処理に送られ、ステップ１１３でリアルタイムレンダリングを実行され、ステップ１１４でオフラインレンダリングを実行され、または、ステップ１１５でマテリアルの光学的特性の品質制御のための比較測定が実行されることにより、第６の態様に従う方法でさらに処理される。ステップ１０９の処理により、反射率分布を決定する際に、装置の固定した照射ジオメトリおよび構造体７の特定のジオメトリ（特に、反射面）の影響を消去することができる。

【0045】

リアルタイムレンダリングのために、マテリアルのセルフシャドーインサイドも、ステップ１０８において、デジタルファイル内にステップ１１１で第２のマップ内に格納されているシャドーモデル用の画素ごとのパラメータを見つけることにより、射影画像から減算可能である。

【0046】

＜ＳＶＢＲＤＦフィッティング＞
ステップ１０９のＳＶＢＲＤＦフィッティング処理は、大きく、２つのフェーズに分割できる。第１のフェーズにおいて、データが準備され、第２のフェーズにおいて、画素毎にＢＲＤＦモデルパラメータがフィッティング処理により発見される。ＢＲＤＦフィッティング処理は、周知のものとは異なる、それは、ＢＲＤＦ ４Ｄ“形状”のフィッティングを、粗い色情報と組み合わせるべくモデルの色成分のフィッティングから分離しているからである。

【0047】

第１フェーズは、入手可能な色サンプルから、白黒情報を計算することにより開始される。これは、捕捉システム（検出システム）のスペクトル応答の知識を必要とする。スペクトルサンプルの場合において、これは、白黒画像部分のスペクトルシステム応答により、すべての画像スペクトルのコンボルーションを計算することを含む。３色画像の場合、３色の色空間に対応するスペクトル応答、白黒画像部分のスペクトルシステム応答、および、いくつかのトレーニングデータに基づいて、１×３マトリクスが計算される。その後、白黒画像は、マトリクスを、カラー画像のすべてのカラーベクトル（画素）に対して左乗算することにより、計算される。

【0048】

第２のステップにおいて、ＢＲＤＦパラメータを一緒にフィッティングするために画素の組が選択される。単純なケースにおいて、これは、各時間に一個の画素のみからなる。しかし、画素は、クラスタ技術を使ってその外観ごとに分類されてもよい。これにより
フィッティングが補強される。より多くのデータがフィッティングフェーズで利用可能となるためである。

【0049】

準備フェーズのさらなるステップは、選択した画素に対応するデータ値の引き算からなる。このため、各々の画素の画素値は、画像および幾何学的キャリブレーションデータから減算され、単一画素に対する光源およびセンサの位置を計算するのに、高さフィールドが使用される。

【0050】

このデータはその後、第２フェーズに送られる。それは、リアルタイムのＢＲＤＦフィッティング（双方向反射率分布関数パラメータのフィッティング）を実行する。これは、白黒ＢＲＤＦのフィッティングを有し、続いて、白黒ＢＲＤＦを有色化する。このプロセスの結果は、表面法線ベクトル、モデルの鏡面パラメータ、および、ＢＲＤＦモデル用の色値から成る、画素ごとのパラメータのセットである。

【0051】

＜白黒ＢＲＤＦフィッティング＞
白黒ＢＲＤＦモデルのフィッティングは、エネルギー最小化問題として出現する。それは、このＢＲＤＦモデルを使って測定したマテリアルのシミュレーションが、所定の距離測定を使って最小エラーで測定値に一致するような方法で、ＢＲＤＦモデル用のパラメータのセットを探すことである。しかし、この問題を直接的に解こうとすると、困難に直面する。生成エネルギー関数は、多くの極小値を有し、すべての実際に応用可能なアルゴリズムが簡単に行き詰まってしまう。この理由により、最適な結果のできるだけ近くで最適化を開始するために、ＢＲＤＦモデルパラメータ用の良好な初期化が要求される。また、一度にパラメータ空間内で、所定の整然とした方向へ最適化装置を制限することが必須である。

【0052】

ここに開示する方法に含まれる解は、表面法線および拡散アルベド（白黒ＢＲＤＦに対する拡散“カラー”）に対して、閉じた形式の初期化を開始することである。鈍いマテリアルに対して、これは、Woodham, Robert J., Photometric stereo: A reflectance map technique for determining surface orientation from image intensity, 22nd Proc. SPIE 0155, Image Understanding Systems and Industrial Applications I, 136 (January 9, 1979), pp. 136-143に記載された周知の側光ステレオ技術を使って実行される。鏡面マテリアルに対して、線形光源によって生成された最大測定値は、サンプルのすべての回転に対して調べられる。完璧な鏡面マテリアルを仮定した場合、法線ベクトルは、反射の法則から計算可能である。ユーザは、適当なアルゴリズムを選択することができる。鏡面カラーをゼロに設定し、かつ、鏡面パラメータをある平均値（使用するモデルに応じた）に設定することにより、画素毎のパラメータの完全な初期化が得られる。

【0053】

この初期化の後、パラメータおよびデータは、拡散および鏡面パラメータの最適化からなるメイン最適化ループに供給され、続いて、法線ベクトルが最適化される。その後、変換のチェックが行われる。最後のステップ中に得られるエラーが所定の（例えば、所定のまたはユーザ設定の）閾値以下に減少していれば、アルゴリズムは終了する。そうでなければ、ループが再び始まる。

【0054】

＜フィッティングステップ＞
画素ごとのパラメータの異なるサブセットの最適化に制限したが、鏡面および拡散パラメータの最適化、並びに、法線ベクトルの最適化は、同じ方法で実行可能である。使用される最適化ループの第１ステップは、画素ごとのパラメータの所与のセットから測定値を合成する。これは、本質的に、仮想マテリアル上での測定装置のシミュレーションである。技術的に、これは、問題の各画素および各照射条件に対して、レンダリング方程式を解くことにより実行される。レンダリング方程式は、例えば、Kajiya, James T., The rendering equation, ACM SIGGRAPH Computer Graphics, vol. 20, no. 4. ACM, pp. 143-150, 1986に記載されている。このために、仮想シーンが、キャリブレーションから構築され、センサの方向で、出力放射が以下のように計算される。

【数2】

ここで、ｘは、表面上の位置であり、ω_０は、出力方向であり、Ｌ_ｅは表面により照射される放射であり、Ωは、位置ｘ上の局所的半球であり、ω_ｉは入射光の方向であり、ｎ_ｘはｘでの局所的な面法線であり、ρは、選択したＢＲＤＦモデルであり、ｐ_ｘは、画素パラメータの組である。方程式（２）は、再帰的である。入射放射Ｌ_ｉ（ｘ、ω_ｉ）は、方向ω_ｉで見えるシーン内の地点ｘ’での外部放射Ｌ_０（ｘ’、−ω_ｉ）と等しいからである。

【0055】

合成処理を単純化するために、当該方法は、直接光のみを仮定して、再帰の第１レベルのみを考慮する。仮想マテリアルはシーン内の反射面のみであり、かつ、光源は照射面のみであると仮定する。光源が付加的にｎ個の光源のセットに離散された場合、レンダリング方程式は、以下のようになる。

【数3】

ここで、Ｌ_ｉｊはｊ番目の位置の照射された放射であり、ω_ｉｊはそこへの方向である。放射値が計算された後、それらは測定された放射値と比較され、エラー値が計算される。エラー関数は、例えば、相対エラーまたはＬ_１エラーである。

【0056】

その後、最適化が変換のためにチェックされる。最新と現在の反復との間でエラー値の減少が閾値以下であるか、または、所定の数の反復に達した場合、アルゴリズムは終了する。そうでなければ、エラー関数を減少させるべく、パラメータの新しい組が古いセットから計算される。これは、勾配降下のような標準的な方法を使って実行され、エラー関数の勾配を数値的に計算するためにフォワード合成およびエラー評価の付加的な評価を必要とする。パラメータの修正の後、次の反復が開始される。

【0057】

＜カラーフィッティング＞
開示した方法に従う全体のアルゴリズムの最後の部分は、白黒ＢＲＤＦ用のカラーの決定である。第１ステップは、白黒鏡面部分から鏡面カラーを計算することである。絶縁マテリアルに対して、これは、白黒値を、すべてのカラーチャネルにコピーすることにより実行される。これらのマテリアルは、白色のハイライトを有するからである。金属または他の導体に対して、異なる手法が使用される。例えば、マテリアルクラスに関する従来の知識を組み込むことである。

【0058】

その後、鏡面部分は、すべての測定値から除去され、拡散カラー情報のみを含むカラー値で終わる。このために、先行するステップと同様のフォワード合成が、ＢＲＤＦモデルの鏡面部分を組み込むことによってのみ計算される。生成された合成鏡面カラーは、その後、測定カラー値から減算される。

【0059】

さらなる（最後の）ステップにおいて、これらのカラー値は、拡散カラーフィッティングに入力される。これは、カラーチャネル毎の線形最小二乗として扱われる。最も単純なケースにおいて、エラー関数は以下の式で表される。

【数4】

ここでＮは、カラーサンプルの数であり、ｄ_ｉは、チャネルｉに対する拡散カラー値であり、ｍ_ｉｊは、カラーチャネルｉに対する測定された鏡面無拡散値であり、ｗ_ｊはサンプルｊの重みである。この重みは、複数の考察に基づいて計算される。例えば、鏡面ハイライトに対するサンプルの角度距離または測定されたカラーの飽和度などである。ＸＹＺカラー空間（スペクトルではない）内でカラーフィッティングする場合、周知のΔＥ*の線形近似が知覚的により近い色にフィッティングするために利用される。また、ＲＡＮＳＡＣアルゴリズムが、異常値を取り除くために適用されてもよい。

【0060】

＜シャドーフィッティング＞
ステップ１１４における光線トレースのようなオフラインレンダリング方法において、マテリアルの正しいセルフシャドーインサイドが、再構築された高さフィールドを使ってステップ１０８で生成される。しかし、ステップ１１３に含まれるリアルタイムレンダリングにおいて、このアプローチは直接的には適用できない。もちろん、シャドーマッピングのような技術が使用可能であるが、生成されるシャドーはかなり困難でかつ不自然である。

【0061】

リアルタイムのセルフシャドーイングを生成するために、開示する方法は、入射光の方向に関する減衰を記述するマテリアル面上の各位置に対する第２の関数をフィッティングする。セルフシャドーイングは、射影された点光入力画像のそれぞれの画素の値を、同じ画素に対する最終ＢＲＤＦパラメータを使ってフォワード合成により生成した合成値と比較することにより導出される。光の方向に対する２つの値の平均比率または平均差が、セルフシャドーイング効果を表すのに使用される。

【0062】

光方向依存のシャドー値をモデル化するために、Sloan, Peter-Pikeらによる, Precomputed radiance transfer for real-time rendering in dynamic, low-frequency lighting environments, ACM Transactions on Graphics (TOG), vol. 21, no. 3, pp. 527-536, ACM, 2002に記載される球面調和関数、または、Malzbender, Tom らによる, Polynomial texture maps, Proceedings of the 28th annual conference on Computer Graphics and Interactive Techniques, pp. 519-528, ACM, 2001に記載される多項式テクスチャーマップのようなスムースな半球面関数が使用可能である。しかし、点光源を有する半球の最も通常のサンプリングは、ここに開示した方法によって得られる。本願発明者らは、上記した方法が、視野角に外挿する際にアーチファクトを示すことを発見した。開示する方法はステップ１１１において、画素ごとに、光半球の２次元射影にわたってパラメータ化された例えば４×４エントリーを構成する小さい２次元テーブルを格納する、異なる手法を使用する。このテーブルのエントリーは、角度空間内でサンプルをフィルタリングすることにより計算される。再構築時において、２次元の線形補間が実行される。この方法は照射仰角（入射の大きい角度）の方向で一定の外挿、および、上述した従来の方法に比べて画素ごとのメモリ消費を抑制しつつサンプル地点間での比較可能な補間を有する。詳細レベルのレンダリングに対して、テーブルの空間的にダウンサンプリングバージョンが予め計算される。

【0063】

図７は、第１の態様に従う方法の第２実施形態を示す。それは、第６の態様に従って使用される。高さフィールドを使用する代わりに、ステップ２０６において法線フィールドが表面ジオメトリデータとして取得され、第１画像データ、第２画像データ、第３画像データによって記述された画像を法線フィールドに射影することによりステップ２０５で反射面マッピングデータが決定される。図７に示す残りのステップは、図６に示すものと同じであり、図６を参照した上記説明に対応する同じデータ処理を含む。

【先行技術文献】

【特許文献】

【0064】

【特許文献1】米国特許第８，８７２，８１１号明細書

【非特許文献】

【0065】

【非特許文献1】Schwartz, C らによる、DOME II: A Parallelized BTF Acquisition System , in Proceedings of Eurographics Workshop on Material Appearance Modeling; Issue and Acquisition, Zaragoza, Spain, pages 25-31, Eurographics Association, June 2013

【非特許文献2】Salvi, JらによるA state of the art in structured light pattern for surface profilometry, Pattern Recognition 43, no. 8 (2010): pp. 2666-2680

【非特許文献3】Woodham, Robert J., Photometric stereo: A reflectance map technique for determining surface orientation from image intensity, 22nd Proc. SPIE 0155, Image Understanding Systems and Industrial Applications I, 136 (January 9, 1979), pp. 136-143

【非特許文献4】Kajiya, James T., The rendering equation, ACM SIGGRAPH Computer Graphics, vol. 20, no. 4. ACM, pp. 143-150, 1986

【非特許文献5】Sloan, Peter-Pikeらによる, Precomputed radiance transfer for real-time rendering in dynamic, low-frequency lighting environments, ACM Transactions on Graphics (TOG), vol. 21, no. 3, pp. 527-536, ACM, 2002

【非特許文献6】Malzbender, Tom らによる, Polynomial texture maps, Proceedings of the 28th annual conference on Computer Graphics and Interactive Techniques, pp. 519-528, ACM, 2001

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】