【国等の委託研究の成果に係る記載事項】(出願人による申告)平成29年度、国立研究開発法人科学技術振興機構、個人型研究(さきがけ)、産業技術力強化法第17条の適用を受けるもの
【文献】
書籍のデジタルアーカイブに向けためくり動作中の高速反射測定計測,ViEW2012 ビジョン技術の実利用ワークショップ,日本,公益社団法人精密工学会画像応用技術専門委員会,2012年12月06日,IS2-D1
【文献】
モデル間分散を利用した適応的な反射特性計測手法の検討,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年01月11日,vol. 117, no. 391,PRMU2017-139,ISSN: 2432-6380
【文献】
反射特性計測の高速化に向けたベイズ最適化を利用したサンプリングの設計,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年01月11日,vol. 117, no. 391,PRMU2017-138,ISSN: 2432-6380
【文献】
非負値行列因子分解を用いた空間分布反射特性の推定,電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2018年01月11日,vol. 117, no. 391,PRMU2017-121,ISSN:3432-6380
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0009】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる概念である。また、本実施形態においては様々な情報を取り扱うが、これら情報は、0又は1で構成される2進数のビット集合体として信号値の高低によって表され、広義の回路上で通信・演算が実行されうる。
【0010】
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
【0011】
1.全体構成
図1は、本実施形態に係る計測システム1の構成概要を示す図である。計測システム1は、対象物Sの反射特性を計測可能に構成されるシステムである。
図1に示されるように、計測システム1は、計測装置2と情報処理装置3とを備え、両者がネットワークを介して互いに接続されている。第1.1〜1.2節において、計測装置2及び情報処理装置3についてそれぞれ説明する。
【0012】
1.1 計測装置2
計測装置2は、通信部21と、記憶部22と、制御部23と、光源24と、光検出部25と、表示部26とを有し、これらの構成要素が計測装置2の内部において通信バス20を介して電気的に接続されている。以下、各構成要素についてさらに説明する。
【0013】
<通信部21>
通信部21は、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。また、通信部21を介して外部機器である後述の情報処理装置3と通信しながら、反射特性の計測を実施してもよいし、オフライン環境において単独で動作可能に実施してもよい。さらに計測した反射特性を情報処理装置3に送信可能に実施してもよい。
【0014】
<記憶部22>
記憶部22(特許請求の範囲における「記憶媒体」の一例)は、前述の記載により定義される情報を記憶する。例えば、記憶部22は、対象情報と、教師情報と、制御部23が実行するための種々のプログラム等とを記憶する。これは、例えばソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、或いは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
【0015】
対象情報とは、対象物Sの反射特性を計測するにあたり必要となるサンプリングデータであり、後述の光源24(入射光)、光検出部25(反射光)及び対象物Sの一部である計測箇所Spの座標位置、並びに入射光及び反射光に関する数値(放射強度等)から規定される。また、教師情報とは、反射特性の既知計測結果に関する情報であって、後述の機械学習を用いた反射特性の推定において用いられる教師データである。一般的には、教師情報は、例えば、既知計測結果を基に機械学習された各種のパラメータを含む情報が採用されうるが、計測結果そのものを含む情報であってもよい。なお、計測装置2を実施するにあたり予め記憶部22に教師情報が記憶されていてもよいが、必要に応じて通信部21を介して情報処理装置3から教師情報の更新データをダウンロードし、これを記憶可能に構成されてもよい。さらに、ダウンロードされる教師情報の更新データは、情報処理装置3に記憶されている教師データの全部でもよいし一部でもよい。
【0016】
<制御部23>
制御部23は、計測装置2に関連する全体動作の処理・制御を行う。制御部23は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部23は、記憶部22に記憶された所定のプログラムを読み出すことによって、計測装置2に係る種々の機能を実現する。なお、
図1においては、単一の制御部23として表記されているが、実際はこれに限るものではなく、機能ごとに複数の制御部23(専用チップ等)を有するように実施してもよい。またそれらの組合せであってもよい。
【0017】
図2は、制御部23に係る機能を詳述した機能ブロック図である。制御部23は、光源点灯部231と、反射特性推定部232と、レンダリング部233とを備える。光源点灯部231は、反射特性の計測にあたり、必要に応じて光源24を点灯させる。反射特性推定部232は、サンプリングデータである対象情報と、記憶部22に記憶された教師情報とに基づいて、計測箇所Spの反射特性を計測する。より具体的には、反射特性推定部232は、ニューラルネットワークによる機械学習によって反射特性を計測する。この機械学習は、対象情報を入力、教師情報を教師データ、反射特性を出力とするものである(第3節を参照)。そして、かかる対象情報を複数用意することで対象物Sの反射特性が推定的に計測される。レンダリング部233は、当該反射特性を有する対象物Sのコンピュータ・グラフィクスのレンダリングを実行することによって、当該コンピュータ・グラフィクスを生成することができる。
【0018】
<光源24>
光源24は、対象物Sの一部である計測箇所Spに入射光L_iを照射可能に構成される。入射光L_iは、一般的な拡散白色光(少なくともRGB成分を有するもの)であるとよい。光源24は、前述の光源点灯部231による点灯命令信号に基づいて不図示の点灯回路を介して点灯される。また、対象情報の1つのパラメータである入射光に関する数値は、特に限定されるものではないが、予め記憶部22に記憶されたものを採用する等すればよい。
【0019】
<光検出部25>
光検出部25は、光を検出しこれを電気信号に変換する素子であり、例えば、フォトダイオード、光電子増倍管、光導電素子、CCD、カメラ等が含まれる。ここでは、光検出部25は、入射光L_iが対象物Sの一部である計測箇所Spに照射されて反射した反射光L_oを検出可能に構成される。検出された反射光L_oは電気信号に変換され、対象情報の1つのパラメータ、すなわち反射光に関する数値の情報として記憶部22に記憶される。
【0020】
<表示部26>
表示部26は、ユーザの視覚を刺激することで情報を提示するディスプレイである。もちろん、表示部26に加えて、スピーカー(不図示)、バイブレータ(不図示)等の他の感覚に係る情報提示が複合的に、追加されてもよい。より詳細には、用途に応じ、例えば、マルチモーダルやクロスモーダル的に強調されても構わない。このような構成とすることにより、観察者に対象物Sの質感を仮想的に提示する、「統合型質感提示システム」への拡張が実施されうる。特に、表示部26は、対象情報及び教師情報に基づいて制御部23によって計測された反射特性を表示することができる。より詳細には、当該反射特性を有する対象物Sのコンピュータ・グラフィクスを表示することができる。さらに、かかるコンピュータ・グラフィクスに関して、各種物体への印刷、カラープロジェクション、プロジェクションマッピング等を実施してもよい。
【0021】
1.2 情報処理装置3
図1に示されるように、情報処理装置3は、いわゆるワークステーションであり、記憶部31と、制御部32とを備える。もちろん、USB、IEEE1394、Thunderbolt、有線LANネットワーク通信等といった有線型の通信手段又は、無線LANネットワーク通信、LTE/3G等のモバイル通信、Bluetooth(登録商標)通信等の無線通信手段を必要に応じて有するものである。かかる通信手段を介して、計測装置2と通信することができる。以下、情報処理装置3に係る各構成要素についてさらに説明する。
【0022】
<記憶部31>
記憶部31(特許請求の範囲における「記憶媒体」の一例)は、第1.1節においても説明した教師情報と、制御部32が実行するための種々のプログラム等とを記憶する。これは、例えばハードディスクドライブ(Hard Disk Drive:HDD)やソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして実施されうる。もちろん、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとしても実施され、これらの組合せであることが好ましい。
【0023】
なお、特に限定する事項ではないが、記憶部31に記憶された教師情報は、データを追加可能に構成されるとよい。これにより、情報処理装置3とネットワークを介して接続された計測装置2が、より情報量の豊富な最新の教師情報を取得することができる。すなわち、計測装置2における制御部23によって計測される反射特性の精度が高まることが期待される。
【0024】
<制御部32>
制御部32は、情報処理装置3に関連する全体動作の処理・制御を行う。制御部32は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部32は、記憶部31に記憶された所定のプログラムを読み出すことによって、情報処理装置3に係る種々の機能を実現する。本実施形態においては、これら機能の詳述を省略する。
【0025】
2.反射特性
第2節では、本実施形態に係る計測システム1によって測定される反射特性の一例について詳述する。
【0026】
そもそも、反射特性を表現する関数としては、出射双方向散乱面反射率分布関数(Bidirectional Scattering Surface Reflectance Distribution Function:BSSRDF)があり、具体的には[数1]として表される。
【数1】
【0027】
ここで、E_i、x_i、ω_i(φ_i及びθ_i)は、それぞれ入射光L_iの放射照度、入射位置、入射方向である。また、L_o、x_o、ω_o(φ_o及びθ_o)は、反射光L_oの放射輝度、反射位置、反射方向である。BSSRDFのうち入射位置及び反射位置に依存しないものは、特に双方向反射率分布関数(Bidirectional Reflectance Distribution Function:BRDF)と呼ばれ、[数2]として表される。
【数2】
【0028】
BRDFの座標系のとり方として、前述のように入射光L_i及び反射光L_oの向きを基準とする座標系の他に、ハーフベクトルを基準として定めたRusinkiewicz座標系が知られている。ハーフベクトルω_hは、[数3]として表される。
【数3】
【0029】
ここで等方性、すなわち法線nを軸とする回転に対して反射特性が不変であるという性質を仮定すると、ω_hの自由度が1となり、[数4]に表されるような、θ_h、θ_d、φ_dを変数とする3変数関数となる。ただし、
図3A及び
図3Bに示されるように、Rusinkiewicz座標系として各変数を規定するものとする。
【数4】
【0030】
ところで、異方性反射は、ヘアライン加工された金属や宝石、織物等のマテリアルに見られるものであるが、ここでは簡単のため等方性を仮定するものとする。つまり、本実施形態では、対象物Sは、表面下散乱の影響は無視でき且つ等方性が成立するマテリアル、つまり反射特性が等方性BRDFで表されるマテリアルを仮定する。また、[数4]に示される関数は、単にf(θ_h,θ_d,φ_d)として記載できるものとする。なお、あくまでも本実施形態における例示にすぎず、本発明を実施するにあたってはこの限りではないことに留意されたい。
【0031】
3.ニューラルネットワークを用いた機械学習
第3節では、ニューラルネットワークを用いた機械学習(特許請求の範囲における「第2の機械学習」の一例)について詳述する。本実施形態に係る反射特性の計測では、高速な反射特性計測を可能とするために、サンプリング数(特許請求の範囲における「組合せ数」の一例)を削減するアプローチを採用する。これを最小サンプリング手法と呼ぶ。また、高速化を達成するため、サンプリング方向は適応的に決めるのではなく、予め定めた方向を使用する。このため、計測装置2の構成において、可動部分を有する必要がないという点で有利である。
【0032】
最小サンプリングを採用する場合、サンプリングしていない方向のデータを推定する必要があるため、精度の向上が課題である。本実施形態では、ニューラルネットワークを用いて、サンプリングデータを入力とし、反射特性を出力するような推定器(反射特性推定部232)を提供する。このように推定器を設計することにより、モデルの生成とモデルパラメータの推定が同時に最適化されるため、性能の向上が期待される。
【0033】
また、サンプリング方向に特化した反射特性モデルが学習されるため、反射特性モデル由来の得意不得意なサンプリング方向が存在せず、サンプリング方向に対して自在に推定器を構築可能である。そのため、既存の光沢計の機能を拡張し、よりコンパクトな計測装置2を提供することができると考えられる。これについては、第6節において詳述する。
【0034】
ここで、推定精度を向上させるために、反射特性推定部232は、[数5]で表されるような、cos−mappingと呼ばれる変換を導入している。
【数5】
【0035】
φ_d→cos2φ_dの変換は、ヘルムホルツの相反性を満たすための変換である。また、θ_h→sinθ_h及びθ_d→cosθ_dは、θ_h=0付近の鏡面反射及びθ_d=π/2付近のフレネル反射をより詳しくみるようにする変換である。このような変換によって、ニューラルネットワークによる機械学習の精度を高めることができると考えられる。
【0036】
図4は、ニューラルネットワークNNの概要図である。各種パラメータにより規定される入力信号が第1層L1に入力される。ここでの入力信号は、サンプリング方向(特許請求の範囲における「座標位置関係」の一例)とサンプリング値(特許請求の範囲における「入射光及び反射光に関する数値」の一例)とを含む対象情報である。かかる入力信号は、第1層L1の計算ノードN_11〜N_13から、第2層L2の計算ノードN_21〜N_25にそれぞれ出力される。このとき、計算ノードN_11〜N_13から出力された値に対し、各計算ノードN間に設定された重みwを掛け合わせた値が計算ノードN_21〜N_25に入力される。
【0037】
計算ノードN_21〜N_25は、計算ノードN_11〜N_13からの入力値を足し合わせ、かかる値(又はこれに所定のバイアス値を加算した値)を所定の活性化関数に入力する。活性化関数としては、例えば[数6]に表されるものが用いられる。
【数6】
【0038】
そして、活性化関数の出力値が次ノードである計算ノードN_31に伝搬される。このとき、計算ノードN_21〜N_25と計算ノードN_31との間に設定された重みwと上記出力値を掛け合わせた値が計算ノードN_31に入力される。計算ノードN_31は、入力値を足し合わせ、合計値を出力信号として出力する。このとき、計算ノードN_31は、入力値を足し合わせ、合計値にバイアス値を加算した値を活性化関数に入力してその出力値を出力信号として出力してもよい。これにより、推定されたBRDFが出力される。
【0039】
なお、
図4に示されるものはあくまでも説明のためのものであり、これに限定されるものではない。例えば、本実施形態においては、2層の中間層を持つものを採用することが考えられる。中間層のノード数は、調整可能なパラメータであり、例えば(64,2048)、(128,1024)、(256,512)、(512,256)、(1024,128)、(2048,64)等が挙げられ、好ましくは、(128,1024)、(512,256)であり、さらに好ましくは、(128,1024)である。また、既知の反射特性の計測結果である教師情報は、等方性のBRDFを集めた適切なデータベースに含まれる情報を採用することが好ましい。
【0040】
4.計測
前述のような計測システム1を用いることで、サンプリング数を小さくし、従来よりも高速、かつ高精度にBRDF、すなわち反射特性を計測することができる。かかるサンプリング数は、例えば1〜15であり、好ましくは、2〜10であり、さらに好ましくは、3〜6である。具体的には例えば、1、2、3、4、5、6、7、8、9、10、11、12、13、14、15であり、ここで例示した数値の何れか2つの間の範囲内であってもよい。例えば、
図5に示されるように、サンプリング数を6として計測を行った場合は、
図6Aのような結果が得られる。なお、
図6Bはかかる結果の真値を予め計測したものである。かかる計測におけるサンプリング方向は、次に示すものを採用した。ただし、φ_i、θ_i、φ_o、θ_oは、
図3A及び
図3Bに示されるものであり、度数表示である。
(φ_i,θ_i,φ_o,θ_o)=(0,20,180,20)、(0,45,180,45)、(0,60,180,60)、(0,20,0,0)、(0,45,0,0)、(0,60,0,0)
【0041】
かかる組合せは、既知の工業規格を参考にしたものであり、光源24の位置を3箇所の異なるものとし、光検出部25の位置(すなわち反射光の検出位置)を4箇所の異なるもの(それぞれ、
図5における光源24a〜24c及び光検出部25a〜25d)としている。もちろん、あくまでも例示でありこの限りではない。光源24及び光検出部25は、可動部位を無くすためにそれぞれ別異に用意されることが好ましいが、可動部位を設けて1つの光源24及び光検出部25を使い回せるようにしてもよい。
図6A及び
図6Bを比べるに、両者に目立った差異はなく、反射特性を高速、かつ高精度に計測するという目的が達成されている。
【0042】
さらに、
図7に示されるように、サンプリング数を3として計測を行った場合は、
図8Aのような結果が得られる。なお、
図8Bはかかる結果の真値を予め計測したものである。かかる計測におけるサンプリング方向は、次に示すものを採用した。ただし、φ_i、θ_i、φ_o、θ_oは、
図3A及び
図3Bに示されるものであり、度数表示である。
(φ_i,θ_i,φ_o,θ_o)=(0,30,180,30)、(0,26,180,30)、(180,−10,180,30)
【0043】
かかる組合せは、前述の工業規格から着想を得て独自に設定したものであり、光源24の位置を3箇所の異なるものとし、光検出部25の位置(すなわち反射光の検出位置)は1箇所(それぞれ、
図7における光源24d〜24f及び光検出部25)としている。もちろん、あくまでも例示でありこの限りではない。光源24及び光検出部25は、可動部位を無くすためにそれぞれ別異に用意されることが好ましいが、可動部位を設けて1つの光源24及び光検出部25を使い回せるようにしてもよい。
図8A及び
図8Bを比べるに、両者に目立った差異はなく、反射特性を高速、かつ高精度に計測するという目的が達成されている。
【0044】
5.計測装置2を用いた計測方法
第5節では、これまでに説明した計測装置2を用いた対象物Sの反射特性の計測方法の一例を取り扱う。
図9は、当該計測方法のフローチャートである。以下、
図9に示される各ステップに沿って説明する。
【0045】
[開始]
(ステップS1)
ステップS1(特許請求の範囲における「光照射ステップ」の一例)では、計測装置2において、制御部23における光源点灯部231が、記憶部22に記憶された所定のプログラムを読み出す。すると光源24が規定の強度を有して点灯し、これにより対象物Sにおける計測箇所Spに入射光L_iが照射される。なお、光源24の座標位置及び規定の強度は、記憶部22に記憶されているものである。
【0046】
(ステップS2)
ステップS2(特許請求の範囲における「光検出ステップ」の一例)では、ステップS1において計測箇所Spに照射された入射光L_iが反射し、光検出部25が反射光L_oを所定の強度として検出する。なお、光検出部25及び計測箇所Spの座標位置、検出された所定の強度は、記憶部22に記憶される。
【0047】
(ステップS3)
ステップS3(特許請求の範囲における「計測ステップ」の一例)では、制御部23における反射特性推定部232が、記憶部23に記憶された情報(上記ステップS1及びS2参照)、すなわち対象情報と、同じく記憶部23に予め記憶された教師情報とに基づいて、対象物Sの反射特性が計測される。より詳細には、ニューラルネットワークによる機械学習によって反射特性が推定的に計測される。このとき、対象情報に含まれる座標位置関係の組合せ数は、従来の反射特性の計測手法に比して小さく、例えば1〜15又はそれより小さい範囲に設定される。
[終了]
【0048】
6.変形例
なお、次のような態様によって、本実施形態をさらに創意工夫してもよい。
【0049】
第一に、計測結果から得られた反射特性を例えば対象物Sとは異なる物体に適用できるようにしてもよい。換言すると、情報処理装置3における制御部32が、対象物Sの反射特性を有するように当該異なる物体のコンピュータ・グラフィックスのレンダリングを実行する。すなわち、事前に計測した反射特性を所望の対象に適用するといった動画コンテンツ制作分野等の応用が期待されうる。これについて、は第7節で、既存の光沢計及び色彩計を例にさらに詳述する。
【0050】
第二に、計測装置2における制御部23(より具体的には、反射特性推定部232及びレンダリング部233)に係る機能を、情報処理装置3における制御部32が有するように実施してもよい。すなわち、計測装置2における通信部21より、対象情報がネットワークを介して情報処理装置3に送信され、情報処理装置3における制御部32は、かかる対象情報と記憶部31に記憶された教師情報とに基づいて、反射特性を計測するように実施してもよい。
【0051】
第三に、事前に取得された対象情報を事後的に計測装置2に読み込ませ、対象物Sの反射特性を計測するように実施してもよい。かかる場合、対象情報は、第1節において記載の通信部21を介して計測装置2に送信されてもよいし、いわゆるフラッシュメモリ(例えば、SDメモリカード、USBメモリ、メモリスティック、スマートメディア、コンパクトフラッシュ等)を介して読み込ませてもよい。また、対象情報は、対象情報に含まれるパラメータを読み込ませてもよいし、これらパラメータを間接的に包含するようなデータ(例えば画像ファイル等)を読み込ませてもよい。もちろん、かかる場合は計測装置2において光源24及び光検出部25が必須構成ではないことにも留意されたい。
【0052】
7.光沢計・色彩計を用いた実施例
本節では、計測装置2として光沢計や色彩計を用いた実施例について詳述する。
【0053】
7.1 光沢計によるモノクロBRDFの推定
計測装置2(光沢計)は、対象物Sの「光沢度」を測定する。そして、これを反射特性である「BRDF」に変換するように実施される。なお、JIS規格では、屈折率1.567であるガラス表面において60度の入射角の場合反射率10%を光沢度100%、20度の入射角の場合反射率5%を光沢度100%と規定されている。すなわち、光沢度は、反射率に依存する物理量であることに留意されたい。したがって、反射特性であるBRDFは、既知の対象物Sに関しては光沢度から理論的には線形関係に算出可能である。
【0054】
図10A及び
図10Bのグラフは、計測装置2(光沢計)によって計測された対象物Sの光沢度(前述したように、光沢度は反射率に依存する物理量であることから、
図10Aの縦軸は光沢度と等価であり、すなわち、光沢度と置き換えても良い。)とBRDFとの分布を示している。ここでは、入射光L_iが20度で入射した際の、反射光L_oの反射角ごとの分布(反射角の受光角依存性)が示されている。また、各グラフのA〜Eは、それぞれ、対象物Sが皮A、中光沢プラスチックB、低光沢プラスチックC、高光沢タイルD、低光沢タイルEの場合に関するものである。かかる結果より、光沢計によって計測可能な光沢度の分布の広がりよりも、BRDFの分布の広がりの方が広いことが確認される。これは、計測装置2(光沢計)における光検出部25と、教師情報としての反射特性(BRDF)を計測したセンサ(不図示)とが異なるものであることに由来すると推定される。そこで、サポートベクターマシン(SVM)等を筆頭とした機械学習(特許請求の範囲における「第1の機械学習」の一例)を用いて、光沢度からBRDF(特許請求の範囲における「一部反射特性」の一例)の変換を学習させ、これに基づいて、BRDFの分布が得られるように創意工夫するものとした。特に、分布の広がりを考慮すると、例えば、
図10Aにおける横軸15〜25度の光沢度の分布から、
図10Bにおける横軸5〜35度のBRDFの値を推定できるような、機械学習モデルを生成することが好ましい。
【0055】
すなわち、光沢度を入力、BRDFを出力とした変換(本節において前述の通り説明)と、このBRDFを入力、対象物S全体のBRDF(Full BRDF)を出力とした変換(第1〜5節においては、「反射特性」として上位概念化して説明)とを組み合わせることによって、光沢度を計測して、そこからFull BRDFを得ることができる。これにより、変形例として説明した、対象物SのBRDFを有するように異なる物体のコンピュータ・グラフィクスのレンダリングに応用することができる。
【0056】
図11A〜
図11Cは、対象物Sの光沢度を計測してFull BRDFを推定し、これを異なる物体のコンピュータ・グラフィクス(スタンフォード・バニー)として出力した例を示している。光沢計は、色の情報を取得することはできないため、ここでは様々な無彩色で実験を行った。いずれの場合も対象物Sの光沢度からFull BRDFを推定し、これをコンピュータ・グラフィクスに適用したスタンフォード・バニーを出力することができた。
【0057】
7.2 色彩計を用いた色情報の復元
図10Aにおいて、例えば横軸における20度付近を参照すると、当然のごとく正反射(鏡面反射)していることから、各素材A〜Eによる対象物Sのいずれもそれぞれにおける反射ピークを有している。一方、15度付近を参照すると、光沢度については、各素材A〜Eによる対象物Sのいずれも0に近い値にまで落ち込んでいることが確認される。すなわち、15度の領域(拡散反射成分)では、20度の領域(鏡面反射成分)のように光沢がほとんど見られないが、代わりにヒトが色として知覚するものと考えられる。したがって、前述のように、
図10Aにおける横軸15〜25度の光沢度の分布から、
図10Bにおける横軸5〜35度のBRDFの値を推定できるような機械学習モデルを生成すれば、コンピュータ・グラフィクスの生成に際して、色情報も復元できる可能性が示唆されている。
【0058】
そこで、計測装置2を光沢計及び色彩計として、再び実験を行った。その結果が
図12に示されている。対象物Sを計測装置2(光沢計)で計測することで、光沢度を計測し、これに基づいて推定されたFull BRDFを用いてモノクロでの反射特性を復元したスタンフォード・バニーが出力される。ここから、拡散反射成分を抽出し、別途に計測装置2(色彩計)で計測された色彩を、かかる拡散反射成分に対してコンピュータ・グラフィクスに係る既存のアルゴリズム等を用いて適用することで、対象物Sの色情報も含んで、スタンフォード・バニーが出力される。
【0059】
7.3 まとめ
このように、既存の光沢計と色彩計とを組み合わせて、計測装置2とすることで、対象物Sの反射特性を有するように異なる物体のコンピュータ・グラフィックスのレンダリングを実行することができる。なお、あくまでも実験であり、光沢度及び色彩を両方計測可能な計測装置2を新たに実施することがより好ましい。
【0060】
すなわち、以下の点に留意されたい。制御部23は、対象物Sの光沢度に基づいて、反射特性を計測するように構成される。制御部23は、光沢度を入力とした第1の機械学習によって、反射特性の一部である一部反射特性を推定的に計測し、一部反射特性を入力とした第2の機械学習によって、反射特性を推定的に計測する。この反射特性は、光沢を表す鏡面反射(例えば正反射)成分と、色情報に関連付けられる拡散反射成分とを含む。
【0061】
8.結言
以上のように、本実施形態によれば、所望の対象物の反射特性を従来よりも高速、かつ高精度に計測可能な計測装置2を実施することができる。
【0062】
かかる計測装置2は、制御部23を備え、制御部23は、対象情報と教師情報とに基づいて対象物Sの反射特性を計測するように構成され、対象情報は、入射光L_iの光源位置と反射光L_oの光検出位置と対象物Sにおける計測箇所Spとの座標位置関係並びに入射光L_i及び反射光L_oに関する数値を含む情報で、入射光L_iは、計測箇所Spに照射された光で、反射光L_oは、入射光L_iが計測箇所Spに照射され且つその後当該計測箇所Spにおいて反射した光であり、教師情報は、反射特性の既存計測結果に関する情報であり、対象情報に含まれる座標位置関係の組合せ数は、1〜15である。
【0063】
また、所望の対象物の反射特性を従来よりも高速に計測可能な計測システム1を実施することもできる。
【0064】
かかる計測システム1は、計測装置2と、情報処理装置3とを備え、計測装置2は、光源24と、光検出部25とを備え、光源24は、対象物Sにおける計測箇所Spに入射光L_iを照射し、光検出部25は、入射光L_iが計測箇所Spに照射され且つその後当該計測箇所Spにおいて反射した反射光L_oを検出するように構成され、計測装置2及び情報処理装置3の少なくとも一方は、制御部23/32をさらに備え、制御部23/32は、対象情報と教師情報とに基づいて対象物Sの反射特性を計測するように構成され、対象情報は、光源24と光検出部25と計測箇所Spとの座標位置関係並びに入射光L_i及び反射光L_oに関する数値を含む情報で、教師情報は、反射特性の既存計測結果に関する情報であり、対象情報に含まれる座標位置関係の組合せ数は、1〜15であり、計測装置2及び情報処理装置3は、ネットワークを介して対象情報、教師情報及び反射特性を含む情報の少なくとも1つを互いに送受信可能に構成される。
【0065】
そして、所望の対象物の反射特性を従来よりも高速に計測可能な計測装置2をハードウェアとして実施するためのソフトウェアを、プログラムとして実施することもできる。そして、このようなプログラムを、コンピュータが読み取り可能な非一時的な記録媒体として提供してもよいし、外部のサーバからダウンロード可能に提供してもよいし、外部のコンピュータで当該プログラムを起動させて、クライアント端末で各機能を実施可能な、いわゆるクラウド・コンピューティングを実施してもよい。
【0066】
かかる計測プログラムは、コンピュータに所定の機能を実行させるためのもので、所定の機能は、計測機能を備え、計測機能によって、対象情報と教師情報とに基づいて対象物Sの反射特性が計測され、対象情報は、入射光L_iの光源位置と反射光L_oの光検出位置と対象物Sにおける計測箇所Spとの座標位置関係並びに入射光L_i及び反射光L_oに関する数値を含む情報で、入射光L_iは、計測箇所Spに照射された光で、反射光L_oは、入射光L_iが計測箇所Spに照射され且つその後当該計測箇所Spにおいて反射した光であり、教師情報は、反射特性の既存計測結果に関する情報であり、対象情報に含まれる座標位置関係の組合せ数は、1〜15である。
【0067】
さらに、計測装置2や計測システム1を用いることで、所望の対象物の反射特性を従来よりも高速、かつ高精度に計測可能な計測方法を実施することもできる。
【0068】
かかる計測方法は、光照射ステップS1と、光検出ステップS2と、計測ステップS3とを備え、光照射ステップS1では、対象物Sにおける計測箇所Spに入射光L_iを照射し、光検出ステップS2では、入射光L_iが計測箇所Spに照射され且つその後当該計測箇所Spにおいて反射した反射光L_oを検出し、計測ステップS3では、入射光L_iの光源位置と反射光L_oの検出位置と計測箇所Spとの座標位置関係、入射光L_i及び反射光L_oに関する数値、並びに反射特性の既存計測結果に関する情報に基づいて、対象物Sの反射特性を計測し、座標位置関係の組合せ数は、1〜15である。
【0069】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。