知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-12
(45)【発行日】2025-02-20
(54)【発明の名称】質感取得システム、質感取得装置および質感取得プログラム
(51)【国際特許分類】
G06T 17/00 20060101AFI20250213BHJP
G01B 11/30 20060101ALI20250213BHJP
G01B 11/24 20060101ALI20250213BHJP
G01N 21/17 20060101ALI20250213BHJP
H04N 23/45 20230101ALI20250213BHJP
H04N 23/56 20230101ALI20250213BHJP
【ＦＩ】
G06T17/00
G01B11/30 102
G01B11/24 A
G01N21/17 Z
H04N23/45
H04N23/56
【請求項の数】
5
(21)【出願番号】P 2020168205
(22)【出願日】2020-10-05
(65)【公開番号】P2022060641
(43)【公開日】2022-04-15
【審査請求日】2023-09-04
(73)【特許権者】
【識別番号】000004352
【氏名又は名称】日本放送協会
(74)【代理人】
【識別番号】110001807
【氏名又は名称】弁理士法人磯野国際特許商標事務所
(72)【発明者】
【氏名】三ツ峰 秀樹
(72)【発明者】
【氏名】洗井 淳
(72)【発明者】
【氏名】三須 俊枝
(72)【発明者】
【氏名】盛岡 寛史
(72)【発明者】
【氏名】荒井 敦志
(72)【発明者】
【氏名】杉之下 太一
【審査官】鈴木 肇
(56)【参考文献】
【文献】特開２０１２－１７３９１６（ＪＰ，Ａ）
【文献】特開２０１２－１４１７５８（ＪＰ，Ａ）
【文献】国際公開第２０１２／０３９０８６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １７／００ － １７／３０
Ｇ０１Ｂ １１／３０
Ｇ０１Ｂ １１／２４ － １１／２５５
Ｇ０１Ｎ ２１／１７ － ２１／６１
Ｈ０４Ｎ ２３／００ － ２３／９５９
(57)【特許請求の範囲】
【請求項1】
被写体を取り囲んで配置される、奥行き計測装置、偏光照明装置および偏光撮影装置を有する撮影ブースと、前記奥行き計測装置、前記偏光照明装置および前記偏光撮影装置に通信接続され、前記被写体表面の凹凸の状態で示される質感を取得する質感取得装置と、を備える質感取得システムであって、
前記質感取得装置は、
前記偏光照明装置の照明位置、前記奥行き計測装置および前記偏光撮影装置のカメラ位置およびカメラ姿勢を含む初期設定情報が記憶される記憶部と、
前記奥行き計測装置が計測した奥行きの情報を受信することにより、前記被写体の形状情報を取得する被写体形状取得部と、
複数色の偏向光を前記偏光照明装置が前記被写体に照射する制御を行う計測制御部と、
前記複数色の偏向光が照射された前記被写体からの反射光を前記偏光撮影装置が撮影した情報を取得し、前記被写体表面の凹凸により生じた前記偏向光の色ベクトルの分散から被写体表面の粗さを算出する凹凸状態算出部と、
前記反射光を拡散反射成分と鏡面反射成分とに分離し、前記拡散反射成分、前記被写体への入射光量、前記被写体形状取得部が取得した前記被写体の形状情報および前記照明位置を用いて、前記被写体表面の拡散反射係数を算出するともに、前記鏡面反射成分、前記被写体への入射光量、前記凹凸状態算出部が算出した前記被写体表面の粗さおよび前記カメラ位置を用いて、前記被写体表面の鏡面反射係数を算出する反射係数算出部と、
前記計測制御部を介して複数の異なる光源方向から前記複数色の偏向光を前記被写体に照射させ、前記偏光撮影装置が撮影した被写体表面の拡散反射成分についての輝度に基づき法線を推定することにより前記被写体表面の形状情報を被写体表面形状情報として取得する表面形状取得部と、
前記被写体表面の粗さ、前記拡散反射係数、前記鏡面反射係数、および、前記被写体表面形状情報を含む情報を、前記被写体表面の粗さ、前記拡散反射係数、前記鏡面反射係数、および、前記被写体表面形状情報を含む情報を算出するために前記偏光撮影装置が撮影した時刻に合わせて３次元モデル詳細情報として出力する３次元モデル詳細情報出力部と、
を備えることを特徴とする質感取得システム。
【請求項2】
撮影ブースにおいて被写体を取り囲んで配置される、奥行き計測装置、偏光照明装置および偏光撮影装置に通信接続され、前記被写体表面の凹凸の状態で示される質感を取得する質感取得装置であって、前記偏光照明装置の照明位置、前記奥行き計測装置および前記偏光撮影装置のカメラ位置およびカメラ姿勢を含む初期設定情報が記憶される記憶部と、
前記奥行き計測装置が計測した奥行きの情報を受信することにより、前記被写体の形状情報を取得する被写体形状取得部と、
複数色の偏向光を前記偏光照明装置が前記被写体に照射する制御を行う計測制御部と、
前記複数色の偏向光が照射された前記被写体からの反射光を前記偏光撮影装置が撮影した情報を取得し、前記被写体表面の凹凸により生じた前記偏向光の色ベクトルの分散から被写体表面の粗さを算出する凹凸状態算出部と、
前記反射光を拡散反射成分と鏡面反射成分とに分離し、前記拡散反射成分、前記被写体への入射光量、前記被写体形状取得部が取得した前記被写体の形状情報および前記照明位置を用いて、前記被写体表面の拡散反射係数を算出するともに、前記鏡面反射成分、前記被写体への入射光量、前記凹凸状態算出部が算出した前記被写体表面の粗さおよび前記カメラ位置を用いて、前記被写体表面の鏡面反射係数を算出する反射係数算出部と、
前記計測制御部を介して複数の異なる光源方向から前記複数色の偏向光を前記被写体に照射させ、前記偏光撮影装置が撮影した被写体表面の拡散反射成分についての輝度に基づき法線を推定することにより前記被写体表面の形状情報を被写体表面形状情報として取得する表面形状取得部と、
前記被写体表面の粗さ、前記拡散反射係数、前記鏡面反射係数、および、前記被写体表面形状情報を含む情報を、前記被写体表面の粗さ、前記拡散反射係数、前記鏡面反射係数、および、前記被写体表面形状情報を含む情報を算出するために前記偏光撮影装置が撮影した時刻に合わせて３次元モデル詳細情報として出力する３次元モデル詳細情報出力部と、
を備えることを特徴とする質感取得装置。
【請求項3】
前記凹凸状態算出部は、前記偏向光の色ベクトルに対し主成分分析を行い、算出した第１主成分寄与率と第３主成分寄与率とを用いて前記被写体表面の粗さの算出すること
を特徴とする請求項２に記載の質感取得装置。
【請求項4】
前記計測制御部は、前記偏光照明装置が前記被写体に照射する前記複数色の偏向光について、光源を面光源とし、色、偏光方向およびスケールをフレーム単位で変化させて、前記被写体に照射させること
を特徴とする請求項２または請求項３に記載の質感取得装置。
【請求項5】
コンピュータを、請求項２乃至請求項４のいずれか１項に記載の質感取得装置として機能させるための質感取得プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンピュータグラフィックス（ＣＧ）において扱う素材データである被写体情報として、形状や質感などを取得する、質感取得システム、質感取得装置および質感取得プログラムに関する。
【背景技術】
【0002】
近年のＡＲ（Augmented Reality）／ＶＲ（Virtual Reality）技術の普及により、実世界の被写体をＣＧ技術などで扱える被写体情報（以下、「３次元モデル」と称する場合がある。）に変換するニーズが高まっている。これは一般的にヴォリュメトリックキャプチャと呼ばれる技術で、被写体を取り囲むように配置されたカメラや奥行き計測装置により被写体全体の表面模様や形状を取得する（非特許文献１，２参照）。
【0003】
３次元モデルをＣＧ技術において希望する照明条件で描画する場合、従来のヴォリュメトリックキャプチャでは、フラットな照明環境下に被写体を置くことで、被写体表面に一様に照明を当て、陰影なく撮影している。これは被写体の反射率を直接計測できないことから、疑似的に照明が方向性を有しないような照明効果として撮影することにより、被写体の各部位への入射光量を正規化し、得られる撮影映像上の輝度を疑似的に拡散反射係数のように扱う。これにより、レンダリング時にシェーディング（陰影）を付与することで仮想空間における照明条件で見込まれるような３次元モデルの見え方を表現することができる。
【先行技術文献】
【非特許文献】
【0004】
【文献】O. Schreer, et al., “Capture and 3D Video Processing of Volumetric Video,”2019 IEEE International Conference on Image Processing (ICIP), Taipei, Taiwan, 2019, pp. 4310-4314.
【文献】O. Schreer, et al.,“ADVANCED VOLUMETRIC CAPTURE AND PROCESSING,” ［online］，IBC2018，［令和2年7月20日検索］，インターネット＜ＵＲＬ：https://www.ibc.org/download?ac=6559＞
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のヴォリュメトリックキャプチャ技術を用いた手法では、反射光の拡散反射成分を疑似的に求めている。また、鏡面反射成分については、扱われていないか、手動により被写体全体で一様あるいはエリアごとに係数（鏡面反射係数）を設定しており、非剛体が対象である場合には、エリアごとに手動で係数を付与するのは困難である。このことから、特にライブ映像に対応させることは難しかった。
また、被写体表面を微視的に観察すると細かな凹凸の有無などで、鏡面反射光の振る舞いが異なる。この被写体表面の凹凸の有無は、被写体を見た際のつやや手触り感などの質感について、見た目の印象に大きく影響を与える要素である。そのため、この質感を出すためには、エリア単位以上に細かい単位で表面反射の振る舞いを記述する必要があるが、現状では表現できない。
また、被写体表面を微視的に観察すると細かな凹凸の有無などで、鏡面反射光の振る舞いが異なる。この被写体表面の凹凸の有無は、被写体を見た際のつやや手触り感などの質感について、見た目の印象に大きく影響を与える要素である。そのため、この質感を出すためには、エリア単位以上に細かい単位で表面反射の振る舞いを記述する必要があるが、現状では表現できない。
【0006】
本発明は、以上のような点を鑑みてなされたものであり、被写体の質感を表現するための被写体表面の細かな凹凸の状態を、３次元モデルとしてリアルタイムに取得することができる、質感取得システム、質感取得装置および質感取得プログラムを提供することを課題とする。
【課題を解決するための手段】
【0007】
前記課題を解決するために、本発明の質感取得システムは、被写体を取り囲んで配置される、奥行き計測装置、偏光照明装置および偏光撮影装置を有する撮影ブースと、奥行き計測装置、偏光照明装置および偏光撮影装置に通信接続され、被写体表面の凹凸の状態で示される質感を取得する質感取得装置と、を備える構成とした。
また、質感取得装置は、記憶部と、被写体形状取得部と、凹凸状態算出部と、反射係数算出部と、表面形状取得部と、３次元モデル詳細情報出力部とを備える構成とした。
また、質感取得装置は、記憶部と、被写体形状取得部と、凹凸状態算出部と、反射係数算出部と、表面形状取得部と、３次元モデル詳細情報出力部とを備える構成とした。
【0008】
かかる構成によれば、質感取得装置は、被写体形状取得部によって、奥行き計測装置が計測した奥行きの情報を受信することにより、被写体の形状情報を取得し、計測制御部によって、複数色の偏向光を偏光照明装置が被写体に照射する制御を行い、凹凸状態算出部が、複数色の偏向光が照射された被写体からの反射光を偏光撮影装置が撮影した情報を取得し、被写体表面の凹凸により生じた偏向光の色ベクトルの分散から被写体表面の粗さを算出することができる。
これにより、質感取得システムの質感取得装置は、被写体表面の凹凸により生じた偏向光の色ベクトルの分散に基づき、被写体表面の粗さを算出することが可能となる。
これにより、質感取得システムの質感取得装置は、被写体表面の凹凸により生じた偏向光の色ベクトルの分散に基づき、被写体表面の粗さを算出することが可能となる。
【0009】
また、質感取得装置は、反射係数算出部によって、反射光を拡散反射成分と鏡面反射成分とに分離し、拡散反射成分、被写体への入射光量、被写体形状取得部が取得した被写体の形状情報および照明位置を用いて、被写体表面の拡散反射係数を算出するともに、鏡面反射成分、被写体への入射光量、凹凸状態算出部が算出した被写体表面の粗さおよびカメラ位置を用いて、被写体表面の鏡面反射係数を算出することができる。
これにより、質感取得システムの質感取得装置は、反射光を拡散反射成分と鏡面反射成分に分離した上で、被写体表面の拡散反射係数および鏡面反射係数を算出することができる。
これにより、質感取得システムの質感取得装置は、反射光を拡散反射成分と鏡面反射成分に分離した上で、被写体表面の拡散反射係数および鏡面反射係数を算出することができる。
【0010】
また、質感取得装置は、表面形状取得部によって、計測制御部を介して複数の異なる光源方向から複数色の偏向光を被写体に照射させ、偏光撮影装置が撮影した被写体表面の拡散反射成分についての輝度に基づき法線を推定することにより被写体表面の形状情報を被写体表面形状情報として取得することができる。
これにより、質感取得システムの質感取得装置は、鏡面反射成分を除いた拡散反射成分のみにより被写体表面の法線を推定できるため、被写体表面の詳細な形状情報をより正確に取得することができる。
これにより、質感取得システムの質感取得装置は、鏡面反射成分を除いた拡散反射成分のみにより被写体表面の法線を推定できるため、被写体表面の詳細な形状情報をより正確に取得することができる。
【0011】
また、質感取得装置は、３次元モデル詳細情報出力部によって、被写体表面の粗さ、拡散反射係数、鏡面反射係数、および、被写体表面形状情報を含む情報を、その被写体表面の粗さ、拡散反射係数、鏡面反射係数、および、被写体表面形状情報を含む情報を算出するために偏光撮影装置が撮影した時刻に合わせて３次元モデル詳細情報として出力することができる。
これにより、質感取得システムの質感取得装置は、３次元モデルのより詳細な情報を、例えばＣＧ描画装置等にリアルタイムに出力することができる。
これにより、質感取得システムの質感取得装置は、３次元モデルのより詳細な情報を、例えばＣＧ描画装置等にリアルタイムに出力することができる。
【0012】
このように、本発明の質感取得システムによれば、被写体の質感を表現するための被写体表面の細かな凹凸の状態について、従来のヴォリュメトリックキャプチャ技術を用いた手法では取得できない、正確な被写体表面の拡散反射係数や鏡面反射係数、被写体表面の凹凸の状態（粗さ）、および、被写体表面の詳細な形状情報（被写体表面形状情報）をリアルタイムに取得することが可能となる。
【発明の効果】
【0013】
本発明によれば、被写体の質感を表現するための被写体表面の細かな凹凸の状態を、３次元モデルとしてリアルタイムに取得する、質感取得システム、質感取得装置および質感取得プログラムを提供することができる。
【図面の簡単な説明】
【0014】
【図1】本実施形態に係る質感取得装置を含む質感取得システムの全体構成を示す機能ブロック図である。
【図2】本実施形態における反射光の拡散反射成分と鏡面反射成分の分離に関する説明図である。
【図3】本実施形態における撮影ブースを、正６面体で構成する例を示す説明図である。
【図4】本実施形態に係る偏光撮影装置のカメラ撮像板のＲＧＢベイヤ配列を示す説明図である。
【図5】被写体表面の凹凸の状態を示す粗さと、鏡面反射成分のぼける度合いとの関係を示す説明図である。
【図6】本実施形態に係る偏光照明装置において、コード化照明を被写体に照射する例を示す説明図である。
【図7】被写体表面の凹凸の状態を示す粗さと、コード化照明によるＲＧＢの色ベクトルの分散との関係を示す説明図である。
【図8】ＲＧＢ空間上における鏡面反射光の色ベクトルの分布を示す説明図である。
【図9】主成分分析に基づき算出した粗さσを、＜Ａ＞滑らかな表面の被写体、＜Ｂ＞粗さ（小）の表面の被写体、＜Ｃ＞粗さ（大）の表面の被写体、のそれぞれについて算出したグラフである。
【図10】本実施形態における反射光の拡散反射成分と鏡面反射成分の分離に関する説明図である。
【図11】ランバートの余弦則に基づく、反射モデルの拡散反射成分に関する説明図である。
【図12】Phong反射モデルに基づく鏡面反射に関する説明図である。
【図13】本実施形態に係るコード化照明の動的パターンの例を示す説明図である。
【図14】本実施形態に係るコード化照明の動的パターンにおける他の例を示す説明図である。
【図15】本実施形態における撮影ブースを、ジオディシックドーム形状で構成する例を示す説明図である。
【図16】本実施形態における撮影ブースを、１２面体で構成する例を示す説明図である。
【図17】本実施形態に係る質感取得装置の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0015】
以下、本発明を実施するための形態（以下、「実施形態」と称する。）について図面を参照して説明する。
＜質感取得システムの構成＞
まず、図１を参照して、質感取得装置１を含む質感取得システム１０００の概要を先に説明し、その後各構成について説明する。
＜質感取得システムの構成＞
まず、図１を参照して、質感取得装置１を含む質感取得システム１０００の概要を先に説明し、その後各構成について説明する。
【0016】
質感取得システム１０００は、図１に示すように、被写体を撮影する撮影ブースＢＨに配置される、奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０と、その奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０に通信接続される質感取得装置１とを備えている。
【0017】
本実施形態に係る質感取得装置１は、ＡＲ／ＶＲに利用する被写体情報（３次元モデル）の計測や、３次元テレビにおける被写体情報のキャプチャ手法として有用なものであり、被写体の質感を取得する処理（以下、「質感取得処理」と称する。）として、（１）拡散反射成分・鏡面反射成分の分離処理、（２）被写体表面の凹凸状態の計測処理、（３）照度差ステレオによる被写体表面の詳細な形状情報の算出処理、を実現する。
【0018】
（１）拡散反射成分・鏡面反射成分の分離処理において、質感取得装置１は、図２で示すように、偏光照明装置３０から偏光照明（例えば、赤照明、緑照明、青照明）による偏向光（照明光）を被写体Ｓに照射する。そして、照射された被写体Ｓの反射光を、例えば、偏光方向０度、４５度、９０度、１３５度それそれで選択的に透過する偏光撮影装置４０で撮影する（後記する図４，図１０参照）。撮影画像Ｐは、光源が映り込んだようなハイライトとして映る鏡面反射成分と、被写体内部に侵入した入射光が物体の色成分を吸収して拡散する拡散反射成分とを合わせた画像となる。質感取得装置１では、偏向光の被写体表面での反射挙動の違いを利用し、拡散反射成分Ｉdと鏡面反射成分Ｉsを分離することにより、拡散反射係数および鏡面反射係数を取得する（詳細は後記）。
【0019】
（２）被写体表面の凹凸状態の計測処理では、被写体に偏光照明（例えば、ＲＧＢ（赤、緑、青）の３色）を照射する。鏡面反射の場合において、例えば誘電体の被写体表面では、入射角＝反射角が成立するものしか撮影されないが、被写体表面に凹凸がある場合には、その凹凸により反射光の光ベクトルが広がり、その結果凹凸が混色として観測される。本実施形態では、被写体の凹凸の状態を示す粗さσを、注目する画素近傍の色ベクトルの分散状態から主成分分析の手法を用いて推定する（詳細は後記）。
【0020】
（３）照度差ステレオによる被写体表面の詳細な形状情報の算出処理では、被写体のサイズや計測する表面の凹凸のスケールに対して、撮影ブースＢＨの照明を動的に変化させる。照度差ステレオは、複数の異なる光源方向から撮影した被写体表面の輝度に基づき法線を推定することにより面の傾きを求め、その被写体の形状を計測する手法である。
質感取得装置１は、（１）拡散反射成分・鏡面反射成分の分離処理において算出した、拡散反射成分Ｉdおよび拡散反射係数を用いて、撮影ブースＢＨの照明を動的に変化させて撮影することにより、従来の手法に比べ、被写体表面のより詳細な形状を取得することができる。
質感取得装置１は、（１）拡散反射成分・鏡面反射成分の分離処理において算出した、拡散反射成分Ｉdおよび拡散反射係数を用いて、撮影ブースＢＨの照明を動的に変化させて撮影することにより、従来の手法に比べ、被写体表面のより詳細な形状を取得することができる。
【0021】
このように、質感取得装置１は、従来のヴォリュメトリックキャプチャ技術を用いた手法では取得できない、正確な被写体表面での拡散反射係数や鏡面反射係数、被写体表面の凹凸の状態（粗さσ）、および、照度差ステレオに基づく被写体表面の詳細な形状情報を取得することが可能となる。そして、質感取得装置１は、このようにして取得した３次元モデルの詳細な情報（後記する「３次元モデル詳細情報」）を、図示を省略したＣＧ描画装置などに出力する。
以下、本実施形態に係る質感取得装置１を含む質感取得システム１０００の詳細について説明する。
以下、本実施形態に係る質感取得装置１を含む質感取得システム１０００の詳細について説明する。
【0022】
＜質感取得装置の構成＞
本実施形態に係る質感取得装置１は、一般的なコンピュータにより構成され、図１に示すように、制御部１０と、入出力部１１と、記憶部１２とを備える。
入出力部１１は、情報の送受信を行うための通信インタフェース、および、キーボード等の入力装置や、モニタ等の出力装置との間で情報の送受信を行うための入出力インタフェースからなる。
本実施形態に係る質感取得装置１は、一般的なコンピュータにより構成され、図１に示すように、制御部１０と、入出力部１１と、記憶部１２とを備える。
入出力部１１は、情報の送受信を行うための通信インタフェース、および、キーボード等の入力装置や、モニタ等の出力装置との間で情報の送受信を行うための入出力インタフェースからなる。
【0023】
記憶部１２は、フラッシュメモリやハードディスク、ＲＡＭ（Random Access Memory）等により構成される。この記憶部１２には、質感取得装置１による質感取得処理の初期設定情報２００（詳細は後記）が格納される。
また、記憶部１２には、制御部１０の各機能を実行させるためのプログラム（質感取得プログラム）や、制御部１０の処理に必要な情報が一時的に記憶される。
また、記憶部１２には、制御部１０の各機能を実行させるためのプログラム（質感取得プログラム）や、制御部１０の処理に必要な情報が一時的に記憶される。
【0024】
制御部１０は、質感取得装置１の制御全般を司り、図１に示すように、初期設定情報取得部１１０、被写体形状取得部１２０、計測制御部１３０、質感計算部１４０、３次元モデル詳細情報出力部１５０を含んで構成される。
この制御部１０は、例えば、記憶部１２に記憶されたプログラム（質感取得プログラム）を、図示を省略したＣＰＵ（Central Processing Unit）が、ＲＡＭに展開し実行することにより実現される。
この制御部１０は、例えば、記憶部１２に記憶されたプログラム（質感取得プログラム）を、図示を省略したＣＰＵ（Central Processing Unit）が、ＲＡＭに展開し実行することにより実現される。
【0025】
初期設定情報取得部１１０は、質感取得装置１が質感取得処理を実行するに際し、撮影ブースＢＨに設置した各装置の照明位置、配光特性、カメラ姿勢を含む情報を、初期設定情報２００として予め取得し、記憶部１２に記憶しておく。この初期設定情報取得部１１０が初期設定情報２００を取得する一例を、図３を参照して説明する。
図３は、撮影ブースＢＨを、正６面体で構成する例を示している。奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０は、被写体を取り囲んで配置されている。図３に示すように、例えば、正６面体の頂点および辺の中央に、奥行き計測装置（奥行カメラ）２０および偏光撮影装置４０（例えば、偏光ＲＧＢカメラ）を配置し、撮影ブースＢＨの内部に置かれた被写体を撮影する。偏光照明装置３０は、正６面体の面ごとに配置される。ここでは、フラットパネルディスプレイ（面光源）で構成し、直線偏光フィルタを配置しているものとする。
なお、正６面体は一例であり、これに限定されない（後記する図１５，図１６参照）。
図３は、撮影ブースＢＨを、正６面体で構成する例を示している。奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０は、被写体を取り囲んで配置されている。図３に示すように、例えば、正６面体の頂点および辺の中央に、奥行き計測装置（奥行カメラ）２０および偏光撮影装置４０（例えば、偏光ＲＧＢカメラ）を配置し、撮影ブースＢＨの内部に置かれた被写体を撮影する。偏光照明装置３０は、正６面体の面ごとに配置される。ここでは、フラットパネルディスプレイ（面光源）で構成し、直線偏光フィルタを配置しているものとする。
なお、正６面体は一例であり、これに限定されない（後記する図１５，図１６参照）。
【0026】
初期設定情報取得部１１０は、偏光照明装置３０が配置される照明位置、空間上の各方向への光度等を測定した配光特性、奥行き計測装置２０および偏光撮影装置４０が配置されるカメラ位置（Ｘ，Ｙ，Ｚ座標）やカメラ姿勢（ロール・ピッチ・ヨー）の情報を、初期設定情報２００として外部装置等から取得し、記憶部１２に記憶する。
なお、撮影ブースＢＨの１箇所に配置される奥行き計測装置２０と偏光照明装置３０との組は、同じカメラ位置であり同じカメラ姿勢であるものとする。
なお、撮影ブースＢＨの１箇所に配置される奥行き計測装置２０と偏光照明装置３０との組は、同じカメラ位置であり同じカメラ姿勢であるものとする。
【0027】
図１に戻り、被写体形状取得部１２０は、計測制御部１３０を介して、撮影ブースＢＨに配置された各奥行き計測装置２０に計測を実行させる指示情報を送信する。そして、被写体形状取得部１２０は、各奥行き計測装置２０からの計測情報を受信することにより、（大まかな）被写体形状を取得する。
なお、奥行き計測装置２０は、例えば、カメラから近赤外線を発光し、物体に反射して戻ってくるまでの時間を測定することで奥行きを算出するＴｏＦ（Time of Flight）方式のカメラを用いることができる。
なお、奥行き計測装置２０は、例えば、カメラから近赤外線を発光し、物体に反射して戻ってくるまでの時間を測定することで奥行きを算出するＴｏＦ（Time of Flight）方式のカメラを用いることができる。
【0028】
計測制御部１３０は、撮影ブースＢＨに配置された、奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０に対し、被写体形状取得部１２０や質感計算部１４０と連携して、指示情報を送信することにより各装置を制御する。
具体的には、計測制御部１３０は、奥行き計測装置２０に対して指示情報を送信することにより被写体形状の計測を実行させる。
具体的には、計測制御部１３０は、奥行き計測装置２０に対して指示情報を送信することにより被写体形状の計測を実行させる。
【0029】
また、計測制御部１３０は、質感計算部１４０が質感取得処理を実行する際に、偏光照明装置３０に対し、後記する図１３や図１４で示すような所定パターンの照明状態になるように制御する指示情報を送信する。
図１３に示す所定のパターンは、被写体サイズや計測する表面の凹凸のスケールに対し、照明の状態を動的に変更するものであり、ここでは、ＲＧＢ（赤、緑、青）の照明を所定のサイズの区画ごとに分けてコード化して照明する。なお、各色の区画において斜線で示す線は、直線偏光フィルタの偏光方向を示しており、ここでは、偏光方向０度、４５度、９０度、１３５度の偏向光が照射されることを示している。
計測制御部１３０は、このコード化照明の動的パターンを制御する指示情報を偏光照明装置３０に送信する。
図１３に示す所定のパターンは、被写体サイズや計測する表面の凹凸のスケールに対し、照明の状態を動的に変更するものであり、ここでは、ＲＧＢ（赤、緑、青）の照明を所定のサイズの区画ごとに分けてコード化して照明する。なお、各色の区画において斜線で示す線は、直線偏光フィルタの偏光方向を示しており、ここでは、偏光方向０度、４５度、９０度、１３５度の偏向光が照射されることを示している。
計測制御部１３０は、このコード化照明の動的パターンを制御する指示情報を偏光照明装置３０に送信する。
【0030】
また、計測制御部１３０は、質感計算部１４０が質感取得処理を実行し、偏光照明装置３０による被写体への照明光の照射が行われることに対応して、偏光撮影装置４０に反射光の撮影を実行する指示情報を送信する。
【0031】
偏光撮影装置４０（ここでは、「偏光ＲＧＢカメラ」とする。）のカメラ撮像板は、例えば図４に示すように、ＲＧＢベイヤ配列となっている。さらに、ＲＧＢの各画素は、４分割の画素で構成され、それぞれ偏光方向０度、４５度、９０度、１３５度の成分を選択的に透過する画素となっている。なお、図４においては、斜線で示すハッチの方向が透過する偏向光成分の方向を示している。
【0032】
質感計算部１４０は、質感取得処理として、上記した、拡散反射成分・鏡面反射成分の分離処理、被写体表面の凹凸状態の計測処理、および、照度差ステレオによる被写体表面の詳細な形状情報の算出処理を実行する。この質感計算部１４０は、凹凸状態算出部１４１と、反射係数算出部１４２と、照度差ステレオ形状取得部（表面形状取得部）１４３とを備える。
【0033】
凹凸状態算出部１４１は、被写体表面の凹凸により生じた偏向光の色ベクトルの分散から、被写体表面の凹凸の状態を示す粗さσを算出する。
被写体の凹凸の状態は、凹凸の細かさなどの多様なパラメータで表現できるが、光源などの映り込むものの状態が被写体表面でぼやける度合いとして扱うことができる。
例えば、図５に示すように、符号５１で示すＲＧＢの照明を、球状の被写体５２に照射し、鏡面反射成分を撮影すると、符号５３で示すように、被写体５２の表面が粗いほど、ＲＧＢ各色の成分のぼける程度が大きくなる。つまり、色ベクトルの分散が大きいほど、被写体表面の凹凸の粗さが大きいことが示される。
被写体の凹凸の状態は、凹凸の細かさなどの多様なパラメータで表現できるが、光源などの映り込むものの状態が被写体表面でぼやける度合いとして扱うことができる。
例えば、図５に示すように、符号５１で示すＲＧＢの照明を、球状の被写体５２に照射し、鏡面反射成分を撮影すると、符号５３で示すように、被写体５２の表面が粗いほど、ＲＧＢ各色の成分のぼける程度が大きくなる。つまり、色ベクトルの分散が大きいほど、被写体表面の凹凸の粗さが大きいことが示される。
【0034】
本実施形態では、偏光照明を面光源とし、ＲＧＢの３色を用いて撮影ブース壁面でコード化し、これを照明（コード化照明γl）として被写体に照射する例として説明する（図６参照）。
図６では、ＲＧＢの３色をそれぞれ０度，４５度，９０度のように異なる偏向光（γl1，γl2，γl3）として、被写体に照射する例を示している。これは、単一方向では、入射角αがブリュースター角となり計測不可能になるケースを避けるためである。なお、偏向光は、０度，４５度，９０度に限定されるものではない。
また、本発明は、偏光照明をＲＧＢの３色に限定するものではなく、複数色の偏向光であればよく、５色分光や多色分光であっても適応可能である。
図６では、ＲＧＢの３色をそれぞれ０度，４５度，９０度のように異なる偏向光（γl1，γl2，γl3）として、被写体に照射する例を示している。これは、単一方向では、入射角αがブリュースター角となり計測不可能になるケースを避けるためである。なお、偏向光は、０度，４５度，９０度に限定されるものではない。
また、本発明は、偏光照明をＲＧＢの３色に限定するものではなく、複数色の偏向光であればよく、５色分光や多色分光であっても適応可能である。
【0035】
被写体表面のある部位に着目した場合、鏡のようにフラットな表面であるならば、入射角＝反射角が成立するものしかカメラ（偏光ＲＧＢカメラ４０ａ）には映り込まない（図７の符号７１参照）。しかしながら、被写体表面に凹凸がある場合には、その粗さの程度に応じて、着目した画素位置において、ＲＧＢが混色として観測される度合いが高まる、つまり、被写体表面の部位（微小面構造）の粗さの程度が大きい程、色ベクトルの分散が大きくなる（図７の符号７２，７３参照）。本実施形態では、この被写体表面の粗さと、色ベクトルの分散との関連性を用いて、色ベクトルの分散から被写体表面の粗さを推定する。
【0036】
具体的には、凹凸状態算出部１４１は、被写体の凹凸の状態を示す粗さσを、注目する画素近傍の色ベクトルの分散状態から主成分分析の手法を用いて推定する。
図８は、ＲＧＢ空間上における鏡面反射光の色ベクトルの分布を示す図である。注目した被写体の部位周辺の鏡面反射光を、偏光ＲＧＢカメラ４０ａ（図６参照）で撮影し、ＲＧＢ空間上に鏡面反射光をプロットしたものである。図８（ａ）は、被写体が滑らかな表面の場合の色ベクトルの分布を示す。図８（ｂ）は、被写体が粗い表面の場合の色ベクトルの分布を示す。
図８は、ＲＧＢ空間上における鏡面反射光の色ベクトルの分布を示す図である。注目した被写体の部位周辺の鏡面反射光を、偏光ＲＧＢカメラ４０ａ（図６参照）で撮影し、ＲＧＢ空間上に鏡面反射光をプロットしたものである。図８（ａ）は、被写体が滑らかな表面の場合の色ベクトルの分布を示す。図８（ｂ）は、被写体が粗い表面の場合の色ベクトルの分布を示す。
【0037】
そして、凹凸状態算出部１４１は、ＲＧＢ空間上の鏡面反射光色ベクトルに対し主成分分析を適用し、第１主成分寄与率と第３主成分寄与率を算出する。凹凸状態算出部１４１は、算出した第１主成分寄与率と第３主成分寄与率を用いて、図８に示す式（１）により、粗さσを算出する。
【0038】
ここで、式（１）によれば、第１主成分寄与率と第３主成分寄与率の値が近いほど、粗さσが「１」に近くなる。つまり、鏡面反射光の色ベクトルの分散が大きいほど、色ベクトルのばらつきが大きく、第１主成分寄与率と第３主成分寄与率の値の差が小さくなり、粗さσが「１」に近くなる。このようにして、粗さσの状態を、主成分分析により得られた第１主成分寄与率と第３主成分寄与率とを用いて定量化することができる。
【0039】
図９は、主成分分析に基づき算出した粗さσを、＜Ａ＞滑らかな表面の被写体、＜Ｂ＞粗さ（小）の表面の被写体、＜Ｃ＞粗さ（大）の表面の被写体、のそれぞれについて算出したグラフである。
このグラフにおいて、粗さσの平均値は、＜Ａ＞滑らかな表面の被写体において「0.55」、＜Ｂ＞粗さ（小）の表面の被写体において「0.82」、＜Ｃ＞粗さ（大）の表面の被写体において「0.91」となった。このように、粗さσは、値が小さいほど凹凸が少なく滑らかな表面であることを示し、値が大きいほど凹凸が大きく粗い状態の表面であることを示している。なお、ここでは、注目画素の周囲±３画素のサイズで主成分分析を行っている。
このグラフにおいて、粗さσの平均値は、＜Ａ＞滑らかな表面の被写体において「0.55」、＜Ｂ＞粗さ（小）の表面の被写体において「0.82」、＜Ｃ＞粗さ（大）の表面の被写体において「0.91」となった。このように、粗さσは、値が小さいほど凹凸が少なく滑らかな表面であることを示し、値が大きいほど凹凸が大きく粗い状態の表面であることを示している。なお、ここでは、注目画素の周囲±３画素のサイズで主成分分析を行っている。
【0040】
このように、凹凸状態算出部１４１は、主成分分析により算出した寄与率（第１主成分寄与率と第３主成分寄与率）を用いて、被写体表面の注目部分の粗さσを算出することができる。
【0041】
図１に戻り、反射係数算出部１４２は、偏向光の被写体表面での反射挙動の違いを利用して、反射光における拡散反射成分Ｉdと鏡面反射成分Ｉsの分離を行う。そして、反射係数算出部１４２は、取得した拡散反射成分Ｉdと、被写体への入射光量と、被写体の形状情報と、照明位置とを用いて、被写体の拡散反射係数Ｋdを算出する。また、反射係数算出部１４２は、取得した鏡面反射成分Ｉsと、被写体への入射光量と、粗さσと、カメラ位置とに基づき、鏡面反射係数Ｋsを算出する。以下、具体的に説明する。
【0042】
≪拡散反射成分と鏡面反射成分の分離処理≫
まず、図１０を参照して、反射光における拡散反射成分と鏡面反射成分の分離について説明する。
ここでは、偏光照明装置３０を面光源とし、計測制御部１３０の制御により、ＲＧＢの３色を用いて撮影ブース壁面でコード化し、照明として被写体に照射する例を示す。その際、偏光撮影装置４０（偏光ＲＧＢカメラ４０ａ）により被写体を撮影する。
この偏光ＲＧＢカメラ４０ａのカメラ撮像板は、図１０の符号１０１に示すように、ＲＧＢベイヤ配列となっており、さらに、ＲＧＢの各画素は、４分割の画素で構成され、それぞれ偏光方向０度，４５度，９０度，１３５度の成分を選択的に透過する画素となっている。なお、４分割の画素および偏光方向０度，４５度，９０度，１３５度は一例であり、これに限定されない。
まず、図１０を参照して、反射光における拡散反射成分と鏡面反射成分の分離について説明する。
ここでは、偏光照明装置３０を面光源とし、計測制御部１３０の制御により、ＲＧＢの３色を用いて撮影ブース壁面でコード化し、照明として被写体に照射する例を示す。その際、偏光撮影装置４０（偏光ＲＧＢカメラ４０ａ）により被写体を撮影する。
この偏光ＲＧＢカメラ４０ａのカメラ撮像板は、図１０の符号１０１に示すように、ＲＧＢベイヤ配列となっており、さらに、ＲＧＢの各画素は、４分割の画素で構成され、それぞれ偏光方向０度，４５度，９０度，１３５度の成分を選択的に透過する画素となっている。なお、４分割の画素および偏光方向０度，４５度，９０度，１３５度は一例であり、これに限定されない。
【0043】
観測される輝度Ｉは、二色性反射モデルに基づき、次の式（２）により表される。なお、二色性反射モデルは、反射光のスペクトルは拡散反射成分と鏡面反射成分のスペクトルの線形和で表すことができる、というものである。
【0044】
Ｉ＝Ｉd ＋ａ（１＋cos(２Θ－β)） ・・・式（２）
ここで、Ｉd は、拡散反射成分、ａ（１＋cos(２Θ－β)）が、鏡面反射成分Ｉsを表す。また、ａは、振幅を示し、Θは画素の偏光方向を示す。βは位相である。
ここで、Ｉd は、拡散反射成分、ａ（１＋cos(２Θ－β)）が、鏡面反射成分Ｉsを表す。また、ａは、振幅を示し、Θは画素の偏光方向を示す。βは位相である。
【0045】
偏光方向０度，４５度，９０度，１３５度の画素で得られた輝度値（それぞれ、Ｉ0 ，Ｉ45 ，Ｉ90，Ｉ135とする。）は、図１０に示すように、その平均値Ｉaveに対して正弦波で表される挙動を示すが、偏光角度の倍角で正弦波となる。そこで、三角関数の公式sin(θ－β)２＋cos（θ－β）２＝１（βは位相を考慮）を用いて、例えば、Ｉ0
２＋Ｉ45
２＝ａ（ａは三角関数の振幅）となる。これにより、振幅ａを算出することができる。また、観測された輝度Ｉの最小値Ｉminが拡散反射成分Ｉdであり、振幅ａの２倍である２ａが鏡面反射成分Ｉsとなる。
【0046】
次に、反射光の拡散反射成分においては、Lambert反射モデル（ランバートの余弦則に基づく拡散面の反射）を例にして、拡散反射係数を算出する処理を説明する。また、鏡面反射成分においては、Phong反射モデルを例にして、鏡面反射係数を算出する処理を説明する。
【0047】
≪拡散反射係数の算出≫
反射係数算出部１４２による、拡散反射係数Ｋdの算出処理について説明する。
反射係数算出部１４２は、反射光の強さが入射角の余弦に比例する、というランバートの余弦則に基づき、拡散反射係数Ｋdを算出する。
反射係数算出部１４２による、拡散反射係数Ｋdの算出処理について説明する。
反射係数算出部１４２は、反射光の強さが入射角の余弦に比例する、というランバートの余弦則に基づき、拡散反射係数Ｋdを算出する。
【0048】
図１１に示すように、被写体に対し角度θで入射した入射光量Ｉ0の拡散反射光は、ランバートの余弦則に基づき、入射光と面の法線Ｎとの間の角度θの余弦に正比例する。このときの拡散反射係数Ｋdは、上記した拡散反射成分と鏡面反射成分の分離処理において算出されたＩd、被写体の形状情報から求まる法線Ｎ、光源位置（照明位置）、入射光量Ｉ0が既知であれば、下記の式（３）により求めることができる。
Ｉd ＝ ＫdＩ0 cosθ ・・・式（３）
Ｉd ＝ ＫdＩ0 cosθ ・・・式（３）
【0049】
≪鏡面反射係数の算出≫
反射係数算出部１４２による、鏡面反射係数Ｋsの算出処理について説明する。
図１２は、Phong反射モデルに基づく鏡面反射についての説明図である。
ここで、入射光（入射光量Ｉ0）が正反射する方向に対し、観測（撮影）する視点がαずれている場合、鏡面反射成分であるその反射光の強度Ｉsは、下記の式（４）により求めることができる。なお、観測（撮影）する視点のずれαは、カメラ位置から求まる。
Ｉs ＝ ＫsＩ0 cosnα ・・・式（４）
反射係数算出部１４２による、鏡面反射係数Ｋsの算出処理について説明する。
図１２は、Phong反射モデルに基づく鏡面反射についての説明図である。
ここで、入射光（入射光量Ｉ0）が正反射する方向に対し、観測（撮影）する視点がαずれている場合、鏡面反射成分であるその反射光の強度Ｉsは、下記の式（４）により求めることができる。なお、観測（撮影）する視点のずれαは、カメラ位置から求まる。
Ｉs ＝ ＫsＩ0 cosnα ・・・式（４）
【0050】
式（４）における三角関数cosのべき数ｎは、被写体の表面の粗さに応じて決まる値である。
本実施形態においては、べき数ｎと、上記のようにして計算した粗さσとの関係を、以下の手法により紐づける。ここでは、注目する被写体の部位を単一視点から得た情報により、べき数ｎおよび鏡面反射係数Ｋsを求める〔手法１〕と、複数視点から得た情報により、べき数ｎおよび鏡面反射係数Ｋsを求める〔手法２〕について説明する。
本実施形態においては、べき数ｎと、上記のようにして計算した粗さσとの関係を、以下の手法により紐づける。ここでは、注目する被写体の部位を単一視点から得た情報により、べき数ｎおよび鏡面反射係数Ｋsを求める〔手法１〕と、複数視点から得た情報により、べき数ｎおよび鏡面反射係数Ｋsを求める〔手法２〕について説明する。
【0051】
〔手法１〕
反射係数算出部１４２は、被写体の部位を単一視点から得られた粗さσ（ここではσ1とする。）を用いて、事前に様々な表面の粗さの被写体を観測することにより、例えば、以下の手法１－１～手法１－３により、べき数ｎおよび鏡面反射係数Ｋsを求める。
反射係数算出部１４２は、被写体の部位を単一視点から得られた粗さσ（ここではσ1とする。）を用いて、事前に様々な表面の粗さの被写体を観測することにより、例えば、以下の手法１－１～手法１－３により、べき数ｎおよび鏡面反射係数Ｋsを求める。
【0052】
（手法１－１）反射係数算出部１４２は、事前に作成しておいたルックアップテーブルを用いて、べき数ｎを算出する。
事前に、α、σ1 、Ｉs 、Ｋs 、ｎをルックアップテーブルとして作成しておく。
そして、凹凸状態算出部１４１が算出した粗さσ1と、事前の観測により得られたα、鏡面反射成分Ｉsとから、ルックアップテーブルを参照し、最適なべき数ｎと鏡面反射係数Ｋsとを抽出する。
事前に、α、σ1 、Ｉs 、Ｋs 、ｎをルックアップテーブルとして作成しておく。
そして、凹凸状態算出部１４１が算出した粗さσ1と、事前の観測により得られたα、鏡面反射成分Ｉsとから、ルックアップテーブルを参照し、最適なべき数ｎと鏡面反射係数Ｋsとを抽出する。
【0053】
（手法１－２）３次元以上の高次方程式にパラメータフィッティングする。
上記した式（４）において、α、Ｉ0 、Ｉs が計測条件および計測結果から既知となる。この式に、例えば以下の式（５）で求めたｎを用いることで、鏡面反射係数Ｋsを算出する。
ｎ＝ａσ1 2＋ｂσ1＋ｃ ・・・式（５）
上記した式（４）において、α、Ｉ0 、Ｉs が計測条件および計測結果から既知となる。この式に、例えば以下の式（５）で求めたｎを用いることで、鏡面反射係数Ｋsを算出する。
ｎ＝ａσ1 2＋ｂσ1＋ｃ ・・・式（５）
【0054】
（手法１－３）学習済みニューラルネットワークを用いてＫs 、ｎを推定する。
入力を、α、σ1 、Ｉs とし、出力をＫs 、ｎとしたＤＮＮ（Deep Neural Network）を用いて、事前に計測した学習用データセットにより重みを学習させる。この学習用データセットには、様々な被写体、様々な光源位置（照明位置）、カメラの計測位置で取得されたデータを用いる。
反射係数算出部１４２が実際にＫs 、ｎを求める際には、学習済みのＤＮＮにα、σ1 、Ｉs を入力し、Ｋs 、ｎを出力させる。
入力を、α、σ1 、Ｉs とし、出力をＫs 、ｎとしたＤＮＮ（Deep Neural Network）を用いて、事前に計測した学習用データセットにより重みを学習させる。この学習用データセットには、様々な被写体、様々な光源位置（照明位置）、カメラの計測位置で取得されたデータを用いる。
反射係数算出部１４２が実際にＫs 、ｎを求める際には、学習済みのＤＮＮにα、σ1 、Ｉs を入力し、Ｋs 、ｎを出力させる。
【0055】
〔手法２〕
反射係数算出部１４２は、被写体の部位を複数の視点から得られた粗さσ（ここではσ1 ，σ2 とする。）を用いて、事前に様々な表面の粗さの被写体を観測することにより、例えば、以下の手法２－１，手法２－２により、べき数ｎおよび鏡面反射係数Ｋsを求める。
反射係数算出部１４２は、被写体の部位を複数の視点から得られた粗さσ（ここではσ1 ，σ2 とする。）を用いて、事前に様々な表面の粗さの被写体を観測することにより、例えば、以下の手法２－１，手法２－２により、べき数ｎおよび鏡面反射係数Ｋsを求める。
【0056】
（手法２－１）学習済みニューラルネットワークを用いてｎを推定する。
非線形回帰問題とし、入力をα1 、α2 、σ1 、σ2 、出力をｎとするＤＮＮを作成し、事前に計測した学習用データセットを用いて重みを学習させる。
反射係数算出部１４２が実際にｎを求める際には、学習済みのＤＮＮにα1 、α2 、σ1 、σ2 を入力し、ｎを出力させる。出力したｎを上記した式（４）に挿入して鏡面反射係数Ｋsを求める。
非線形回帰問題とし、入力をα1 、α2 、σ1 、σ2 、出力をｎとするＤＮＮを作成し、事前に計測した学習用データセットを用いて重みを学習させる。
反射係数算出部１４２が実際にｎを求める際には、学習済みのＤＮＮにα1 、α2 、σ1 、σ2 を入力し、ｎを出力させる。出力したｎを上記した式（４）に挿入して鏡面反射係数Ｋsを求める。
【0057】
（手法２－２）学習済みニューラルネットワークを用いてＫs 、ｎを推定する。
入力を、α1 、α2 、σ1 、σ2 、Ｉs1、Ｉs2 とし、出力をＫs 、ｎとしたＤＮＮに対し、事前に計測した学習用データセットを用いて重みを学習させる。この学習用データセットには、様々な被写体、様々な光源位置（照明位置）、カメラの計測位置で取得されたデータを用いる。
反射係数算出部１４２が実際にＫs 、ｎを求める際には、学習済みのＤＮＮにα1 、α2 、σ1 、σ2 、Ｉs1、Ｉs2 を入力し、Ｋs 、ｎを出力させる。
入力を、α1 、α2 、σ1 、σ2 、Ｉs1、Ｉs2 とし、出力をＫs 、ｎとしたＤＮＮに対し、事前に計測した学習用データセットを用いて重みを学習させる。この学習用データセットには、様々な被写体、様々な光源位置（照明位置）、カメラの計測位置で取得されたデータを用いる。
反射係数算出部１４２が実際にＫs 、ｎを求める際には、学習済みのＤＮＮにα1 、α2 、σ1 、σ2 、Ｉs1、Ｉs2 を入力し、Ｋs 、ｎを出力させる。
【0058】
このようにして、反射係数算出部１４２は、被写体の拡散反射係数Ｋdおよび鏡面反射係数Ｋsを算出することができる。
【0059】
≪照明の動的制御≫
ここで、質感計算部１４０が計測制御部１３０を介して実行する、偏光照明装置３０の動的制御について説明する。
本実施形態では、偏光照明装置３０からの偏光照明を面光源とし、ＲＧＢの３色を用いてコード化した照明（コード化照明）を被写体に照射する（図６，図１０参照）。その際に、計測制御部１３０は、被写体のサイズや計測する表面の凹凸のスケールに応じて、照明の状態を動的に変更する。これにより、照度差ステレオ形状取得部１４３において、詳細な被写体表面の形状が取得可能な照明条件を満たすようにする。
ここで、質感計算部１４０が計測制御部１３０を介して実行する、偏光照明装置３０の動的制御について説明する。
本実施形態では、偏光照明装置３０からの偏光照明を面光源とし、ＲＧＢの３色を用いてコード化した照明（コード化照明）を被写体に照射する（図６，図１０参照）。その際に、計測制御部１３０は、被写体のサイズや計測する表面の凹凸のスケールに応じて、照明の状態を動的に変更する。これにより、照度差ステレオ形状取得部１４３において、詳細な被写体表面の形状が取得可能な照明条件を満たすようにする。
【0060】
図１３を参照して、コード化照明の動的パターンの例を説明する。
計測制御部１３０は、図１３で示すように、ＲＧＢの３色について、色、偏光方向、および、スケールのパターンをフレーム単位で変化させて照明を被写体に照射する。
図１３に示す例では、全６フレームのうち、２フレームごとにスケールが、小・中・大と変更される。そして、その２フレームのうち、色と偏光方向との組み合わせが１フレームごとに変化する例を示している。なお、図１３の「黒」は、照明が発光していない状態を示している。
このようにすることにより、サイズが異なる被写体を対象にする場合や、被写体の部位によって表面の凹凸のスケールが異なる場合であっても、より正確な計測が可能となる。
なお、動的パターンは、図１３に示すような所定の規則性をもってパターンを変更する場合に限られない。異方性反射がない状態であれば、ＲＧＢの３色や、偏光方向、スケールについてランダムにコードを変更することも可能である。
計測制御部１３０は、図１３で示すように、ＲＧＢの３色について、色、偏光方向、および、スケールのパターンをフレーム単位で変化させて照明を被写体に照射する。
図１３に示す例では、全６フレームのうち、２フレームごとにスケールが、小・中・大と変更される。そして、その２フレームのうち、色と偏光方向との組み合わせが１フレームごとに変化する例を示している。なお、図１３の「黒」は、照明が発光していない状態を示している。
このようにすることにより、サイズが異なる被写体を対象にする場合や、被写体の部位によって表面の凹凸のスケールが異なる場合であっても、より正確な計測が可能となる。
なお、動的パターンは、図１３に示すような所定の規則性をもってパターンを変更する場合に限られない。異方性反射がない状態であれば、ＲＧＢの３色や、偏光方向、スケールについてランダムにコードを変更することも可能である。
【0061】
図１４は、本実施形態に係るコード化照明の動的パターンにおける他の例を示す図である。
図１４で示す例では、正六面体の撮影ブースの面光源において、基準頂点に隣接する３面でＲＧＢの各色を照射し、６フレームで１シーケンスを構成する。また２フレーム単位で１セットとなっており、各色が次のフレームで正反対の面に移行する。なお、この１セットで同一色の光源方向を変えることにより、後記する照度差ステレオによる形状計測を行い、被写体表面の詳細な形状情報（後記する「被写体表面形状情報」）を取得する。
図１４で示す例では、正六面体の撮影ブースの面光源において、基準頂点に隣接する３面でＲＧＢの各色を照射し、６フレームで１シーケンスを構成する。また２フレーム単位で１セットとなっており、各色が次のフレームで正反対の面に移行する。なお、この１セットで同一色の光源方向を変えることにより、後記する照度差ステレオによる形状計測を行い、被写体表面の詳細な形状情報（後記する「被写体表面形状情報」）を取得する。
【0062】
なお、本実施形態に係る撮影ブースは、正６面体に限定するものではなく、例えば、図１５に示すようなジオディシックドーム形状や、図１６に示すような１２面体としてもよい。また、照明を、例えばフラットパネルディスプレイのような面光源で構成すれば、構成する一面を光源単位としてもよいし（図１５（ａ）参照）、照明として提示するパターンを調整することにより、面単位で発行色を制御する必要はなく、被写体表面で任意に各色を映りこませることも可能である（図１５（ｂ）参照）。
【0063】
図１に戻り、照度差ステレオ形状取得部（表面形状取得部）１４３は、上記のように、コード化照明を、被写体のサイズや表面の凹凸にスケールに応じて、動的に変化させて、偏光撮影装置（偏光ＲＧＢカメラ）４０が撮影した情報を取得する。
その際、照度差ステレオ形状取得部１４３は、複数の異なる光源方向から撮影した被写体表面の輝度に基づき法線を推定することにより面の傾きを求め、その被写体の詳細な形状情報を被写体表面形状情報として取得する。このとき、照度差ステレオ形状取得部１４３は、鏡面反射成分Ｉs を除いた拡散反射成分Ｉdのみを用いることにより、被写体表面の凹凸の状態をより正確に反映させて面の傾きを求めることができる。
その際、照度差ステレオ形状取得部１４３は、複数の異なる光源方向から撮影した被写体表面の輝度に基づき法線を推定することにより面の傾きを求め、その被写体の詳細な形状情報を被写体表面形状情報として取得する。このとき、照度差ステレオ形状取得部１４３は、鏡面反射成分Ｉs を除いた拡散反射成分Ｉdのみを用いることにより、被写体表面の凹凸の状態をより正確に反映させて面の傾きを求めることができる。
【0064】
３次元モデル詳細情報出力部１５０は、質感計算部１４０が計算した、拡散反射係数Ｋd 、鏡面反射係数Ｋs 、被写体表面の凹凸の状態を示す粗さσ、および、被写体表面の詳細な形状情報（被写体表面形状情報）を含む情報を、各情報を算出するために偏光撮影装置４０が撮影した時刻に合わせて３次元モデル詳細情報としてＣＧ描画装置等の外部装置へ出力する。この３次元モデル詳細情報を取得することにより、ＣＧ描画装置は、被写体表面の細かな凹凸の状態を質感として、リアルタイムに表現することが可能となる。
【0065】
＜質感取得装置の動作＞
次に、本実施形態に係る質感取得装置１が実行する動作について、図１７を参照して説明する。
次に、本実施形態に係る質感取得装置１が実行する動作について、図１７を参照して説明する。
【0066】
まず、質感取得装置１の初期設定情報取得部１１０は、撮影ブースＢＨに設置した、各装置（奥行き計測装置２０、偏光照明装置３０および偏光撮影装置４０）の、カメラ位置、カメラ姿勢、照明位置、配光特性等の情報を、初期設定情報２００として外部装置等から取得し、記憶部１２に記憶しておく（ステップＳ１）。
【0067】
次に、質感取得装置１の被写体形状取得部１２０は、計測制御部１３０を介して、撮影ブースＢＨに配置された奥行き計測装置２０に計測を実行させる指示情報を送信する。そして、被写体形状取得部１２０は、奥行き計測装置２０からの計測情報を受信することにより、（大まかな）被写体形状を取得する（ステップＳ２）。
【0068】
続いて、質感取得装置１の質感計算部１４０（凹凸状態算出部１４１）は、被写体表面の凹凸の状態を示す粗さσを算出する（ステップＳ３）。
ここでは、凹凸状態算出部１４１が、注目する画素近傍の色ベクトルの分散状態から主成分分析の手法を用いて粗さσを算出するものとする。
具体的には、凹凸状態算出部１４１は、図６に示すように、ＲＧＢの偏向光を計測制御部１３０を介して偏光照明装置３０に照射させ、偏光ＲＧＢカメラ４０ａに撮影させる。そして、凹凸状態算出部１４１は、ＲＧＢ空間上の鏡面反射光色ベクトルに対し主成分分析を適用し、第１主成分寄与率と第３主成分寄与率とを計算する。凹凸状態算出部１４１は、計算した第１主成分寄与率と第３主成分寄与率を用いて、図８の式（１）に基づき、粗さσを算出する。
ここでは、凹凸状態算出部１４１が、注目する画素近傍の色ベクトルの分散状態から主成分分析の手法を用いて粗さσを算出するものとする。
具体的には、凹凸状態算出部１４１は、図６に示すように、ＲＧＢの偏向光を計測制御部１３０を介して偏光照明装置３０に照射させ、偏光ＲＧＢカメラ４０ａに撮影させる。そして、凹凸状態算出部１４１は、ＲＧＢ空間上の鏡面反射光色ベクトルに対し主成分分析を適用し、第１主成分寄与率と第３主成分寄与率とを計算する。凹凸状態算出部１４１は、計算した第１主成分寄与率と第３主成分寄与率を用いて、図８の式（１）に基づき、粗さσを算出する。
【0069】
次に、質感取得装置１の質感計算部（反射係数算出部１４２）は、偏向光の被写体表面での反射光について、拡散反射成分Ｉdと鏡面反射成分Ｉsの分離を行う（ステップＳ４）。
具体的には、反射係数算出部１４２は、図１０に示すように、偏光方向０度，４５度，９０度，１３５度の画素で得られた輝度値から、正弦波を生成する。そして、反射係数算出部１４２は、その正弦波の輝度Ｉの最小値Ｉminを拡散反射成分Ｉdとし、振幅ａの２倍である２ａを鏡面反射成分Ｉsとする。
この際、反射係数算出部１４２は、計測制御部１３０を介し、偏光照明装置３０のコード化照明を、例えば、図１３に示すように、ＲＧＢの３色について、色、偏光方向、および、スケールのパターンをフレーム単位で動的に変化させて被写体に照射する。
具体的には、反射係数算出部１４２は、図１０に示すように、偏光方向０度，４５度，９０度，１３５度の画素で得られた輝度値から、正弦波を生成する。そして、反射係数算出部１４２は、その正弦波の輝度Ｉの最小値Ｉminを拡散反射成分Ｉdとし、振幅ａの２倍である２ａを鏡面反射成分Ｉsとする。
この際、反射係数算出部１４２は、計測制御部１３０を介し、偏光照明装置３０のコード化照明を、例えば、図１３に示すように、ＲＧＢの３色について、色、偏光方向、および、スケールのパターンをフレーム単位で動的に変化させて被写体に照射する。
【0070】
続いて、反射係数算出部１４２は、拡散反射係数Ｋdを算出する（ステップＳ５）。
ここで、反射係数算出部１４２は、観測した角度θ、入射光量Ｉ0、拡散反射成分Ｉdを、ランバートの余弦則に基づく上記した式（３）に挿入し、拡散反射係数Ｋdを算出する。
ここで、反射係数算出部１４２は、観測した角度θ、入射光量Ｉ0、拡散反射成分Ｉdを、ランバートの余弦則に基づく上記した式（３）に挿入し、拡散反射係数Ｋdを算出する。
【0071】
次に、反射係数算出部１４２は、鏡面反射係数Ｋsを算出する（ステップＳ６）。
反射係数算出部１４２は、Phong反射モデルに基づく上記した式（４）において、粗さσとべき数ｎとの関係を、上記した〔手法１〕（手法１－１～手法１－３）や〔手法２〕（手法２－１，手法２－２）を用いて算出する。
反射係数算出部１４２は、Phong反射モデルに基づく上記した式（４）において、粗さσとべき数ｎとの関係を、上記した〔手法１〕（手法１－１～手法１－３）や〔手法２〕（手法２－１，手法２－２）を用いて算出する。
【0072】
そして、照度差ステレオ形状取得部（表面形状取得部）１４３は、計測制御部１３０を介して、偏光照明装置３０のコード化照明を、例えば図１４に示すように、動的に変化させて、偏光撮影装置（偏光ＲＧＢカメラ）４０が撮影した情報を取得する。これにより、照度差ステレオ形状取得部１４３は、照度差ステレオの手法を用いて、複数の異なる光源方向から撮影した被写体表面の拡散反射成分についての輝度に基づき法線を推定することにより面の傾きを求め、その被写体表面の詳細な形状情報を被写体表面形状情報として取得する（ステップＳ７）。
【0073】
次に、３次元モデル詳細情報出力部１５０は、質感計算部１４０が生成した、拡散反射係数Ｋd 、鏡面反射係数Ｋs 、被写体表面の凹凸の状態を示す粗さσ、および、被写体表面の詳細な形状情報（被写体表面形状情報）を含む情報を、各情報を算出するために偏光撮影装置４０が撮影した時刻に合わせて３次元モデル詳細情報としてＣＧ描画装置等の外部装置へ出力し（ステップＳ８）、処理を終える。
【0074】
このようにすることにより、本実施形態に係る質感取得装置１を含む質感取得システム１０００は、被写体の質感を表現するための被写体表面の細かな凹凸の状態について、正確な被写体表面の拡散反射係数や鏡面反射係数、被写体表面の凹凸の状態（粗さσ）、および、照度差ステレオに基づく被写体表面の詳細な形状情報（被写体表面形状情報）をリアルタイムに取得することが可能となる。
【符号の説明】
【0075】
１ 質感取得装置
１０ 制御部
１１ 入出力部
１２ 記憶部
２０ 奥行き計測装置
３０ 偏光照明装置
４０ 偏光撮影装置
４０ａ 偏光ＲＧＢカメラ
１１０ 初期設定情報取得部
１２０ 被写体形状取得部
１３０ 計測制御部
１４０ 質感計算部
１４１ 凹凸状態算出部
１４２ 反射係数算出部
１４３ 照度差ステレオ形状取得部（表面形状取得部）
１５０ ３次元モデル詳細情報出力部
２００ 初期設定情報
１０００ 質感取得システム
ＢＨ 撮影ブース
１０ 制御部
１１ 入出力部
１２ 記憶部
２０ 奥行き計測装置
３０ 偏光照明装置
４０ 偏光撮影装置
４０ａ 偏光ＲＧＢカメラ
１１０ 初期設定情報取得部
１２０ 被写体形状取得部
１３０ 計測制御部
１４０ 質感計算部
１４１ 凹凸状態算出部
１４２ 反射係数算出部
１４３ 照度差ステレオ形状取得部（表面形状取得部）
１５０ ３次元モデル詳細情報出力部
２００ 初期設定情報
１０００ 質感取得システム
ＢＨ 撮影ブース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】