ホーム > 特許ランキング > 国立大学法人京都大学
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183954
(43)【公開日】2022-12-13
(54)【発明の名称】情報処理装置、情報処理方法および情報処理プログラム
(51)【国際特許分類】
G01B 11/26 20060101AFI20221206BHJP
G06T 17/00 20060101ALI20221206BHJP
【ＦＩ】
G01B11/26 H
G06T17/00
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021091519
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】504132272
【氏名又は名称】国立大学法人京都大学
(74)【代理人】
【識別番号】100134430
【弁理士】
【氏名又は名称】加藤 卓士
(72)【発明者】
【氏名】西野恒
(72)【発明者】
【氏名】延原章平
(72)【発明者】
【氏名】川原僚
(72)【発明者】
【氏名】深尾圭貴
【テーマコード（参考）】
2F065
5B080
【Ｆターム（参考）】
2F065AA06
2F065AA31
2F065DD03
2F065FF04
2F065FF05
2F065FF44
2F065JJ05
2F065JJ26
2F065QQ13
2F065QQ24
2F065QQ25
2F065QQ31
5B080AA19
5B080DA06
5B080FA02
5B080FA09
(57)【要約】
【課題】より高精度に、画素ごとの法線を算出すること。
【解決手段】より高精度に、画素ごとの法線を算出するため、
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得部と、
少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、を備えた情報処理装置が開示されている。
【選択図】 図１
【解決手段】より高精度に、画素ごとの法線を算出するため、
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得部と、
少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、を備えた情報処理装置が開示されている。
【選択図】 図１
【特許請求の範囲】
【請求項1】
撮像装置を用いて、異なる少なくとも２つの位置から物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得部と、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、
を備えた情報処理装置。
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、
を備えた情報処理装置。
【請求項2】
前記算出部は、
前記撮像装置による撮像画像中、対応すると仮定された２つの画素のそれぞれにおける偏光角、偏光度および輝度値から複数の仮の法線を求め、
前記仮の法線から算出した推定偏光度および推定偏光角と、前記対応すると仮定された前記偏光角および前記偏光度とを比較して確信度を算出し、前記複数の仮の法線から、確信度の高い法線を決定する請求項１に記載の情報処理装置。
前記撮像装置による撮像画像中、対応すると仮定された２つの画素のそれぞれにおける偏光角、偏光度および輝度値から複数の仮の法線を求め、
前記仮の法線から算出した推定偏光度および推定偏光角と、前記対応すると仮定された前記偏光角および前記偏光度とを比較して確信度を算出し、前記複数の仮の法線から、確信度の高い法線を決定する請求項１に記載の情報処理装置。
【請求項3】
前記算出部は、前記確信度を用いて、さらに各画素の深度を算出する請求項２に記載の情報処理装置。
【請求項4】
前記算出部は、前記対応すると仮定された２つの画素における偏光度および偏光角から各画素について反射率を求める請求項２または３に記載の情報処理装置。
【請求項5】
前記算出部は、隣接画素の法線の確信度に応じて注目画素の法線を補正する補正部をさらに備えた請求項２から４のいずれか１項に記載の情報処理装置。
【請求項6】
前記取得部は、さらに光源方向を取得し、前記算出部は、前記光源方向をさらに用いて前記確信度を算出する請求項２から４のいずれか１項に記載の情報処理装置。
【請求項7】
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
を含む情報処理方法。
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
を含む情報処理方法。
【請求項8】
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
をコンピュータに実行させる情報処理プログラム。
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【0002】
上記技術分野において、特許文献１、非特許文献２，３には、偏光画像に基づき画素ごとの法線情報を生成する技術が開示されている。また、非特許文献１には、一旦画素ごとに求めた深度を微分して法線を求める技術が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】ＷＯ２０１９／１１６７０８号公報
【非特許文献】
【0004】
【非特許文献1】William AP Smith, Ravi Ramamoorthi, and Silvia Tozza. Linear depth estimation from an uncalibrated, monocular polarisation image. In Proc. ECCV, pages 109-125, 2016.(Smith et al.)
【非特許文献2】Dizhong Zhu and William A. P. Smith. Depth from a polarisation + rgb stereo pair. In Proc. CVPR, 2019.(Zhu & Smith)
【非特許文献3】Michael Bleyer, Christoph Rhemann, and Carsten Rother. Patchmatch stereo-stereo matching with slanted support windows. In Proc. BMVC, 2011.(Patch Match)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記文献に記載の技術では、深度を算出するため、一方の撮像部のみから取得したデータを用いて法線を求めており、算出される法線は、非常に精度が低かった。
【0006】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明に係る装置は、
撮像装置を用いて、異なる少なくとも２つの位置から物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得部と、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、
を備えた情報処理装置である。
撮像装置を用いて、異なる少なくとも２つの位置から物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得部と、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出部と、
を備えた情報処理装置である。
【0008】
上記目的を達成するため、本発明に係る方法は、
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
を含む情報処理方法である。
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
を含む情報処理方法である。
【0009】
上記目的を達成するため、本発明に係るプログラムは、
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
をコンピュータに実行させる情報処理プログラムである。
異なる位置に設けられた少なくとも２台の撮像装置で物体を撮像することにより、前記物体の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する取得ステップと、
前記少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する算出ステップと、
をコンピュータに実行させる情報処理プログラムである。
【発明の効果】
【0010】
本発明によれば、より高精度に、画素ごとの法線を算出することができる。
【図面の簡単な説明】
【0011】
【図1】第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図2】第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図3】光の反射について説明する図である。
【図4】光の反射について説明する図である。
【図5】第２実施形態における算出部の処理の流れについて説明する図である。
【図6】第２実施形態の効果について説明する図である。
【図7】第２実施形態の効果について説明する図である。
【図8】第２実施形態の効果について説明する図である。
【図9】第２実施形態の効果について説明する図である。
【発明を実施するための形態】
【0012】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
【0013】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、物体１５０を撮像することにより、その物体１５０の形状を算出する装置である。
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、物体１５０を撮像することにより、その物体１５０の形状を算出する装置である。
【0014】
図１に示すように、情報処理装置１００は、取得部１０１と算出部１０２とを含む。取得部１０１は、撮像装置１１０、１２０を用いて、異なる少なくとも２つの位置から物体１５０を撮像することにより、物体１５０の表面を表す各画素について、少なくとも２セットの偏光角、偏光度および輝度値を取得する。なお、図１では、２台の撮像装置１１０、１２０がそれぞれ異なる偏光フィルタ１１１、１２１を用いて２箇所から物体１５０を撮像しているが、本発明はこれに限定されるものではない。１台の撮像装置を移動させて２つの位置から撮像させてもよい。また、偏光フィルタは、撮像装置に内蔵されてもよい。
【0015】
算出部１０２は、少なくとも２セットの偏光角、偏光度および輝度値を用いて、各画素の法線を算出する。
【0016】
以上の構成により、物体表面の各点について、非常に正確な法線を得ることができ、ひいては、より精密な３Ｄモデルを再現することができる。
【0017】
【0018】
情報処理システム２００は、偏光カメラ２１０、２２０、取得部２０１および算出部２０２および補正部２０３を備えている。
【0019】
偏光カメラ２１０、２２０は、ともに、一つの色に対応する１画素を２Ｘ２の４つのセンサからなるセンサアレイで撮像するものであり、４方向の偏光子を一つ一つのイメージセンサのフォトダイオード上に形成したセンサアレイを搭載している。言い換えれば、ＲＧＢのベイヤパタンをさらに４分割して（クワッドベイヤ）、４つの異なる角度のフィルタをＣＭＯＳ素子上に焼き付けたものである。一度の撮像で、偏光画像として、ＲＧＢのそれぞれの色について、４つのフィルタ角度に対応する輝度値が出力される。なおここでは４つのフィルタ角度（０、４５、９０、１３５度）に対応する輝度値を取得しているが、フィルタ角度が異なる３つの輝度値が取得できれば、サイン波を一意に特定できるため、各画素における対応する表面点の偏光角、偏光度、平均輝度値（単に輝度値と呼ぶ）からなる偏光状態を導くことができる。すなわち、角度１３５度のフィルタを用いた輝度観測値は、法線を求める際には使われていないが、最小二乗法でのノイズ除去のために用いる。
【0020】
つまり、取得部２０１は、異なる位置に設けられた２台の偏光カメラ２１０、２２０で物体１５０を撮像することにより、物体１５０の表面を表す各画素について、２セットの偏光角、偏光度および輝度値を、一度の撮像でリアルタイムに取得することができる。言い換えれば、偏光カメラ２１０、２２０のそれぞれにより、ＲＧＢのそれぞれの色について、各１セットの偏光角および偏光度および輝度値を取得する。取得部２０１は、さらに光源方向を取得する。なお、ここでは、２台の偏光カメラによる撮像について説明するが、本発明は、これに限定されるものではない。１台の偏光カメラを移動させて２つの位置から１つの物体を撮像させてもよい。法線方向を求めるにあたり、光源方向を情報として取得することは必須ではない。例えば、カメラに光源が一体化されているような、スマホを用いた撮像を行う場合、「光源方向」という情報の取得は必須ではない。
【0021】
これを算出部２０２に供給することにより、各画素について３次元の深度２０３と、法線ベクトル２０４と、反射率（アルベド値）２０５とが直接出力される。光源が偏光であろうが、非偏光であろうが、反射によって偏光度は変わる。例えば、鏡面反射すると、入射光は反射面に対して直角方向に偏光し始める。つまり、光源の種類に依存せずに、表面の法線方向に応じて偏光度は変化する。そこで、２眼で偏光度を捉え、さらに光源の方向を考慮することで、各画素（物体表面の各点）について、正確な法線方向を導く。法線方向を異なる色で表示すれば、細かな形状の凹凸を２次元表現することもできる。偏光カメラ２１０、２２０で動画撮影すれば、各フレームについてリアルタイムに偏光度を取得でき、法線を求めることができる。すなわち、動画に対応できる。
【0022】
具体的には、算出部２０２は、２台の偏光カメラ２１０、２２０による撮像画像中、対応すると仮定された２つの画素のそれぞれにおける偏光度および偏光角から、複数の仮の法線を求め、仮の法線それぞれから算出した推定偏光度および推定偏光角と、対応すると仮定された偏光角および偏光度とを比較して確信度（評価値、確からしさ、確度）を算出し、複数の仮の法線の中から、確信度の高い法線２０４を決定する。算出部２０２は、確信度を用いて、法線２０４と同時に、各画素の深度２０３を算出する。また、算出部２０２は、仮定された深度２０３において対応する画素における偏光度および偏光角から各画素について反射率２０５を求める。ここで確信度とは、観測された偏光情報と、光源方向依存のモデルから算出した偏光情報との差（コスト）の逆数である。
【0023】
補正部２２１は、算出部２０２が算出した各法線について、隣接画素の法線の確信度に応じて注目画素の法線を補正する。これにより、法線の確信度をより一層高めることができる。算出部２０２は、光源方向をさらに用いて確信度を算出する。
【0024】
（法線算出方法）
観察時間内（カメラの露光時間内）では、観測光は大きさの異なる直線偏光の集合体（楕円形に分布）である。直線偏光を、偏光フィルタを備えたカメラ２１０、２２０で観測すると、偏光された光の輝度値Ｉ(φc)は、以下の式（１）のように、偏光角φの関数で表される。
ここで、ここで、ImaxおよびIminは楕円の長軸および短軸に対応する光の最大輝度および最小輝度であり、Ｉは平均輝度(=Imax -Imin/2)である。スカラρ=(Imax-Imin)/(Imax+Imin)は直線偏光度(DoLP)と呼ばれ、光がどれだけ強く直線的に偏光しているか(楕円がどれだけ細長いか)を表している。また、角度φｃは偏光角（AoLP）と呼ばれ、偏光された光の輝度値Ｉ(φc)は、φcの正弦波となる。
観察時間内（カメラの露光時間内）では、観測光は大きさの異なる直線偏光の集合体（楕円形に分布）である。直線偏光を、偏光フィルタを備えたカメラ２１０、２２０で観測すると、偏光された光の輝度値Ｉ(φc)は、以下の式（１）のように、偏光角φの関数で表される。
【数1】
ここで、ここで、ImaxおよびIminは楕円の長軸および短軸に対応する光の最大輝度および最小輝度であり、Ｉは平均輝度(=Imax -Imin/2)である。スカラρ=(Imax-Imin)/(Imax+Imin)は直線偏光度(DoLP)と呼ばれ、光がどれだけ強く直線的に偏光しているか(楕円がどれだけ細長いか)を表している。また、角度φｃは偏光角（AoLP）と呼ばれ、偏光された光の輝度値Ｉ(φc)は、φcの正弦波となる。
【0025】
偏光フィルタを用いた観測から入射光の偏光状態を復元するためには、少なくとも３つの異なるフィルタ角度での観測が必要となる。例えばπ／４刻みの４つのフィルタ角度で観測された光の偏光状態は、以下の式（２）のようなストークスベクトルｓで表される。
偏光状態は、以下の式（３）に示すように、ストークスベクトルから抽出することができる。
入射光が界面に当たると、光の一部は完全な鏡面方向に反射されるが、入射方向、表面法線方向、視線方向によって反射方向が決まる。このような鏡面反射は、入射光の偏光状態にかかわらず、反射面に垂直な方向に光を直線的に偏光させる（s偏光）。一方、表面を透過した光は、反射（屈折）面に平行な方向に偏光し（pp偏光）、散乱により非偏光化し、空気中に再放出されると再びp偏光となる。
【数2】
偏光状態は、以下の式（３）に示すように、ストークスベクトルから抽出することができる。
【数3】
入射光が界面に当たると、光の一部は完全な鏡面方向に反射されるが、入射方向、表面法線方向、視線方向によって反射方向が決まる。このような鏡面反射は、入射光の偏光状態にかかわらず、反射面に垂直な方向に光を直線的に偏光させる（s偏光）。一方、表面を透過した光は、反射（屈折）面に平行な方向に偏光し（pp偏光）、散乱により非偏光化し、空気中に再放出されると再びp偏光となる。
【0026】
ここで、偏光角AoLPの分布は光源方向に応じて変化することが分かっている。光源方向が変わると、鏡面反射（表面の界面で反射する光）に寄与する表面法線が変化する。つまり、メゾスコピックな表面では、１画素領域内に様々な表面法線が存在し、それぞれ光源方向が変化すると観察される。結果として、このメゾスコピックな表面の粗さを考慮すれば、偏光度は光源の種類には依存せず、光源方向に依存する。つまり、通常のラジオメトリック表面反射モデルと同様に図３に示すような光沢反射の偏光特性（スペキュラローブ、specular lobe）を考慮すれば、法線方向を得ることができる。なお、鏡面スパイク反射（スペキュラスパイクspecular spike）は鏡面ローブ反射に含まれているので、ここでは総じて鏡面反射と呼ぶ。
【0027】
本実施形態では、偏光反射を、拡散反射と鏡面反射の線形結合としてモデル化する。メゾスコピック表面は、マイクロファセットミラー（非常に小さな鏡）の集合体としてモデル化することができ、その偏光反射は、ラジオメトリックなマイクロファセット双方向反射分布関数（ＢＲＤＦ）のモデルと考えることができる。つまり、光源方向が決まれば、入射光の方向に対して完全鏡面反射になるような面素が、一つの画素の中にいくつあるか（完全鏡面反射面素の割合）によって、偏光角および偏光度が変わっていると仮定できる。
【0028】
ＢＲＤＦモデルは、以下の式（４）のように、拡散反射ｆｄと鏡面反射ｆｓとを線形結合したものと表すことができる。
ここで、Ｉは、観測された輝度値、Ｌは光源輝度、σは表面粗さである。拡散反射ｆｄは、入射光の方向ｌ、表面の法線ｎ、および視線方向ｖｃの関数である。一方、鏡面反射ｆｓは、表面粗さσの関数である。
【数4】
ここで、Ｉは、観測された輝度値、Ｌは光源輝度、σは表面粗さである。拡散反射ｆｄは、入射光の方向ｌ、表面の法線ｎ、および視線方向ｖｃの関数である。一方、鏡面反射ｆｓは、表面粗さσの関数である。
【0029】
拡散反射ｆｄは、表面を透過した光が散乱して視点方向に戻ってきた光であり以下の式（５）のように表される。
ここで、Ｔはフレネル透過率、kdは拡散アルベド（入射光に対する拡散反射光の比）である。
【数5】
ここで、Ｔはフレネル透過率、kdは拡散アルベド（入射光に対する拡散反射光の比）である。
【0030】
スペキュラローブとスペキュラスパイクとをモデル化した鏡面反射については、Walterら（BruceWalter, Stephen R. Marschner, Hongsong Li, and Kenneth E. Torrance. Microfacet models for refraction through rough surfaces. In Proceedings of the 18th Eurographics Conference on Rendering Techniques, EGSR'07, pages 195-206. Eurographics Association, 2007.）によるマイクロファセットモデルを採用して以下の式（６）のように表すことができる。
ここで、Ｄ(n,h,σ)はマイクロファセットの表面法線分布、ｈは視線方向と入射光方向のハーフベクトル、Ｇ(l,n,vc,σ)は幾何学的減衰項である（図４）。
【数6】
【数7】
ここで、Ｄ(n,h,σ)はマイクロファセットの表面法線分布、ｈは視線方向と入射光方向のハーフベクトル、Ｇ(l,n,vc,σ)は幾何学的減衰項である（図４）。
【0031】
偏光フィルタ角度φcにおけるフレネル反射Ｒと透過率Ｔは次の式（８）のように表される。
ここで、添え字のsとpは反射面への垂直成分と平行成分を表し、ρrとρtはそれぞれ反射と透過の偏光度、φrとφtはそれぞれ反射と透過の偏光角を表している。簡略化のため、ハーフウェイベクトル、法線、光源と視線の方向への依存性は省略している。なお、フレネル透過率ＴＦ(l,n)はφcの関数ではない。
【数8】
【数9】
ここで、添え字のsとpは反射面への垂直成分と平行成分を表し、ρrとρtはそれぞれ反射と透過の偏光度、φrとφtはそれぞれ反射と透過の偏光角を表している。簡略化のため、ハーフウェイベクトル、法線、光源と視線の方向への依存性は省略している。なお、フレネル透過率ＴＦ(l,n)はφcの関数ではない。
【0032】
偏光角φcでの輝度値Ｉ（φｃ）は式（１０）のようにあらわすことができる。
式（１０）、（９）、（８）、（２）より、表面法線ｎ、拡散アルベドｋｄ、鏡面アルベドｋｓを持つ画素ごとの疑似ストークスベクトルｓを、その輝度値Ｉ（φｃ）から以下の式（１１）のように算出することができる。
図５は、算出部２０２の詳細な処理について説明する図であり、偏光（ポラリメトリック）コストボリューム構築、表面法線伝搬、および反復更新により、偏光観測を利用したコストボリューム構築とフィルタリング（法線、深度および反射率の推定）を行う様子を示している。
【数10】
式（１０）、（９）、（８）、（２）より、表面法線ｎ、拡散アルベドｋｄ、鏡面アルベドｋｓを持つ画素ごとの疑似ストークスベクトルｓを、その輝度値Ｉ（φｃ）から以下の式（１１）のように算出することができる。
【数11】
【数12】
【数13】
図５は、算出部２０２の詳細な処理について説明する図であり、偏光（ポラリメトリック）コストボリューム構築、表面法線伝搬、および反復更新により、偏光観測を利用したコストボリューム構築とフィルタリング（法線、深度および反射率の推定）を行う様子を示している。
【0033】
各画素について取得した偏光角AoLPと偏光度DoLPと輝度値とを含む一対（左右カメラ）の画像群を入力とする。その画像群のうち、２つのＲＧＢ画像を用いて、既知のＲＧＢコストボリューム５０３を構築する。さらに、偏光角AoLPと偏光度DoLPの画像を用いて、偏光コストボリューム５０４を構築し、与えられた視差に対して、表面法線の推定値と、２つの観測値から計算されたストークスベクトルとの差分を測定する。これらのコストボリュームをフィルタリングしながら、入力された偏光観測データから効果的にノイズを除去し、各ピクセルにおける表面法線、深度、拡散アルベドおよび鏡面アルベドの値５０２を推定する。この方法により、偏光ステレオペア５０１から表面法線５０２を直接復元することができる。
【0034】
（偏光コストボリューム）
ＲＧＢコストボリューム５０３は、２つのカメラで撮像した２枚の画像中、深度を仮定したときに対応する画素同士のＲＧＢの輝度値の差（色の違い）を、各画素についてコストとして評価することによって以下の式（１４）のように構築される。
ここで、dpはピクセルp = (u, v)における視差を表し、IL, IRはそれぞれ左と右の撮像装置による輝度値のＤＣ成分を表し、ＣＲＧＢ（ｄ）は視差ｄに対する(u, v)でのコストを表す。
ＲＧＢコストボリューム５０３は、２つのカメラで撮像した２枚の画像中、深度を仮定したときに対応する画素同士のＲＧＢの輝度値の差（色の違い）を、各画素についてコストとして評価することによって以下の式（１４）のように構築される。
【数14】
ここで、dpはピクセルp = (u, v)における視差を表し、IL, IRはそれぞれ左と右の撮像装置による輝度値のＤＣ成分を表し、ＣＲＧＢ（ｄ）は視差ｄに対する(u, v)でのコストを表す。
【0035】
本実施形態では、このＲＧＢコストボリュームに加えて、偏光（ポラリメトリック）コストボリュームを構築して最小化問題と解くことにより、各画素に対応する表面点における法線、深度および反射率を推定する。これをコストボリュームフィルタリングと呼ぶ。ポラリメトリックコストボリュームフィルタリングでは、まず、表面法線、拡散アルベド、鏡面アルベドからなる表面パラメータ推定値から計算されたストークスベクトルｓ~と、２つの偏光カメラ２２０、２３０で観測されたストークスベクトルｓとの間のポラリメトリック距離（コストＬｓ）を以下のように定義する。
【数15】
【0036】
このコストＬｓを最小化するものとして、画素ごとの表面法線とアルベドの値を以下のように推定することができる。
【数16】
【0037】
このように、２セットの偏光情報（観測結果）から仮説的な視差値ｄが算出された場合、最も確信度の高い表面法線とアルベド値を推定できる。
【0038】
ある画素の任意の仮説視差値ｄに対して、式（１６）を用いて注目画素の対応する表面点での表面法線とアルベド値を解き、その視差値とポラリメトリック距離（式（１５））との確信度を以下のように評価する（検算する）。
【数17】
【0039】
これを偏光コストボリュームと呼ぶ。このように視差値がコストボリュームのパラメータとなるが、視差値から表面法線を直接算出するのではなく、確信度の高い視差値を求めた上で、三角測量を用いて視差値から深度を算出し、さらにその深度での偏光状態を特定して、２セット以上観測された偏光状態から直接法線を算出する。
【0040】
算出部２０２は、以上のようなコストボリュームフィルタリングと同時に、補正部２２１において、確信度に基づく法線の伝搬も行う。つまり、これらのコストの不確定性を符号化した確信度を定義し、確信度に基づいて法線を伝搬させる。確信度の高い視差値を有する２つの画素の、対応する偏光状態の観測値から計算された表面法線を伝搬させることで、偏光観測から効果的にノイズを除去する。これらの伝播された表面法線は、ポラリメトリコストボリュームを構築するために使用されるポラリメトリ距離に反映され、このコストボリュームフィルタリングは、収束するまで繰り返し行われる。
【0041】
最大化するエネルギーポテンシャルは以下のように定義できる。
ここで、ｄは全ピクセルの視差値のベクトルである。ここでは、全てのピクセルの集合をＰとし、ピクセルｐ∈Ｐにおける視差をｄｐ∈Ｄとしたが、Ｄは視差値の離散的な集合である。Ｎｐは、ピクセルｐに水平・垂直方向に隣接する４つのピクセルを表す。
【数18】
【数19】
ここで、ｄは全ピクセルの視差値のベクトルである。ここでは、全てのピクセルの集合をＰとし、ピクセルｐ∈Ｐにおける視差をｄｐ∈Ｄとしたが、Ｄは視差値の離散的な集合である。Ｎｐは、ピクセルｐに水平・垂直方向に隣接する４つのピクセルを表す。
【0042】
コストＣＶ（ｄｐ，ｄｑ）は、以下の式（２０）によって定義される。
ここで、＾ｄｑはｐにおける表面法線ｎを考慮した視差値であり、＾ｄｑ＝ｄｑ＋Δ＾ｄと定義される。滑らかな表面領域の場合、Δ＾ｄは表面勾配を用いて以下の式（２１）のように表すことができる。
ここで、ｆはカメラの焦点距離、Δｕ，Δｖは画素位置ｑ－ｐの水平・垂直方向の視差である。Ｐ１，Ｐ２は不連続性に対するペナルティである。
【数20】
ここで、＾ｄｑはｐにおける表面法線ｎを考慮した視差値であり、＾ｄｑ＝ｄｑ＋Δ＾ｄと定義される。滑らかな表面領域の場合、Δ＾ｄは表面勾配を用いて以下の式（２１）のように表すことができる。
【数21】
ここで、ｆはカメラの焦点距離、Δｕ，Δｖは画素位置ｑ－ｐの水平・垂直方向の視差である。Ｐ１，Ｐ２は不連続性に対するペナルティである。
【0043】
ＲＧＢコストボリュームと偏光コストボリュームの両方からの確信度を統合した確信度伝搬により、エネルギーポテンシャルを最大化する視差値ｄ、表面法線およびアルベド値｛（ｄｐ，ｋｄ，ｐ，ｋｓ，ｐ：ｐ∈Ｐ）｝を求める。各コストボリュームは非負の値を持つが、それらを有効な確率的不確実性とするために、それらのポテンシャルを以下の式（２２）（２３）のように定義する。
与えられた視差に対する不確実性は、以下の式（２４）のように算出される。
ここで、注目画素pからその隣接画素qへ伝搬させる値を以下のように定義する。
この値を注目画素から隣接画素へと伝搬させる際に、各画素における表面法線とアルベド値も、その視差値の不確実性に応じて更新される。これらの値は、メッセージ（不確かさ）を重みとして、注目画素とその隣接画素における法線とアルベド推定値との重み付き線形結合として更新される。
【数22】
【数23】
与えられた視差に対する不確実性は、以下の式（２４）のように算出される。
【数24】
ここで、注目画素pからその隣接画素qへ伝搬させる値を以下のように定義する。
【数25】
この値を注目画素から隣接画素へと伝搬させる際に、各画素における表面法線とアルベド値も、その視差値の不確実性に応じて更新される。これらの値は、メッセージ（不確かさ）を重みとして、注目画素とその隣接画素における法線とアルベド推定値との重み付き線形結合として更新される。
【0044】
【数26】
これにより、各ピクセルの視差、法線、アルベドの値を推定しながら、偏光観測データから効果的にノイズを除去することができる。より確かな表面法線とアルベド値を近隣から伝搬させるために、偏光観測データから計算された偏光コストボリュームは、ｎ＊ｐ、ｋ＊ｄ、ｐ、ｋ＊ｓ、ｐを式（２６）で算出されたものと置き換えることで、新しい法線とアルベド値を反映するように更新される。そして、この更新された偏光コストボリュームと元のＲＧＢコストボリュームに対して、確信度の伝搬を行い、収束するまでこのプロセスを繰り返す。なお、ここでは、ＲＧＢコストボリュームと偏光コストボリュームの両方からの確信度を統合した確信度伝搬を行っているが、本発明はこれに限定されるものではなく、少なくとも偏光コストボリュームの確信度伝搬を行えば、ノイズの除去が可能である。
【0045】
以上をまとめると、式(１１)を用いて、ある仮定された法線（と他のパラメタ）についてストークスベクトルを推定する。それらの法線を含めたパラメタをコストボリュームフィルタリングで求める。つまり、式（１５）で定義される左右のストークスベクトルについて、観測したストークスベクトルと推定したストークスベクトルとの差分をコストとするコストボリュームを定義して、コストが最も小さくなる疑似ストークベクトルを最小自乗法で求める（式(１６)）。さらにその場合の、表面法線ｎ、拡散アルベドｋｄ、鏡面アルベドｋｓを、式（８）（９）（１０）から求める。
【0046】
図７は、石を異なる光源方向から撮影した３つの異なる偏光ステレオペアの表面法線推定値を示している。光源方向が異なると、入力ＡｏＬＰが変化していることが分かる。また、本実施形態によれば、光源方向に関わらず、一貫した表面法線を復元することができていることが分かる。
【0047】
図８は、拡散アルベドの推定値を示す図である。従来のアルベド推定（非特許文献２、３）は、スペキュラローブを含むＤＣ成分にシェーディングをモデル化しているため、残存シェーディングが問題となる。これに対し、本実施形態(Ours)では、不規則性を除去することにより、残存シェーディングなしで空間的に変化するアルベドを正確に推定することができる。
【0048】
図９は、様々な物体（上から、豚の置物、レモン、本、恐竜の置物、石）の再現例を示している。図９をみれば、本実施形態（Ours）が、物体の形状に関わらず、これらの物体の微細な形状（GT Normal：法線の真値）を正確に復元することを示している。入力されたAoLP画像が示すように、偏光カメラから取得した偏光角は多くのノイズを含んでいる。本実施形態によれば、コストボリュームフィルタリングに組み込まれたノイズ除去により、表面法線とアルベド値をロバストに復元することができる。
【0049】
図６は、豚の置物（ＰＩＧ）と石（ＳＴＯＮＥ）を被撮像物体とした場合の法線の角度誤差のヒストグラムである。本実施形態（ours）が従来の方法（非特許文献１～３）に比べて角度誤差の大きい画素が少ないことがわかる。
【0050】
以上、本実施形態によれば、ＲＧＢコストボリュームフィルタリングと偏光コストボリュームフィルタリングとを組み合わせて定式化することにより、画素ごとの、深度と、深度に依存しない法線とアルベドとを同時にかつ独立に推定できる。すなわち、画素ごとの視差の関数としての通常のＲＧＢコストボリュームに加えて、表面法線とアルベド値とが異なる画素同士のストークスベクトルの差を保存する偏光コストボリュームを構築する。これらの表面法線は、仮定された視差値が与えられた２つのステレオビューの対応するストークスベクトルから直接計算される。これらのコストボリュームをフィルタリングして、２つの撮像画像中の画素同士の対応関係を決める最適な視差を導くことで、２つのストークスベクトルから表面法線とアルベド値を計算する。このようなコストボリュームフィルタリングは、３つの異なる特徴を持つ確信度伝搬を用いて実現している。まず、２つのコストボリュームのフィルタリングは、それらの確信度の乗算によってシームレスに統合される。さらに、表面法線を符号化し、それに従って視差を伝搬するために使用する。これにより、異なる位置に設置された２台の偏光カメラによる観測で測定された表面法線を尊重した深度推定が行われる。最後に、表面法線自体も伝搬されるので、表面法線のノイズを効果的に除去することができる。ノイズ除去された表面法線は、偏光コストボリュームにフィードバックされる。また、マイクロファセットベースの偏光ＢＲＤＦモデルを用いて、ディフューズ、スペキュラローブ、スペキュラースパイクの反射を完全にモデル化している。このようなモデル化により、従来の手法では無視されていた、光源方向に依存する偏光度を考慮することが可能となっており、より実用的かつ高精細な三次元形状の再現が可能となった。また、本実施形態の方法では、ランバート反射面（完全拡散反射面）を仮定する必要がなく、より汎用性が高く、精度のよい法線算出を行うことが可能となる。すなわち、マット、光沢、鏡面など様々な表面を２眼偏光観測することにより、表面法線を深度の副産物としてではなく、直接復元できる。
【0051】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の技術的範囲で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の技術的範囲に含まれる。
【0052】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるサーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】