特開 2020-61130 グラフ信号処理を使用したオブジェクトの高密度な表面を再構築するためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2020-61130(P2020-61130A)

(43)【公開日】2020年4月16日

(54)【発明の名称】グラフ信号処理を使用したオブジェクトの高密度な表面を再構築するためのシステムおよび方法

(51)【国際特許分類】

   G06T 7/593 20170101AFI20200319BHJP

   G06T 7/70 20170101ALI20200319BHJP

   G01B 11/24 20060101ALI20200319BHJP

   G01N 21/21 20060101ALI20200319BHJP

   G01J 4/04 20060101ALI20200319BHJP

【ＦＩ】

   G06T7/593

   G06T7/70 B

   G01B11/24 K

   G01N21/21

   G01J4/04

【審査請求】有

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

【全頁数】27

(21)【出願番号】特願2019-159751(P2019-159751)

(22)【出願日】2019年9月2日

(31)【優先権主張番号】201821032911

(32)【優先日】2018年9月1日

(33)【優先権主張国】IN

(71)【出願人】

【識別番号】510337621

【氏名又は名称】タタ コンサルタンシー サービシズ リミテッド

【氏名又は名称原語表記】ＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ

(74)【代理人】

【識別番号】100102842

【弁理士】

【氏名又は名称】葛和 清司

(72)【発明者】

【氏名】クマール，アチャンナ アニル

(72)【発明者】

【氏名】プルショタマン，バラムラリダー

(72)【発明者】

【氏名】チャンドラ，ギリシュ マリスワミー

【テーマコード（参考）】

2F065

2G059

5L096

【Ｆターム（参考）】

2F065AA53

2F065FF04

2F065FF49

2F065JJ26

2F065QQ03

2F065QQ16

2F065QQ18

2F065QQ24

2F065QQ25

2F065QQ31

2G059AA05

2G059BB08

2G059EE02

2G059FF01

2G059GG04

2G059KK04

2G059MM01

5L096AA09

5L096CA05

5L096FA23

5L096FA67

5L096FA72

5L096GA32

5L096GA59

(57)【要約】      （修正有）

【課題】グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のためのシステム及び方法を提供する。
【解決手段】システムと方法は、抽出された１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別することにより、πの曖昧性を解決する。位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築する。構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得する。そして、グラフ信号処理技術により、ＧＦＴ行列と方位角値の第１セットから、オブジェクトの第２領域に対応する方位角値の第２セットを推定する。
【選択図】図２Ａ

【特許請求の範囲】

【請求項1】

グラフ信号処理を使用してオブジェクトの高密度な表面を再構築する方法であって、該方法は、プロセッサ実行型の以下のステップ：
画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップ（２０１）であって、複数のマルチビュー偏光画像の各々は、複数の偏光角でオブジェクトのマルチピクセル画像を含む、前記ステップ；
キャプチャされた複数の偏光画像に基づいて、１以上のハードウェアプロセッサによって複数のステップを実施するステップ（２０２）であって、該複数のステップは：
（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出するステップ（２０２（ｉ））であって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セットを識別するために使用される、前記ステップ；および
（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ（２０２（ｉｉ））；
を含む、前記ステップ；
位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップ（２０３）であって、該推定は：
（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ（２０３（ｉ））；
（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ（２０３（ｉｉ））；
（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ（２０３（ｉｉｉ））；および
（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な方位角値を含む方位角値の第２セットを推定するステップ（２０３（ｉｖ））；
を含む、前記ステップ；
推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するステップ（２０４）；
分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップ（２０５）であって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；および
方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ（２０６）；
を含む、前記方法。

【請求項2】

方位角値の第２セットを推定するステップの前に、グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得する、請求項１に記載の方法。

【請求項3】

方位角値の第２セットを推定するステップが、グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施することを含む、請求項１に記載の方法。

【請求項4】

グラフを構築するステップが、方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルをグラフ信号処理技術によって表すことを含む、請求項１に記載の方法。

【請求項5】

ＧＦＴスペクトルを表すステップが、ＧＦＴスペクトルに基づいて、カットオフグラフ周波数を選択して方位角値の第２セットを推定することを含み、カットオフグラフ周波数は構築されたグラフに対応する、請求項４に記載の方法。

【請求項6】

位相角と、識別された方位角値の第１セットおよび推定された方位角値の第２セットの組み合わせとが、構築されたグラフ上でキャプチャされた同一の帯域制限を有し、同一の帯域制限は、方位角値の第１セットおよび方位角値の第２セットの組み合わせの各々の間の最適な表現を表す、請求項１に記載の方法。

【請求項7】

グラフ信号処理を使用してオブジェクトの高密度な表面を再構築するシステム（１００）であって、該システム（１００）は：
命令を記憶するメモリ（１０２）；
１以上の通信インターフェース（１０６）；および
１以上の通信インターフェース（１０６）を介してメモリ（１０２）に結合された１以上のハードウェアプロセッサ（１０４）
を含み、
１以上のハードウェアプロセッサ（１０４）は、以下の命令：
画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップであって、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む、前記ステップ；
キャプチャされた複数の偏光画像に基づいて、複数のステップを実施するステップであって、該複数のステップは：
（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出するステップであって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セットを識別するために使用される、前記ステップ；および
（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ；
を含む、前記ステップ；
位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップであって、該推定は：
（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ；
（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ；
（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ；および
（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な方位角値を含む方位角値の第２セットを推定するステップ；
を含む、前記ステップ；
推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するステップ；
分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップであって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；および
方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ、
によって構成される、前記システム（１００）。

【請求項8】

１以上のハードウェアプロセッサ（１０４）が、方位角値の第２セットを推定するステップの前に、グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得するように構成される、請求項７に記載のシステム（１００）。

【請求項9】

１以上のハードウェアプロセッサ（１０４）が、グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施して、方位角値の第２セットを推定するように構成される、請求項７に記載のシステム（１００）。

【請求項10】

１以上のハードウェアプロセッサ（１０４）が、グラフ信号処理技術を使用して、方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルを表すことによって、グラフを構築するように構成される、請求項７に記載のシステム（１００）。

【請求項11】

１以上のハードウェアプロセッサ（１０４）が、ＧＦＴスペクトルに基づいて、カットオフグラフ周波数を選択して方位角値の第２セットを推定することによって、ＧＦＴスペクトルを表すように構成され、カットオフグラフ周波数は構築されたグラフに対応する、請求項１０に記載のシステム（１００）。

【請求項12】

位相角と、識別された方位角値の第１セットおよび推定された方位角値の第２セットの組み合わせとが、構築されたグラフ上でキャプチャされた同一の帯域制限を有し、同一の帯域制限は、方位角値の第１セットおよび方位角値の第２セットの組み合わせの各々の間の最適な表現を表す、請求項７に記載のシステム（１００）。

【請求項13】

１以上の命令を含む１以上の非一時的な機械可読情報記憶媒体であって、該命令は１以上のハードウェアプロセッサによって執行されると：
画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップ（２０１）であって、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む、前記ステップ；
キャプチャされた複数の偏光画像に基づいて、１以上のハードウェアプロセッサによって複数のステップを実施するステップ（２０２）であって、該複数のステップは：
（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出するステップ（２０２（ｉ））であって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セットを識別するために使用される、前記ステップ；および
（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ（２０２（ｉｉ））；
を含む、前記ステップ；
位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップ（２０３）であって、該推定は：
（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ（２０３（ｉ））；
（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ（２０３（ｉｉ））；
（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ（２０３（ｉｉｉ））；および
（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な方位角値を含む方位角値の第２セットを推定するステップ（２０３（ｉｖ））；
を含む、前記ステップ；
推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するステップ（２０４）；
分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップ（２０５）であって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；および
方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ（２０６）；
をさせる、前記１以上の非一時的な機械可読情報記憶媒体。

【請求項14】

方位角値の第２セットを推定するステップの前に、グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得する、請求項１３に記載の１以上の非一時的な機械可読情報記憶媒体。

【請求項15】

方位角値の第２セットを推定するステップが、グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施することを含む、請求項１３に記載の１以上の非一時的な機械可読情報記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連する出願と優先権の相互参照
この特許出願は、2018年9月1日に提出されたインド特許出願201821032911の優先権を主張する。

【0002】

技術分野
本明細書の開示は、一般的に表面の再構築に関し、より詳細には、グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のためのシステムおよび方法に関する。

【背景技術】

【0003】

現実世界のオブジェクトの形状と外観のデジタル再構築または再現は、特にさまざまな分野での応用性により、このデジタル時代に大きな趨勢を獲得している。特に、オブジェクトの３次元（３Ｄ）再構築は近年注目を集めている。従来の技術の中には、異なる照明条件下で３Ｄスキャンと写真との組み合わせを使用して、オブジェクトの形状と反射率のモデルを取得するものがある。これらの特徴の両方が測定されると、モデルを使用して、あらゆる環境の光を反射して、オブジェクトがどのような視点から見えるかを忠実にレンダリングすることができる。

【0004】

広く使用されているデジタル再構築技術の１つは、マルチビューステレオ（ＭＶＳ）技術である。ＭＶＳは、複数の画像から高密度の３Ｄモデルを再構築する。ＭＶＳはコンピュータビジョンで集中的に研究されており、コンピュータグラフィックス、ロボット工学、コンピュータ支援設計、および人間とコンピュータの相互作用の幅広いアプリケーションに使用されている。ＭＶＳは、エピポーラ拘束のある特徴の対応関係を見つけることに依存している。したがって、対応関係を確実に見つけることができないため、特徴のないオブジェクトの処理には根本的な欠陥がある。しかしながら、特徴がスパース（sparse）な３Ｄオブジェクトでは、ＭＶＳは基本的に特徴の対応に基づいているため、ＭＶＳなどの一般的なマルチビュー３Ｄ再構築方法では高密度の再構築ができない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示の実施態様は、従来のシステムにおいて発明者によって認識された上述の技術的問題の１以上の解決策として技術的改善を提示する。例えば、１つの実施態様において、グラフ信号処理を使用してオブジェクトの高密度な（dense）表面を再構築する方法が提供され、該方法は、画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップであって、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む、前記ステップ；キャプチャされた複数の偏光画像に基づいて、１以上のハードウェアプロセッサによって複数のステップを実施（perform）するステップであって、該複数のステップは：（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行（implement）することにより、オブジェクトの１以上のスパース（sparse）３次元形状を抽出するステップであって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セット（set）を識別するために使用される、前記ステップ；および（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ；を含む、前記ステップ；位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップであって、該推定は：（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ；（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ；（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ；および（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な（曖昧性のない（unambiguous））方位角値を含む方位角値の第２セットを推定するステップ；を含む、前記ステップ；推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射（specular reflection）優勢領域および偏光拡散反射（diffuse reflection）優勢領域を分類するステップ；分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップであって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ；グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得するステップ；グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施するステップ；方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルをグラフ信号処理技術によって表すステップ；およびＧＦＴスペクトルに基づいて、カットオフグラフ周波数を選択して方位角値の第２セットを推定すること；を含み、カットオフグラフ周波数は構築されたグラフに対応する。

【0006】

別の側面では、グラフ信号処理を使用してオブジェクトの高密度な表面を再構築するためのシステムが提供され、該システムは：命令を記憶するメモリ；１以上の通信インターフェース；および１以上の通信インターフェースを介してメモリに結合された１以上のハードウェアプロセッサを含み、１以上のハードウェアプロセッサは、以下の命令：画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップであって、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む、前記ステップ；キャプチャされた複数の偏光画像に基づいて、複数のステップを実施するステップであって、該複数のステップは：（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出するステップであって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セットを識別するために使用される、前記ステップ；および（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ；を含む、前記ステップ；位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップであって、該推定は：（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ；（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ；（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ；および（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な方位角値を含む方位角値の第２セットを推定するステップ；を含む、前記ステップ；推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するステップ；分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップであって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ；方位角値の第２セットを推定するステップの前に、グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得するステップ；グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施して、方位角値の第２セットを推定するステップ；方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルをグラフ信号処理技術を使用して表すことによって、グラフを構築するステップ；およびＧＦＴスペクトルに基づいて、カットオフグラフ周波数を選択して方位角値の第２セットを推定することによって、ＧＦＴスペクトルを表すステップ；によって構成され、カットオフグラフ周波数は構築されたグラフに対応する。

【0007】

さらに、別の側面では、１以上の命令を含む１以上の非一時的な機械可読情報記憶媒体が提供され、該命令は、１以上のハードウェアプロセッサによって執行されると、１以上のハードウェアプロセッサに、グラフ信号処理を使用してオブジェクトの高密度な表面を再構築する方法を実行させ、該方法は、画像キャプチャデバイスを使用して、複数のマルチビュー偏光画像をキャプチャするステップであって、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む、前記ステップ；キャプチャされた複数の偏光画像に基づいて、複数のステップを実施するステップであって、該複数のステップは：（ｉ）キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出するステップであって、１以上のスパース３次元形状は、オブジェクトの第１領域に対応する方位角値の第１セットを識別するために使用される、前記ステップ；および（ｉｉ）キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算するステップ；を含む、前記ステップ；位相角と１以上のスパース３次元形状を使用して、グラフ信号処理技術により方位角値の第２セットを推定するステップであって、該推定は：（ｉ）１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別するステップ；（ｉｉ）位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造をキャプチャしたグラフを構築するステップ；（ｉｉｉ）グラフ信号処理技術によって構築されたグラフに対応するグラフフーリエ変換（ＧＦＴ）行列を取得するステップ；および（ｉｖ）ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術によってオブジェクトの第２領域に対応する明確な方位角値を含む方位角値の第２セットを推定するステップ；を含む、前記ステップ；推定された方位角値の第２セットと位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するステップ；分類に基づいて、非線形最小二乗推定技術を実行することにより天頂角を推定するステップであって、天頂角は、オブジェクトの表面の偏光度と屈折率との関数である、前記ステップ；方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築するステップ；グラフ信号処理技術の実行によって方位角値の第１セットに対応するサンプリングセットを取得するステップ；グラフ信号再構築技術を使用してＧＦＴ行列に線形変換を実施するステップ；グラフ信号処理技術を使用して方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルを表すステップ；およびカットオフグラフ周波数を選択して方位角値の第２セットを推定するステップ；を含み、カットオフグラフ周波数は構築されたグラフに対応する。

【0008】

前述の一般的な説明および以下の詳細な説明の両方は、例示および説明のみであり、特許請求の範囲の本発明を制限するものではないことを理解されたい。

【図面の簡単な説明】

【0009】

本開示に組み込まれ、本開示の一部を構成する添付図面は、例示的な実施態様を示し、説明とともに、開示された原理を説明する役目を果たす。

【0010】

【図1】図１は、本開示のいくつかの実施態様による、グラフ信号処理を使用するオブジェクトの高密度な表面の再構築のためのシステムのブロック図を示す。

【0011】

【図2A】図２Ａは、本開示のいくつかの実施態様による、グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のプロセスに含まれるステップを示すフロー図である。

【図2B】図２Ｂは、本開示のいくつかの実施態様による、グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のプロセスに含まれるステップを示すフロー図である。

【図2C】図２Ｃは、本開示のいくつかの実施態様による、グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のプロセスに含まれるステップを示すフロー図である。

【0012】

【図3A-3B】図３Ａ−３Ｂは、本開示のいくつかの実施態様による、キャプチャされた複数のマルチビュー偏光画像の例を示す。

【図3C】図３Ｃは、本開示のいくつかの実施態様による、キャプチャされた複数のマルチビュー偏光画像の例を示す。

【0013】

【図4】図４は、本開示のいくつかの実施態様による、マルチビューステレオ（ＭＶＳ）技術を実行することにより抽出された１以上のスパース３次元形状の例を示す。

【0014】

【図5】図５は、本開示のいくつかの実施態様による、構築されたグラフの例を示す。

【0015】

【図6A】図６Ａは、本開示のいくつかの実施態様による、グラフ周波数に関する実際の方位角のグラフフーリエスペクトルのゲイン線図を示す。

【0016】

【図6B】図６Ｂは、本開示のいくつかの実施態様による、グラフ周波数に関する計算された位相角のゲイン線図を示している。

【0017】

【図7A-7C】図７Ａ−７Ｃは、本開示のいくつかの実施態様による、提案された方法論および従来のシステムおよび方法を実行することにより取得された結果のグラフィカル分類を示す。

【発明を実施するための形態】

【0018】

例示的な実施態様は、添付の図面を参照して説明される。図では、参照番号の左端の数字は、参照番号が最初に現れる図を識別する。便宜上、図面全体を通して同じ参照番号を使用して、同じまたは同様の部品を指す。開示された原理の例および特徴が本明細書で説明されているが、開示された実施態様の精神および範囲から逸脱することなく、修正、適合、および他の実行が可能である。以下の詳細な説明は例示としてのみ考慮されることを意図しており、真の範囲および精神は添付の特許請求の範囲によって示される。

【0019】

本開示の実施態様は、グラフ信号処理を使用してオブジェクトの高密度な表面の再構築のためのシステムおよび方法を提供する。マルチビューステレオ（ＭＶＳ）３次元（３Ｄ）表面再構築は、３Ｄスキャンと印刷、製品検査などの拡張現実を含むアプリケーションのコンピュータビジョンにおける重要な問題である。これらのアプリケーションの多くでは、高密度な再構築を取得することが最も望ましい。しかしながら、実際には、ＭＶＳのさまざまな制限（たとえば、特徴の対応に基づいている）により、オブジェクトの高密度な表面の再構築を提供できない。

【0020】

偏光マルチビューステレオ（ＰＭＳ）として知られる代替アプローチは、偏光からの測光情報と複数のビューからのエピポーラ拘束を組み合わせることにより、特徴がスパースなオブジェクトの高密度３Ｄ表面を再構築する（参照: Z. Cui, J. Gu, B. Shi, P. Tan, and J. Kautz, “Polarimetric multi-view stereo,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1558-1567）。ＰＭＳは、偏光拡散のみまたは偏光正反射のみの実用的ではない仮定を使用せず、照明方向または赤緑青および深度（ＲＧＢ−Ｄ）センサーなどの追加センサーの必要性も克服する。

【0021】

偏光されていない光が表面に入射すると、ほとんどの表面は部分的に偏光された光を反射する。この偏光された光は、黄褐色のオブジェクトの表面法線に関する豊富な情報を含み、偏光からの形状（ＳｆＰ）キューの基礎を形成する。このようにＰＭＳを使用して取得される表面法線は高密度であり、上記の他の技術とは異なり、制御された照明や高密度な特徴を必要としないため、滑らかな特徴のない３Ｄオブジェクトを高密度に再構築できる。

【0022】

しかしながら、偏光から取得された表面法線には特定の曖昧性があり、形状の再構築に有意義に使用する前に解決する必要がある。ＳｆＰアプローチを使用する際の主な曖昧性の１つは、位相角からの方位角の推定にある。方位角推定では、π／２の曖昧性とπの曖昧性と呼ばれる２種類の曖昧性を解決する必要がある。

【0023】

従来のシステムおよび方法のいくつかは、π／２の曖昧性の解決を提供するが、従来のシステムおよび方法のいずれも、πの曖昧性の解決を提供しない。ＰＭＳなどの従来のシステムと方法は、単純にπの曖昧性をバイパスする一方で、高密度な再構築を提供するため、πの曖昧性を解決しない。

【0024】

ここで図面、特に図１〜７Ｃを参照すると、類似の参照文字は図面全体を通して一貫して対応する特徴を示し、好ましい実施態様が示され、これらの実施態様は、以下の例示的なシステムおよび／または方法の文脈で説明される。

【0025】

図１は、本開示の一実施態様による、グラフ信号処理を使用したオブジェクトの高密度な表面の再構築のためのシステム１００の例示的なブロック図を示している。一実施態様では、システム１００は、１以上のプロセッサ１０４、通信インターフェースデバイスまたは入力／出力（Ｉ／Ｏ）インターフェース１０６、および１以上のプロセッサ１０４に動作可能に結合された１以上のデータ記憶デバイスまたはメモリ１０２を含む。ハードウェアプロセッサである１以上のプロセッサ１０４は、１以上のマイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、中央処理ユニット、ステートマシン、論理回路、および／または操作命令に基づいて信号を操縦（manipulate）するデバイスとして実行できる。他の機能の中でも、プロセッサは、メモリ１０２に格納されたコンピュータ可読命令をフェッチして執行するように構成されている。一実施態様では、システム１００は、ラップトップコンピュータ、ノートブック、ハンドヘルドデバイス、ワークステーション、メインフレームコンピュータ、サーバ、ネットワーククラウドなどの様々なコンピューティングシステムで実行することができる。

【0026】

Ｉ／Ｏインターフェースデバイス１０６は、さまざまなソフトウェア、および、例えばウェブインターフェース、グラフィカルユーザーインターフェースなどのハードウェアインターフェースを含むことができ、ＬＡＮ、ケーブルなどの有線ネットワーク、およびＷＬＡＮ、セルラー、衛星などのワイヤレスネットワークを含む、多種多様なネットワークＮ／Ｗおよびプロトコルタイプ内での複数の通信を容易にすることができる。一実施態様では、Ｉ／Ｏインターフェースデバイスは、多数のデバイスを互いにまたは別のサーバに接続するための１以上のポートを含むことができる。

【0027】

メモリ１０２は、例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）およびダイナミックランダムアクセスメモリ（ＤＲＡＭ）などの揮発性メモリ、および／または、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブルＲＯＭ、フラッシュメモリ、ハードディスク、光ディスク、および磁気テープなどの不揮発性メモリを含む、当技術分野で知られている任意のコンピュータ可読媒体を含み得る。

【0028】

図１を参照して、図２Ａ〜図２Ｃは、本開示のいくつかの実施態様による、グラフ信号処理を使用するオブジェクトの高密度な表面の再構築のための方法の例示的なフロー図を示す。一実施態様では、システム１００は、１以上のハードウェアプロセッサ１０４に動作可能に結合されたメモリ１０２の１以上のデータストレージデバイスを備え、１以上のプロセッサ１０４による方法のステップの執行のための命令を格納するように構成される。ここで、本開示の方法のステップを、図１に示されるシステム１００のコンポーネントおよびフロー図を参照して説明する。本開示の実施態様では、ハードウェアプロセッサ１０４は、命令が構成されると、本明細書で説明される１以上の方法を実施する。

【0029】

本開示の一実施態様によれば、ステップ２０１で、画像キャプチャデバイス（図示せず）を介して複数のマルチビュー偏光画像をキャプチャすることができ、複数のマルチビュー偏光画像の各々は、複数の偏光角で変わるオブジェクトのマルチピクセル画像を含む。画像キャプチャデバイスは、偏光レンズを備えたデジタル一眼レフカメラ（ＤＳＬＲ）カメラを含むことができるが、これに限定されない。ＤＳＬＲカメラの偏光レンズを異なる偏光角で回転させて、各角度から（関心のある）オブジェクトの少なくとも１つのマルチピクセル画像をキャプチャし、複数のマルチビュー偏光画像を取得する。

【0030】

当技術分野で知られているように、偏光されていない光が任意のオブジェクトに当たると、３つのタイプの反射、すなわち偏光正反射、偏光拡散反射、および偏光されていない拡散反射が観察され、偏光正反射および偏光拡散反射の両方は、ほとんどの表面で部分的に偏光される。次に、反射光は偏光レンズを通過し、前述のように、偏光レンズは異なる偏光角（つまり、少なくとも３つの異なる偏光角）で回転し、複数のマルチビュー偏光画像を取得する。図３Ａ〜図３Ｃを参照すると、０°（度）、６０°、および１２０°でキャプチャされた複数のマルチビュー偏光画像の例を参照することができる。

【0031】

本開示の一実施態様によれば、ステップ２０２で、１以上のハードウェアプロセッサ１０４は、キャプチャされた複数の偏光画像に基づいて複数のステップを実施する。ステップ２０２（ｉ）で、１以上のハードウェアプロセッサ１０４は、キャプチャされた複数のマルチビュー偏光画像の各々にマルチビューステレオ（ＭＶＳ）技術を実行することにより、オブジェクトの１以上のスパース３次元形状を抽出する。一実施態様では、１以上のスパース３次元形状を使用して、オブジェクトの第１領域に対応する方位角値の第１セットを識別する（以下のステップ２０３（ｉ）で説明する）。

【0032】

当該技術分野で知られているように、ＭＶＳ技術（またはマルチビュー３次元（３Ｄ）表面再構築技術）は、異なる視点から撮影された画像のセットから完全な３次元（３Ｄ）モデルを再構築することを含む。ＭＶＳ技術は、２つの主要なステップで構成される：（ｉ）局所（local）画像マッチング法を使用して、写真一貫性測定と可視性モデルに基づいて３Ｄポイントを推定するステップ、（ｉｉ）推定された３Ｄポイントクラウドから３Ｄモデルを再構築するステップ。

【0033】

一実施態様では、オブジェクトの１以上のスパース３次元形状を抽出するために実行され得るＭＶＳ技術は、レベルセット技術またはスペースカービング技術を含み得る。ＭＶＳ技術の実行によって抽出された複数の偏光画像の各々のスパース表現（または１以上のスパース３次元形状）は、復元データを含み、それによって強化されたマルチビュー偏光画像を提供する。実行例において、図４を参照すると、キャプチャされた複数のマルチビュー偏光画像の各々にＭＶＳ技術を実行することにより抽出されたスパース３次元形状の例が参照され得る（図３Ａ〜３Ｃで参照すると）。

【0034】

ステップ２０２（ｉｉ）で、１以上のハードウェアプロセッサ１０４は、キャプチャされた複数のマルチビュー偏光画像に偏光反射率モデリング技術（例えば、ランバートモデリング）を実行することにより、オブジェクトの表面点の各ビューに対応する偏光度および位相角を計算する。当技術分野で知られているように、とりわけ、反射光の偏光成分の大きさ、１以上の正反射によって引き起こされる強度エッジ、表面法線の拘束などを正確に予測するために、偏光反射率モデリング技術が使用される。

【0035】

前述のように、偏光されていない光がオブジェクトに当たると、偏光正反射、偏光拡散反射、および偏光されていない拡散反射の3つのタイプの反射が観察される場合があり、偏光正反射と偏光拡散反射の両方が、ほとんどの表面で部分的に偏光されている。かかる反射偏光成分の強度は、偏光関数、例えばΦ_ｐｏｌの偏光角の関数として正弦波的に変わる。特に、偏光拡散反射Ｉ^ｄｐ（Φ_ｐｏｌ）および偏光正反射Ｉ^ｓｐ（Φ_ｐｏｌ）に対応する測定強度は、以下の式（１）で表される

【数1】

ここで、

【数2】

およびＩ_ｍａｘとＩ_ｍｉｎは、観測された正弦波状に変わる強度の最大値と最小値をそれぞれ示す。オブジェクトの表面の任意の点での位相角Φ（phi）と方位角φは、優勢的な反射タイプに依存し、以下の式（２）に示すように関連している。

【数3】

係数

【数4】

は非偏光強度を示し、
係数

【数5】

は偏光度と呼ばれる。
反射のタイプ、つまり偏光拡散反射または偏光正反射に応じて、偏光度ρは以下の式（３）および（４）のように関連する場合がある。

【数6】

【数7】

ここで、ｎとθはそれぞれ屈折率と天頂角を示す。一実施態様では、式（３）は、偏光正反射の関係を提供する一方で、式（４）は偏光拡散反射の関係を提供する。一般に、位相角Φ（phi）は、原点またはゼロ交差に関して経過した振動の一部を示す。偏光度は、オブジェクトに対応する入射光の偏光度を含む。一実施態様では、計算された位相角Φ（phi）は、特徴が制限された領域での方位角値の推定を容易にする。

【0036】

上記のステップ２０１と同じシナリオ例を考えて、偏光反射モデリング技術、たとえば非線形最小二乗アルゴリズムを使用して、位相角Φと偏光度ρを０°（度）、６０°および１２０°で次のようにキャプチャされた複数のマルチビュー偏光画像に対して計算することができる。
Φ＝0.9777、0.0896、0.5204、0.3205、および0.8261；
ここで、計算された位相角値は、オブジェクトの表面上の５つの隣接点のセットに対応し、各計算された位相値は、５つの隣接点のセットのうちの１つの点に対応する。

【0037】

本開示の一実施態様によれば、ステップ２０３において、１以上のハードウェアプロセッサ１０４は、計算された位相角および１以上のスパース３次元形状を使用して、方位角値の第２セットを推定し、方位角値の第２セットは、グラフ信号処理技術を実行することにより推定される。推定された方位角値の第２セット（明確な方位角値を含む）は、πとπ／２の両方の曖昧性を解決する。したがって、単にπ／２の曖昧性を解決する従来のシステムおよび方法と比較して、提案された開示は、グラフ信号処理技術を実行することにより、πおよびπ／２の両方の曖昧性を解決する方法論を提供する。方位角値の第２セットを推定してπの曖昧性を解決するプロセスを詳細に検討することができる。

【0038】

グラフ信号処理−
グラフ信号、グラフフーリエ変換（ＧＦＴ）、帯域制限、サンプリングおよびサンプリングされた信号の再構築を理解することにより、方位角値の第２セットを推定するためのグラフ信号処理（グラフ信号処理技術とも呼ばれる）の実行について説明する。

【0039】

一実施態様では、グラフ信号は、サンプルがグラフＧのノードによってインデックス付けされる信号である。

【数8】

は、Ｖ＝｛１，２，…，Ｎ｝のセットでインデックス付けされたＮ個のノードで構成される、既知の接続された無向の加重グラフを示し、エッジ

【数9】

によって接続され、ここで、ｗ_ｐｑはｐ^ｔｈとｑ^ｔｈとのノード間のエッジの重みを示し、ｗ_ｐｐ＝０である。［Ｗ］_ｐ、ｑ＝ｗ_ｐｑのＮ×Ｎ隣接行列Ｗは対称行列、つまり、無向グラフの仮定による

【数10】

である。グラフラプラシアンはキー行列を含み、Ｌ＝Ｄ−Ｗとして定義でき、ここで、対角行列Ｄ＝ｄｉａｇ｛ｄ_１，ｄ_２，…，ｄ_Ｎ｝は次数行列と呼ばれ、すべてにおいて、

【数11】

【0040】

グラフ信号処理技術のグラフシフト演算子Ｓは、シフト演算子、つまり、従来の離散信号処理技術におけるシフトｚ^−１によって実施されるのと同様の関数を実施する。一般に、Ｓの選択は、ラプラシアン行列または隣接行列のいずれかを含む。Ｓは対称行列であるため、分解Ｓ＝［ｕ_１，……，ｕ_Ｎ］ｄｉａｇ（λ_１，……，λ_Ｎ）［ｕ_１，……，ｕ_Ｎ］^Ｈを受け入れる。固有ベクトルＵ＝｛ｕ_１,……,ｕ_Ｎ｝および対応する固有値｛λ_１，……，λ_Ｎ｝は、グラフのコンテキストで頻度の概念を提供し、したがって、行列Ｕ^ＨおよびＵは、それぞれ順グラフフーリエ変換（ＧＦＴ）行列および逆ＧＦＴ行列と呼ばれる場合がある（参照：D. I. Shuman, S. K. Narang, P. Frossard, A. Ortega, and P. Vandergheynst, “The emerging field of signal processing on graphs: Extending high-dimensional data analysis to networks and other irregular domains,” IEEE Signal Processing Magazine, vol. 30, no. 3, pp. 83-98, 2013）。したがって、グラフ信号ｆのＧＦＴおよび逆ＧＦＴは、それぞれ

【数12】

として定義できる。

【0041】

さらに、グラフ信号ｆは、｜λｐ｜＞ωですべてのｐに対して

【数13】

の場合、
ω帯域制限として定義できる。
一実施形態では、Ｒ＝｛１，２,……,ｒ）および相補セットを

【数14】

とし、ｒはωより小さい固有値の数を示し、Ｕ_ＶＲはＲに対応する列を含むＵのサブ行列を示す。したがって、ω帯域制限信号は、以下の式（５）で表すことができる：

【数15】

セット｛ｕ_１，ｕ_２……，ｕ_ｒ｝は、ＰＷ_ω（Ｇ）で示されるペイリー・ウィーナー空間と呼ばれるベクトル空間に広がり、すべてのω帯域制限グラフ信号を含む。

【0042】

一実施態様では、帯域制限により、情報の損失なしに信号ｆをサンプリングし再構築することができる。Ｓがサンプリングセットを示すもの、つまり、Ｓは、｜Ｓ｜＝ｄのサンプリングノードのインデックスを含むとする。
Ｓ_ｄを、その列がＳの指標関数であり、サンプリングセット演算子

【数16】

である、サイズＮ×ｄの行列とする（Reference: A. Anis, A. Gadde, and A. Ortega, “Efficient sampling set selection for bandlimited graph signals using graph spectral proxies,” IEEE Transactions on Signal Processing, vol. 64, no. 14, pp. 3775-3789, 2016）。サンプリングされたベクトルは

【数17】

同様に、サンプリングされた信号ｆ_Ｓからの再構築は、以下の式（６）を使用して実施でき、

【数18】

ここで、サブ行列は、

【数19】

である。
行列Ｕ_ＶＲおよびＵ_ＳＲの次元を参照すると、

【数20】

が再構成の基本要件であることが簡単に分かる。

【0043】

上記のグラフ信号処理技術から、方位角値の第２セットの推定を詳細に検討することができる。計算された位相角と１以上のスパース３次元形状を使用して方位角値の第２セットが推定されることを思い出して、一実施態様では、１以上のハードウェアプロセッサ１０４は、ステップ２０３（ｉ）で、１以上のスパース３次元形状から、オブジェクトの第１領域に対応する方位角値の第１セットを識別する。

【0044】

一実施態様では、第１領域は、オブジェクトの特徴が豊富な領域を含む。当技術分野で知られているように、ＭＶＳ技術などの従来の技術は特徴の対応に基づいており、したがって、１以上のスパース３次元形状から、方位角値の第１セットを直接的に識別することができる。１以上のスパース３次元形状（図４を参照）から、方位角値（ラジアン単位）の第１セットは、0.7706および1.7507として識別され得る。

【0045】

本開示の一実施態様によれば、ステップ２０３（ｉｉ）において、１以上のハードウェアプロセッサ１０４は、計算された位相角を使用して、方位角値の第１セットと推定される方位角値の第２セットとの間の関係構造を含むグラフを構築する。提案された開示は、２つの観測を考慮した後のグラフの構築を容易にし、すなわち、偏光拡散反射または偏光正反射のみで、位相角場と方位角場の絶対変化は同義、つまり小さな近傍領域における各位相角値と方位角値との間の絶対角距離は類似しており；また、オブジェクトの反射タイプが変化すると、位相角場がπ／２だけ急激に変化する。

【0046】

計算された位相角と上記の２つの観測に基づいて、提案された開示はグラフの構築を容易にし、構築されたグラフは、方位角値の第２セットの各々の間の関係構造を効果的にキャプチャする。グラフを構築するプロセスを詳細に検討することができる。Ｎ_ｘ×Ｎ_ｙをキャプチャされた偏光画像サイズとし、Ｎ＝Ｎ_ｘＮ_ｙを画像内のピクセル数とする。一実施態様では、セットＶ＝｛１，２，…，Ｎ｝によってインデックス付けされたＮノードグラフが最初に構築され得る。ここで、任意の

【数21】

について、Φ_ｐはノードｐでの位相角を示し、さらに任意の２つのノード

【数22】

の間で、エッジの重みｗ_ｐｑは、以下の式（７）で計算され得る：

【数23】

ここで、関数は

【数24】

であり、
およびｄｉｓｔ（ｐ，ｑ）は、ピクセルｐとｑの位置間のユークリッド距離を示す。ｇ（Φ_ｐ，Φ_ｑ）は、２つの角度Φ_ｐとΦ_ｑの間の距離を計算し、反射タイプの変化による位相角π／２の変化に対して不変であることが容易にわかる。

【0047】

再び式（７）を参照すると、式（７）の係数ε_ｇおよびε_ｄが近傍領域を決定する。図５を参照して、例示的なシナリオを考慮すると、構築されたグラフの例を参照することができ、ノードはオブジェクトの第１領域を表す。

【0048】

本開示の一実施態様によれば、ステップ２０３（ｉｉｉ）で、１以上のハードウェアプロセッサ１０４は、構築されたグラフに対応するＧＦＴ行列を取得する。一実施態様では、再び式（７）を参照して、エッジ重みε_ｇおよびε_ｄを使用して、グラフラプラシアンＬ、ＧＦＴ行列Ｕなどのグラフの残りの属性を取得することができる。グラフ信号再構築技術を実行することにより、グラフラプラシアンＬ、ＧＦＴ行列Ｕ、およびその他の残りの属性を取得（または推定）することができる。例示的な実行では、図５において構築されたグラフを再び参照して、上記のグラフ信号処理技術を実行することにより、以下の表１に示されるように対応するＧＦＴ行列を取得することができる。

【表1】

【0049】

一実施態様では、１以上のハードウェアプロセッサ（１０４）は、方位角値の第２セットを推定するグラフ信号再構築技術を実行することにより、ＧＦＴ行列に線形変換を実施する。「Systems and methods for sampling and reconstruction of band-limited graph signals by a graph parity check matrix technique」というタイトルの、共同所有の同時係属中のインド出願「201821009840」に記載されているように、グラフ信号再構築技術は、グラフパリティチェック行列によってサンプリングされた信号の再構築を提供する。線形変換行列は、以下の表２に示すように、グラフ信号再構築技術を実行することで取得できる。

【表2】

【0050】

本開示の一実施態様によれば、ステップ２０３（ｉｖ）で、１以上のハードウェアプロセッサ１０４は、ＧＦＴ行列および方位角値の第１セットから、グラフ信号処理技術を実行することにより、オブジェクト表面の第２領域に対応する明確な方位角値を含む、方位角値の第２のセットを推定する。一実施態様では、第２領域は、方位角値の第２セットが推定されるオブジェクトの特徴が制限された領域を含む。図５の構築されたグラフを再び参照すると、ノード３、４、および５は第２領域を表す。

【0051】

上述のように、従来のシステムおよび方法は、π／２の曖昧性のみを解決するものであり、従来のシステムおよび方法はいずれも、πの曖昧性を解決するものではない。次に、方位角値の第２セットを推定するプロセスを詳細に検討することができる。

【0052】

一実施態様において、

【数25】

は、それぞれΦ＝［Φ_１，Φ_２，…，Φ_Ｎ］^Ｔおよびφ＝［φ_１，φ_２，…，φ_Ｎ］^Ｔとして表現され得る位相角および方位角のベクトルを示すとし、ここで、Φ_ｐと同様に、すべての

【数26】

に対して、φ_ｐは、ノードｐの方位角を示す。Φ、構築されたグラフ、および方位値の最初のセットを取得すると、問題（提案された開示によって解決される）は、方位値の第２第１を推定することである。

【0053】

本開示の実施態様によれば、ΦおよびφのＧＦＴは、

【数27】

として計算され得る。ΦはΦの曖昧な推定に過ぎないことを想起し、式（７）を使用して構築されたグラフエッジでは、

【数28】

および

【数29】

の両方が同じ滑らかさを持っていること、つまり、両方とも同じカットオフグラフの周波数ω、または文字

【数30】

を持っていることがわかる。Ｖ^＋は、信頼できる深度情報が得られるオブジェクトの領域の第１セット（つまり、特徴が豊富な領域）に対応する頂点のセットを表し、それにより、方位角値の第１セットが使用可能になる。

【0054】

グラフ信号Φ_Ｖ＋＋Ｃ_Φ、φ_Ｖ＋＋Ｃ_φは、グラフインデックス（または頂点のセット）Ｖ^＋にそれぞれ対応する位相角および方位角を示す。頂点のセットＶ^＋に対応する位相角は明確なので、Φ_Ｖ＋＝φ_Ｖ＋である。セットＶ^＋およびグラフ信号φ_Ｖ＋は、サンプリングセットＳおよびサンプリングされたグラフ信号ｆ_Ｓ（上記のグラフ信号処理技術で説明）に類似していることに注意されたく、このアナロジーから、サンプリングされた方位角φ_Ｖ＋および式（２）を使用して、次の式（８）に示すように、方位角信号（または方位角値の第２セット）を推定でき：

【数31】

ここで、Ｕ_Ｖ＋ＲはＵ_ＳＲと同様であり、セットＲは、上記のように

【数32】

であるため、ＧＦＴスペクトル

【数33】

を観察することによって見つけることができる。
さらに、カットオフグラフ周波数ωは、ＧＦＴスペクトルが正確に０に到達しないため、ＧＦＴスペクトル

【数34】

に閾値を設定することで決定できる。推定されたφは、πとπ／２の両方の曖昧性を解決する。さらに、上記のグラフ信号処理技術で説明したように、｜Ｖ^＋｜＞｜Ｒ｜は、φを推定するための基本的な要件で構成される。したがって、グラフを構築するステップは、方位角値の第２セットを推定するための位相角のグラフフーリエ変換（ＧＦＴ）スペクトルをグラフ信号処理技術によって表すことを含む。
実行例では、上記の表１のＧＦＴ行列および識別された値の第１セットから、方位角値の第２セット（ラジアン単位）は、1.9068、-2.0293および2.7394と推定され得る。さらに再び図５を参照すると、ＧＦＴスペクトル（ノード１およびノード２を含む）の例を参照することができる。

【0055】

本開示の一実施態様によれば、ステップ２０４で、１以上のハードウェアプロセッサ１０４は、推定された方位角値の第２セットと計算された位相角との比較に基づいて、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類する。一実施態様では、識別された方位角値の第１セットと推定された方位角値の第２セットとの組み合わせに基づいて比較を実施することができる。したがって、識別された方位角値の第１セットと推定された方位角値の第２セット（ラジアン）の組み合わせは以下を含むことができる：
0.7706、1.7507、1.9068、-2.2093、および2.7394;

【0056】

一実施態様では、比較は、例えば、方位角値の第１セットおよび方位角値の第２セットから計算された位相角を減算することにより実施され得る。実行例では、上記のステップ２０２（ｉｉ）で計算された位相角、すなわち、Φ＝0.9777、0.0896、0.5204、0.3205、および0.8261を考慮すると、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域を分類するための比較に基づいて以下の値のセットを取得でき得る：
-0.2071、1.6611、1.3864、-3.9205、および1.9132;
ここで、第１の値、つまり-0.2071は0.7706から0.09777を引くことによって取得され、第２の値1.6611は1.7507から0.0896を引くことなどによって取得される。

【0057】

上記の値のセットを参照すると、第２の値、第３の値、および第５の値がπ／２（つまり、１．５７）に近いため、第２のノード、第３のノード、および第５のノード（５つのエッジのセットを含むグラフで検討した場合）はπ／２に近いため、第２のノード、第３のノード、第５のノードは偏光正反射優勢領域として分類される一方で、第１のノードおよび第４のノードは偏光拡散反射優勢領域として分類され得る。最後に、第４のノードは、πの曖昧性が解決されることを示している。

【0058】

本開示の一実施態様によれば、ステップ２０５で、１以上のハードウェアプロセッサ１０４は、非線形最小二乗推定法を実行することで、オブジェクトの偏光正反射優勢領域および偏光拡散反射優勢領域の分類に基づいて、天頂角を推定し、天頂角は、偏光度とオブジェクト表面の屈折率との関数である。天頂角θは、式（３）または式（４）を使用して推定できる。

【0059】

当技術分野で知られているように、非線形最小二乗法は、ｍ個の観察を非線形な未知のｎ個（ｍ＞ｎ）のパラメーターのモデルにフィットさせる最小二乗分析の形式で使用する。これは非線形回帰のある種の形式として使用される。この手法の基礎はモデルを線形のもので近似し、逐次的繰り返しによって洗練していくことである。

【0060】

一般に、当技術分野で知られているように、天頂角（方位角および偏光度とともに）は、ピクセルの１以上の勾配の取得を容易にし、ピクセルの１以上の勾配は、プライマリおよびセカンダリ軸上のマルチビュー偏光画像のセットの深度の変化であり、プライマリおよびセカンダリ軸は、画像キャプチャデバイスを使用してキャプチャされた（マルチビュー偏光画像セットの中から）マルチビュー偏光画像に対応する水平および垂直軸を示す。一実施態様では、推定された天頂角は、オブジェクトの３次元表面（すなわち、高密度な３Ｄ表面）の再構築を促進する（以下のステップ２０６に示され議論される）。実行例では、天頂角はθ＝３５度（つまり、ラジアンで0.610）と推定される。

【0061】

本開示の一実施態様によれば、ステップ２０６で、方位角値の第２セットおよび天頂角を使用して、オブジェクトの高密度な３次元表面を再構築することができる。方位角値の第２セットおよび推定された天頂角を統合することにより、つまり（Φ、φ）を使用して、高密度の３次元表面の再構築は、既知の従来のシステムおよび方法のいずれかを使用して、たとえばIsocontour深度トレース技術によって実施できる。

【0062】

本開示の一実施態様によれば、提案された方法論の実行例（すなわち、グラフ信号処理技術による方位角値の第２セットの推定）、および従来のシステムおよび方法との比較がシミュレーション結果のセットを介して詳細に考慮され得る。提案された方法論は、ひとつのオブジェクト、つまり人工的なオブジェクトに対して執行された。 最初に、伝統的なシステムと技術を使用して天頂角と方位角の両方が推定（または計算）され、５つの異なる偏光角、つまり{0、30、60、90、120}に対応する５つの偏光画像が取得される。さらに、位相角Φは、式（１）を解くことにより、すべてのポイントで（つまり、５つの隣接ポイントのセット各々に）計算された。

【0063】

計算された位相角Φを使用して、ε_ｇ＝π／６およびε_ｄ＝１０を想定することにより、上記のグラフ信号処理技術によってグラフを構築できる。さらに、構築されたグラフに対応するＧＦＴ行列は、グラフ信号処理技術を実行することにより取得され得る。図６Ａを参照すると、グラフ周波数λに関する実際の方位角（すなわち、グランドトゥルース方位角）のグラフフーリエスペクトルのゲイン線図を参照することができる。さらに図６Ｂを参照すると、グラフ周波数λに関する計算された位相角のグラフフーリエスペクトルのゲイン線図を参照することができる。

【0064】

再び図６を参照すると、位相角と識別された方位角値の第１セットおよび推定された方位角値の第２セットの組み合わせとは、構築されたグラフでキャプチャされた同一の帯域制限を持ち、同一の帯域制限は、組み合わされた方位角値の第１セットと方位角値の第２セットの各々の間の最適な表現（つまり、適切にキャプチャされた関係構造）を表す。

【0065】

したがって、Φを使用し、ＧＦＴスペクトルから、１以上のハードウェアプロセッサ１０４は、カットオフグラフ周波数を選択して方位角値の第２セットを推定し、カットオフグラフ周波数は構築されたグラフに対応する。再び図６を参照すると、５０のグラフ周波数の後、大きさは無視できるようになるため、カットオフグラフ周波数はω＝５０、および対応する｜Ｒ｜＝７０として選択される。

【0066】

さらに、サンプリングセット｜Ｖ^＋｜（上記のグラフ信号処理技術で説明したように）は、１００（約１３％）として選択でき、サンプリングセット｜Ｖ^＋｜のグラフインデックスは、ランダムに選択できる。これらの位置では、実際の方位角が既知であると想定され（上記のように）、式（８）を使用することにより、人工的なオブジェクトの特徴が制限された領域の方位角値の第２セットが推定される。

【0067】

本開示の一実施態様によれば、提案された方法論と従来のシステムおよび方法との比較を詳細に検討することができ、比較により偏光正反射優勢領域および偏光拡散優勢領域の分類が容易になる。シミュレーションおよび分類のために、図７Ａに示すように、偏光正反射優勢領域と偏光拡散優勢領域の両方が、チェッカーパターンで１以上のハードウェアプロセッサ１０４によって最初に生成された。再び図７Ａを参照すると、白に対応する領域は偏光正反射優勢を示し、黒に対応する領域は偏光拡散優勢を示す。

【0068】

１以上のハードウェアプロセッサ１０４は、複数の明確な位置について７０個のサンプル（すなわち、サンプルの約９％）をさらに選択する。図７Ｂ〜７Ｃを参照すると、提案された方法論を実行することにより、および従来のシステムおよび方法（例えば、ＰＭＳ技術）を実行することにより取得された結果の分類が参照され得る。再び図７Ｂ〜７Ｃを参照すると、サンプルの数が等しい場合、提案された方法論は、従来のシステムおよび方法と比較して、より良い分類を実施することに留意されたい。

【0069】

提案された開示の実施態様によれば、高密度な３次元表面再構築のための提案されたグラフ信号処理技術の利点がここで考慮され得る。ステップ２０１〜２０６で説明したように、提案された方法論では、πとπ／２の曖昧性を別々に解決できる。また、図７Ａ〜７Ｃを再び参照すると、提案された方法論は、従来のシステムおよび方法のいくつか、例えばラベル伝播アプローチと比較して、π／２の曖昧性の解決において著しい改善を示す。

【0070】

特徴が制限された領域に対応する方位角値の推定時に（つまり、オブジェクトの第２領域の値の第２セットを推定することにより）、従来のシステムおよび方法のいずれかを実行して、スパースオブジェクトの高密度な深度を再構築できる。最後に、上記のシミュレーション結果を介して示されるように、提案された方法論は、特徴が制限された領域で方位角値を推定するために、オブジェクトの特徴が豊富な領域からの非常に少数のサンプルを必要とする（従来のシステムおよび方法と比較して）。

【0071】

一実施態様では、メモリ１０２は、グラフ信号処理技術を使用してオブジェクトの高密度な表面の再構築に関連する任意のデータを格納するように構成することができる。一実施態様では、複数のマルチビュー偏光画像、１以上のスパース３次元形状、偏光度および位相角、方位角値の第１セット、構築されたグラフ、および方位角値の第２セットなどは、メモリ１０２に格納される。さらに、グラフ信号処理技術を使用したオブジェクトの高密度な表面の再構築に関するすべての情報（入力、出力など）は、参照目的で履歴データとしてデータベースに保存することもできる。

【0072】

書面による説明は、当業者が実施態様を作成および使用できるようにするために、本明細書の主題を説明する。主題の実施態様の範囲は、特許請求の範囲によって定義され、当業者が思い付く他の修正を含むことができる。かかる他の修正は、クレームのリテラル言語と異ならない類似の要素を持っている場合、またはクレームのリテラル言語と実質的な違いのない同等の要素を含む場合、クレームの範囲内にあることを意図している。

【0073】

本明細書の本開示の実施態様は、グラフ信号処理技術を実行することによりπの曖昧性を解決する未解決の問題に対処する。したがって、実施態様は、πの曖昧性を解決することにより、高密度な表面の再構築を提供する。さらに、本明細書の実施態様は、推定された方位角値の第２セットと位相角との比較に基づいて、偏光正反射優勢領域および偏光拡散反射優勢領域の分類をさらに提供する。

【0074】

保護範囲は、そのようなプログラムに拡張され、その中にメッセージを含むコンピュータ可読手段に加えられることを理解されたい。そのようなコンピュータ可読記憶手段は、プログラムがサーバまたはモバイルデバイスまたは任意の適切なプログラム可能なデバイスで実行されるときに、方法の１以上のステップを実施するためのプログラムコード手段を含む。ハードウェアデバイスは、例えば、サーバまたはパーソナルコンピュータなどのようなあらゆる種類のコンピュータ、またはそれらの任意の組み合わせを含む、プログラム可能なあらゆる種類のデバイスであり得る。ハードウェアデバイスは、例えば、サーバまたはパーソナルコンピュータなどのようなあらゆる種類のコンピュータ、またはそれらの任意の組み合わせを含む、プログラム可能なあらゆる種類のデバイスであり得る。デバイスは、例えば、ハードウェア手段、例えば、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、もしくは、たとえば、ASICおよびFPGA、または少なくとも１つのマイクロプロセッサと少なくとも１つのメモリとソフトウェアモジュールが配置されているハードウェア手段とソフトウェア手段の組み合わせであり得る手段も含み得る。したがって、手段はハードウェア手段とソフトウェア手段の両方を含むことができる。本明細書で説明される方法の実施態様は、ハードウェアおよびソフトウェアで実行され得る。デバイスにはソフトウェア手段も含まれる場合がある。あるいは、実施形態は、異なるハードウェアデバイス、例えば、複数のＣＰＵを使用して実行され得る。

【0075】

本明細書の実施態様は、ハードウェア要素およびソフトウェア要素を含むことができる。ソフトウェアに実行される実施態様は、ファームウェア、常駐ソフトウェア、マイクロコードなどを含むが、これらに限定されない。本明細書で説明される様々なモジュールによって実施される関数は、他のモジュールまたは他のモジュールの組み合わせによって実施されてもよい。この説明の目的のために、コンピュータ使用可能またはコンピュータ読み取り可能な媒体は、命令執行システム、装置、またはデバイスによって、またはそれらに関連して使用するプログラムを含む、格納する、通信する、伝播する、または転送することができる任意の装置であり得る。

【0076】

図示されたステップは、示された例示的な実施態様を説明するために提示されており、進行中の技術開発が特定の関数が実施される方法を変えることが予想される。これらの例は、限定ではなく、例示の目的でここに提示されている。さらに、機能的構成要素の境界は、説明の便宜上、本明細書で任意に定義されている。指定された関数とその関係が適切に実施される限り、代替の境界を定義できる。本明細書に含まれる教示に基づいて、代替物（本明細書に記載されるものの均等物、拡張、変形、逸脱などを含む）は、関連技術の当業者には明らかであろう。かかる代替物は、開示された実施態様の範囲および精神に含まれる。また、「含む（comprising）」、「有する（having）」、「含有する（containing）」、および「含む（including）」などの単語およびその他の類似の形式は、意味が同等であり、これらの単語のいずれか１以上に続く項目が無制限であることを意味するそのようなアイテムの完全なリストであること、またはリストされたアイテムのみに限定されることを意味する。また、本明細書および添付の特許請求の範囲で使用される単数形「a」、「an」、および「the」は、文脈がそうでないことを明確に示さない限り、複数の参照を含むことに留意しなければならない。

【0077】

さらに、本開示と一致する実施態様を実行する際に、１以上のコンピュータ可読記憶媒体を使用することができる。コンピュータで読み取り可能な記憶媒体とは、プロセッサで読み取り可能な情報またはデータを格納できる任意のタイプの物理メモリを指す。したがって、コンピュータ可読記憶媒体は、本明細書に記載の実施態様と一致するステップまたは段階をプロセッサに執行させるための命令を含む、１以上のプロセッサによる実行のための命令を格納し得る。「コンピュータ可読媒体」という用語は、有形のアイテムを含み、搬送波と一時的な信号、つまり一時的でないものを除外すると理解されるべきである。例には、ランダムアクセスメモリ（RAM）、読み取り専用メモリ（ROM）、揮発性メモリ、不揮発性メモリ、ハードドライブ、CD ROM、DVD、フラッシュドライブ、ディスク、およびその他の既知の物理記憶媒体が含まれる。

【0078】

開示および実施例は例示としてのみ考慮されることを意図しており、開示された実施態様の真の範囲および精神は添付の特許請求の範囲によって示される。

【図1】

【図2A】

【図2B】

【図2C】

【図3A-3B】

【図3C】

【図4】

【図5】

【図6A】

【図6B】

【図7A-7C】

【外国語明細書】

2020061130000001.pdf