▶ ボストン ポーラリメトリックス，インコーポレイティドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-20
(54)【発明の名称】偏光による面法線計測のためのシステム及び方法
(51)【国際特許分類】
G01B 11/24 20060101AFI20221213BHJP
G01N 21/21 20060101ALI20221213BHJP
G01N 21/27 20060101ALI20221213BHJP
H04N 5/232 20060101ALI20221213BHJP
H04N 5/225 20060101ALI20221213BHJP
【ＦＩ】
G01B11/24 K
G01N21/21 Z
G01N21/27 A
H04N5/232 290
H04N5/225 400
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022521137
(86)(22)【出願日】2020-10-07
(85)【翻訳文提出日】2022-06-07
(86)【国際出願番号】 US2020054645
(87)【国際公開番号】W WO2021071995
(87)【国際公開日】2021-04-15
(31)【優先権主張番号】62/911,952
(32)【優先日】2019-10-07
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/942,113
(32)【優先日】2019-11-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/001,445
(32)【優先日】2020-03-29
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522106248
【氏名又は名称】ボストン ポーラリメトリックス，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100196601
【弁理士】
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】アチュタ カダンビ
(72)【発明者】
【氏名】カルティク ベンカタラマン
(72)【発明者】
【氏名】スプリース クリシュナ ラオ
(72)【発明者】
【氏名】アガストヤ カルラ
【テーマコード（参考）】
2F065
2G059
5C122
【Ｆターム（参考）】
2F065AA35
2F065AA53
2F065BB05
2F065FF04
2F065FF49
2F065JJ03
2F065JJ26
2F065LL34
2F065QQ21
2F065QQ28
2G059AA03
2G059AA05
2G059BB10
2G059JJ19
2G059KK04
2G059MM09
2G059MM10
5C122DA13
5C122EA67
5C122FA04
5C122FA18
5C122FB17
5C122FH11
5C122HA48
5C122HB01
(57)【要約】
面プロフィロメトリを実行する方法は、付加製造される物理的物体の印刷層の、１つ又は複数の偏光カメラによって異なる偏光において捕捉される１つ又は複数の偏光の生フレームを受信することと、当該１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、当該印刷層の粗層深度マップを取得することと、当該粗層深度マップ及び当該１つ又は複数の偏光フィーチャマップに基づいて１つ又は複数の面法線画像を生成することと、当該１つ又は複数の面法線画像に基づいて当該印刷層の３Ｄ復元物を生成することと、を含む、
【選択図】図１Ａ
【選択図】図１Ａ
【特許請求の範囲】
【請求項1】
付加製造される物理的物体の印刷層の、１つ又は複数の偏光カメラによって異なる偏光において捕捉される１つ又は複数の偏光の生フレームを受信することと、前記１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、
前記印刷層の粗層深度マップを取得することと、
前記粗層深度マップ及び前記１つ又は複数の偏光フィーチャマップに基づいて１つ又は複数の面法線画像を生成することと、
前記１つ又は複数の面法線画像に基づいて前記印刷層の３Ｄ復元物を生成することと、を含む、面プロフィロメトリを実行する方法。
【請求項2】
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の偏光フィーチャマップが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を備える、請求項１に記載の方法。
【請求項3】
前記１つ又は複数の偏光カメラが、前記物理的物体の前記印刷層が存在する印刷ベッドの第１の区画を捕捉するように構成された第１の偏光カメラと、
前記第１の偏光カメラから離れた位置にあり、前記印刷ベッドの第２の区画を捕捉するように構成された第２の偏光カメラと、を備える、請求項１に記載の方法。
【請求項4】
前記印刷層の前記粗層深度マップを前記取得することが、前記第１及び第２の偏光カメラによって捕捉された偏光の生フレーム間の視差シフトに基づいて、前記粗層深度マップを構築することを含む、請求項３に記載の方法。
【請求項5】
前記印刷層の前記粗層深度マップを前記取得することが、前記物理的物体の前記印刷層に対応するコンピュータ支援設計（ＣＡＤ）層モデルを受信することを含む、請求項１に記載の方法。
【請求項6】
前記１つ又は複数の面法線画像を前記生成することが、前記１つ又は複数の偏光カメラの各々に対する前記印刷層のポーズを決定することと、
前記粗層深度マップを前記１つ又は複数の偏光カメラに対応する１つ又は複数のカメラ空間に変換して、１つ又は複数の変換された粗層深度マップを生成することと、
前記１つ又は複数の変換された粗層深度マップに基づいて、前記１つ又は複数の面法線画像を補正することと、を含む、請求項１に記載の方法。
【請求項7】
前記印刷層の前記３Ｄ復元物を前記生成することが、前記サンプル空間上で前記１つ又は複数の面法線画像の面法線を積分して、前記印刷層の面形状を決定することを含む、請求項１に記載の方法。
【請求項8】
異なる偏光において偏光の生フレームを捕捉するように構成された、偏光フィルタを備える１つ又は複数の偏光カメラと、プロセッサと、メモリであって、前記プロセッサによって実行されると、前記プロセッサに対して、
付加製造される物理的物体の印刷層の、１つ又は複数の偏光カメラによって異なる偏光において捕捉される１つ又は複数の偏光の生フレームを受信することと、
前記１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、
前記印刷層の粗層深度マップを取得することと、
前記粗層深度マップ及び前記１つ又は複数の偏光フィーチャマップに基づいて１つ又は複数の面法線画像を生成することと、
前記１つ又は複数の面法線画像に基づいて前記印刷層の３Ｄ復元物を生成することと、を実行するように仕向ける命令を記憶するメモリと、を備える処理システムと、を備える、面プロフィロメトリシステム。
【請求項9】
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の偏光フィーチャマップが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を備える、請求項８に記載の面プロフィロメトリシステム。
【請求項10】
前記１つ又は複数の偏光カメラが、前記物理的物体の前記印刷層が存在する印刷ベッドの第１の区画を捕捉するように構成された第１の偏光カメラと、
前記第１の偏光カメラから離れた位置にあり、前記印刷ベッドの第２の区画を捕捉するように構成された第２の偏光カメラと、を備える、請求項８に記載の面プロフィロメトリシステム。
【請求項11】
前記印刷層の前記粗層深度マップを前記取得することが、前記第１及び第２の偏光カメラによって捕捉された偏光の生フレーム間の視差シフトに基づいて、前記粗層深度マップを構築することを含む、請求項９に記載の面プロフィロメトリシステム。
【請求項12】
前記印刷層の前記粗層深度マップを前記取得することが、前記物理的物体の前記印刷層に対応するコンピュータ支援設計（ＣＡＤ）層モデルを受信することを含む、請求項８に記載の面プロフィロメトリシステム。
【請求項13】
前記１つ又は複数の面法線画像を前記生成することが、前記１つ又は複数の偏光カメラの各々に対する前記印刷層のポーズを決定することと、
前記粗層深度マップを前記１つ又は複数の偏光カメラに対応する１つ又は複数のカメラ空間に変換して、１つ又は複数の変換された粗層深度マップを生成することと、
前記１つ又は複数の変換された粗層深度マップに基づいて、前記１つ又は複数の面法線画像を補正することと、を含む、請求項８に記載の面プロフィロメトリシステム。
【請求項14】
前記印刷層の前記３Ｄ復元物を前記生成することが、前記サンプル空間上で前記１つ又は複数の面法線画像の面法線を積分して、前記印刷層の面形状を決定することを含む、請求項８に記載の面プロフィロメトリシステム。
【請求項15】
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、前記印刷層の３Ｄ復元物を、制御フィードバックとして、３Ｄ印刷システムに提供することをさらに実行するように仕向ける命令を記憶し、
前記３Ｄ印刷システムが前記物理的な物体を層ごとに付加製造するように構成された、請求項８に記載の面プロフィロメトリシステム。
【請求項16】
前記１つ又は複数の偏光カメラ、前記処理システム、及び前記３Ｄ印刷システムの動作が、同期信号を介して同期される、請求項１５に記載の面プロフィロメトリシステム。
【請求項17】
顔から離れた位置の偏光カメラによって異なる偏光において捕捉される、前記顔の１つ又は複数の偏光の生フレームを受信することと、前記１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、
顔復元ニューラルネットワークを介して前記１つ又は複数の偏光フィーチャマップに基づいて前記顔の３Ｄ復元物を生成することと、を含む、顔の３Ｄ画像を捕捉する方法。
【請求項18】
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の偏光フィーチャマップが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を備える、請求項１７に記載の方法。
【請求項19】
前記１つ又は複数の偏光フィーチャマップが、推定済み面法線を備え、前記１つ又は複数の偏光フィーチャマップを前記抽出することが、
前記１つ又は複数の偏光の生フレームに基づいて前記推定済み面法線を生成することを含む、請求項１７に記載の方法。
【請求項20】
前記顔復元ニューラルネットワークが、前記推定済み面法線に基づいて補正済み面法線を計算し、前記補正済み面法線に基づいて前記顔の前記３Ｄ復元物を生成するように訓練される、請求項１９に記載の方法。
【請求項21】
前記顔復元ニューラルネットワークが、訓練済み偏光畳み込みニューラルネットワーク（ＣＮＮ）を備える、請求項１７に記載の方法。
【請求項22】
異なる偏光において１つ又は複数の偏光の生フレームを捕捉するように構成された、偏光フィルタを備える偏光カメラと、プロセッサと、メモリであって、前記プロセッサによって実行されると、前記プロセッサに対して、
前記偏光カメラによって異なる光の偏光において捕捉される、前記顔の１つ又は複数の偏光の生フレームを受信することと、
前記１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、
顔復元ニューラルネットワークを介して前記１つ又は複数の偏光フィーチャマップに基づいて顔の３Ｄ復元物を生成することと、を実行するように仕向ける命令を記憶するメモリと、を含む処理システムと、を備える、顔の３Ｄ画像を捕捉するための３Ｄ撮像システム。
【請求項23】
前記１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を備える、請求項２２に記載の３Ｄ撮像システム。
【請求項24】
前記１つ又は複数の偏光フィーチャマップが、推定済み面法線を備え、前記１つ又は複数の偏光フィーチャマップを前記抽出することが、
前記１つ又は複数の偏光の生フレームに基づいて前記推定済み面法線を生成することを含む、請求項２２に記載の３Ｄ撮像システム。
【請求項25】
前記顔復元ニューラルネットワークが、前記推定済み面法線に基づいて補正済み面法線を計算し、前記補正済み面法線に基づいて前記顔の前記３Ｄ復元物を生成するように訓練される、請求項８に記載の３Ｄ撮像システム。
【請求項26】
前記顔復元ニューラルネットワークが、訓練済み偏光畳み込みニューラルネットワーク（ＣＮＮ）を備える、請求項２２に記載の３Ｄ撮像システム。
【請求項27】
偏光カメラによって異なる偏光において捕捉される、顔の１つ又は複数の偏光の生フレームを受信することと、前記１つ又は複数の偏光の生フレームから推定済み偏光キューを抽出することと、
前記推定済み偏光キューに基づいて推定済み面法線を生成することと、
前記顔の初期粗深度マップを生成することと、
前記推定済み偏光キュー及び前記初期粗深度マップを洗練して洗練済み偏光キュー及び洗練済み深度マップを生成することと、
前記洗練済み偏光キュー及び前記洗練済み深度マップに基づいて補正済み面法線を生成することと、
前記補正済み面法線に基づいて前記顔の３Ｄ復元物を生成することと、を含む、顔の３Ｄ画像を捕捉する方法。
【請求項28】
前記顔の前記初期粗深度マップを生成することが、前記顔の２Ｄカラー画像を受信することと、
前記顔の２Ｄカラー画像に基づいて前記初期粗深度マップを計算することと、を含む、請求項２７に記載の方法。
【請求項29】
前記顔の前記初期粗深度マップを前記生成することが、普通の人間の顔の３Ｄモデルを受信することと、
前記普通の人間の顔の前記３Ｄモデルに基づいて前記初期粗深度マップを生成することと、を含む、請求項２７に記載の方法。
【請求項30】
前記推定済み面法線及び前記補正済み面法線を訓練データのセットとして顔復元ニューラルネットワークに提供することをさらに含む、請求項２７に記載の方法。
【請求項31】
面法線画像の各ピクセルについての面法線情報を含む、物体に対応する面法線画像を受信することと、前記面法線画像に基づいて予測を計算することと、を含む、予測を計算する方法。
【請求項32】
前記面法線画像のピクセルの赤色値、緑色値、及び青色値が、前記ピクセルにおける前記物体の面法線のｘ軸成分、ｙ軸成分、及びｚ軸成分を符号化する、請求項３１に記載の方法。
【請求項33】
前記ピクセルの前記赤色、緑色及び青色値が、それぞれ、前記ピクセルにおける前記物体の前記面法線の前記ｘ軸成分、前記ｙ軸成分、及び前記ｚ軸成分である、請求項３２に記載の方法。
【請求項34】
前記予測が確率ベクトルであり、前記予測を計算することが、前記面法線画像を訓練済み分類装置に供給することを含み、
前記訓練済み分類装置が、前記面法線画像の画像特性を識別し、前記確率ベクトルを出力するように構成され、前記確率ベクトルの各要素が、可能な画像特性の１つに対応する確率値である、請求項３１に記載の方法。
【請求項35】
前記訓練済み分類装置が、可能な画像特性に対応する複数の統計モデルを備える、請求項３４に記載の方法。
【請求項36】
前記画像特性が、表情又は物体のタイプを含む、請求項３４に記載の方法。
【請求項37】
物体が、車両、顔、又は身体を含む、請求項３１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年１０月７日に米国特許商標庁に出願された米国特許仮出願第６２／９１１，９５２号、２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号、及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に対する優先権及びその利益を主張し、当該仮出願は、その開示内容全体を参照により本明細書に援用される。
本出願は、２０１９年１０月７日に米国特許商標庁に出願された米国特許仮出願第６２／９１１，９５２号、２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号、及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に対する優先権及びその利益を主張し、当該仮出願は、その開示内容全体を参照により本明細書に援用される。
【0002】
本開示の実施形態の態様は、概ね、画像センサ並びに画像センサを使用する処理システム及び方法に関する。
【背景技術】
【0003】
レーダ、ライダ、カメラ（例えば、可視光及び／又は赤外線カメラ）、及び同種のものなどのセンサシステム及び撮像システムは、電磁放射と環境との相互作用によって環境内の物体及びフィーチャを検出する。例えば、カメラシステム及びライダシステムは、シーン内又は環境内の物体から反射された光を検出する。同様に、レーダシステムは、低周波電磁波（例えば、無線周波数又はマイクロ波周波数）を送信し、それらの信号の反射に基づいて物体の特性を決定する。その他のセンサシステムは、超音波撮像の場合、圧力波又は音波などのその他の形態の放射線を使用できる。
【0004】
この背景技術の部に開示されている上記情報は、本開示の理解を促進することのみを目的とし、したがって、当業者には周知の従来技術を形成しない情報を含む可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の実施形態の態様は、偏光を用いた、センサシステム及び撮像システムの増強のためのシステム及び方法に関する。本開示の実施形態のいくつかの態様によれば、受信された電磁放射の偏光を検出するように構成されたセンサが、例えば、光の偏光に関わらず光の強度を検出するように構成されたカメラなどの、その他の撮像モダリティの性能又は性状を増強するために使用される。本開示の実施形態のいくつかの態様では、受信された電磁放射の偏光を検出するように構成されたセンサが、他の手段としてはディジタルカメラなどの比較撮像システムを用いて形成される画像を形成するために使用される。本開示の実施形態のいくつかの態様は、光の偏光を検出するように構成されたカメラシステムに関する。
【課題を解決するための手段】
【0006】
本発明のいくつかの実施形態によれば、付加製造される物理的物体の印刷層の、１つ又は複数の偏光カメラによって異なる偏光において捕捉される１つ又は複数の偏光の生フレームを受信することと、１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、印刷層の粗層深度マップを取得することと、粗層深度マップ及び１つ又は複数の偏光フィーチャマップに基づいて１つ又は複数の面法線画像を生成することと、１つ又は複数の面法線画像に基づいて印刷層の３Ｄ復元物を生成することと、を含む、面プロフィロメトリを実行する方法が提供される。
【0007】
いくつかの実施形態では、１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を含む。
【0008】
いくつかの実施形態では、１つ又は複数の偏光カメラは、物理的物体の印刷層が存在する印刷ベッドの第１の区画を捕捉するように構成された第１の偏光カメラと、第１の偏光カメラから離れた位置にあり、印刷ベッドの第２の区画を捕捉するように構成された第２の偏光カメラと、を含む。
【0009】
いくつかの実施形態では、印刷層の粗層深度マップを取得することは、第１及び第２の偏光カメラによって捕捉された偏光の生フレーム間の視差シフトに基づいて、粗層深度マップを構築することを含む。
【0010】
いくつかの実施形態では、印刷層の粗層深度マップを取得することは、物理的物体の印刷層に対応するコンピュータ支援設計（ＣＡＤ）層モデルを受信することを含む。
【0011】
いくつかの実施形態では、１つ又は複数の面法線画像を生成することは、１つ又は複数の偏光カメラの各々に対する印刷層のポーズを決定することと、粗層深度マップを１つ又は複数の偏光カメラに対応する１つ又は複数のカメラ空間に変換して、１つ又は複数の変換された粗層深度マップを生成することと、１つ又は複数の変換された粗層深度マップに基づいて、１つ又は複数の面法線画像を補正することと、を含む。
【0012】
いくつかの実施形態では、印刷層の３Ｄ復元物を生成することは、サンプル空間上で１つ又は複数の面法線画像の面法線を積分して、印刷層の面形状を決定することを含む。
【0013】
本発明のいくつかの実施形態によれば、異なる偏光において偏光の生フレームを捕捉するように構成された、偏光フィルタを備える１つ又は複数の偏光カメラと、プロセッサと、メモリであって、当該プロセッサによって実行されると、当該プロセッサに対して、付加製造される物理的物体の印刷層の、１つ又は複数の偏光カメラによって異なる偏光において捕捉される１つ又は複数の偏光の生フレームを受信することと、１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、印刷層の粗層深度マップを取得することと、粗層深度マップ及び１つ又は複数の偏光フィーチャマップに基づいて１つ又は複数の面法線画像を生成することと、１つ又は複数の面法線画像に基づいて印刷層の３Ｄ復元物を生成することと、を実行するように仕向ける命令を記憶するメモリと、を含む処理システムと、を含む、面プロフィロメトリシステムが提供される。
【0014】
いくつかの実施形態では、１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を含む。
【0015】
いくつかの実施形態では、１つ又は複数の偏光カメラは、物理的物体の印刷層が存在する印刷ベッドの第１の区画を捕捉するように構成された第１の偏光カメラと、第１の偏光カメラから離れて配置され、印刷ベッドの第２の区画を捕捉するように構成された第２の偏光カメラと、を含む。
【0016】
いくつかの実施形態では、印刷層の粗層深度マップを取得することは、第１及び第２の偏光カメラによって捕捉された偏光の生フレーム間の視差シフトに基づいて、粗層深度マップを構築することを含む。
【0017】
いくつかの実施形態では、印刷層の粗層深度マップを取得することは、物理的物体の印刷層に対応するコンピュータ支援設計（ＣＡＤ）層モデルを受信することを含む。
【0018】
いくつかの実施形態では、１つ又は複数の面法線画像を生成することは、１つ又は複数の偏光カメラの各々に対する印刷層のポーズを決定することと、粗層深度マップを１つ又は複数の偏光カメラに対応する１つ又は複数のカメラ空間に変換して、１つ又は複数の変換された粗層深度マップを生成することと、１つ又は複数の変換された粗層深度マップに基づいて、１つ又は複数の面法線画像を補正することと、を含む。
【0019】
いくつかの実施形態では、印刷層の３Ｄ復元物を生成することは、サンプル空間上で１つ又は複数の面法線画像の面法線を積分して、印刷層の面形状を決定することを含む。
【0020】
いくつかの実施形態では、メモリは、プロセッサによって実行されると、プロセッサに対して、印刷層の３Ｄ復元物を、制御フィードバックとして、３Ｄ印刷システムに提供することをさらに実行するように仕向ける命令を記憶し、３Ｄ印刷システムは物理的な物体を層ごとに付加製造するように構成されている。
【0021】
いくつかの実施形態では、１つ又は複数の偏光カメラ、処理システム、及び３Ｄ印刷システムの動作は、同期信号を介して同期される。
【0022】
本発明のいくつかの実施形態によれば、顔から離れた位置の偏光カメラによって異なる偏光において捕捉される、顔の１つ又は複数の偏光の生フレームを受信することと、１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、顔復元ニューラルネットワークを介して１つ又は複数の偏光フィーチャマップに基づいて顔の３Ｄ復元物を生成することと、を含む、顔の３Ｄ画像を捕捉する方法が提供される。
【0023】
いくつかの実施形態では、１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を含む。
【0024】
いくつかの実施形態では、１つ又は複数の偏光フィーチャマップは、推定済み面法線を含み、１つ又は複数の偏光フィーチャマップを抽出することは、１つ又は複数の偏光の生フレームに基づいて推定済み面法線を生成することを含む。
【0025】
いくつかの実施形態では、顔復元ニューラルネットワークは、推定済み面法線に基づいて補正済み面法線を計算し、補正済み面法線に基づいて顔の３Ｄ復元物を生成するように訓練される。
【0026】
いくつかの実施形態では、顔復元ニューラルネットワークは、訓練済み偏光畳み込みニューラルネットワーク（ＣＮＮ）を含む。
【0027】
本発明のいくつかの実施形態によれば、異なる偏光において１つ又は複数の偏光の生フレームを捕捉するように構成された、偏光フィルタを含む偏光カメラと、プロセッサと、メモリであって、プロセッサによって実行されると、プロセッサに対して、偏光カメラによって異なる光の偏光において捕捉される、顔の１つ又は複数の偏光の生フレームを受信することと、１つ又は複数の偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップを抽出することと、顔復元ニューラルネットワークを介して１つ又は複数の偏光フィーチャマップに基づいて顔の３Ｄ復元物を生成することと、を実行するように仕向ける命令を記憶するメモリと、を含む処理システムと、を含む、顔の３Ｄ画像を捕捉するための３Ｄ撮像システムが提供される。
【0028】
いくつかの実施形態では、１つ又は複数の偏光表現空間内の１つ又は複数の偏光フィーチャマップは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を含む。
【0029】
いくつかの実施形態では、１つ又は複数の偏光フィーチャマップは、推定済み面法線を含み、１つ又は複数の偏光フィーチャマップを抽出することは、１つ又は複数の偏光の生フレームに基づいて、推定済み面法線を生成することを含む。
【0030】
いくつかの実施形態では、顔復元ニューラルネットワークは、推定済み面法線に基づいて補正済み面法線を計算し、補正済み面法線に基づいて顔の３Ｄ復元物を生成するように訓練される。
【0031】
いくつかの実施形態では、顔復元ニューラルネットワークは、訓練済み偏光畳み込みニューラルネットワーク（ＣＮＮ）を含む。
【0032】
本発明のいくつかの実施形態によれば、偏光カメラによって異なる偏光において捕捉される、顔の１つ又は複数の偏光の生フレームを受信することと、１つ又は複数の偏光の生フレームから推定済み偏光キューを抽出することと、推定済み偏光キューに基づいて推定済み面法線を生成することと、顔の初期粗深度マップを生成することと、推定済み偏光キュー及び初期粗深度マップを洗練して洗練済み偏光キュー及び洗練済み深度マップを生成することと、洗練済み偏光キュー及び洗練済み深度マップに基づいて補正済み面法線を生成することと、補正済み面法線に基づいて顔の３Ｄ復元物を生成することと、を含む、顔の３Ｄ画像を捕捉する方法が提供される。
【0033】
いくつかの実施形態では、顔の初期粗深度マップを生成することは、顔の２Ｄカラー画像を受信することと、顔の２Ｄカラー画像に基づいて初期粗深度マップを計算することと、を含む。
【0034】
いくつかの実施形態では、顔の初期粗深度マップを生成することは、普通の人間の顔の３Ｄモデルを受信することと、普通の人間の顔の３Ｄモデルに基づいて初期粗深度マップを生成することと、を含む。
【0035】
いくつかの実施形態では、この方法は、推定済み面法線及び補正済み面法線を訓練データのセットとして顔復元ニューラルネットワークに提供することをさらに含む。
【0036】
本発明のいくつかの実施形態によれば、面法線画像の各ピクセルについての面法線情報を含む、物体に対応する面法線画像を受信することと、面法線画像に基づいて予測を計算することと、を含む、予測を計算する方法が提供される。
【0037】
いくつかの実施形態では、面法線画像のピクセルの赤色値、緑色値、及び青色値は、ピクセルにおける物体の面法線のｘ軸成分、ｙ軸成分、及びｚ軸成分を符号化する。
【0038】
いくつかの実施形態では、ピクセルの赤色、緑色及び青色値は、それぞれ、ピクセルにおける物体の面法線のｘ軸成分、ｙ軸成分及びｚ軸成分である。
【0039】
いくつかの実施形態では、予測は確率ベクトルであり、予測を計算することは、面法線画像を訓練済み分類装置に供給することを含み、訓練済み分類装置は、面法線画像の画像特性を識別し、確率ベクトルを出力するように構成され、確率ベクトルの各要素は、可能な画像特性の１つに対応する確率値である。
【0040】
いくつかの実施形態では、訓練済み分類装置は、可能な画像特性に対応する複数の統計モデルを含む。
【0041】
いくつかの実施形態では、画像特性は、表情又は物体のタイプを含む。
【0042】
いくつかの実施形態では、物体は、車両、顔、又は身体を含む。
【0043】
添付図面は、本明細書と併せて、本開示の好ましい実施形態を示し、明細書と併せて、本開示の原理を説明するのに役立つ。
【図面の簡単な説明】
【0044】
【図1A】本発明のいくつかの実施形態に係る偏光カメラを使用するシステムの概略ブロック図である。
【図1B】本開示のいくつかの実施形態に係る偏光カメラモジュールの斜視図である。
【図1C】本開示の一実施形態に係る偏光カメラモジュールの一部の断面図である。
【図1D】本開示の一実施形態に係るステレオ偏光カメラシステムの斜視図である。
【図2A】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。
【図2B】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。
【図2C】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。
【図2D】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。
【図3】透明な物体と非透明な物体との光の相互作用の高レベル表現の図である。
【図4】本開示の一実施形態に係る、視差の曖昧さの下で偏光キューを推定するための方法のフローチャートである。
【図5A】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの斜視図である。
【図5B】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの、当該システムの光軸に平行な方向に沿った図である。
【図5C】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの例示的な個々の偏光カメラの側断面図である。
【図6A】本発明の一実施形態に係る、偏光データに基づいて面特性評価出力を計算するための処理回路のブロック図である。
【図6B】本発明の一実施形態に係る、面特性評価出力を計算するために入力画像に基づいて面特性評価を実行するための方法のフローチャートである。
【図7A】本発明の一実施形態に係るフィーチャ抽出装置のブロック図である。
【図7B】偏光の生フレームからフィーチャを抽出するための本発明の一実施形態に係る方法を示すフローチャートである。
【図8A】本発明で提案される撮像セットアップの例示的な実装形態によって走査されるギリシャ胸像の図である。
【図8B】本開示の一実施形態に係る、偏光を使用する３Ｄ面復元のための方法のフローチャートである。
【図9A】本発明の一実施形態に係る、撮像セットアップの例示的な実装形態によって走査される屈折率ｎの平坦な面の図である。
【図9B】本開示の一実施形態に係る、偏光を使用する平坦な又は幾何学的に簡単な面の３Ｄ面復元のための方法のフローチャートである。
【図10A】本開示のいくつかの実施形態に係る、面プロフィロメトリシステムの様々な構成要素のブロック図である。
【図10B】本開示のいくつかの実施形態に係る、面プロフィロメトリシステムの１つ又は複数の偏光カメラモジュールと印刷ベッドとの空間的関係を示す概略図である。
【図10C】本開示のいくつかの実施形態に係る、偏光の生画像に基づいて面プロフィロメトリを実行するための方法の流れ図である。
【図11A】本開示のいくつかの実施形態に係る、３Ｄ復元のためのニューラルネットワークを利用する３Ｄ撮像システムを示す図である。
【図11B】本開示のいくつかの実施形態に係る、３Ｄ復元のための粗深度マップを使用する３Ｄ撮像システムを示す図である。
【図12】本発明の一実施形態に係る予測装置のブロック図である。
【発明を実施するための形態】
【0045】
以下の詳細な説明は、本開示に従って提供される、光の偏光を使用する３Ｄ撮像及び処理のためのシステム及び方法の好ましい実施形態の説明として意図するものであり、本開示が構築又は利用できる唯一の形態を表すことを意図していない。この説明は、図示された実施形態に関連して、本開示のフィーチャに言及する。ただし、同じ又は同等の機能及び構造が、同様に本開示の範囲内に包含されることが意図される異なる実施形態によって達成できることを理解されたい。本明細書の別の箇所で示すように、同様の要素番号は、同様の要素又はフィーチャを示すことを意図している。
【0046】
図１Ａは、本発明のいくつかの実施形態に係る、偏光カメラを使用するシステムの概略ブロック図である。図１Ａに示す構成では、シーン１は、不透明なマット物体３（例えば、野球のボール及びテニスボール）の前に置かれた透明な物体２（例えば、ガラス玉などの玉、飲用コップ又はタンブラーなどのシリンダ、及び透明なアクリルの窓ガラスなどの平坦な面として示す）を含む。偏光カメラ１０は、レンズ１２及びカメラ１０が、視野がシーン１を包含するような向きにある視野を備えたレンズ１２を有する。レンズ１２は、シーン１からの光（例えば焦点光）を、画像センサ１４（例えば、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ又は電荷結合素子（ＣＣＤ）画像センサ）などの感光性媒体上に向けるように構成されている。
【0047】
偏光カメラ１０は、シーン１と画像センサ１４との間の光路内に配置された偏光子又は偏光フィルタ又は偏光マスク１６をさらに含む。本開示の様々な実施形態によれば、偏光子又は偏光マスク１６は、偏光カメラ１０が、偏光子を様々な指定した角度に（例えば、４５°回転した位置又は６０°回転した位置又は不均等に離間した回転位置に）設定した状態でシーン１の画像を捕捉することを可能にするように構成されている。
【0048】
一例として、図１Ａは、偏光マスク１６が、カラーカメラの赤－緑―青（ＲＧＢ）カラーフィルタ（例えば、ベイヤーフィルタ）と同様に、画像センサ１４のピクセルグリッドと整合した偏光モザイクである実施形態を示す。カラーフィルタモザイクが、画像センサ１４の各ピクセルが、モザイクのカラーフィルタのパターンに従って、スペクトルの特定の部分（例えば、赤、緑、又は青の）で光を受光するように、波長に基づいて入射光をフィルタリングする方法と同様の方法で、偏光モザイクフィルタを使用する偏光マスク１６は、異なるピクセルが直線偏光の異なる角度（例えば、０°、４５°、９０°、及び１３５°、又は０°、６０°、及び１２０°）で光を受光するように、直線偏光に基づいて光をフィルタリングする。したがって、図１Ａに示すような偏光マスク１６を使用する偏光カメラ１０は、４つの異なる直線偏光において同時に、又は一斉に光を捕捉することができる。偏光カメラの一例は、オレゴン州ＷｉｌｓｏｎｖｉｌｌｅのＦＬＩＲ（登録商標）Ｓｙｓｔｅｍｓ， Ｉｎｃ．製のＢｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラである。
【0049】
上記の説明は、偏光モザイクを使用する偏光カメラのいくつかの可能な実装形態に関するものであるが、本開示の実施形態はこれに限定されず、複数の異なる偏光において画像を捕捉することができるその他の種類の偏光カメラを包含する。例えば、偏光マスク１６は、４つよりも少ない偏光又は４以上の異なる偏光を有していてもよく、上記の角度と異なる角度の偏光を有していてもよい（例えば、０°、６０°、１２０°の偏光角、又は０°、３０°、６０°、９０°、１２０°、１５０°の偏光角で）。別の例として、偏光マスク１６は、画像センサ１４の異なる部分が異なる偏光を有する光を受光するように、マスクの個々のピクセルの偏光角を独立して制御できる、電気光学変調装置などの電子的に制御された偏光マスクを使用して実施することができる（例えば、液晶層を含んでいてもよい）。別の例として、電気光学変調装置は、例えば、異なるフレームを捕捉するときに異なる直線偏光の光を送信して、カメラが、偏光マスク全体を、異なる直線偏光角（例えば、０度、４５度、９０度、又は１３５度）に順次設定して画像を捕捉するように構成されていてもよい。別の例として、偏光マスク１６は、偏光フィルタをレンズ１２に対して機械的に回転させて異なる偏光角の光を画像センサ１４へ放射する偏光カメラ１０によって異なる偏光の生フレームが捕捉されるように、機械的に回転する偏光フィルタを含んでいてもよい。さらに、上記の実施例は直線偏光フィルタの使用に関するものであるが、本開示の実施形態はこれに限定されず、円偏光フィルタ（例えば、１／４波長板を備えた直線偏光フィルタ）を含む偏光カメラの使用も含む。したがって、本開示のいくつかの実施形態では、偏光カメラは、偏光フィルタを用いて、異なる直線偏光角及び異なる円偏光（例えば、ハンデッドネス）などの異なる偏光において複数の偏光の生フレームを捕捉する。
【0050】
その結果、偏光カメラ１０は、被検査物体１（被観察物体とも呼ばれる）の被検査面２を含むシーンの複数の入力画像１８（又は偏光の生フレーム）を捕捉する。いくつかの実施形態では、偏光の生フレーム１８の各々は、偏光フィルタ又は偏光子の後方で、異なる偏光角φｐｏｌ（例えば、０度、４５度、９０度、又は１３５度）で撮影された画像に対応する。偏光の生フレーム１８の各々は、シーンに対して異なる位置及び向きから偏光の生フレームを捕捉する場合とは対照的に、シーン１に対して実質的に同じポーズで捕捉される（例えば、０度、４５度、９０度、又は１３５度で偏光フィルタを用いて捕捉された画像は、全て、同じ位置及び向きにある同じ偏光カメラ１００によって捕捉される）。偏光カメラ１０は、電磁スペクトルの人間の目に見える部分、及び人間の目に見えるスペクトルの赤、緑、及び青の部分、並びに赤外線及び紫外線のような電磁スペクトルの不可視部などの、電磁スペクトルの様々な異なる部分の光を検出するように構成されていてもよい。
【0051】
上記実施形態のいくつかのような、本開示のいくつかの実施形態では、異なる偏光の生フレームは、シーン１に対して実質的に同じポーズ（例えば、位置及び向き）で、同一の偏光カメラ１０によって捕捉することができる。ただし、本開示の実施形態はこれに限定されない。例えば、偏光カメラ１０は、偏光カメラ１０が異なる偏光の生フレームの間でシーン１に対して移動することができる（例えば、機械的に回転する偏光フィルタのケースのように、異なる偏光角に対応する異なる偏光の生フレームが異なる時間に捕捉される場合に）。これは、偏光カメラ１０が移動したこと、又は物体３が移動した（例えば、物体が動いているコンベアシステム上にある場合）ことが理由である。いくつかの実施形態では、異なる偏光カメラが物体を異なる時間に捕捉するが、物体に対して実質的に同じポーズから捕捉する（例えば、異なるカメラがコンベアシステム内の異なる地点で物体の同じ面の画像を捕捉している）。したがって、本開示のいくつかの実施形態では、異なる偏光の生フレームは、シーン１に撮像された物体２及び３に関連して、異なるポーズ又は同じ相対ポーズで偏光カメラ１０を用いて捕捉される。
【0052】
偏光の生フレーム１８は、以下に詳述する処理回路１００に供給され、処理回路１００は、偏光の生フレーム１８に基づいて特性評価出力２０を計算する。図１Ａに示す実施形態では、特性評価出力２０は、シーン１内に存在する異なる物体２及び３のインスタンスを識別するインスタンスセグメンテーションマップである。
【0053】
【0054】
本開示の実施形態のいくつかの態様は、複数の偏光カメラ（例えば、各々のカメラがその光路内に偏光フィルタを有する複数のカメラ）が互いに隣接してアレイ内に配置され、あるグループ内の画像を捕捉するように制御可能な（例えば、１回のトリガを用いて、画像を同時に又は実質的に同時に捕捉するようにカメラシステム内の全てのカメラを制御できる）偏光カメラモジュールに関する。アレイ内のカメラの各々の光路内の偏光フィルタは、異なる偏光の光をカメラの画像センサに到達させる。カメラシステム内の個々の偏光カメラは、互いに対して実質的に垂直な光軸を有し、互いに隣接して配置され（カメラ間の視差シフトが、設計された動作距離が大きい場合にはカメラ間のより大きい距離が許容される、シーン内の物体までのカメラシステムの設計された動作距離に基づいて実質的に無視できるように）、実質的に同じ視野を有するため、カメラシステム内の各カメラは異なる偏光を用いてシーン１の実質的に同じ視界を捕捉する。
【0055】
例えば、図１Ｂに示す偏光カメラモジュール１０’の実施形態では、４つのカメラ１０Ａ’、１０Ｂ’、１０Ｃ’、及び１０Ｄ’が２×２グリッド内に配置され、４つのカメラが実質的に平行な光軸を有するカメラアレイ又はカメラシステムを形成する。４つのカメラは、実質的に同時に、また同じ露出設定（例えば、同じ絞り、露出時間、及びゲイン又は「ＩＳＯ」設定）を使用して画像を捕捉するように共に制御されてもよい。本開示の様々な実施形態では、別々のカメラ１０Ａ’、１０Ｂ’、１０Ｃ’、及び１０Ｄ’の各々は、異なる偏光フィルタを含む。
【0056】
図１Ｃは、図１Ｂに示す２つの偏光カメラ１０Ａ’及び１０Ｂ’の断面図である。図１Ｃから分かるように、各偏光カメラ（１０Ａ’及び１０Ｂ’）システムは、対応するレンズと、対応する画像センサと、対応する偏光フィルタと、を含む。特に、偏光カメラ１０Ａ’は、レンズ１２Ａ’と、画像センサ１４Ａ’と、偏光フィルタ１６Ａ’と、を含む。同様に、偏光カメラ１０Ｂ’は、レンズ１２Ｂ’と、画像センサ１４Ｂ’と、偏光フィルタ１６Ｂ’と、を含む。
【0057】
本開示のいくつかの実施形態では、カメラシステム１０’内のカメラの各々は、異なる偏光をフィルタリングするように構成された対応する偏光フィルタを有する。例えば、図１Ｂ及び図１Ｃに示す実施形態では、カメラ１０Ａ’の偏光フィルタ１６Ａ’は、０°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｂ’の偏光フィルタ１６Ｂ’は、４５°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｃ’の偏光フィルタ１６Ｃ’は、９０°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｄ’の偏光フィルタ１６Ｄ’は、１３５°の角度で配向された直線偏光フィルタであってもよい。いくつかの実施形態では、カメラの１つ以上は、円偏光子を含んでいてもよい。本開示のいくつかの実施形態では、カメラシステム１０’は、少なくとも２つの異なる偏光光をフィルタリングするように構成された偏光フィルタを含む。本開示のいくつかの実施形態では、カメラシステム１０’は、少なくとも３つの異なる偏光光をフィルタリングするように構成された偏光フィルタを含む。
【0058】
図１Ｃには示していないが、本開示のいくつかの実施形態では、各々の偏光カメラは、例えば、画像センサ１４の個々のピクセルが、例えばスペクトルの赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の部分に対応する光を受光して、各カメラがモザイクパターンに従って電磁スペクトルの可視部分の光を捕捉できるように、ベイヤーフィルタなどのモザイクパターンを有するカラーフィルタを含んでもよい。いくつかの実施形態では、デモザイク処理を用いて生データから別々の赤、緑及び青のチャネルを計算することができる。本開示のいくつかの実施形態では、各々の偏光カメラは、カラーフィルタなしで、又は赤外光などの電磁スペクトルの様々なその他の部分を透過するか又は選択的に透過するために使用するフィルタと共に使用できる。
【0059】
図１Ｄは、本開示の一実施形態に係るステレオ偏光カメラシステムの斜視図である。いくつかの用途では、ステレオビジョン技法は、異なる視点からのシーンの複数の画像を捕捉するために使用される。上記のように、本開示のいくつかの実施形態では、カメラシステム内の個々の偏光カメラは、各カメラ間の視差シフトが撮像対象までのカメラシステムの設計された動作距離に基づいて実質的に無視できるように、互いに隣接して配置されている。ステレオ偏光カメラシステムでは、個々の偏光カメラのいくつかは、視差シフトがカメラシステムの設計された動作距離内の物体に関して有意で且つ検出可能であるように離間して配置されている。このことにより、シーン内の様々な面までの距離（「深度」）を視差シフトの大きさに従って検出することができる（例えば、画像の対応する部分の位置におけるより大きな視差シフトは、それらの対応する部分がカメラシステムにより近い面上にあることを示し、より小さい視差シフトは、対応する部分がカメラシステムから離れた面上にあることを示す）。視差シフトに基づいて深度を計算するための上記の技法は、ステレオ画像からの深度推定と呼ばれることがある。
【0060】
したがって、図１Ｄは、第１の偏光カメラモジュール１０－１”と、実質的に平行な光軸を有し、ベースライン１０－Ｂに沿って間隔を空けて配置された第２の偏光カメラモジュール１０－２”と、を有するステレオ偏光カメラシステム１０”を示す。図１Ｄに示す実施形態では、第１の偏光カメラモジュール１０－１”は、図１Ｂ及び１Ｃに示す２×２アレイと同様に、２×２アレイに配置された偏光カメラ１０Ａ”、１０Ｂ”、１０Ｃ”、及び１０Ｄ”を含む。同様に、第２の偏光カメラモジュール１０－２”は、２×２アレイに配置された偏光カメラ１０Ｅ”、１０Ｆ”、１０Ｇ”、及び１０Ｈ”を含み、ステレオ偏光カメラモジュール１０”全体が、８つの個々の偏光カメラ（例えば、８つの別々のレンズの後段の８つの別々の画像センサ）を含む。本開示のいくつかの実施形態では、偏光カメラモジュール１０－１”及び１０－２”の対応する偏光カメラは、実質的に同じ偏光を有する偏光の生フレームを捕捉するように構成されている。例えば、カメラ１０Ａ”及び１０Ｅ”は、両方共、同じ０°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｂ”及び１０Ｆ”は、両方共、同じ４５°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｃ”及び１０Ｇ”は、両方共、同じ９０°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｄ”及び１０Ｈ”は、両方共、同じ１３５°の角度の直線偏光フィルタを有していてもよい。
【0061】
本開示の実施形態は、図１Ｄに示す特定の実施形態に限定されない。いくつかの実施形態では、ステレオ偏光カメラシステムは、３つ以上の偏光カメラモジュールを含み、各偏光カメラモジュールは、アレイに配置された複数の偏光カメラを含み、偏光フィルタを用いて、異なる偏光の偏光の生フレームを捕捉するように構成されている。前述したように、本開示のいくつかの実施形態では、偏光カメラモジュールの個々の偏光カメラの１つ以上は、カラーフィルタを含んでいてもよく、したがって、ステレオ偏光カメラモジュール内の偏光カメラの１つ以上もカラーフィルタを含んでいてもよい。
【0062】
本開示のいくつかの実施形態では、ステレオ偏光カメラシステムは、１つ又は複数のベースラインに沿って離間された複数の偏光カメラモジュールを含み、例えば、図１Ａに関連して前述したような実施形態によれば、偏光カメラモジュールの各々は、異なる偏光によって偏光の生フレームを捕捉するように構成された単一の偏光カメラを含む。例えば、本開示のいくつかの実施形態では、各々の個々の偏光カメラが、各ピクセルが、異なる偏光フィルタ（例えば、異なる角度の偏光フィルタ）のモザイクパターンに従って光を検出する画像を捕捉するように、各モジュールの偏光カメラは、偏光マスク（例えば、図１Ａに示す偏光マスクと同様の）を含んでいてもよい。例えば、図１Ａに示す実施形態では、偏光マスクのピクセルの各々の２×２ブロックは、０°、４５°、９０°、及び１３５°の直線偏光角に設定された直線偏光子を含む。本開示のその他の実施形態では、個々の偏光カメラは、図１Ａに関連して前述したように、偏光カメラが異なる偏光の偏光の生フレームを捕捉することを可能にする、機械的又は電子的に制御可能な偏光フィルタを含んでいてもよい。
【0063】
上記実施形態では、ステレオ偏光カメラシステムの１つ又は複数のベースラインに沿って離間した個々の偏光カメラモジュール又は偏光カメラが実質的に平行な光軸を有することを明確にしたが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光カメラモジュールの光軸は、偏光カメラモジュールが、設計された作業距離（例えば、光軸が、ステレオカメラシステムから設計された作業距離の近傍で十字に交わるか又は交差する距離）に、偏光カメラモジュールが物体の異なる角度の視界を提供するように、互いに対して角度をなしている。
【0064】
図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、本開示の実施形態に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されたセグメンテーションマップを示すための背景を提供する。詳細には、図２Ａは、２つの透明なボール（「スプーフ」）及び何らかの背景クラッタを含む別のシーンを描写する写真のプリントアウト上に配置された１つの実在の透明ボールを有するシーンの画像又は強度画像である。図２Ｂは、図２Ａの強度画像上に線の異なるパターンを用いて重畳された透明なボールのインスタンスを識別するマスク領域ベースの畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）によって計算されたセグメンテーションマスクを示し、このセグメンテーションマスクにおいては、実在の透明ボールがインスタンスとして正確に識別され、２つのスプーフがインスタンスとして不正確に識別される、言い換えると、マスクＲ－ＣＮＮアルゴリズムは、２つのスプーフの透明なボールをシーン内の実在の透明なボールのインスタンスとしてラベリングするように騙されている。
【0065】
図２Ｃは、本発明の一実施形態に係る、捕捉されたシーンの偏光の生フレームから計算される直線偏光（ＡＯＬＰ）画像の角度を示す図である。図２Ｃに示すように、透明な物体は、エッジ上に幾何学的に依存するシグネチャと、直線偏光の角度で透明な物体の面に生じる別個の又は一意のパターン又は特定のパターンとが存在する、ＡＯＬＰドメインのような偏光空間内に極めて一意のテクスチャを有する。言い換えると、透明な物体の固有テクスチャ（例えば、透明な物体を通して見える背景面から採用される付帯テクスチャとは対照的に）が、図２Ａの強度画像におけるよりも図２Ｃの偏光角においてより視認可能である。
【0066】
図２Ｄは、実在の透明なボールが重畳された線のパターンを用いてインスタンスとして正確に識別され、２つのスプーフがインスタンスとして正確に除外される（例えば、図２Ｂとは対照的に、図２Ｄは２つのスプーフ上の重畳された線のパターンを含まない）、本発明の一実施形態に係る偏光データを用いて計算された重畳セグメンテーションマスクを備えた図２Ａの強度画像を示す図である。図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、スプーフの透過な物体が存在する場合の実在の透明な物体の検出に関する一実施例を示しているが、本開示の実施形態はこれに限定されず、その他の光学的に困難な物体、例えば、透明、半透明、及び非マット、非ランバート物体と、非反射性（例えば、マットブラックの物体）及びマルチパス誘導物体にも適用される。
【0067】
したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから、面特性評価アルゴリズム又はその他のコンピュータビジョンアルゴリズムへの入力として供給される、表現空間内のテンサー（又は偏光フィーチャマップなどの第１の表現空間内の第１のテンサー）を抽出することに関する。第１の表現空間内のこれらの第１のテンサーは、図２Ｃに示すＡＯＬＰ画像のようなシーンから受信された光の偏光に関する情報を符号化する偏光フィーチャマップ、直線偏光度（ＤＯＬＰ）フィーチャマップ、及び同種のもの（例えば、ストークスベクトルからのその他の組み合わせ、又は個々の偏光の生フレームのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ））を含んでいてもよい。いくつかの実施形態では、これらの偏光フィーチャマップは、非偏光フィーチャマップ（例えば、図２Ａに示す画像のような強度画像）と共に使用され、意味セグメンテーションアルゴリズムが使用するための情報の追加のチャネルを提供する。
【0068】
本発明の実施形態は、画像を分析するための特定のコンピュータビジョンアルゴリズムとの併用に限定されないが、本発明の実施形態のいくつかの態様は、光学的に困難な物体（例えば、透明、半透明、非ランバート、マルチパス誘導物体、及び非反射性の、又は極めて暗い物体）の偏光ベース検出のための深層学習フレームワークに関し、これらのフレームワークを偏光畳み込みニューラルネットワーク（偏光ＣＮＮ）と呼んでもよい。この偏光ＣＮＮフレームワークは、偏光の特定のテクスチャを処理するのに適し、マスクＲ－ＣＮＮのようなその他のコンピュータビジョンアーキテクチャと結合して（例えば、偏光マスクＲ－ＣＮＮアーキテクチャを形成するために）、透明な物体及びその他の光学的に困難な物体の正確でロバストな特性評価のための解決策を生成できるバックボーンを含む。さらに、このアプローチは、透明及び非透明な混合物（例えば、不透明な物体）を備えたシーンに適用でき、物体又は被検査物体の透明、半透明、非ランバート、マルチパス誘導、暗い、及び不透明な面を特性評価するために使用することができる。
【0069】
偏光フィーチャ表現空間
【0070】
本開示の実施形態のいくつかの態様は、動作６５０における偏光の生フレームからフィーチャを抽出するためのシステム及び方法に関し、これらの抽出されたフィーチャは、動作６９０で、物体の面の光学的に困難な特性のロバストな検出で使用される。これとは対照的に、強度画像のみに依存する比較技法は、これらの光学的に困難なフィーチャ又は面を検出することができない可能性がある（例えば、上記のように図２Ａの強度画像を図２ＣのＡＯＬＰ画像と比較して）。「第１の表現空間」内の「第１のテンサー」という用語は、本明細書では、偏光カメラによって捕捉された偏光の生フレーム１８から計算された（例えば、抽出された）フィーチャを参照するために使用され、これらの第１の表現空間は、少なくとも偏光フィーチャ空間（例えば、画像センサによって検出された光の偏光に関する情報を含むＡＯＬＰ及びＤＯＬＰなどのフィーチャ空間）を含み、さらに、非偏光フィーチャ空間（例えば、偏光フィルタを用いずに捕捉された強度画像のみに基づいて計算された画像などの、画像センサに到達する光の偏光に関する情報を必要としないフィーチャ空間）を含んでいてもよい。
【0071】
光と透明な物体との間の相互作用は濃密で複雑であるが、物体の材料は可視光下での材料の透明性を決定する。多くの透明な家庭向け物体の場合、可視光の大部分は真っ直ぐに通過し、わずかな部分（屈折率に応じて約４％～約８％）が反射される。これは、スペクトルの可視部の光が透明な物体中の原子を励起するには不充分なエネルギーしか有していないからである。その結果、透明な物体の背後にある（又は透明な物体を通して見える）物体のテクスチャ（例えば、外観）は、透明な物体の外観よりも優勢になる。例えば、テーブル上にある透明なガラスのコップ又はタンブラーを見る場合、タンブラーの向こう側の物体の外観（例えば、テーブルの面）は、概して、コップを通して見られるものよりも優勢になる。この特性によって、窓ガラスや光沢のある透明層のような透明な物体の面特性を強度画像のみに基づいて検出しようとする場合、いくつかの困難が生じる。
【0072】
図３は、透明な物体と非透明な（例えば、散乱性及び／又は反射性）物体との光の相互作用を高レベルに示す図である。図３に示すように、偏光カメラ１０は、不透明な背景物体３０３の前にある透明な物体３０２を含むシーンの偏光の生フレームを捕捉する。偏光カメラ１０の画像センサ１４に当たる光線３１０は、透明な物体３０２と背景物体（３０３）の両方から得た偏光情報を含む。透明な物体３０２からの反射光３１２のほんのわずかな部分は高度に偏光し、背景物体３０３に反射して透明な物体３０２を通過する光３１３とは対照的に、偏光測定に大きな影響を与える。
【0073】
同様に、物体の面に当たる光線は、様々なやり方で面の形状と相互作用することができる。例えば、光沢塗料を有する面は、図３に示す不透明な物体の前にある透明な物体と実質的に同様にふるまうことができ、光線と光沢塗料の透明又は半透明な層（若しくはクリアコート層）との間の相互作用によって、画像センサに当たる光線内に符号化された透明又は半透明な物体の特性に基づいて（例えば、層の厚さと面法線とに基づいて）、面に反射した光が偏光する。同様に、偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論に関連して以下に詳述するように、面の形状（例えば、面法線の方向）の変動が、物体の面に反射する光の偏光の大幅な変化を引き起こす可能性がある。例えば、平滑な面は、概してどこでも同じ偏光特性を示すが、面の傷又は凹みは、それらの領域における面法線の方向を変化させ、傷又は凹みに当たる光は、物体の面のその他の部分とは異なる方法で偏光、減衰、又は反射する可能性がある。光と物体との間の相互作用のモデルは、概して、３つの基本要素、すなわち、幾何学形状、照明、及び材料を考慮している。幾何学形状は、材料の形状に基づく。照明は、照明の方向及び色を含む。材料は、光の屈折率又は角度反射／透過によってパラメータ化することができる。この角度反射は、双方向反射率分布関数（ＢＲＤＦ）として知られているが、その他の機能形態は、ある種のシナリオをより正確に表すことができる。例えば、双方向表面下散乱分布関数（ＢＳＳＲＤＦ）は、表面下散乱を示す材料（例えば、大理石又はワックス）の場合により正確であろう。
【0074】
偏光カメラ１０の画像センサ１６に当たる光線３１０は、３つの測定可能な成分、すなわち、光の強度（強度画像／Ｉ）、直線偏光のパーセンテージ又は割合（直線偏光度／ＤＯＬＰ／ρ）、及びその直線偏光の方向（直線偏光角／ＡＯＬＰ／φ）を有する。これらの特性は、以下に詳述するように、撮像対象の物体の面曲率及び材料に関する情報を符号化し、予測装置７１０がこの情報を用いて透明な物体を検出することができる。いくつかの実施形態では、予測装置７１０は、半透明な物体を通過する光及び／又はマルチパス誘導物体と相互作用する光、及び／又は非反射性物体（例えば、マットブラックの物体）による光の同様の偏光特性に基づいて、その他の光学的に困難な物体を検出することができる。
【0075】
したがって、本発明の実施形態のいくつかの態様は、フィーチャ抽出装置７００を用いて１つ又は複数の第１の表現空間内の第１のテンサーを計算することに関し、この第１の表現空間は、強度Ｉ、ＤＯＬＰρ及びＡＯＬＰφに基づいて導出されたフィーチャマップを含んでいてもよい。フィーチャ抽出装置７００は、概して、「偏光画像」、言い換えれば、強度画像から元々計算可能でない偏光の生フレームに基づいて抽出された画像（例えば、偏光フィルタ又は偏光フィルタに対応する画像センサに到達する光の偏光を検出するためのその他の機構を含まないカメラによって捕捉された画像）などの偏光表現空間（又は偏光フィーチャ空間）を含む第１の表現空間（又は第１のフィーチャ空間）に情報を抽出してもよく、これらの偏光画像は、ＤＯＬＰρ画像（ＤＯＬＰ表現空間又はフィーチャ空間内の）、ＡＯＬＰφ画像（ＡＯＬＰ表現空間又はフィーチャ空間内の）、ストークスベクトルから計算された偏光の生フレームのその他の組み合わせと、偏光の生フレームから計算された情報のその他の画像（又は概して第１のテンサー又は第１のフィーチャテンサー）を含んでいてもよい。第１の表現空間は、強度Ｉ表現空間のような非偏光表現空間を含んでいてもよい。
【0076】
各ピクセルにおける測定強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφは、偏光フィルタ（又は偏光子）の背後で異なる角度φｐｏｌで撮影されたシーンの３以上の偏光の生フレームを必要とする（例えば、決定すべき３つの不明な値、すなわち、強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφがあるために）。例えば、上記のＦＬＩＲ（登録商標）Ｂｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラは、偏光角φｐｏｌを０度、４５度、９０度、又は１３５度に設定して偏光の生フレームを捕捉し、それによって、本明細書ではＩ０、Ｉ４５、Ｉ９０、及びＩ１３５として示される４つの偏光の生フレームＩφｐｏｌを生成する。
【0077】
各ピクセルにおけるＩφｐｏｌと強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφとの関係は、次のように表すことができる。
Ｉφｐｏｌ＝Ｉ（１＋ρｃｏｓ（２（φ－φｐｏｌ））） （１）
Ｉφｐｏｌ＝Ｉ（１＋ρｃｏｓ（２（φ－φｐｏｌ））） （１）
【0078】
したがって、４つの異なる偏光の生フレームＩφｐｏｌ（Ｉ０、Ｉ４５、Ｉ９０、及びＩ１３５）により、４つの式のシステムを用いて、強度Ｉ、ＤＯＬＰρ、は、及びＡＯＬＰφを解決することができる。
【0079】
偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論（例えば、Ｇａｒｙ Ａ Ａｔｋｉｎｓｏｎ ａｎｄ Ｅｄｗｉｎ Ｒ Ｈａｎｃｏｃｋ． Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ ｆｒｏｍ ｄｉｆｆｕｓｅ ｐｏｌａｒｉｚａｔｉｏｎ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， １５（６）：１６５３‐１６６４， ２００６を参照）によれば、物体の面法線の屈折率（ｎ）、方位角（θａ）及び天頂角（θｚ）と、その物体からの光線のφ及びρ成分との関係が、拡散反射が支配的である場合には、以下の特性に従う。
φ＝θａ （３）
鏡面反射が支配的な場合には、
【数1】
φ＝θａ （３）
鏡面反射が支配的な場合には、
【数2】
【数3】
【0080】
両方のケースで、ρは、θｚが増加するにつれて指数関数的に増加し、屈折率が同じである場合、鏡面反射は、拡散反射よりもはるかに偏光度が高いことに留意されたい。
【0081】
したがって、本開示の実施形態のいくつかの態様は、面の生偏光フレーム１８に基づいて面の形状（例えば、面の向き）を検出するために、ＳｆＰ理論を適用することに関する。このアプローチによって、飛行時間（ＴｏＦ）深度検知及び／又はステレオビジョン技法のような物体の形状を決定するためのその他のコンピュータビジョン技法を使用することなく、物体の形状を特性評価できるが、本開示の実施形態をそのような技法と併せて使用してもよい。
【0082】
より正式には、本開示の実施形態の態様は、偏光カメラ１０によって捕捉された偏光の生フレームに基づいて、動作６５０で偏光画像を形成する（又は導出された偏光フィーチャマップを抽出する）といった偏光表現空間内の第１のテンサーを抽出することを含めて、第１の表現空間内の第１のテンサー５０を計算することに関する。
【0083】
透明な物体からの光線は、反射強度Ｉｒ、反射ＤＯＬＰρｒ、反射ＡＯＬＰφｒを含む反射部分と、屈折強度Ｉｔ、屈折ＤＯＬＰρｔ、反射ＡＯＬＰφｔを含む屈折部分との２つの成分を有する。その結果得られる画像内の単一のピクセルの強度を次のように記述することができる。
Ｉ＝Ｉｒ＋Ｉｔ （６）
Ｉ＝Ｉｒ＋Ｉｔ （６）
【0084】
直線偏光角φｐｏｌを有する偏光フィルタをカメラの前に配置すると、所与のピクセルの値は以下のようになる。
Ｉφｐｏｌ＝Ｉｒ（１＋ρｒｃｏｓ（２（φr－φｐｏｌ）））＋Ｉｔ（１＋ρｒｃｏｓ（２（φｔ－φｐｏｌ））） （７）
Ｉφｐｏｌ＝Ｉｒ（１＋ρｒｃｏｓ（２（φr－φｐｏｌ）））＋Ｉｔ（１＋ρｒｃｏｓ（２（φｔ－φｐｏｌ））） （７）
【0085】
ＤＯＬＰρ画像内のピクセルとＡＯＬＰφ画像内のピクセルの値を、Ｉｒ、ρｒ、φｒ、Ｉｔ、ρｔ、及びφｔに換算して上式を解くと、以下のようになる。
【数4】
【数5】
【0086】
したがって、上記の式（７）、（８）、及び（９）は、本開示の一実施形態に係る強度強度画像Ｉ、ＤＯＬＰ画像ρ、及びＡＯＬＰ画像φを含む第１の表現空間内に第１のテンサー５０を形成するためのモデルを提供し、偏光表現空間内の偏光画像又はテンサー（式（８）及び（９）に基づくＤＯＬＰ画像ρ及びＡＯＬＰ画像φを含む）を使用することによって、入力として強度Ｉのみを使用する比較システムによっては概して検出可能でない物体の光学的に困難な面特性を検出することができる。
【0087】
詳細には、偏光画像ＤＯＬＰρ及びＡＯＬＰφのような偏光表現空間内の第１のテンサー（導出されたフィーチャマップ５０のうちの）は、元々は強度Ｉドメイン内にテククチャ無しで現れる可能性のある物体の面特性を明らかにすることができる。この強度はＩｒ／Ｉｔの比（式（６）を参照）に厳密に依存するので、透明な物体はこの強度Ｉ内で不可視のテクスチャを有していてもよい。Ｉｔ＝０である不透明な物体とは異なり、透明な物体は入射光の大部分を透過し、この入射光のわずかな部分のみを反射する。別の例として、その他の部分では平滑な面（又はその他の部分では粗い面における平滑な部分）の形状の薄い又は小さい偏差は、実質的に不可視的であってもよく、又は強度Ｉドメイン（例えば、光の偏光を符号化しないドメイン）内でコントラストが低くてもよいが、ＤＯＬＰρ又はＡＯＬＰφなどの偏光表現空間内では極めて可視的であり、コントラストが高くてもよい。
【0088】
したがって、面トポグラフィを取得する１つの例示的な方法は、幾何学的正則化と共に偏光キューを使用することである。フレネル方程式は、ＡＯＬＰφ及びＤＯＬＰρを面法線に関連付ける。これらの式は、これらの光学的に困難な物体の面の偏光パターンとして知られているものを活用することによって、光学的に困難な物体の検出に有用であり得る。偏光パターンは、サイズ［Ｍ、Ｎ、Ｋ］（Ｍ及びＮはそれぞれ水平ピクセル寸法、垂直ピクセル寸法、Ｋはサイズが変動する偏光データチャネルを表す）のテンサーである。例えば、円偏光を無視して直線偏光のみを考慮した場合、直線偏光は偏光角と偏光度（ＡＯＬＰφ及びＤＯＬＰρ）の両方を有するため、Ｋは２に等しくなる。本開示のいくつかの実施形態では、モアレパターンと同様に、フィーチャ抽出モジュール７００は、偏光表現空間（例えば、ＡＯＬＰ空間及びＤＯＬＰ空間）内の偏光パターンを抽出する。
【0089】
上記の説明では、直線偏光の異なる角度に対応する偏光の生フレームを捕捉し、ＤＯＬＰ及びＡＯＬＰなどの直線偏光表現空間内のテンサーを計算するための、１つ又は複数の直線偏光フィルタを有する偏光カメラを使用する場合の直線偏光に基づく偏光表現空間の特定の実施例を扱っているが、本開示はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光カメラは、円偏光のみを通過させるように構成された１つ又は複数の円偏光フィルタを含み、円偏光表現空間内の偏光パターン又は第１のテンサーが、偏光の生フレームからさらに抽出される。いくつかの実施形態では、円偏光表現空間内のこれらの追加のテンサーは、単独で使用され、その他の実施形態では、追加のテンサーは、ＡＯＬＰ及びＤＯＬＰのような線形偏光表現空間内のテンサーと一緒に使用される。例えば、偏光表現空間内のテンサーを含む偏光パターンは、円偏光空間、ＡＯＬＰ、及びＤＯＬＰ内にテンサーを含んでいてもよく、偏光パターンは、寸法［Ｍ、Ｎ、Ｋ］を有していてもよく、Ｋは３であって円偏光表現空間内のテンサーをさらに含む。
【0090】
したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから抽出された第１の表現空間（例えば、偏光表現空間内のフィーチャマップを含む）内の第１のテンサーを、透明な物体の面特性及び／又は被検査物体の光学的に困難な面特性を計算又は検出するための予測装置への入力として供給することに関する。これらの第１のテンサーは、偏光カメラによって検出された光の偏光に関する情報を符号化するフィーチャマップを参照して、強度フィーチャマップＩ、直線偏光度（ＤＯＬＰ）ρフィーチャマップ及び直線偏光角（ＡＯＬＰ）φフィーチャマップを含み得る導出されたフィーチャマップを含むことができ、ＤＯＬＰρフィーチャマップ及びＡＯＬＰφフィーチャマップは偏光表現空間内の偏光フィーチャマップ又はテンサーの例である。
【0091】
いくつかの実施形態では、偏光表現空間内のフィーチャマップ又はテンサーは、例えば、偏光カメラ１０によって撮像される物体の面の形状を特性評価するためにＳｆＰ理論を利用する検出アルゴリズムへの入力として供給される。例えば、いくつかの実施形態では、拡散反射の場合、式（２）及び（３）を用いて、ＤＯＬＰρ及び屈折率ｎに基づいて、シーン内の面の面法線の天頂角（θｚ）及び方位角（θａ）が計算される。同様に、鏡面反射の場合には、式（３）及び（５）を用いて、ＤＯＬＰρ及び屈折率ｎに基づいて、シーン内の面の面法線の天頂角（θｚ）及び方位角（θａ）が計算される。一例として、本開示の一実施形態によれば、以下のステップに従って、式（２）に基づいて天頂角（θｚ）を計算するクローズドフォームの解決策が提供される。
【数6】
【0092】
偏光の生フレームに基づく面法線の方向の計算についての追加の詳細は、例えば、その開示内容全体を参照により本明細書に援用される、米国特許第１０，２６０，８６６号明細書及び第１０，５５７，７０５号明細書並びにＫａｄａｍｂｉ， Ａｃｈｕｔａ ｅｔ ａｌ． “Ｐｏｌａｒｉｚｅｄ ３ｄ： Ｈｉｇｈ－ｑｕａｌｉｔｙ ｄｅｐｔｈ ｓｅｎｓｉｎｇ ｗｉｔｈ ｐｏｌａｒｉｚａｔｉｏｎ ｃｕｅｓ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ２０１５に記載されている。
【0093】
マルチカメラアレイからの偏光キューの計算
【0094】
通常、単眼視点からマルチポーラキューが取得される。既存の方法はマルチポーラフィルタ（例えば、図１Ｂに示す偏光マスク）又は複数のＣＣＤ又はＣＭＯＳセンサを用いて異なる偏光チャネルを単一の視界（例えば、単一のレンズシステムの後段の複数のセンサ）又は時間多重化システム（例えば、異なる偏光の生フレームが、異なる時間に、例えば、順次捕捉され、その場合に、シーン１が、各々の視界が同じになるように１回の捕捉から次の捕捉まで実質的に不変であることを要求し得る、時間多重化システム）に多重化する。特に、直線偏光角（ＡＯＬＰ）φ及び直線偏光度（ＤＯＬＰ）ρなどの偏光キューを計算するための上記の技法は、概ね、偏光の生フレームが同じ視点から捕捉されることを前提にしている。
【0095】
ただし、上記の単一の視点の前提が成立しない状況も存在する。例えば、図１Ｃ、１Ｄ、及び１Ｅに示す実施形態のように、異なる位置にある複数の偏光カメラを含む偏光カメラアレイを使用する場合、異なる偏光状態に対応する偏光の生フレームは、異なる視点から捕捉することができる。個々の偏光カメラを互いに近づけて配置すると、誤差、物理的制約（例えば、対応する包装のサイズ及び形状、並びに包装に含まれるレンズ及び画像センサのサイズ及び形状などの、個々の偏光カメラのサイズ）によって偏光カメラの配置が制約される場合がある。
【0096】
したがって、本開示の実施形態のいくつかの態様は、偏光カメラのアレイを使用することによる、異なる視点から捕捉された偏光の生フレームから、ＡＯＬＰφ及びＤＯＬＰρなどの偏光キューを計算するためのシステム及び方法に関する。概ね、これは、別々の偏光カメラ及び所望の偏光キューの異なる位置に起因する視差キューを分離するための技法を含む。これは困難なことであり、その理由は、視差キュー及び偏光キューが、２つの視界の間の視差と、計測された偏光との両方が、偏光カメラと撮像された面との関係の幾何学形状に関連するという意味でリンクされているからである。ＡＯＬＰ及びＤＯＬＰの取得に向けた比較アプローチは、複数の偏光チャネルが同じ視点から獲得されることを前提としているため、偏光カメラのアレイによって捕捉されたデータに比較技法を適用することは、誤差又は曖昧さを生む結果になりやすい。
【0097】
図４は、本開示の一実施形態に係る、視差の曖昧さの下で偏光キューを推定するための方法のフローチャート４００である。
【0098】
図４に示す実施形態では、例えば、図１Ｂ、図１Ｃ、及び図１Ｄに示すような偏光カメラのアレイによって、複数の異なる視点から捕捉された偏光の生フレームが、工程への入力として供給される。本開示のいくつかの実施形態では、本開示の実施形態に係るＤＯＬＰρ及びＡＯＬＰφの推定値は、反復工程を介して処理回路１００によって計算される。ＤＯＬＰρの推定値及びＡＯＬＰφの推定値は、例えば、ＤＯＬＰρテンサー及びＡＯＬＰφテンサーの値が、捕捉された偏光の生フレームの様々な部分の直線偏光度の推定値と、直線偏光角の推定値とに対応する、偏光の生フレームに対応するアスペクト比を有するテンサー（例えば、２次元テンサー）に対応することに留意されたい。
【0099】
動作４１０で、処理回路は、ストークスベクトルを用いて（例えば、上記の式（１０）及び（１１）に従って、又はより具体的には、式（８）及び（９）に従って）、初期推定値ＤＯＬＰρ０及び初期推定値ＡＯＬＰφ０を計算する。これらの初期推定値ＤＯＬＰρ０及び初期推定値ＡＯＬＰφ０は、偏光カメラアレイ１０’の異なる個々の偏光カメラの間の視差シフトが原因で不正確になり得る。
【0100】
動作４３０で、処理回路１００は、偏光の生フレームに示されたシーンの面の幾何学形状を推定する。本開示のいくつかの実施形態では、処理回路１００は、視界対応ベースのアプローチを用いて、アレイ内の各カメラの位置の間のオフセットによる、シーンのステレオ視界からの視差を用いてシーンの粗モデルを生成する（例えば、Ｋａｄａｍｂｉ， Ａ．他（２０１５）に記載されているようなステレオ画像からの深度推定技法を用いて）。動作４５０で、この粗い幾何学形状は、現在の計算値ＤＯＬＰρｉ及びＡＯＬＰφｉの値（初期値のｉ＝０）を用いて洗練される（米国特許第１０，２６０，８６６号明細書及び第１０，５５７，７０５号明細書並びにＫａｄａｍｂｉ，Ａ．他（２０１５）を参照）。
【0101】
次いで、動作４５０で計算された幾何学形状の推定値を用いて、ＤＯＬＰρ及びＡＯＬＰφの推定値が更新される。例えば、ｉ番目の繰り返しでは、以前の計算値ＤＯＬＰρｉ－１及び以前の計算値ＡＯＬＰφｉ－１を用いて動作４５０で幾何学形状の推定値を計算でき、動作４７０で、処理システム１００は新しい幾何学形状の推定値に基づいてＤＯＬＰ及びＡＯＬＰ計算値を洗練し、新しい推定値ＤＯＬＰρｉ及びＡＯＬＰφｉを計算する。
【0102】
動作４９０で、処理システム１００は、ＤＯＬＰρ及びＡＯＬＰφの推定工程をさらに繰り返すか否かを決定する。詳細には、いくつかの実施形態では、更新済みＤＯＬＰρｉと以前に計算されたＤＯＬＰρｉ－１との差（例えば、Δρ＝｜ρｉ－ρｉ－１｜）に基づいて、ＤＯＬＰΔρの変化が計算される。同様に、更新済みＡＯＬＰφｉと以前に計算されたＡＯＬＰφｉ－１との差（例えば、Δφ＝｜φｉ－φｉ－１｜）に基づいて、ＡＯＬＰΔφの変化が計算される。偏光キューのこれらの変化（例えば、ΔρとΔφとの両方）のいずれかが計算されたテンサー全体で対応するしきい値（例えば、ρｔｈ及びφｔｈ）よりも大きい場合、工程は更新されたＤＯＬＰρｉ及びＡＯＬＰφｉを用いて動作４５０で粗モデルを洗練し、この新しい幾何学形状の推定値に基づいてＤＯＬＰ及びＡＯＬＰの値を更新する。偏光キューの変化の両方が対応するしきい値よりも小さい場合、推定工程は完了し、推定値ＤＯＬＰρｉ及びＡＯＬＰφｉが推定工程から出力され、面法線マップ、インスタンスセグメンテーションマップなどの別の処理出力の計算に使用することができる。
【0103】
偏光撮像によるマルチスペクトルステレオ撮像
【0104】
遠隔計測などの多くの状況において、シーンのマルチスペクトル画像は、そうでなければ視界から隠されているはずの情報を捕捉できる。例えば、マルチスペクトル又はハイパースペクトル撮像は、農業で有用であり得る水分、有機含量、及び塩分、油汚染土壌などの土壌特性を検出するといった、シーンの面特性を検出することができる。別の例として、マルチスペクトル撮像は、比較的大きなピクセル内の、部分的な植生で覆われた軍用車両、又は小さな軍用物体などの偽装目標物の検出を可能にすることができる。別の例として、マルチスペクトル撮像によって、物質の識別及びマッピング、例えば、レリーフ地形における物質の存在又は不存在の検出、採鉱領域での重金属及びその他の毒性廃棄物のマッピングが可能になる。マルチスペクトル撮像はまた、水／油のこぼれなどの特定の物質の存在の検出を可能にする（これは、室内ロボットにとって特に重要であり、室内ロボットはこれらのこぼれを回避するか又はこぼれを迂回する経路計画を実行することができ、また、真空掃除機ロボットは、こぼれ及びその他の微小な、色が濃い、且つ／又は鏡面の汚れを検出し、突き止め、清掃することができる。また、マルチスペクトル撮像は、障害が極めて危険であって復旧が高価につく可能性がある、産業用ボイラー及び鉄道軌道などの産業用機器の亀裂や錆を検出するといった材料検査にも使用できる。
【0105】
上記の例では、入力として比較及び標準カラー画像（例えば、赤、緑、及び青の画像）を使用するコンピュータビジョン技法は、これらのタイプの物体を検出できない可能性があるが、偏光情報と組み合わせてマルチスペクトル又はハイパースペクトル撮像を使用することによって、コンピュータビジョンアルゴリズム及びインスタンス検出技法によって検出及び認識可能な追加のキューを提供できる（例えば、訓練済み畳み込みニューラルネットワークを用いて）。
【0106】
概して、面のスペクトル放射輝度は、表面積、勾配及び入射波長の関数として面から反射した光子の割合の測定値である。大半の自然画像のスペクトル放射輝度関数は、低次元線形モデルを用いて波長の表現を可能にする波長の正則関数である。言い換えれば、面から反射した光のスペクトル表現は、スペクトル基底関数の線形結合として表すことができる。
【数7】
【0107】
上式で、ｗｉは線形重みであり、Ｂｉはスペクトル基底関数を表し、ｎはシステムの次元数である。天然物体のスペクトル放射輝度プロファイルの領域における関連する作業は、大半の部分について、５つ又は６つの線形基底関数によって、自然物体のスペクトル放射輝度を正確に表すことができることを示している。
【0108】
したがって、本開示のいくつかの態様の実施形態は、一対のステレオ画像を用いて偏光情報と同時にスペクトル情報を収集することに関し、ステレオ対の各カメラシステム（又はカメラモジュール）は、スペクトル情報と偏光情報との両方を捕捉することを可能にするカメラアレイを含む。
【0109】
図５Ａは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの斜視図である。図５Ａに示すマルチスペクトルステレオ偏光カメラシステムの実施形態は、図５Ａが、第１の偏光カメラモジュール５１０－１”と、実質的に平行な光軸を有し、ベースライン５１０－Ｂに沿って間隔を空けて配置された第２の偏光カメラモジュール５１０－２”と、を有するマルチスペクトルステレオ偏光カメラシステム５１０を示すという点で、図１Ｅに示すステレオ偏光カメラシステムと実質的に同様である。図１Ｄに示す実施形態では、第１の偏光カメラモジュール５１０－１”は、図１Ｃ及び１Ｄに示す２×２アレイと同様に、２×２アレイに配置された偏光カメラ５１０Ａ”、５１０Ｂ”、５１０Ｃ”、及び５１０Ｄ”を含む。同様に、第２の偏光カメラモジュール５１０－２”は、２×２アレイに配置された偏光カメラ５１０Ｅ”、５１０Ｆ”、５１０Ｇ”、及び５１０Ｈ”を含み、ステレオ偏光カメラモジュール５１０”全体が、８つの個々の偏光カメラ（例えば、８つの別々のレンズの後段の８つの別々の画像センサ）を含む。本開示のいくつかの実施形態では、偏光カメラモジュール５１０－１”及び５１０－２”の対応する偏光カメラは、実質的に同じ偏光を有する偏光の生フレームを捕捉するように構成されている。例えば、カメラ５１０Ａ”及び５１０Ｅ”は、両方共、同じ０°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｂ”及び５１０Ｆ”は、両方共、同じ４５°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｃ”及び５１０Ｇ”は、両方共、同じ９０°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｄ”及び５１０Ｈ”は、両方共、同じ１３５°の角度の直線偏光フィルタを有していてもよい。
【0110】
図５Ｂは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの、当該システムの光軸に平行な方向に沿った図である。図５Ｃは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの例示的な個々の偏光カメラの側断面図である。図５Ｃに示すように、個々の偏光カメラ（例えば、５１０Ａ”、５１０Ｂ”、５１０Ｅ”、及び５１０Ｆ”）の各々は、対応するレンズ５１２、対応する画像センサ５１４、及び対応する偏光フィルタ５１６に加えて、個々の偏光カメラの光路内に、対応するカラーフィルタ５１８（例えば、５１８Ａ”、５１８Ｂ”、５１８Ｅ”、及び５１８Ｆ”）を含む。図５Ｃは、ハウジング内のレンズ５１２の後段にあるものとしてカラーフィルタ５１８を示しているが、本開示の実施形態はこれに限定されない。例えば、いくつかの実施形態では、カラーフィルタ５１８は、レンズ５１２の前段に配置される。同様に、いくつかの実施形態では、偏光フィルタは、レンズ５１２の前段に配置される。
【0111】
図５Ｂに示す実施形態では、個々の偏光カメラの各々は、可視スペクトルの１つの対応する部分の光のみを透過するカラーフィルタ（例えば、モザイクパターンを有し、通常、赤、緑及び青の光に対応するスペクトルの３つの異なる部分の光を透過するカラーフィルタを含むベイヤ―フィルタとは対照的に）を含む。図５Ｂに示す例では、第１の偏光カメラ５１０Ａ”は、スペクトルの赤（Ｒ）部分の光を透過するように構成されたカラーフィルタ５１８Ａ”を有し、第２の偏光カメラ５１０Ｂは、スペクトルの第１の緑（Ｇ１）部分の光を透過するように構成されたカラーフィルタ５１８Ｂ”を有し、第３の偏光カメラ５１０Ｃは、スペクトルの第２の緑（Ｇ２）部分（例えば、１５～２０ｎｍだけシフトしたピークを有する、スペクトルの第１の緑部分Ｇ１とは異なる可能性がある部分）の光を透過するように構成されたカラーフィルタ５１８Ｃ”を有し、第４の偏光カメラ５１０Ｄ”は、スペクトルの青（Ｂ）部分の光を透過するように構成されたカラーフィルタ５１８Ｄ”を有する。第１の偏光カメラモジュール５１０－１”の４つの偏光カメラは、共に、４つの異なる偏光状態（例えば、０°、４５°、９０°、及び１３５°の４つの異なる直線偏光）と、４つの異なる色（例えば、Ｒ、Ｇ１、Ｇ２、及びＢ）の光を捕捉する。例えば、図５Ｂに示す具体的な実施形態では、第１の偏光カメラ５１０Ａ”は、０°に偏光された赤色光を捕捉し、第２の偏光カメラ５１０Ｂ”は、４５°に偏光された第１の緑色光を捕捉し、第３の偏光カメラ５１０Ｃ”は、９０°に偏光された第２の緑色光を捕捉し、第４の偏光カメラ５１０Ｄ”は、１３５°に偏光された青色光を捕捉する。ただし、本開示の実施形態はこれに限定されない。例えば、様々な実施形態では、カラーフィルタは、異なる偏光フィルタに関連付けられてもよい。
【0112】
同様に、第２の偏光カメラモジュール５１０－２”の個々の偏光カメラ（例えば、カメラ５１０Ｅ”、５１０Ｆ”、５１０Ｇ”、及び５１０ＢＨ”）は、電磁スペクトルの異なる部分の光を透過するように構成され、互いに異なる別々のカラーフィルタ５１８を含む。本発明のいくつかの実施形態では、第２の偏光カメラモジュール５１０－２”のカラーフィルタの各々は、第１の偏光カメラモジュール５１０－１内の対応するカラーフィルタから受光する、一定量だけシフトしたスペクトルの部分（例えば、カラーフィルタのスペクトルプロファイルのピークが、より長い波長に向かって、又はより短い波長に向かって、約１０ナノメートル～約２０ナノメートルだけシフトされた部分）の光を透過する。
【0113】
図５Ｂに示す好ましい実施形態では、第５の偏光カメラ５１０Ｅ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ａ”の対応するカラーフィルタ５１８Ａ”によって透過されたスペクトルＲから約１０～２０ナノメートルだけシフトしたスペクトルの赤（Ｒ’）部分の光を透過するように構成されたカラーフィルタ５１８Ｅ”を有する。同様に、第６の偏光カメラ５１０Ｆ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｂ”の対応するカラーフィルタ５１８Ｂ”によって透過されたスペクトルＧ１から約１０～２０ナノメートルだけシフトしたスペクトルの第１の緑（Ｇ１’）部分の光を透過するように構成されたカラーフィルタ５１８Ｆ”を有する（いくつかの実施形態では、上記はスペクトルＧ２と異なるスペクトルでもある）。第７の偏光カメラ５１０Ｇ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｃ”の対応するカラーフィルタ５１８Ｃ”によって透過されたスペクトルＧ２から約１０～２０ナノメートルだけシフトしたスペクトルの第２の緑（Ｇ２’）部分の光を透過するように構成されたカラーフィルタ５１８Ｇ”を有する（いくつかの実施形態では、上記はスペクトルＧ１と異なるスペクトルでもある）。第８の偏光カメラ５１０Ｈ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｄ”の対応するカラーフィルタ５１８Ｄ”によって透過されたスペクトルＢから約１０～２０ナノメートルだけシフトしたスペクトルの青（Ｂ’）部分の光を透過するように構成されたカラーフィルタ５１８Ｈ”を有する。
【0114】
第２の偏光カメラモジュール５１０－２”の４つの偏光カメラは、共に、４つの異なる偏光状態（例えば、０°、４５°、９０°、及び１３５°の４つの異なる直線偏光）と、第１の偏光カメラモジュール５１０－１”によって捕捉された４つの色とも異なる、４つの異なる色（例えば、Ｒ’、Ｇ１’、Ｇ２’、及びＢ’）の光を捕捉する。その結果、図５Ａ、５Ｂ、及び５Ｃに示すマルチスペクトルステレオ偏光カメラシステム５１０は、８つの異なる色の、４つの異なる偏光角の光を検出するように構成されている。
【0115】
本開示のいくつかの実施形態について、図５Ａ、５Ｂ、及び５Ｃに関連して上に詳述したが、本開示の実施形態はこれに限定されない。例えば、上記のように、本開示のいくつかの実施形態では、各偏光カメラモジュールは、３つの偏光カメラのみを含んでいてもよい。いくつかの実施形態では、３つの個々の偏光カメラは、０°、４５°、及び９０°又は０°、６０°、及び１２０°の直線偏光フィルタを備えた対応する線形偏光子を含んでいてもよい。いくつかの実施形態では、第１の偏光カメラモジュールの３つの個々の偏光カメラは、対応する第１のスペクトルプロファイルを有する、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の光を透過する、対応するカラーフィルタを有し、第２の偏光カメラモジュールの３つの個々の偏光カメラは、第１のスペクトルプロファイルとは異なる第２のスペクトルプロファイルを有する、赤（Ｒ’）、緑（Ｇ’）、及び青（Ｂ’）の光を透過する、対応するカラーフィルタを有してもよい（例えば、第２のスペクトルプロファイルの各々は、対応する第１のスペクトルプロファイルから１０～２０ｎｍシフトする）。
【0116】
さらに、本開示のいくつかの実施形態を、可視電磁スペクトルの異なる部分を透過するカラーフィルタに関連して前述したが、本開示の実施形態はこれに限定されず、赤外線又は紫外光などの電磁スペクトルのその他の部分において光を選択的に透過するカラーフィルタの使用を含んでいてもよい。
【0117】
本開示のいくつかの実施形態では、マルチスペクトルステレオ偏光カメラシステムの２つの異なる偏光カメラモジュールは、例えば、図１Ｂに示す偏光マスク、又は機械的若しくは電子的に制御可能な偏光フィルタを用いて、異なる偏光状態（例えば、異なる偏光角）の偏光の生フレームを捕捉するように構成された偏光カメラを含む。本開示のいくつかの実施形態によれば、各々の偏光カメラは、バイヤーパターンなどのモザイクパターンに従って複数の色の光をフィルタリングするように構成されたカラーフィルタをさらに含み、各々の偏光カメラは、マルチスペクトル又はハイパースペクトルの捕捉を可能にする異なるカラーフィルタを有していてもよい。例えば、いくつかの実施形態では、ステレオ対の第１の偏光カメラは、前述したように、Ｒ、Ｇ１、Ｇ２、Ｂスペクトル（又はＲ、Ｇ、Ｂスペクトル）の光を捕捉するように構成された第１のカラーフィルタを含み、ステレオ対の第２の偏光カメラは、前述したように、Ｒ’、Ｇ１’、Ｇ２’、Ｂ’スペクトル（又はＲ’、Ｇ’、Ｂ’スぺクトル）の光を捕捉するように構成された第２のカラーフィルタを含む。
【0118】
本開示の実施形態のいくつかの態様は、表現のためのスペクトル基底関数を決定することによって、上記のようなハードウェア装置を用いてマルチスペクトルシーンを捕捉することに関する。シーン照明のスペクトルパワー分布を推定し、マクベスカラーチャートのスペクトル反射率関数を用いて、当該照明を表す基底関数Ｂのセットをシミュレートすることが可能である。これは、典型的には、地理空間用途のためのマルチスペクトル撮像のケースのような、屋外使用のための自然太陽光のスペクトルプロファイルを推定する際に特に実現可能になる。スペクトル基底関数が決定されると、次式のｗ（重み）を解くだけで、各シーンのスペクトル係数を決定することが簡単にできる。
ｐ＝ＴＳ＝ＴＢｗ （２）
ｐ＝ＴＳ＝ＴＢｗ （２）
【0119】
上式で、ｐは、異なるスペクトル（カラー）チャネル（例えば、８つの異なるカラーチャネルＲ、Ｇ１、Ｇ２、Ｂ、Ｒ’、Ｇ１’、Ｇ２’、及びＢ’）におけるピクセル値を表し、Ｔは、様々なスペクトルチャネル（例えば、捕捉された値）のスペクトル応答性を表し、Ｂはスペクトル基底関数を表し、ｗは基底関数の係数を表す。
【0120】
したがって、上記の式（１３）を適用することで、１ピクセル当たりの偏光情報及びスペクトル情報を計算することができる。
【0121】
上述したような、マルチスペクトルハードウェアから計算されたマルチスペクトル又はハイパースペクトル情報は、その他の物体の検出又はインスタンスセグメンテーションアルゴリズムへの入力として供給されてもよい（例えば、ラベリングされたマルチスペクトル偏光像の訓練済みデータに基づいて訓練又は再訓練された畳み込みニューラルネットワークを用いて）、又は、本開示の実施形態に係る、ステレオマルチスペクトル偏光カメラシステムによって撮像されたシーン内の物体の存在を検出するための古典的なコンピュータビジョンアルゴリズム（例えば、マルチスペクトル及び偏光キューの視差シフトに基づいて面深度を検出するための）への入力として供給されてもよい。
【0122】
上記の本開示のいくつかの実施形態は、ステレオカメラシステム（例えば、ステレオ対）を使用するマルチビューマルチスペクトル偏光撮像に関するが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、マルチスペクトルカメラシステム（例えば、前述したように、Ｒ、Ｇ、Ｂ、Ｒ’、Ｇ’、及びＢ’などの、６つ以上の異なるスペクトルを捕捉するように構成されたカメラシステムを使用する）は、例えば、関心の対象がカメラシステムの視野を通過するコンベアベルト上に配置されるときに、又はカメラシステムが関心対象の視野を横切って移動する場合に、時間をかけて複数の視点にわたって掃引を行う。
【0123】
一例として、衛星撮像分野の用途の場合、高度に相関した複数の角度からシーンを視認できるという利点が付け加わる。衛星が地上の所与の点の上方を直線的に移動する系統的な方法によって、衛星は、広範囲の視野角にわたって各視野角について地上の面の高度に相関したマルチスペクトルの偏光データを取得することが可能になる。したがって、本開示のいくつかの実施形態では、処理システム１００は、地面上の各地点について、偏光度（ＤＯＬＰ）信号が最も強い最適角を決定し、それによって、その面の配向に関する強い相関を提供する。例えば、式（２）及び（４）を参照されたい。さらに、スペキュラリティは、概ね、視点に大きく依存するので、所与の面の視界の大部分は非鏡面であり、式（２）は、非鏡面（又は拡散）式と鏡面式（４）との間での選択を必要とすることなく、撮像対象の面の配向を計算するのに充分であり得る。
【0124】
さらに、衛星撮像によって、極めて異なる視点から捕捉された物体の画像を捕捉することが可能になる。この大規模なベースラインによって、位置の大幅な変化に起因する偏光及び視差シフトを用いてマルチスペクトル撮像を活用することによって、地上ベースの物体の粗距離を推定することができる。これらの粗距離を検出することで、災害管理、送電線監視、及びセキュリティのための情報が提供される。例えば、公益事業会社は、送電線の火災又は損傷のリスクがあるため、送電線及び配電線区域内及びその周囲の放置された植生繁茂を懸念している。異なる視点から送電線周囲の領域を撮像し、異なる視点から見たときの物体の視差シフトを検出することによって、植生面高さと送電線及び配電線の高さと、を推定することができる。したがって、このことにより、地上の植生が植生繁茂に関連して送電線及び配電線の近傍に関していつ臨界しきい値に達したかを自動的に検出することができる。そのようなデータを昼夜監視するために、本開示のいくつかの実施形態は、熱センサ（例えば、赤外線センサ）を用いて偏光データを融合し、照明条件に関わらず明確な熱シグニチャを提供することに関する。
【0125】
ポラリメトリックキューを使用する画像セグメンテーション
【0126】
本開示の実施形態のいくつかの態様は、本開示の実施形態に従って捕捉されたポラリメトリックキューを用いてインスタンスセグメンテーションを実行することに関する。ポラリメトリックキューを使用するインスタンスセグメンテーションを実行するためのいくつかの技法が、２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号、及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に詳述されており、当該仮出願は、その開示内容全体を参照により本明細書に援用される。
【0127】
図６Ａは、本発明の一実施形態に係る、偏光データに基づいて面特性評価出力を計算するための処理回路１００のブロック図である。図６Ｂは、本発明の一実施形態に係る、入力画像に基づいて面特性評価を実行して面特性評価出力を計算するための方法６００のフローチャートである。
【0128】
本開示の様々な実施形態によれば、処理回路１００は、以下に詳述するように、様々な動作を実行するように構成された１つ又は複数の電子回路を用いて実施される。電子回路の種類は、中央処理部（ＣＰＵ）、グラフィックス処理部（ＧＰＵ）、人工知能（ＡＩ）アクセラレータ（例えば、ドット積及びｓｏｆｔｍａｘなどの、ニューラルネットワークに共通の演算を効率的に行うように構成されたベクトル演算ロジック部を含み得るベクトルプロセッサ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）、又は同種のものを含んでいてもよい。例えば、いくつかの状況で、本開示の実施形態の態様は、電子回路（例えば、ＣＰＵ、ＧＰＵ、ＡＩアクセラレータ、又はそれらの組み合わせ）によって実行されると、本明細書に記載の動作を実行して、入力された偏光の生フレーム１８から特性評価出力２０を計算する、不揮発性コンピュータ可読メモリ内に記憶されたプログラム命令の形で実施される。処理回路１００によって実行される動作は、単一の電子回路（例えば、単一のＣＰＵ、単一のＧＰＵ、又は同種のもの）によって実行されてもよいし、複数の電子回路（例えば、複数のＧＰＵ又は単一のＧＰＵと連携する単一のＣＰＵ）の間に割り当てられてもよい。複数の電子回路は、互いにローカルであってもよく（例えば、同じダイ上に位置してもよく、同じパッケージ内に位置してもよく、又は同じ内蔵デバイス又はコンピュータシステム内に位置してもよい）、且つ／又は互いにリモートであってもよい（例えばＢｌｕｅｔｏｏｔｈ（登録商標）などのローカルパーソナルエリアネットワークのようなネットワークを介した通信で、ローカル有線及び／又は無線ネットワークなどのローカルエリアネットワーク、及び／又はインターネットなどの広域ネットワークを介して通信する際に、動作の一部がローカルに実行され、動作の別の一部がクラウドコンピューティングサービスによってホストされるサーバ上で実行される場合など）。処理回路１００を実施するために動作する１つ又は複数の電子回路は、本明細書では、コンピュータ又はコンピュータシステムと呼んでよく、コンピュータ又はコンピュータシステムは、１つ又は複数の電子回路によって実行されると、本明細書に記載のシステム及び方法を実施する命令を記憶するメモリを含んでいてもよい。
【0129】
図６Ａに示すように、いくつかの実施形態では、処理回路１００は、フィーチャ抽出装置又はフィーチャ抽出システム７００と、フィーチャ抽出システム７００の出力に基づいて物体の面特性に関する予測出力２０（例えば、統計的予測）を計算するように構成された予測装置７１０（例えば、古典的なコンピュータビジョン予測アルゴリズム及び／又は訓練済みニューラルネットワークなどの訓練済み統計モデル）とを含む。本開示の様々な実施形態は、本明細書では、面フィーチャの検出が光学的に困難であり得る、且つ／又は、偏光ベースの撮像技法が他の方法では取得が困難であり得る面法線に関する情報を提供する状況における面特性評価に関して説明したが、本開示の実施形態はこれに限定されない。例えば、本開示の実施形態のいくつかの態様は、半透明な物体の面、マルチパス誘導物体、一部が又は実質的にマット又はランバートの物体、及び／又は非常に暗い物体の面のような、検出が光学的に困難な材料で作られた物体、又は検出が光学的に困難な面特性を有する物体の面を特性評価するための技法に適用することができる。これらの光学的に困難な物体は、光の偏光への感度が低いカメラシステムによって捕捉される画像を使用することによって解決又は検出する（例えば、光路内に偏光フィルタを有しないカメラ、又は異なる画像が異なる偏光角に基づく画像を捉えていないカメラによって捕捉される画像に基づいて）ことが困難な物体及び物体の面特性を含む。例えば、これらの面特性は、特性が現れる面と非常に類似した面の外観又は色を有することがある（例えば、凹みが下地材料と同じ色を有し、ガラスのような透明な材料上の傷も、実質的に透明であり得る）。さらに、本開示の実施形態は、光学的に困難な面特性を検出することに関して本明細書に記載したが、本開示の実施形態は、光学的に困難な面の欠陥のみを検出することに限定されない。例えば、いくつかの実施形態では、予測装置７１０は、光学的に困難な面特性と、偏光情報を使用することなくロバストに検出可能な面特性との両方を検出するように構成される（例えば、訓練データを用いて統計モデルが訓練される）。
【0130】
偏光は、強度情報（例えば、色強度情報）のみを使用する場合に偏光を用いなければ光学的に困難な面特性又はフィーチャを検出するために使用できる。例えば、偏光情報は、物体の面における幾何学形状の変化及び材料の変化を検出することができる。異なる種類の材料間の境界（例えば、黒色の道路上の黒色の金属物体又は面上の無色の液体は、両方とも色空間内で実質的に見えない可能性があるが、偏光空間内に対応する偏光シグネチャを有する）などの、材料の変化（又は材料の変更）は、偏光空間内でより可視的であり得る。これは、異なる材料の屈折率の差が光の偏光の変化を引き起こすためである。同様に、様々な材料のスペキュラリティの違いは、回転の偏光位相角の異なる変化を引き起こし、偏光フィルタを使用せずに検出することがこの変化なしでは光学的に困難な偏光空間内の検出可能なフィーチャが見つかる可能性がある。したがって、このことにより、強度空間（例えば、光の偏光を考慮しない色表現空間）内で計算されたテンサーの対応する領域が、これらの面特性（例えば、これらの面特性が低いコントラストを有するか、又はこれらの空間では不可視的であり得る）を捕捉することができない可能性がある、偏光表現空間内の画像又はテンサーにコントラストが生まれる。光学的に困難な面特性の例は、面の特定の形状（例えば、平滑度及び面に対する理想的又は許容可能な物理的設計公差からの偏差）、面粗さ及び面粗さパターンの形状（例えば、透明な物体及び機械加工部品の面における意図的なエッチング、傷、及びエッジ）、機械加工された部品及び成形部品の縁部におけるバリ及びフラッシュバリ、及び同種のものを含む。偏光は、同一の色を有するが、散乱又は屈折率などの材料特性が異なる物体を検出するのにも有用であろう。
【0131】
さらに、前述したように、偏光を用いて、例えば、式（２）、（３）、（４）及び（５）に基づいて偏光の生フレームから計算された直線偏光度（ＤＯＬＰ）ρ及び直線偏光角（ＡＯＬＰ）φに基づいて物体の面法線を取得することができる。次いで、これらの面法線は、面の形状に関する情報を提供する。
【0132】
図６Ｂに示すように、また、例えば、図１Ｂを参照すると、動作６１０で、処理回路１００は、シーン１の面の偏光の生フレーム１８を捕捉する。例えば、いくつかの実施形態では、処理回路１００は、シーン１内の物体の面を描写する偏光の生フレーム１８を捕捉するように、１つ又は複数の偏光カメラ１０（例えば、複数の偏光カメラアレイ及び／又は複数の偏光カメラモジュールを含む複数のステレオ偏光カメラシステムに編成できる、１つ又は複数の個々の偏光カメラ）を制御する。
【0133】
図７Ａは、本発明の一実施形態に係るフィーチャ抽出装置７００のブロック図である。図７Ｂは、本発明の一実施形態に係る、偏光の生フレームからフィーチャを抽出するための方法を示すフローチャートである。図７Ａに示す実施形態では、フィーチャ抽出装置７００は、強度表現空間内の強度画像Ｉ５２を抽出する（非偏光表現空間の一例として、式（７）に従って）ように構成された強度抽出装置７２０と、１つ又は複数の偏光表現空間内のフィーチャを抽出するように構成された偏光フィーチャ抽出装置７３０と、を含む。本開示のいくつかの実施形態では、強度抽出装置７２０は省略され、フィーチャ抽出装置は強度画像Ｉ５２を抽出しない。図７Ａに示す実施形態では、偏光表現空間（例えば、ＤＯＬＰρ及びＡＯＬＰφ）内で抽出されたフィーチャは、シーン内の物体の面法線５８を計算する面法線計算装置７８０に供給される。
【0134】
図７Ｂに示すように、動作６５０での偏光画像の抽出は、動作６５１で、第１のストークスベクトルから計算された偏光の生フレームから第１の偏光表現空間内の第１のテンサーを抽出することを含んでいてもよい。動作６５２で、フィーチャ抽出装置７００は、偏光の生フレームから第２の偏光表現空間内の第２のテンサーをさらに抽出する。例えば、偏光フィーチャ抽出装置７３０は、ＤＯＬＰρ画像５４を（例えば、ＤＯＬＰを第１の偏光表現空間として、式（８）に従って、第１の偏光画像又は第１のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＤＯＬＰ抽出装置７４０と、ＡＯＬＰφ画像５６を（例えば、ＡＯＬＰを第２の偏光表現空間として、式（９）に従って、第２の偏光画像又は第２のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＡＯＬＰ抽出装置７６０と、を含んでいてもよい。さらに、様々な実施形態で、フィーチャ抽出システム７００は、動作６１４でｎ番目のテンサーが抽出される２つ以上の表現空間（例えば、ｎ個の表現空間）内で、２つ以上の異なるテンサー（例えば、ｎ個の異なるテンサー）を抽出する。上記のように、本開示のいくつかの実施形態では、偏光フィーチャ抽出装置７３０は、直線偏光表現空間（例えば、直線偏光フィルタで捕捉された偏光の生フレームから抽出された上記のＡＯＬＰ及びＤＯＬＰ表現空間内のテンサー）と、円偏光表現空間（例えば、円偏光フィルタで捕捉された偏光の生フレームから抽出されたテンサー）との両方を含む偏光表現空間内の偏光フィーチャを抽出する。様々な実施形態では、表現空間は、これに限定されないが、偏光表現空間を含む。
【0135】
偏光表現空間は、ストークスベクトルに従った偏光の生フレームの組み合わせを含んでいてもよい。別の例として、偏光表現は、１つ又は複数の画像処理フィルタ（例えば、画像のコントラストを増加させるフィルタ又はノイズ除去フィルタ）に従った偏光の生フレームのモディフィケーション（ｍｏｄｉｆｉｃａｔｉｏｎｓ）又はトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を含んでいてもよい。次いで、第１の偏光表現空間内のフィーチャマップ５２、５４、及び５６を、フィーチャマップ５０に基づいて面特性を検出するための予測装置７１０に供給することができる。
【0136】
図７Ｂは、３つ以上の異なる表現空間内の偏光の生フレーム１８から２つ以上の異なるテンサーが抽出されるケースを示しているが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光表現空間内の１つのテンサーのみが、偏光の生フレーム１８から抽出される。例えば、生フレームの１つの偏光表現空間はＡＯＬＰφであり、別の偏光表現空間はＤＯＬＰρである（例えば、いくつかの用途では、ＡＯＬＰは、透明な物体の面特性又は半透明、非ランバート、マルチパス誘導、及び／又は非反射性物体などのその他の光学的に困難な物体の面特性を検出するのには充分であり得る）。
【0137】
さらに、図７Ａに関連して前述したように、本開示のいくつかの実施形態では、１つ又は複数のフィーチャベクトルが、他の表現空間から計算されたフィーチャに基づいて計算される。図７Ａに示す特定の例では、面法線計算装置７８０は、ＡＯＬＰ及びＤＯＬＰテンサーの計算値に基づいて、面法線空間内の撮像されたシーン１内の面の面法線（例えば、方位角θａ及び天頂角θｚ）を計算する。いくつかの実施形態では、面法線は、デカルト座標（例えば、面法線の方向を示す３次元ベクトル）を用いて符号化される。面法線５８の計算値は、フィーチャ抽出装置７００によって抽出されたフィーチャ５０の中に含まれてもよい。
【0138】
したがって、偏光の生フレーム１８から偏光フィーチャマップ、偏光画像、及び／又は面法線などのフィーチャを抽出することによって、被検査物体の面の画像から光学的に困難な面特性が検出される第１のテンサー５０が生成される。いくつかの実施形態では、フィーチャ抽出装置７００によって抽出された第１のテンサーは、偏光の生フレーム内に現れる可能性がある基礎となる物理現象（例えば、上記のような、直線偏光空間内のＡＯＬＰ及びＤＯＬＰ画像の計算と、円偏光空間内のテンサーの計算）に関連する、明示的に導出されたフィーチャ（例えば、人間の設計者の手による）であってもよい。本開示のいくつかの追加の実施形態では、フィーチャ抽出装置７００は、異なる色の光（例えば、赤、緑、及び青色光）の強度マップ及び強度マップのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（例えば、強度マップに画像処理フィルタを適用すること）などのその他の非偏光フィーチャマップ又は非偏光画像を抽出する。本開示のいくつかの実施形態では、フィーチャ抽出装置７００は、ラベリングされた訓練データに基づく、包括的な教師あり訓練工程によって自動的に学習される１つ又は複数のフィーチャ（例えば、人間によって手動で指定されていないフィーチャ）を抽出するように構成されていてもよい。いくつかの実施形態では、これらの学習済みフィーチャ抽出装置は、従来のコンピュータビジョンフィルタ（例えば、Ｈａａｒウェーブレット変換、キャニー法、ブロックマッチングによるステレオ画像からの深度計算（ｄｅｐｔｈ－ｆｒｏｍ－ｓｔｅｒｅｏ ｃａｌｃｕｌａｔｏｒ）、及び同種のもの）と組み合わせて使用できる、深層畳み込みニューラルネットワークを含んでいてもよい。
【0139】
偏光撮像による３Ｄ面復元の増強
【0140】
本開示の実施形態のいくつかの態様は、閉鎖物体の高品質復元物を作成することに関する。本開示のいくつかの実施形態では、面復元は偏光ベースの撮像工程から生じる曖昧さを解決するために走査される物体のコンピュータ支援設計（ＣＡＤ）モデルなどの、物体の高品質３次元（３Ｄ）モデルと組み合わせて使用される。これまで、ＣＡＤモデルにアクセスすることなく、不明な幾何学形状のための方法を改良する試みがなされてきた。
【0141】
高品質の３Ｄコンピュータモデルが既に存在する物理的物体の高品質３Ｄ復元物を捕捉することは、物体の製作及び／又は製造における品質管理などの様々な状況で重要である。例えば、付加製造又は３Ｄ印刷の場合、設計者は、物体の３Ｄモデルを作成し、３Ｄモデルを３Ｄプリンタに供給し、３Ｄプリンタは３Ｄモデルに基づいて物理的物体を製作する。３Ｄ印刷工程の間又はその後に、３Ｄプリンタによって製造される物理的物体を、本開示のいくつかの実施形態に係るステレオ偏光カメラシステムを用いて走査することができ、捕捉された偏光データを用いて、物理的物体の面の３Ｄ復元の支援に供することができる。次いで、ソフトウェア上で、この３Ｄ復元物を設計された３Ｄモデルと比較し、３Ｄ印刷工程における欠陥を検出できる。射出成形、ダイカスト、曲げ加工、及び同種のものなどのその他の製造工程を介して作成される物体の形状の３Ｄ復元物の作成のための製造工程などのその他の製造工程にも同様の技法を適用することができる。
【0142】
一例として、図１Ｄに関連して前述したようなステレオ偏光カメラシステムを用いて、例えば、３Ｄで復元するように意図された、例えば、捕捉された偏光の生フレームから自動的に物体の３Ｄモデルを作成するように意図された物体が撮像される。実際の製造上の制約及び／又は製造工程における欠陥が原因で、物体の面は疎の凹凸を有することがあり、理想的な平滑さに欠ける場合がある。これらの凹凸は、面上の高周波変動として出現することがある。高周波変動（ＨＦＶ）は、以下の３つのシナリオに起因して出現する。
【0143】
第１に、有効な高周波変動（例えば、存在するものとして設計され、意図された）を有する物体面上の領域が存在する可能性がある。例えば、ギリシャ胸像又は立像のレプリカを作成する場合、走査された３Ｄモデルの目及び毛髪付近の細部の形状を、物理的物体の製作を案内するために使用された高品質３Ｄモデルに再現することができる。
【0144】
第２に、面上の傷、欠陥、又はその他の損傷による高周波変動を有する物体面上の領域が存在することがある。例えば、３Ｄ印刷又は付加製造の場合、層ごとの製造工程が原因で高周波パターンが発生し、物体面に「急峻な」外観をもたらすことがある。別の例として、射出成形工程では、製造された物体の、型の２つの部分が合わさる箇所に継ぎ目又はフラッシュバリが残っている場合がある。これらの細部は、高品質３Ｄモデルには反映されない。
【0145】
第３に、高周波変動の第１及び第２の形態の組み合わせが、互いに物理的に近接した位置で発生することがある（例えば、フラッシュバリが、胸像のレプリカの毛髪の近くに出現し、その結果、追加の線が毛髪に現れることがある）。
【0146】
現実の物体上では、細部に起因する高周波変動は望ましいが、凹凸に起因するＨＦＶは望ましくない。ただし、検査及びプロフィロメトリの目的のために、３Ｄ復元においてこれらの種類のＨＦＶを両方共作成できることは重要である。これらのＨＦＶを示す細部と、凹凸との一部は、市場で入手可能な３Ｄスキャナによって作成不可能な（量子化誤差及びその他のノイズ源による低解像度が原因で）場合があるが、本開示の実施形態は、以下に詳述するように、これらのケースを取り扱うことができる。いくつかの例示的な実装形態では、物体が視覚的フィーチャを有しない場合に物体を照明するために追加の構造化照明プロジェクタ装置を使用することができる。本開示のいくつかの実施形態は、受動照明（例えば、シーンにおける周囲照明に基づく）の使用に関する。
【0147】
図８Ａは、本発明で提案される撮像セットアップの例示的な実装形態によって走査されるギリシャ胸像の図である。３種類の高周波変動（ＨＦＶ）の細部が注釈を付けられている（８０１Ａ：毛髪及び目などの望ましい細部、８０１Ｂ：頬及び鼻付近の望ましくない傷及び欠陥、並びに８０１Ｃ：互いに近接した位置でのケースＡとＢとの組み合わせ）。これらのＨＦＶは、標準的な３Ｄ撮像技法を用いて作成できない可能性がある。本発明の実施形態の態様は、これらのケース全てを取り扱うことに関する。図８Ｂは、本開示の一実施形態に係る、偏光を使用する３Ｄ面復元のための方法のフローチャートである。
【0148】
本開示のいくつかの実施形態では、動作８１０で、例えば、図１Ｄに関連して前述したようなステレオ偏光カメラシステムを用いて、複数の視点から、ある物体の偏光の生フレーム１８が捕捉される。獲得された生画像の各々から、４つの別々の極角画像０、４５、９０、１３５のセットを抽出することができる。これらは、ＰＣ１及びＰＣ２と表記することができる。このセットアップの例示的な実装形態では、カメラは、標準的なステレオ構成（光軸が互いに平行な）に収容されていてもよく、又は別の構成（例えば、光軸が互いに交差する）に収容されていてもよい。
【0149】
動作８２０で、上記のＰＣ１及びＰＣ２を使用する両方のカメラのストークスベクトルの公式から、直線偏光度及び直線偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を計算することができる。これらは、ρＣ１、φＣ１、ρＣ２、及びφＣ２と表記することができる。カメラＣ１及びＣ２の両方について、式（２）、（３）、（４）、及び（５）に関連して前述したように、ＤＯＬＰρ及びＡＯＬＰφを使用する、偏光を使って形状を求める（ＳＦＰ）理論を用いて、偏光の面法線（例えば、天頂角θｚ及び方位角θａ）を取得することができる（例えば、偏光の生フレームＰＣ１及びＰＣ２に基づいて）。２つの視点からのこれらの面法線は、ＮｐｏｌＣ１及びＮｐｏｌＣ２と表記することができる。
【0150】
ただし、これらの面法線は、角度πによる方位角θａの曖昧さを有し、この曖昧さは、制約としてＣＡＤ参照モデルを使用することによって（例えば、参照モデルに対してより小さい距離又は誤差を有する面を生じる方位角θａを選択することによって）明確にし、補正することができる。したがって、参照モデルを用いて、低周波ノイズ（例えば、角度πによる曖昧さ）を解決することができる。
【0151】
物体が誘電体であるか非誘電体であるかに応じて、（ＤＯＬＰの強度からキューを取り出して）、適当なＤＯＬＰ計算モデルを用いて、上記のように、天頂角を推定することができる。いくつかの実施形態では、誘電体の屈折率は、通常、［１．３、１．６］の範囲内にあり、この変動は、ＤＯＬＰρの無視できる変化しか引き起こさないため、材料は屈折率が１．５の誘電体であると前提することができる。材料が非誘電体の場合、天頂角推定値の正確度は屈折歪みの影響を受けるであろう。天頂における屈折誤差は低周波現象であり、したがって、屈折誤差を解決するためのプライアとして参照モデルを活用することによって補正することもできる。
【0152】
法線ＮｐｏｌＣ１及びＮｐｏｌＣ２は、両方とも独立して、サンプル空間（Ω）上で積分して、物体から、又は物体の面の一部から面全体を復元することができる（例えば、面法線は、物体の面の勾配を示し、したがって、勾配の直交方向に対する法線方向を考慮した後で、勾配上で積分されて、物体の基本形状を復元する）。そのような積分から復元された面は、ＣＡＤ参照モデルによって制約された形状に適合する必要がある。積分から復元された面と参照モデルとの差は、物理的物体の欠陥部分を示している可能性がある。
【0153】
１つの偏光カメラ（又は１つの偏光カメラアレイ）から得た偏光データに基づく３Ｄ復元における曖昧さ及び誤差を解決するためにＣＡＤモデルにのみ依存することに加えて、本開示の実施形態のいくつかの態様は、ステレオ偏光カメラシステムの複数のカメラ間の視点の整合性を強化することによって、３Ｄ復元の品質をさらに改善することに関する。
【0154】
したがって、本開示のいくつかの実施形態は、図８Ｂに示す動作８３０による、前述した推定済み面法線を計算することに関するが、本開示のいくつかの実施形態は、推定済み面法線をさらに洗練することに関する。さらに図８Ｂを参照すると、動作８４０で、高品質ＣＡＤ参照モデルは、２つのカメラによって捕捉された偏光の生フレームＰＣ１及びＰＣ２内の物体上で推定される視覚的キーポイントに基づいて、物理的物体の向きに整列する。これらのキーポイントは、Ｐｅｒｓｐｅｃｔｉｖｅ－Ｎ－Ｐｏｉｎｔ（ＰｎＰ）（ＰＮＰ問題）を用いて、カメラに対する物体の６自由度（６ＤｏＦ）ポーズを取得するために、ＣＡＤ参照モデル内のキーポイントの同じセットと相関される。（例えば、Ｆｉｓｃｈｌｅｒ， Ｍ． Ａ．； Ｂｏｌｌｅｓ， Ｒ． Ｃ． （１９８１）． “Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ： Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ”． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ． ２４ （６）： ３８１－３９５．）及び／又はｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ （ＲＡＮＳＡＣ）を参照。異なる視点での複数の登録済みカメラの使用によって、単一の視点を有する単一のカメラを使用する場合と比較して、より正確なポーズ復元が可能になるが、本開示の実施形態はこれに限定されず、単一視点のＰｎＰも使用できる。ＣＡＤ参照モデルは、ステレオカメラシステムの異なるカメラモジュールに対応するカメラ空間に変換し（例えば、ＣＡＤ参照モデルのポーズをカメラシステムに関して実際の物理的物体のポーズに変換することによって）、参照モデルを物理的物体と整合させることができる。２つのカメラの場合には、これはＣＡＤＣｌ及びＣＡＤＣ２と表記することができる。次いで、面法線がＣＡＤＣｌ及びＣＡＤＣ２から抽出される（例えば、ステレオカメラシステムのカメラモジュールに対応する仮想カメラに対する面の向きに基づいて）。これらの基準面法線は、ＮＣＡＤＣ１及びＮＣＡＤＣ２と表記することができる。
【0155】
次いで、変換されたＣＡＤ参照モデルを、高周波の方位角πの曖昧さと、屈折歪みによる天頂の低周波スケーリング誤差と、を補正するための案内制約として使用できる。補正された法線は、マルチビューＰｎＰによる２つのカメラ間の整合性を有し、このアプローチをよりロバストにしている。詳細には、動作８５０で、２つのカメラから得た偏光の生フレームＰＣ１、ＰＣ２から計算された（動作８３０で）計算された推定済み法線ＮｐｏｌＣ１及びＮｐｏｌＣ２が補正され、補正済み法線Ｃｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ１及びＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ２が計算される。補正済み法線間の相対ポーズは、カメラ（ＮＣＡＤＣ１及びＮＣＡＤＣ２）間の相対ポーズと整合する必要がある。このことにより、付加的なポーズ整合性の制約が課され、それによって、概ね、特に、天頂角（θｚ）が０°（又は０ラジアン）に近い正対する面の場合、ＳＦＰによる法線補正がよりロバストにされ、その結果、視認方向に沿ったＤＯＬＰρの強度が少ないために、ノイズが多い推定済み法線が得られる傾向がある。ただし、任意の所与の面は、カメラモジュール間の間隔（又はベースライン）を考慮すると、ステレオ偏光カメラシステムの両方のカメラモジュールに対して正対する可能性が低い。したがって、より高いＤＯＬＰを有する領域は、複数のカメラからボーティング及び選択され、カメラモジュールのサブセットに正対する面についてよりロバストな面法線を復元することができる。
【0156】
いくつかの状況では、スペキュラリティによって、面テクスチャ情報が画像の強度の過飽和によって失われるため、面復元の際の問題が発生する。そのため、鏡面パッチ上の推定済み法線が高ノイズとなる。本開示のいくつかの実施形態によれば、偏光カメラシステムは、ベースラインによって離間された複数の視点（例えば、ステレオ偏光カメラシステム）からのシーンの重複する領域を視認する複数のカメラ（例えば、複数の）を含む。スペキュラリティは、概ね、極めて視点に依存する問題である。すなわち、異なるカメラが物体の面の異なる視点を有する、図１Ｄに示す構成のようなセットアップにおいて、全てのカメラによってスペキュラリティが観察される可能性は低い。
【0157】
詳細には、本開示の実施形態のいくつかの態様は、複数の視点から面を撮像することによって、極めて鏡面性が高い材料であっても、ロバストな面法線を自動的に復元することに関する。大半の照明条件下では、面の任意の所与のパッチがステレオマルチビューカメラシステム内の全てのカメラから鏡面状に見える可能性は極めて低い。
【0158】
したがって、本開示のいくつかの実施形態では、ボーティング機構を用いて、特定のカメラで観察された鏡面パッチから得た法線を拒絶し、一方で、ＣＡＤモデルとだけでなく互いに整合する可能性が高い、特定のパッチのためのその他のカメラから得た法線を選択することができる。例えば、例えば、面法線は、ステレオ偏光カメラアレイ内の各偏光カメラモジュールから捕捉された偏光の生フレームに基づいて計算できる。偏光の生フレームに基づいて計算された面法線が互いに不整合である（例えば、しきい値角距離以上離れている）場合、参照モデルの面法線に最も近い計算済み面法線が正しい値であると想定される。
【0159】
本開示のその他の実施形態では、偏光の生フレーム内の飽和ピクセルを識別することによって、鏡面パッチを自動的に検出することができる。ピクセルの飽和を用いて、特定のパッチがスペキュラリティを観察している可能性があり、したがって当該領域内の情報が不正確であることが示唆される。
【0160】
本開示のさらにその他の実施形態では、ステレオカメラシステムは、異なる視点から物体の面を撮像する３つ以上の偏光カメラモジュール（例えば、３つ以上の偏光カメラモジュール）を含む。したがって、様々なカメラによって捕捉された偏光の生フレームに基づいて計算された面法線が、類似度に基づいてクラスタリングされる（面法線を、偏光カメラモジュールの１つなどの同じ基準系に対応するように変換した後で）ボーティング機構を使用することができる。偏光カメラモジュールの大半はスペキュラリティを観察する傾向があるため、計算済み法線の大半はある誤差範囲内で整合する必要がある。したがって、クラスタリング工程は、鏡面アーチファクトによって引き起こされる、計算済み面法線の異常値を識別することができる。
【0161】
ＣＡＤ参照モデルプライアによるボーティングに基づく法線補正のためのアルゴリズムの擬似コード記述を、以下に詳述する。表記は次の通りである。
【0162】
Ｎ＿Ｐ＿Ｃ１－カメラ１における、偏光を使って形状を求める（ＳＦＰ）法線
【0163】
Ｎ＿Ｐ＿Ｃ２－カメラ２におけるＳＦＰ法線
【0164】
Ｎ＿ＣＡＤ＿Ｃ１－カメラ１に対する物体のポーズに整列したＣＡＤ参照モデル内の法線
【0165】
Ｎ＿ＣＡＤ＿Ｃ２－カメラ２に対する物体のポーズに整列したＣＡＤ参照モデル内の法線
【0166】
Ｔｒａｎｓ＿Ｃ２＿Ｃ１－付帯及び固有のカメラ較正によって得られるカメラ１に対するカメラ２のポーズ（例えば、カメラ１及び／又はカメラ２の両方から見える撮像較正標的によって決定される）
【0167】
Ｔｒａｎｓ＿ＣＡＤ＿Ｃ１－ＣＡＤ参照モデルをマルチビューＰｎＰによって得られるカメラ１の画像空間内の物体に整合させるためのトランスフォーム
【0168】
Ｔｒａｎｓ＿ＣＡＤ＿Ｃ２－ＣＡＤ参照モデルをマルチビューＰｎＰによって得られるカメラ２の画像空間内の物体に整合させるためのトランスフォーム
【0169】
（～）－整合演算子
【0170】
整合演算子（～）は、整合性のために比較される法線の間で計算された距離メトリック（例えば、コサイン類似度ベースの角距離メトリック）としてモデル化することができる。角距離がしきい値未満である場合、比較される法線は互いに整合し、そうでなければ整合していない（！～）。比較される法線は、整合演算子を適用する前に上に列挙したトランスフォームを用いて、同じ座標系（この場合はマスタカメラ又はカメラ１の画像空間）に変換される。
【0171】
ＣＡＤ参照モデルに基づくボーティングの擬似コード実装形態：
Ｎ＿Ｐ＿Ｃ１（マスタカメラ画像空間、この場合はカメラ１）内の各ピクセル法線：
＃ケース１：両方のカメラにおけるＳＦＰ法線がＣＡＤと整合している（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＡＤ ｍｏｄｅｌ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＡＤ法線とは不整合である（面上のＨＦＶによるＨＦＶのブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＡＤと整合している（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＡＤとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＡＤ＿Ｃ１
Ｎ＿Ｐ＿Ｃ１（マスタカメラ画像空間、この場合はカメラ１）内の各ピクセル法線：
＃ケース１：両方のカメラにおけるＳＦＰ法線がＣＡＤと整合している（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＡＤ ｍｏｄｅｌ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＡＤ法線とは不整合である（面上のＨＦＶによるＨＦＶのブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＡＤと整合している（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＡＤとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＡＤ＿Ｃ１
【0172】
本開示のいくつかの実施形態では、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ１及びＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ２がサンプル空間（Ω）上で積分され、ステレオ偏光カメラシステムによって撮像された物体の３Ｄ復元物を合成する。
【0173】
上記の実施形態は、ＣＡＤ設計モデルなどの高品質の３Ｄモデルに基づく３Ｄ物体の３Ｄ復元に関するものであるが、本開示の実施形態のいくつかの態様は、図１Ｄに示すようなマルチビュー偏光カメラシステムを用いて、概ね平坦な面又は周知の簡単な幾何学形状を有する面の３Ｄ復元に関する。簡単な幾何学形状のケースは、例えば、平坦面、球体、及び周知の幾何学形状のその他の簡単なパラメトリック曲線を用いて近似することができる。例えば、平坦面は、道路の面、壁及び標識などの、自動運転車両のための環境の多くの面に適用することができる。さらに、特定のアプリケーションによって要求される解像度及び／又は正確度に応じて、多くの面は局所的に平坦であるものとして近似できる。
【0174】
図９Ａは、本発明の一実施形態に係る撮像セットアップの例示的な実装形態によって走査される屈折率ｎの平坦な面を示す図である。プロフィロメトリ及び検査における特定の用途のために、この面はその平滑度に関して検査される。理想的には、この面は平滑であることが望ましい。実際、欠陥／摩耗及び破れ目のために、この、それ以外の点では平坦な面９０２上のランダムな位置に疎の凹凸９０１が発生することがある。これらの凹凸は、ノイズ及び低い解像度が原因で標準的な３Ｄ撮像技法を用いて復元されない可能性がある、高周波変動（ＨＦＶ）の細部として出現する。ただし、本発明の実施形態は、平坦度及びマルチビュー制約と組み合わせて偏光を活用することによって、これらのＨＦＶ凹凸を復元することができる。
【0175】
したがって、話を進めると、本開示のいくつかの実施形態は、その他の点では実質的に平滑な面（例えば、実質的に平坦な面）上のランダムな疎の凹凸を検出することに関する。動機付けの例として、本開示の実施形態を用いて、ステレオ偏光カメラシステムを使用して道路のくぼみを検出し、それによって、自動運転車両が、交通状況に基づいて、実際にこれらのくぼみを回避できる。別の動機付けの例として、本開示の実施形態を用いて、窓ガラスの平滑度又は金属シートの面の凹凸を検出するような、概ね簡単な幾何学形状を有する面の面欠陥を検出することができる。
【0176】
本開示のいくつかの実施形態では、マルチビュー偏光カメラシステムは、視差シフトを測定する目的で、ステレオ工程から得た深度を複数の視界の間で整合させるための付加的な検出可能な面テクスチャを提供するために、シーン上にパターン光を投影するように構成された構造化照明プロジェクタ９０３をさらに含んでいてもよい。状況によっては、構造化照明プロジェクタは、赤外光を投射するように構成され、カメラシステムは、その他のスペクトル帯域の光と共に赤外光を検出するように構成されたカメラを含む。次いで、その他のスペクトル帯域で収集されたデータに基づいて、各面について以下の分析を行い、投影されたパターンが材料の面の欠陥として誤って検出されないようにすることができる。
【0177】
図９Ｂは、本開示の一実施形態に係る、偏光を使用する平坦な又は幾何学的に簡単な面の３Ｄ面復元のための方法９００のフローチャートである。
【0178】
本開示のいくつかの実施形態では、上記と同様の方法により、動作９１０で、偏光の生フレーム１８は、例えば、図１Ｄに関連して前述したステレオ偏光カメラシステムを用いて、複数の視点からシーン（例えば、実質的に平坦又は平滑な面を含む）の偏光の生フレーム１８が捕捉される。４つの別々の極角画像（０、４５、９０、１３５）のセットを、取得された各々の生画像から抽出することができる。これらは、ＰＣ１及びＰＣ２と表記できる。このセットアップの例示的な実装形態では、カメラは、標準的なステレオ構成（光軸が互いに平行な）に収容されていてもよく、又は別の構成（例えば、光軸が互いに交差する）に収容されていてもよい。
【0179】
動作９２０で、上記のＰＣ１及びＰＣ２を使用する両方のカメラのストークスベクトルの公式から、直線偏光度及び直線偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を計算することができる。これらは、ρＣ１、φＣ１、ρＣ２、及びφＣ２と表記することができる。
【0180】
動作９３０で、偏光から得た面法線（例えば、天頂角θｚ及び方位角θａ）は、カメラＣ１及びＣ２の両方について、式（２）、（３）、（４）、及び（５）に関して前述したように、ＤＯＬＰρ及びＡＯＬＰφを使用する、偏光を使って形状を求める（ＳＦＰ）理論を使用して、偏光から面法線（例えば、天頂角θｚ及び方位角θａ）を取得することができる（例えば、偏光の生フレームＰＣ１及びＰＣ２に基づいて）。物体が誘電体であるか非誘電体であるかに応じて、（ＤＯＬＰの強度からキューを取り出して）、適当なＤＯＬＰ計算モデルを用いて、上記のように、天頂角を推定することができる。いくつかの実施形態では、誘電体の屈折率は、通常、［１．３、１．６］の範囲内にあり、この変動は、ＤＯＬＰρの無視できる変化しか引き起こさないため、材料は屈折率が１．５の誘電体であると前提することができる。材料が非誘電体の場合、天頂角推定値の正確度は屈折歪みの影響を受けるであろう。
【0181】
２つの視点から得たこれらの面法線は、ＮｐｏｌＣ１及びＮｐｏｌＣ２と表記することができる。ただし、これらの面法線は、角度πによる方位角θａの曖昧さを有し、この曖昧さは、制約として粗深度マップを使用することによって（例えば、参照モデルに対してより小さい距離又は誤差を有する面を生じる方位角θａを選択することによって）明確にし、補正することができる。したがって、低周波ノイズ（例えば、角度πによる曖昧さ）は、シーンのステレオ視界から生成された粗深度マップを用いて解決できる。
【0182】
さらに、動作９４０で、ステレオ偏光カメラシステムにおけるカメラ対間の視差シフトに基づき、ステレオ画像からの深度推定アプローチ（より大きな視差シフトはカメラシステムにより近い面を示し、より小さい視差シフトはカメラシステムから離れた面を示す）に基づいて、粗深度マップ（ＣＤＭ）が計算される。上記のように、いくつかの実施形態では、ステレオ偏光カメラシステムは、面が固有のテクスチャ又はその他の視覚的フィーチャを有しない場合に、画像の対応する部分の一致を改善することができる構造化照明システムを含む。動作９４０で、計算済み粗深度マップは、視点Ｃｌ及びＣ２に対応する画像空間に整合され（例えば、相対ポーズ及びカメラ較正からの付帯行列を用いて）、これらの画像空間に対応する粗深度マップは、ＣＤＭＣ１及びＣＤＭＣ２と表される。
【0183】
動作９５０で、推定済み法線ＮｐｏｌＣ１及びＮｐｏｌＣ２は、ＣＤＭから得た法線にＮＣＤＭＣ１及びＮＣＤＭＣ２に基づいて補正され、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ１及びＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ２が計算される。本開示のいくつかの実施形態では、これらの法線は、上に引用したＫａｄａｍｂｉ他、２０１５に記載されている面の主成分法（Ｐｌａｎｅ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ ｍｅｔｈｏｄ）を用いてＣＤＭから計算される。詳細には、いくつかの実施形態では、ＣＤＭから計算された法線ＮＣＤＭＣ１及びＮＣＤＭＣ２は、共同でカメラＰＣ２とのマルチビュー整合性を考慮に入れて、ＮｐｏｌＣ１における高周波方位角の曖昧さ及び屈折誤差による天頂の歪みを補正する案内として使用される。これらの補正済み法線はまた、上記のように、正対面及びスペキュラリティの場合に、そうでなければノイズが多いＳＦＰ法線よりもよりロバストである。いくつかの実施形態では、面の平坦度プライア（又は面のその他の簡単な幾何学形状）も使用して、天頂の歪みがさらに洗練される。特に、推定済み法線ＮｐｏｌＣ１及びＮｐｏｌＣ２は、概ね平坦である必要があり、したがって、復元された面（局所的な面の凹凸を有する領域は別として）から得た法線は、カメラの各々において約９０度であり、互いに平行である必要がある。本開示のいくつかの実施形態では、ボーティングスキームを用いて、法線補正を実行できる。
【0184】
平坦面プライアによるボーティングに基づく法線補正のためのアルゴリズムの擬似コード記述を、以下に詳述する。表記は次の通りである。
【0185】
Ｎ＿Ｐ＿Ｃ１－カメラ１における、偏光を使って形状を求める（ＳＦＰ）法線
【0186】
Ｎ＿Ｐ＿Ｃ２－カメラ２におけるＳＦＰ法線
【0187】
ＣＤＭ－粗深度マップ
【0188】
Ｎ＿ＣＶＤ＿Ｃ１－カメラ１画像空間におけるＣＤＭ内の法線
【0189】
Ｎ＿ＣＶＤ＿Ｃ２－カメラ２画像空間におけるＣＤＭ内の法線
【0190】
Ｔｒａｎｓ＿Ｃ２＿Ｃ１－付帯及び固有のカメラ較正によって得られるカメラ１に対するカメラ２の相対ポーズ
【0191】
Ｔｒａｎｓ＿ＣＤＭ＿Ｃ１－ＣＤＭをカメラ１の画像空間内の物体に整合させるためのトランスフォーム
【0192】
Ｔｒａｎｓ＿ＣＤＭ＿Ｃ２－ＣＤＭをカメラ２の画像空間内の物体に整合させるためのトランスフォーム
【0193】
（～）－整合演算子
【0194】
ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（）－選択されている法線が平坦度制約に従うか否かをチェックする演算子
【0195】
整合演算子（～）は、整合性のために比較される法線の間で計算された距離メトリック（例えば、コサイン類似度ベースの角距離メトリック）としてモデル化することができる。角距離がしきい値未満である場合、比較される法線は互いに整合し、そうでなければ整合していない（！～）。比較される法線は、整合演算子を適用する前に上に列挙したトランスフォームを用いて、同じ座標系（この場合はマスタカメラ又はカメラ１の画像空間）に変換される。
【0196】
平坦度プライアに基づくボーティングの擬似コード実装形態：
Ｎ＿Ｐ＿Ｃ１内の各ピクセル法線について：
＃ケース１：両方のカメラにおけるＳＦＰ法線は、ＣＤＭと整合し、平坦度制約に従う（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＤＭ＋Ｆｌａｔｎｅｓｓ Ｃｏｎｓｔｒａｉｎｔ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＤＭ法線とは不整合である（面上のＨＦＶによるブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＤＭ＋平坦度制約と整合している（（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＤＭとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＤＭ＿Ｃ１
Ｎ＿Ｐ＿Ｃ１内の各ピクセル法線について：
＃ケース１：両方のカメラにおけるＳＦＰ法線は、ＣＤＭと整合し、平坦度制約に従う（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＤＭ＋Ｆｌａｔｎｅｓｓ Ｃｏｎｓｔｒａｉｎｔ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＤＭ法線とは不整合である（面上のＨＦＶによるブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＤＭ＋平坦度制約と整合している（（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＤＭとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＤＭ＿Ｃ１
【0197】
いくつかの実施形態では、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ１及びＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ２が面物体の形状を復元するために使用される。例えば、いくつかの実施形態では、疎行列逆アルゴリズムを適用することができ（Ｋａｄａｍｂｉ他、２０１５に記載されているように）、面の改訂された深度座標を推定することができる。これらの改訂された深度座標は、標準の３Ｄ撮像技法（ステレオ法、飛行時間法など）から得られる初期深度よりも高い解像度を有する。
【0198】
面の欠陥及び凹凸は、ノイズがある、誤りがある、又は、それ以外の点でステレオ偏光カメラシステムの全ての異なるカメラモジュールにわたってポーズ整合性を遵守しないことを検出することに基づいて検出されてもよい。いくつかの状況では、これらの疎の凹凸は、視界の各々について計算されたＤＯＬＰ画像全体で異なる割合で目立つ際に特に明らかである。言い換えれば、面の平坦度又はその他の平滑度の前提に違反する法線マップの部分は、実際には平滑でない面であってもよく、それによって、概ね滑らかであると前提される面の疎の凹凸の検出が可能になる。
【0199】
リアルタイム可視化ベースのフィードバック制御のためのマルチカメラ偏光増強システム
【0200】
撮像の複数の産業用途は、固定されており、制御された照明条件下でボリュームを視認することを含む。例えば、３Ｄプリンタは、固定サイズの印刷ベッドを有し、この印刷ベッドに対応する視認ボリュームは、照明、温度、及び湿度に関して制御された環境である。
【0201】
本開示の態様は、印刷対象の物体の面プロファイルを層ごとに捕捉するように構成された面プロフィロメトリシステムに関する。これによって、印刷ジョブの終了時に３Ｄモデルの合成が可能である。これにより、印刷された物体の設計標的からの偏差を理解し、それによって物体ベースで物体上の製造公差を捕捉することができるので、エンドカスタマにとって使い勝手が極めて優れている。ミッションクリティカルな部品の製造に関してこの情報はさらに重要性を帯びる。加えて、面プロフィロメトリシステムによって捕捉される層ごとの面プロファイルを用いて、３Ｄプリンタは印刷工程を改善し、あらゆる印刷関係の異常を補正するための是正措置を適宜講ずることができる。
【0202】
図１０Ａは、本開示のいくつかの実施形態に係る、面プロフィロメトリシステム１０００の様々な構成要素のブロック図である。図１０Ｂは、本開示のいくつかの実施形態に係る、面プロフィロメトリシステム１０００の１つ又は複数の偏光カメラモジュール１０’と印刷ベッド１００４との空間的関係を示す概略図である。
【0203】
図１０Ａ～１０Ｂを参照すると、いくつかの実施形態では、面プロフィロメトリシステム１０００は、印刷ベッド１００４上の物理的物体１００６を印刷する（例えば、付加製造する）ための３Ｄ印刷システム１００２と、印刷ベッド１００４上に印刷対象の物体の面プロファイルを、層ごとに撮像するための１つ又は複数の偏光カメラモジュール１０’と、１つ又は複数の偏光カメラモジュール１０’によって捕捉された偏光の生画像１８を処理するための処理システム１００と、を含む。図１Ｂ～図１Ｃを参照して前述したように、１つ又は複数の偏光カメラモジュール１０’の各々は、偏光カメラのアレイ（例えば、２×２アレイ）であり、各偏光カメラは、特定の角度（例えば、０°、４５°、９０°、及び１３５°）の直線偏光フィルタを有する。
【0204】
３Ｄ印刷システム１００２によって印刷対象の物体１００６の各層について、処理回路１００は、物体１００６の当該印刷層に対応する偏光の生フレーム１８を受信する。処理回路１００は、偏光の生フレーム１８から偏光キューを抽出し、粗層深度マップの助けを借りて、面法線画像（「法線画像」とも呼ばれる）を生成する。次いで、処理回路１００は、印刷対象の層の対応する３Ｄ面プロファイルを生成する。いくつかの例では、この３Ｄ面プロファイルを用いて、印刷工程を改善するか又は印刷公差の理解を向上させるために使用できる、層ごとに、印刷物体１００６の設計標的からの偏差を決定するための後処理分析を行ってもよい。さらに、処理回路１００は、印刷システム１００２に３Ｄ面プロファイルを、フィードバック（例えば、制御フィードバック）として提供することができ、それによって、印刷システム１００２は（例えば、印刷関係の異常を補正することによって）リアルタイムに是正措置を講ずることができる。印刷システム１００２、１つ又は複数の偏光カメラモジュール１０’及び処理回路１００の動作は、印刷システム１００２又は外部コントローラによって供給される同期信号によって同期させることができる。いくつかの例では、物体１００６のある層が印刷されると、１つ又は複数の偏光カメラモジュール１０’が偏光の生画像を捕捉し、処理回路１００がこれらの生画像の処理を完了して当該層の３Ｄプロファイルを生成する。その後、印刷システム１００２が後続の層を印刷する（又は後続の層の印刷を開始する）。
【0205】
いくつかの例では、物体１００６の細部を充分な解像度で捕捉するために、面プロフィロメトリシステム１０００は、カメラの対角視野角が角しきい値（例えば、１００°）を超えることができるように、印刷ベッド１００４に充分に近い位置に配置してもよい。そのようなシナリオでは、視野角が広いレンズを有する単一のカメラを使用すると、光学的歪み又は変調伝達関数（ＭＴＦ）の問題が発生する可能性があり、その場合、大きい高度場では、レンズの歪み効果は、システムのＭＴＦが大幅に劣化する程度にまで極端になり得る。
【0206】
したがって、いくつかの例では、印刷ベッド１００４の能動領域は複数の領域に分割され、その各々の領域は、カバーすべき領域の対角視野角が角しきい値（例えば、１００°）を超えないような方法で、異なる偏光カメラモジュール１０’によってカバーされる。これによって、全ての高度場にわたって電磁界歪み及びシステムのＭＴＦを良好に制御することができる。いくつかの例では、各々の隣接する区画対は、対応する隣接する偏光カメラモジュール１０’の視野内に入る重複する領域を有する。重複する領域は、隣接する偏光カメラモジュール１０’によって捕捉された画像の整合を支援することができる。ただし、本開示の実施形態はこれに限定されず、重複する領域は無視できる程度に小さくてもよいし、又は存在しなくてもよく、重複する領域の助けを借りずに整合を実行してもよい。いくつかの例によれば、印刷ベッド１００４に対する各偏光カメラモジュール１０’の位置及び向きの情報を用いて、事前較正に基づいて整合を実行してもよい。事前較正は、処理システム１００に記憶できる回転及び平行移動の付帯行列として符号化することができる。
【0207】
単一の偏光カメラモジュール１０’が区画ごとに使用される実施形態では、処理回路１００は、観察対象の物体１００６の層を印刷するために、３Ｄ印刷システムによって使用される３ＤＣＡＤ層モデルから粗深度マップを導出することができる。ただし、本発明の実施形態はこれに限定されない。いくつかの実施形態によれば、一対の偏光カメラモジュール１０’は（図１Ｄを参照して前述したステレロ偏光カメラシステム１０’などの）は、面プロフィロメトリシステム１０００によって活用され、印刷ベッド１００４の各区画の偏光キューを捕捉することができる。そのような実施形態では、処理回路１００は、図１Ｄに関連して前述したように、当該対（例えば、ステレオ偏光カメラシステム１０”）によって捕捉された偏光の生フレーム間の視差シフトに基づいて、粗深度マップを構築することができ、又は３ＤＣＡＤ層モデルから粗深度マップを導出することもできる。
【0208】
図１０Ｃは、本開示のいくつかの実施形態に係る、偏光の生画像に基づいて付加製造される物体の面プロフィロメトリを実行するための方法１１００の流れ図である。
【0209】
いくつかの実施形態では、処理回路１００は、印刷対象の物体１００６の各層について、又は層の各々のサブセットについて、方法１１００を実行する。
【0210】
動作１１０２で、処理回路１００は、１つ又は複数の偏光カメラモジュール１０’を用いて捕捉された３Ｄ物体の印刷層の偏光の生フレームを受信する。次いで、処理回路１００は、動作１１０４で、偏光の生フレームから偏光フィーチャマップ又は偏光画像を抽出する。そうすることで、処理回路１００は、偏光画像に基づいて、１つ又は複数の偏光カメラモジュール１０’の各々について、ストークスベクトルの公式から直線偏光度及び直線偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を計算する（図９Ｂの動作９２０と同様に）。
【0211】
動作１１０６で、処理回路１００は、印刷対象の物体１００６の層に対応する粗層深度マップを取得する。いくつかの例では、粗層深度マップは、印刷システム１００２によって提供されるＣＡＤ層モデルであってもよい。面プロフィロメトリシステム１０００が、印刷ベッド１００４の各区画の偏光キューを捕捉するために、単一の偏光カメラモジュール１０’ではなく、一対の偏光カメラモジュール１０’（例えば、ステレオ偏光カメラシステム１０’）を利用する例では、処理回路１００は、当該対によって捕捉された偏光の生フレーム間の視差シフトに基づいて粗深度マップを構築することができる。
【0212】
動作１１０８で、処理回路１００は、粗層深度マップ及び偏光画像に基づいて面法線画像を生成する。前述したように、いくつかの実施形態では、処理回路１００は、１つ又は複数の偏光カメラモジュール１０’の各々について、式（２）、（３）、（４）及び（５）に関して前述したように、偏光を使って形状を求める（ＳＦＰ）技法を用いて、偏光像から面法線（例えば、天頂角θｚ及び方位角θａ）を計算する。次いで、処理回路１００は、Ｐｅｒｓｐｅｃｔｉｖｅ－Ｎ－Ｐｏｉｎｔ（ＰｎＰ）（ＰＮＰ問題）を用いて１つ又は複数の偏光カメラモジュール１０’の各々に対する印刷対象の層のポーズを決定し、粗層深度マップを、面プロフィロメトリシステム１０００の１つ又は複数の偏光カメラモジュール１０’に対応するカメラ空間（例えば、図８Ｂの動作８４０を参照して説明した）に変換する。１つ又は複数のカメラモジュール１０’に対応する変換された粗層深度マップは、高周波方位角πの曖昧さと、屈折歪みによる天頂の低周波スケーリング誤差と、を補正するための案内制約として処理回路１００によって使用され、それによって対応する１つ又はそれ以上の補正済み面法線画像が生成され、当該画像は正対面及びスペキュラリティのケースでのノイズが多いＳＦＰ法線に対してロバストであり得る。面プロフィロメトリシステム１０００が、一対の偏光カメラモジュール１０’（例えば、ステレオ偏光カメラシステム１０”）によって捕捉された偏光の生フレーム間の視差シフトに基づいて粗深度マップを構築する実施形態では、図４を参照して説明した動作４５０～４９０を用いて、粗層深度モデル及び偏光キュー（例えば、ＤＯＬＰρ及びＡＯＬＰφ）を洗練することができる。
【0213】
動作１１１０で、処理回路１００は、補正済み面法線画像に基づいて印刷対象の層の３Ｄ復元物を生成する。前述したように、補正済み面法線を、（独立して）サンプル空間（Ω）上で積分して、カメラモジュール１０’ごとに印刷層の面全体又は対応する区画内の面の一部の形状を復元することができる。印刷ベッド１００４が対応する複数のカメラモジュール１０’を有する複数の区画に分割されている例では、各区画の復元された形状は、印刷対象の層全体の３Ｄ復元物に到達するために、隣接する区画の復元された形状に整合し、マージすることができる。いくつかの例では、整合及びマージは、補正済み面法線画像の段階で実行でき、結果的に得られるマージされた面法線画像は、印刷対象の層全体に対応することができる。いくつかの実施形態によれば、この３Ｄ復元物は、関連技術の３Ｄ撮像技法によって得られる３Ｄ復元物よりも高い解像度を有することができる。
【0214】
そのような積分から復元された面は、ＣＡＤ層モデルによって制約される形状に適合すると予想され、積分から復元された面とＣＡＤ層モデルとの差は、印刷層の欠陥部分を示すことがある。
【0215】
長距離３Ｄ顔走査
【0216】
顔認識は、多数のセキュリティ及び監視用途においてユーザ認証を可能にする重要なバイオメトリック認識工程である。既存の認証方法の中で、３Ｄ顔走査は、潜在的によりロバストであり、偽許容率（ＦＡＲ）及び偽拒絶率（ＦＲＲ）がより低い。したがって、３Ｄ顔認証の分野の関心が高まっている。ただし、従来の手段を使用する３Ｄ顔走査は、ロバストに実施することが容易でない可能性がある。例えば、モバイルシステムでは、能動照明を用いて、ユーザの顔にパターンを投影し、その後、投影されたパターンを計測して主要なフィーチャ点の深度が検索される。この技術は普及しているが、以下のような多くの問題を抱えている。それらは、能動照明を使用する結果としての追加コスト及び消費電力、能動照明の限られた到達範囲、及びあらゆる環境条件（例えば、照明条件）下で確実に作業できないことである。
【0217】
本開示の実施形態のいくつかの態様は、顔の３Ｄ走査に光の偏光及びニューラルネットワークを活用する３Ｄ撮像システムに関する。
【0218】
図１１Ａは、本開示のいくつかの実施形態に係る、３Ｄ撮像システム１１００を示す図である。
【0219】
いくつかの実施形態では、３Ｄ撮像システム１１００は、偏光カメラモジュール１０’と、フィーチャ抽出装置７００と、顔復元ニューラルネットワーク１１０４と、を含む。偏光カメラモジュール１０’は、観察対象の顔１１０２から離れて配置され、顔１１０２を撮像し、対応する偏光の生画像１８’を生成する。観察対象の顔１１０２と偏光カメラモジュール１０’との間の距離は特に限定されず、顔１１０２を捕捉する能力が偏光カメラモジュール１０’の光学部品によって制限されない限り、任意の好適な距離であってよい。フィーチャ抽出装置７００は、図７Ａ～７Ｂに関連して前述した工程を介して、偏光の生画像１８’に基づいて、面法線（例えば、推定済み面法線５８）を含むフィーチャマップ５０を計算する。いくつかの実施形態によれば、顔復元ニューラルネットワーク１１０４は、フィーチャマップ５０（例えば、面法線５８）に基づいて（例えば、それのみに基づいて）、観測対象の顔１１０２の詳細な３Ｄ復元物１１０６を生成する。いくつかの実施形態では、顔復元ニューラルネットワーク１１０４は、推定済み面法線５８に基づいて、補正済み面法線（例えば、図８Ｂ及び９Ｂに関連して前述したＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ１及びＣｏｒｒｅｃｔｅｄ＿ＮｐｏｌＣ２）を計算し、補正済み面法線に基づいて顔１１０２の３Ｄ復元物１１０６を生成するように訓練される。
【0220】
いくつかの実施形態によれば、偏光ＣＮＮであってもよい顔復元ニューラルネットワーク１１０４は、多様なフィーチャマップ（例えば、面法線）を、当該フィーチャマップが生成された元の顔の詳細な３Ｄ復元物と相関させるように訓練される。
【0221】
したがって、本開示のいくつかの実施形態の態様は、１つ又は複数の偏光カメラモジュール１０’によって捕捉された顔に基づいて、複数の強化された／詳細な３Ｄ顔復元物を生成することができる３Ｄ撮像システムに関する。
【0222】
図１１Ｂは、本開示のいくつかの実施形態に係る３Ｄ撮像システム１１１０を示す図である。
【0223】
いくつかの実施形態では、３Ｄ撮像システム１１１０は、１つ又は複数の偏光の生フレーム／画像１８を捕捉するための１つ又は複数の偏光カメラモジュール１０’と、１つ又は複数の偏光の生画像１８に基づいて、観察対象の顔１１０２’の３Ｄ復元物１１０６’を生成する処理システム１００と、を含む。
【0224】
いくつかの実施形態では、１つ又は複数の偏光カメラモジュール１０’は、少なくとも２つの視点から偏光の生フレーム１８を捕捉する少なくとも第１及び第２の偏光カメラモジュール１０－１’、１０－２’（例えば、ステレオ偏光カメラシステム１０”）を含み、処理システム１００は、偏光の生フレーム１８に基づいてそれ自体の粗深度マップを生成する。いくつかの実施形態では、処理システム１００は、少なくとも２つの視点の各々についてのＤＯＬＰρ及びＡＯＬＰφの初期推定値を計算し、少なくとも２つの視点の各々についてのＤＯＬＰρ及びＡＯＬＰφの初期推定値から推定済み面法線を計算し、偏光の生フレーム１８に基づいて、顔の幾何学構造を推定する（例えば、図４の動作４１０及び４３０のように）。次いで、各々の視点について、処理システム１００は、さらに進んで当該視点の観点及びそれに対応する偏光キューからこの初期の粗い顔モデルを洗練して、洗練済み／補正済み偏光キューに到達する（例えば、図４の動作４５０、４７０、及び４９０に従って）。次いで、処理システム１００は、少なくとも２つの視点の各々についての偏光キューから洗練済み／補正済み面法線を計算する。いくつかの実施形態では、処理システム１００は、サンプル空間（Ω）上で各視点から得た面法線を独立して積分し、当該視点から顔１１０２’の３Ｄ復元物を合成する。
【0225】
ここで、各対の推定済み面法線及び特定の視点に関連付けられた対応する３Ｄ復元物は、図１１Ａの３Ｄ撮像システム１１００のための訓練データのセットを形成する。異なる顔（例えば、多数の顔）についてこの工程を繰り返すことによって、顔復元ニューラルネットワーク１１０４を訓練して単一の偏光カメラモジュール１０’から得た推定済み面法線に基づいて３Ｄ顔復元物を生成するのに充分な訓練データを収集することができる。
【0226】
３Ｄ撮像システム１１１０は、三角測量（すなわち、複数の偏光カメラモジュール１０’間の視差シフト）に基づいて、観察対象の顔１１０２’の初期粗深度マップを生成することができるが、本発明の実施形態はこれに限定されない。
【0227】
例えば、いくつかの実施形態では、３Ｄ撮像システム１１１０は、観察対象の顔１１０２’の単眼２Ｄカラー画像（例えば、ＲＧＢ又はＲＧＢＧ画像）に基づいて、初期の粗い顔モデルを生成できる粗深度マップ生成装置１１１２をさらに含む。この２Ｄカラー画像は、偏光データに加えて色情報を捕捉できる偏光カメラモジュール１０’の１つによって捕捉されてもよく、又は、１つ又は複数の偏光カメラモジュール１０’と同様の視野を有する別個の従来のカラーカメラ（例えば、ＲＧＢカメラ）によって捕捉されてもよい。粗深度マップ生成装置１１１２は、深度推定のためのアルゴリズム、又は２次元画像に基づいて（例えば、逆二乗則を用いて）深度情報を推定するように訓練されたニューラルネットワークを利用してもよく、こうして、観測対象の顔１１０２’の初期粗深度マップ又はモデルを取得する。いくつかのその他の実施形態では、３Ｄ撮像システム１１１０は、焦点／デフォーカス、動きなどから深度を測定するように構成された深度センサをさらに含んでいてもよく、粗深度マップ生成装置１１１２は、深度センサからの入力に基づいて初期の粗い顔モデルを生成することができる。いくつかの別の実施形態によれば、粗深度マップ生成装置１１１２は、上記のように後に洗練される初期の粗い顔モデルとして使用する、普通の人間の顔のモデル（例えば、平均的な人間の顔又は顔の３Ｄ変形可能モデル（３ＤＭＭ）を処理システム１００に提供することができる。そのような実施形態では、処理システム１００は、図８Ｂの動作８４０を参照して前述したように、粗深度マップ生成装置１１１２によって提供される普通の顔のモデルを、１つ又は複数の偏光カメラモジュール１０’の視点に対応する画像空間に整合させることができる。
【0228】
Ｓｌｏｐｅ－Ｎｅｔ：物体シグネチャ及び顔シグネチャ作成のための面法線情報の使用
【0229】
物体及び顔の理解は解決すべき重要な問題である。物体の認識及び理解の用途は、ファッションデザイン、製品認識、分類、など多数存在する。顔の感情検出及び顔認識は、ドライバのモニタリング、ユーザ認証（例えば、自動支払い、セキュリティなどの領域における）、通常の監視などの用途にとって重要であり得る。物体の認識及び顔の理解の両方は、画像からピクセルを抽出し、ピクセルを画像間で変化しないシグネチャ又は表現に変換するできる能力に依拠している。機械学習における表現学習の分野は、現在、低次元マニホールドへの複雑な入力を予測するタスクに向けられている。概して、データマニホールドの寸法が小さくなればなるほど、これらの表現を学習することが容易になる。面法線情報を含まない標準のＲＧＢ画像は、テクスチャ、照明などに関するシーン固有の情報を大量に含んでもよい。関連技術の顔／物体認識アルゴリズムは、埋め込み空間、すなわち、各画像（高次元ベクトル）が低次元ベクトルに変換される比較的低次元の空間を学習することによってこのマニホールドを学習する。この訓練工程は、非常に遅く、分散する傾向がある。
【0230】
これとは対照的に、面法線のみを有する画像は、学習されなければならないマニホールドの複雑さを低下させるテクスチャ又は照明情報を一切含まない。そのため、より迅速且つより正確な学習が可能になる。
【0231】
本開示の実施形態のいくつかの態様は、様々な物体及び／又は顔の面法線画像を生成し、その後の処理のためにそのような面法線画像の１つ又は複数のライブラリをコンパイルすることに関する。いくつかの実施形態によれば、面法線画像で、ピクセルの各々の赤、緑及び青の値は、そのピクセルにおける面法線情報を符号化する。いくつかの実施形態では、ピクセルに対するＲＧＢ値の第１、第２及び第３の値は、それぞれ、当該ピクセルにおける面法線のｘ軸成分、ｙ軸成分及びｚ軸成分を表す。いくつかの例では、第１、第２及び第３の値は、それぞれ赤、緑及び青の値であってもよいが、本発明の実施形態はこれに限定されず、第１、第２及び第３の値は、それぞれ青、赤、及び緑の値であってもよく、又はこれらの値の任意のその他の順序であってもよい。面法線画像のライブラリ全体にわたる整合性を達成し、後処理における使用を容易にするために、面法線のｘ、ｙ、及びｚ軸成分は、ライブラリの全ての面法線画像におけるＲＧＢ値と同じＲＧＢ値にマッピングされる（これはマッピング整合性と呼んでもよい）。
【0232】
ライブラリ内の各面法線画像は、画像によって捕捉された物体を識別及び／又は特性評価するラベル又はタグに関連付けられていてもよい。ライブラリ内の面法線画像は、全て、特定のクラスの物体（例えば、車両、バイク、動物、交通信号、歩行者、顔など）に関連付けられていてもよい。例えば、ライブラリは、トラック、スポーツユーティリティビークル（ＳＵＶ）、バン、セダンなどの様々なタイプの車両の面法線画像を含んでいてもよく、このライブラリ内の各面法線画像は、車両のタイプを識別するためにラベリングしてもよい。別の例では、ライブラリは、各々が、関連付けられた捕捉された表情（例えば、笑い、微笑、渋面、驚き、嫌悪など）でラベリングされた、様々な人間の表情の面法線画像を含んでいてもよい。
【0233】
面法線画像のラベリングは、手動で実行してもよく（例えば、人手でラベリングしてもよく）、又は、面法線画像を生成するために合成画像を用いて面法線画像を生成する場合、機械（例えば、コンピュータ）によって実行してもよい。
【0234】
各面法線画像は、上記の技法を用いて生成してもよい。例えば、図６Ａ、７Ａ及び７Ｂに関連して前述したように、偏光カメラモジュール１０’又はステレオ偏光カメラシステム１０”を介して物体を撮像してもよく、フィーチャ抽出装置７００は、対応する面法線画像を生成することができる。いくつかの実施形態では、各ピクセルの面法線は、デカルト座標（例えば、面法線の方向を示す３次元ベクトル）を用いてＲＧＢ値に符号化される。
【0235】
いくつかの実施形態によれば、１つ又は複数のライブラリは、異なる機械学習アルゴリズム（例えば、予測装置／分類装置）を訓練するために使用される。いくつかの例では、人間の顔に対応する面法線画像のライブラリが、異なる感情状態を識別するために分類装置（例えば、表情分類装置）を訓練するために使用できる。そうすることで、予測装置７１０などの分類装置は、顔法線画像を、画像によって捕捉された感情状態を示し得る対応するラベルと相関させるように訓練される。次いで、この分類装置を用いて、観察対象の顔の面法線のみに基づいて、捕捉された顔の感情状態を識別することができる。同様に、人間の顔又は人体の法線画像に基づいて、意図、注視、身体のウェルネス、歩行及び／又は同種のものを認識するように分類装置を訓練することができる。
【0236】
その他の例では、分類装置（例えば、予測装置７１０）は、様々な車種のラベリングされた法線画像を含むライブラリから得た面法線画像を使用することで、トラック、ＳＵＶ、バン、セダンなどの異なるタイプの車両を識別するように訓練できる。
【0237】
図１２は、本発明の一実施形態に係る予測装置７１０のブロック図である。
【0238】
いくつかの実施形態によれば、予測装置７１０は、入力された面法線画像５０’を１つ又は複数のカテゴリに分類する訓練済み分類装置を含む。例えば、訓練済み分類装置は、分類装置が検出するように訓練された異なる可能な画像特性の数（例えば、表情又は車種）に等しい長さを有するベクトル（例えば、確率ベクトル）を含む特性評価出力２０を計算でき、ベクトル内の各値は、入力された面法線画像５０’が対応する画像特性を示すという信頼性に対応する。いくつかの実施形態では、予測装置７１０は、異なるタイプの画像特性に関連付けられた複数の統計モデル（例えば、７１２、７１４．．．７１６など）を含み、各モデルは、入力された面法線画像５０’が関連付けられた画像特性に適合するという信頼レベルを提供する。例えば、画像特性が表情である場合には、予測装置７１０の各モデルは、笑い、微笑、渋面、驚きなどの対応する１つに関連付けられてもよく、予測装置７１０はベクトルを出力してもよく、ベクトル内の各要素は、笑い、微笑、渋面、驚きなどの１つに対応する信頼／確率値である。
【0239】
分類装置は、固定サイズ及び特定のマッピング整合性の面法線画像５０’を入力するように訓練できる。例えば、面法線画像５０’のあるピクセルに対するＲＧＢ値の第１、第２、及び第３の値は、当該ピクセルの面法線のｘ軸成分、ｙ軸成分、及びｚ軸成分をそれぞれ表す。分類装置は、例えば、サポートベクトルマシン、深層ニューラルネットワーク（例えば、全結合深層ニューラルネットワーク）などを含んでいてもよい。
【0240】
分類装置が畳み込みニューラルネットワーク（例えば、偏光マスクＲ－ＣＮＮ）などのニューラルネットワークを利用する実施形態では、訓練工程は、ニューラルネットワークの様々な層のニューロン間の結合の重みを逆伝播アルゴリズムに従って更新することと、勾配降下を用いて、ニューラルネットワークの出力とラベリングされたトレーニングデータとの間の誤差又は損失を最小限にするように重みを反復的に調整することと、を含んでいてもよい。
【0241】
本開示の面プロフィロメトリシステム及び様々な３Ｄ撮像システムの構成要素によって実行される動作は、データ又はディジタル信号を処理するために使用されるハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを含んでいてもよい「処理回路」又は「プロセッサ」によって実行することができる。処理回路ハードウェアは、例えば、特定用途向け集積回路（ＡＳＩＣ）、汎用又は専用目的中央処理装置（ＣＰＵ）、ディジタル信号プロセッサ（ＤＳＰ）、グラフィックス処理装置（ＧＰＵ）、及びフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのプログラマブル論理デバイスを含んでいてもよい。本明細書で使用される処理回路では、各機能は、当該機能を実行するように構成された、すなわち、配線接続されたハードウェアによって実行されるか、又は、非一時的記憶媒体に記憶された命令を実行するように構成されたＣＰＵなどのより汎用のハードウェアによって実行される。処理回路は、単一のプリント配線基板（ＰＷＢ）上に組み立てられてもよく、又は、いくつかの相互接続されたＰＷＢ上に分散されていてもよい。処理回路は、その他の処理回路を含んでもよい。例えば、処理回路は、ＰＷＢ上に相互接続された２つの処理回路、すなわち、ＦＰＧＡ及びＣＰＵを含んでいてもよい。
【0242】
本明細書では、「第１の」、「第２の」、「第３の」などの用語は、様々な要素、構成要素、領域、層、及び／又はセクションを記述するために使用できるが、これらの要素、構成要素、領域、層及び／又はセクションは、上記の用語によって制限されてはならないことが理解されよう。これらの用語は、１つの要素、構成要素、領域、層、又はセクションを別の要素、構成要素、領域、層、又はセクションから区別するために使用される。したがって、以下に説明する第１の要素、構成要素、領域、層、又はセクションは、本発明の概念の範囲から逸脱することなく、第２の要素、構成要素、領域、層、又はセクションと呼んでもよい。
【0243】
本明細書で使用される用語は、特定の実施形態を記述するためのものであって、本発明の概念を限定することを意図するものではない。本明細書で使用される、単数形「ａ」及び「ａｎ」は、文脈がそうでないことを明示しない限り、複数形を含むことを意図している。さらに、「含む（ｉｎｃｌｕｄｅ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「備える（ｃｏｍｐｒｉｓｅｓ）」、及び／又は「備える（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、明細書で使用される場合、記載されたフィーチャ、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在を明記するが、１つ又は複数のその他のフィーチャ、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を排除しないことが理解されよう。本明細書で使用される「及び／又は」という用語は、関連付けられた列挙項目の１つ以上の任意の、及び全ての組み合わせを含む。さらに、本発明の概念の実施形態を説明する際の「であってもよい（ｍａｙ）」の使用は、「本発明の概念の１つ又は複数の実施形態」を指す。また、「例示的な（ｅｘｅｍｐｌａｒｙ）」という用語は、例又は例示を指すことを意図している。
【0244】
本明細書で使用される「使用する（ｕｓｅ）」、「使用する（ｕｓｉｎｇ）」、及び「使用される」という用語は、それぞれ「利用する（ｕｔｉｌｉｚｅ）」、「利用する（ｕｔｉｌｉｚｉｎｇ）及び「利用される（ｕｔｉｌｉｚｅｄ）」という用語と同義であると考えてよい。
【0245】
本発明の概念の実施形態を説明する際の「であってもよい（ｍａｙ）」の使用は、「本発明の概念の１つ又は複数の実施形態」を指す。また、「例示的な（ｅｘｅｍｐｌａｒｙ）」という用語は、例又は例示を指すことを意図している。
【0246】
以上、特定の好ましい実施形態に関連して本発明を説明してきたが、本発明は、開示された実施形態に限定されず、逆に、添付の特許請求の範囲の主旨及び範囲内に含まれる様々な変更及び同等の構成、並びにそれらの同等物をカバーすることを意図していることを理解されたい。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図12】
【国際調査報告】