特表 2022-546627 偏光によるセンサシステム及び撮像システムの増強のための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-04

(54)【発明の名称】偏光によるセンサシステム及び撮像システムの増強のための方法

(51)【国際特許分類】

   G01B 11/24 20060101AFI20221027BHJP

   H04N 5/225 20060101ALI20221027BHJP

   H04N 5/232 20060101ALI20221027BHJP

   H04N 5/235 20060101ALI20221027BHJP

   G06T 7/593 20170101ALI20221027BHJP

   G01B 11/26 20060101ALI20221027BHJP

【ＦＩ】

G01B11/24 K

H04N5/225 800

H04N5/225 700

H04N5/232 290

H04N5/225 400

H04N5/235 500

G06T7/593

G01B11/26 H

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022521149

(86)(22)【出願日】2020-10-07

(85)【翻訳文提出日】2022-06-07

(86)【国際出願番号】 US2020054641

(87)【国際公開番号】W WO2021071992

(87)【国際公開日】2021-04-15

(31)【優先権主張番号】62/911,952

(32)【優先日】2019-10-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/001,445

(32)【優先日】2020-03-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/942,113

(32)【優先日】2019-11-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】522106248

【氏名又は名称】ボストン ポーラリメトリックス，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100153729

【弁理士】

【氏名又は名称】森本 有一

(74)【代理人】

【識別番号】100196601

【弁理士】

【氏名又は名称】酒井 祐市

(72)【発明者】

【氏名】アチュタ カダンビ

(72)【発明者】

【氏名】ラメシュ ラスカー

(72)【発明者】

【氏名】カルティク ベンカタラマン

(72)【発明者】

【氏名】スプリース クリシュナ ラオ

(72)【発明者】

【氏名】アガストヤ カルラ

【テーマコード（参考）】

2F065

5C122

5L096

【Ｆターム（参考）】

2F065AA04

2F065AA06

2F065AA31

2F065AA51

2F065AA53

2F065FF04

2F065FF05

2F065FF49

2F065HH04

2F065JJ05

2F065JJ26

2F065LL21

2F065LL31

2F065MM06

2F065QQ03

2F065QQ08

2F065QQ23

2F065QQ25

2F065SS02

5C122DA14

5C122EA21

5C122FA18

5C122FB17

5C122FH11

5C122FH14

5C122FH18

5C122GE05

5C122GE06

5C122HA75

5C122HA88

5C122HB01

5C122HB05

5C122HB10

5L096CA05

5L096FA67

5L096GA55

5L096HA11

5L096JA11

(57)【要約】

マルチモーダルセンサシステムは、基礎をなすセンサシステムと、複数の異なる偏光状態に対応する偏光の生フレームを捕捉するように構成された偏光カメラシステムと、プロセッサとメモリとを含み、基礎をなすセンサシステム及び偏光カメラシステムを制御するように構成された処理システムと、を含み、メモリは、プロセッサによって実行されると、プロセッサに対して、基礎をなすセンサシステムを制御してシーン上で計測を実行し、偏光カメラシステムを制御してシーンの複数の偏光の生フレームを捕捉し、複数の偏光の生フレームに基づいて偏光表現空間内の第１のテンサーを抽出し、基礎をなすセンサシステムの出力と偏光表現空間内の第１のテンサーとに基づいて特性評価出力を計算するように仕向ける命令を記憶する。
【選択図】図１Ａ

【特許請求の範囲】

【請求項1】

基礎をなすセンサシステムと、
複数の異なる偏光状態に対応する偏光の生フレームを捕捉するように構成された偏光カメラシステムと、
プロセッサとメモリとを備え、前記基礎をなすセンサシステム及び前記偏光カメラシステムを制御するように構成された処理システムと、を備える、マルチモーダルセンサシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記基礎をなすセンサシステムを制御してシーン上で計測を実行し、前記偏光カメラシステムを制御して前記シーンの複数の偏光の生フレームを捕捉し、
前記複数の偏光の生フレームに基づいて偏光表現空間内の第１のテンサーを抽出し、
前記基礎をなすセンサシステムの出力と偏光表現空間内の前記第１のテンサーとに基づいて特性評価出力を計算するように仕向ける命令を記憶する、マルチモーダルセンサシステム。

【請求項2】

前記偏光カメラシステムが、
第１の偏光配向の第１の偏光フィルタを備え、第１の光軸を有する第１の偏光カメラと、
第２の偏光配向の第２の偏光フィルタを備え、前記第１の光軸と実質的に平行な第２の光軸を有する第２の偏光カメラと、
第３の偏光配向の第３の偏光フィルタを備え、前記第１の光軸と実質的に平行な第３の光軸を有する第３の偏光カメラと、を備える偏光カメラモジュールを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項3】

前記偏光カメラモジュールが、第４の偏光配向の第４の偏光フィルタを備え、第１の光軸と実質的に平行な第４の光軸を有する第４の偏光カメラをさらに備える、請求項２に記載のマルチモーダルセンサシステム。

【請求項4】

前記第１のテンサーが、直線偏光度（ＤＯＬＰ）と、直線偏光角（ＡＯＬＰ）とを備え、
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記第１の偏光カメラ、前記第２の偏光カメラ、及び前記第３の偏光カメラによって捕捉された偏光の生フレームに基づいて、前記ＤＯＬＰ及び前記ＡＯＬＰを計算するように仕向ける命令をさらに記憶し、前記命令が、
ステークスベクトルに基づいてＤＯＬＰ推定値及びＡＯＬＰ推定値を初期化し、
前記偏光の生フレーム内の視差に基づいてシーンの幾何学形状を推定して粗モデルを生成し、さらに、
前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値の変化が両方共に対応するしきい値を下回るまで、
繰り返し、前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値に基づいて前記粗モデルを洗練して幾何学形状の推定値を生成し、
前記幾何学形状の推定値に基づいて前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値を更新する命令を備える、請求項２に記載のマルチモーダルセンサシステム。

【請求項5】

前記偏光カメラシステムが、
第１の複数の異なる偏光状態に対応する第１の複数の偏光の生フレームを捕捉するように構成された、第１の光軸を有する第１の偏光カメラモジュールと、
第２の複数の異なる偏光状態に対応する第２の複数の偏光の生フレームを捕捉するように構成された、第２の光軸を有し、ベースラインに沿って前記第１の偏光カメラモジュールから離間した第２の偏光カメラモジュールと、を備えるステレオ偏光カメラシステムを備え、前記第１の光軸が前記第２の光軸に実質的に平行である、請求項１に記載のマルチモーダルセンサシステム。

【請求項6】

前記第１の偏光カメラモジュールが、３つ以上の異なる第１のカラースペクトルの光を透過するように構成された第１の複数のカラーフィルタを備え、
前記第２の偏光カメラモジュールが、３つ以上の異なる第２のカラースペクトルの光を透過するように構成された第２の複数のカラーフィルタを備え、
前記３つ以上の第２のカラースペクトルが、前記３つ以上の第１のカラースペクトルとは異なる、請求項５に記載のマルチモーダルセンサシステム。

【請求項7】

前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記ステレオ偏光カメラシステムを制御して、前記第１のカラースペクトル及び前記第２のカラースペクトル内のマルチスペクトルステレオ偏光撮像データを捕捉し、
前記マルチスペクトルステレオ偏光撮像データから偏光表現空間内の第１のテンサーを抽出するように仕向ける命令をさらに記憶する、請求項６に記載のマルチモーダルセンサシステム。

【請求項8】

前記基礎をなすセンサシステムが、能動エミッタ及び検出装置を備える能動走査システムを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項9】

前記能動走査システムがレーダシステムを備える、請求項８のマルチモーダルセンサシステム。

【請求項10】

前記能動走査システムがライダシステムを備える、請求項８に記載のマルチモーダルセンサシステム。

【請求項11】

前記能動走査システムが能動ステレオ深度カメラシステムを備える、請求項８に記載のマルチモーダルセンサシステム。

【請求項12】

前記マルチモーダルセンサシステムが車両に搭載された、請求項８に記載のマルチモーダルセンサシステム。

【請求項13】

前記メモリが、前記処理システムの前記プロセッサによって実行されると、前記プロセッサに対して、
前記基礎をなすセンサシステムの前記出力に基づいて疎点群を計算し、
前記偏光の生フレームから面法線を計算し、
前記面法線に基づいて３Ｄ面を計算し、
前記疎点群に基づいて前記３Ｄ面を補正して前記シーンの３Ｄモデルを計算するように仕向ける命令をさらに記憶する、請求項８に記載のマルチモーダルセンサシステム。

【請求項14】

前記メモリが、前記処理システムの前記プロセッサによって実行されると、前記プロセッサに対して、
前記偏光表現空間内の前記第１のテンサーに基づいて、前記シーン内の１つ又は複数の関心領域を識別するセグメンテーションマップを計算し、
前記能動エミッタを操作して前記１つ又は複数の関心領域に向けてビームを放射し、
前記能動エミッタによって放射されたビームの反射を前記能動走査システムの検出装置を用いて検出するように仕向ける命令をさらに記憶する、請求項８に記載のマルチモーダルセンサシステム。

【請求項15】

前記メモリが、前記プロセッサに対して、前記第１のテンサーに基づいてセグメンテーションマップを計算するように訓練された畳み込みニューラルネットワークを実施するように仕向ける命令をさらに記憶する、請求項１に記載のマルチモーダルセンサシステム。

【請求項16】

前記基礎をなすセンサシステムが、カラーカメラシステムを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項17】

前記カラーカメラシステムは、ディジタル一眼レフカメラ又はビデオカメラである、請求項１６に記載のマルチモーダルセンサシステム。

【請求項18】

前記基礎をなすセンサシステムの前記カラーカメラの前記出力が、カラー画像を含み、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記第１のテンサーに基づいて前記シーンの複数の面法線を計算し、
前記シーンの前記計算済み面法線を前記カラーカメラによって捕捉された前記カラー画像と同じファイル内に記憶するように仕向ける命令をさらに記憶する、請求項１６に記載のマルチモーダルセンサシステム。

【請求項19】

複数の異なる偏光状態に対応する、シーンの偏光の生フレームを捕捉するように構成された偏光カメラと、
前記偏光カメラを制御するように構成された、プロセッサ及びメモリを有する処理システムと、を備える偏光カメラシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記偏光カメラを制御して複数の偏光の生フレームを捕捉し、
前記偏光の生フレームに基づいて高ダイナミックレンジ（ＨＤＲ）画像を合成するように仕向ける命令を記憶する、偏光カメラシステム。

【請求項20】

前記偏光の生フレームの各々が、同じ露出設定のセットに基づいて捕捉され、
前記偏光の生フレームの少なくとも１つが、前記シーン内の面からの鏡面反射が原因で前記偏光の生フレームの一部分に飽和ピクセルを含み、
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、別の偏光の生フレームの対応する部分から得たデータに基づいて、前記偏光の生フレームの部分に対応するＨＤＲ画像の部分に飽和ピクセルがないＨＤＲ画像を合成するように仕向ける命令をさらに記憶する、請求項１９に記載の偏光カメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年１０月７日に米国特許商標庁に出願された米国特許仮出願第６２／９１１，９５２号、２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号、及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に対する優先権及びその利益を主張し、当該仮出願は、その開示内容全体を参照により本明細書に援用される。

【0002】

本開示の実施形態の態様は、偏光によって増強されたセンサシステムを含むセンサシステムの分野に関する。

【背景技術】

【0003】

レーダ、ライダ、カメラ（例えば、可視光及び／又は赤外線カメラ）、及び同種のものなどのセンサシステム及び撮像システムは、電磁放射と環境との相互作用によって環境内の物体及びフィーチャを検出する。例えば、カメラシステム及びライダシステムは、シーン内又は環境内の物体から反射された光を検出する。同様に、レーダシステムは、低周波電磁波（例えば、無線周波数又はマイクロ波周波数）を送信し、それらの信号の反射に基づいて物体の特性を決定する。その他のセンサシステムは、超音波撮像の場合、圧力波又は音波などのその他の形態の放射線を使用できる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施形態の態様は、偏光を用いた、センサシステム及び撮像システムの増強のためのシステム及び方法に関する。本開示の実施形態のいくつかの態様によれば、受信された電磁放射の偏光を検出するように構成されたセンサが、例えば、光の偏光に関わらず光の強度を検出するように構成されたカメラなどの、その他の撮像モダリティの性能又は性状を増強するために使用される。本開示の実施形態のいくつかの態様では、受信された電磁放射の偏光を検出するように構成されたセンサが、他の手段としてはディジタルカメラなどの比較撮像システムを用いて形成される画像を形成するために使用される。本開示の実施形態のいくつかの態様は、光の偏光を検出するように構成されたカメラシステムに関する。

【0005】

本開示の一実施形態によれば、マルチモーダルセンサシステムは、基礎をなすセンサシステムと、複数の異なる偏光状態に対応する偏光の生フレームを捕捉するように構成された偏光カメラシステムと、プロセッサとメモリとを含み、基礎をなすセンサシステム及び偏光カメラシステムを制御するように構成された処理システムと、を含み、メモリは、プロセッサによって実行されると、プロセッサに対して、基礎をなすセンサシステムを制御してシーン上で計測を実行し、偏光カメラシステムを制御してシーンの複数の偏光の生フレームを捕捉し、複数の偏光の生フレームに基づいて偏光表現空間内の第１のテンサーを抽出し、基礎をなすセンサシステムの出力と偏光表現空間内の第１のテンサーとに基づいて特性評価出力を計算するように仕向ける命令を記憶する。

【0006】

偏光カメラシステムは、第１の偏光配向の第１の偏光フィルタを含み、第１の光軸を有する第１の偏光カメラと、第２の偏光配向の第２の偏光フィルタを含み、第１の光軸と実質的に平行な第２の光軸を有する第２の偏光カメラと、第３の偏光配向の第３の偏光フィルタを含み、第１の光軸と実質的に平行な第３の光軸を有する第３の偏光カメラと、を含む偏光カメラモジュールを含んでいてもよい。

【0007】

偏光カメラモジュールは、第４の偏光配向の第４の偏光フィルタを含み、第１の光軸と実質的に平行な第４の光軸を有する第４の偏光カメラをさらに含んでいてもよい。

【0008】

第１のテンサーは、直線偏光度（ＤＯＬＰ）と、直線偏光角（ＡＯＬＰ）とを含んでいてもよく、メモリは、プロセッサによって実行されると、プロセッサに対して、第１の偏光カメラ、第２の偏光カメラ、及び第３の偏光カメラによって捕捉された偏光の生フレームに基づいて、ＤＯＬＰ及びＡＯＬＰを計算するように仕向ける命令をさらに記憶していてもよく、当該命令は、ステークスベクトルに基づいてＤＯＬＰ推定値及びＡＯＬＰ推定値を初期化し、偏光の生フレーム内の視差に基づいてシーンの幾何学形状を推定して粗モデルを生成し、さらに、ＤＯＬＰ推定値及びＡＯＬＰ推定値の変化が両方共に対応するしきい値を下回るまで、繰り返し、ＤＯＬＰ推定値及びＡＯＬＰ推定値に基づいて粗モデルを洗練して幾何学形状の推定値を生成し、幾何学形状の推定値に基づいてＤＯＬＰ推定値及びＡＯＬＰ推定値を更新する命令を含む。

【0009】

偏光カメラシステムは、第１の複数の異なる偏光状態に対応する第１の複数の偏光の生フレームを捕捉するように構成された、第１の光軸を有する第１の偏光カメラモジュールと、第２の複数の異なる偏光状態に対応する第２の複数の偏光の生フレームを捕捉するように構成された、第２の光軸を有し、ベースラインに沿って第１の偏光カメラモジュールから離間した第２の偏光カメラモジュールと、を含むステレオ偏光カメラシステムを含んでいてもよく、第１の光軸は第２の光軸に実質的に平行である。

【0010】

第１の偏光カメラモジュールは、３つ以上の異なる第１のカラースペクトルの光を透過するように構成された第１の複数のカラーフィルタを含み、第２の偏光カメラモジュールは、３つ以上の異なる第２のカラースペクトルの光を透過するように構成された第２の複数のカラーフィルタを含み、３つ以上の第２のカラースペクトルは、３つ以上の第１のカラースペクトルとは異なっていてもよい。

【0011】

メモリは、プロセッサによって実行されると、プロセッサに対して、ステレオ偏光カメラシステムを制御して、第１のカラースペクトル及び第２のカラースペクトル内のマルチスペクトルステレオ偏光撮像データを捕捉し、マルチスペクトルステレオ偏光撮像データから偏光表現空間内の第１のテンサーを抽出するように仕向ける命令をさらに記憶することができる。

【0012】

基礎をなすセンサシステムは、能動エミッタ及び検出装置を含む能動走査システムを含んでいてもよい。能動走査システムは、レーダシステムを含んでいてもよい。能動走査システムは、ライダシステムを含んでいてもよい。能動走査システムは、能動ステレオ深度カメラシステムを含んでいてもよい。

【0013】

マルチモーダルセンサシステムは、車両に搭載されていてもよい。

【0014】

メモリは、処理システムのプロセッサによって実行されると、プロセッサに対して、基礎をなすセンサシステムの出力に基づいて疎点群を計算し、偏光の生フレームから面法線を計算し、面法線に基づいて３Ｄ面を計算し、疎点群に基づいて３Ｄ面を補正してシーンの３Ｄモデルを計算するように仕向ける命令をさらに記憶することができる。

【0015】

メモリは、処理システムのプロセッサによって実行されると、プロセッサに対して、偏光表現空間内の第１のテンサーに基づいて、シーン内の１つ又は複数の関心領域を識別するセグメンテーションマップを計算し、能動エミッタを操作して１つ又は複数の関心領域に向けてビームを放射し、能動エミッタによって放射されたビームの反射を能動走査システムの検出装置を用いて検出するように仕向ける命令をさらに記憶することができる。

【0016】

メモリは、プロセッサに対して、第１のテンサーに基づいてセグメンテーションマップを計算するように訓練された畳み込みニューラルネットワークを実施するように仕向ける命令をさらに記憶することができる。

【0017】

基礎をなすセンサシステムは、カラーカメラシステムを含んでいてもよい。

【0018】

カラーカメラシステムは、ディジタル一眼レフカメラ又はビデオカメラであってもよい。

【0019】

基礎をなすセンサシステムのカラーカメラの出力は、カラー画像を含んでいてもよく、メモリは、プロセッサによって実行されると、プロセッサに対して、第１のテンサーに基づいてシーンの複数の面法線を計算し、シーンの計算済み面法線をカラーカメラによって捕捉されたカラー画像と同じファイル内に記憶するように仕向ける命令をさらに記憶することができる。

【0020】

本開示の一実施形態によれば、偏光カメラシステムは、複数の異なる偏光状態に対応する、シーンの偏光の生フレームを捕捉するように構成された偏光カメラと、偏光カメラを制御するように構成された、プロセッサ及びメモリを有する処理システムと、を含み、メモリは、プロセッサによって実行されると、プロセッサに対して、偏光カメラを制御して複数の偏光の生フレームを捕捉し、偏光の生フレームに基づいて高ダイナミックレンジ（ＨＤＲ）画像を合成するように仕向ける命令を記憶する。

【0021】

偏光の生フレームの各々は、同じ露出設定のセットに基づいて捕捉されてもよく、偏光の生フレームの少なくとも１つは、シーン内の面からの鏡面反射が原因で偏光の生フレームの一部分に飽和ピクセルを含むことがあり、メモリは、プロセッサによって実行されると、プロセッサに対して、別の偏光の生フレームの対応する部分から得たデータに基づいて、偏光の生フレームの部分に対応するＨＤＲ画像の部分に飽和ピクセルがないＨＤＲ画像を合成するように仕向ける命令をさらに記憶することができる。

【0022】

添付図面は、本明細書と併せて、本発明の好ましい実施形態を示し、本明細書と併せて、本発明の原理を説明するのに役立つ。

【図面の簡単な説明】

【0023】

【図1A】本開示の実施形態に係る偏光カメラシステムを用いて増強された撮像システムの概略ブロック図である。

【図1B】本開示の一実施形態に係る、偏光カメラを使用するシステムの概略ブロック図である。

【図1C】本開示の一実施形態に係る偏光カメラモジュールの斜視図である。

【図1D】本開示の一実施形態に係る偏光カメラモジュールの一部の断面図である。

【図1E】本開示の一実施形態に係るステレオ偏光カメラシステムの斜視図である。

【図2A】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。

【図2B】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。

【図2C】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。

【図2D】本開示の実施形態の態様に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されるセグメンテーションマップを例示する背景を提供する図である。

【図3】透明な物体と非透明な（例えば、散乱性及び／又は反射性）物体との光の相互作用を高レベルに示す図である。

【図4】本開示の一実施形態に係る、視差の曖昧さの下で偏光キューを推定するための方法のフローチャートである。

【図5A】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの斜視図である。

【図5B】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの、当該システムの光軸に平行な方向に沿った図である。

【図5C】本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの例示的な個々の偏光カメラの側断面図である。

【図6A】本発明の一実施形態に係る、偏光データに基づいて面特性評価出力を計算するための処理回路１００のブロック図である。

【図6B】本発明の一実施形態に係る、面特性評価出力を計算するために入力画像に基づいて面特性評価を実行するための方法６００のフローチャートである。

【図7A】本発明の一実施形態に係るフィーチャ抽出装置７００のブロック図である。

【図7B】偏光の生フレームからフィーチャを抽出するための本発明の一実施形態に係る方法を示すフローチャートである。

【図8A】本発明で提案される撮像セットアップの例示的な実装形態によって走査されるギリシャ胸像の図である。

【図8B】本開示の一実施形態に係る、偏光を使用する３Ｄ面復元のための方法のフローチャートである。

【図9A】本発明の一実施形態に係る、撮像セットアップの例示的な実装形態によって走査される屈折率ｎの平坦な面の図である。

【図9B】本開示の一実施形態に係る、偏光を使用する平坦な又は幾何学的に簡単な面の３Ｄ面復元のための方法のフローチャートである。

【図10A】能動走査システムが本開示の一実施形態に係る偏光カメラシステムを用いて増強されるシステムの概略図である。

【図10B】能動３Ｄ走査システムによって捕捉された３Ｄモデルを本開示の一実施形態に係る偏光カメラによって捕捉された面法線と融合させるための方法を示すフローチャートである。

【図10C】本開示の一実施形態に係る、偏光を使用する能動計測システムを増強するための方法を示すフローチャートである。

【図11】偏光の生フレームから高ダイナミックレンジ（ＨＤＲ）画像を合成するための方法を示すフローチャートである。

【発明を実施するための形態】

【0024】

以下の詳細な説明では、本発明のいくつかの好ましい実施形態のみが図示され、説明される。本発明は多くの異なる形態で具体化が可能であり、本明細書に記載の実施形態に限定されるものと解釈されるべきではないことを当業者は理解するであろう。

【0025】

透明な物体のような光学的に困難な物体は、製造、生命科学及び自動車産業のための自動化及び分析を含む、コンピュータビジョン又はマシンビジョンシステムの多数の現実世界の用途で出現する。例えば、製造において、コンピュータビジョンシステムを用いて、部品の分類、選択、及び配置と、製造中の構成要素の配置の検証と、最終検査及び欠陥の検出と、を自動化することができる。別の例として、生命科学分野で、コンピュータビジョンシステムを用いて、試薬の測定と、試料の調製と、計測器出力の読み出しと、試料の特性評価と、容器内試料の採取及び配置と、を自動化することができる。自動車産業における別の例には、運転者を補助するために、又は自動運転車両を動作させるために街路シーン内の透明な物体を検出することが含まれる。さらなる例としては、ガラス扉やその他の透明なバリアを検出できる自航車椅子及び、透明な飲用コップを検出することができ、現実の物体と印刷されたスプーフとを区別することができる、視覚障害を有する人を補助するための装置などの補助技術が挙げられる。

【0026】

不透明な物体とは対照的に、透明な物体は、それ自体のテクスチャ（例えば、コンピュータグラフィックス分野で使用される「テクスチャマッピング」などにおける面の色情報）を欠いている。その結果、比較システムは、概して、標準撮像システム（例えば、白黒強度画像又は赤色、緑色、青色又はＲＧＢ画像のような色強度画像を捕捉するように構成されたカメラ）を使用して捕捉されたシーン内に存在する透明な物体のインスタンスを正確に識別することができない）。これは、透明な物体が、アルゴリズムが理解できる、又は検出するよう学習できる（例えば、機械学習アルゴリズムの訓練工程の間に）一貫したテクスチャ（例えば、面の色）を有していないからであり得る。同様の問題が、部分的に透明又は半透明の物体、並びにいくつかのタイプの反射物体（例えば、光沢がある金属）及び極めて暗い物体（例えば、マットブラックの物体）で発生する可能性がある。

【0027】

したがって、本開示の実施形態の態様は、偏光撮像を使用して、シーン内の透明な物体並びにその他の光学的に困難な物体及びフィーチャを検出するようにセンサシステムを増強するための追加情報を提供することに関する。さらに、本開示の実施形態の態様は、透明、半透明、及び反射物体、並びに暗い物体のようなその他の光学的に困難な物体を検出することにも適用される。

【0028】

本明細書で使用される「光学的に困難」という用語は、非ランバート（例えば、マットでない）、半透明、マルチパス誘導、及び／又は非反射性という４つの特性の１つ以上を、充分な閾値レベル又は程度において満足する材料からなる物体を指す。いくつかの状況では、４つの特性の１つのみを示す物体は、検出することが光学的に困難な可能性がある。さらに、物体又は材料は、同時に複数の特性を示す場合がある。例えば、半透明な物体は、面反射と背景反射とを有することができるので、透明な物体は透光性とマルチパスとの両方が理由で困難である。いくつかの状況では、物体は、上に列挙した４つの特性の１つ以上を示す場合があるが、これらの条件は、比較コンピュータビジョンシステムにとって問題になるレベル又は程度では示されていないので、検出することは光学的に困難ではない可能性がある。例えば、物体が半透明であるが、それでもシーン内の物体の別のインスタンスから検出しセグメント化するのに充分な面テクスチャを示す場合がある。別の例として、面は、他のビジョンシステムにとって問題になるのに充分な程度に非ランバートでなければならない。いくつかの実施形態では、物体が光学的に困難な程度又はレベルは、物体の双方向反射率分布関数（ＢＲＤＦ）の鏡面ローブの半値全幅（ＦＷＨＭ）を用いて定量化される。このＦＷＨＭがしきい値未満であれば、材料は光学的に困難であると考えられる。

【0029】

図１Ａは、本開示の実施形態に係る偏光カメラシステムを用いて増強された撮像システムの概略ブロック図である。図１Ｂは、本発明の一実施形態に係る、偏光カメラを使用するシステムの概略ブロック図である。図１Ａ及び図１Ｂに示す構成では、シーン１は、不透明なマット物体３（例えば、野球のボール及びテニスボール）の前に置かれた透明な物体２（例えば、ガラス玉などの玉、飲用コップ又はタンブラーなどのシリンダ、及び透明なアクリルの窓ガラスなどの平坦な面として示す）を含む。偏光カメラ１０は、レンズ１２及びカメラ１０が、視野がシーン１を包含するような向きにある視野を備えたレンズ１２を有する。レンズ１２は、シーン１からの光（例えば焦点光）を、画像センサ１４（例えば、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ又は電荷結合素子（ＣＣＤ）画像センサ）などの感光性媒体上に向けるように構成されている。図１Ａに示すように、偏光カメラ１０を用いて別の撮像システム１１によって捕捉されたセンサデータを増強することができる。

【0030】

偏光カメラ１０は、シーン１と画像センサ１４との間の光路内に配置された偏光子又は偏光フィルタ又は偏光マスク１６をさらに含む。本開示の様々な実施形態によれば、偏光子又は偏光マスク１６は、偏光カメラ１０が、偏光子を様々な指定した角度に（例えば、４５°回転した位置又は６０°回転した位置又は不均等に離間した回転位置に）設定した状態でシーン１の画像を捕捉することを可能にするように構成されている。

【0031】

一例として、図１Ｂは、偏光マスク１６が、カラーカメラの赤－緑―青（ＲＧＢ）カラーフィルタ（例えば、ベイヤーフィルタ）と同様に、画像センサ１４のピクセルグリッドと整合した偏光モザイクである実施形態を示す。カラーフィルタモザイクが、画像センサ１４の各ピクセルが、モザイクのカラーフィルタのパターンに従って、スペクトルの特定の部分（例えば、赤、緑、又は青の）で光を受光するように、波長に基づいて入射光をフィルタリングする方法と同様の方法で、偏光モザイクフィルタを使用する偏光マスク１６は、異なるピクセルが直線偏光の異なる角度（例えば、０°、４５°、９０°、及び１３５°、又は０°、６０°、及び１２０°）で光を受光するように、直線偏光に基づいて光をフィルタリングする。したがって、図１Ｂに示すような偏光マスク１６を使用する偏光カメラ１０は、４つの異なる直線偏光において同時に、又は一斉に光を捕捉することができる。偏光カメラの一例は、オレゴン州ＷｉｌｓｏｎｖｉｌｌｅのＦＬＩＲ（登録商標）Ｓｙｓｔｅｍｓ， Ｉｎｃ．製のＢｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラである。

【0032】

上記の説明は、偏光モザイクを使用する偏光カメラのいくつかの可能な実装形態に関するものであるが、本開示の実施形態はこれに限定されず、複数の異なる偏光において画像を捕捉することができるその他の種類の偏光カメラを包含する。例えば、偏光マスク１６は、４つよりも少ない偏光又は４以上の異なる偏光を有していてもよく、上記の角度と異なる角度の偏光を有していてもよい（例えば、０°、６０°、１２０°の偏光角、又は０°、３０°、６０°、９０°、１２０°、１５０°の偏光角で）。別の例として、偏光マスク１６は、画像センサ１４の異なる部分が異なる偏光を有する光を受光するように、マスクの個々のピクセルの偏光角を独立して制御できる、電気光学変調装置などの電子的に制御された偏光マスクを使用して実施することができる（例えば、液晶層を含んでいてもよい）。別の例として、電気光学変調装置は、例えば、異なるフレームを捕捉するときに異なる直線偏光の光を送信して、カメラが、偏光マスク全体を、異なる直線偏光角（例えば、０度、４５度、９０度、又は１３５度）に順次設定して画像を捕捉するように構成されていてもよい。別の例として、偏光マスク１６は、偏光フィルタをレンズ１２に対して機械的に回転させて異なる偏光角の光を画像センサ１４へ放射する偏光カメラ１０によって異なる偏光の生フレームが捕捉されるように、機械的に回転する偏光フィルタを含んでいてもよい。さらに、上記の実施例は直線偏光フィルタの使用に関するものであるが、本開示の実施形態はこれに限定されず、円偏光フィルタ（例えば、１／４波長板を備えた直線偏光フィルタ）を含む偏光カメラの使用も含む。したがって、本開示の様々な実施形態では、偏光カメラは、偏光フィルタを用いて、異なる直線偏光角及び異なる円偏光（例えば、ハンデッドネス）などの異なる偏光において複数の偏光の生フレームを捕捉する。

【0033】

その結果、偏光カメラ１０は、被検査物体１の被検査面２を含むシーンの複数の入力画像１８（又は偏光の生フレーム）を捕捉する。いくつかの実施形態では、偏光の生フレーム１８の各々は、偏光フィルタ又は偏光子の後方で、異なる偏光角φｐｏｌ（例えば、０度、４５度、９０度、又は１３５度）で撮影された画像に対応する。偏光の生フレーム１８の各々は、シーンに対して異なる位置及び向きから偏光の生フレームを捕捉する場合とは対照的に、シーン１に対して実質的に同じポーズで捕捉される（例えば、０度、４５度、９０度、又は１３５度で偏光フィルタを用いて捕捉された画像は、全て、同じ位置及び向きにある同じ偏光カメラ１０によって捕捉される）。偏光カメラ１０は、電磁スペクトルの人間の目に見える部分、及び人間の目に見えるスペクトルの赤、緑、及び青の部分、並びに赤外線及び紫外線のような電磁スペクトルの不可視部などの、電磁スペクトルの様々な異なる部分の光を検出するように構成されていてもよい。

【0034】

上記実施形態のいくつかのような、本開示のいくつかの実施形態では、異なる偏光の生フレームは、シーン１に対して実質的に同じポーズ（例えば、位置及び向き）で、同一の偏光カメラ１０によって捕捉することができる。ただし、本開示の実施形態はこれに限定されない。例えば、偏光カメラ１０は、偏光カメラ１０が異なる偏光の生フレームの間でシーン１に対して移動することができる（例えば、機械的に回転する偏光フィルタのケースのように、異なる偏光角に対応する異なる偏光の生フレームが異なる時間に捕捉される場合に）。これは、偏光カメラ１０が移動したこと、又は物体３が移動した（例えば、物体が動いているコンベアシステム上にある場合）ことが理由である。いくつかの実施形態では、異なる偏光カメラが物体を異なる時間に捕捉するが、物体に対して実質的に同じポーズから捕捉する（例えば、異なるカメラがコンベアシステム内の異なる地点で物体の同じ面の画像を捕捉している）。したがって、本開示のいくつかの実施形態では、異なる偏光の生フレームは、シーン１に撮像された物体２及び３に関連して、異なるポーズ又は同じ相対ポーズで偏光カメラ１０を用いて捕捉される。

【0035】

偏光の生フレーム１８は、以下に詳述する処理回路１００に供給され、処理回路１００は、偏光の生フレーム１８に基づいて処理出力２０を計算する。図１Ｂに示す実施形態では、処理出力２０は、シーン１内に存在する異なる物体２及び３のインスタンスを識別するインスタンスセグメンテーションマップであるが、本開示の実施形態はこれに限定されない。偏光の生フレームに基づいて計算される処理出力２０の具体的な例を以下に詳述する。図１Ａに示す実施形態では、処理回路１００は、偏光カメラ１０と追加の撮像システム１１との両方を制御するように構成されている。

【0036】

図１Ｃは、本開示の一実施形態に係る偏光カメラモジュールの斜視図である。図１Ｄは、本開示の一実施形態に係る偏光カメラモジュールの一部の断面図である。本開示の実施形態のいくつかの態様は、複数の偏光カメラ（例えば、各々のカメラがその光路内に偏光フィルタを有する複数のカメラ）が互いに隣接してアレイ内に配置され、あるグループ内の画像を捕捉するように制御可能な（例えば、１回のトリガを用いて、画像を同時に又は実質的に同時に捕捉するようにカメラシステム内の全てのカメラを制御できる）偏光カメラモジュールに関する。アレイ内のカメラの各々の光路内の偏光フィルタは、異なる偏光の光をカメラの画像センサに到達させる。カメラシステム内の個々の偏光カメラは、互いに対して実質的に垂直な光軸を有し、互いに隣接して配置され、実質的に同じ視野を有するため、カメラシステム内の各カメラは異なる偏光を用いてシーン１の実質的に同じ視界を捕捉する。いくつかの実施形態では、個々の偏光カメラは、カメラ間の視差シフトが、設計された動作距離が大きい場合にはカメラ間のより大きい距離が許容される、シーン内の物体までのカメラシステムの設計された動作距離に基づいて実質的に無視できるように配置されている。本開示のいくつかの実施形態では、偏光カメラモジュールは、各々が異なる偏光状態を備えた（例えば、各々が０°、６０°、及び１２０°などの異なる直線偏光角にある）偏光フィルタを有する、少なくとも３つの偏光カメラを含む。

【0037】

例えば、図１Ｃに示す偏光カメラモジュール１０’の実施形態では、４つのカメラ１０Ａ’、１０Ｂ’、１０Ｃ’、及び１０Ｄ’が２×２グリッド内に配置され、４つのカメラが実質的に平行な光軸を有するカメラアレイを形成する。４つのカメラは、実質的に同時に、また同じ露出設定（例えば、同じ絞り、露出時間、及びゲイン又は「ＩＳＯ」設定）を使用して画像を捕捉するように共に制御されてもよい。本開示の様々な実施形態では、別々のカメラ１０Ａ’、１０Ｂ’、１０Ｃ’、及び１０Ｄ’の各々は、異なる偏光フィルタを含む。

【0038】

図１Ｄは、図１Ｃに示す２つの偏光カメラ１０Ａ’及び１０Ｂ’の断面図である。図１Ｄから分かるように、各偏光カメラ（１０Ａ’及び１０Ｂ’）システムは、対応するレンズと、対応する画像センサと、対応する偏光フィルタと、を含む。特に、偏光カメラ１０Ａ’は、レンズ１２Ａ’と、画像センサ１４Ａ’と、偏光フィルタ１６Ａ’と、を含む。同様に、偏光カメラ１０Ｂ’は、レンズ１２Ｂ’と、画像センサ１４Ｂ’と、偏光フィルタ１６Ｂ’と、を含む。本開示のいくつかの実施形態では、画像センサの４つのカメラ１０Ａ’、１０Ｂ’、１０Ｃ’、及び１０Ｄ’は同一の半導体ダイ上にモノリシックに形成され、４つのカメラは、異なる画像センサに対応するレンズ１２のための別々の絞りを備えた同じハウジング内に配置されている。同様に、偏光フィルタ１６は、層の異なる領域（異なるカメラに対応する）に内の異なる偏光フィルタ（例えば、異なる直線偏光角）を有する単一の物理層の異なる部分に対応していてもよい。

【0039】

本開示のいくつかの実施形態では、カメラシステム１０’内のカメラの各々は、異なる偏光をフィルタリングするように構成された対応する偏光フィルタを有する。例えば、図１Ｃ及び図１Ｄに示す実施形態では、カメラ１０Ａ’の偏光フィルタ１６Ａ’は、０°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｂ’の偏光フィルタ１６Ｂ’は、４５°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｃ’の偏光フィルタ１６Ｃ’は、９０°の角度で配向された直線偏光フィルタであってもよく、カメラ１０Ｄ’の偏光フィルタ１６Ｄ’は、１３５°の角度で配向された直線偏光フィルタであってもよい。いくつかの実施形態では、カメラの１つ以上は、円偏光子を含んでいてもよい。本開示のいくつかの実施形態では、カメラシステム１０’は、少なくとも２つの異なる偏光光をフィルタリングするように構成された偏光フィルタを含む。本開示のいくつかの実施形態では、カメラシステム１０’は、少なくとも３つの異なる偏光光をフィルタリングするように構成された偏光フィルタを含む。図１Ｄに示す実施形態では、偏光フィルタ１６は、レンズ１２の後段に（例えば、レンズ１２と画像センサ１４との間に）位置するが、本開示の実施形態はこれに限定されない。いくつかの実施形態では、偏光フィルタはレンズ１２の前段に位置する。

【0040】

いくつかの実施形態では、カメラアレイの様々な個々のカメラは、市松模様、ＡｒＵｃｏ標的（例えば、Ｇａｒｒｉｄｏ－Ｊｕｒａｄｏ， Ｓｅｒｇｉｏ， ｅｔ ａｌ． ”Ａｕｔｏｍａｔｉｃ ｇｅｎｅｒａｔｉｏｎ ａｎｄ ｄｅｔｅｃｔｉｏｎ ｏｆ ｈｉｇｈｌｙ ｒｅｌｉａｂｌｅ ｆｉｄｕｃｉａｌ ｍａｒｋｅｒｓ ｕｎｄｅｒ ｏｃｃｌｕｓｉｏｎ．” Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ４７．６ （２０１４）： ２２８０－２２９２．を参照）又はＣｈＡｒＵｃｏ標的（例えば、Ａｎ， Ｇｗｏｎ Ｈｗａｎ， ｅｔ ａｌ． ”Ｃｈａｒｕｃｏ ｂｏａｒｄ－ｂａｓｅｄ ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｍｅｔｈｏｄ．” Ｅｌｅｃｔｒｏｎｉｃｓ ７．１２ （２０１８）： ４２１．を参照）などの構成標的の複数の画像を捕捉することによって、それらの相対的ポーズ（又は相対位置及び配向）を決定することによって、互いに登録される。特に、標的を較正する工程は、各カメラの内部パラメータを特性評価する固有行列（例えば、カメラの焦点距離、画像センサフォーマット、及び主点を特性評価する行列）と、ワールド座標に対する各カメラのポーズを特性評価する付帯行列（例えば、カメラ座標空間とワールド又はシーン座標空間との間の変換を実行するための行列）を計算することを含んでいてもよい。

【0041】

図１Ｄには示していないが、本開示のいくつかの実施形態では、各々の偏光カメラは、例えば、画像センサ１４の個々のピクセルが、例えばスペクトルの赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の部分に対応する光を受光して、各カメラがモザイクパターンに従って電磁スペクトルの可視部分の光を捕捉できるように、ベイヤーフィルタなどのモザイクパターンを有するカラーフィルタを含んでもよい。いくつかの実施形態では、デモザイク処理を用いて生データから別々の赤、緑及び青のチャネルを計算することができる。本開示のいくつかの実施形態では、各々の偏光カメラは、カラーフィルタなしで、又は赤外光などの電磁スペクトルの様々なその他の部分を透過するか又は選択的に透過するために使用するフィルタと共に使用できる。

【0042】

図１Ｅは、本開示の一実施形態に係るステレオ偏光カメラシステムの斜視図である。いくつかの用途では、ステレオビジョン技法は、異なる視点からのシーンの複数の画像を捕捉するために使用される。上記のように、本開示のいくつかの実施形態では、カメラシステム内の個々の偏光カメラは、各カメラ間の視差シフトが撮像対象までのカメラシステムの設計された動作距離に基づいて実質的に無視できるように、互いに隣接して配置されている。ステレオ偏光カメラシステムでは、個々の偏光カメラのいくつかは、視差シフトがカメラシステムの設計された動作距離内の物体に関して有意で且つ検出可能であるように離間して配置されている。このことにより、シーン内の様々な面までの距離（「深度」）を視差シフトの大きさに従って検出することができる（例えば、画像の対応する部分の位置におけるより大きな視差シフトは、それらの対応する部分がカメラシステムにより近い面上にあることを示し、より小さい視差シフトは、対応する部分がカメラシステムから離れた面上にあることを示す）。視差シフトに基づいて深度を計算するための上記の技法は、ステレオ画像からの深度推定と呼ばれることがある。

【0043】

したがって、図１Ｅは、第１の偏光カメラモジュール１０－１”と、実質的に平行な光軸を有し、ベースライン１０－Ｂに沿って間隔を空けて配置された第２の偏光カメラモジュール１０－２”と、を有するステレオ偏光カメラシステム１０”を示す。図１Ｅに示す実施形態では、第１の偏光カメラモジュール１０－１”は、図１Ｃ及び１Ｄに示す２×２アレイと同様に、２×２アレイに配置された偏光カメラ１０Ａ”、１０Ｂ”、１０Ｃ”、及び１０Ｄ”を含む。同様に、第２の偏光カメラモジュール１０－２”は、２×２アレイに配置された偏光カメラ１０Ｅ”、１０Ｆ”、１０Ｇ”、及び１０Ｈ”を含み、ステレオ偏光カメラモジュール１０”全体が、８つの個々の偏光カメラ（例えば、８つの別々のレンズの後段の８つの別々の画像センサ）を含む。本開示のいくつかの実施形態では、偏光カメラモジュール１０－１”及び１０－２”の対応する偏光カメラは、実質的に同じ偏光を有する偏光の生フレームを捕捉するように構成されている。例えば、カメラ１０Ａ”及び１０Ｅ”は、両方共、同じ０°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｂ”及び１０Ｆ”は、両方共、同じ４５°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｃ”及び１０Ｇ”は、両方共、同じ９０°の角度の直線偏光フィルタを有していてもよく、カメラ１０Ｄ”及び１０Ｈ”は、両方共、同じ１３５°の角度の直線偏光フィルタを有していてもよい。

【0044】

本開示の実施形態は、図１Ｅに示す特定の実施形態に限定されない。いくつかの実施形態では、ステレオ偏光カメラシステムは、３つ以上の偏光カメラモジュールを含み、各偏光カメラモジュールは、アレイに配置された複数の偏光カメラを含み、偏光フィルタを用いて、異なる偏光の偏光の生フレームを捕捉するように構成されている。前述したように、本開示のいくつかの実施形態では、偏光カメラモジュールの個々の偏光カメラの１つ以上は、カラーフィルタを含んでいてもよく、したがって、ステレオ偏光カメラモジュール内の偏光カメラの１つ以上もカラーフィルタを含んでいてもよい。

【0045】

カメラモジュール内のカメラを較正又は登録するための上記方法と同様の方法で、ステレオ偏光カメラシステムの様々な偏光カメラモジュールは、較正標的の複数の画像を捕捉し、様々なカメラモジュールの固有及び付帯行列を計算することによっても、互いに登録することができる。

【0046】

図１Ｅに示すステレオ偏光カメラシステムの実施形態は、各々が４つの偏光カメラを有する２つの偏光カメラモジュールを含むが、本開示の実施形態はこれに限定されない

【0047】

例えば、本開示のいくつかの実施形態では、ステレオ偏光カメラシステムは、偏光カメラモジュールの各々が、３つ以上の個々の偏光カメラを含み、偏光カメラモジュールの個々の偏光カメラの各々が、異なる偏光状態（例えば、異なる直線偏光角）を備えた偏光フィルタを有する複数の偏光カメラモジュールを含む。

【0048】

本開示のいくつかの実施形態では、ステレオ偏光カメラシステムは、１つ又は複数のベースラインに沿って離間された複数の偏光カメラモジュールを含み、例えば、図１Ｂに関連して前述したような実施形態によれば、偏光カメラモジュールの各々は、異なる偏光によって偏光の生フレームを捕捉するように構成された単一の偏光カメラを含む。例えば、本開示のいくつかの実施形態では、各々の個々の偏光カメラが、各ピクセルが、異なる偏光フィルタ（例えば、異なる角度の偏光フィルタ）のモザイクパターンに従って光を検出する画像を捕捉するように、各モジュールの偏光カメラは、偏光マスク（例えば、図１Ｂに示す偏光マスクと同様の）を含んでいてもよい。例えば、図１Ｂに示す実施形態では、偏光マスクのピクセルの各々の２×２ブロックは、０°、４５°、９０°、及び１３５°の直線偏光角に設定された直線偏光子を含む。本開示のその他の実施形態では、個々の偏光カメラは、図１Ｂに関連して前述したように、偏光カメラが異なる偏光の偏光の生フレームを捕捉することを可能にする、機械的又は電子的に制御可能な偏光フィルタを含んでいてもよい。

【0049】

上記実施形態では、ステレオ偏光カメラシステムの１つ又は複数のベースラインに沿って離間した個々の偏光カメラモジュール又は偏光カメラが実質的に平行な光軸を有することを明確にしたが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光カメラモジュールの光軸は、偏光カメラモジュールが、設計された作業距離（例えば、光軸が、ステレオカメラシステムから設計された作業距離の近傍で十字に交わるか又は交差する距離）に、偏光カメラモジュールが物体の異なる角度の視界を提供するように、互いに対して角度をなしている。

【0050】

本開示の様々な実施形態によれば、処理回路１００は、以下に詳述するように、様々な動作を実行するように構成された１つ又は複数の電子回路を用いて実施される。電子回路の種類は、中央処理部（ＣＰＵ）、グラフィックス処理部（ＧＰＵ）、人工知能（ＡＩ）アクセラレータ（例えば、ドット積及びｓｏｆｔｍａｘなどの、ニューラルネットワークに共通の演算を効率的に行うように構成されたベクトル演算ロジック部を含み得るベクトルプロセッサ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）、又は同種のものを含んでいてもよい。例えば、いくつかの状況で、本開示の実施形態の態様は、電子回路（例えば、ＣＰＵ、ＧＰＵ、ＡＩアクセラレータ、又はそれらの組み合わせ）によって実行されると、本明細書に記載の動作を実行して、入力された偏光の生フレーム１８からインスタンスセグメンテーションマップなどの処理出力２０を計算する、不揮発性コンピュータ可読メモリ内に記憶されたプログラム命令の形で実施される。処理回路１００によって実行される動作は、単一の電子回路（例えば、単一のＣＰＵ、単一のＧＰＵ、又は同種のもの）によって実行されてもよいし、複数の電子回路（例えば、複数のＧＰＵ又は単一のＧＰＵと連携する単一のＣＰＵ）の間に割り当てられてもよい。複数の電子回路は、互いにローカルであってもよく（例えば、同じダイ上に位置してもよく、同じパッケージ内に位置してもよく、又は同じ内蔵デバイス又はコンピュータシステム内に位置してもよい）、且つ／又は互いにリモートであってもよい（例えばＢｌｕｅｔｏｏｔｈ（登録商標）などのローカルパーソナルエリアネットワークのようなネットワークを介した通信で、ローカル有線及び／又は無線ネットワークなどのローカルエリアネットワーク、及び／又はインターネットなどの広域ネットワークを介して通信する際に、動作の一部がローカルに実行され、動作の別の一部がクラウドコンピューティングサービスによってホストされるサーバ上で実行される場合など）。処理回路１００を実施するために動作する１つ又は複数の電子回路は、本明細書では、コンピュータ又はコンピュータシステムと呼んでよく、コンピュータ又はコンピュータシステムは、１つ又は複数の電子回路によって実行されると、本明細書に記載のシステム及び方法を実施する命令を記憶するメモリを含んでいてもよい。

【0051】

図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、本開示の実施形態に係る偏光の生フレームに基づく比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されたセグメンテーションマップを示すための背景を提供する。詳細には、図２Ａは、２つの透明なボール（「スプーフ」）及び何らかの背景クラッタを含む別のシーンを描写する写真のプリントアウト上に配置された１つの実在の透明ボールを有するシーンの画像又は強度画像である。図２Ｂは、図２Ａの強度画像上に線の異なるパターンを用いて重畳された透明なボールのインスタンスを識別するマスク領域ベースの畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）によって計算されたセグメンテーションマスクを示し、このセグメンテーションマスクにおいては、実在の透明ボールがインスタンスとして正確に識別され、２つのスプーフがインスタンスとして不正確に識別される、言い換えると、マスクＲ－ＣＮＮアルゴリズムは、２つのスプーフの透明なボールをシーン内の実在の透明なボールのインスタンスとしてラベリングするように騙されている。

【0052】

図２Ｃは、本発明の一実施形態に係る、捕捉されたシーンの偏光の生フレームから計算される直線偏光（ＡＯＬＰ）画像の角度を示す図である。図２Ｃに示すように、透明な物体は、エッジ上に幾何学的に依存するシグネチャと、直線偏光の角度で透明な物体の面に生じる別個の又は一意のパターン又は特定のパターンとが存在する、ＡＯＬＰドメインのような偏光空間内に極めて一意のテクスチャを有する。言い換えると、透明な物体の固有テクスチャ（例えば、透明な物体を通して見える背景面から採用される付帯テクスチャとは対照的に）が、図２Ａの強度画像におけるよりも図２Ｃの偏光角においてより視認可能である。

【0053】

図２Ｄは、実在の透明なボールが重畳された線のパターンを用いてインスタンスとして正確に識別され、２つのスプーフがインスタンスとして正確に除外される（例えば、図２Ｂとは対照的に、図２Ｄは２つのスプーフ上の重畳された線のパターンを含まない）、本発明の一実施形態に係る偏光データを用いて計算された重畳セグメンテーションマスクを備えた図２Ａの強度画像を示す図である。図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、スプーフの透過な物体が存在する場合の実在の透明な物体の検出に関する一実施例を示しているが、本開示の実施形態はこれに限定されず、その他の光学的に困難な物体、例えば、透明、半透明、及び非マット、非ランバート物体と、非反射性（例えば、マットブラックの物体）及びマルチパス誘導物体にも適用される。

【0054】

したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから、面特性評価アルゴリズム又はその他のコンピュータビジョンアルゴリズムへの入力として供給される、表現空間内のテンサー（又は偏光フィーチャマップなどの第１の表現空間内の第１のテンサー）を抽出することに関する。第１の表現空間内のこれらの第１のテンサーは、図２Ｃに示すＡＯＬＰ画像のようなシーンから受信された光の偏光に関する情報を符号化する偏光フィーチャマップ、直線偏光度（ＤＯＬＰ）フィーチャマップ、及び同種のもの（例えば、ストークスベクトルからのその他の組み合わせ、又は個々の偏光の生フレームのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ））を含んでいてもよい。例えば、本開示のいくつかの実施形態では、フィーチャ抽出装置７００は、偏光の生フレームに基づいて、以下に詳述する式（２）、（３）、（４）、及び（５）に従って面法線をさらに計算する。いくつかの実施形態では、これらの偏光フィーチャマップは、非偏光フィーチャマップ（例えば、図２Ａに示す画像のような強度画像）と共に使用され、意味セグメンテーションアルゴリズムが使用するための情報の追加のチャネルを提供する。

【0055】

本発明の実施形態は、画像を分析するための特定のコンピュータビジョンアルゴリズムとの併用に限定されないが、本発明の実施形態のいくつかの態様は、光学的に困難な物体（例えば、透明、半透明、非ランバート、マルチパス誘導物体、及び非反射性の、又は極めて暗い物体）の偏光ベース検出のための深層学習フレームワークに関し、これらのフレームワークを偏光畳み込みニューラルネットワーク（偏光ＣＮＮ）と呼んでもよい。この偏光ＣＮＮフレームワークは、偏光の特定のテクスチャを処理するのに適し、マスクＲ－ＣＮＮのようなその他のコンピュータビジョンアーキテクチャと結合して（例えば、偏光マスクＲ－ＣＮＮアーキテクチャを形成するために）、透明な物体及びその他の光学的に困難な物体の正確でロバストな特性評価のための解決策を生成できるバックボーンを含む。さらに、このアプローチは、透明及び非透明な混合物（例えば、不透明な物体）を備えたシーンに適用でき、物体又は被検査物体の透明、半透明、非ランバート、マルチパス誘導、暗い、及び不透明な面を特性評価するために使用することができる。

【0056】

偏光フィーチャ表現空間

【0057】

本開示の実施形態のいくつかの態様は、動作６５０における偏光の生フレームからフィーチャを抽出するためのシステム及び方法に関し、これらの抽出されたフィーチャは、動作６９０で、物体の面の光学的に困難な特性のロバストな検出で使用される。これとは対照的に、強度画像のみに依存する比較技法は、これらの光学的に困難なフィーチャ又は面を検出することができない可能性がある（例えば、上記のように図２Ａの強度画像を図２ＣのＡＯＬＰ画像と比較して）。「第１の表現空間」内の「第１のテンサー」という用語は、本明細書では、偏光カメラによって捕捉された偏光の生フレーム１８から計算された（例えば、抽出された）フィーチャを参照するために使用され、これらの第１の表現空間は、少なくとも偏光フィーチャ空間（例えば、画像センサによって検出された光の偏光に関する情報を含むＡＯＬＰ及びＤＯＬＰなどのフィーチャ空間）を含み、さらに、非偏光フィーチャ空間（例えば、偏光フィルタを用いずに捕捉された強度画像のみに基づいて計算された画像などの、画像センサに到達する光の偏光に関する情報を必要としないフィーチャ空間）を含んでいてもよい。

【0058】

光と透明な物体との間の相互作用は濃密で複雑であるが、物体の材料は可視光下での材料の透明性を決定する。多くの透明な家庭向け物体の場合、可視光の大部分は真っ直ぐに通過し、わずかな部分（屈折率に応じて約４％～約８％）が反射される。これは、スペクトルの可視部の光が透明な物体中の原子を励起するには不充分なエネルギーしか有していないからである。その結果、透明な物体の背後にある（又は透明な物体を通して見える）物体のテクスチャ（例えば、外観）は、透明な物体の外観よりも優勢になる。例えば、テーブル上にある透明なガラスのコップ又はタンブラーを見る場合、タンブラーの向こう側の物体の外観（例えば、テーブルの面）は、概して、コップを通して見られるものよりも優勢になる。この特性によって、窓ガラスや光沢のある透明層のような透明な物体の面特性を強度画像のみに基づいて検出しようとする場合、いくつかの困難が生じる。

【0059】

図３は、透明な物体と非透明な（例えば、散乱性及び／又は反射性）物体との光の相互作用を高レベルに示す図である。図３に示すように、偏光カメラ１０は、不透明な背景物体３０３の前にある透明な物体３０２を含むシーンの偏光の生フレームを捕捉する。偏光カメラ１０の画像センサ１４に当たる光線３１０は、透明な物体３０２と背景物体（３０３）の両方から得た偏光情報を含む。透明な物体３０２からの反射光３１２のほんのわずかな部分は高度に偏光し、背景物体３０３に反射して透明な物体３０２を通過する光３１３とは対照的に、偏光測定に大きな影響を与える。

【0060】

同様に、物体の面に当たる光線は、様々なやり方で面の形状と相互作用することができる。例えば、光沢塗料を有する面は、図３に示す不透明な物体の前にある透明な物体と実質的に同様にふるまうことができ、光線と光沢塗料の透明又は半透明な層（若しくはクリアコート層）との間の相互作用によって、画像センサに当たる光線内に符号化された透明又は半透明な物体の特性に基づいて（例えば、層の厚さと面法線とに基づいて）、面に反射した光が偏光する。同様に、偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論に関連して以下に詳述するように、面の形状（例えば、面法線の方向）の変動が、物体の面に反射する光の偏光の大幅な変化を引き起こす可能性がある。例えば、平滑な面は、概してどこでも同じ偏光特性を示すが、面の傷又は凹みは、それらの領域における面法線の方向を変化させ、傷又は凹みに当たる光は、物体の面のその他の部分とは異なる方法で偏光、減衰、又は反射する可能性がある。光と物体との間の相互作用のモデルは、概して、３つの基本要素、すなわち、幾何学形状、照明、及び材料を考慮している。幾何学形状は、材料の形状に基づく。照明は、照明の方向及び色を含む。材料は、光の屈折率又は角度反射／透過によってパラメータ化することができる。この角度反射は、双方向反射率分布関数（ＢＲＤＦ）として知られているが、その他の機能形態は、ある種のシナリオをより正確に表すことができる。例えば、双方向表面下散乱分布関数（ＢＳＳＲＤＦ）は、表面下散乱を示す材料（例えば、大理石又はワックス）の場合により正確であろう。

【0061】

偏光カメラ１０の画像センサ１６に当たる光線３１０は、３つの測定可能な成分、すなわち、光の強度（強度画像／Ｉ）、直線偏光のパーセンテージ又は割合（直線偏光度／ＤＯＬＰ／ρ）、及びその直線偏光の方向（直線偏光角／ＡＯＬＰ／φ）を有する。これらの特性は、以下に詳述するように、撮像対象の物体の面曲率及び材料に関する情報を符号化し、予測装置７５０がこの情報を用いて透明な物体を検出することができる。いくつかの実施形態では、予測装置７５０は、半透明な物体を通過する光及び／又はマルチパス誘導物体と相互作用する光、及び／又は非反射性物体（例えば、マットブラックの物体）による光の同様の偏光特性に基づいて、その他の光学的に困難な物体を検出することができる。

【0062】

したがって、本発明の実施形態のいくつかの態様は、フィーチャ抽出装置７００を用いて１つ又は複数の第１の表現空間内の第１のテンサーを計算することに関し、この第１の表現空間は、強度Ｉ、ＤＯＬＰρ及びＡＯＬＰφに基づいて導出されたフィーチャマップを含んでいてもよい。フィーチャ抽出装置７００は、概して、「偏光画像」、言い換えれば、強度画像から元々計算可能でない偏光の生フレームに基づいて抽出された画像（例えば、偏光フィルタ又は偏光フィルタに対応する画像センサに到達する光の偏光を検出するためのその他の機構を含まないカメラによって捕捉された画像）などの偏光表現空間（又は偏光フィーチャ空間）を含む第１の表現空間（又は第１のフィーチャ空間）に情報を抽出してもよく、これらの偏光画像は、ＤＯＬＰρ画像（ＤＯＬＰ表現空間又はフィーチャ空間内の）、ＡＯＬＰφ画像（ＡＯＬＰ表現空間又はフィーチャ空間内の）、ストークスベクトルから計算された偏光の生フレームのその他の組み合わせと、偏光の生フレームから計算された情報のその他の画像（又は概して第１のテンサー又は第１のフィーチャテンサー）を含んでいてもよい。第１の表現空間は、強度Ｉ表現空間のような非偏光表現空間を含んでいてもよい。

【0063】

各ピクセルにおける測定強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφは、偏光フィルタ（又は偏光子）の背後で異なる角度φ_ｐｏｌで撮影されたシーンの３以上の偏光の生フレームを必要とする（例えば、決定すべき３つの不明な値、すなわち、強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφがあるために）。例えば、上記のＦＬＩＲ（登録商標）Ｂｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラは、偏光角φ_ｐｏｌを０度、４５度、９０度、又は１３５度に設定して偏光の生フレームを捕捉し、それによって、本明細書ではＩ_０、Ｉ_４５、Ｉ_９０、及びＩ_１３５として示される４つの偏光の生フレームＩ_φｐｏｌを生成する。

【0064】

各ピクセルにおけるＩ_φｐｏｌと強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφとの関係は、次のように表すことができる。
Ｉ_φｐｏｌ＝Ｉ（１＋ρｃｏｓ（２（φ－φ_ｐｏｌ））） （１）

【0065】

したがって、４つの異なる偏光の生フレームＩ_φｐｏｌ（Ｉ_０、Ｉ_４５、Ｉ_９０、及びＩ_１３５）により、４つの式のシステムを用いて、強度Ｉ、ＤＯＬＰρ、は、及びＡＯＬＰφを解決することができる。

【0066】

偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論（例えば、Ｇａｒｙ Ａ Ａｔｋｉｎｓｏｎ ａｎｄ Ｅｄｗｉｎ Ｒ Ｈａｎｃｏｃｋ． Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ ｆｒｏｍ ｄｉｆｆｕｓｅ ｐｏｌａｒｉｚａｔｉｏｎ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， １５（６）：１６５３‐１６６４， ２００６を参照）によれば、物体の面法線の屈折率（ｎ）、方位角（θ_ａ）及び天頂角（θ_ｚ）と、その物体からの光線のφ及びρ成分との関係が、拡散反射が支配的である場合には、以下の特性に従う。

【数1】

φ＝θ_ａ （３）
鏡面反射が支配的な場合には、

【数2】

【数3】

両方のケースで、ρは、θ_ｚが増加するにつれて指数関数的に増加し、屈折率が同じである場合、鏡面反射は、拡散反射よりもはるかに偏光度が高いことに留意されたい。

【0067】

したがって、本開示の実施形態のいくつかの態様は、面の生偏光フレーム１８に基づいて面の形状（例えば、面の向き）を検出するために、ＳｆＰ理論を適用することに関する。このアプローチによって、飛行時間（ＴｏＦ）深度検知及び／又はステレオビジョン技法のような物体の形状を決定するためのその他のコンピュータビジョン技法を使用することなく、物体の形状を特性評価できるが、本開示の実施形態をそのような技法と併せて使用してもよい。

【0068】

より正式には、本開示の実施形態の態様は、偏光カメラ１０によって捕捉された偏光の生フレームに基づいて、動作６５０で偏光画像を形成する（又は導出された偏光フィーチャマップを抽出する）といった偏光表現空間内の第１のテンサーを抽出することを含めて、第１の表現空間内の第１のテンサー５０を計算することに関する。

【0069】

透明な物体からの光線は、反射強度Ｉ_ｒ、反射ＤＯＬＰρ_ｒ、反射ＡＯＬＰφ_ｒを含む反射部分と、屈折強度Ｉ_ｔ、屈折ＤＯＬＰρ_ｔ、反射ＡＯＬＰφ_ｔを含む屈折部分との２つの成分を有する。その結果得られる画像内の単一のピクセルの強度を次のように記述することができる。
Ｉ＝Ｉ_ｒ＋Ｉ_ｔ （６）

【0070】

直線偏光角φ_ｐｏｌを有する偏光フィルタをカメラの前に配置すると、所与のピクセルの値は以下のようになる。
Ｉ_φｐｏｌ＝Ｉ_ｒ（１＋ρ_ｒｃｏｓ（２（φ_r－φ_ｐｏｌ）））＋Ｉ_ｔ（１＋ρ_ｒｃｏｓ（２（φ_ｔ－φ_ｐｏｌ））） （７）

【0071】

ＤＯＬＰρ画像内のピクセルとＡＯＬＰφ画像内のピクセルの値を、Ｉ_ｒ、ρ_ｒ、φ_ｒ、Ｉ_ｔ、ρ_ｔ、及びφ_ｔに換算して上式を解くと、以下のようになる。

【数4】

【数5】

【0072】

したがって、上記の式（７）、（８）、及び（９）は、本開示の一実施形態に係る強度強度画像Ｉ、ＤＯＬＰ画像ρ、及びＡＯＬＰ画像φを含む第１の表現空間内に第１のテンサー５０を形成するためのモデルを提供し、偏光表現空間内の偏光画像又はテンサー（式（８）及び（９）に基づくＤＯＬＰ画像ρ及びＡＯＬＰ画像φを含む）を使用することによって、入力として強度Ｉのみを使用する比較システムによっては概して検出可能でない物体の光学的に困難な面特性を検出することができる。

【0073】

上記の式（８）及び（９）は、以下のようにストークスパラメータに従って、より汎用の形式で表現することができる。

【数6】

【数7】

上式で、Ｓ_０、Ｓ_１、及びＳ_２はストークスパラメータである。

【0074】

詳細には、偏光画像ＤＯＬＰρ及びＡＯＬＰφのような偏光表現空間内の第１のテンサー（導出されたフィーチャマップ５０のうちの）は、元々は強度Ｉドメイン内にテククチャ無しで現れる可能性のある物体の面特性を明らかにすることができる。この強度はＩ_ｒ／Ｉ_ｔの比（式（６）を参照）に厳密に依存するので、透明な物体はこの強度Ｉ内で不可視のテクスチャを有していてもよい。Ｉ_ｔ＝０である不透明な物体とは異なり、透明な物体は入射光の大部分を透過し、この入射光のわずかな部分のみを反射する。別の例として、その他の部分では平滑な面（又はその他の部分では粗い面における平滑な部分）の形状の薄い又は小さい偏差は、実質的に不可視的であってもよく、又は強度Ｉドメイン（例えば、光の偏光を符号化しないドメイン）内でコントラストが低くてもよいが、ＤＯＬＰρ又はＡＯＬＰφなどの偏光表現空間内では極めて可視的であり、コントラストが高くてもよい。

【0075】

したがって、面トポグラフィを取得する１つの例示的な方法は、幾何学的正則化と共に偏光キューを使用することである。フレネル方程式は、ＡＯＬＰφ及びＤＯＬＰρを面法線に関連付ける。これらの式は、これらの光学的に困難な物体の面の偏光パターンとして知られているものを活用することによって、光学的に困難な物体の検出に有用であり得る。偏光パターンは、サイズ［Ｍ、Ｎ、Ｋ］（Ｍ及びＮはそれぞれ水平ピクセル寸法、垂直ピクセル寸法、Ｋはサイズが変動する偏光データチャネルを表す）のテンサーである。例えば、円偏光を無視して直線偏光のみを考慮した場合、直線偏光は偏光角と偏光度（ＡＯＬＰφ及びＤＯＬＰρ）の両方を有するため、Ｋは２に等しくなる。本開示のいくつかの実施形態では、モアレパターンと同様に、フィーチャ抽出モジュール７００は、偏光表現空間（例えば、ＡＯＬＰ空間及びＤＯＬＰ空間）内の偏光パターンを抽出する。

【0076】

上記の説明では、直線偏光の異なる角度に対応する偏光の生フレームを捕捉し、ＤＯＬＰ及びＡＯＬＰなどの直線偏光表現空間内のテンサーを計算するための、１つ又は複数の直線偏光フィルタを有する偏光カメラを使用する場合の直線偏光に基づく偏光表現空間の特定の実施例を扱っているが、本開示はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光カメラは、円偏光のみを通過させるように構成された１つ又は複数の円偏光フィルタを含み、円偏光表現空間内の偏光パターン又は第１のテンサーが、偏光の生フレームからさらに抽出される。いくつかの実施形態では、円偏光表現空間内のこれらの追加のテンサーは、単独で使用され、その他の実施形態では、追加のテンサーは、ＡＯＬＰ及びＤＯＬＰのような線形偏光表現空間内のテンサーと一緒に使用される。例えば、偏光表現空間内のテンサーを含む偏光パターンは、円偏光空間、ＡＯＬＰ、及びＤＯＬＰ内にテンサーを含んでいてもよく、偏光パターンは、寸法［Ｍ、Ｎ、Ｋ］を有していてもよく、Ｋは３であって円偏光表現空間内のテンサーをさらに含む。

【0077】

したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから抽出された第１の表現空間（例えば、偏光表現空間内のフィーチャマップを含む）内の第１のテンサーを、透明な物体の面特性及び／又は被検査物体の光学的に困難な面特性を計算又は検出するための予測装置への入力として供給することに関する。これらの第１のテンサーは、偏光カメラによって検出された光の偏光に関する情報を符号化するフィーチャマップを参照して、強度フィーチャマップＩ、直線偏光度（ＤＯＬＰ）ρフィーチャマップ及び直線偏光角（ＡＯＬＰ）φフィーチャマップを含み得る導出されたフィーチャマップを含むことができ、ＤＯＬＰρフィーチャマップ及びＡＯＬＰφフィーチャマップは偏光表現空間内の偏光フィーチャマップ又はテンサーの例である。

【0078】

いくつかの実施形態では、偏光表現空間内のフィーチャマップ又はテンサーは、例えば、偏光カメラ１０によって撮像される物体の面の形状を特性評価するためにＳｆＰ理論を利用する検出アルゴリズムへの入力として供給される。例えば、いくつかの実施形態では、拡散反射の場合、式（２）及び（３）を用いて、ＤＯＬＰρ及び屈折率ｎに基づいて、シーン内の面の面法線の天頂角（θ_ｚ）及び方位角（θ_ａ）が計算される。同様に、鏡面反射の場合には、式（３）及び（５）を用いて、ＤＯＬＰρ及び屈折率ｎに基づいて、シーン内の面の面法線の天頂角（θ_ｚ）及び方位角（θ_ａ）が計算される。一例として、本開示の一実施形態によれば、以下のステップに従って、式（２）に基づいて天頂角（θ_ｚ）を計算するクローズドフォームの解決策が提供される。

【数8】

【0079】

偏光の生フレームに基づく面法線の方向の計算についての追加の詳細は、例えば、その開示内容全体を参照により本明細書に援用される、米国特許第１０，２６０，８６６号明細書及び第１０，５５７，７０５号明細書並びにＫａｄａｍｂｉ， Ａｃｈｕｔａ ｅｔ ａｌ． “Ｐｏｌａｒｉｚｅｄ ３ｄ： Ｈｉｇｈ－ｑｕａｌｉｔｙ ｄｅｐｔｈ ｓｅｎｓｉｎｇ ｗｉｔｈ ｐｏｌａｒｉｚａｔｉｏｎ ｃｕｅｓ．” Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ２０１５に記載されている。

【0080】

マルチカメラアレイからの偏光キューの計算

【0081】

通常、単眼視点からマルチポーラキューが取得される。既存の方法はマルチポーラフィルタ（例えば、図１Ｂに示す偏光マスク）又は複数のＣＣＤ又はＣＭＯＳセンサを用いて異なる偏光チャネルを単一の視界（例えば、単一のレンズシステムの後段の複数のセンサ）又は時間多重化システム（例えば、異なる偏光の生フレームが、異なる時間に、例えば、順次捕捉され、その場合に、シーン１が、各々の視界が同じになるように１回の捕捉から次の捕捉まで実質的に不変であることを要求し得る、時間多重化システム）に多重化する。特に、直線偏光角（ＡＯＬＰ）φ及び直線偏光度（ＤＯＬＰ）ρなどの偏光キューを計算するための上記の技法は、概ね、偏光の生フレームが同じ視点から捕捉されることを前提にしている。

【0082】

ただし、上記の単一の視点の前提が成立しない状況も存在する。例えば、図１Ｃ、１Ｄ、及び１Ｅに示す実施形態のように、異なる位置にある複数の偏光カメラを含む偏光カメラアレイを使用する場合、異なる偏光状態に対応する偏光の生フレームは、異なる視点から捕捉することができる。個々の偏光カメラを互いに近づけて配置すると、誤差、物理的制約（例えば、対応する包装のサイズ及び形状、並びに包装に含まれるレンズ及び画像センサのサイズ及び形状などの、個々の偏光カメラのサイズ）によって偏光カメラの配置が制約される場合がある。

【0083】

したがって、本開示の実施形態のいくつかの態様は、偏光カメラのアレイを使用することによる、異なる視点から捕捉された偏光の生フレームから、ＡＯＬＰφ及びＤＯＬＰρなどの偏光キューを計算するためのシステム及び方法に関する。概ね、これは、別々の偏光カメラ及び所望の偏光キューの異なる位置に起因する視差キューを分離するための技法を含む。これは困難なことであり、その理由は、視差キュー及び偏光キューが、２つの視界の間の視差と、計測された偏光との両方が、偏光カメラと撮像された面との関係の幾何学形状に関連するという意味でリンクされているからである。ＡＯＬＰ及びＤＯＬＰの取得に向けた比較アプローチは、複数の偏光チャネルが同じ視点から獲得されることを前提としているため、偏光カメラのアレイによって捕捉されたデータに比較技法を適用することは、誤差又は曖昧さを生む結果になりやすい。

【0084】

図４は、本開示の一実施形態に係る、視差の曖昧さの下で偏光キューを推定するための方法のフローチャートである。図４に示す実施形態では、例えば、図１Ｃ、図１Ｄ、及び図１Ｅに示すような偏光カメラのアレイによって、複数の異なる視点から捕捉された偏光の生フレームが、工程への入力として供給される。本開示のいくつかの実施形態では、本開示の実施形態に係るＤＯＬＰρ及びＡＯＬＰφの推定値は、反復工程を介して処理回路１００によって計算される。ＤＯＬＰρの推定値及びＡＯＬＰφの推定値は、例えば、ＤＯＬＰρテンサー及びＡＯＬＰφテンサーの値が、捕捉された偏光の生フレームの様々な部分の直線偏光度の推定値と、直線偏光角の推定値とに対応する、偏光の生フレームに対応するアスペクト比を有するテンサー（例えば、２次元テンサー）に対応することに留意されたい。

【0085】

動作４１０で、処理回路は、ストークスベクトルを用いて（例えば、上記の式（１０）及び（１１）に従って、又はより具体的には、式（８）及び（９）に従って）、初期推定値ＤＯＬＰρ_０及び初期推定値ＡＯＬＰφ_０を計算する。これらの初期推定値ＤＯＬＰρ_０及び初期推定値ＡＯＬＰφ_０は、偏光カメラアレイの異なる個々の偏光カメラの間の視差シフトが原因で不正確になり得る。

【0086】

動作４３０で、処理回路１００は、偏光の生フレームに示されたシーンの面の幾何学形状を推定する。本開示のいくつかの実施形態では、処理回路１００は、視界対応ベースのアプローチを用いて、アレイ内の各カメラの位置の間のオフセットによる、シーンのステレオ視界からの視差を用いてシーンの粗モデルを生成する（例えば、Ｋａｄａｍｂｉ， Ａ．他（２０１５）に記載されているようなステレオ画像からの深度推定技法を用いて）。動作４５０で、この粗い幾何学形状は、現在の計算値ＤＯＬＰρ_ｉ及びＡＯＬＰφ_ｉの値（初期値のｉ＝０）を用いて洗練される（米国特許第１０，２６０，８６６号明細書及び第１０，５５７，７０５号明細書並びにＫａｄａｍｂｉ，Ａ．他（２０１５）を参照）。

【0087】

次いで、動作４５０で計算された幾何学形状の推定値を用いて、ＤＯＬＰρ及びＡＯＬＰφの推定値が更新される。例えば、ｉ番目の繰り返しでは、ＤＯＬＰρ_ｉ－１及び以前の計算値ＡＯＬＰφ_ｉ－１を用いて動作４５０で幾何学形状の推定値を計算でき、動作４７０で、処理システム１００は新しい幾何学形状の推定値に基づいてＤＯＬＰ及びＡＯＬＰ計算値を洗練し、新しい推定値ＤＯＬＰρ_ｉ及びＡＯＬＰφ_ｉを計算する。

【0088】

動作４９０で、処理システム１００は、ＤＯＬＰρ及びＡＯＬＰφの推定工程をさらに繰り返すか否かを決定する。詳細には、いくつかの実施形態では、更新済みＤＯＬＰρ_ｉと以前に計算されたＤＯＬＰρ_ｉ－１との差（例えば、Δρ＝｜ρ_ｉ－ρ_ｉ－１｜）に基づいて、ＤＯＬＰΔρの変化が計算される。同様に、更新済みＡＯＬＰφ_ｉと以前に計算されたＡＯＬＰφ_ｉ－１との差（例えば、Δφ＝｜φ_ｉ－φ_ｉ－１｜）に基づいて、ＡＯＬＰΔφの変化が計算される。偏光キューのこれらの変化（例えば、ΔρとΔφとの両方）のいずれかが計算されたテンサー全体で対応するしきい値（例えば、ρ_ｔｈ及びφ_ｔｈ）よりも大きい場合、工程は更新されたＤＯＬＰρ_ｉ及びＡＯＬＰφ_ｉを用いて動作４５０で粗モデルを洗練し、この新しい幾何学形状の推定値に基づいてＤＯＬＰ及びＡＯＬＰの値を更新する。偏光キューの変化の両方が対応するしきい値よりも小さい場合、推定工程は完了し、推定値ＤＯＬＰρ_ｉ及びＡＯＬＰφ_ｉが推定工程から出力され、インスタンスセグメンテーションマップなどの別の処理出力の計算に使用することができる。

【0089】

偏光撮像によるマルチスペクトルステレオ撮像

【0090】

遠隔計測などの多くの状況において、シーンのマルチスペクトル画像は、そうでなければ視界から隠されているはずの情報を捕捉できる。例えば、マルチスペクトル又はハイパースペクトル撮像は、農業で有用であり得る水分、有機含量、及び塩分、油汚染土壌などの土壌特性を検出するといった、シーンの面特性を検出することができる。別の例として、マルチスペクトル撮像は、比較的大きなピクセル内の、部分的な植生で覆われた軍用車両、又は小さな軍用物体などの偽装目標物の検出を可能にすることができる。別の例として、マルチスペクトル撮像によって、物質の識別及びマッピング、例えば、レリーフ地形における物質の存在又は不存在の検出、採鉱領域での重金属及びその他の毒性廃棄物のマッピングが可能になる。マルチスペクトル撮像はまた、水／油のこぼれなどの特定の物質の存在の検出を可能にする（これは、室内ロボットにとって特に重要であり、室内ロボットはこれらのこぼれを回避するか又はこぼれを迂回する経路計画を実行することができ、また、真空掃除機ロボットは、こぼれ及びその他の微小な、色が濃い、且つ／又は鏡面の汚れを検出し、突き止め、清掃することができる。また、マルチスペクトル撮像は、障害が極めて危険であって復旧が高価につく可能性がある、産業用ボイラー及び鉄道軌道などの産業用機器の亀裂や錆を検出するといった材料検査にも使用できる。

【0091】

上記の例では、入力として比較及び標準カラー画像（例えば、赤、緑、及び青の画像）を使用するコンピュータビジョン技法は、これらのタイプの物体を検出できない可能性があるが、偏光情報と組み合わせてマルチスペクトル又はハイパースペクトル撮像を使用することによって、コンピュータビジョンアルゴリズム及びインスタンス検出技法によって検出及び認識可能な追加のキューを提供できる（例えば、訓練済み畳み込みニューラルネットワークを用いて）。

【0092】

概して、面のスペクトル放射輝度は、表面積、勾配及び入射波長の関数として面から反射した光子の割合の測定値である。大半の自然画像のスペクトル放射輝度関数は、低次元線形モデルを用いて波長の表現を可能にする波長の正則関数である。言い換えれば、面から反射した光のスペクトル表現は、スペクトル基底関数の線形結合として表すことができる。

【数9】

上式で、ｗ_ｉは線形重みであり、Ｂ_ｉはスペクトル基底関数を表し、ｎはシステムの次元数である。天然物体のスペクトル放射輝度プロファイルの領域における関連する作業は、大半の部分について、５つ又は６つの線形基底関数によって、自然物体のスペクトル放射輝度を正確に表すことができることを示している。

【0093】

したがって、本開示のいくつかの態様の実施形態は、一対のステレオ画像を用いて偏光情報と同時にスペクトル情報を収集することに関し、ステレオ対の各カメラシステム（又はカメラモジュール）は、スペクトル情報と偏光情報との両方を捕捉することを可能にするカメラアレイを含む。

【0094】

図５Ａは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの斜視図である。図５Ａに示すマルチスペクトルステレオ偏光カメラシステムの実施形態は、図５Ａが、第１の偏光カメラモジュール５１０－１”と、実質的に平行な光軸を有し、ベースライン５１０－Ｂに沿って間隔を空けて配置された第２の偏光カメラモジュール５１０－２”と、を有するマルチスペクトルステレオ偏光カメラシステム５１０を示すという点で、図１Ｅに示すステレオ偏光カメラシステムと実質的に同様である。図１Ｄに示す実施形態では、第１の偏光カメラモジュール５１０－１”は、図１Ｃ及び１Ｄに示す２×２アレイと同様に、２×２アレイに配置された偏光カメラ５１０Ａ”、５１０Ｂ”、５１０Ｃ”、及び５１０Ｄ”を含む。同様に、第２の偏光カメラモジュール５１０－２”は、２×２アレイに配置された偏光カメラ５１０Ｅ”、５１０Ｆ”、５１０Ｇ”、及び５１０Ｈ”を含み、ステレオ偏光カメラモジュール５１０”全体が、８つの個々の偏光カメラ（例えば、８つの別々のレンズの後段の８つの別々の画像センサ）を含む。本開示のいくつかの実施形態では、偏光カメラモジュール５１０－１”及び５１０－２”の対応する偏光カメラは、実質的に同じ偏光を有する偏光の生フレームを捕捉するように構成されている。例えば、カメラ５１０Ａ”及び５１０Ｅ”は、両方共、同じ０°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｂ”及び５１０Ｆ”は、両方共、同じ４５°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｃ”及び５１０Ｇ”は、両方共、同じ９０°の角度の直線偏光フィルタを有していてもよく、カメラ５１０Ｄ”及び５１０Ｈ”は、両方共、同じ１３５°の角度の直線偏光フィルタを有していてもよい。

【0095】

図５Ｂは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの、当該システムの光軸に平行な方向に沿った図である。図５Ｃは、本開示の一実施形態に係るマルチスペクトルステレオ偏光カメラシステムの例示的な個々の偏光カメラの側断面図である。図５Ｃに示すように、個々の偏光カメラ（例えば、５１０Ａ”、５１０Ｂ”、５１０Ｅ”、及び５１０Ｆ”）の各々は、対応するレンズ５１２、対応する画像センサ５１４、及び対応する偏光フィルタ５１６に加えて、個々の偏光カメラの光路内に、対応するカラーフィルタ５１８（例えば、５１８Ａ”、５１８Ｂ”、５１８Ｅ”、及び５１８Ｆ”）を含む。図５Ｃは、ハウジング内のレンズ５１２の後段にあるものとしてカラーフィルタ５１８を示しているが、本開示の実施形態はこれに限定されない。例えば、いくつかの実施形態では、カラーフィルタ５１８は、レンズ５１２の前段に配置される。同様に、いくつかの実施形態では、偏光フィルタは、レンズ５１２の前段に配置される。

【0096】

図５Ｂに示す実施形態では、個々の偏光カメラの各々は、可視スペクトルの１つの対応する部分の光のみを透過するカラーフィルタ（例えば、モザイクパターンを有し、通常、赤、緑及び青の光に対応するスペクトルの３つの異なる部分の光を透過するカラーフィルタを含むベイヤ―フィルタとは対照的に）を含む。図５Ｂに示す例では、第１の偏光カメラ５１０Ａ”は、スペクトルの赤（Ｒ）部分の光を透過するように構成されたカラーフィルタ５１８Ａ”を有し、第２の偏光カメラ５１０Ｂは、スペクトルの第１の緑（Ｇ１）部分の光を透過するように構成されたカラーフィルタ５１８Ｂ”を有し、第３の偏光カメラ５１０Ｃは、スペクトルの第２の緑（Ｇ２）部分（例えば、１５～２０ｎｍだけシフトしたピークを有する、スペクトルの第１の緑部分Ｇ１とは異なる可能性がある部分）の光を透過するように構成されたカラーフィルタ５１８Ｃ”を有し、第４の偏光カメラ５１０Ｄ”は、スペクトルの青（Ｂ）部分の光を透過するように構成されたカラーフィルタ５１８Ｄ”を有する。第１の偏光カメラモジュール５１０－１”の４つの偏光カメラは、共に、４つの異なる偏光状態（例えば、０°、４５°、９０°、及び１３５°の４つの異なる直線偏光）と、４つの異なる色（例えば、Ｒ、Ｇ１、Ｇ２、及びＢ）の光を捕捉する。例えば、図５Ｂに示す具体的な実施形態では、第１の偏光カメラ５１０Ａ”は、０°に偏光された赤色光を捕捉し、第２の偏光カメラ５１０Ｂ”は、４５°に偏光された第１の緑色光を捕捉し、第３の偏光カメラ５１０Ｃ”は、９０°に偏光された第２の緑色光を捕捉し、第４の偏光カメラ５１０Ｄ”は、１３５°に偏光された青色光を捕捉する。ただし、本開示の実施形態はこれに限定されない。例えば、様々な実施形態では、カラーフィルタは、異なる偏光フィルタに関連付けられてもよい。

【0097】

同様に、第２の偏光カメラモジュール５１０－２”の個々の偏光カメラ（例えば、カメラ５１０Ｅ”、５１０Ｆ”、５１０Ｇ”、及び５１０ＢＨ”）は、電磁スペクトルの異なる部分の光を透過するように構成され、互いに異なる別々のカラーフィルタ５１８を含む。本発明のいくつかの実施形態では、第２の偏光カメラモジュール５１０－２”のカラーフィルタの各々は、第１の偏光カメラモジュール５１０－１内の対応するカラーフィルタから受光する、一定量だけシフトしたスペクトルの部分（例えば、カラーフィルタのスペクトルプロファイルのピークが、より長い波長に向かって、又はより短い波長に向かって、約１０ナノメートル～約２０ナノメートルだけシフトされた部分）の光を透過する。

【0098】

図５Ｂに示す好ましい実施形態では、第５の偏光カメラ５１０Ｅ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ａ”の対応するカラーフィルタ５１８Ａ”によって透過されたスペクトルＲから約１０～２０ナノメートルだけシフトしたスペクトルの赤（Ｒ’）部分の光を透過するように構成されたカラーフィルタ５１８Ｅ”を有する。同様に、第６の偏光カメラ５１０Ｆ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｂ”の対応するカラーフィルタ５１８Ｂ”によって透過されたスペクトルＧ１から約１０～２０ナノメートルだけシフトしたスペクトルの第１の緑（Ｇ１’）部分の光を透過するように構成されたカラーフィルタ５１８Ｆ”を有する（いくつかの実施形態では、上記はスペクトルＧ２と異なるスペクトルでもある）。第７の偏光カメラ５１０Ｇ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｃ”の対応するカラーフィルタ５１８Ｃ”によって透過されたスペクトルＧ２から約１０～２０ナノメートルだけシフトしたスペクトルの第２の緑（Ｇ２’）部分の光を透過するように構成されたカラーフィルタ５１８Ｇ”を有する（いくつかの実施形態では、上記はスペクトルＧ１と異なるスペクトルでもある）。第８の偏光カメラ５１０Ｈ”は、第１の偏光カメラモジュール５１０－１”の対応する偏光カメラ５１０Ｄ”の対応するカラーフィルタ５１８Ｄ”によって透過されたスペクトルＢから約１０～２０ナノメートルだけシフトしたスペクトルの青（Ｂ’）部分の光を透過するように構成されたカラーフィルタ５１８Ｈ”を有する。

【0099】

第２の偏光カメラモジュール５１０－２”の４つの偏光カメラは、共に、４つの異なる偏光状態（例えば、０°、４５°、９０°、及び１３５°の４つの異なる直線偏光）と、第１の偏光カメラモジュール５１０－１”によって捕捉された４つの色とも異なる、４つの異なる色（例えば、Ｒ’、Ｇ１’、Ｇ２’、及びＢ’）の光を捕捉する。その結果、図５Ａ、５Ｂ、及び５Ｃに示すマルチスペクトルステレオ偏光カメラシステム５１０は、８つの異なる色の、４つの異なる偏光角の光を検出するように構成されている。

【0100】

本開示のいくつかの実施形態について、図５Ａ、５Ｂ、及び５Ｃに関連して上に詳述したが、本開示の実施形態はこれに限定されない。例えば、上記のように、本開示のいくつかの実施形態では、各偏光カメラモジュールは、３つの偏光カメラのみを含んでいてもよい。いくつかの実施形態では、３つの個々の偏光カメラは、０°、４５°、及び９０°又は０°、６０°、及び１２０°の直線偏光フィルタを備えた対応する線形偏光子を含んでいてもよい。いくつかの実施形態では、第１の偏光カメラモジュールの３つの個々の偏光カメラは、対応する第１のスペクトルプロファイルを有する、赤（Ｒ）、緑（Ｇ）、及び青（Ｂ）の光を透過する、対応するカラーフィルタを有し、第２の偏光カメラモジュールの３つの個々の偏光カメラは、第１のスペクトルプロファイルとは異なる第２のスペクトルプロファイルを有する、赤（Ｒ’）、緑（Ｇ’）、及び青（Ｂ’）の光を透過する、対応するカラーフィルタを有してもよい（例えば、第２のスペクトルプロファイルの各々は、対応する第１のスペクトルプロファイルから１０～２０ｎｍシフトする）。

【0101】

さらに、本開示のいくつかの実施形態を、可視電磁スペクトルの異なる部分を透過するカラーフィルタに関連して前述したが、本開示の実施形態はこれに限定されず、赤外線又は紫外光などの電磁スペクトルのその他の部分において光を選択的に透過するカラーフィルタの使用を含んでいてもよい。

【0102】

本開示のいくつかの実施形態では、マルチスペクトルステレオ偏光カメラシステムの２つの異なる偏光カメラモジュールは、例えば、図１Ｂに示す偏光マスク、又は機械的若しくは電子的に制御可能な偏光フィルタを用いて、異なる偏光状態（例えば、異なる偏光角）の偏光の生フレームを捕捉するように構成された偏光カメラを含む。本開示のいくつかの実施形態によれば、各々の偏光カメラは、バイヤーパターンなどのモザイクパターンに従って複数の色の光をフィルタリングするように構成されたカラーフィルタをさらに含み、各々の偏光カメラは、マルチスペクトル又はハイパースペクトルの捕捉を可能にする異なるカラーフィルタを有していてもよい。例えば、いくつかの実施形態では、ステレオ対の第１の偏光カメラは、前述したように、Ｒ、Ｇ１、Ｇ２、Ｂスペクトル（又はＲ、Ｇ、Ｂスペクトル）の光を捕捉するように構成された第１のカラーフィルタを含み、ステレオ対の第２の偏光カメラは、前述したように、Ｒ’、Ｇ１’、Ｇ２’、Ｂ’スペクトル（又はＲ’、Ｇ’、Ｂ’スぺクトル）の光を捕捉するように構成された第２のカラーフィルタを含む。

【0103】

本開示の実施形態のいくつかの態様は、表現のためのスペクトル基底関数を決定することによって、上記のようなハードウェア装置を用いてマルチスペクトルシーンを捕捉することに関する。シーン照明のスペクトルパワー分布を推定し、マクベスカラーチャートのスペクトル反射率関数を用いて、当該照明を表す基底関数Ｂのセットをシミュレートすることが可能である。これは、典型的には、地理空間用途のためのマルチスペクトル撮像のケースのような、屋外使用のための自然太陽光のスペクトルプロファイルを推定する際に特に実現可能になる。スペクトル基底関数が決定されると、次式のｗ（重み）を解くだけで、各シーンのスペクトル係数を決定することが簡単にできる。
ｐ＝ＴＳ＝ＴＢｗ （１３）
上式で、ｐは、異なるスペクトル（カラー）チャネル（例えば、８つの異なるカラーチャネルＲ、Ｇ１、Ｇ２、Ｂ、Ｒ’、Ｇ１’、Ｇ２’、及びＢ’）におけるピクセル値を表し、Ｔは、様々なスペクトルチャネル（例えば、捕捉された値）のスペクトル応答性を表し、Ｓはスペクトル基底に分解できる照明源、Ｂはスペクトル基底関数を表し、ｗは基底関数の係数を表す。

【0104】

したがって、上記の式（１３）を適用することで、１ピクセル当たりの偏光情報及びスペクトル情報を計算することができる。

【0105】

上述したような、マルチスペクトルハードウェアから計算されたマルチスペクトル又はハイパースペクトル情報は、その他の物体の検出又はインスタンスセグメンテーションアルゴリズムへの入力として供給されてもよい（例えば、ラベリングされたマルチスペクトル偏光像の訓練済みデータに基づいて訓練又は再訓練された畳み込みニューラルネットワークを用いて）、又は、本開示の実施形態に係る、ステレオマルチスペクトル偏光カメラシステムによって撮像されたシーン内の物体の存在を検出するための古典的なコンピュータビジョンアルゴリズム（例えば、マルチスペクトル及び偏光キューの視差シフトに基づいて面深度を検出するための）への入力として供給されてもよい。

【0106】

上記の本開示のいくつかの実施形態は、ステレオカメラシステム（例えば、ステレオ対）を使用するマルチビューマルチスペクトル偏光撮像に関するが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、マルチスペクトルカメラシステム（例えば、前述したように、Ｒ、Ｇ、Ｂ、Ｒ’、Ｇ’、及びＢ’などの、６つ以上の異なるスペクトルを捕捉するように構成されたカメラシステムを使用する）は、例えば、関心の対象がカメラシステムの視野を通過するコンベアベルト上に配置されるときに、又はカメラシステムが関心対象の視野を横切って移動する場合に、時間をかけて複数の視点にわたって掃引を行う。

【0107】

一例として、衛星撮像分野の用途の場合、高度に相関した複数の角度からシーンを視認できるという利点が付け加わる。衛星が地上の所与の点の上方を直線的に移動する系統的な方法によって、衛星は、広範囲の視野角にわたって各視野角について地上の面の高度に相関したマルチスペクトルの偏光データを取得することが可能になる。したがって、本開示のいくつかの実施形態では、処理システム１００は、地面上の各地点について、偏光度（ＤＯＬＰ）信号が最も強い最適角を決定し、それによって、その面の配向に関する強い相関を提供する。例えば、式（２）及び（４）を参照されたい。さらに、スペキュラリティは、概ね、視点に大きく依存するので、所与の面の視界の大部分は非鏡面であり、式（２）は、非鏡面（又は拡散）式と鏡面式（４）との間での選択を必要とすることなく、撮像対象の面の配向を計算するのに充分であり得る。

【0108】

さらに、衛星撮像によって、極めて異なる視点から捕捉された物体の画像を捕捉することが可能になる。この大規模なベースラインによって、位置の大幅な変化に起因する偏光及び視差シフトを用いてマルチスペクトル撮像を活用することによって、地上ベースの物体の粗距離を推定することができる。これらの粗距離を検出することで、災害管理、送電線監視、及びセキュリティのための情報が提供される。例えば、公益事業会社は、送電線の火災又は損傷のリスクがあるため、送電線及び配電線区域内及びその周囲の放置された植生繁茂を懸念している。異なる視点から送電線周囲の領域を撮像し、異なる視点から見たときの物体の視差シフトを検出することによって、植生面高さと送電線及び配電線の高さと、を推定することができる。したがって、このことにより、地上の植生が植生繁茂に関連して送電線及び配電線の近傍に関していつ臨界しきい値に達したかを自動的に検出することができる。そのようなデータを昼夜監視するために、本開示のいくつかの実施形態は、熱センサ（例えば、赤外線センサ）を用いて偏光データを融合し、照明条件に関わらず明確な熱シグニチャを提供することに関する。

【0109】

ポラリメトリックキューを使用する画像セグメンテーション

【0110】

本開示の実施形態のいくつかの態様は、本開示の実施形態に従って捕捉されたポラリメトリックキューを用いてインスタンスセグメンテーションを実行することに関する。ポラリメトリックキューを使用するインスタンスセグメンテーションを実行するためのいくつかの技法が、２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号、及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に詳述されており、当該仮出願は、その開示内容全体を参照により本明細書に援用される。

【0111】

図６Ａは、本発明の一実施形態に係る、偏光データに基づいて面特性評価出力を計算するための処理回路１００のブロック図である。図６Ｂは、本発明の一実施形態に係る、入力画像に基づいて面特性評価を実行して面特性評価出力を計算するための方法６００のフローチャートである。

【0112】

本開示の様々な実施形態によれば、処理回路１００は、以下に詳述するように、様々な動作を実行するように構成された１つ又は複数の電子回路を用いて実施される。電子回路の種類は、中央処理部（ＣＰＵ）、グラフィックス処理部（ＧＰＵ）、人工知能（ＡＩ）アクセラレータ（例えば、ドット積及びｓｏｆｔｍａｘなどの、ニューラルネットワークに共通の演算を効率的に行うように構成されたベクトル演算ロジック部を含み得るベクトルプロセッサ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）、又は同種のものを含んでいてもよい。例えば、いくつかの状況で、本開示の実施形態の態様は、電子回路（例えば、ＣＰＵ、ＧＰＵ、ＡＩアクセラレータ、又はそれらの組み合わせ）によって実行されると、本明細書に記載の動作を実行して、入力された偏光の生フレーム１８から特性評価出力２０を計算する、不揮発性コンピュータ可読メモリ内に記憶されたプログラム命令の形で実施される。処理回路１００によって実行される動作は、単一の電子回路（例えば、単一のＣＰＵ、単一のＧＰＵ、又は同種のもの）によって実行されてもよいし、複数の電子回路（例えば、複数のＧＰＵ又は単一のＧＰＵと連携する単一のＣＰＵ）の間に割り当てられてもよい。複数の電子回路は、互いにローカルであってもよく（例えば、同じダイ上に位置してもよく、同じパッケージ内に位置してもよく、又は同じ内蔵デバイス又はコンピュータシステム内に位置してもよい）、且つ／又は互いにリモートであってもよい（例えばＢｌｕｅｔｏｏｔｈ（登録商標）などのローカルパーソナルエリアネットワークのようなネットワークを介した通信で、ローカル有線及び／又は無線ネットワークなどのローカルエリアネットワーク、及び／又はインターネットなどの広域ネットワークを介して通信する際に、動作の一部がローカルに実行され、動作の別の一部がクラウドコンピューティングサービスによってホストされるサーバ上で実行される場合など）。処理回路１００を実施するために動作する１つ又は複数の電子回路は、本明細書では、コンピュータ又はコンピュータシステムと呼んでよく、コンピュータ又はコンピュータシステムは、１つ又は複数の電子回路によって実行されると、本明細書に記載のシステム及び方法を実施する命令を記憶するメモリを含んでいてもよい。

【0113】

図６Ａに示すように、いくつかの実施形態では、処理回路１００は、フィーチャ抽出装置又はフィーチャ抽出システム７００と、フィーチャ抽出システム７００の出力に基づいて物体の面特性に関する予測出力２０（例えば、統計的予測）を計算するように構成された予測装置７１０（例えば、古典的なコンピュータビジョン予測アルゴリズム及び／又は訓練済みニューラルネットワークなどの訓練済み統計モデル）とを含む。本開示の様々な実施形態は、本明細書では、面フィーチャの検出が光学的に困難であり得る、且つ／又は、偏光ベースの撮像技法が他の方法では取得が困難であり得る面法線に関する情報を提供する状況における面特性評価に関して説明したが、本開示の実施形態はこれに限定されない。例えば、本開示の実施形態のいくつかの態様は、半透明な物体の面、マルチパス誘導物体、一部が又は実質的にマット又はランバートの物体、及び／又は非常に暗い物体の面のような、検出が光学的に困難な材料で作られた物体、又は検出が光学的に困難な面特性を有する物体の面を特性評価するための技法に適用することができる。これらの光学的に困難な物体は、光の偏光への感度が低いカメラシステムによって捕捉される画像を使用することによって解決又は検出する（例えば、光路内に偏光フィルタを有しないカメラ、又は異なる画像が異なる偏光角に基づく画像を捉えていないカメラによって捕捉される画像に基づいて）ことが困難な物体及び物体の面特性を含む。例えば、これらの面特性は、特性が現れる面と非常に類似した面の外観又は色を有することがある（例えば、凹みが下地材料と同じ色を有し、ガラスのような透明な材料上の傷も、実質的に透明であり得る）。さらに、本開示の実施形態は、光学的に困難な面特性を検出することに関して本明細書に記載したが、本開示の実施形態は、光学的に困難な面の欠陥のみを検出することに限定されない。例えば、いくつかの実施形態では、予測装置７１０は、光学的に困難な面特性と、偏光情報を使用することなくロバストに検出可能な面特性との両方を検出するように構成される（例えば、訓練データを用いて統計モデルが訓練される）。

【0114】

偏光は、強度情報（例えば、色強度情報）のみを使用する場合に偏光を用いなければ光学的に困難な面特性又はフィーチャを検出するために使用できる。例えば、偏光情報は、物体の面における幾何学形状の変化及び材料の変化を検出することができる。異なる種類の材料間の境界（例えば、黒色の道路上の黒色の金属物体又は面上の無色の液体は、両方とも色空間内で実質的に見えない可能性があるが、偏光空間内に対応する偏光シグネチャを有する）などの、材料の変化（又は材料の変更）は、偏光空間内でより可視的であり得る。これは、異なる材料の屈折率の差が光の偏光の変化を引き起こすためである。同様に、様々な材料のスペキュラリティの違いは、回転の偏光位相角の異なる変化を引き起こし、偏光フィルタを使用せずに検出することがこの変化なしでは光学的に困難な偏光空間内の検出可能なフィーチャが見つかる可能性がある。したがって、このことにより、強度空間（例えば、光の偏光を考慮しない色表現空間）内で計算されたテンサーの対応する領域が、これらの面特性（例えば、これらの面特性が低いコントラストを有するか、又はこれらの空間では不可視的であり得る）を捕捉することができない可能性がある、偏光表現空間内の画像又はテンサーにコントラストが生まれる。光学的に困難な面特性の例は、面の特定の形状（例えば、平滑度及び面に対する理想的又は許容可能な物理的設計公差からの偏差）、面粗さ及び面粗さパターンの形状（例えば、透明な物体及び機械加工部品の面における意図的なエッチング、傷、及びエッジ）、機械加工された部品及び成形部品の縁部におけるバリ及びフラッシュバリ、及び同種のものを含む。偏光は、同一の色を有するが、散乱又は屈折率などの材料特性が異なる物体を検出するのにも有用であろう。

【0115】

さらに、前述したように、偏光を用いて、例えば、式（２）、（３）、（４）及び（５）に基づいて偏光の生フレームから計算された直線偏光度（ＤＯＬＰ）ρ及び直線偏光角（ＡＯＬＰ）φに基づいて物体の面法線を取得することができる。次いで、これらの面法線は、面の形状に関する情報を提供する。

【0116】

図６Ｂに示すように、また、例えば、図１Ｂを参照すると、動作６１０で、処理回路１００は、シーン１の面の偏光の生フレーム１８を捕捉する。例えば、いくつかの実施形態では、処理回路１００は、シーン１内の物体の面を描写する偏光の生フレーム１８を捕捉するように、１つ又は複数の偏光カメラ１０（例えば、複数の偏光カメラアレイ及び／又は複数の偏光カメラモジュールを含む複数のステレオ偏光カメラシステムに編成できる、１つ又は複数の個々の偏光カメラ）を制御する。

【0117】

図７Ａは、本発明の一実施形態に係るフィーチャ抽出装置７００のブロック図である。図７Ｂは、本発明の一実施形態に係る、偏光の生フレームからフィーチャを抽出するための方法を示すフローチャートである。図７Ａに示す実施形態では、フィーチャ抽出装置７００は、強度表現空間内の強度画像Ｉ５２を抽出する（非偏光表現空間の一例として、式（７）に従って）ように構成された強度抽出装置７２０と、１つ又は複数の偏光表現空間内のフィーチャを抽出するように構成された偏光フィーチャ抽出装置７３０と、を含む。本開示のいくつかの実施形態では、強度抽出装置７２０は省略され、フィーチャ抽出装置は強度画像Ｉ５２を抽出しない。図７Ａに示す実施形態では、偏光表現空間（例えば、ＤＯＬＰρ及びＡＯＬＰφ）内で抽出されたフィーチャは、シーン内の物体の面法線５８を計算する面法線計算装置７８０に供給される。

【0118】

図７Ｂに示すように、動作６５０での偏光画像の抽出は、動作６５１で、第１のストークスベクトルから計算された偏光の生フレームから第１の偏光表現空間内の第１のテンサーを抽出することを含んでいてもよい。動作６５２で、フィーチャ抽出装置７００は、偏光の生フレームから第２の偏光表現空間内の第２のテンサーをさらに抽出する。例えば、偏光フィーチャ抽出装置７３０は、ＤＯＬＰρ画像５４を（例えば、ＤＯＬＰを第１の偏光表現空間として、式（８）に従って、第１の偏光画像又は第１のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＤＯＬＰ抽出装置７４０と、ＡＯＬＰφ画像５６を（例えば、ＡＯＬＰを第２の偏光表現空間として、式（９）に従って、第２の偏光画像又は第２のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＡＯＬＰ抽出装置７６０と、を含んでいてもよい。さらに、様々な実施形態で、フィーチャ抽出システム７００は、動作６１４でｎ番目のテンサーが抽出される２つ以上の表現空間（例えば、ｎ個の表現空間）内で、２つ以上の異なるテンサー（例えば、ｎ個の異なるテンサー）を抽出する。上記のように、本開示のいくつかの実施形態では、偏光フィーチャ抽出装置７３０は、直線偏光表現空間（例えば、直線偏光フィルタで捕捉された偏光の生フレームから抽出された上記のＡＯＬＰ及びＤＯＬＰ表現空間内のテンサー）と、円偏光表現空間（例えば、円偏光フィルタで捕捉された偏光の生フレームから抽出されたテンサー）との両方を含む偏光表現空間内の偏光フィーチャを抽出する。様々な実施形態では、表現空間は、これに限定されないが、偏光表現空間を含む。

【0119】

偏光表現空間は、ストークスベクトルに従った偏光の生フレームの組み合わせを含んでいてもよい。別の例として、偏光表現は、１つ又は複数の画像処理フィルタ（例えば、画像のコントラストを増加させるフィルタ又はノイズ除去フィルタ）に従った偏光の生フレームのモディフィケーション（ｍｏｄｉｆｉｃａｔｉｏｎｓ）又はトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を含んでいてもよい。次いで、第１の偏光表現空間内のフィーチャマップ５２、５４、及び５６を、フィーチャマップ５０に基づいて面特性を検出するための予測装置７５０に供給することができる。

【0120】

図７Ｂは、３つ以上の異なる表現空間内の偏光の生フレーム１８から２つ以上の異なるテンサーが抽出されるケースを示しているが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光表現空間内の１つのテンサーのみが、偏光の生フレーム１８から抽出される。例えば、生フレームの１つの偏光表現空間はＡＯＬＰφであり、別の偏光表現空間はＤＯＬＰρである（例えば、いくつかの用途では、ＡＯＬＰは、透明な物体の面特性又は半透明、非ランバート、マルチパス誘導、及び／又は非反射性物体などのその他の光学的に困難な物体の面特性を検出するのには充分であり得る）。

【0121】

さらに、図７Ａに関連して前述したように、本開示のいくつかの実施形態では、１つ又は複数のフィーチャベクトルが、他の表現空間から計算されたフィーチャに基づいて計算される。図７Ａに示す特定の例では、面法線計算装置７８０は、ＡＯＬＰ及びＤＯＬＰテンサーの計算値に基づいて、面法線空間内の撮像されたシーン１内の面の面法線（例えば、方位角θ_ａ及び天頂角θ_ｚ）を計算する。いくつかの実施形態では、面法線は、デカルト座標（例えば、面法線の方向を示す３次元ベクトル）を用いて符号化される。面法線５８の計算値は、フィーチャ抽出装置７００によって抽出されたフィーチャ５０の中に含まれてもよい。

【0122】

したがって、偏光の生フレーム１８から偏光フィーチャマップ、偏光画像、及び／又は面法線などのフィーチャを抽出することによって、被検査物体の面の画像から光学的に困難な面特性が検出される第１のテンサー５０が生成される。いくつかの実施形態では、フィーチャ抽出装置７００によって抽出された第１のテンサーは、偏光の生フレーム内に現れる可能性がある基礎をなす物理現象（例えば、上記のような、直線偏光空間内のＡＯＬＰ及びＤＯＬＰ画像の計算と、円偏光空間内のテンサーの計算）に関連する、明示的に導出されたフィーチャ（例えば、人間の設計者の手による）であってもよい。本開示のいくつかの追加の実施形態では、フィーチャ抽出装置７００は、異なる色の光（例えば、赤、緑、及び青色光）の強度マップ及び強度マップのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（例えば、強度マップに画像処理フィルタを適用すること）などのその他の非偏光フィーチャマップ又は非偏光画像を抽出する。本開示のいくつかの実施形態では、フィーチャ抽出装置７００は、上記の偏光技法から得た形状に従って、偏光の生フレームによって示された面法線をさらに計算する。本開示のいくつかの実施形態では、フィーチャ抽出装置７００は、ラベリングされた訓練データに基づく、包括的な教師あり訓練工程によって自動的に学習される１つ又は複数のフィーチャ（例えば、人間によって手動で指定されていないフィーチャ）を抽出するように構成されていてもよい。いくつかの実施形態では、これらの学習済みフィーチャ抽出装置は、従来のコンピュータビジョンフィルタ（例えば、Ｈａａｒウェーブレット変換、キャニー法、ブロックマッチングによるステレオ画像からの深度計算（ｄｅｐｔｈ－ｆｒｏｍ－ｓｔｅｒｅｏ ｃａｌｃｕｌａｔｏｒ）、及び同種のもの）と組み合わせて使用できる、深層畳み込みニューラルネットワークを含んでいてもよい。

【0123】

本開示のいくつかの実施形態では、予測装置７５０は、第１のテンサー５０に基づいて、１つ又は複数の古典的なコンピュータビジョンアルゴリズム（例えば、ブロックマッチングによるステレオ画像からの深度推定（ｄｅｐｔｈ ｆｒｏｍ ｓｔｅｒｅｏ ｕｓｉｎｇ ｂｌｏｃｋ ｍａｔｃｈｉｎｇ））を実施する。

【0124】

本開示のいくつかの実施形態では、予測装置７５０は、例えば訓練済み畳み込みニューラルネットワークを含むことによって、画像セグメンテーションアルゴリズムを実施する。画像セグメンテーションとは、ピクセル内に含まれる物体のクラスに基づいてピクセルをラベリングすることを意味する。伝統的なアルゴリズムは、決定境界を強化するためにＲＧＢ／グレー画像勾配を使用して、従来の赤－緑－青（ＲＧＢ）チャネル又はグレーチャネル（以下、ＲＧＢ／グレー）情報に適合している。多数の産業用途では、ＲＧＢ／グレー画像勾配が存在しない可能性がある。その一例は、黒色の道路上の黒色の自動車の写真である。このシーンをセグメント化して車両を道路から分離することは困難である。ただし、本開示の実施形態に係る偏光カメラシステムを使用してＲＧＢ／グレー勾配及びポラリメトリック勾配の両方を捕捉することによって、コンピュータビジョンシステムを、組み合わされたＲＧＢ／グレー及び偏光キュー（例えば、偏光キューから計算された面法線を含む）に基づいて訓練して、ＲＧＢ／グレー画像のみを使用する場合には光学的に困難な条件下で画像の意味セグメンテーションを実行することができる。本明細書で使用される、入力（例えば、ＡＯＬＰφ、ＤＯＬＰρ、並びに／或いはＡＯＬＰ及びＤＯＬＰに基づいて計算された面法線などの、フィーチャ抽出装置７００によって偏光の生フレームから抽出された、偏光フィーチャ空間内のフィーチャ）として偏光キューを取り出すように構成された畳み込みニューラルネットワークを、本明細書では、偏光ＣＮＮと呼び、その偏光マスクＲ－ＣＮＮは、前述されており、また２０１９年１１月３０日に米国特許商標庁に出願された米国特許仮出願第６２／９４２，１１３号及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に記載されている。

【0125】

偏光撮像による３Ｄ面復元の増強

【0126】

本開示の実施形態のいくつかの態様は、閉鎖物体の高品質復元物を作成することに関する。本開示のいくつかの実施形態では、面復元は偏光ベースの撮像工程から生じる曖昧さを解決するために走査される物体のコンピュータ支援設計（ＣＡＤ）モデルなどの、物体の高品質３次元（３Ｄ）モデルと組み合わせて使用される。これまで、ＣＡＤモデルにアクセスすることなく、不明な幾何学形状のための方法を改良する試みがなされてきた。

【0127】

高品質の３Ｄコンピュータモデルが既に存在する物理的物体の高品質３Ｄ復元物を捕捉することは、物体の製作及び／又は製造における品質管理などの様々な状況で重要である。例えば、付加製造又は３Ｄ印刷の場合、設計者は、物体の３Ｄモデルを作成し、３Ｄモデルを３Ｄプリンタに供給し、３Ｄプリンタは３Ｄモデルに基づいて物理的物体を製作する。３Ｄ印刷工程の間又はその後に、３Ｄプリンタによって製造される物理的物体を、本開示のいくつかの実施形態に係るステレオ偏光カメラシステムを用いて走査することができ、捕捉された偏光データを用いて、物理的物体の面の３Ｄ復元の支援に供することができる。次いで、ソフトウェア上で、この３Ｄ復元物を設計された３Ｄモデルと比較し、３Ｄ印刷工程における欠陥を検出できる。射出成形、ダイカスト、曲げ加工、及び同種のものなどのその他の製造工程を介して作成される物体の形状の３Ｄ復元物の作成のための製造工程などのその他の製造工程にも同様の技法を適用することができる。

【0128】

一例として、図１Ｅに関連して前述したようなステレオ偏光カメラシステムを用いて、例えば、３Ｄで復元するように意図された、例えば、捕捉された偏光の生フレームから自動的に物体の３Ｄモデルを作成するように意図された物体が撮像される。実際の製造上の制約及び／又は製造工程における欠陥が原因で、物体の面は疎の凹凸を有することがあり、理想的な平滑さに欠ける場合がある。これらの凹凸は、面上の高周波変動として出現することがある。高周波変動（ＨＦＶ）は、以下の３つのシナリオに起因して出現する。

【0129】

第１に、有効な高周波変動（例えば、存在するものとして設計され、意図された）を有する物体面上の領域が存在する可能性がある。例えば、ギリシャ胸像又は立像のレプリカを作成する場合、走査された３Ｄモデルの目及び毛髪付近の細部の形状を、物理的物体の製作を案内するために使用された高品質３Ｄモデルに再現することができる。

【0130】

第２に、面上の傷、欠陥、又はその他の損傷による高周波変動を有する物体面上の領域が存在することがある。例えば、３Ｄ印刷又は付加製造の場合、層ごとの製造工程が原因で高周波パターンが発生し、物体面に「急峻な」外観をもたらすことがある。別の例として、射出成形工程では、製造された物体の、型の２つの部分が合わさる箇所に継ぎ目又はフラッシュバリが残っている場合がある。これらの細部は、高品質３Ｄモデルには反映されない。

【0131】

第３に、高周波変動の第１及び第２の形態の組み合わせが、互いに物理的に近接した位置で発生することがある（例えば、フラッシュバリが、胸像のレプリカの毛髪の近くに出現し、その結果、追加の線が毛髪に現れることがある）。

【0132】

現実の物体上では、細部に起因する高周波変動は望ましいが、凹凸に起因するＨＦＶは望ましくない。ただし、検査及びプロフィロメトリの目的のために、３Ｄ復元においてこれらの種類のＨＦＶを両方共作成できることは重要である。これらのＨＦＶを示す細部と、凹凸との一部は、市場で入手可能な３Ｄスキャナによって作成不可能な（量子化誤差及びその他のノイズ源による低解像度が原因で）場合があるが、本開示の実施形態は、以下に詳述するように、これらのケースを取り扱うことができる。いくつかの例示的な実装形態では、物体が視覚的フィーチャを有しない場合に物体を照明するために追加の構造化照明プロジェクタ装置を使用することができる。本開示のいくつかの実施形態は、受動照明（例えば、シーンにおける周囲照明に基づく）の使用に関する。

【0133】

図８Ａは、本発明で提案される撮像セットアップの例示的な実装形態によって走査されるギリシャ胸像の図である。３種類の高周波変動（ＨＦＶ）の細部が注釈を付けられている（８０１Ａ：毛髪及び目などの望ましい細部、８０１Ｂ：頬及び鼻付近の望ましくない傷及び欠陥、並びに８０１Ｃ：互いに近接した位置でのケースＡとＢとの組み合わせ）。これらのＨＦＶは、標準的な３Ｄ撮像技法を用いて作成できない可能性がある。本発明の実施形態の態様は、これらのケース全てを取り扱うことに関する。図８Ｂは、本開示の一実施形態に係る、偏光を使用する３Ｄ面復元のための方法のフローチャートである。

【0134】

本開示のいくつかの実施形態では、動作８１０で、例えば、図１Ｅに関連して前述したようなステレオ偏光カメラシステムを用いて、複数の視点から、ある物体の偏光の生フレーム１８が捕捉される。獲得された生画像の各々から、４つの別々の極角画像０、４５、９０、１３５のセットを抽出することができる。これらは、Ｐ_Ｃ１及びＰ_Ｃ２と表記することができる。このセットアップの例示的な実装形態では、カメラは、標準的なステレオ構成（光軸が互いに平行な）に収容されていてもよく、又は別の構成（例えば、光軸が互いに交差する）に収容されていてもよい。

【0135】

動作８２０で、上記のＰ_Ｃ１及びＰ_Ｃ２を使用する両方のカメラのストークスベクトルの公式から、直線偏光度及び直線偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を計算することができる。これらは、ρ_Ｃ１、φ_Ｃ１、ρ_Ｃ２、及びφ_Ｃ２と表記することができる。動作８３０で、カメラＣ１及びＣ２の両方について、式（２）、（３）、（４）、及び（５）に関連して前述したように、ＤＯＬＰρ及びＡＯＬＰφを使用する、偏光を使って形状を求める（ＳＦＰ）理論を用いて、偏光の面法線（例えば、天頂角θ_ｚ及び方位角θ_ａ）が計算される（例えば、偏光の生フレームＰ_Ｃ１及びＰ_Ｃ２に基づいて）。２つの視点からのこれらの面法線は、Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}と表記することができる。

【0136】

ただし、これらの面法線は、角度πによる方位角θ_ａの曖昧さを有し、この曖昧さは、制約としてＣＡＤ参照モデルを使用することによって（例えば、参照モデルに対してより小さい距離又は誤差を有する面を生じる方位角θ_ａを選択することによって）明確にし、補正することができる。したがって、参照モデルを用いて、低周波ノイズ（例えば、角度πによる曖昧さ）を解決することができる。

【0137】

物体が誘電体であるか非誘電体であるかに応じて、（ＤＯＬＰの強度からキューを取り出して）、適当なＤＯＬＰ計算モデルを用いて、上記のように、天頂角を推定することができる。いくつかの実施形態では、誘電体の屈折率は、通常、［１．３、１．６］の範囲内にあり、この変動は、ＤＯＬＰρの無視できる変化しか引き起こさないため、材料は屈折率が１．５の誘電体であると前提することができる。材料が非誘電体の場合、天頂角推定値の正確度は屈折歪みの影響を受けるであろう。天頂における屈折誤差は低周波現象であり、したがって、屈折誤差を解決するためのプライアとして参照モデルを活用することによって補正することもできる。

【0138】

法線Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}は、両方とも独立して、サンプル空間（Ω）上で積分して、物体から、又は物体の面の一部から面全体を復元することができる（例えば、面法線は、物体の面の勾配を示し、したがって、勾配の直交方向に対する法線方向を考慮した後で、勾配上で積分されて、物体の基本形状を復元する）。そのような積分から復元された面は、ＣＡＤ参照モデルによって制約された形状に適合する必要がある。積分から復元された面と参照モデルとの差は、物理的物体の欠陥部分を示している可能性がある。

【0139】

１つの偏光カメラ（又は１つの偏光カメラアレイ）から得た偏光データに基づく３Ｄ復元における曖昧さ及び誤差を解決するためにＣＡＤモデルにのみ依存することに加えて、本開示の実施形態のいくつかの態様は、ステレオ偏光カメラシステムの複数のカメラ間の視点の整合性を強化することによって、３Ｄ復元の品質をさらに改善することに関する。

【0140】

したがって、本開示のいくつかの実施形態は、図８Ｂに示す動作８３０による、前述した推定済み面法線を計算することに関するが、本開示のいくつかの実施形態は、推定済み面法線をさらに洗練することに関する。さらに図８Ｂを参照すると、動作８４０で、高品質ＣＡＤ参照モデルは、２つのカメラによって捕捉された偏光の生フレームＰ_Ｃ１及びＰ_Ｃ２内の物体上で推定される視覚的キーポイントに基づいて、物理的物体の向きに整列する。これらのキーポイントは、Ｐｅｒｓｐｅｃｔｉｖｅ－Ｎ－Ｐｏｉｎｔ（ＰｎＰ）（ＰＮＰ問題）を用いて、カメラに対する物体の６自由度（６ＤｏＦ）ポーズを取得するために、ＣＡＤ参照モデル内のキーポイントの同じセットと相関される。（例えば、Ｆｉｓｃｈｌｅｒ， Ｍ． Ａ．； Ｂｏｌｌｅｓ， Ｒ． Ｃ． （１９８１）． “Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ： Ａ Ｐａｒａｄｉｇｍ ｆｏｒ Ｍｏｄｅｌ Ｆｉｔｔｉｎｇ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ａｕｔｏｍａｔｅｄ Ｃａｒｔｏｇｒａｐｈｙ”． Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ． ２４ （６）： ３８１－３９５．）及び／又はｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ （ＲＡＮＳＡＣ）を参照。異なる視点での複数の登録済みカメラの使用によって、単一の視点を有する単一のカメラを使用する場合と比較して、より正確なポーズ復元が可能になるが、本開示の実施形態はこれに限定されず、単一視点のＰｎＰも使用できる。ＣＡＤ参照モデルは、ステレオカメラシステムの異なるカメラモジュールに対応するカメラ空間に変換し（例えば、ＣＡＤ参照モデルのポーズをカメラシステムに関して実際の物理的物体のポーズに変換することによって）、参照モデルを物理的物体と整合させることができる。２つのカメラの場合には、これはＣＡＤ_Ｃｌ及びＣＡＤ_Ｃ２と表記することができる。次いで、面法線がＣＡＤ_Ｃｌ及びＣＡＤ_Ｃ２から抽出される（例えば、ステレオカメラシステムのカメラモジュールに対応する仮想カメラに対する面の向きに基づいて）。これらの基準面法線は、Ｎ_{ＣＡＤＣ１}及びＮ_{ＣＡＤＣ２}と表記することができる。

【0141】

次いで、変換されたＣＡＤ参照モデルを、高周波の方位角πの曖昧さと、屈折歪みによる天頂の低周波スケーリング誤差と、を補正するための案内制約として使用できる。補正された法線は、マルチビューＰｎＰによる２つのカメラ間の整合性を有し、このアプローチをよりロバストにしている。詳細には、動作８５０で、２つのカメラから得た偏光の生フレームＰ_Ｃ１、Ｐ_Ｃ２から計算された（動作８３０で）計算された推定済み法線Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}が補正され、補正済み法線Ｃｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ１}及びＣｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ２}が計算される。補正済み法線間の相対ポーズは、カメラ（Ｎ_{ＣＡＤＣ１}及びＮ_{ＣＡＤＣ２}）間の相対ポーズと整合する必要がある。このことにより、付加的なポーズ整合性の制約が課され、それによって、概ね、特に、天頂角（θ_ｚ）が０°（又は０ラジアン）に近い正対する面の場合、ＳＦＰによる法線補正がよりロバストにされ、その結果、視認方向に沿ったＤＯＬＰρの強度が少ないために、ノイズが多い推定済み法線が得られる傾向がある。ただし、任意の所与の面は、カメラモジュール間の間隔（又はベースライン）を考慮すると、ステレオ偏光カメラシステムの両方のカメラモジュールに対して正対する可能性が低い。したがって、より高いＤＯＬＰを有する領域は、複数のカメラからボーティング及び選択され、カメラモジュールのサブセットに正対する面についてよりロバストな面法線を復元することができる。

【0142】

いくつかの状況では、スペキュラリティによって、面テクスチャ情報が画像の強度の過飽和によって失われるため、面復元の際の問題が発生する。そのため、鏡面パッチ上の推定済み法線が高ノイズとなる。本開示のいくつかの実施形態によれば、偏光カメラシステムは、ベースラインによって離間された複数の視点（例えば、ステレオ偏光カメラシステム）からのシーンの重複する領域を視認する複数のカメラ（例えば、複数の）を含む。スペキュラリティは、概ね、極めて視点に依存する問題である。すなわち、異なるカメラが物体の面の異なる視点を有する、図１Ｄに示す構成のようなセットアップにおいて、全てのカメラによってスペキュラリティが観察される可能性は低い。

【0143】

詳細には、本開示の実施形態のいくつかの態様は、複数の視点から面を撮像することによって、極めて鏡面性が高い材料であっても、ロバストな面法線を自動的に復元することに関する。大半の照明条件下では、面の任意の所与のパッチがステレオマルチビューカメラシステム内の全てのカメラから鏡面状に見える可能性は極めて低い。

【0144】

したがって、本開示のいくつかの実施形態では、ボーティング機構を用いて、特定のカメラで観察された鏡面パッチから得た法線を拒絶し、一方で、ＣＡＤモデルとだけでなく互いに整合する可能性が高い、特定のパッチのためのその他のカメラから得た法線を選択することができる。例えば、例えば、面法線は、ステレオ偏光カメラアレイ内の各偏光カメラモジュールから捕捉された偏光の生フレームに基づいて計算できる。偏光の生フレームに基づいて計算された面法線が互いに不整合である（例えば、しきい値角距離以上離れている）場合、参照モデルの面法線に最も近い計算済み面法線が正しい値であると想定される。

【0145】

本開示のその他の実施形態では、偏光の生フレーム内の飽和ピクセルを識別することによって、鏡面パッチを自動的に検出することができる。ピクセルの飽和を用いて、特定のパッチがスペキュラリティを観察している可能性があり、したがって当該領域内の情報が不正確であることが示唆される。

【0146】

本開示のさらにその他の実施形態では、ステレオカメラシステムは、異なる視点から物体の面を撮像する３つ以上の偏光カメラモジュール（例えば、３つ以上の偏光カメラモジュール）を含む。したがって、様々なカメラによって捕捉された偏光の生フレームに基づいて計算された面法線が、類似度に基づいてクラスタリングされる（面法線を、偏光カメラモジュールの１つなどの同じ基準系に対応するように変換した後で）ボーティング機構を使用することができる。偏光カメラモジュールの大半はスペキュラリティを観察する傾向があるため、計算済み法線の大半はある誤差範囲内で整合する必要がある。したがって、クラスタリング工程は、鏡面アーチファクトによって引き起こされる、計算済み面法線の異常値を識別することができる。

【0147】

ＣＡＤ参照モデルプライアによるボーティングに基づく法線補正のためのアルゴリズムの擬似コード記述を、以下に詳述する。表記は次の通りである。

【0148】

Ｎ＿Ｐ＿Ｃ１－カメラ１における、偏光を使って形状を求める（ＳＦＰ）法線

【0149】

Ｎ＿Ｐ＿Ｃ２－カメラ２におけるＳＦＰ法線

【0150】

Ｎ＿ＣＡＤ＿Ｃ１－カメラ１に対する物体のポーズに整列したＣＡＤ参照モデル内の法線

【0151】

Ｎ＿ＣＡＤ＿Ｃ２－カメラ２に対する物体のポーズに整列したＣＡＤ参照モデル内の法線

【0152】

Ｔｒａｎｓ＿Ｃ２＿Ｃ１－付帯及び固有のカメラ較正によって得られるカメラ１に対するカメラ２のポーズ（例えば、カメラ１及び／又はカメラ２の両方から見える撮像較正標的によって決定される）

【0153】

Ｔｒａｎｓ＿ＣＡＤ＿Ｃ１－ＣＡＤ参照モデルをマルチビューＰｎＰによって得られるカメラ１の画像空間内の物体に整合させるためのトランスフォーム

【0154】

Ｔｒａｎｓ＿ＣＡＤ＿Ｃ２－ＣＡＤ参照モデルをマルチビューＰｎＰによって得られるカメラ２の画像空間内の物体に整合させるためのトランスフォーム

【0155】

（～）－整合演算子

【0156】

整合演算子（～）は、整合性のために比較される法線の間で計算された距離メトリック（例えば、コサイン類似度ベースの角距離メトリック）としてモデル化することができる。角距離がしきい値未満である場合、比較される法線は互いに整合し、そうでなければ整合していない（！～）。比較される法線は、整合演算子を適用する前に上に列挙したトランスフォームを用いて、同じ座標系（この場合はマスタカメラ又はカメラ１の画像空間）に変換される。

【0157】

ＣＡＤ参照モデルに基づくボーティングの擬似コード実装形態：
Ｎ＿Ｐ＿Ｃ１（マスタカメラ画像空間、この場合はカメラ１）内の各ピクセル法線：
＃ケース１：両方のカメラにおけるＳＦＰ法線がＣＡＤと整合している（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＡＤ ｍｏｄｅｌ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＡＤ法線とは不整合である（面上のＨＦＶによるＨＦＶのブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＡＤと整合している（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１＊（Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＡＤとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＡＤ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＡＤ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＡＤ＿Ｃ１

【0158】

本開示のいくつかの実施形態では、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ１}及びＣｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ２}がサンプル空間（Ω）上で積分され、ステレオ偏光カメラシステムによって撮像された物体の３Ｄ復元物を合成する。

【0159】

上記の実施形態は、ＣＡＤ設計モデルなどの高品質の３Ｄモデルに基づく３Ｄ物体の３Ｄ復元に関するものであるが、本開示の実施形態のいくつかの態様は、図１Ｄに示すようなマルチビュー偏光カメラシステムを用いて、概ね平坦な面又は周知の簡単な幾何学形状を有する面の３Ｄ復元に関する。簡単な幾何学形状のケースは、例えば、平坦面、球体、及び周知の幾何学形状のその他の簡単なパラメトリック曲線を用いて近似することができる。例えば、平坦面は、道路の面、壁及び標識などの、自動運転車両のための環境の多くの面に適用することができる。さらに、特定のアプリケーションによって要求される解像度及び／又は正確度に応じて、多くの面は局所的に平坦であるものとして近似できる。

【0160】

図９Ａは、本発明の一実施形態に係る撮像セットアップの例示的な実装形態によって走査される屈折率ｎの平坦な面を示す図である。プロフィロメトリ及び検査における特定の用途のために、この面はその平滑度に関して検査される。理想的には、この面は平滑であることが望ましい。実際、欠陥／摩耗及び破れ目のために、この、それ以外の点では平坦な面９０２上のランダムな位置に疎の凹凸９０１が発生することがある。これらの凹凸は、ノイズ及び低い解像度が原因で標準的な３Ｄ撮像技法を用いて復元されない可能性がある、高周波変動（ＨＦＶ）の細部として出現する。ただし、本発明の実施形態は、平坦度及びマルチビュー制約と組み合わせて偏光を活用することによって、これらのＨＦＶ凹凸を復元することができる。

【0161】

したがって、話を進めると、本開示のいくつかの実施形態は、その他の点では実質的に平滑な面（例えば、実質的に平坦な面）上のランダムな疎の凹凸を検出することに関する。動機付けの例として、本開示の実施形態を用いて、ステレオ偏光カメラシステムを使用して道路のくぼみを検出し、それによって、自動運転車両が、交通状況に基づいて、実際にこれらのくぼみを回避できる。別の動機付けの例として、本開示の実施形態を用いて、窓ガラスの平滑度又は金属シートの面の凹凸を検出するような、概ね簡単な幾何学形状を有する面の面欠陥を検出することができる。

【0162】

本開示のいくつかの実施形態では、マルチビュー偏光カメラシステムは、視差シフトを測定する目的で、ステレオ工程から得た深度を複数の視界の間で整合させるための付加的な検出可能な面テクスチャを提供するために、シーン上にパターン光を投影するように構成された構造化照明プロジェクタ９０３をさらに含んでいてもよい。状況によっては、構造化照明プロジェクタは、赤外光を投射するように構成され、カメラシステムは、その他のスペクトル帯域の光と共に赤外光を検出するように構成されたカメラを含む。次いで、その他のスペクトル帯域で収集されたデータに基づいて、各面について以下の分析を行い、投影されたパターンが材料の面の欠陥として誤って検出されないようにすることができる。

【0163】

図９Ｂは、本開示の一実施形態に係る、偏光を使用する平坦な又は幾何学的に簡単な面の３Ｄ面復元のための方法９００のフローチャートである。

【0164】

本開示のいくつかの実施形態では、上記と同様の方法により、動作９１０で、偏光の生フレーム１８は、例えば、図１Ｄに関連して前述したステレオ偏光カメラシステムを用いて、複数の視点からシーン（例えば、実質的に平坦又は平滑な面を含む）の偏光の生フレーム１８が捕捉される。４つの別々の極角画像（０、４５、９０、１３５）のセットを、取得された各々の生画像から抽出することができる。これらは、Ｐ_Ｃ１及びＰ_Ｃ２と表記できる。このセットアップの例示的な実装形態では、カメラは、標準的なステレオ構成（光軸が互いに平行な）に収容されていてもよく、又は別の構成（例えば、光軸が互いに交差する）に収容されていてもよい。

【0165】

動作９２０で、上記のＰ_Ｃ１及びＰ_Ｃ２を使用する両方のカメラのストークスベクトルの公式から、直線偏光度及び直線偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を計算することができる。これらは、ρ_Ｃ１、φ_Ｃ１、ρ_Ｃ２、及びφ_Ｃ２と表記することができる。

【0166】

動作９３０で、偏光から得た面法線（例えば、天頂角θ_ｚ及び方位角θ_ａ）は、カメラＣ１及びＣ２の両方について、式（２）、（３）、（４）、及び（５）に関して前述したように、ＤＯＬＰρ及びＡＯＬＰφを使用する、偏光を使って形状を求める（ＳＦＰ）理論を使用して、偏光から面法線（例えば、天頂角θ_ｚ及び方位角θ_ａ）を取得することができる（例えば、偏光の生フレームＰ_Ｃ１及びＰ_Ｃ２に基づいて）。物体が誘電体であるか非誘電体であるかに応じて、（ＤＯＬＰの強度からキューを取り出して）、適当なＤＯＬＰ計算モデルを用いて、上記のように、天頂角を推定することができる。いくつかの実施形態では、誘電体の屈折率は、通常、［１．３、１．６］の範囲内にあり、この変動は、ＤＯＬＰρの無視できる変化しか引き起こさないため、材料は屈折率が１．５の誘電体であると前提することができる。材料が非誘電体の場合、天頂角推定値の正確度は屈折歪みの影響を受けるであろう。

【0167】

２つの視点から得たこれらの面法線は、Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}と表記することができる。ただし、これらの面法線は、角度πによる方位角θ_ａの曖昧さを有し、この曖昧さは、制約として粗深度マップを使用することによって（例えば、参照モデルに対してより小さい距離又は誤差を有する面を生じる方位角θ_ａを選択することによって）明確にし、補正することができる。したがって、低周波ノイズ（例えば、角度πによる曖昧さ）は、シーンのステレオ視界から生成された粗深度マップを用いて解決できる。

【0168】

さらに、動作９４０で、ステレオ偏光カメラシステムにおけるカメラ対間の視差シフトに基づき、ステレオ画像からの深度推定アプローチ（より大きな視差シフトはカメラシステムにより近い面を示し、より小さい視差シフトはカメラシステムから離れた面を示す）に基づいて、粗深度マップ（ＣＤＭ）が計算される。上記のように、いくつかの実施形態では、ステレオ偏光カメラシステムは、面が固有のテクスチャ又はその他の視覚的フィーチャを有しない場合に、画像の対応する部分の一致を改善することができる構造化照明システムを含む。動作９４０で、計算済み粗深度マップは、視点Ｃｌ及びＣ２に対応する画像空間に整合され（例えば、相対ポーズ及びカメラ較正からの付帯行列を用いて）、これらの画像空間に対応する粗深度マップは、ＣＤＭ_Ｃ１及びＣＤＭ_Ｃ２と表される。

【0169】

動作９５０で、推定済み法線Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}は、ＣＤＭから得た法線にＮ_{ＣＤＭＣ１}及びＮ_{ＣＤＭＣ２}に基づいて補正され、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ１}及びＣｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ２}が計算される。本開示のいくつかの実施形態では、これらの法線は、上に引用したＫａｄａｍｂｉ他、２０１５に記載されている面の主成分法（Ｐｌａｎｅ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ ｍｅｔｈｏｄ）を用いてＣＤＭから計算される。詳細には、いくつかの実施形態では、ＣＤＭから計算された法線Ｎ_{ＣＤＭＣ１}及びＮ_{ＣＤＭＣ２}は、共同でカメラＰ_Ｃ２とのマルチビュー整合性を考慮に入れて、Ｎ_{ｐｏｌＣ１}における高周波方位角の曖昧さ及び屈折誤差による天頂の歪みを補正する案内として使用される。これらの補正済み法線はまた、上記のように、正対面及びスペキュラリティの場合に、そうでなければノイズが多いＳＦＰ法線よりもよりロバストである。いくつかの実施形態では、面の平坦度プライア（又は面のその他の簡単な幾何学形状）も使用して、天頂の歪みがさらに洗練される。特に、推定済み法線Ｎ_{ｐｏｌＣ１}及びＮ_{ｐｏｌＣ２}は、概ね平坦である必要があり、したがって、復元された面（局所的な面の凹凸を有する領域は別として）から得た法線は、カメラの各々において約９０度であり、互いに平行である必要がある。本開示のいくつかの実施形態では、ボーティングスキームを用いて、法線補正を実行できる。

【0170】

平坦面プライアによるボーティングに基づく法線補正のためのアルゴリズムの擬似コード記述を、以下に詳述する。表記は次の通りである。

【0171】

Ｎ＿Ｐ＿Ｃ１－カメラ１における、偏光を使って形状を求める（ＳＦＰ）法線

【0172】

Ｎ＿Ｐ＿Ｃ２－カメラ２におけるＳＦＰ法線

【0173】

ＣＤＭ－粗深度マップ

【0174】

Ｎ＿ＣＶＤ＿Ｃ１－カメラ１画像空間におけるＣＤＭ内の法線

【0175】

Ｎ＿ＣＶＤ＿Ｃ２－カメラ２画像空間におけるＣＤＭ内の法線

【0176】

Ｔｒａｎｓ＿Ｃ２＿Ｃ１－付帯及び固有のカメラ較正によって得られるカメラ１に対するカメラ２の相対ポーズ

【0177】

Ｔｒａｎｓ＿ＣＤＭ＿Ｃ１－ＣＤＭをカメラ１の画像空間内の物体に整合させるためのトランスフォーム

【0178】

Ｔｒａｎｓ＿ＣＤＭ＿Ｃ２－ＣＤＭをカメラ２の画像空間内の物体に整合させるためのトランスフォーム

【0179】

（～）－整合演算子

【0180】

ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（）－選択されている法線が平坦度制約に従うか否かをチェックする演算子

【0181】

整合演算子（～）は、整合性のために比較される法線の間で計算された距離メトリック（例えば、コサイン類似度ベースの角距離メトリック）としてモデル化することができる。角距離がしきい値未満である場合、比較される法線は互いに整合し、そうでなければ整合していない（！～）。比較される法線は、整合演算子を適用する前に上に列挙したトランスフォームを用いて、同じ座標系（この場合はマスタカメラ又はカメラ１の画像空間）に変換される。

【0182】

平坦度プライアに基づくボーティングの擬似コード実装形態：
Ｎ＿Ｐ＿Ｃ１内の各ピクセル法線について：
＃ケース１：両方のカメラにおけるＳＦＰ法線は、ＣＤＭと整合し、平坦度制約に従う（曖昧さはない）
ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ｏｒ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ｄｅｐｅｎｄｉｎｇ ｏｎ ｗｈｉｃｈ ｏｆ ｔｈｅ ２ ｃａｍｅｒａ ｎｏｒｍａｌｓ ａｒｅ ｍｏｒｅ ａｌｉｇｎｅｄ （ｃｏｎｓｉｓｔｅｎｔ） ｗｉｔｈ ｔｈｅ ＣＤＭ＋Ｆｌａｔｎｅｓｓ Ｃｏｎｓｔｒａｉｎｔ
＃ケース２：２つのカメラにおけるＳＦＰ法線は互いに整合しているが、両者はＣＤＭ法線とは不整合である（面上のＨＦＶによるブレミッシュ／欠陥）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿Ｐ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１
＃ケース３：カメラの一方のみにおけるＳＦＰ法線がＣＤＭ＋平坦度制約と整合している（（他方のカメラにおけるスペキュラリティ／正対問題）
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ１）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿Ｐ＿Ｃ１ ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ２
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ２ ～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ ｏｂｅｙｓ＿ｆｌａｔｎｅｓｓ（Ｎ＿Ｐ＿Ｃ２）＝＝Ｔｒｕｅ ｔｈｅｎ：
ｒｅｔａｉｎ Ｔｒａｎｓ＿Ｃ２＿Ｃ１ （Ｎ＿Ｐ＿Ｃ２） ＃ｓｐｅｃｕｌａｒｉｔｙ ／ ｆｒｏｎｔｏ ｐａｒａｌｌｅｌ ｆａｃｅｔ ｉｓｓｕｅ ｉｎ Ｃａｍｅｒａ１
＃ケース４：両方のカメラにおけるＳＦＰ法線がＣＤＭとだけでなく互いに不整合である
ｅｌｓｅ ｉｆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿ＣＤＭ＿Ｃ１） ＆＆ （Ｎ＿Ｐ＿Ｃ２ ！～ Ｎ＿ＣＤＭ＿Ｃ２） ＆＆ （Ｎ＿Ｐ＿Ｃ１ ！～ Ｎ＿Ｐ＿Ｃ２） ｔｈｅｎ：
ｒｅｔａｉｎ Ｎ＿ＣＤＭ＿Ｃ１

【0183】

いくつかの実施形態では、補正済み面法線Ｃｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ１}及びＣｏｒｒｅｃｔｅｄ＿Ｎ_{ｐｏｌＣ２}が面物体の形状を復元するために使用される。例えば、いくつかの実施形態では、疎行列逆アルゴリズムを適用することができ（Ｋａｄａｍｂｉ他、２０１５に記載されているように）、面の改訂された深度座標を推定することができる。これらの改訂された深度座標は、標準の３Ｄ撮像技法（ステレオ法、飛行時間法など）から得られる初期深度よりも高い解像度を有する。

【0184】

面の欠陥及び凹凸は、ノイズがある、誤りがある、又は、それ以外の点でステレオ偏光カメラシステムの全ての異なるカメラモジュールにわたってポーズ整合性を遵守しないことを検出することに基づいて検出されてもよい。いくつかの状況では、これらの疎の凹凸は、視界の各々について計算されたＤＯＬＰ画像全体で異なる割合で目立つ際に特に明らかである。言い換えれば、面の平坦度又はその他の平滑度の前提に違反する法線マップの部分は、実際には平滑でない面であってもよく、それによって、概ね滑らかであると前提される面の疎の凹凸の検出が可能になる。

【0185】

偏光撮像による、ライダ、レーダ、飛行時間、及び構造化照明を含む能動走査システムの増強

【0186】

本開示の実施形態のいくつかの態様は、偏光カメラシステムによって捕捉された偏光の生フレームから計算された直線偏光度（ＤＯＬＰ）及び直線偏光角（ＡＯＬＰ）などの偏光キューに基づいて能動走査システムを増強することに関する。いくつかの状況では、撮像モダリティ又は複数の撮像モダリティの組み合わせの増強は、センサ融合と呼んでもよい。

【0187】

能動走査システムの増強の１つの動機付けの例として、いくつかの自律運転支援システム（ＡＤＡＳ）は、運転環境に関する情報を捕捉するために走査システムを含み、前方衝突警告（ＦＣＷ）、自動緊急制動（ＡＥＢ）、適応巡航制御（ＡＣＣ）、及び車線逸脱警告（ＬＤＷ）のなどのフィーチャを運転者に提供する。概ね、これらのＡＤＡＳフィーチャは、物体又及び環境にマクロレベルで反応し、車両のセンサシステムは、他の車両及び車線分離標識などの道路上の大きめの物体又はフィーチャを確実に感知することができる。ただし、オートバイなどの小さめの車両やサイクリストを検出する能力はそれほどロバストではない可能性がある。さらに、岩石、釘、路面のくぼみ、及び三角コーンなどの小さい物体及び障害物は、車両のそのようなＡＤＡＳのそのようなセンサシステムによる検出をくぐり抜けることがある。より幅広い潜在的な道路の危険を検出し、これを避けて運転し、また他の人々、動物、又は物体を傷つけないようにする能力の利益を得る、さらに自律的な又は自動運転の車両の場合にも、同様の問題が発生し得る。そのような能力が存在しなければ、今日の自律運転システムは、多くの場合に、注意深い運転者のほうが先を見越して感知し、必要に応じて、是正措置を講じることができる以上、より安全な代替策を提供できると主張することはできない。

【0188】

したがって、本開示のいくつかの態様は、偏光を用いて計測システムを増強し、シーン内の小さい及び／又は光学的に困難な物体の検出を改善することに関する。

【0189】

図１０Ａは、能動走査システムが本開示の一実施形態に係る偏光カメラシステムを用いて増強されるシステムの概略図である。図１０Ａに示す実施形態では、偏光の生フレーム１０１８を捕捉するように構成された偏光カメラシステム１０１０（例えば、前述した、異なる偏光状態に対応する異なる画像を捕捉するように構成された個々の偏光カメラ、偏光カメラアレイ、又はステレオ偏光カメラシステム）は、能動計測システム１０２０を増強する。能動計測システムは、様々な物体１００２及び１００３を含むシーン１００１に向かって、波（例えば、電磁波又は音波）を放射するように構成された能動エミッタ１０２２を含み、能動エミッタ１０２２において、物体１００２及び１００３の面からの波の反射１００４が、能動計測システム１０２０の検出装置１０２４によって検出される。

【0190】

例えば、レーダシステムの場合、能動エミッタ１０２２は、無線周波数又はマイクロ波周波数の電磁波を放射することができ、検出装置１０２４は、反射信号を検出するように構成されたアンテナアレイを含んでいてもよい。ライダ及び／又は飛行時間深度カメラシステムの場合、能動エミッタ１０２２は、シーン１００１内に光を放射する（例えば、シーン１００１上でレーザを走査させるか、又はシーン上で光を点滅させることによって）ように構成されたレーザ装置を含んでいてもよく、反射光が受信されるまでの経過時間に基づいて深度を計算することができる。能動ステレオ深度カメラシステムの場合、能動エミッタ１０２２は、構造化光又はパターン化光をシーン上に放射し、検出装置１０２４は、能動エミッタ１０２２によって放射された波長光（例えば、赤外光）の光を検出するように構成されている。処理システム１０３０は、偏光カメラシステム１０１０及び／又は能動走査システム１０２０を制御してデータを捕捉し、偏光カメラシステム１０１０及び能動計測システム１０２０によって捕捉された生データを受信して、物体を検出するか、又は他の方法でシーンを分析することを含めて、偏光カメラシステム１０１０及び／又は能動計測システム１０２０を制御するように構成されていてもよい。

【0191】

前述したように、多くの場合、光学的に困難な物体は、光の偏光に関する情報を捕捉しない比較又は標準カメラシステムからは実質的に不可視であり得る。一方、シーンの偏光の生フレームを捕捉し、偏光の生フレームから偏光キューを計算することによって、シーン内の光学的に困難な物体のコントラストを向上させることができるが、これは、これらの光学的に困難な物体が、特有の偏光シグネチャ（例えば、透明なガラス玉、地面に置かれた光沢のある金属、及び同種のもの）を示し得ることによる。

【0192】

したがって、本開示の実施形態のいくつかの態様は、偏光フィーチャ空間内の第１のテンサー５０を入力（例えば、訓練済み偏光ＣＮＮ）として受信し、シーン内の光学的に困難な物体を識別し、同じシーン上で動作している他のセンサの出力と組み合わせる、又は融合することができるセグメンテーションマップなどの特性評価出力２０（例えば、シーン内の様々な物体の距離及び速度を示すレーダ及び／又はライダデータ、ＲＧＢ／グレーベースのカメラシステムに基づいて計算された深度マップ、又はＲＧＢ／グレーベースのカメラシステムによって計算されたセグメンテーションマップ）を生成するように構成された予測装置７５０の使用に関する。

【0193】

車両用のＡＤＡＳ及び自動運転の上記例についてさらに述べると、偏光ＣＮＮは、光沢のある金属及びガラスのような光学的に困難な物体、並びに道路上の岩石、水、氷、又は油膜などの一時的でさらに危険で意味論的に一貫しない物体のような、危険であると証明できるその他の物体という乱雑な環境において、ミクロレベルの道路障害物を検出するように訓練される。これらは、危険で予想外の、また注意を要する道路状況を表している。したがって、ライダ及びレーダなどの能動走査システムから得られる大規模な粗データを、偏光キューを使用して計算されたセグメンテーションマップと融合することによって、ＡＤＡＳ及び自動運転システムが、大規模な車両からミクロスケールの釘、平坦な金属パネル、及び同種のものを含むより広範囲の物体を検出することが可能になる。

【0194】

前述したように、ライダ及びレーダシステムは、概ね、シーンに関する情報の疎点群を生成することに限定される。特に、能動走査装置１０２０の能動エミッタ１０２２は、カバレッジの幅（例えば、能動エミッタ１０２２によって掃引される立体角）、解像度、及び待ち時間の間のトレードオフを強制する様々な物理的制約を有する可能性がある。例えば、物理的制約によって、ライダのレーザエミッタがシーンを掃引できる速度が制限される可能性があるが、より迅速な掃引によってシーンの任意の一部に向けてより少ない光線が放射され、それによって、任意の所与の角度で検出装置１０２４によって受信される信号が減少する。より低速で掃引することで、ある領域の連続走査間の時間が増加し（又はデータのフレームレートが低減し）、待ち時間が増加するため、リアルタイムの制御を要する用途において問題を引き起こしかねない。同様に、能動ステレオ深度センサの場合、構造化照明プロジェクタは、パターン化光をシーンに向けて放射し、パターンは、局所パッチがパターン全体でグローバルに一意であるドット及び／又はラインを含んでいてもよい。ただし、システムの角解像度は、ドットパターンの解像度によって制約される。

【0195】

したがって、本開示の実施形態のいくつかの態様は、３Ｄ能動走査システムによって捕捉された疎点群を、偏光カメラシステムによって捕捉された偏光データから計算された面法線と融合させることによってより高品質の３Ｄモデルを生成することに関する。

【0196】

図１０Ｂは、３Ｄ能動走査システムによって捕捉された３Ｄモデルを本開示の一実施形態に係る偏光カメラによって捕捉された面法線と融合させるための方法１０５０を示すフローチャートである。図１０Ｂを参照すると、動作１０５１で、処理システム１０３０は、能動スキャナ１０２０を制御して（例えば、ライダ、レーダ、能動ステレオ法、飛行時間法などにより）、シーン１００１内の点群を捕捉する。動作１０５２で、処理システム１０３０は、偏光カメラシステム１０１０を制御して偏光の生フレーム１０１８を捕捉する。いくつかの実施形態では、動作１０５１及び１０５２は、両方のシステムによって実質的に同じシーンが計測されるように同時に実行される（例えば、道路での運転のような動的な状況では、ＡＤＡＳ又は自動運転システムが搭載された車両の移動、並びに環境内の他の車両及び物体の移動があるために、シーンは時間と共に連続的に変化する可能性がある。動作１０５３で、上述の技法を適用することによって、面法線が偏光の生フレームから計算される（例えば、式（２）、（３）、（４）、及び（５）に従って、ＡＯＬＰφ及びＤＯＬＰρ表現空間内のテンサーを抽出し、面法線を計算することによって）。動作１０５４で、面法線は、サンプル空間上で積分されて３Ｄ面が計算され、動作１０５５で、面法線に基づいて計算された３Ｄ面は、能動スキャナ１０２０によって捕捉された疎点群の制約に応じて補正され、単独で動作する能動スキャナ１０２０によって捕捉される点群よりも高品質なシーンの３Ｄモデルが生成される。

【0197】

本開示の実施形態のいくつかの態様は、シーン内の特定の関心領域のより高解像度の走査を実行するために、能動スキャナ１０２０のビームステアリングを介してシーンのより高品質の３Ｄモデルを生成することに関する。詳細には、本開示のいくつかの実施形態では、予測装置７５０は、所与のシーン内の関心領域を識別するように構成されている。例えば、いくつかの実施形態では、偏光畳み込みニューラルネットワークは、ラベリングされた訓練データに基づいて関心領域を識別するセグメンテーションマスクを計算するように訓練される。ＡＤＡＳ及び自動運転システムのためのセンサの例をさらに挙げると、偏光ＣＮＮは、ワイドビームを放射するように構成された所属の能動エミッタ１０２２と共に単独で動作する比較能動走査システムを用いて検出又は分析することが困難であり得る、シーン内の関心物体（例えば、オートバイ及び自転車などの小型車両、三角コーン、チェーンなどの小型及び中型の物体、及びその他の軽量のバリア、及び同種のもの）を識別するように訓練することができる。

【0198】

図１０Ｃは、本開示の一実施形態に係る、偏光を使用する能動計測システムを増強するための方法を示すフローチャートである。図１０Ｃに示すように、１つの方法１０６０によれば、処理システム１０３０は、偏光カメラシステム１０１０を制御して、動作１０６１で偏光の生フレームを捕捉する。動作１０６２で、処理システム１０３０は、例えば、偏光の生フレームから偏光キュー（又は偏光表現空間内のテンサー）を抽出し、所与のユースケースでの関心物体及び領域を識別するように訓練された偏光畳み込みニューラルネットワークに偏光キューを供給することによって、偏光の生フレーム内の関心領域を識別する。動作１０６３で、処理システム１０３０は、能動走査システムを操作して（例えば、能動エミッタ１０２２によって放射されるビームの方向及び／又は立体角を操作して）、識別された関心領域を走査して関心領域の高解像度の能動走査を生成する。これらの能動走査は、能動計測システム１０２０によってビームステアリングなしで実行されるシーンの低解像度のワイド走査の出力よりも正確な情報を提供でき、また、偏光カメラシステム１０１０が決定する情報とは異なる情報を提供することができる。例えば、偏光カメラシステム１０１０はシーン内の特定の面又は関心領域の方向に関する高精度の角データを提供できるが、関心面の距離又は三次元形状に関する正確な情報を提供できない可能性がある。一方、能動エミッタ１０２２によって放射されたビームを関心面又は関心領域へ向けて合焦させ又はステアリングすることによって、それらの面の高精度の測定を実行することができる（例えば、識別された領域内の複数の地点への飛行時間に基づいて）。ビームステアリングの具体例として、ライダの場合、ライダシステムの標準的な走査サイクルを識別された関心領域の走査のみに集中することで、それらの関心領域へ向けて放射されるエネルギーを増大させ、また、検出装置１０２４によって検出できる信号を増加させることができる。同様に、レーダの場合、ビーム形成技法（例えば、フェーズドアレイを用いる）を使用して、より幅広い又は狭い形状に対して放射するビームの形状を形成又は整形し、信号が放射される方向を操作することができる。能動ステレオ走査システムの場合、構造化光パターンは、特定の関心領域のみをカバーするように合焦し、それによって、関心領域におけるパターンの解像度を増加させ、その結果、関心領域内の面に対するより高解像度のブロックマッチングを実行できる。いくつかの実施形態では、登録／融合された極性データ内の追跡によって、複数のフレームにわたって選択的ビームステアリングが実行される。したがって、操作されたビームは、例えば、特定の関心領域のより高解像度の３Ｄ点群を提供することができる。いくつかの実施形態では、これらのより高解像度の３Ｄ点群は、偏光カメラシステム１０１０によって捕捉された偏光の生フレームから計算された面法線を用いてさらに増強される。

【0199】

能動走査システムを用いて物体のより高品質の３Ｄモデルを捕捉すること（例えば、ビームステアリングによる、及び／又は偏光から計算された面法線を用いた面形状検出の改善による）は、分類装置への入力として供給されるより高解像度のモデルによる物体の検出及び分類の改善内容を提供する。例えば、物体を分類する（例えば、それによって犬と消火栓とを区別する）ように訓練されたニューラルネットワークは、ニューラルネットワークへの入力がより高品質である場合には、より正確な結果が生むことになる。したがって、能動計測システム１０２０と偏光カメラシステム１０１０との間のセンサの融合を実施する本開示の実施形態の態様は、物体検出システムの正確度及び応答性を改善することができる。

【0200】

偏光から得た面法線によるファイルフォーマット

【0201】

偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）アプローチは、前述したように、偏光撮像システムによって捕捉された偏光キューから面法線を復元する。面法線は、車両（例えば、自動車、航空機、船舶）及び車両部品（例えば、タイヤ、エンジンブロック、トランスミッション、塗装面など）、３Ｄ金属又はポリマーベースの印刷、プリント回路基板（ＰＣＢ）、及びミッションクリティカルな医療装置（例えば、換気装置、ポンプ、ステント、及び同種のもの）などの、異なる製造バーティカルにわたって必要な走査面の目視検査の広範な可能性を開く、撮像対象の面に関する貴重なプライアを提供する。

【0202】

画像と共に面法線を記憶することは、様々なユースケースでの走査面の対話型のポストビジュアライゼーションを可能にする。この例としては、走査面上の面の異常の有無の検査と、随意の照明条件での走査面を描画する能力とが含まれる。

【0203】

面プロファイル検査は、面の固有の形状及び曲率特性を分析する上で重要である。面プロファイル検査では、物体の簡単なアイソパラメトリック面のディジタル化の過程では肉眼で一見して異常とは分からない性状が明らかになることが多い。偏光増強撮像は、面法線の正確度の桁違いの改善を提供する能力を有し、その結果、平滑度検出及び形状忠実度が肝要な工業部品の高精度の製造に適用することができる。

【0204】

汚れがない又は平滑な面形状の必要性は、異なる市場バーティカルにおける異なる考慮事項によって動機付けることができる。自動車設計では美的感覚が重要であるが、航空機及び造船業界では、空気力学フローが燃料効率にとって緊要である。面の平滑度は、接線と曲率の隣接するパッチ間の連続性、曲率分布、平坦点、及び凸状態のような多数の異なるフィーチャに関連しており、これらのフィーチャは面微分幾何学的形状によって直接影響を受ける。審美的に滑らかな面は、本質的に各面の面法線表現によって定義される局所的な曲率変動である凸部又は凹部を有することができない。ロボットビンピッキングのようなその他の用途は、ピッキング対象部品の正確な面形状に依存し、曲率境界の超過のような面欠陥及び曲率の大幅な変化の認識は、ロボットピッカーを制御するためのツールパス生成アルゴリズムの失敗を防ぐことができる。

【0205】

温度又は湿度などの環境刺激がある場合の曲率性状、放物線、及び等密度又は測地線及びそれらの変動性状のような微分幾何学的フィーチャの可視化は、ミッションクリティカルな使用条件における製造部品の面特性の分析において緊要である。上記の全てのケースで、偏光拡大撮像によって利用可能になるリアルタイムに面を走査する能力は、リアルタイムの監視及び制御を大幅に改善することができる。いくつかの実施形態では、リアルタイム面法線追跡は、外科医に、術野の面組織（脳組織のような）に誘導される又は内在す応力に関するリアルタイムの情報を提供することによって、外科手術における顕著な改善を提供する。この情報は、患部の面応力の変動に応答する手術経路計画にリアルタイムに応答できるので、外科医にとってしばしば緊要である

【0206】

したがって、本開示の実施形態のいくつかの態様は、偏光カメラシステムによって捕捉された面法線に関する情報を記憶するためのファイルフォーマットに関する。普通に使用するファイルフォーマット（ＪＰＥＧ、ＴＩＦＦ、ＰＮＧなど）内に走査面の面法線を画像情報（例えば、赤、緑、青、及び、場合によっては、アルファカラーチャネル）と共に記憶することに加えて、偏光から得た追加情報は偏光度及び偏光角（ＤＯＬＰρ及びＡＯＬＰφ）を含む。これらの追加の情報チャネルは、面検査における視覚的なキューを提供し、これはしばしば強調されたコントラストを提供する（元の画像が充分な露出の不足又はグレアのために低品質であるとしても）。これらの画像を圧縮形式で記憶することで、視覚的なオーバーレイを生成する際のかなりのラチチュードが得られ、面の異常の視覚的な理解を向上させる。これらの追加のチャネルはまた、現在利用可能な従来の非偏光技術で比較してはるかに高精度に深度マップを洗練する手助けとなる。

【0207】

カラー情報と共に偏光データ（例えば、ＤＯＬ及びＡＯＬＰ）を記憶するための一つの好ましい実施形態は、ＪＰＥＧファイル交換フォーマット（ＪＦＩＦ）の「アプリケーションマーカ」を使用することに関する。メタデータは、１６個のアプリケーションマーカを使用してＪＦＩＦに記憶することができ、それによって、デコーダは交換フォーマットを解析し、画像データの必要なセグメントのみを復号することができる。現在のＪＦＩＦ規格では、アプリケーションマーカは各々６４Ｋバイトに制限しているが、同じマーカＩＤを複数回使用して異なるメモリセグメントを参照することができる。これによって、面法線を圧縮又は非圧縮フォーマットで記憶することができる。さらに、本開示のいくつかの実施形態では、アプリケーションマーカの１つが、偏光画像の偏光度及び偏光角などの特定の追加情報を記憶するために使用される。本開示の一実施形態ではＪＦＩＦ規格を用いてカラー画像データと共に偏光データを記憶することに関して説明するが、本開示の実施形態はこれに限定されない

【0208】

いくつかの実施形態では、面法線は、３つの次元でベクトルとして表され、したがって、元の画像のサイズよりもはるかに多くの空間を占めることがある（例えば、対応するＲＧＢカラー又はグレースケール画像のサイズよりも大きいことがある）。空間を節約するために、圧縮形式の面法線は、指数を３つの次元にわたって共有し、固定小数点形式の指数の各々に８ビットを使用することによって記憶できる。レンダリング時に３つの次元に沿った法線を再計算することを犠牲にして、方位角及び天頂角のみを記憶し、又はＤＯＬＰ及びＡＯＬＰを記憶するだけで、更なる削減を達成することができる。

【0209】

本開示のいくつかの実施形態では、３つのチャネルの情報（例えば、赤、緑、及び青の色情報）を記憶できる既存の画像フォーマットが、３次元面法線情報を記憶するために再利用される。そのような実施形態はもはや色情報を記憶できない可能性がある（例えば、色情報は、別個のファイルに記憶できる）が、上記のアプローチによって、画像圧縮及びプログレッシブ表示などの既存のフィーチャを活用することを可能になり、そのようなフォーマットへのデータの書き込み及びそのようなフォーマットからのデータの解析のための既存のソフトウェアツールの使用が可能になる。本開示のいくつかの実施形態では、画像フォーマットのチャネル及び３次元方向（例えば、ｘ、ｙ、及びｚ方向）のマッピングは、面法線の向きの誤った解釈を回避するために、固定されているか、そうでなければ予め合意されている。

【0210】

偏光撮像によるＤＳＬＲ及びビデオカメラの増強

【0211】

本開示の実施形態のいくつかの態様は、偏光イメージングによって、ディジタル一眼レフ（ＤＳＬＲ）カメラ及びビデオカメラなどのディジタルカメラシステムを増強することに関する。本開示のいくつかの実施形態では、これは、基礎をなす標準カラーカメラシステムに偏光カメラシステムを搭載することに関する（例えば、偏光カメラシステムは、複数の異なる偏光角でデータを捕捉することができる単一の偏光カメラ、各々のカメラアレイが異なる偏光状態の光を捕捉するように構成された偏光カメラアレイ、及び／又は前述したステレオ偏光カメラシステムを含んでいてもよい）。本開示のいくつかの実施形態によれば、偏光カメラシステム及び基礎をなすカメラシステムは、偏光カメラシステムによって捕捉された複数の視界と基礎をなすカメラシステムとの間のマッピングのための付帯カメラパラメータを計算するために、撮像較正標的（例えば、市松模様）によって登録することができる。これによって、増強ＤＳＬＲカメラ及び／又は増強ビデオカメラシステムは面法線抽出を実行でき、ステレオカメラシステムの場合、深度推定を実行できる。

【0212】

カラー画像を偏光画像と合成する様々な用途について前述した。カラーカメラシステムが偏光カメラシステムによって増強される本開示の実施形態では、偏光カメラシステムは、同システムによる偏光の生フレームの捕捉を、基礎をなすシステムによる画像の捕捉と同期させるように構成されている。例えば、ＤＳＬＲ上の同じシャッターレリーズボタンを用いて、ＤＳＬＲによる画像の捕捉と偏光カメラシステムによる画像の捕捉との両方をトリガすることができる。同様に、ビデオカメラシステム上の同じ「記録」ボタンを用いて偏光カメラシステムを制御して、基礎をなすビデオカメラシステムによって捕捉されたフレームに一致するように時間インデックスされた偏光の生フレームを捕捉することもできる。本開示のいくつかの実施形態では、偏光カメラシステムは、基礎をなすカメラシステムのトリガと偏光カメラシステムとの間の同期を提供するために、フラッシュホットシューに嵌合するか又は基礎となるカメラシステムのフラッシュシステムによって制御されるように構成されている。

【0213】

前述したように、様々なファイルフォーマットを用いて、偏光カメラシステムによって捕捉された偏光データ及び／又は面法線を、基礎となるカメラによって、且つ／又は面法線を記憶する標準のカラー画像ファイルフォーマットを再利用することによって捕捉されたカラー又はグレースケール画像データと共に記憶することができる。

【0214】

偏光の生フレーム（及びシーン内の物体の面法線）をカラービデオデータと同時に捕捉することを用いて、追加の焦点制御を提供することによって、例えば、より正確な深度推定を提供することによって（例えば、シーンのどの部分がカメラからの深度に基づいて焦点が合っているかを予測することによって）、シーンをさらに分析することができる。ステレオ偏光の生フレームを捕捉することによって、シーンのカラーテクスチャ情報と共に深度マップを同時に捕捉することも可能になる。

【0215】

本開示のいくつかの実施形態では、カメラシステムによって捕捉された偏光の生フレームから計算された面法線は、シーン内の人々又は物体のモーションキャプチャを支援するために使用される。詳細には、面法線は、シーン内の物体上の動き捕捉マーカの位置及び向きに関する情報を提供することができる一方で、比較技法は、マーカの位置のみしか追跡できない。同様に、マーカなしでモーションキャプチャを行う場合には、面法線もまた、様々な面の向きに関する情報を提供でき、それによってキャプチャの忠実度を向上させることができる。偏光ベースの撮像はまた、前述したように、鏡面反射又はグレアに起因する、シーン内のモーションキャプチャされた物体のマーカ又は面の一時的な不可視性を回避することができる。したがって、偏光カメラシステムをモーションキャプチャ技法に適用することによって、モーションキャプチャされたデータの正確度及び豊かさを向上させることができる

【0216】

偏光による計算写真学

【0217】

偏光光が偏光フィルタに入射すると、偏光入射光と偏光フィルタとの間の相対角度に応じて出射光の強度が変化する。複数の角度の偏光においてシーンを捕捉することによって、捕捉された複数の角度の偏光画像の少なくとも１つにおけるグレア、鏡面反射、多重反射を解消することができる。これらのアプローチを産業用撮像用途で用いて、グレア又は鏡面反射によって制約される、撮像が困難なシーンを可視化することができる。ただし、偏光を計算写真学で使用することで、人間の視覚的消費のための写真撮影を改善することもできる。本開示の実施形態のいくつかの態様は、複数の偏光入力画像を用いた高ダイナミックレンジ画像の合成に関し、それによって、捕捉された画像のシャープネスを改善することもできる。

【0218】

高ダイナミックレンジ（ＨＤＲ）撮像は、概して、シーン固有のダイナミックレンジの全範囲を捕捉するために、異なる露出でシーンの複数の画像を捕捉することを含む。ただし、異なる露出は全画像にわたってシャープネスが異なるエッジを提供し、画像を整合させることが困難となり、画像の整合は良くても不完全になり、ソフトな印象の（例えば、よりぼやけた）画像が得られることになる。いくつかの比較アプローチは、一定の露出のフレームを捕捉するが、これによって整合がよりロバストになり、露出はハイライト部分の白飛びを回避するために充分に低く設定される。結果として得られるマージされたＨＤＲ画像は、クリーンな陰影と高いビット深度とを有する。ただし、これは、シーン内に動き（例えば、カメラ内の動き及び／又はシーン内の物体の動き）が存在しない限りにおいて有効である。一定の露出のフレームを捕捉している間の任意の動きがあれば、ぼけが発生し、エッジ内に望ましくないアーチファクト（例えば、ゴースト）を導入する可能性がある。

【0219】

したがって、本開示の実施形態のいくつかの態様は、同じ露出設定による偏光の生フレームのキャプチャを使用することと、偏光の生フレームを用いてシーンの動きがある場合に高ダイナミックレンジ画像を合成することと、に関する

【0220】

公称ベイヤーフィルタを有する基準カメラと共に、異なる偏光フィルタを有するマルチカメラシステムを有することにより、全てのカメラで同じ露出設定を用いて同時に（例えば、一斉に）複数の画像を捕捉することができる。これは、時間フレーム（例えば、異なる時間に捕捉されたフレーム）にわたる動きによって生成される異常の影響を受けることなく、これらの複数の画像の融合を可能にする。さらに、異なる偏光フィルタによって、あたかも異なる「ニュートラルデンシティ」フィルタで捕捉されたかのように、異なる強度で同じシーンを捕捉することが可能になる。偏光フィルタは、カメラシステムに入射する（例えば、画像センサに入射する）光の強度を減少させる自然な効果を有するため、これらの画像セットが捕捉される際の露出は、前述した比較アプローチで必要とされる露出と同程度に低くする必要はないが、これは、カメラシステムへの入射光を減衰させ、それによって慎重に較正されたより低い露出を必要とするものが何もない場合と同じである。

【0221】

さらに、偏光の生フレームをマージすることにより、鏡面反射によるシーンのグレア又は別様に飽和した部分の細部を復元することができる。例えば、シーンの複数のより低い露出画像が捕捉される比較アプローチの下では、シーンの部分が鏡面ハイライトに起因して飽和点まで過剰に露光される可能性が依然としてある。一方、異なる偏光状態を使用してシーンの偏光の生フレームを捕捉することによって、カメラアレイ及び／又はステレオ偏光カメラシステムの場合には、異なる視点から、シーンの所与の面パッチが、すべての視点から鏡面グレアを示す可能性は低い。したがって、偏光の生フレームを使用しなかった標準的なカメラシステムの場合に失われたであろう領域から細部を復元することができる。

【0222】

図１１は、偏光の生フレームから高ダイナミックレンジ（ＨＤＲ）画像を合成するための方法を示すフローチャートである。動作１１０１で、処理システム（例えば、カメラシステムのコントローラ）は、偏光カメラシステムを制御して偏光の生フレームを捕捉し、動作１１０２で、偏光の生フレームに基づいて高ダイナミックレンジ（ＨＤＲ）画像を合成する。上記のように、本開示のいくつかの実施形態では、偏光の生フレームは、複数の低露出フレーム（例えば、小さい絞り及び／又は短い露出時間で捕捉された）を組み合わせるための技法に基づいて組み合わされる。本開示のいくつかの実施形態では、複数の偏光の生フレームにおいて飽和し、他の偏光の生フレームにおいて適切に露光される可能性がより高い画像の不使用又は部分によって露光過剰となる画像の領域において、グレア及び／又はスペキュラリティの影響を除去し、細部を復元することができる。

【0223】

以上、特定の好ましい実施形態に関連して本発明を説明してきたが、本発明は、開示された実施形態に限定されず、逆に、添付の特許請求の範囲の主旨及び範囲内に含まれる様々な変更及び同等の構成、並びにそれらの同等物をカバーすることを意図していることを理解されたい。

【図1A】

【図1B】

【図1C】

【図1D】

【図1E】

【図2A】

【図2B】

【図2C】

【図2D】

【図3】

【図4】

【図5A】

【図5B】

【図5C】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図11】

【手続補正書】

【提出日】2022-06-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

基礎をなすセンサシステムと、
複数の異なる偏光状態に対応する偏光の生フレームを捕捉するように構成された偏光カメラシステムと、
プロセッサとメモリとを備え、前記基礎をなすセンサシステム及び前記偏光カメラシステムを制御するように構成された処理システムと、を備える、マルチモーダルセンサシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記基礎をなすセンサシステムを制御してシーン上で計測を実行し、前記偏光カメラシステムを制御して前記シーンの複数の偏光の生フレームを捕捉し、
前記複数の偏光の生フレームに基づいて偏光表現空間内の第１のテンサーを抽出し、
前記基礎をなすセンサシステムの出力と偏光表現空間内の前記第１のテンサーとに基づいて特性評価出力を計算するように仕向ける命令を記憶する、マルチモーダルセンサシステム。

【請求項2】

前記偏光カメラシステムが、
第１の偏光配向の第１の偏光フィルタを備え、第１の光軸を有する第１の偏光カメラと、
第２の偏光配向の第２の偏光フィルタを備え、前記第１の光軸と実質的に平行な第２の光軸を有する第２の偏光カメラと、
第３の偏光配向の第３の偏光フィルタを備え、前記第１の光軸と実質的に平行な第３の光軸を有する第３の偏光カメラと、を備える偏光カメラモジュールを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項3】

前記偏光カメラモジュールが、第４の偏光配向の第４の偏光フィルタを備え、第１の光軸と実質的に平行な第４の光軸を有する第４の偏光カメラをさらに備える、請求項２に記載のマルチモーダルセンサシステム。

【請求項4】

前記第１のテンサーが、直線偏光度（ＤＯＬＰ）と、直線偏光角（ＡＯＬＰ）とを備え、
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記第１の偏光カメラ、前記第２の偏光カメラ、及び前記第３の偏光カメラによって捕捉された偏光の生フレームに基づいて、前記ＤＯＬＰ及び前記ＡＯＬＰを計算するように仕向ける命令をさらに記憶し、前記命令が、
ステークスベクトルに基づいてＤＯＬＰ推定値及びＡＯＬＰ推定値を初期化し、
前記偏光の生フレーム内の視差に基づいてシーンの幾何学形状を推定して粗モデルを生成し、さらに、
前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値の変化が両方共に対応するしきい値を下回るまで、
繰り返し、前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値に基づいて前記粗モデルを洗練して幾何学形状の推定値を生成し、
前記幾何学形状の推定値に基づいて前記ＤＯＬＰ推定値及び前記ＡＯＬＰ推定値を更新する命令を備える、請求項２に記載のマルチモーダルセンサシステム。

【請求項5】

前記偏光カメラシステムが、
第１の複数の異なる偏光状態に対応する第１の複数の偏光の生フレームを捕捉するように構成された、第１の光軸を有する第１の偏光カメラモジュールと、
第２の複数の異なる偏光状態に対応する第２の複数の偏光の生フレームを捕捉するように構成された、第２の光軸を有し、ベースラインに沿って前記第１の偏光カメラモジュールから離間した第２の偏光カメラモジュールと、を備えるステレオ偏光カメラシステムを備え、前記第１の光軸が前記第２の光軸に実質的に平行である、請求項１に記載のマルチモーダルセンサシステム。

【請求項6】

前記第１の偏光カメラモジュールが、３つ以上の異なる第１のカラースペクトルの光を透過するように構成された第１の複数のカラーフィルタを備え、
前記第２の偏光カメラモジュールが、３つ以上の異なる第２のカラースペクトルの光を透過するように構成された第２の複数のカラーフィルタを備え、
前記３つ以上の第２のカラースペクトルが、前記３つ以上の第１のカラースペクトルとは異なる、請求項５に記載のマルチモーダルセンサシステム。

【請求項7】

前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記ステレオ偏光カメラシステムを制御して、前記第１のカラースペクトル及び前記第２のカラースペクトル内のマルチスペクトルステレオ偏光撮像データを捕捉し、
前記マルチスペクトルステレオ偏光撮像データから偏光表現空間内の第１のテンサーを抽出するように仕向ける命令をさらに記憶する、請求項６に記載のマルチモーダルセンサシステム。

【請求項8】

前記基礎をなすセンサシステムが、能動エミッタ及び検出装置を備える能動走査システムを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項9】

前記能動走査システムがレーダシステムを備える、請求項８のマルチモーダルセンサシステム。

【請求項10】

前記能動走査システムがライダシステムを備える、請求項８に記載のマルチモーダルセンサシステム。

【請求項11】

前記能動走査システムが能動ステレオ深度カメラシステムを備える、請求項８に記載のマルチモーダルセンサシステム。

【請求項12】

前記マルチモーダルセンサシステムが車両に搭載された、請求項８に記載のマルチモーダルセンサシステム。

【請求項13】

前記メモリが、前記処理システムの前記プロセッサによって実行されると、前記プロセッサに対して、
前記基礎をなすセンサシステムの前記出力に基づいて疎点群を計算し、
前記偏光の生フレームから面法線を計算し、
前記面法線に基づいて３Ｄ面を計算し、
前記疎点群に基づいて前記３Ｄ面を補正して前記シーンの３Ｄモデルを計算するように仕向ける命令をさらに記憶する、請求項８に記載のマルチモーダルセンサシステム。

【請求項14】

前記メモリが、前記処理システムの前記プロセッサによって実行されると、前記プロセッサに対して、
前記偏光表現空間内の前記第１のテンサーに基づいて、前記シーン内の１つ又は複数の関心領域を識別するセグメンテーションマップを計算し、
前記能動エミッタを操作して前記１つ又は複数の関心領域に向けてビームを放射し、
前記能動エミッタによって放射されたビームの反射を前記能動走査システムの検出装置を用いて検出するように仕向ける命令をさらに記憶する、請求項８に記載のマルチモーダルセンサシステム。

【請求項15】

前記メモリが、前記プロセッサに対して、前記第１のテンサーに基づいてセグメンテーションマップを計算するように訓練された畳み込みニューラルネットワークを実施するように仕向ける命令をさらに記憶する、請求項１に記載のマルチモーダルセンサシステム。

【請求項16】

前記基礎をなすセンサシステムが、カラーカメラシステムを備える、請求項１に記載のマルチモーダルセンサシステム。

【請求項17】

前記カラーカメラシステムは、ディジタル一眼レフカメラ又はビデオカメラである、請求項１６に記載のマルチモーダルセンサシステム。

【請求項18】

前記基礎をなすセンサシステムの前記カラーカメラの前記出力が、カラー画像を含み、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記第１のテンサーに基づいて前記シーンの複数の面法線を計算し、
前記シーンの前記計算済み面法線を前記カラーカメラによって捕捉された前記カラー画像と同じファイル内に記憶するように仕向ける命令をさらに記憶する、請求項１６に記載のマルチモーダルセンサシステム。

【請求項19】

複数の異なる偏光状態に対応する、シーンの偏光の生フレームを捕捉するように構成された偏光カメラと、
前記偏光カメラを制御するように構成された、プロセッサ及びメモリを有する処理システムと、を備える偏光カメラシステムであって、前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記偏光カメラを制御して複数の偏光の生フレームを捕捉し、
前記偏光の生フレームに基づいて高ダイナミックレンジ（ＨＤＲ）画像を合成するように仕向ける命令を記憶し、
前記偏光の生フレームの各々が、同じ露出設定のセットに基づいて捕捉され、
前記偏光の生フレームの少なくとも１つが、前記シーン内の面からの鏡面反射が原因で前記偏光の生フレームの一部分に飽和ピクセルを含み、
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、別の偏光の生フレームの対応する部分から得たデータに基づいて、前記偏光の生フレームの部分に対応するＨＤＲ画像の部分に飽和ピクセルがないＨＤＲ画像を合成するように仕向ける命令をさらに記憶する、偏光カメラシステム。

【国際調査報告】