▶ ボストン ポーラリメトリックス，インコーポレイティドの特許一覧
特表2022-541674偏光キューを用いた面モデリングのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-09-26
(54)【発明の名称】偏光キューを用いた面モデリングのためのシステム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20220915BHJP
G01N 21/88 20060101ALI20220915BHJP
【ＦＩ】
G06T7/00 C
G01N21/88 H
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022517442
(86)(22)【出願日】2020-09-17
(85)【翻訳文提出日】2022-05-09
(86)【国際出願番号】 US2020051243
(87)【国際公開番号】W WO2021055585
(87)【国際公開日】2021-03-25
(31)【優先権主張番号】63/001,445
(32)【優先日】2020-03-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/901,731
(32)【優先日】2019-09-17
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522106248
【氏名又は名称】ボストン ポーラリメトリックス，インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100153729
【弁理士】
【氏名又は名称】森本 有一
(74)【代理人】
【識別番号】100196601
【弁理士】
【氏名又は名称】酒井 祐市
(72)【発明者】
【氏名】アチュタ カダンビ
(72)【発明者】
【氏名】アガストヤ カルラ
(72)【発明者】
【氏名】スプリース クリシュナ ラオ
(72)【発明者】
【氏名】カルティク ベンカタラマン
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA89
2G051AB07
2G051CA20
2G051CC07
5L096AA02
5L096AA09
5L096CA18
5L096FA02
5L096FA66
5L096FA69
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
面モデリングのためのコンピュータ実施方法は、偏光フィルタを用いて異なる直線偏光角で捕捉される、物理的物体の面の１つ又は複数の偏光の生フレームを受信することと、偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーを抽出することと、当該１つ又は複数の偏光表現空間内の当該１つ又は複数の第１のテンサーに基づいて当該物理的物体の面の面特性を検出することと、を含む。
【選択図】 図１Ｂ
【選択図】 図１Ｂ
【特許請求の範囲】
【請求項1】
偏光フィルタを備える偏光カメラによって異なる偏光において捕捉される、物理的物体の面の１つ又は複数の偏光の生フレームを受信することと、前記偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーを抽出することと、
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記物理的物体の面の面特性を検出することと、を含む、面モデリングのためのコンピュータ実施方法。
【請求項2】
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像とを備える、請求項１に記載のコンピュータ実施方法。
【請求項3】
前記１つ又は複数の第１のテンサーが、１つ又は複数の非偏光表現空間内の１つ又は複数の非偏光テンサーをさらに備え、前記１つ又は複数の非偏光テンサーが、強度表現空間内の１つ又は複数の強度画像を備える、請求項１に記載のコンピュータ実施方法。
【請求項4】
前記１つ又は複数の強度画像が、第１の色強度画像と、
第２の色強度画像と、
第３の色強度画像と、を備える、請求項３に記載のコンピュータ実施方法。
【請求項5】
前記面特性が前記物理的物体の前記面における欠陥の検出を含む、請求項１、２、３、又は４のいずれかに記載のコンピュータ実施方法。
【請求項6】
前記面特性を検出することが、前記物理的物体の前記面の位置に対応する記憶されたモデルをロードすることと、
前記記憶されたモデルと、前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーとに従って前記面特性を計算することと、を含む、請求項５に記載のコンピュータ実施方法。
【請求項7】
前記記憶されたモデルが、前記１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーを備え、前記面特性を前記計算することが、前記１つ又は複数の偏光表現空間内の前記１つ又は複数の基準テンサーと前記１つ又は複数の第１のテンサーとの差を計算することを含む、請求項６に記載のコンピュータ実施方法。
【請求項8】
前記差が、フレネル距離を用いて計算される、請求項７に記載のコンピュータ実施方法。
【請求項9】
前記記憶されたモデルが、基準３次元メッシュを備え、前記面特性を前記計算することが、
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記物理的物体の前記面の３次元点群を計算することと、
前記３次元点群と前記基準３次元メッシュとの差を計算することと、を含む、請求項６に記載のコンピュータ実施方法。
【請求項10】
前記記憶されたモデルが、前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記面特性の予測を計算するように構成された訓練済み統計モデルを備える、請求項６に記載のコンピュータ実施方法。
【請求項11】
前記訓練済み統計モデルが、異常検出モデルを備える、請求項１０に記載のコンピュータ実施方法。
【請求項12】
前記訓練済み統計モデルが、前記物理的物体の前記面の欠陥を検出するように訓練された畳み込みニューラルネットワークを備える、請求項１０に記載のコンピュータ実施方法。
【請求項13】
前記訓練済み統計モデルが、欠陥を検出するように訓練された訓練済み分類装置を備える、請求項１０に記載のコンピュータ実施方法。
【請求項14】
異なる偏光において偏光の生フレームを捕捉するように構成された、偏光フィルタを備える偏光カメラと、プロセッサと、前記プロセッサによって実行されると、前記プロセッサに対して、
物理的物体の面の、異なる光の偏光に対応する１つ又は複数の偏光の生フレームを受信し、
前記偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーを抽出し、
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記物理的物体の前記面の面特性を検出するように仕向ける命令を記憶するメモリと、を備える処理システムと、を備える、面モデリングのためのシステム。
【請求項15】
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーが、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、
直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像とを備える、請求項１４に記載のシステム。
【請求項16】
前記１つ又は複数の第１のテンサーが、１つ又は複数の非偏光表現空間内の１つ又は複数の非偏光テンサーをさらに備え、前記１つ又は複数の非偏光テンサーが、強度表現空間内の１つ又は複数の強度画像を備える、請求項１４に記載のシステム。
【請求項17】
前記１つ又は複数の強度画像が、第１の色強度画像と、
第２の色強度画像と、
第３の色強度画像と、を備える、請求項１６に記載のシステム。
【請求項18】
前記面特性が前記物理的物体の前記面における欠陥の検出を含む、請求項１４、１５、１６、又は１７のいずれかに記載のシステム。
【請求項19】
前記メモリが、前記プロセッサによって実行されると、前記プロセッサに対して、
前記物理的物体の前記面の位置に対応する記憶されたモデルをロードすることと、
前記記憶されたモデル及び前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに従って前記面特性を計算することと、によって前記面特性を検出するように仕向ける命令をさらに記憶する、請求項１８に記載のシステム。
【請求項20】
前記記憶されたモデルが、前記１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーを備え、前記メモリが、
に記載 前記プロセッサによって実行されると、前記プロセッサに対して、前記１つ又は複数の偏光表現空間内の前記１つ又は複数の基準テンサーと前記１つ又は複数の第１のテンサーとの差を計算することによって前記面特性を計算するように仕向ける命令をさらに記憶する、請求項１９のシステム。
【請求項21】
前記差が、フレネル距離を用いて計算される、請求項２０に記載のシステム。
【請求項22】
前記記憶されたモデルが、基準３次元メッシュを備え、前記メモリが、
前記プロセッサによって実行されると、前記プロセッサに対して、
前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記物理的物体の前記面の３次元点群を計算することと、
前記３次元点群と前記基準３次元メッシュとの差を計算することと、によって、前記面特性を計算するように仕向ける命令をさらに記憶する、請求項１９に記載のシステム。
【請求項23】
前記記憶されたモデルが、前記１つ又は複数の偏光表現空間内の前記１つ又は複数の第１のテンサーに基づいて前記面特性の予測を計算するように構成された訓練済み統計モデルを備える、請求項１９に記載のシステム。
【請求項24】
前記訓練済み統計モデルが、異常検出モデルを備える、請求項２３に記載システム。
【請求項25】
前記訓練済み統計モデルが、前記物理的物体の前記面の欠陥を検出するように訓練された畳み込みニューラルネットワークを備える、請求項２３に記載のシステム。
【請求項26】
前記訓練済み統計モデルが、欠陥を検出するように訓練された訓練済み分類装置を備える、請求項２３に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、２０１９年９月１７日に米国特許商標庁に出願された米国特許仮出願第６２／９０１，７３１号及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に対する優先権及びその利益を主張し、当該仮出願は、その開示内容全体を参照により本明細書に援用される。
本出願は、２０１９年９月１７日に米国特許商標庁に出願された米国特許仮出願第６２／９０１，７３１号及び２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号に対する優先権及びその利益を主張し、当該仮出願は、その開示内容全体を参照により本明細書に援用される。
【0002】
本開示の各実施形態の態様は、コンピュータビジョンの分野及びマシンビジョンを用いた物体の面モデリングに関する。
【背景技術】
【0003】
大規模な面モデリングは、様々な理由から、製造の際に望ましいことが多い。１つの利用領域は、自動車及び自動車部品の製造であって、コンピュータビジョン又はマシンビジョンを用いた面モデリングは、走査された面の自動検査の方法を提供し、この方法によって効率を改善し、製造コスト低減を実現することができる。
【0004】
大規模な面モデリングは、大規模製造対象外の個々の工作物の実習指導及び検査などのその他の状況にも適用可能である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本開示の各実施形態の態様は、光偏光（例えば、光波の回転）を用いて、物体の全ての面を特性評価する工程に追加的な情報チャネルを提供する光偏光を使用することによる面モデリングに関する。本開示の各実施形態の態様は、面特性評価が、製造ライン上で製造される不良品を検出し、それらの不良品を除去又は修理するといった、品質保証工程の一構成要素としての物体検査を実行するために使用される、製造などのシナリオに適用することができる。
【課題を解決するための手段】
【0006】
本開示の一実施形態によれば、面モデリングのためのコンピュータ実施方法は、偏光フィルタを含む偏光カメラによって異なる偏光において捕捉される、物理的物体の面の１つ又は複数の偏光の生フレームを受信することと、偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーを抽出することと、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて物理的物体の面の面特性を検出することと、を含む。
【0007】
１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像と、を含んでいてもよい。
【0008】
１つ又は複数の第１のテンサーは、１つ又は複数の非偏光表現空間内の１つ又は複数の非偏光テンサーをさらに含んでいてもよく、１つ又は複数の非偏光テンサーは、強度表現空間内の１つ又は複数の強度画像を含んでいてもよい。
【0009】
１つ又は複数の強度画像は、第１の色強度画像と、第２の色強度画像と、第３の色強度画像と、を含んでいてもよい。
【0010】
面特性は、物理的物体の面における欠陥の検出を含んでいてもよい。
【0011】
面特性を検出することは、物理的物体の面の位置に対応する記憶されたモデルをロードすることと、記憶されたモデルと、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーとに従って面特性を計算することと、を含んでいてもよい。
【0012】
記憶されたモデルは、１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーを含んでいてもよく、面特性を計算することは、１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーと１つ又は複数の第１のテンサーとの差を計算することを含んでいてもよい。
【0013】
この差は、フレネル距離を用いて計算することができる。
【0014】
記憶されたモデルは、基準３次元メッシュを含んでいてもよく、面特性を計算することは、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて物理的物体の面の３次元点群を計算することと、３次元点群と基準３次元メッシュとの差を計算することとを含んでいてもよい。
【0015】
記憶されたモデルは、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて面特性の予測を計算するように構成された訓練済み統計モデルを含んでいてもよい。
【0016】
訓練済み統計モデルは、異常検出モデルを含んでいてもよい。
【0017】
訓練済み統計モデルは、物理的物体の面の欠陥を検出するように訓練された畳み込みニューラルネットワークを含んでいてもよい。
【0018】
訓練済み統計モデルは、欠陥を検出するように訓練された訓練済み分類装置を含んでいてもよい。
【0019】
本開示の一実施形態によれば、面モデリングのためのシステムは、異なる偏光において偏光の生フレームを捕捉するように構成された、偏光フィルタを含む偏光カメラと、プロセッサと、プロセッサによって実行されると、プロセッサに対して、物理的物体の面の、異なる光の偏光に対応する１つ又は複数の偏光の生フレームを受信し、偏光の生フレームから１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーを抽出し、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて物理的物体の面の面特性を検出するように仕向ける命令を記憶するメモリを含む処理システムと、を含む。
【0020】
１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーは、直線偏光度（ＤＯＬＰ）表現空間内のＤＯＬＰ画像と、直線偏光角（ＡＯＬＰ）表現空間内のＡＯＬＰ画像とを含んでいてもよい。
【0021】
１つ又は複数の第１のテンサーは、１つ又は複数の非偏光表現空間内の１つ又は複数の非偏光テンサーをさらに含んでいてもよく、１つ又は複数の非偏光テンサーは、強度表現空間内の１つ又は複数の強度画像を含んでいてもよい。
【0022】
１つ又は複数の強度画像は、第１の色強度画像と、第２の色強度画像と、第３の色強度画像とを含んでいてもよい。
【0023】
面特性は、物理的物体の面の欠陥の検出を含んでいてもよい。
【0024】
メモリは、プロセッサによって実行されると、プロセッサに対して、物理的物体の面の位置に対応する記憶されたモデルをロードすることと、記憶されたモデルと、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーとに基づいて面特性を計算することとによって面特性を検出するように仕向ける命令をさらに記憶していてもよい。
【0025】
記憶されたモデルは、１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーを含んでいてもよく、メモリは、プロセッサによって実行されると、プロセッサに対して、１つ又は複数の偏光表現空間内の１つ又は複数の基準テンサーと１つ又は複数の第１のテンサーとの差を計算することによって面特性を計算するように仕向ける命令をさらに記憶していてもよい。
【0026】
この差は、フレネル距離を用いて計算することができる。
【0027】
記憶されたモデルは、基準３次元メッシュを含んでいてもよく、メモリは、プロセッサによって実行されると、プロセッサに対して、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて物理的物体の面の３次元点群を計算することと、３次元点群と基準の３次元メッシュとの差を計算することとによって面特性を計算するように仕向ける命令をさらに記憶していてもよい。
【0028】
記憶されたモデルは、１つ又は複数の偏光表現空間内の１つ又は複数の第１のテンサーに基づいて面特性の予測を計算するように構成された訓練済み統計モデルを含んでいてもよい。
【0029】
訓練済み統計モデルは、異常検出モデルを含んでいてもよい。
【0030】
訓練済み統計モデルは、物理的物体の面の欠陥を検出するように訓練された畳み込みニューラルネットワークを含んでいてもよい。
【0031】
訓練済み統計モデルは、欠陥を検出するように訓練された訓練済み分類装置を含んでいてもよい。
【0032】
添付図面は、本明細書と併せて、本発明の好ましい実施形態を示し、本明細書と併せて、本発明の原理を説明するのに役立つ。
【図面の簡単な説明】
【0033】
【図2A】図２Ａは、２つの透明なボール（「スプーフ」）及び何らかの背景クラッタを含む別のシーンを描写する写真のプリントアウトの上に配置された１つの実在の透明ボールを有するシーンの画像又は強度画像である。
【図2B】図２Ｂは、透明なボールのインスタンスを識別するマスク領域ベースの畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）によって計算されたオーバーレイセグメンテーションマスクを有する、実在の透明ボールがインスタンスとして正確に識別され、２つのスプーフがインスタンスとして不正確に識別される、図２Ａの強度画像を示す図である。
【発明を実施するための形態】
【0034】
以下の詳細な説明では、本発明のいくつかの好ましい実施形態のみが図示され、説明される。本発明は多くの異なる形態で具体化が可能であり、本明細書に記載の実施形態に限定されるものと解釈されるべきではないことを当業者は理解するであろう。同様の参照番号は、本明細書全体にわたって同様の要素を示す。
【0035】
本明細書で使用される、「面モデリング」という用語は、面の３次元形状のような現実世界の物体の面に関する情報を捕捉することを指し、面の反射率（例えば、双方向反射率分布関すなわちＢＲＤＦ）に関するその他の情報を捕捉することも含み得る。
【0036】
面プロファイル検査は、面の固有の形状及び曲率特性又は特性を解析する際に重要である。現実世界の物体の面モデリングは、面特性評価が所望される多くの領域に用途がある。例えば、製造では、面モデリングを用いて、製造工程によって生産された物体の検査を実施でき、それによって、物体（又は製造された物品又は工作物）の欠陥を検出し、製造の流れから欠陥物体を除去することができる。１つの使用領域は、不良自動車部品の自動検出のような自動車及び自動車部品の製造であって、その場面では、コンピュータビジョン又はマシンビジョンシステムが、自動車部品の画像を捕捉し（例えば、１つ又は複数のカメラを使用して）、ウィンドウに傷が付いているか、ドアパネルが凹んでいるかといった、部品の品質に関する分類結果及び／又はその他の検出情報を生成する。コンピュータビジョンを用いた面モデリング技法を適用して、走査された面の自動検査を実行することで、製造又は組立工程で早期にエラーを検出することなどによって、効率が改善され、製造コストが低減される。
【0037】
コンピュータビジョン技法及びマシンビジョン技法は、例えば、物理的な接触によって物体を探査する接触３次元（３Ｄ）スキャナとは対照的に、迅速且つ非接触の面モデリングを可能にする。ただし、比較コンピュータビジョン技術は、受動的に（例えば、追加の照明なしに）実行されるか、能動的に（例えば、構造光を放射する追加の照明装置を用いて）実行されるかを問わず、「光学的に困難」と名付け得る一定クラスの面特性を確実に識別できない可能性がある。上記面特性は、欠陥の色が欠陥が存在する面の背景色と非常に類似している状況であってもよい。例えば、面の標準的なカラー画像では、ガラス窓の傷や、光沢塗料のクリアコート層及び塗装された、若しくは塗装されていない金属面の浅い凹みの傷などの欠陥を確認することが困難であることが多いが、それは、これらの欠陥による色（又はテクスチャ）のばらつきが比較的小さいためである。言い換えれば、例えば、塗装されたドアパネルの凹みが凹みのない部分と同じ色である場合のように、欠陥の色と欠陥がない（又は「クリーンな」）面の色とのコントラストは比較的小さくてもよい。
【0038】
したがって、本開示の実施形態のいくつかの態様は、１つ又は複数の偏光カメラ（例えば、光路内に偏光フィルタを含むカメラ）を用いて、被検査物体を捕捉した生の偏光フレームに基づいて計算される、物体の偏光フィーチャに基づく物体の欠陥の検出に関する。いくつかの実施形態では、偏光増強イメージングによって、面法線の検出された方向の正確度を含めて、面形状の特性評価に桁違いの改善をもたらすことができる。審美的に平滑な面は、本質的に当該面の面法線表現によって定義される局所的な曲率の変動である隆起又は凹みを有することがあり得ない。したがって、本開示のいくつかの実施形態は、工業部品の高精度の製造における平滑さの検出及び形状忠実度に適用することができる。一つのユースケースは、最終顧客への納品のために組立ラインから離れる前の、製造された部品の検査を含む。多くの製造システムでは、コンベアシステム上（例えばコンベアベルト上）の組立ラインから高い割合で製造された部品が脱落し、スループットの効率のために、部品がまだ移動している間に、部品間の時間をほとんど掛けずに製造された部品の検査を行う必要がある。
【0039】
したがって、本開示の実施形態のいくつかの態様は、特性評価される面の偏光の生フレームの捕捉による場合を含み、また上記の偏光の生フレームに基づいて面の欠陥を検出するなどの特性評価を計算することを含む、面特性評価のためのシステム及び方法に関する。
【0040】
図１Ａは、本開示の一実施形態に係る面特性評価システムによる被検査物体（例えば、自動車）の面の概略図である。図１Ａに示す配置では、被検査物体１は、シーン又は環境内にあってもよい。例えば、工場又はその他の製造プラントの場面では、被検査物体１は組立ライン上に位置していてもよく、コンベアベルト又はオーバーヘッドコンベア（例えば、オーバーヘッドチェーンコンベア）などのコンベアシステム４０上で移動してもよい。被検査物体１は、１つ又は複数の偏光カメラ１０によって撮像される１つ又は複数の面（図１Ａでは面２、面３、及び面４を有していてもよい。偏光カメラ１０は、マウントに搭載することができ、このマウントは、例えばロボットアーム３２のエンドエフェクタ上の可動マウントであってもよいし、例えばコンベアシステム上方のガントリ３４上に固定される固定マウント、又はコンベアシステムの一部のような固定マウントであってもよい。偏光カメラ１０は、被検査物体１の様々な面２、３、４の偏光の生フレーム（画像）１８を捕捉し、各偏光カメラ１０は、偏光カメラ１０の光路内に偏光フィルタを含む。
【0041】
図１Ｂは、本発明の一実施形態に係る面特性評価解析システムの概略ブロック図である。特に、図１Ｂは、被検査物体１の面２を撮像するように構成された偏光カメラ１０の１つを示す。図１Ｂに示す実施形態では、偏光カメラ１０は、視野を備えたレンズ１２を有し、レンズ１２及びカメラ１０は、視野が被検査面（例えば、被検査物体１の被検査面２を包含するように配向されている。レンズ１２は、シーンから（例えば、被検査面から）、画像センサ１４などの感光媒体（例えば、相補型金属酸化物半導体（ＣＭＯＳ）画像センサ又は電荷結合素子（ＣＣＤ）画像センサ上に、光を向ける（例えば、光を合焦させる）ように構成されている。
【0042】
偏光カメラ１０は、シーン１と画像センサ１４との間の光路内に配置された偏光子又は偏光フィルタ又は偏光マスク１６をさらに含む。本開示の様々な実施形態によれば、偏光子又は偏光マスク１６は、偏光カメラ１０が、偏光子を様々指定した角度に（例えば、４５°回転した位置又は６０°回転した位置又は不均等に離間した回転位置に）設定した状態で、シーン１の画像を捕捉することを可能にするように構成されている
【0043】
一例として、図１Ｂは、偏光マスク１６が、カラーカメラの赤－緑―青（ＲＧＢ）カラーフィルタ（例えば、ベイヤーフィルタ）と同様に、画像センサ１４のピクセルグリッドと整列された偏光モザイクである実施形態を示す。カラーフィルタモザイクが、画像センサ１４の各ピクセルが、モザイクのカラーフィルタのパターンに従って、スペクトルの特定の部分（例えば、赤、緑、又は青の）で光を受光するように、波長に基づいて入射光をフィルタリングする方法と同様の方法で、偏光モザイクフィルタを用いた偏光マスク１６は、異なるピクセルが直線偏光の異なる角度（例えば、０°、４５°、９０°、及び１３５°、又は０°、６０°、及び１２０°）で光を受光するように、直線偏光に基づいて光をフィルタリングする。したがって、図１に示すような偏光マスク１６を用いた偏光カメラ１０は、４つの異なる直線偏光において同時に、又は一斉に光を捕捉することができる。偏光カメラの一例は、オレゴン州ＷｉｌｓｏｎｖｉｌｌｅのＦＬＩＲ（登録商標）Ｓｙｓｔｅｍｓ， Ｉｎｃ．製のＢｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラである。
【0044】
上記の説明は、偏光モザイクを用いた偏光カメラのいくつかの可能な実施形態に関するものであるが、本開示の実施形態はこれに限定されず、複数の異なる偏光において画像を捕捉することができるその他の種類の偏光カメラを包含する。例えば、偏光マスク１６は、４つよりも少ない偏光又は５以上の異なる偏光を有していてもよく、上記の角度と異なる角度の偏光を有していてもよい（例えば、０°、６０°、１２０°の偏光角、又は０°、３０°、６０°、９０°、１２０°、１５０°の偏光角で）。別の例として、偏光マスク１６は、画像センサ１４の異なる部分が異なる偏光を有する光を受光するように、マスクの個々のピクセルの偏光角を独立して制御できる、電気光学変調装置などの電子的に制御された偏光マスクを使用して実施することができる（例えば、液晶層を含んでいてもよい）。別の例として、電気光学変調装置は、例えば、異なるフレームを捕捉するときに異なる直線偏光の光を送信して、カメラが、偏光マスク全体を、異なる直線偏光角（例えば、０度、４５度、９０度、又は１３５度）に順次設定して画像を捕捉するように構成されていてもよい。別の例として、偏光マスク１６は、偏光フィルタをレンズ１２に対して機械的に回転させて異なる偏光角の光を画像センサ１４へ放射する偏光カメラ１０によって異なる偏光の生フレームが捕捉されるように、機械的に回転する偏光フィルタを含んでいてもよい。さらに、上記の実施例は直線偏光フィルタの使用に関するものであるが、本開示の実施形態はこれに限定されるものではなく、円偏光フィルタ（例えば、１／４波長板を備えた直線偏光フィルタ）を含む偏光カメラの使用も含む。したがって、本開示の様々な実施形態では、偏光カメラは、偏光フィルタを用いて、異なる直線偏光角及び異なる円偏光（例えば、ハンデッドネス）などの異なる偏光において複数の偏光の生フレームを捕捉する。
【0045】
その結果、偏光カメラ１０は、被検査物体１の被検査面２を含むシーンの複数の入力画像１８（又は偏光の生フレーム）を捕捉する。いくつかの実施形態では、偏光の生フレーム１８の各々は、偏光フィルタ又は偏光子の後方で、異なる偏光角φｐｏｌ（例えば、０度、４５度、９０度、又は１３５度）で撮影された画像に対応する。偏光の生フレーム１８の各々は、シーンに対して異なる位置及び向きから偏光の生フレームを捕捉する場合とは対照的に、シーン１に対して実質的に同じポーズで捕捉される（例えば、０度、４５度、９０度、又は１３５度で偏光フィルタを用いて捕捉された画像は、全て、同じ位置及び向きにある同じ偏光カメラ１００によって捕捉される）。偏光カメラ１０は、電磁スペクトルの人間の目に見える部分、及び人間の目に見えるスペクトルの赤、緑、及び青の部分、並びに赤外線及び紫外線のような電磁スペクトルの不可視部などの、電磁スペクトルの様々な異なる部分の光を検出するように構成されていてもよい。
【0046】
上記実施形態のいくつかのような、本開示のいくつかの実施形態では、異なる偏光の生フレームは、シーン１に対して実質的に同じポーズ（例えば、位置及び向き）で、同一の偏光カメラ１０によって捕捉することができる。ただし、本開示の実施形態はこれに限定されない。例えば、偏光カメラ１０は、偏光カメラ１０が異なる偏光の生フレームの間でシーン１に対して移動することができる（例えば、機械的に回転する偏光フィルタのケースのように、異なる偏光角に対応する異なる偏光の生フレームが異なる時間に捕捉される場合に）。これは、偏光カメラ１０が移動したこと、又は物体１が移動した（例えば、物体が動いているコンベアシステム上にある場合）ことが理由である。いくつかの実施形態では、異なる偏光カメラが物体を異なる時間に捕捉するが、物体に対して実質的に同じポーズから捕捉する（例えば、異なるカメラがコンベアシステム内の異なる地点で物体の同じ面の画像を捕捉している）。したがって、本開示のいくつかの実施形態では、異なる偏光の生フレームが被検査物体１及び／又は被検査面２に対して異なるポーズ又は同じ相対ポーズで偏光カメラ１０を用いて捕捉される。
【0047】
偏光の生フレーム１８は、以下に詳述する処理回路１００に供給され、処理回路１００は、偏光の生フレーム１８に基づいて特性評価出力２０を計算する。図１Ｂに示す実施形態では、特性評価出力２０は、欠陥が検出された面２の画像の領域２１（例えば、自動車のドアの凹み）を含む。
【0048】
図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、本開示の実施形態に係る偏光の生フレームに基づいて比較アプローチ及び意味セグメンテーション又はインスタンスセグメンテーションによって計算されたセグメンテーションマップを示すための背景を提供する。詳細には、図２Ａは、２つの透明なボール（「スプーフ」）及び何らかの背景クラッタを含む別のシーンを描写する写真のプリントアウト上に配置された１つの実在の透明ボールを有するシーンの画像又は強度画像である。図２Ｂは、図２Ａの強度画像上に線の異なるパターンを用いて重畳された透明なボールのインスタンスを識別するマスク領域ベースの畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）によって計算されたセグメンテーションマスクを示し、このセグメンテーションマスクにおいては、実在の透明ボールがインスタンスとして正確に識別され、２つのスプーフがインスタンスとして不正確に識別される、言い換えると、マスクＲ－ＣＮＮアルゴリズムは、２つのスプーフの透明なボールをシーン内の実在の透明なボールのインスタンスとしてラベリングするように騙されている。
【0049】
図２Ｃは、本発明の一実施形態に係るシーンの捕捉された偏光の生フレームから計算される直線偏光（ＡＯＬＰ）画像の角度を示す図である。図２Ｃに示すように、透明な物体は、エッジ上に幾何学的に依存するシグネチャと、直線偏光の角度で透明な物体の面に生じる別個の又は一意のパターン又は特定のパターンとが存在する、ＡＯＬＰドメインのような偏光空間内に極めて一意のテクスチャを有する。言い換えると、透明な物体の固有テクスチャ（例えば、透明な物体を通して見える背景面から採用される付帯テクスチャとは対照的に）が、図２Ａの強度画像におけるよりも図２Ｃの偏光角においてより視認可能である。
【0050】
図２Ｄは、実在の透明なボールが重畳された線のパターンを用いてインスタンスとして正確に識別され、２つのスプーフがインスタンスとして正確に除外される（例えば、図２Ｂとは対照的に、図２Ｄは２つのスプーフ上の重畳された線のパターンを含まない）、本発明の一実施形態に係る偏光データを用いて計算された重畳セグメンテーションマスクを備えた図２Ａの強度画像を示す図である。図２Ａ、２Ｂ、２Ｃ、及び２Ｄは、スプーフの透過な物体が存在する場合の実在の透明な物体の検出に関する一実施例を示しているが、本開示の実施形態はこれに限定されず、その他の光学的に困難な物体、例えば、透明、半透明、及び非マット、非ランバート物体と、非反射性（例えば、マットブラックの物体）及びマルチパス誘導物体にも適用される。
【0051】
したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから、面特性評価アルゴリズム又はその他のコンピュータビジョンアルゴリズムへの入力として供給される、表現空間内のテンサー（又は偏光フィーチャマップなどの第１の表現空間内の第１のテンサー）を抽出することに関する。第１の表現空間内のこれらの第１のテンサーは、図２Ｃに示すＡＯＬＰ画像のようなシーンから受信された光の偏光に関する情報を符号化する偏光フィーチャマップ、直線偏光度（ＤＯＬＰ）フィーチャマップ、及び同種のもの（例えば、ストークスベクトルからのその他の組み合わせ、又は個々の偏光の生フレームのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎｓ））を含んでいてもよい。いくつかの実施形態では、これらの偏光フィーチャマップは、非偏光フィーチャマップ（例えば、図２Ａに示す画像のような強度画像）と共に使用され、意味セグメンテーションアルゴリズムによる使用のための情報の追加的なチャネルを提供する。
【0052】
本発明の実施形態は、特定の面特性評価アルゴリズムとの併用に限定されないが、本発明の実施形態のいくつかの態様は、透明な物体（例えば、車両のガラス窓及び塗料の透明光沢層）、又はその他の光学的に困難な物体（例えば、透明、半透明、非ランバート、マルチパス誘導物体、及び非反射性（極めて暗い物体）の偏光ベースの面特性評価のための深層学習フレームワークに関し、これらのフレームワークを偏光畳み込みニューラルネットワーク（偏光ＣＮＮ）と呼んでもよい。この偏光ＣＮＮフレームワークは、偏光の特定のテクスチャを処理するのに適し、マスクＲ－ＣＮＮのようなその他のコンピュータビジョンアーキテクチャと結合して（例えば、偏光マスクＲ－ＣＮＮアーキテクチャを形成するために）、透明な物体及びその他の光学的に困難な物体の正確でロバストな特性評価のための解決策を生成できるバックボーンを含む。さらに、このアプローチは、透明及び非透明な混合物（例えば、不透明な物体）を備えたシーンに適用でき、物体又は被検査物体の透明、半透明、非ランバート、マルチパス誘導、暗い、及び不透明な面を特性評価するために使用することができる。
【0053】
偏光フィーチャ表現空間
【0054】
本開示の実施形態のいくつかの態様は、動作６５０における偏光の生フレームからフィーチャを抽出するためのシステム及び方法に関し、これらの抽出されたフィーチャは、動作６９０で、物体の面の光学的に困難な特性のロバストな検出で使用される。これとは対照的に、強度画像のみに依存する比較技法は、これらの光学的に困難なフィーチャ又は面を検出することができない可能性がある（例えば、上記のように図２Ａの強度画像を図２ＣのＡＯＬＰ画像と比較して）。「第１の表現空間」内の「第１のテンサー」という用語は、本明細書では、偏光カメラによって捕捉された偏光の生フレーム１８から計算された（例えば、抽出された）フィーチャを参照するために使用され、これらの第１の表現空間は、少なくとも偏光フィーチャ空間（例えば、画像センサによって検出された光の偏光に関する情報を含むＡＯＬＰ及びＤＯＬＰなどのフィーチャ空間）を含み、さらに、非偏光フィーチャ空間（例えば、偏光フィルタを用いずに捕捉された強度画像のみに基づいて計算された画像などの、画像センサに到達する光の偏光に関する情報を必要としないフィーチャ空間）を含んでいてもよい。
【0055】
光と透明な物体との間の相互作用は濃密で複雑であるが、物体の材料は可視光下での材料の透明性を決定する。多くの透明な家庭向け物体の場合、可視光の大部分は真っ直ぐに通過し、わずかな部分（屈折率に応じて約４％～約８％）が反射される。これは、スペクトルの可視部の光が透明な物体中の原子を励起するには不充分なエネルギーしか有していないからである。その結果、透明な物体の背後にある（又は透明な物体を通して見える）物体のテクスチャ（例えば、外観）は、透明な物体の外観よりも優勢になる。例えば、テーブル上にある透明なガラスのコップ又はタンブラーを見る場合、タンブラーの向こう側の物体の外観（例えば、テーブルの面）は、概して、コップを通して見られるものよりも優勢になる。この特性によって、ガラス窓や光沢のある透明層のような透明な物体の面特性を強度画像のみに基づいて検出しようとする場合、いくつかの困難が生じる。
【0056】
図３は、透明な物体と非透明な（散乱性及び／又は反射性）物体との光の相互作用を高レベルに示す図である。図３に示すように、偏光カメラ１０は、不透明な背景物体３０３の前にある透明な物体３０２を含むシーンの偏光の生フレームを捕捉する。偏光カメラ１０の画像センサ１４に当たる光線３１０は、透明な物体３０２と背景物体（３０３）の両方から得た偏光情報を含む。透明な物体３０２からの反射光３１２のほんのわずかな部分は高度に偏光し、背景物体３０３に反射して透明な物体３０２を通過する光３１３とは対照的に、偏光測定に大きな影響を与える。
【0057】
同様に、物体の面に当たる光線は、様々なやり方で面の形状と相互作用することができる。例えば、光沢塗料を有する面は、図３に示す不透明な物体の前にある透明な物体と実質的に同様にふるまうことができ、光線と光沢塗料の透明又は半透明な層（若しくはクリアコート層）との間の相互作用によって、画像センサに当たる光線内に符号化された透明又は半透明な物体の特性に基づいて（例えば、層の厚さと面法線とに基づいて）、面に反射した光が偏光する。同様に、偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論に関して以下に詳述するように、面の形状（例えば、面法線の方向）の変動が、物体の面に反射する光の偏光の大幅な変化を引き起こす可能性がある。例えば、平滑な面は、概してどこでも同じ偏光特性を示すが、面の傷又は凹みは、それらの領域における面法線の方向を変化させ、傷又は凹みに当たる光は、物体の面のその他の部分とは異なる方法で偏光、減衰、又は反射する可能性がある。光と物体との間の相互作用のモデルは、概して、３つの基本要素、すなわち、幾何学形状、照明、及び材料を考慮している。幾何学形状は、材料の形状に基づく。照明は、照明の方向及び色を含む。材料は、光の屈折率又は角度反射／透過によってパラメータ化することができる。この角度反射は、双方向反射率分布関数（ＢＲＤＦ）として知られているが、その他の機能形態は、ある種のシナリオをより正確に表すことができる。例えば、双方向表面下散乱分布関数（ＢＳＳＲＤＦ）は、表面下散乱を示す材料（例えば、大理石又はワックス）の場合により正確であろう。
【0058】
偏光カメラ１０の画像センサ１６に当たる光線３１０は、３つの測定可能な成分、すなわち、光の強度（強度画像／Ｉ）、直線偏光のパーセンテージ又は割合（直線偏光度／ＤＯＬＰ／ρ）、及びその直線偏光の方向（直線偏光角／ＡＯＬＰ／φ）を有する。これらの特性は、以下に詳述するように、撮像されている物体の面曲率及び材料に関する情報を符号化し、予測装置８００がこの情報を用いて透明な物体を検出することができる。いくつかの実施形態では、予測装置８００は、半透明な物体を通過する光及び／又はマルチパス誘導物体と相互作用する光、及び／又は非反射性物体（例えば、マットブラックの物体）による光の同様の偏光特性に基づいて、その他の光学的に困難な物体を検出することができる。
【0059】
したがって、本発明の実施形態のいくつかの態様は、フィーチャ抽出装置７００を用いて１つ又は複数の第１の表現空間内の第１のテンサーを計算することに関し、この第１の表現空間は、強度Ｉ、ＤＯＬＰρ及びＡＯＬＰφに基づいて導出されたフィーチャマップを含んでいてもよい。フィーチャ抽出装置７００は、概して、「偏光画像」、言い換えれば、強度画像から元々計算可能でない偏光の生フレームに基づいて抽出された画像（例えば、偏光フィルタ又は偏光フィルタに対応する画像センサに到達する光の偏光を検出するためのその他の機構を含まないカメラによって捕捉された画像）などの偏光表現空間（又は偏光フィーチャ空間）を含む第１の表現空間（又は第１のフィーチャ空間）に情報を抽出してもよく、これらの偏光画像は、ＤＯＬＰρ画像（ＤＯＬＰ表現空間又はフィーチャ空間内の）、ＡＯＬＰφ画像（ＡＯＬＰ表現空間又はフィーチャ空間内の）、ストークスベクトルから計算された偏光の生フレームのその他の組み合わせと、偏光の生フレームから計算された情報のその他の画像（又は概して第１のテンサー又は第１のフィーチャテンサー）を含んでいてもよい。第１の表現空間は、強度Ｉ表現空間のような非偏光表現空間を含んでいてもよい。
【0060】
各ピクセルにおける測定強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφは、偏光フィルタ（又は偏光子）の背後で異なる角度φｐｏｌで撮影されたシーンの３以上の偏光の生フレームを必要とする（例えば、決定すべき３つの不明な値、すなわち、強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφがあるために）。例えば、上記のＦＬＩＲ（登録商標）Ｂｌａｃｋｆｌｙ（登録商標）Ｓ偏光カメラは、偏光角φｐｏｌを０度、４５度、９０度、又は１３５度に設定して偏光の生フレームを捕捉し、それによって、本明細書ではＩ０、Ｉ４５、Ｉ９０、及びＩ１３５として示される４つの偏光の生フレームＩφｐｏｌを生成する。
【0061】
各ピクセルにおけるＩφｐｏｌと強度Ｉ、ＤＯＬＰρ、ＡＯＬＰφとの関係は、次のように表すことができる。
【数1】
【0062】
したがって、４つの異なる偏光の生フレームＩφｐｏｌ（Ｉ０、Ｉ４５、Ｉ９０、及びＩ１３５）により、４つの式のシステムを用いて、強度Ｉ、ＤＯＬＰρ、は、及びＡＯＬＰφを解決することができる。
【0063】
偏光を使って形状を求める（Ｓｈａｐｅ ｆｒｏｍ Ｐｏｌａｒｉｚａｔｉｏｎ）（ＳｆＰ））理論（例えば、Ｇａｒｙ Ａ Ａｔｋｉｎｓｏｎ ａｎｄ Ｅｄｗｉｎ Ｒ Ｈａｎｃｏｃｋ． Ｒｅｃｏｖｅｒｙ ｏｆ ｓｕｒｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ ｆｒｏｍ ｄｉｆｆｕｓｅ ｐｏｌａｒｉｚａｔｉｏｎ． ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ， １５（６）：１６５３‐１６６４， ２００６を参照）によれば、物体の面法線の屈折率（ｎ）、方位角（θａ）及び天頂角（θｚ）と、その物体からの光線のφ及びρ成分との関係が、拡散反射が支配的である場合には、以下の特性に従う。
鏡面反射が支配的な場合には、
なお、両方のケースで、ρは、θｚが増加するにつれて指数関数的に増加し、屈折率が同じである場合、鏡面反射は、拡散反射よりもはるかに偏光度が高い。
【数2】
【数3】
【数4】
【数5】
【0064】
したがって、本開示の実施形態のいくつかの態様は、面の生偏光フレーム１８に基づいて面の形状（例えば、面の向き）を検出するために、ＳｆＰ理論を適用することに関する。このアプローチによって、飛行時間（ＴｏＦ）深度検知及び／又はステレオビジョン技術のような物体の形状を決定するためのその他のコンピュータビジョン技術を使用することなく、物体の形状を特性評価できるが、本開示の実施形態をそのような技法と併せて使用してもよい。
【0065】
より正式には、本開示の実施形態の態様は、偏光カメラ１０によって捕捉された偏光の生フレームに基づいて、動作６５０で偏光画像を形成する（又は導出された偏光フィーチャマップを抽出する）といった偏光表現空間内の第１のテンサーを抽出することを含めて、第１の表現空間内の第１のテンサー５０を計算することに関する。
【0066】
透明な物体からの光線は、反射強度Ｉｒ 、反射ＤＯＬＰρｒ、反射ＡＯＬＰφｒを含む反射部分と、屈折強度Ｉｔ 、屈折ＤＯＬＰρｔ、反射ＡＯＬＰφｔを含む屈折部分との２つの成分を有する。その結果得られる画像内の単一のピクセルの強度を次のように記述することができる。
【数6】
【0067】
直線偏光角φｐｏｌを有する偏光フィルタをカメラの前に配置すると、所与のピクセルの値は以下のようになる。
【数7】
【0068】
ＤＯＬＰρ画像内のピクセルとＡＯＬＰφ画像内のピクセルの値を、Ｉｒ、ρｒ、φｒ、Ｉｔ、ρｔ、及び及びφｒに換算して上式を解くと、以下のようになる。
【数8】
【数9】
【0069】
したがって、上記の式（７）、（８）、及び（９）は、本開示の一実施形態に係る強度強度画像Ｉ、ＤＯＬＰ画像ρ、及びＡＯＬＰ画像φを含む第１の表現空間内に第１のテンサー５０を形成するためのモデルを提供し、偏光表現空間内の偏光画像又はテンサー（式（８）及び（９）に基づくＤＯＬＰ画像ρ及びＡＯＬＰ画像φを含む）を使用することによって、入力として強度Ｉのみを使用する比較システムによっては概して検出可能でない物体の光学的に困難な面特性を検出することができる。
【0070】
詳細には、偏光画像ＤＯＬＰρ及びＡＯＬＰφのような偏光表現空間内の第１のテンサー（導出されたフィーチャマップ５０のうちの）は、元々は強度Ｉドメイン内にテククチャ無しで現れる可能性のある物体の面特性を明らかにすることができる。この強度はＩｒ／Ｉｔの比（式（６）を参照）に厳密に依存するので、透明な物体はこの強度Ｉ内で不可視のテクスチャを有していてもよい。Ｉｔ＝０である不透明な物体とは異なり、透明な物体は入射光の大部分を透過し、この入射光のわずかな部分のみを反射する。別の例として、その他の部分では平滑な面（又はその他の部分では粗い面における平滑な部分）の形状の薄い又は小さい偏差は、実質的に不可視的であってもよく、又は強度Ｉドメイン（例えば、光の偏光が考慮されないドメイン）内でコントラストが低くてもよいが、ＤＯＬＰρ又はＡＯＬＰφなどの偏光表現空間内では極めて可視的であり、コントラストが高くてもよい。
【0071】
したがって、面トポグラフィを取得する１つの例示的な方法は、幾何学的正則化と共に偏光キューを使用することである。フレネル方程式は、ＡＯＬＰφ及びＤＯＬＰρを面法線に関連付ける。これらの式は、面の偏光パターンとして知られているものを活用することによって、異常検出に有用であり得る。偏光パターンは、サイズ［Ｍ、Ｎ、Ｋ］（Ｍ及びＮはそれぞれ水平寸法、垂直寸法、Ｋはサイズが変動する偏光データチャネルを表す）のテンサーである。例えば、円偏光を無視して直線偏光のみを考慮した場合、直線偏光は偏光角と偏光度（ＡＯＬＰφ及びＤＯＬＰρ）の両方を有するため、Ｋは２に等しくなる。本開示のいくつかの実施形態では、モアレパターンと同様に、フィーチャ抽出モジュール７００は、偏光表現空間（例えば、ＡＯＬＰ空間及びＤＯＬＰ空間）内の偏光パターンを抽出する。上記の図１Ａ及び図１Ｂに示す例示的な特性評価出力２０では、水平及び垂直寸法は、偏光カメラ１０によって捕捉される面２の狭いストリップ又はパッチの短手方向の視野に対応する。ただし、これは１つの例示的なケースである。様々な実施形態では、面のストリップ又はパッチは、縦長（例えば、幅よりも高さの方がはるかに大きい）であってもよく、横長（例えば、高さよりも幅の方がはるかに大きい）であってもよく、又は正方形に近づく傾向がある、より従来の視野（ＦｏＶ）（例えば、高さに対する幅が４：３の比又は１６：９の比である）を有していてもよい
【0072】
上記の説明では、直線偏光の異なる角度に対応する偏光の生フレームを捕捉し、ＤＯＬＰ及びＡＯＬＰなどの直線偏光表現空間内のテンサーを計算するための、１つ又は複数の直線偏光フィルタを有する偏光カメラを使用する場合の直線偏光に基づく偏光表現空間の特定の実施例を扱っているが、本開示はこれに限定されるものではない。例えば、本開示のいくつかの実施形態では、偏光カメラは、円偏光のみを通過させるように構成された１つ又は複数の円偏光フィルタを含み、円偏光表現空間内の偏光パターン又は第１のテンサーが、偏光の生フレームからさらに抽出される。いくつかの実施形態では、円偏光表現空間内のこれらの追加のテンサーは、単独で使用され、その他の実施形態では、追加のテンサーは、ＡＯＬＰ及びＤＯＬＰのような線形偏光表現空間内のテンサーと一緒に使用される。例えば、偏光表現空間内のテンサーを含む偏光パターンは、円偏光空間、ＡＯＬＰ、及びＤＯＬＰ内にテンサーを含んでいてもよく、偏光パターンは、寸法［Ｍ、Ｎ、Ｋ］を有していてもよく、Ｋは３であって円偏光表現空間内のテンサーをさらに含む。
【0073】
図４は、約１．５の屈折率を有する面への入射角の範囲にわたる透過光と反射光のエネルギーを対比して示すグラフである。図４に示すように、透過したエネルギー（図４に実線で示す）と反射したエネルギー（図４に点線で示す）の線の傾きは、入射角が小さい場合（例えば、面の平面に対して垂直に近い角度の場合）には比較的小さい。したがって、入射角が小さい（例えば、面に対して垂直方向に近い、言い換えれば面法線に近い）偏光パターンでは、面の小さい角度差は検出が困難である（低コントラスト）。一方、入射角が大きくなるほど反射エネルギーの勾配は平坦部から増加し、入射角が大きくなるほど、透過エネルギーの勾配は平坦部から減少する（絶対値が大きくなる）。図４に示す例では屈折率が１．５であり、両方の線の勾配は、約６０°の入射角を超えるとほぼ急峻な勾配になり、両方の線の勾配は、約８０°の入射角で極めて急峻である。曲線の特定の形状は、材料の屈折率に応じて異なる材料に対して変化する可能性がある。そのため、入射角の小さな変化（面法線の小さい変化による）によって捕捉される偏光の生フレームの大きい変化がもたらされるので、曲線の急峻な部分に対応する入射角（例えば、面に平行な角度、図４に示す屈折率１．５の場合には８０°付近）で被検査面の画像を捕捉することによって、偏光の生フレーム１８における面形状の変動のコントラスト及び検出性を向上させることができ、偏光表現空間内のテンサーのそのようなフィーチャの検出性を向上させることができる。
【0074】
したがって、本開示の実施形態のいくつかの態様は、偏光の生フレームから抽出された第１の表現空間（例えば、偏光表現空間内のフィーチャマップを含む）内の第１のテンサーを、透明な物体の面特性及び／又は被検査物体の光学的に困難な面特性を計算又は検出するための予測装置への入力として供給することに関する。これらの第１のテンサーは、偏光カメラによって検出された光の偏光に関する情報を符号化するフィーチャマップを参照して、強度フィーチャマップＩ、直線偏光度（ＤＯＬＰ）ρフィーチャマップ及び直線偏光角（ＡＯＬＰ）φフィーチャマップを含み得る導出されたフィーチャマップを含むことができ、ＤＯＬＰρフィーチャマップ及びＡＯＬＰφフィーチャマップは偏光表現空間内の偏光フィーチャマップ又はテンサーの例である。いくつかの実施形態では、偏光表現空間内のフィーチャマップ又はテンサーは、例えば、偏光カメラ１０によって撮像される物体の面の形状を特性評価するためにＳｆＰ理論を利用する検出アルゴリズムへの入力として供給される
【0075】
偏光フィーチャに基づく面特性評価
【0076】
上記の図１Ａ及び図１Ｂに示すように、本発明の実施形態の態様は、処理システム又は処理回路１００によって分析される偏光の生フレーム１８を捕捉する１つ又は複数の偏光カメラ１０を用いて物体１の面の画像を捕捉することによって、被検査物体の面特性評価を実行するためのシステム及び方法に関する。面特性評価は、光学的に困難な面特性、例えば、偏光情報を使用しない比較コンピュータビジョン又はマシンビジョン技法を用いて検出することが困難又は不可能な面特性を検出することを含んでいてもよい。本開示の実施形態のいくつかの態様は、製造品の欠陥（例えば、亀裂、裂け目、塗料又は染料の不均一な塗布、面汚染物質の存在、意図しない面の凹凸又は基準モデルからのその他の幾何学的偏差といった欠陥、及び同種のもの）に対応する面特性に関するが、本開示の実施形態はこれに限定されず、異なる種類の材料間の位置境界を検出することと、ある領域全体にわたる材料の屈折率の均一性を測定することと、材料の部分に適用される面処理の幾何学形状を特性評価すること（例えば、材料のエッチング及び／又は面への材料の蒸着）、及び同種のものにも適用することができる。
【0077】
図５は、本発明の一実施形態に係る、偏光データに基づいて面特性評価出力を計算するための処理回路１００のブロック図である。図６は、本発明の一実施形態に係る、入力画像に基づいて面特性評価を実行して面特性評価出力を計算するための方法６００のフローチャートである。
【0078】
本開示の様々な実施形態によれば、処理回路１００は、以下に詳述するように、様々な動作を実行するように構成された１つ又は複数の電子回路を用いて実施される。電子回路の種類は、中央処理部（ＣＰＵ）、グラフィックス処理部（ＧＰＵ）、人工知能（Ａｌ）アクセラレータ（例えば、ニューラルネットワークに共通の演算を効率的に行うように構成されたベクトル演算ロジック部を含み得るベクトルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、ディジタル信号プロセッサ（ＤＳＰ）、又は同種のものを含んでいてもよい。例えば、いくつかの状況で、本開示の実施形態の態様は、電子回路（例えば、ＣＰＵ、ＧＰＵ、ＡＩアクセラレータ、又はそれらの組み合わせ）によって実行されると、本明細書に記載の動作を実行して、入力された偏光の生フレーム１８から特性評価出力２０を計算する、不揮発性コンピュータ可読メモリ内に記憶されたプログラム命令の形で実施される。処理回路１００によって実行される動作は、単一の電子回路（例えば、単一のＣＰＵ、単一のＧＰＵ、又は同種のもの）によって実行されてもよいし、複数の電子回路（例えば、複数のＧＰＵ又は単一のＧＰＵと連携する単一のＣＰＵ）の間に割り当てられてもよい。複数の電子回路は、互いにローカルであってもよく（例えば、同じダイ上に位置してもよく、同じパッケージ内に位置してもよく、又は同じ内蔵デバイス又はコンピュータシステム内に位置してもよい）、且つ／又は互いにリモートであってもよい（例えばＢｌｕｅｔｏｏｔｈ（登録商標）などのローカルパーソナルエリアネットワークのようなネットワークを介した通信で、ローカル有線及び／又は無線ネットワークなどのローカルエリアネットワーク、及び／又はインターネットなどの広域ネットワークを介して通信する際に、動作の一部がローカルに実行され、動作の別の一部がクラウドコンピューティングサービスによってホストされるサーバ上で実行される場合など）。処理回路１００を実施するために動作する１つ又は複数の電子回路は、本明細書では、コンピュータ又はコンピュータシステムと呼んでよく、コンピュータ又はコンピュータシステムは、１つ又は複数の電子回路によって実行されると、本明細書に記載のシステム及び方法を実施する命令を記憶するメモリを含んでいてもよい。
【0079】
図５に示すように、いくつかの実施形態では、処理回路１００は、フィーチャ抽出装置又はフィーチャ抽出システム７００と、フィーチャ抽出システム７００の出力に基づいて物体の面特性に関する予測出力２０（例えば、統計的予測）を計算するように構成された予測装置８００（例えば、古典的なコンピュータビジョン予測アルゴリズム及び／又は訓練済みニューラルネットワークなどの訓練済み統計モデル）とを含む。本開示のいくつかの実施形態は、本明細書では、検出が光学的に困難であり得る、製造された物体の面の欠陥を検出するための面特性評価システムに関して説明されているが、本開示の実施形態はこれに限定されるものではない。例えば、本開示の実施形態のいくつかの態様は、半透明な物体の面、マルチパス誘導物体、一部が又は実質的にマット又はランバートの物体、及び／又は非常に暗い物体の面のような、検出が光学的に困難な材料で作られた物体、又は検出が光学的に困難な面特性を有する物体の面を特性評価するための技法に適用することができる。これらの光学的に困難な物体は、光の偏光への感度が低いカメラシステムによって捕捉される画像を使用することによって解決又は検出する（例えば、光路内に偏光フィルタを有しないカメラ、又は異なる画像が異なる偏光角に基づく画像を捉えていないカメラによって捕捉される画像に基づいて）ことが困難な物体及び物体の面特性を含む。例えば、これらの面特性は、特性が現れる面と非常に類似した面の外観又は色を有することがある（例えば、凹みが下地材料と同じ色を有し、ガラスのような透明な材料上の傷も、実質的に透明であり得る）。さらに、本開示の実施形態は、光学的に困難な面特性を検出することに関して本明細書に記載されているが、本開示の実施形態は、光学的に困難な面の欠陥のみを検出することに限定されない。例えば、いくつかの実施形態では、予測装置８００は、光学的に困難な面特性と、偏光情報を用いることなくロバストに検出可能な面特性との両方を検出するように構成される（例えば、訓練データを用いて統計モデルが訓練される）。
【0080】
偏光は、強度情報（例えば、色強度情報）のみを使用する場合に偏光を用いなければ光学的に困難な面特性又はフィーチャを検出するために使用できる。例えば、偏光情報は、物体の面における幾何学形状の変化及び材料の変化を検出することができる。異なる種類の材料間の境界（例えば、黒色の道路上の黒色の金属物体又は面上の無色の液体は、両方とも色空間内で実質的に見えない可能性があるが、偏光空間内に対応する偏光シグネチャを有する）などの、材料の変化（又は材料の変更）は、偏光空間内でより可視的であり得る。これは、異なる材料の屈折率の差が光の偏光の変化を引き起こすためである。同様に、様々な材料の鏡面性状の違いは、回転の偏光位相角の異なる変化を引き起こし、偏光フィルタを使用せずに検出することがこの変化なしでは光学的に困難な偏光空間内の検出可能なフィーチャが見つかる可能性がある。したがって、このことにより、強度空間（例えば、光の偏光を考慮しない色表現空間）内で計算されたテンサーの対応する領域が、これらの面特性（例えば、これらの面特性が低いコントラストを有するか、又はこれらの空間では不可視的であり得る）を捕捉することができない可能性がある、偏光表現空間内の画像又はテンサーにコントラストが生まれる。光学的に困難な面特性の例は、面の特定の形状（例えば、平滑度及び面に対する理想的又は許容可能な物理的設計公差からの偏差）、面粗さ及び面粗さパターンの形状（例えば、透明な物体及び機械加工部品の面における意図的なエッチング、傷、及びエッジ）、機械加工された部品及び成形部品の縁部におけるバリ及びフラッシュバリ、及び同種のものを含む。偏光は、同一の色を有するが、散乱又は屈折率などの材料特性が異なる物体を検出するのにも有用であろう
【0081】
図６に示すように、また、例えば、図１Ｂを参照すると、動作６１０で、処理回路１００は、被検査物体１の面２の偏光の生フレーム１８を捕捉する。例えば、いくつかの実施形態では、処理回路１００は、物体の特定の面２を示す偏光の生フレーム１８を捕捉する１つ又は複数の偏光カメラ１０を制御する。本開示の様々な実施形態では、被検査物体の特定の面の捕捉は、機械式スイッチトリガ（例えば、物体の一部又はコンベアシステムが電子スイッチを閉じて物体の現在位置を伝える場合）、レーザトリガ（例えば、物体１の一部がレーザビームが検出装置に到達しないように遮断する場合）、又は光トリガ（例えば、カメラシステムが、特定位置にある物体の存在を検出する場合）などの、１つ又は複数の検出システムを用いてトリガできる。
【0082】
図１Ａを参照すると、本開示の実施形態に係る偏光増強撮像システム又は面特性評価システムは、コンベヤベルトの周囲に配置されたガントリ又はロボットアームのエンドエフェクタ上に搭載された偏光カメラ１０を使用することができ、この偏光カメラ１０を用いて、物体１が搬送ベルト上を移動する際に、物体１のパッチベースの画像（例えば、物体１の面の画像又はパッチ又はストリップ）を提供することができる。本開示のいくつかの実施形態では、可動マウントに搭載された偏光カメラ１０は、面上の光の入射角が、図４の急勾配又はコントラストが高い部分にあるようなポーズでシステムによって自動的に再配置され（例えば、被検査面の普通の向き及びシーン内の光源の普通の向きに基づいて）。本開示のいくつかの実施形態では、照明源（例えば、走行ライト又はフラッシュ）は、固定位置に配置されてもよいし、可動マウントに取り付けられて（例えば、対応する偏光カメラに堅固に取り付けられているか、独立して移動可能な可動マウントに取り付けられているかのいずれか）、物体の面形状フィーチャをより容易に検出可能にする入射角（例えば、大きい入射角）で物体の面を照明することができる。
【0083】
したがって、本開示のいくつかの実施形態では、動作（６１０）で、被検査物体１の面２の偏光の生フレーム１８を捕捉することは、特性評価される面２の特定の特性に従った被検査面２に対するポーズまで偏光カメラ１０及び／又は照明源を移動させることを含む。例えば、いくつかの実施形態では、これは、大きい入射角（例えば、約８０度）で照明源からの光が面２に当たるように偏光カメラ１０及び／又は照明源を自動的に位置決めすることを含む。本開示のいくつかの実施形態では、大きい入射角が実現可能である特定の位置は、検査すべき面の特定の形状に基づいて変動する（例えば、自動車のドアの設計は、ドアハンドルの凹み、ドアと窓が接する縁部、並びにスタイル及び／又は空気力学のためのドアの主たる面の凹みのような、著しく異なる面法線を有する異なる部分を含むことがある。）
【0084】
本開示のいくつかの実施形態では、処理回路１００は、被検査物体の種類又はクラスに関連付けられたプロファイルをロードし、プロファイルは、被検査物体１に対する移動先である、偏光カメラ１０の１つ又は複数のポーズの集まりを含む。異なる種類又はクラスの物体は、異なるプロファイルに関連付けられていてもよいが、同じ種類又はクラスの製造された物体は、同じ形状を有することになる。（例えば、異なる車種の車両は異なる形状であってもよく、これらの異なる車種の車両を組立ラインで一緒にしてもよい。したがって、処理回路１００は、異なるプロファイルの集まりから現在点検中の車両の種類に対応するプロファイルを選択できる。したがって、偏光カメラ１０は、被検査物体１の面の偏光の生フレーム１８を捕捉するために、プロファイルに記憶された一連のポーズ間を自動的に移動させることができる。
【0085】
図５及び図６に示す実施形態では、動作６５０で、処理回路１００のフィーチャ抽出システム７００は、シーンの入力された偏光の生フレーム１８から、１つ又は複数の第１の表現空間内の１つ又は複数の第１のフィーチャマップ５０（様々な偏光表現空間内の偏光画像又は偏光フィーチャマップを含む）を抽出する。
【0086】
図７Ａは、本発明の一実施形態に係るフィーチャ抽出装置７００のブロック図である。図７Ｂは、本発明の一実施形態に係る、偏光の生フレームからフィーチャを抽出するための方法を示すフローチャートである。図７Ａに示す実施形態では、フィーチャ抽出装置７００は、強度表現空間内の強度画像Ｉ５２を抽出する（非偏光表現空間の一例として、式（７）に従って）ように構成された強度抽出装置７２０と、１つ又は複数の偏光表現空間内のフィーチャを抽出するように構成された偏光フィーチャ抽出装置７３０とを含む。本開示のいくつかの実施形態では、強度抽出装置７２０は省略され、フィーチャ抽出装置は強度画像Ｉ５２を抽出しない。
【0087】
図７Ｂに示すように、動作６５０での偏光画像の抽出は、動作６５１で、第１のストークスベクトルから計算された偏光の生フレームから第１の偏光表現空間内の第１のテンサーを抽出することを含んでいてもよい。動作６５２で、フィーチャ抽出装置７００は、偏光の生フレームから第２の偏光表現空間内の第２のテンサーをさらに抽出する。例えば、偏光フィーチャ抽出装置７３０は、ＤＯＬＰρ画像５４を（例えば、ＤＯＬＰを第１の偏光表現空間として、式（８）に従って、第１の偏光画像又は第１のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＤＯＬＰ抽出装置７４０と、ＡＯＬＰφ画像５６を（例えば、ＡＯＬＰを第２の偏光表現空間として、式（９）に従って、第２の偏光画像又は第２のテンサーを）、供給された偏光の生フレーム１８から抽出するように構成されたＡＯＬＰ抽出装置７６０とを含んでいてもよい。さらに、様々な実施形態で、フィーチャ抽出システム７００は、動作６１４でｎ番目のテンサーが抽出される２つ以上の表現空間（例えば、ｎ個の表現空間）内で、２つ以上の異なるテンサー（例えば、ｎ個の異なるテンサー）を抽出する。上記のように、本開示のいくつかの実施形態では、偏光フィーチャ抽出装置７３０は、直線偏光表現空間（例えば、直線偏光フィルタで捕捉された偏光の生フレームから抽出された上記のＡＯＬＰ及びＤＯＬＰ表現空間内のテンサー）と、円偏光表現空間（例えば、円偏光フィルタで捕捉された偏光の生フレームから抽出されたテンサー）との両方を含む偏光表現空間内の偏光フィーチャを抽出する。様々な実施形態では、表現空間は、これに限定されないが、偏光表現空間を含む。
【0088】
偏光表現空間は、ストークスベクトルに従った偏光の生フレームの組み合わせを含んでいてもよい。別の例として、偏光表現は、１つ又は複数の画像処理フィルタ（例えば、画像のコントラストを増加させるフィルタ又はノイズ除去フィルタ）に従った偏光の生フレームのモディフィケーション（ｍｏｄｉｆｉｃａｔｉｏｎｓ）又はトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を含んでいてもよい。次いで、第１の偏光表現空間内のフィーチャマップ５２、５４、及び５６を、フィーチャマップ５０に基づいて面特性を検出するための予測装置８００に供給することができる。
【0089】
図７Ｂは、３つ以上の異なる表現空間内の偏光の生フレーム１８から２つ以上の異なるテンサーが抽出されるケースを示しているが、本開示の実施形態はこれに限定されない。例えば、本開示のいくつかの実施形態では、偏光表現空間内の１つのテンサーのみが、偏光の生フレーム１８から抽出される。例えば、生フレームの１つの偏光表現空間はＡＯＬＰφであり、別の偏光表現空間はＤＯＬＰρである（例えば、いくつかの用途では、ＡＯＬＰは、透明な物体の面特性又は半透明、非ランバート、マルチパス誘導、及び／又は非反射性物体などのその他の光学的に困難な物体の面特性を検出するのには充分であり得る。
【0090】
したがって、偏光の生フレーム１８から偏光フィーチャマップ又は偏光画像などのフィーチャを抽出することによって、被検査物体の面の画像から光学的に困難な面特性が検出される第１のテンサー５０が生成される。いくつかの実施形態では、フィーチャ抽出装置７００によって抽出された第１のテンサーは、偏光の生フレーム内に現れる可能性がある基礎となる物理現象（例えば、上記のような、直線偏光空間内のＡＯＬＰ及びＤＯＬＰ画像の計算と、円偏光空間内のテンサーの計算）に関連する、明示的に導出されたフィーチャ（例えば、人間の設計者の手による）であってもよい。本開示のいくつかの追加の実施形態では、フィーチャ抽出装置７００は、異なる色の光（例えば、赤、緑、及び青色光）の強度マップ及び強度マップのトランスフォーメーション（ｔｒａｎｓｆｏｒｍａｔｉｏｎ）（例えば、強度マップに画像処理フィルタを適用すること）などのその他の非偏光フィーチャマップ又は非偏光画像を抽出する。本開示のいくつかの実施形態では、フィーチャ抽出装置７００は、ラベルが付いた訓練データに基づく、包括的な教師あり訓練工程によって自動的に学習される１つ又は複数のフィーチャ（例えば、人間によって手動で指定されていないフィーチャ）を抽出するように構成されていてもよい。いくつかの実施形態では、これらの学習済みフィーチャ抽出装置は、従来のコンピュータビジョンフィルタ（例えば、Ｈａａｒウェーブレット変換、キャニー法、及び同種のもの）と組み合わせて使用できる、深層畳み込みニューラルネットワークを含んでいてもよい。
【0091】
偏光表現空間を含む表現空間内のテンサーに基づく面特性評価
【0092】
フィーチャ抽出システム７００によって抽出された第１の表現空間５０（偏光画像を含む）内のフィーチャマップは、処理回路１００の予測装置８００への入力として提供され、処理回路１００の予測装置８００は、１つ又は複数の予測モデルを実施して、動作６９０で、面特性評価出力２０を計算する。
【0093】
予測装置８００が欠陥検出システムの場合、予測は、画像の一部が欠陥を含む印として符号２１を付され又は強調表示された、面２の画像２０（例えば、強度画像）であってもよい。いくつかの実施形態では、欠陥検出システムの出力は、セグメンテーションマップであって、当該マップにおいて、各ピクセルは、当該ピクセルが、面特性評価システムが検査するよう訓練された物体内に見つかる可能性がある様々なあり得るクラス（又は種類）の面特性（例えば、欠陥）の場所に対応するという１つ又は複数のコンフィデンス（ｃｏｎｆｉｄｅｎｃｅｓ）、又は当該ピクセルが被検査物体の面の画像における異常状態に対応するという１つのコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）に関連付けられていてもよい。予測装置が分類システムの場合、予測は、複数のクラスと、画像がクラスの各々のインスタンスを示す（例えば、画像が、平滑なガラス、エッチングされたガラス、傷があるガラス、及び同種のものの様々な種類の欠陥又は異なる種類の面特性を示す）という対応するコンフィデンス（ｃｏｎｆｉｄｅｎｃｅｓ）を含んでいてもよい。予測装置８００が古典的なコンピュータビジョン予測アルゴリズムの場合、予測装置は、検出結果を計算できる（例えば、第１の表現空間内の抽出されたフィーチャマップを、第１の表現空間内のモデルフィーチャマップと比較することによって欠陥を検出し、又は、平滑であると思われる領域内のフィーチャマップの急激な又は不連続な変化を示す縁部又は領域を識別することができる。
【0094】
図５に示す実施形態では、予測装置８００は、欠陥検出システムを実施し、動作６９０で、入力された偏光の生フレーム１８から抽出された第１の表現空間内の抽出された第１のテンサー５０に基づいて計算される、検出された欠陥の位置を含む面特性評価出力２０を動作６９０で計算する。上記のように、フィーチャ抽出システム７００及び予測装置８００は、以下に詳述するように、フィーチャ抽出システム７００及び予測装置８００のそれぞれの動作を実行するように構成された１つ又は複数の電子回路を使用して実施される。
【0095】
本開示の様々な実施形態によれば、１つ又は複数の偏光カメラ１０によって撮像される物体１の面２は、面に関連付けられたモデルに従って特性評価される。本発明の実施形態に係る面特性評価システムによって実行される面特性評価の具体的な詳細内容は、具体的な用途及び特性評価される面に依存する。
【0096】
自動車の面上の欠陥の検出の上記の例をについてさらに述べると、様々な部品を製造する場所及び方法並びに異なる部品に使用される材料の種類が原因で、異なる種類の欠陥が自動車の異なる面上に現れることがある。例えば、塗装された金属ドアパネルは、ガラス窓とは異なる種類の欠陥（例えば、傷、凹み）を呈する場合がある。また、プラスチック部品（例えば、ヘッドライトカバーの場合、傷、欠けあと、及び亀裂を示すことがあるが、表面の隆起及び凹部並びにエジェクタピンマークなどの予想できる意図的な面の凹凸も含みことがある）に見られる欠陥とは異なる欠陥を呈することがある。
【0097】
別の例として、機械加工された金属部品では、ある面が平滑で光沢があると予想され、一方、別の面は、粗いか、又は特定の物理的パターン（例えば、溝、隆起、又はランダムなテクスチャ）を有することが予想でき、機械加工された部分の異なる面は、異なる公差を有していてもよい。
【0098】
図８Ａは、本発明の一実施形態に係る予測装置のブロック図である。図８Ａに示すように、予測装置８００は、第１の表現空間５０内の入力テンサーを受信する。予測装置８００は、面特性評価システムによって解析されると予想される異なる種類の面に関連付けられたモデル８１０の集まりを含んでいてもよい。図８Ａに示す実施形態では、予測装置８００は、ｍ個の異なるモデル（例えば、処理回路１００のメモリに記憶された異なるモデル）にアクセスできる。例えば、第１のモデル８１１は、ドアパネルの主たる面に関連付けられていてもよく、第２のモデル８１２は、ドアパネルのハンドル部分に関連付けられていてもよく、ｍ番目のモデル８１４は、尾灯に関連付けられていてもよい
【0099】
図８Ｂは、本発明の一実施形態に係る、物体の面特性を検出するための方法６９０を示すフローチャートである。動作６９１で、処理システム１００は、現在の面に対応するモデル８１０の集まりの中から、モデルを選択する。いくつかの実施形態では、特定のモデルは、被検査物体１に関連付けられ、偏光カメラ１０によって偏光の生フレーム１８が捕捉される特定のポーズに関連付けられたプロファイル内に記憶されたメタデータに基づいて選択される。
【0100】
本開示のいくつかの実施形態では、被検査物体の向きは、１つの物体から次の物体まで一貫している。例えば、自動車の製造の場合には、各々の組み立てられた自動車は、そのノーズ部分を前側にして（例えば、運転者席側を前にして移動する、また後部を前にして移動する自動車とは対照的に）コンベアシステムに沿って移動することができる。したがって、被検査物体１の異なる面の画像を、コンベアシステム上の自動車の位置及びその速度に関する既知の情報に基づいて確実に捕捉することができる。例えば、自動車の運転者側の特定の高さに位置するカメラは、バンパー、フェンダー、ホイールウェル、運転者側ドア、クォータパネル、及び自動車の後部バンパーの特定の部分を画像化することを予測できる。コンベアシステムの速度と、自動車が面特性評価システムの視野に入るトリガ時間とに基づいて、自動車の様々な面は、物体の種類（例えば、車の種類、クラス、又はモデル）に関連付けられたプロファイルに従って、異なる時間で撮像されることが予想される
【0101】
いくつかの実施形態では、被検査物体の向きは一致しないことがあり、したがって、偏光カメラ１０によってどの面が撮像されているかを決定するために別個の登録工程を使用することができる。これらの実施形態では、プロファイルは、被検査物体の３次元（３Ｄ）モデル（例えば、物理的物体のコンピュータ支援設計すなわちＣＡＤモデル又は３次元メッシュ又は点群モデル）を含んでいてもよい。したがって、いくつかの実施形態では、自己位置推定と環境地図作成の同時実行（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ （ＳＬＡＭ））が適用されて、被検査物体のどの部分が偏光カメラ１０によって撮像されているかを決定し、決定された位置を用いて、３Ｄモデル上の対応する位置を識別し、それによって３Ｄモデルのどの面が偏光カメラ１０によって撮像されたかを決定できる。例えば、キーポイント検出アルゴリズムを用いて物体の固有の部分を検出でき、キーポイントを用いて３Ｄモデルの向きを物理的な被検査物体１の向きに合わせることができる。
【0102】
このように、本開示のいくつかの実施形態では、予測システム８００の面登録モジュール８２０は、偏光カメラ（及び／又は、表現空間５０内のテンサー）によって捕捉された偏光の生フレーム１８を、物体に関連付けられたプロファイルに基づいて、被監検査物体の特定の部分に登録し、偏光の生フレーム１８によって撮像された現在の面に関連付けられたモデルを、モデル８１０の集まりから選択する。
【0103】
動作６９３で、処理システムは、面分析装置８３０を用いて選択されたモデルを適用して、現在の面の面特性評価出力２０を計算する。本開示の様々な実施形態に係る、様々な種類のモデルの詳細とこれらの異なる種類のモデルに基づいて面分析装置８３０が実行する特定の動作について、以下に詳述する。
【0104】
設計モデル及び代表モデルとの比較による面特性評価
【0105】
本開示のいくつかの実施形態では、記憶されたモデルは、被検査物体の代表モデル（例えば、設計モデル）から計算された表現空間内のフィーチャマップを含み、面分析装置は、捕捉された偏光の生フレーム１８から計算されたフィーチャマップを、同じ表現空間内の記憶された代表的な（例えば、理想的な）フィーチャマップと比較する。
【0106】
例えば、前述したように、本開示のいくつかの実施形態では、表現空間は、直線偏光度（ＤＯＬＰ）ρ及び直線偏光角（ＡＯＬＰ）φを含む。そのようないくつかの実施形態では、モデル８１０は、面に固有の面法線を有する面の基準２Ｄ及び／又は３Ｄモデル（例えば、ＣＡＤモデル）を含む。これらの固有面参照モデルは、設計面法線と呼ばれることがあり、面の設計目標（例えば、面の理想的な形状）であるため、これらの基準モデルは、被検査パッチ（例えば、偏光の生フレーム１８のセットによって撮像される面のパッチ）のグランドトゥルースを表す。
【0107】
そのような実施形態では、フィーチャ抽出システム７００は、偏光を使って形状を求める（ＳｆＰ）理論を用いて面法線を抽出し、これらの面法線は、面登録モジュール８２０によって、面の対応する部分の基準２Ｄ及び／又は３Ｄモデル（例えば、ＣＡＤモデル）と整列される。
【0108】
本実施形態では、面分析装置８３０は、偏光の生フレーム１８から計算された表現空間５０内のテンサーで表される面法線と、モデル８１０のうちの対応する１つのモデルから得た設計面法線とを比較し、異なる領域を識別しフラグを立てるための不一致領域を見つける。例えば、設計面法線の対応する部分（テンサー５０と同じ表現空間内）としきい値を超えた分だけ異なる生偏光フレーム１８から計算された表現空間５０内のテンサーの部分は、不一致又は潜在的な欠陥としてマーキングされ、一方、差異がしきい値未満であるその他の部分は、クリーン（例えば、欠陥がない）としてマーキングされる。本開示の様々な実施形態では、このしきい値は、例えば、被検査面の設計された公差及びシステムの感度に基づいて（例えば、偏光カメラ１０の画像センサ１４内のセンサノイズなどの、システム内のノイズレベルに応じて）設定することができる。
【0109】
さらに、関心の領域が、モデル８１０から選択したモデルからロードされた設計目標から得た計算された面法線と３Ｄ座標との両方を有する場合、いくつかの実施形態では、面分析装置８３０は、各領域を、撮像された面の形状を表す３Ｄ点群に変換し（例えば、偏光の式から得た形状を用いて）、面分析装置８３０は、例えば、３Ｄ点群の形状と、基準３Ｄモデル内の対応する面の形状とを比較することによって、生成された３Ｄ点群をさらに検査し分析する。この比較は、点群内の点と基準３Ｄモデルの面との間の距離を最小にするために、点群を繰り返し配向し直すことを含んでいてもよく、点群に含まれる点は、基準モデルから逸脱し、幾何学的欠陥（例えば、凹み、バリ、又はその他の面の凹凸）に対応し得る被検査面の基準３Ｄモデル領域の面からしきい値の距離を超える分だけ離れている。
【0110】
別の例として、同じ公差を満足する製造部品は、同様の照明下における実質的に同じ偏光パターン（例えば、製造公差による変動がある同じ偏光パターン）を有する。理想的な、又は予想される部分又は基準部分の偏光パターンは、テンプレート偏光パターン又は基準テンサー（モデル８１０のセットから選択されたモデルに対応する）と呼ばれる。これらの実施形態では、フィーチャ抽出システム７００は、被検査物体の面の測定された偏光パターン（例えば、第１の表現空間内の測定されたテンサー、上記のＡＯＬＰ及びＤＯＬＰフィーチャマップ）を抽出する。物体の面が面の微小な凹みなどの異常を含んでいた場合、このパターンは測定された偏光パターンに現れ、この異常は、第１の表現空間内のテンプレート偏光パターン又は基準テンサーとは異なる異常偏光パターン（又は、図１Ｂに示す領域２１などの異常を含む領域を有する）として分類される。一方、欠陥のない面は、テンプレート偏光パターン又は基準テンサーに一致する（例えば、公差の範囲内で）測定された偏光パターンを生成することになる（例えば、測定された偏光パターンが一致する場合には、このパターンはクリーンな偏光パターンとして分類される。
【0111】
本開示の実施形態のいくつかの態様は、テンプレート偏光パターンと測定された偏光パターンとを比較するための算術演算に関する。いくつかの実施形態では、テンプレートと異常偏光パターンとの間の減算又は算術差が、両パターンを比較するために計算される。ただし、図４に示すように、フレネル方程式は、入射角と透過エネルギーと反射エネルギーとの非線形関係をモデル化し、屈折率に従って曲線の形状が変化する（図４は屈折率１．５の場合の例示的な曲線を示す）。異なる入射角での面法線の同様の変化に応じた反射エネルギーのこの非線形の変化は、偏光パターン相互間の比較（例えば、テンプレート偏光パターンと測定された偏光パターンとの比較）を困難にする場合がある。例えば、６０度付近の入射角の１度の変化（例えば、平均入射角が６０度で、面法線の変動により入射角が０．５度変化して６０．５度になった場合）は、１０度付近の同様の変化よりも反射エネルギーの変化が大きい（例えば、平均入射角が０度で、面法線の変動により入射角が０．５度変化して０．５度になった場合）。言い換えれば、これらの実施形態では、非線形現象を相互に比較するための線形メトリックを用いるが、その結果として、曲線のより平坦な近傍部分（例えば、第１の導関数がより小さい曲線部分）における検出性の問題が生じる可能性があり、又は、曲線のより急峻な近傍部分（例えば、第１の導関数がより大きい曲線部分）において信号の飽和又はオーバフローが生じる可能性がある。
【0112】
したがって、本開示の実施形態のいくつかの態様は、入射角と反射又は透過されたエネルギーとの間の非線形関係を考慮したやり方で、テンプレート偏光パターンと測定された偏光パターンとを比較するためのフレネル距離を計算するフレネル減算の使用に関する。したがって、本開示の実施形態のいくつかの態様に係るフレネル減算は、面法線の線形比較を許容する非線形演算子である。実際、フレネル減算は、図４に示す曲線を線形化し、元の向き（例えば、面の平均入射角）が０°か６０°かに関わらず、３０度の相対的な微小面偏差を一貫した異常スコア（例えば、フレネル距離に従って計算された異常スコア）で表すことができる。言い換えれば、フレネル距離は、本開示の実施形態に係るフレネル減算を用いて計算され、２つの偏光パターン間のフレネル距離は、実質的に面の元の向きから独立している（例えば、面に対する平均入射角から実質的に独立している）。本開示のいくつかの実施形態で、フレネル減算関数は、シンボリック回帰のパターンマッチング技法を用いてパラメータ的に学習される。本開示のいくつかの実施形態では、フレネル減算関数は、材料の屈折率及び面の向きに従って、既知のフレネル方程式に基づいて数値的に近似される。この手順は、例えば、面法線の変動が曲線の実質的又は充分に直線的な近傍内に収まるのに充分な小ささであるという前提に基づいて、測定された反射光を、面の近似入射角（例えば、面の実質的に平坦な局所パッチにわたる平均入射角）で反射したエネルギーの割合で除算することで達成される。本開示のいくつかの実施形態では、閉形式方程式は、材料の屈折率などの材料特性の事前知識に基づいて導出される。
【0113】
フレネル方程式は屈折率に依存するため、フレネル減算も材料の屈折率に依存する（例えば、屈折率に応じて図４に示す曲線の形状は変化する）。製造された部品は、異なるパッチ内で（例えば、異なる面上で）異なる屈折率を有することがある。本開示のいくつかの実施形態では、用途に応じて、物体の異なる面に対する感度の必要性を均衡させることに基づいて、標準の屈折率が選択される（例えば、製造された部品の接触面が、製造された部品の非接触面よりも重要であってもよく、接触面の屈折率に近い屈折率を選択できる）。例えば、標準の屈折率を１．５に設定し、この値を充分に近いものと考えてよい。
【0114】
本開示のいくつかの実施形態では、設計面法線を用いたローカル較正を実行して、各パッチについて局所的に平滑な屈折率を決定することにより、各パッチに合わせたより高精度のフレネル減算が可能になる。いくつかの実施形態では、屈折率が、異なるピクセルにわたって変化しないスカラー定数であると前提し、異なるピクセルから得た情報を用いて、所与の材料に対する屈折率の値を推定することによって、ローカル較正が実行される。いくつかの実施形態では、局所較正は、Ｋａｄａｍｂｉ， Ａｃｈｕｔａ， ｅｔ ａｌ． ’Ｐｏｌａｒｉｚｅｄ ３ｄ： Ｈｉｇｈ－ｑｕａｌｉｔｙ ｄｅｐｔｈ ｓｅｎｓｉｎｇ ｗｉｔｈ ｐｏｌａｒｉｚａｔｉｏｎ ｃｕｅｓ．’ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ２０１５の「ｒｅｆｒａｃｔｉｖｅ ｄｉｓｔｏｒｔｉｏｎ」のセクションに記載の技法を用いて屈折率の値を推定することによって実行される。
【0115】
したがって、本開示の実施形態のいくつかの態様は、被検査物体から抽出された偏光の生フレームから抽出された測定されたフィーチャマップ又はテンサーを、基準又はテンプレート物体に対応する基準テンサー又は基準フィーチャマップ又はテンプレートフィーチャマップと比較する（例えば、ＣＡＤモデルなどの、設計から得られる理想的な面に基づいて、又は既知の良好な物体の測定値に基づいて）ことによって、欠陥を検出することに関する。
【0116】
異常検出アルゴリズムを用いた面フィーチャの検出
【0117】
本開示のいくつかの実施形態では、面フィーチャは異常検出を用いて検出される。例えば、いくつかの状況では、被検査物体の１つのインスタンスから次のインスタンスまでの何らかの大幅な変動が予想できる。例えば、製造工程によって、材料が呈する偏光パターンの不規則的で不均一な変動が生じることがある。これらの変動は製造公差内に収まることが可能であるが、全体として物体に対する特定の物理的位置に合わせて調整されない場合がある。例えば、ガラス窓は、１枚のガラスの特定の冷却工程に従って、１つの窓から次の窓へのいくつかの一貫した偏光パターンを呈することができる。これによって、偏光パターンの一貫性のなさが原因で場合によっては欠陥を検出することが困難になる。例えば、テンプレート偏光パターンを生成するために「基準」ガラス窓が使用される場合、このテンプレート偏光パターンと別のガラス窓から得られる測定された偏光パターンとの差は、しきい値が低すぎる値に設定されている場合には欠陥の検出を可能にするが、しきい値が高く設定されている場合には、欠陥が検出されないことがある。いくつかの実施形態では、物理ベースの前処理に基づいて設定される適応型しきい値及び／又はしきい値を使用する。例えば、面が湾曲している場合には、曲率の高い領域がより強い偏光信号を有する傾向がある。したがって、いくつかの実施形態では、この領域のしきい値は、平坦であると推定されるか又は予想される領域のしきい値とは異なるように設定される。この適応型しきい値設定範囲は非常に大きい（例えば、しきい値は、面が異なると数桁も異なる可能性があり、偏光強度は、ほぼ平坦な面と湾曲面との間で２桁異なる可能性がある。
【0118】
したがって、本開示の実施形態のいくつかの態様は、物体における面フィーチャを検出するための異常検出アプローチに関する。例えば、本開示のいくつかの実施形態では、表現空間内のテンサーが、既知の良好な基準サンプルの大きな集まりから抽出される。表現空間内のこれらの基準テンサーは、自然変動（例えば、テンサーの偏光パターンの自然変動）に応じて互いに異なっていてもよい。したがって、１つ又は複数の要約メトリックを、様々な基準テンサーをまとめた表現空間内のこれらの基準テンサー上で計算し、ＤＯＬＰの最大値及び最小値を計算し、又は、面の異なる部分にわたるＡＯＬＰの分布を特性評価し、又は、異なるレベルのＤＯＬＰにおける遷移の平滑さを特性評価することができる。次いで、既知の良好な物体のセットのこれらの要約メトリックの統計分布を、面を特性評価するための記憶されたモデル８１０の一部として記憶することができる。
【0119】
本開示のこれらの実施形態では、このアプローチに基づいて、記憶されたモデル８１０は、偏光の生フレーム１８（又は表現空間５０内の計算されたテンサー）の登録に基づいてロードされる物体の特定の面の一般に予想される特性の統計モデルとしての異常検出モデルを含み、同様の要約メトリックが、被検査面から得た計算されたテンサー５０に対して行われる被検査面の測定から計算される。被検査面に対するこれらの要約メトリックが、異常検出モデルで表される既知の良好なサンプルからのメトリックの分布範囲内にある場合、面のこの特定の部分は、クリーンであるとマークされても、欠陥がないものとしてマークされてもよい。他方、これらの測定値の１つ以上が測定値の分布範囲外にある場合（例えば、平均値から標準偏差の３つ分以上離れている場合などの、既知の良好なサンプルの分布範囲からしきい値距離を超えた分だけ離れている場合）、面は欠陥を含むものとしてマークされてもよい。
【0120】
訓練済み畳み込みニューラルネットワークを用いた面特性検出
【0121】
本開示のいくつかの実施形態では、記憶されたモデル８１０は、表現空間内の供給されたテンサーに基づいて物体の面の１つ又は複数の欠陥を検出するように訓練された訓練済み畳み込みニューラルネットワーク（ＣＮＮ）を含む。これらのＣＮＮは、ラベリングされた訓練データ（例えば、表現空間内の訓練テンサーを用いてニューラルネットワークへの接続の重みを訓練して、ラベリングされた訓練データに基づいて欠陥部分にラベリングする出力を計算する対象のデータ）に基づいて訓練できる。
【0122】
本開示のいくつかの実施形態では、モデルは、欠陥の意味セグメンテーションのためのエンコーダ／デコーダニューラルネットワーク又はＵ－ｎｅｔアーキテクチャの１つ以上を用いて実施される。Ｕ－ｎｅｔは、マルチスケール情報を伝播することを可能にする。本開示のいくつかの実施形態では、意味セグメンテーション及び／又はインスタンスセグメンテーションのためのＣＮＮアーキテクチャは、偏光訓練データ（例えば、トレーニング入力としての偏光の生フレームを含むトレーニングデータと、ラベリングされた訓練出力としてのセグメンテーションマスクとを含む訓練データ）を用いて訓練される。
【0123】
深層インスタンスセグメンテーションを使用する本開示の一実施形態は、マスク領域ベースの畳み込みニューラルネットワーク（マスクＲ－ＣＮＮ）アーキテクチャのモディフィケーション（ｍｏｄｉｆｉｃａｔｉｏｎ）による偏光マスクＲ－ＣＮＮアーキテクチャの形成に基づく。マスクＲ－ＣＮＮは、画像強度値のＨ×Ｗ×３テンサーの画像強度値である入力画像ｘ（例えば、赤、緑、青のチャネルで表す高さ×幅×色強度）を取り込み、バックボーンネットワークＣ＝Ｂ（ｘ）を通して入力画像ｘを実行することによって作用する。バックボーンネットワークＢ（ｘ）は、入力画像から有用な学習済みフィーチャを抽出する作業を担当し、以下のような任意の標準ＣＮＮアーキテクチャであってもよい。ＡｌｅｘＮｅｔ（例えば、Ｋｒｉｚｈｅｖｓｋｙ， Ａｌｅｘ， Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ， ａｎｄ Ｇｅｏｆｆｒｅｙ Ｅ． Ｈｉｎｔｏｎ． ’ＩｍａｇｅＮｅｔ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．’ Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍｓ． ２０１２を参照）、ＶＧＧ（例えば、Ｓｉｍｏｎｙａｎ， Ｋａｒｅｎ， ａｎｄ Ａｎｄｒｅｗ Ｚｉｓｓｅｒｍａｎ． ’Ｖｅｒｙ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｌａｒｇｅ－ｓｃａｌｅ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ．’ ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１４０９．１５５６ （２０１４）を参照）、ＲｅｓＮｅｔ―１０１（例えば、Ｋａｉｍｉｎｇ Ｈｅ， Ｘｉａｎｇｙｕ Ｚｈａｎｇ， Ｓｈａｏｑｉｎｇ Ｒｅｎ， ａｎｄ Ｊｉａｎ Ｓｕｎ． Ｄｅｅｐ ｒｅｓｉｄｕａｌ ｌｅａｒｎｉｎｇ ｆｏｒ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐａｇｅｓ ７７０‐７７８， ２０１６を参照）、ＭｏｂｉｌｅＮｅｔ（例えば、Ｈｏｗａｒｄ， Ａｎｄｒｅｗ Ｇ．他’Ｍｏｂｉｌｅｎｅｔｓ： Ｅｆｆｉｃｉｅｎｔ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｂｉｌｅ ｖｉｓｉｏｎ ａｐｐｌｉｃａｔｉｏｎｓ．’ ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１７０４．０４８６１ （２０１７）を参照）、ＭｏｂｉｌｅＮｅｔＶ２（例えば、Ｓａｎｄｌｅｒ， Ｍａｒｋ他’ＭｏｂｉｌｅＮｅｔＶ２： Ｉｎｖｅｒｔｅｄ ｒｅｓｉｄｕａｌｓ ａｎｄ ｌｉｎｅａｒ ｂｏｔｔｌｅｎｅｃｋｓ．’ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ． ２０１８を参照）、及びＭｏｂｉｌｅＮｅｔＶ３（例えば、Ｈｏｗａｒｄ， Ａｎｄｒｅｗ他’Ｓｅａｒｃｈｉｎｇ ｆｏｒ ＭｏｂｉｌｅＮｅｔＶ３．’ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ． ２０１９を参照）。
【0124】
バックボーンネットワークＢ（ｘ）は、テンサーのセット、例えば、各テンサーＣｉが異なる解像度フィーチャマップを表すＣ＝｛Ｃ１， Ｃ２， Ｃ３、 Ｃ４， Ｃ５｝を出力する。これらのフィーチャマップは、次に、フィーチャピラミッドネットワーク（ＦＰＮ）内に組み合わされ（例えば、Ｔｓｕｎｇ－Ｙｉ Ｌｉｎ， Ｐｉｏｔｒ Ｄｏｌｌ´ａｒ， Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ，Ｋａｉｍｉｎｇ Ｈｅ， Ｂｈａｒａｔｈ Ｈａｒｉｈａｒａｎ、及びＳｅｒｇｅ Ｂｅｌｏｎｇｉｅ． Ｆｅａｔｕｒｅ ｐｙｒａｍｉｄ ｎｅｔｗｏｒｋｓ ｆｏｒ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ｐａｇｅｓ ２１１７‐２１２５， ２０１７を参照）、領域提案ネットワーク（ＲＰＮ）で処理され（例えば、Ｓｈａｏｑｉｎｇ Ｒｅｎ， Ｋａｉｍｉｎｇ Ｈｅ， Ｒｏｓｓ Ｇｉｒｓｈｉｃｋ、及びＪｉａｎ Ｓｕｎ． Ｆａｓｔｅｒ ｒ－ｃｎｎ： Ｔｏｗａｒｄｓ ｒｅａｌ－ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ ｗｉｔｈ ｒｅｇｉｏｎ ｐｒｏｐｏｓａｌ ｎｅｔｗｏｒｋｓ． Ｉｎ Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ， ｐａｇｅｓ ９１‐９９， ２０１５を参照）、そして、出力サブネットワークを通して渡されて（例えば、Ｒｅｎ他、及びＨｅ他、上記）、 クラス、バウンディングボックス、及びピクセル単位のセグメンテーションを生成する。これらは、例えばセグメンテーションのための非最大抑制にマージされる。
【0125】
いくつかの実施形態では、マスクＲ－ＣＮＮアーキテクチャは、偏光表現空間内のテンサーを含むいくつかの入力テンサーを取得するように構成された、偏光マスクＲ－ＣＮＮアーキテクチャのコンポーネントとして使用され、第２の表現空間内のマルチスケールの第２のテンサーを計算するように構成される。いくつかの実施形態では、異なる第１の表現空間内のテンサーは、異なる「モード」と呼ばれ、各モードのテンサーは各モードのための別々のマスクＲ－ＣＮＮバックボーンに供給されてもよい。これらのバックボーンの各々は、複数のスケール又は解像度（例えば、入力された第１のテンサーの異なるスケーリングされたバージョンに対応する）でモードテンサーを計算し、異なるモードについて各スケールで計算されたモードテンサーは融合されて、スケールの各々の融合テンサーが生成される。次に、融合テンサー又は第２のテンサーを予測モジュールに供給でき、予測モジュールは、融合テンサー又は第２のテンサーに基づいて予測（例えば、面特性の識別）を計算するように訓練される。偏光されたマスクＲ－ＣＮＮアーキテクチャは、その開示内容全体を参照により本明細書に援用される、２０２０年３月２９日に米国特許商標庁に出願された米国特許仮出願第６３／００１，４４５号明細書及び２０２０年８月２８日に米国特許商標庁に出願された国際特許出願第ＰＣＴ／ＵＳ２０／４８６０４号明細書に詳述されている。
【0126】
本開示のいくつかの実施形態は、マスクＲ－ＣＮＮバックボーンを含む偏光ＣＮＮアーキテクチャを用いた面特性評価に関するものであるが、本開示の実施形態はこれに限定されず、その他のバックボーン、例えば、ＡｌｅｘＮｅｔ、ＶＧＧ、ＭｏｂｉｌｅＮｅｔ、ＭｏｂｉｌｅＮｅｔＶ２、ＭｏｂｉｌｅＮｅｔＶ３、及び同種のものは、マスクＲ－ＣＮＮバックボーンの１つ以上の代わりに（例えば、全ての代わりに）同様の方法で修正することができる。
【0127】
したがって、本開示のいくつかの実施形態では、偏光マスクＲ－ＣＮＮアーキテクチャのような訓練済み畳み込みニューラルネットワークＣＮＮに、偏光フィーチャ表現空間内のテンサーを含む第１のテンサーを供給して、セグメンテーションマップを計算することによって、面特性評価の結果２０が計算され、セグメンテーションマップは、特定の面特性（例えば、亀裂、打痕、不均一な塗料、面汚染物の存在、及び同種のものなどの面欠陥、又は、面平滑性対粗さ、面平坦度対曲率、及び同種のものなどの面フィーチャ）に対応する入力画像（例えば、入力偏光の生フレーム）の位置又は部分を識別する。
【0128】
分類装置を用いた面特性検出
【0129】
本開示のいくつかの実施形態では、対象の様々な面特性（例えば、欠陥を含む）を含む被検査面の領域を識別するために畳み込みニューラルネットワークを使用する代わりに、モデル８１０は、所与の入力を１つ又は複数のカテゴリに分類する訓練済み分類装置を含む。例えば、訓練済み分類装置は、分類装置が検出するように訓練される異なる可能な面特性の数に等しい長さを有するベクトルを含む特性評価出力２０を計算することができ、ベクトル内の各値は、入力画像が対応する面特性を描くという１つのコンフィデンス（ｃｏｎｆｉｄｅｎｃｅ）に対応する。
【0130】
分類装置は、固定サイズの入力画像を取得するように訓練でき、入力は、例えば、生の偏光フレームから第１の表現空間内の第１のテンサーを抽出し、第１のテンサー全体を分類装置への入力として供給するか、又は第１のテンサーを固定サイズのブロックに分割することによって計算できる。本開示の様々な実施形態では、分類装置は、例えば、支持ベクトル機械、深層ニューラルネットワーク（例えば、深層全結合型ニューラルネットワーク）などを用いることができる
【0131】
統計モデルを訓練するための訓練データ
【0132】
本開示の実施形態のいくつかの態様は、面フィーチャを検出するための訓練データを作成することに関する。いくつかの状況では、手動でラベリングされた（例えば、人間によってラベリングされた）訓練データが利用可能であり、その方法は、例えば、偏光カメラを使用して物体の面の偏光の生フレームを手動で捕捉し、関心の面特性（例えば、異なる種類の材料の境界、打痕や亀裂などの欠陥の場所、又は平滑であると予想される面の粗い部分などの面の凹凸）を含むものとして画像領域にラベリングするという方法である。これらの手動でラベリングされた訓練データは、上記の異常検出装置又は畳み込みニューラルネットワークのような統計モデルを訓練するための訓練セットの一部として使用されてもよい
【0133】
手動でラベリングされた訓練データは、概して良好な訓練データであると考えられるが、この手動でラベリングされたデータは、良好な統計モデルを訓練するには大きさが足りないことがある。したがって、本開示の実施形態のいくつかの態様は、追加の訓練データを合成することを含めて、訓練データセットを拡大することに関する。
【0134】
本開示のいくつかの実施形態では、コンピュータグラフィックス技法を用いて、関心の面特性ありで、また、関心の面特性なしで、訓練対象データが合成される。例えば、検出装置を訓練して面欠陥を検出する場合には、欠陥のない面の偏光の生フレームを、亀裂、欠けあと、バリ、不均一な塗料、及び同種のものなどの欠陥を示す偏光の生フレームと組み合わせることができる。これらの別々の画像は、コンピュータグラフィックス技法を用いて組み合わせることができる（例えば、欠陥のない面の偏光の生フレーム上に欠陥の偏光の生フレーム画像をプログラム的にクローン化又は合成して欠陥を含む面の偏光の生フレームをシミュレート又は合成するための画像編集ツール）。合成された欠陥は、クリーンな面の物理的に合理的な位置に配置されてもよい（例えば、ガラス窓上などの物理的に非現実的な領域に打設できず配置できないドアパネルの部分の画像に、ドアパネルの凹みの画像を合成し、同様に、ガラス面内の欠けあとをプラスチックトリムの画像上ではなくガラス面に合成してもよい。
【0135】
別の例として、本開示のいくつかの実施形態では、敵対的生成ネットワーク（ＧＡＮ）が合成データを生成するように訓練され、生成ネットワークが欠陥を示す偏光の生フレームを合成するように訓練され、判定ネットワークが当該ネットワークへの入力が真正の偏光の生フレームであるか、又は合成されたものであるか（例えば、生成ネットワークによって）を決定するように訓練される。
【0136】
本開示のいくつかの実施形態では、「ドメインランダム化」として知られる技法を用いて、シミュレート又は合成された訓練データに「ランダム」画像ベースのパーチュベーションを付加して、合成された訓練データをより厳密に現実世界のデータに類似させる。例えば、本開示のいくつかの実施形態では、回転増強が訓練データに適用され、様々なフィーチャの回転バージョンで訓練データを増大させる。これは、自然画像で良好に表現されていない極端なアスペクト比を有する欠陥（例えば、傷）の検出の正確度にとって特に有益であり得る。
【0137】
本開示の様々な実施形態で、統計モデルは、対応する技法に基づいて訓練データを用いて訓練される。例えば、異常検出アプローチを用いる実施形態では、良好なデータ点の平均及び分散のような様々な統計が良好なデータのセットについて計算され、所与のサンプルが許容可能か、又は異常であるか（例えば、欠陥がある）を決定するためのしきい値距離（例えば、２つの標準偏差）を決定する。畳み込みニューラルネットワーク（例えば、偏光マスクＲ－ＣＮＮ）などのニューラルネットワークを使用する実施形態では、訓練工程は、ニューラルネットワークの様々な層のニューロン間の接続の重みを逆伝播アルゴリズムに従って更新し、勾配降下を用いて、ニューラルネットワークの出力とラベリングされた訓練データとの間の誤差（又は損失）を最小にするように重みを繰り返し調整することを含んでいてもよい。
【0138】
したがって、本開示の実施形態の態様は、組立ラインから脱落する製造された部品の自動化された検査のためのような面の自動的な特性評価のためのシステム及び方法を提供する。これらの自動化工程は、自動化及びその結果としての検査における肉体労働の低減だけでなく、製品自体の異常のロバストで正確な処理（例えば、製造ストリームから不良品を自動的に除去すること）によって、製造業者の費用節約を可能にする。
【0139】
いくつかの好ましい実施形態に関連して本発明を説明してきたが、本発明は開示された実施形態に限定されるものではなく、逆に、添付の請求の範囲及び請求の範囲の同等物の主旨及び範囲に含まれる様々な修正及び同等の構成を包含するように意図されていることを理解されたい。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【国際調査報告】