特許 7489240 自動表面評価のためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-15

(45)【発行日】2024-05-23

(54)【発明の名称】自動表面評価のためのシステム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240516BHJP

   G06T 7/174 20170101ALI20240516BHJP

【ＦＩ】

G06T7/00 350C

G06T7/174

【請求項の数】 16

(21)【出願番号】P 2020106950

(22)【出願日】2020-06-22

(65)【公開番号】P2021022369

(43)【公開日】2021-02-18

【審査請求日】2023-06-21

(31)【優先権主張番号】16/522,510

(32)【優先日】2019-07-25

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】504407000

【氏名又は名称】パロ アルト リサーチ センター，エルエルシー

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(72)【発明者】

【氏名】ロバート・アール・プライス

【審査官】▲柳▼谷 侑

(56)【参考文献】

【文献】国際公開第２０１６／１５７３４９（ＷＯ，Ａ１）

【文献】米国特許出願公開第２００７／０２１７６７２（ＵＳ，Ａ１）

【文献】Kyosuke Komoto et al.，A Performance Evaluation of Defect Detection by using Denoising AutoEncoder Generative Adversarial Networks，[online]，2018年03月31日，https://ieeexplore.ieee.org/document/8369766

【文献】Praveer Singh et al.， Cloud-Gan: Cloud Removal for Sentinel-2 Imagery Using a Cyclic Consistent Generative Adversarial Networks，[online]，2018年11月04日，https://ieeexplore.ieee.org/document/8519033

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／１７４

(57)【特許請求の範囲】

【請求項1】

汚染を検出するために対象物の表面を評価する方法であって、
前記対象物上の前記汚染を示す入力画像を取得することと、
前記入力画像に関連付けられた深度情報を決定することと、
前記入力画像に基づいて人工知能（ＡＩ）モデルを使用して、合成画像を生成することであって、前記合成画像が、前記汚染のない前記対象物を示す、生成することと、
前記入力画像と前記合成画像との差分を決定して、前記汚染に対応する画像領域を識別することと、
１つ又は複数の画像強調操作に基づいて、前記画像領域をハイライトすることによって、汚染の汚染マップを生成することと、
前記深度情報を前記汚染マップに組み込んで、強調汚染マップを生成することと、
前記強調汚染マップに基づいて汚染除去装置の軌道のセットを生成することであって、それぞれの軌道が、前記軌道に対応する深度での前記対象物上の汚染箇所を覆う、生成することと、
を含む、方法。

【請求項2】

前記ＡＩモデルが、周期の一貫した敵対的生成ネットワーク（ＣＣ－ＧＡＮ）を含む、請求項１に記載の方法。

【請求項3】

前記ＣＣ－ＧＡＮが２セットの画像サンプルでトレーニングされ、前記２セットの画像サンプルのうちの第１の画像サンプルが、汚染を伴う前記対象物の画像を含み、前記２セットの画像サンプルのうちの第２の画像サンプルが、汚染のない前記対象物の画像を含み、前記入力画像内に示される前記汚染が、前記２セットの画像サンプルの中に存在しない、請求項２に記載の方法。

【請求項4】

前記入力画像と前記合成画像との差分が、赤－緑－青（ＲＧＢ）空間、
色相、彩度、明度（ＨＳＬ）空間、及び色相、彩度、値（ＨＳＶ）空間のうちの１つ又は複数の画素差分である、請求項１に記載の方法。

【請求項5】

前記画像強調操作が、拡張、平滑化、閾値処理、及び深層分割ネットワークに関連付けられた操作のセットのうちの１つ又は複数を含む、請求項１に記載の方法。

【請求項6】

前記深度情報を組み込むことが、
前記深度情報に基づいて、前記対象物の幾何学的形状を表すメッシュを決定することと、
前記汚染マップ内に示された汚染領域を、前記メッシュ内の対応する箇所に投影することと
を含む、請求項１に記載の方法。

【請求項7】

前記対象物のための汚染マップのセットを生成することを更に含み、それぞれの汚染マップが前記対象物の視点を示す、請求項１に記載の方法。

【請求項8】

前記汚染マップを生成することが、前記入力画像の背景及び前記対象物の汚染されていない要素を除外することを含む、請求項１に記載の方法。

【請求項9】

コンピュータによって実行されると、前記コンピュータに、汚染を検出するために対象物の表面を評価する方法を実行させる命令を記憶する非一時的コンピュータ可読記憶媒体であって、前記方法が、
前記対象物上の前記汚染を示す入力画像を取得することと、
前記入力画像に関連付けられた深度情報を決定することと、
前記入力画像に基づいて人工知能（ＡＩ）モデルを使用して、合成画像を生成することであって、前記合成画像が、前記汚染のない前記対象物を示す、生成することと、
前記入力画像と前記合成画像との差分を決定して、前記汚染に対応する画像領域を識別することと、
１つ又は複数の画像強調操作に基づいて、前記画像領域をハイライトすることによって、前記汚染の汚染マップを生成することと、
前記深度情報を前記汚染マップに組み込んで、強調汚染マップを生成することと、
前記強調汚染マップに基づいて汚染除去装置の軌道のセットを生成することであって、それぞれの軌道が、前記軌道に対応する深度での前記対象物上の汚染箇所を覆う、生成することと、
を含む、非一時的コンピュータ可読記憶媒体。

【請求項10】

前記ＡＩモデルが、周期の一貫した敵対的生成ネットワーク（ＣＣ－ＧＡＮ）を含む、請求項９に記載のコンピュータ可読記憶媒体。

【請求項11】

前記ＣＣ－ＧＡＮが２セットの画像サンプルでトレーニングされ、前記２セットの画像サンプルのうちの第１の画像サンプルが、汚染を伴う前記対象物の画像を含み、前記２セットの画像サンプルのうちの第２の画像サンプルが、汚染のない前記対象物の画像を含み、前記入力画像内に示される前記汚染が、前記２セットの画像サンプルの中に存在しない、請求項１０に記載のコンピュータ可読記憶媒体。

【請求項12】

前記入力画像と前記合成画像との差分が、赤－緑－青（ＲＧＢ）空間、
色相、彩度、明度（ＨＳＬ）空間、及び色相、彩度、値（ＨＳＶ）空間のうちの１つ又は複数の画素差分である、請求項９に記載のコンピュータ可読記憶媒体。

【請求項13】

前記画像強調操作が、拡張、平滑化、閾値処理、及び深層分割ネットワークに関連付けられた操作のセットのうちの１つ又は複数を含む、請求項９に記載のコンピュータ可読記憶媒体。

【請求項14】

前記深度情報を組み込むことが、
前記深度情報に基づいて、前記対象物の幾何学的形状を表すメッシュを決定することと、
前記汚染マップ内に示された汚染領域を、前記メッシュ内の対応する箇所に投影することと
を含む、請求項９に記載のコンピュータ可読記憶媒体。

【請求項15】

前記方法が、前記対象物のための汚染マップのセットを生成することを更に含み、それぞれの汚染マップが前記対象物の視点を示す、請求項９に記載のコンピュータ可読記憶媒体。

【請求項16】

前記汚染マップを生成することが、前記入力画像の背景及び前記対象物の汚染されていない要素を除外することを含む、請求項９に記載のコンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般的に人工知能（ＡＩ）の分野に関連する。より具体的には、本開示は、デバイスの表面の状態を自動的に評価するためのシステム及び方法に関する。

【背景技術】

【0002】

デバイス使用の急激な増加は、顕著なデバイスのターンオーバーにつながってきた。ターンオーバー時には、デバイスは、典型的には、再販売のために再洗浄及び／又は汚染除去される。表面上の欠陥を決定するために使用することができる自動目視検査を使用して、入来装置を自動的にトリアージすることができ、自動洗浄システムのための手引きを提供し、又は再製造プロセスに品質管理を提供することができる。１つの一般的な手法は、製品の表面の画像を捕捉し、画像のパッチ上の特徴を計算することである。次いで、分類指標が、パッチを「正常」又は「欠陥」としてラベル付けするために使用され得る。これらの技術は、繰り返されるテクスチャを有する連続シート材料を検査するのに好適である。しかしながら、このような技術は、複雑な幾何学的形状及び複数の材料を有する装置の欠陥を捕捉できない可能性がある。

【0003】

プリント回路基板検査産業は、複雑な表面で作業する技術を開発してきた。プリント回路基板（ＰＣＢ）検査は、画素マッチング技術及び設計ファイルに基づいて、複雑で詳細かつ完全に明示された構造を有する画像を使用することができる。このような技術は、過剰なはんだ及びはんだフィレットの体積及び形状の問題を検出することができ、並びに欠落した、又は不正確な構成要素、誤った配向の構成要素、及び曲がった導線を検出することができる。しかしながら、これらの検査システムは、製品の完全かつ詳細な仕様書を必要とし、影及びオクルージョンを生成し得る複雑な幾何学的形状を持たない平面回路基板のためだけに機能する。

【0004】

ニューラルネットワーク方法は、バナナの自動等級付け又は温度ヒューズの欠陥の検出など、正式に特定することが困難な対象物を分類するようにトレーニングされ得る。事前の特徴抽出なしに画像に付加され得る深層畳込みニューラルネットワーク（ＣＮＮ）は、糖尿病性網膜症によって引き起こされる眼の画像における血管ネットワークの微妙な損傷を検出するために使用されてきた。ＣＮＮは、製造プロセスにおける汚れ、傷、及びバリを検出するためにもまた使用されてきた。しかしながら、ＣＮＮ法は、製造のために十分な精度に達成するために、多数のラベル付きトレーニングデータを必要としきた。その結果、ＣＮＮベースの技術は、特定の問題に限定される可能性があり、一般的な解決策を提供できない可能性がある。

【0005】

既存のＡＩベースの解決策は、多くの望ましい機能を自動汚染検出にもたらすが、しかし不均一な表面の効率的な評価のためのいくつかの問題は、未解決のままである。

【発明の概要】

【0006】

本明細書に記載される実施形態は、汚染又は他の欠陥を検出するために対象物の表面を評価するためのシステムを提供する。操作中、システムは、対象物上の汚染を示す入力画像を取得し、入力画像に基づいて人工知能（ＡＩ）モデルを使用して合成画像を生成する。合成画像は、汚染のない対象物を示すことができる。次いで、システムは、入力画像と合成画像との差分を決定して、汚染に対応する画像領域を識別する。続いて、システムは、１つ又は複数の画像強調操作に基づいて、画像領域をハイライトすることによって汚染の汚染マップを生成する。

【0007】

この実施形態の変形例では、ＡＩモデルが、周期の一貫した敵対的生成ネットワーク（ＣＣ－ＧＡＮ）を含む。

【0008】

変形例では、ＣＣ－ＧＡＮは、２セットの画像サンプルでトレーニングされる。２セットの画像サンプルのうちの第１の画像サンプルは、汚染のある対象物の画像を含むことができ、２セットの画像サンプルのうちの第２の画像サンプルは、汚染なしの対象物の画像を含むことができる。更に、入力画像に示される汚染は、２セットの画像サンプルの中に存在しない可能性がある。

【0009】

この実施形態の変形例では、入力画像と合成画像との差分が、赤－緑－青（ＲＧＢ）空間、色相、彩度、明度（ＨＳＬ）空間、及び色相、彩度、値（ＨＳＶ）空間の１つ又は複数内の画素差分である。

【0010】

この実施形態の変形例では、画像強調操作が、拡張、平滑化、閾値処理、及び深層分割ネットワークに関連付けられた操作のセットのうちの１つ又は複数を含む。

【0011】

この実施形態の変形例では、システムは、入力画像に関連付けられた深度情報を決定し、深度情報を汚染マップに組み込み、強調汚染マップを生成する。

【0012】

更なる変形例では、システムは、強調汚染マップに基づいて、汚染除去装置の軌道のセットを生成する。それぞれの軌道は、軌道に対応する深度で対象物上の汚染箇所を覆うことができる。

【0013】

更なる変形例では、システムは、深度情報に基づいて、対象物の幾何学的形状を表すメッシュを決定し、汚染マップ内に示される汚染領域をメッシュ内の対応する箇所に投影することによって、深度情報を組み込む。

【0014】

この実施形態の変形例では、システムは、対象物のための汚染マップのセットを生成する。それぞれの汚染マップは、対象物の視点を示すことができる。これにより、システムは、対象物が全ての側面から検査され、及び／又は洗浄され得るように、対象物の複数の視点を請求することができる。

【0015】

この実施形態の変形例では、システムは、入力画像の背景及び対象物の汚染されていない要素を除外することによって汚染マップを生成する。

【図面の簡単な説明】

【0016】

【図1】本出願の一実施形態による、例示的な表面評価システムを示す図である。

【図2】本出願の一実施形態による、以前に知られていない汚染物について例示的な一般的な表面評価を示す図である。

【図3A】本出願の一実施形態による、対象物の表面上の汚染をハイライトする画像の例示的な生成を示す図である。

【図3B】本出願の一実施形態による、対象物の深度情報に基づいた汚染除去装置の強調汚染マップの例示的な生成を示す図である。

【図4】本出願の一実施形態による、異なる視点からの対象物の深度情報に基づく汚染除去装置の軌道の例示的な生成を示す図である。

【図5A】本出願の一実施形態による、対象物の表面上の汚染をハイライトする深層強調画像を生成する表面評価システムの方法を示すフローチャートである。

【図5B】本出願の一実施形態による、対象物の表面上の汚染をハイライトする画像を生成する表面評価システムの方法を示すフローチャートである。

【図6】本出願の一実施形態による、対象物の深度情報に基づいて、汚染除去装置の軌道を生成する表面評価システムの方法を示すフローチャートである。

【図7】本出願の一実施形態による、表面評価システムを容易にする例示的なコンピュータシステムを示す図である。

【図8】本出願の一実施形態による、表面評価システムを容易にする例示的な装置を示す図である。

【0017】

図面において、同様の参照番号は、同じ図要素を指す。

【発明を実施するための形態】

【0018】

以下の説明は、当業者が実施形態を作製及び使用することを可能にするために提示され、特定の用途及びその要件に関連して提供される。開示される実施形態に対する様々な修正は、当業者には容易に明らかとなり、本明細書で定義される一般原理は、本開示の趣旨及び範囲から逸脱することなく、他の実施形態及び用途に適用され得る。したがって、本明細書に記載される実施形態は、示される実施形態に限定されるものではなく、本明細書に開示される原理及び特徴と一致する最も広い範囲を与えられるものである。

【0019】

概要
本明細書に記載される実施形態は、（ｉ）カメラ画像からの対象物の画像の位置合わせされた基準（例えば、透明なバージョン）を自動的に合成すること、及び画像上の汚染又は他の欠陥をハイライトすることによって、並びに（ｉｉ）対象物の幾何学的及び深度情報に基づいて、１つ又は複数の軌道を生成することによって、制約のない視点及び可変の照明状態における対象物の表面評価を容易にするという問題を解決する。

【0020】

既存の技術は、複雑な電気機械システムの検査及び汚染除去を容易にするために十分に装備されていない。対象物のための汚染除去プロセスを自動化するために、自動化プロセスは、対象物上の箇所及び汚染の種類の詳細なマップを必要とする。そのような要件は、不規則な形状、ノイズの多い表面テクスチャ、照明の変化、及び対象物のオクルージョンを伴う対象物にとって困難である可能性がある。更に、汚染の色、厚さ、及び付着の可能な全ての変化は、汚染除去システムにとって既知ではない可能性がある。加えて、汚染除去システムはまた、傷などの永久的な欠陥と除去可能な汚染とを区別する必要がある。実際にレンダリングされた表面を有する対象物の詳細なモデルは、入手可能ではないことが多い。その結果、製品特有又は汚染特有のシステムは、対象物及び汚染物に関連する変化を裏付けることができる解決策を提供することができない。

【0021】

これらの問題を解決するために、本明細書に記載される実施形態は、制約されないポーズ及び可変照明状態における対象物上の汚染の大きな変化を効率的かつ正確にマッピングする表面評価システムを提供する。システムは、対象物の画像上で直接トレーニングされることができ、基準図及び汚染図の一致した対を必要としない。このシステムは、異なる形態を取り、異なる背景上に現れる汚染をハイライトするために、深層周期の一貫した敵対的生成ネットワーク（ＣＣ－ＧＡＮ）を使用することができる。ＧＡＮは、合成だが現実的な画像などの合成データを生成するために一般的になった。これを行うために、ＧＡＮは、典型的には、生成器ニューラルネットワーク（生成器と呼ばれる）と、識別器ニューラルネットワーク（識別器と呼ばれる）とを含む。

【0022】

ＣＣ－ＧＡＮは、別のクラスの画像に基づいて画像のクラスを生成することができる特定のクラスのＧＡＮである。換言すれば、ＣＣ－ＧＡＮは、クラスが著しい全体的な構造を共有する場合、別のクラスのインスタンスから標的クラス内の対象物を合成することができる。ＣＣ－ＧＡＮの生成器は、入力画像に基づいて画像サンプルを生成することができる。生成器は、生成された画像が標的クラスに属することを識別器に「納得させる」ことによって、画像サンプルの品質を改善するように試みることができる。識別器は、生成された画像サンプルが標的クラスに属するかどうかを決定するタスクを課される。結果として、複数回の反復によって、生成器は、標的クラスの画像の統計的特性を組み込む画像を生成することを学習する。

【0023】

操作中、対象物上の汚染を検出するために、システムは、汚染された対象物の画像からクリーンな（例えば、汚染のない）画像を合成する。次いで、システムは、元の画像を合成画像と比較して、対象物の表面を評価し、汚染の箇所を特定する。このようにして、システムは、不規則な形状、オクルージョン、影、及び意識逸らし表面テクスチャを有する複雑な対象物上の汚染を検出することができる。合成画像を生成するために、システムは、汚染された対象物の元の画像上にＣＣ－ＧＡＮを使用することができる。次いで、ＣＣ－ＧＡＮは、汚染のない対象物を描写する合成画像（すなわち、標的クラスに属する画像）を生成する。合成画像は、対象物の再構成を描写するため、合成画像は、再構成画像と呼ばれ得る。

【0024】

次いで、システムは、再構成画像と元の画像との間に画素差分演算を適用することができる。いくつかの実施形態では、システムは、対応する赤－緑－青（ＲＧＢ）値、色相、彩度、明度（ＨＳＬ）表現、及び色相、彩度、値（ＨＳＶ）表現のうちの１つ又は複数に基づいて、画素差分を決定する。例えば、再構成画像及び元の画像がハイパースペクトル画像に基づく場合、視覚チャンネルはＲＧＢ値よりも大きくなることができ、又はハイパースペクトルチャンネル（例えば、紫外線）になることができる。更に、Ｘ線などの他の撮像方法をシステムと共に使用することができる。次いで、システムは、結果として得られる差分に拡張、平滑化、及び閾値処理を適用する。このプロセスは、対象物の画像上の汚染をハイライトし、それによって対象物の汚染マップを生成する。このシステムはまた、汚染領域を識別するための深層分割ネットワークを使用することもできる。この拡張操作者はまた、ノイズの多いマップを平滑化して、より一貫した領域を生成する。システムは、この汚染マップを対象物の再構成画像から生成するので、汚染マップは、画像内の対象物の背景を見逃し、対象物の汚染されていない要素を除外することができる。合成画像は、元の画像の中に示されるポーズ、照明、構成オプション、及び非機能的欠陥に一致することができる。

【0025】

この技術の重要な特徴は、システムが、同じポーズでクリーンな状態、及び汚染された状態を示す同一の対象物を特徴とする一致した対でトレーニングされる必要がないことである。汚染の可能性のあるあらゆる形態について、同じポーズ及び照明下で、汚染された部分と、汚染されていない部分との正確に一致する例を用意することは困難であろう。その代わりに、システムは、クリーンな画像又は参照画像の１つのセットと、異なるポーズにおける異なる対象物であり得る、いくつかの汚染された対象物の画像の第２のセットとによってトレーニングされ得る。

【0026】

ＣＣ－ＧＡＮに基づいて、システムは、予め指定されたモデルに依存する方法に比べて、増加された一般化を提供することができる。システムが１つの対象物の画像によってトレーニングされている場合、トレーニングされたシステムは、トレーニングに使用される対象物からのわずかな変化を有する別の対象物の表面を評価することができる。例えば、汚染を検出するためにシステムがプリンタの表面を評価するようにトレーニングされる場合、システムは、トレーニングに使用されるプリンタと同じシリーズに属する別のモデルのプリンタ上の汚染を検出することができる。これにより、システムをトレーニングするためのデータ収集及びラベル付けプロセスが簡略化される。

【0027】

例示的なシステム
図１は、本出願の一実施形態による、例示的な表面評価システムを示す。この例では、環境１００は、汚染除去装置１３６の汚染除去操作を制御することができるアプリケーションサーバ１３４を含む。汚染除去装置１３６は、対象物から汚染物を除去することができる任意の装置であり得る。例えば、汚染除去装置１３６は、内部で汚染除去剤（例えば、過酸化水素蒸気（ＨＰＶ）、二酸化炭素、アイスブラスト）が対象物に添加される密閉環境を含むことができる。環境１００の検査サーバ１３２は、表面検査を容易にし、アプリケーションサーバ１３４に検査結果を提供することができる。いくつかの実施形態では、検査サーバ１３２は、ローカル又は広域ネットワークであり得るネットワーク１３０を介してアプリケーションサーバ１３４と通信する。

【0028】

既存の技術では、検査サーバ１３２は、複雑な電気機械システムの検査及び汚染除去を容易にするために十分に装備されていない可能性がある。対象物１０１のための汚染除去プロセスを自動化するために、アプリケーションサーバ１３４は、除去される汚染の箇所及び種類の詳細なマップを必要とする。対象物１０１が不規則な形状、ノイズの多い表面テクスチャ、及び／又は自己オクルージョン幾何学的形状を有する場合、そのような要件は困難になり得る。更に、汚染の色、厚さ、及び接着の可能な全ての変化は、アプリケーションサーバ１３４にとって既知ではない可能性がある。更に、アプリケーションサーバ１３４は、傷などの永久的な欠陥と除去可能な汚染とを区別する必要がある。結果として、検査サーバ１３２が、汚染の生成物固有又は汚染物固有の検出のみを提供することができる場合、アプリケーションサーバ１３４は、対象物１０１及びその上の汚染に関連付けられた変化を裏付けることができる解決策を提供することができない。

【0029】

これらの問題を解決するために、表面評価システム１２０は、制約されないポーズ及び可変照明状態における対象物１０１上の汚染の大きな変化を効率的かつ正確にマッピングすることができる。システム１２０は、再構成モジュール１２２、ハイライトモジュール１２４、及び深度分析モジュール１２６を含み得る。操作中、対象物１０１上の汚染を検出するために、再構成モジュール１２２は、対象物の画像１０１の入力画像１０２からからクリーンな（例えば、汚染のない）画像を合成する。合成画像は、対象物１０１の再構成を描写するため、合成画像は、再構成画像１０４と呼ばれ得る。再構成画像１０４を生成するために、再構成モジュール１２２は入力画像１０２上のＣＣ－ＧＡＮ １４０を使用することができる。次いで、ＣＣ－ＧＡＮ １４０は、汚染のない対象物１０１を描写する再構成画像１０４を生成する。

【0030】

次いで、ハイライトモジュール１２４は、入力画像１０２を再構成画像１０４と比較して、対象物１０１の表面を評価する。ハイライトモジュール１２４は、再構成画像１０４と入力画像１０２との間に画素差分演算を適用することができる。いくつかの実施形態では、ハイライトモジュール１２４は、ＲＧＢ空間、ＨＳＬ空間、及びＨＳＶ空間のうちの１つ又は複数の画素差分を決定する。次いで、ハイライトモジュール１２４は、結果として得られる差分に拡張、平滑化、及び閾値処理を適用する。これらの操作の１つ又は複数に基づいて、ハイライトモジュール１２４は、対象物１０１の画像上の汚染をハイライトするハイライト画像１０６を生成する。ハイライトモジュール１２４はまた、対象物１０１の画像上の汚染領域を識別するための深層分割ネットワークを使用することもできる。このようにして、ハイライト画像１０６は、対象物１０１の汚染マップであり得る。ハイライト画像１０６のこの汚染マップは再構成画像１０４から作成されるため、ハイライト画像１０６内の汚染マップは、入力画像１０２内の対象物１０１の背景及び対象物１０１の汚染されていない要素を除外することができる。このようにして、システム１２０は、不規則な形状、オクルージョン、影、及び意識逸らし表面テクスチャの１つ又は複数を有する可能性がある、対象物１０１などの複雑な対象物上の汚染を検出することができる。

【0031】

ハイライト画像１０６が２次元（２Ｄ）画像である場合、ハイライト画像１０６内の２Ｄ汚染マップは、対象物１０１のパネルなどの比較的平坦な構成要素の汚染除去のためのガイダンスを提供することができる。しかしながら、深度を有する構成要素の場合、汚染除去装置１３６は、洗浄経路が対象物１０１の幾何学的形状をたどることを確実にするために深度情報を組み込む必要がある。システム１２０は、ハイライト画像１０６に示される汚染領域を、対象物１０１の３Ｄ幾何学的形状の箇所に投影することによって、アプリケーションサーバ１３４に深度情報を提供することができる。いくつかの実施形態では、システム１２０は、入力画像１０２と共に対象物１０１の深度情報（例えば、幾何学的特性）を取得することができる。

【0032】

深度情報は、画像上の対象物１０１の外観、及び画像の各画素について深度推定の両方を提供することができる撮像デバイス（例えば、深度カメラ）から取得することができる。撮像デバイスの例としては、ステレオカメラ、光検出及び測距（ＬＩＤＡＲ）デバイス、及び赤外線エミッタが含まれるが、これらに限定されない。画像及び深度情報が別個に捕捉される場合、深度分析モジュール１２６は、深度点を別個に捕捉された視覚的画素と位置合わせすることができる。いくつかの実施形態では、深度分析モジュール１２６は、深度情報に基づいて、対象物１０１の幾何学的形状を表すメッシュを決定する。メッシュは、ＬＩＤＡＲなどの装置によって生成された点群の簡略化された表現を提供する。

【0033】

次いで、深度分析モジュール１２６は、対象物１０１の表面法線を決定し、ハイライト画像１０６で識別された汚染画素をメッシュ上に投影することができる。決定された表面法線は、汚染の所与の点において、対象物１０１の表面に垂直なベクトルであり得る。深度分析モジュール１２６は、点又はメッシュ三角形を色付けして、汚染の箇所を示すことができる。深度情報をハイライト画像１０６に組み込むことにより、深度分析モジュール１２６は、強調画像１０８を生成することができ、それにより、深度情報を組み込む強調汚染マップを生成することができる。いくつかの実施形態では、システム１２０はまた、汚染除去装置１３６によって実行される汚染除去操作の軌道を生成する経路プランナモジュール１２８を含むことができる。

【0034】

例えば、汚染除去プロセスがノズルを介して対象物１０１上に汚染除去剤を噴霧することを含む場合、汚染除去装置１３６は、対象物１０１の深度情報に基づいて、有効な洗浄に必要なノズル距離及び角度を維持する必要がある。強調画像１０８に基づいて、経路プランナモジュール１２８は、汚染除去装置１３６のノズルのための軌道１１０のセットを生成することができる。これにより、ノズルは対象物１０１の幾何学的形状をたどることができる。経路プランナモジュール１２８はまた、アプリケーションサーバ１３４上に存在し、汚染除去装置１３６のコントローラの構成要素であり得ることに留意されたい。

【0035】

表面評価システム
図２は、本出願の一実施形態による、以前に知られていない汚染物について例示的な一般的な表面評価を示す。システム１２０の重要な能力は、制約されないポーズ及び可変照明状態における対象物上の汚染の大きな変化を効率的かつ正確にマッピングすることが可能である。換言すれば、システム１２０は、同じポーズでクリーンな状態、及び汚染された状態を示す同一の対象物を特徴とする一致した対でトレーニングされる必要がない。システム１２０は、いくつかの汚染された対象物の画像、及び同様のポーズにおける同様のクリーンな対象物の対応する画像を含むことができる画像サンプル２２０によってトレーニングされ得る。この例では、画像サンプル２２０は、対象物２００上の汚染を描写する画像２２２及び画像２２４、及びクリーンな対象物２００を描写する画像２２６を含むことができる。

【0036】

トレーニングに基づいて、システム１２０は、画像２２２及び２２４に描写される汚染及び汚染された構成要素以外の、対象物２００の異なるタイプの汚染又は異なる構成要素上を検出することができる。システム１２０は、異なる照明状態及び／又はポーズで、対象物２００上の汚染を更に検出することができる。この例では、入力画像２５０は、画像サンプル２２０に図示されていない異なる照明状態の対象物２００を描写する。トレーニングに基づいて、システム１２０は、入力画像２５０に描写される汚染を検出し、ハイライトすることができる。

【0037】

システム１２０は対象物２００の画像サンプル２２０でトレーニングされるが、システム１２０は、対象物２００からわずかな変化を有する別の対象物２１０の表面を評価することができる。例えば、対象物２００がプリンタであり、システム１２０が、汚染を検出するために対象物２００の表面を評価するようにトレーニングされる場合、システム１２０は、対象物２００と同じシリーズに属する別のモデルのプリンタであり得る別の対象物２１０上の汚染を検出することができる。結果として、システム１２０は、画像サンプル２２０が対象物２１０上の汚染を描写する画像を含まない場合でも、対象物２１０の入力画像２６０からの汚染を検出することができる。入力画像２６０は、画像サンプル２２０に描写されなかった汚染を有する対象物２１０を描写することができることに留意されたい。これにより、トレーニングシステム１２０のデータ収集及びラベル付けプロセスが単純化される。

【0038】

図３Ａは、本出願の一実施形態による、対象物の表面上の汚染をハイライトする画像の例示的な生成を示す。操作中、システム１２０は、対象物３００の入力画像３０２内の対象物３００上の汚染３２２を示す画素を検出する。次いで、システム１２０は、入力画像３０２からクリーンな（例えば、汚染のない）画像を合成する。この合成画像を生成するために、システム１２０は、入力画像３０２でＣＣ－ＧＡＮ ３１２を使用して、汚染３２２のない対象物３００を描写する再構成画像３０４を生成することができる。

【0039】

次いで、システム１２０は、入力画像３０２を再構成画像３０４と比較して、対象物３００の表面を評価する。システム１２０は、再構成画像３０４と入力画像３０２との間に画素差分演算３１４を適用することができる。システム１２０は、ＲＧＢ空間、ＨＳＬ空間、及びＨＳＶ空間のうちの１つ又は複数において差分演算３１４を決定することができる。次いで、差分演算３１４は、再構成画像３０４と入力画像３０２との間に画素差分３２４を描写する微分画像３０６を生成する。次いで、システム１２０は、１つ又は複数の強調操作３１６（例えば、拡張、平滑化、閾値処理など）を画素差分３２４に適用する。

【0040】

例えば、拡張操作は、画素差分３２４の領域の境界を徐々に拡大することができる。拡張操作により、画素差分３２４上の画素はサイズを拡大することができ、それにより画素差分３２４の隙間がより小さくなる。画素差分３２４が粗い又はぎざぎざの縁部を含む場合、平滑化操作は、より滑らか、かつ連続的に見えるように粗い縁部を和らげることができる。閾値処理のために、システム１２０は、微分画像３０６の各画素を１つ又は複数の閾値と比較することができる。システム１２０が、画素の強度が閾値未満であると決定した場合、システム１２０は、画素を背景の画素色に設定することができる。画素差分３２４上の画素は、微分画像３０６の他の画素と比較してより高い値を有する可能性があるため、閾値処理操作は画素差分３２４上の画素を強調することができる。この操作はまた、それらの画素を背景の画素色に設定することによって、他の画素を除外することができる。

【0041】

強調操作３１６に基づいて、システム１２０は、対象物３００上の汚染３２２をハイライトするハイライト画像３０８を生成する。このようにして、ハイライト画像３０８は、対象物３００の汚染マップ３２６を表すことができる。ハイライト画像３０６のこの汚染マップ３２６は再構成画像３０４から作成されるため、ハイライト画像３０８内の汚染マップ３２６は、入力画像３０２内の対象物３００の背景３３０を除外することができる。同様に、汚染マップ３２６はまた、対象物３００の汚染されていない要素を除外することもできる。このようにして、システム１２０は、不規則な形状、オクルージョン、影、及び意識逸らし表面テクスチャの１つ又は複数を有する可能性がある、対象物３００などの複雑な対象物上の汚染を検出することができる。

【0042】

ハイライト画像３０６が２次元（２Ｄ）画像である場合、汚染マップ３２６は、２Ｄの汚染マップであり得る。したがって、汚染マップ３２６は、対象物３００のパネルなどの比較的平坦な構成要素の汚染除去のためのガイダンスを提供することができる。しかしながら、深度を有する構成要素の場合、システム１２０は、汚染除去プロセスが対象物３００の幾何学的形状をたどることができることを確実にするために深度情報を組み込む必要がある。図３Ｂは、本出願の一実施形態による、対象物の深度情報に基づいた汚染除去装置の強調汚染マップの例示的な生成を示す。システム１２０は、ハイライト画像３０８に示される汚染領域を、対象物３００の３Ｄ幾何学的形状の箇所に投影することによって、深度情報を組み込むことができる。

【0043】

操作中、システム１２０は、入力画像３０２と共に対象物３００の深度情報３５２（例えば、幾何学的特性）を取得することができる。システム１２０は、撮像デバイス（例えば、深度カメラ）によって捕捉され、及び／又は生成された対象物画像３５０から深度情報３５２を取得することができる。撮像デバイスの例としては、ステレオカメラ、及びＬＩＤＡＲデバイス、及び赤外線エミッタが含まれるが、これらに限定されない。対象物画像３５０は、画像上の対象物３００の外観と、画像の各画素のための深度推定との両方を含むことができる。システム１２０は、画像及び深度推定を分割して、入力画像３０２及び深度情報３５２をそれぞれ生成することができる。いくつかの実施形態では、入力画像３０２及び深度情報３５２は、別個に捕捉される。次いで、システム１２０は、深度点を、入力画像３０２の別個に捕捉された視覚的画素と位置合わせすることができる。

【0044】

ハイライト画像３０８を生成すると、システム１２０は、各画素（又は画素のセット）とその画素（又は画素のセット）の深度推定値とを組み合わせることができる。組み合わせ操作に基づいて、システム１２０は、汚染マップ３２６と、汚染マップ３２６の画素に関連付けられた深度情報との両方を含む強調画像３６０を生成することができる。このようにして、強調画像３６０は、各画素（又は画素群）の深度情報を含む、強調汚染マップ３２８を表すことができる。いくつかの実施形態では、システム１２０は、深度情報３５２に基づいて、対象物３００の幾何学的形状を表すメッシュを決定することができる。次いで、システム１２０は、対象物３００の表面法線を決定し、汚染マップ３２６で識別された汚染画素をメッシュ上に投影する。システム１２０は、点又はメッシュ三角形を色付けして、汚染の箇所を示すことができる。

【0045】

いくつかの実施形態では、システム１２０はまた、汚染除去操作の軌道を生成する経路プランナを操作することができる。図４は、本出願の一実施形態による、異なる視点からの対象物の深度情報に基づく汚染除去装置の軌道の例示的な生成を示す。汚染除去プロセスがノズルを介して対象物３００上に汚染除去剤を噴霧することを含む場合、汚染除去装置は、対象物３００の深度情報に基づいて、有効な洗浄に必要なノズル距離及び角度を維持する必要がある。強調画像３６０及び強調汚染マップ３２８に基づいて、システム１２０は、ノズルが対象物３００の幾何学的形状をたどることができるように、ノズルのための軌道４１０のセットを生成することができる。軌道４１０のそれぞれは、軌道に対応する深度で対象物３００上の汚染箇所を覆うことができる。

【0046】

対象物３００が複雑な突出部又は空洞を有する構成要素を含む場合、システム１２０は、汚染を正確にマッピングするために、対象物３００の視点を変更する必要があり得る。例えば、強調画像３６０は、対象物３００の視点４０２を表すことができる。したがって、軌道４１０は、視点４０２からの汚染除去を容易にすることができる。しかしながら、対象物３００の異なる視点４０４は、異なる汚染のセットを示すことができる。その結果、システム１２０は、図３Ａと併せて説明されるように、視点４０４を表す別の強調画像４１２を生成することができる。強調画像４１２に基づいて、システム１２０は、図３Ｂと併せて説明されるように、軌道４１４のセットを生成することができる。軌道４１４は、視点４０４からの汚染除去を容易にすることができる。このようにして、システム１２０は、対象物に対する異なる視点から広範な汚染除去を容易にすることができる。

【0047】

ユーザが、対象物の異なる視点に対応する対象物画像及び／又は入力画像を提供することができることに留意されたい。いくつかの実施形態では、システム１２０はまた、対応する対象物画像を取得するために、深度カメラ（又は任意の他の画像デバイス）を対象物の異なる視点に自動的に位置合わせするカメラ制御機構を含むことができる。システム１２０は、カメラ制御機構の所定の視点のセットを維持することができる。視点の微分画像が汚染を示していない場合、システム１２０は、その視点に対する更なる処理を中止することができる。

【0048】

操作
図５Ａは、本出願の一実施形態による、対象物の表面上の汚染をハイライトする深層強調画像を生成する表面評価システムの方法を示すフローチャートを示す。操作中、システムは、対象物の１つ又は複数の対象物画像を受信し（操作５０２）、各対象物画像に関連付けられた視点を決定する（操作５０４）。システムは、決定された視点から対象物の視点を選択することができる（操作５０６）。次いで、システムは、深度情報を生成し、選択された視点の入力画像を決定する（操作５０８）。対象物画像が深度情報を含む場合、システムは、深度情報及び入力画像を対象物画像から生成することができる。他の方法では、システムは、深度情報を別個に取得することができる。

【0049】

次いで、このシステムは、入力画像からハイライト画像を生成し（操作５１０）、深度情報をハイライト画像と組み合わせて、強調画像を生成する（操作５１２）。次いで、システムは、全ての視点が分析されたかどうかを点検する（操作５１４）。全ての視点が分析されていない場合、システムは、決定された視点から対象物の視点を選択し続け（操作５０６）、選択された視点について深度情報及び入力画像を生成する（操作５０８）。全ての視点が分析された場合、システムは、生成された強調画像を局所記憶デバイス内に記憶する（操作５１６）。

【0050】

図５Ｂは、本出願の一実施形態による、対象物の表面上の汚染をハイライトする画像を生成する表面評価システムの方法を示すフローチャートを示す。操作中、システムは、ＣＣ－ＧＡＮを入力画像に付加して、対応する再構成画像を生成する（操作５５２）。次いで、システムは、入力画像と再構成画像との差分（例えば、画素差分）を決定する（操作５５４）。続いて、システムは、決定された差分に基づいて、微分画像を生成し（操作５５６）、微分画像上に拡張、平滑化、及び閾値処理などの１つ又は複数の強調操作を適用する（操作５５８）。強調操作はまた、微分画像上の汚染領域を識別することができる深層分割ネットワークに基づくことができる。次いで、システムは、強調操作に基づいて、微分画像からハイライト画像を生成する（５６０）。

【0051】

図６は、本出願の一実施形態による、対象物の深度情報に基づいて、汚染除去装置の軌道を生成する表面評価システムの方法を示すフローチャートを示す。操作中、システムは、対象物画像から対象物の表現（例えば、メッシュ表現又はボクセル表現）を決定し（操作６０２）、対象物の表面法線を決定する（操作６０４）。次いで、システムは、対象物のハイライト画像内の汚染マップの画素を、決定されたメッシュ上に投影する（操作６０６）。続いて、システムは、点及び／又はメッシュ三角形をハイライトして、汚染箇所を示す（操作６０８）。次いで、システムは、ハイライトされた点及び／又はメッシュ三角形を覆う軌道を生成する（操作６１０）。

【0052】

例示的なコンピュータシステム及び装置
図７は、本出願の一実施形態による、表面評価システムを容易にする例示的なコンピュータシステムを示す。コンピュータシステム７００は、プロセッサ７０２、メモリデバイス７０４、及び記憶デバイス７０８を含む。メモリデバイス７０４は、揮発性メモリデバイス（例えば、デュアルインラインメモリモジュール（ｄｕａｌ ｉｎ－ｌｉｎｅ ｍｅｍｏｒｙ ｍｏｄｕｌｅ、ＤＩＭＭ））を含むことができる。更に、コンピュータシステム７００は、ディスプレイデバイス７１０、キーボード７１２、及びポインティングデバイス７１４に連結することができる。記憶デバイス７０８は、オペレーティングシステム７１６、表面評価システム７１８、及びデータ７３６を記憶することができる。表面評価システム７１８は、システム１２０の操作を組み込むことができる。

【0053】

表面評価システム７１８は、コンピュータシステム７００によって実行されると、コンピュータシステム７００に本開示に記載される方法及び／又はプロセスを実行させることができる命令を含むことができる。具体的には、表面評価システム７１８は、表面評価システム７１８のＣＣ－ＧＡＮをトレーニングするための命令を含むことができる（トレーニングモジュール７２０）。表面評価システム７１８はまた、対象物の入力画像及び／又は深度情報（例えば、対象物画像から）を生成するための命令を含むことができる（入力モジュール７２２）。更に、表面評価システム７１８は、再構成画像を生成する（例えば、ＣＣ－ＧＡＮを使用して）ための命令を含む（再構成モジュール７２４）。

【0054】

加えて、表面評価システム７１８は、入力画像及び再構成画像に基づいて、微分画像及び対応するハイライト画像を生成するための命令を含む（ハイライトモジュール７２６）。表面評価システム７１８はまた、深度情報をハイライト画像に組み込むための命令と、強調画像を生成するための命令とを含むことができる（深度合成モジュール７２８）。表面評価システム７１８は、強調画像から軌道のセットを生成するための命令を更に含むことができる（経路プランナモジュール７３０）。表面評価システム７１８はまた、対象物の異なる視点を覆うための命令を含むことができる（視点モジュール７３２）。加えて、表面評価システム７１８は、メッセージを送信及び受信するための命令を含むことができる（通信モジュール７３４）。

【0055】

データ７３６は、システム１２０の操作を容易にすることができる任意のデータを含むことができる。データ７３６は、画像サンプル、対象物画像、入力画像、深度情報、微分画像、ハイライト画像、強調画像、及び軌道のうちの１つ又は複数を含むことができる。

【0056】

図８は、本出願の一実施形態による、表面評価システムを容易にする例示的な装置を示す。表面評価装置８００は、有線、無線、量子光、又は電気通信チャンネルを介して互いに通信し得る複数のユニット又は装置を備えることができる。装置８００は、１つ又は複数の集積回路を使用して実現することができ、図８に示されているものよりも少ない又は多いユニット又は装置を含むことができる。更に、装置８００は、コンピュータシステムに統合され得るか、又は他のコンピュータシステム及び／又はデバイスと通信することができる別個のデバイスとして実現され得る。具体的には、装置８００は、トレーニングユニット８０２、入力ユニット８０４、再構成ユニット８０６、ハイライトユニット８０８、深度合成ユニット８１０、経路プランナユニット８１２、視点ユニット８１４、及び通信ユニット８１６を含む、図７のコンピュータシステム７００のモジュール７２０－７２４と同様の機能又は操作を実行するユニット８０２－８１６を備えることができる。

【0057】

「発明を実施するための形態」に記載されるデータ構造及びコードは、典型的には、コンピュータ可読記憶媒体に記憶され、コンピュータ可読記憶媒体は、コンピュータシステムが使用するためのコード及び／又はデータを記憶することができる任意のデバイス又は媒体であり得る。コンピュータ可読記憶媒体としては、揮発性メモリ、不揮発性メモリ、ディスク、磁気テープ、ＣＤ（ｃｏｍｐａｃｔ ｄｉｓｃ、コンパクトディスク）、ＤＶＤ（ｄｉｇｉｔａｌ ｖｅｒｓａｔｉｌｅ ｄｉｓｃ、デジタル多用途ディスク、又はｄｉｇｉｔａｌ ｖｉｄｅｏ ｄｉｓｃ、デジタルビデオディスク）などの磁気及び光学ストレージデバイス、又は現在知られている若しくは今後開発されるコンピュータ可読メディア媒体を記憶できるその他の媒体が挙げられるが、これらに限定されない。

【0058】

「発明を実施するための形態」の節に記載される方法及びプロセスは、上に論じられるようなコンピュータ可読記憶媒体内に記憶され得るコード及び／又はデータとして具体化され得る。コンピュータシステムが、コンピュータ可読記憶媒体上に記憶されたコード及び／又はデータを読み取って実行すると、コンピュータシステムは、データ構造及びコードとして具体化され、コンピュータ可読記憶媒体内に記憶された方法及び処理を実行する。

【0059】

更に、上述の方法及びプロセスは、ハードウェアモジュールに含めることができる。例えば、ハードウェアモジュールとしては、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）チップ、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、及び現在知られている又は今後開発される他のプログラム可能論理デバイスを含むことができるが、これらに限定されない。ハードウェアモジュールが起動されると、ハードウェアモジュールは、ハードウェアモジュール内に含まれる方法及びプロセスを実行する。

【0060】

本明細書に記載される前述の実施形態は、例示及び説明のみを目的として提示されている。これらは、網羅的であること、又は本明細書に記載される実施形態を開示される形態に限定することを意図するものではない。したがって、多くの修正及び変形が、当業者には明らかであろう。加えて、上記の開示は、本明細書に記載される実施形態を限定することを意図するものではない。本明細書に記載される実施形態の範囲は、添付の特許請求の範囲によって定義される。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】