知財求人 - 知財ポータルサイト「IP Force」
▶ スリーエム イノベイティブ プロパティズ カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-07
(45)【発行日】2024-03-15
(54)【発明の名称】シナリオによる塗装補修処理
(51)【国際特許分類】
B24B 51/00 20060101AFI20240308BHJP
B24B 27/00 20060101ALI20240308BHJP
B25J 13/08 20060101ALI20240308BHJP
B24B 49/12 20060101ALI20240308BHJP
【ＦＩ】
B24B51/00
B24B27/00 A
B25J13/08 A
B24B49/12
【請求項の数】
15
(21)【出願番号】P 2021545480
(86)(22)【出願日】2019-08-23
(65)【公表番号】
(43)【公表日】2022-03-25
(86)【国際出願番号】 IB2019057107
(87)【国際公開番号】W WO2020161534
(87)【国際公開日】2020-08-13
【審査請求日】2022-08-22
(31)【優先権主張番号】62/801,310
(32)【優先日】2019-02-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】505005049
【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー
(74)【代理人】
【識別番号】100130339
【弁理士】
【氏名又は名称】藤井 憲
(74)【代理人】
【識別番号】100110803
【弁理士】
【氏名又は名称】赤澤 太朗
(74)【代理人】
【識別番号】100135909
【弁理士】
【氏名又は名称】野村 和歌子
(74)【代理人】
【識別番号】100133042
【弁理士】
【氏名又は名称】佃 誠玄
(74)【代理人】
【識別番号】100171701
【弁理士】
【氏名又は名称】浅村 敬一
(72)【発明者】
【氏名】リチャードソン，ニコラス ディー．
(72)【発明者】
【氏名】ヘメス，ブレット アール．
(72)【発明者】
【氏名】オルランド，マーク ダブリュ．
(72)【発明者】
【氏名】ムノズ，ジュアン エー．
(72)【発明者】
【氏名】ムリンズ，サラ エム．
(72)【発明者】
【氏名】プルディン，マシュー エイチ．
【審査官】須中 栄治
(56)【参考文献】
【文献】米国特許出願公開第２００３／０１３９８３６（ＵＳ，Ａ１）
【文献】特表２００２－５０８０７１（ＪＰ，Ａ）
【文献】特開平０４－３１０３６０（ＪＰ，Ａ）
【文献】特開平０５－３３７８０４（ＪＰ，Ａ）
【文献】特開２０１８－１１８３７２（ＪＰ，Ａ）
【文献】国際公開第２０１８／０７４０９１（ＷＯ，Ａ１）
【文献】米国特許出願公開第２０１８／０３２６５９１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２４Ｂ３／００－３／６０
Ｂ２４Ｂ２１／００－５１／００
Ｂ２５Ｊ１／００－２１／０２
Ｇ０１Ｎ２１／８４－２１／９０
Ｇ０１Ｎ２１／９３－２１／９５８
(57)【特許請求の範囲】
【請求項1】
自動研磨塗装補修方法であって、１つ以上のプロセッサによって、各欠陥の特性を説明するパラメータと共に、基材内の各識別された欠陥の座標を受信することと、
前記１つ以上のプロセッサによって、経験的に導出された規則及び前記受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択することと、
前記１つ以上のプロセッサによって、前記受信したパラメータを使用して前記選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、自動研磨塗装補修デバイスに命令することと、
前記１つ以上のプロセッサによって、補修中の各欠陥の特性を説明するパラメータを受信することと、
前記１つ以上のプロセッサによって、前記補修中の各欠陥の特性を説明するパラメータを、前記経験的に導出された規則を更新するための学習更新を作成するように機械学習ユニットに提供することと、
を含む、方法。
【請求項2】
前記経験的に導出された規則及びパラメータが、ルックアップテーブル内に格納されている、請求項１に記載の方法。
【請求項3】
パラメータが、前記受信したパラメータの経験的に工学的に作られたパラメータ関数を実装するパラメータ選択アルゴリズムを使用して、前記選択するステップにおいて前記ルックアップテーブルから選択される、請求項２に記載の方法。
【請求項4】
特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善する機械学習モジュールを使用して、前記経験的に導出された規則を更新することを更に含む、請求項１に記載の方法。
【請求項5】
前記選択するステップが、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいて前記パラメータを選択する機械学習技術のうちの少なくとも１つを実装するパラメータ選択アルゴリズムを使用する、請求項４に記載の方法。
【請求項6】
前記受信したパラメータが、分類子からの欠陥の種類、前記欠陥を説明するおおよその容積情報、及び基材材料情報のうちの少なくとも１つを含む、請求項１に記載の方法。
【請求項7】
前記受信したパラメータが、滞留時間及び力プロファイルのうちの少なくとも１つを含む処理パラメータを含む、請求項１に記載の方法。
【請求項8】
前記自動研磨塗装補修デバイスに命令することが、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨及びポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨及びポリッシングステップを実行するように、前記自動研磨塗装補修デバイスに命令することを含み、前記バフ研磨及びポリッシングパラメータが、以前に実行された補修戦略に基づいて選択される、請求項１に記載の方法。
【請求項9】
前記自動研磨塗装補修デバイスに命令することが、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び総処理時間のうちの少なくとも１つを含む出力を提供することを含む、請求項１に記載の方法。
【請求項10】
前記ロボットマニピュレータの前記軌道が、前記１つ以上のプロセッサによって、補修されている前記欠陥の起点からの経時変化位置オフセットとして前記ロボットマニピュレータに伝達される、請求項９に記載の方法。
【請求項11】
各欠陥の特性を受信することが、エンドエフェクタセンサから局所的に収集されたｉｎ－ｓｉｔｕ検査データを受信すること含む、請求項１に記載の方法。
【請求項12】
前記１つ以上のプロセッサによって、前記ｉｎ－ｓｉｔｕデータを、縞模様投影、偏向測定、及びカメラを使用する拡散反射又は通常の白色光の強度測定のうちの少なくとも１つを使用して学習更新を作成するように機械学習ユニットに提供することを更に含む、請求項１１に記載の方法。
【請求項13】
前記サンディング処理及び前記ポリッシング処理が、連続パラメータのための連続パラメータ関数を含む、請求項１に記載の方法。
【請求項14】
前記１つ以上のプロセッサによって、前記基材の画像及び前記受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを更に含み、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することが、機械学習技術を使用して、以前に実行された補修に基づいて、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを含む、請求項１に記載の方法。
【請求項15】
前記１つ以上のプロセッサによって、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送ることを更に含む、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、表面を補修して均一に見え得るように、コーティングされた表面上又はコーティングされた表面の欠陥を除去するためのシステム及び方法を対象とする。この処理は、典型的には、改善された美観を必要とする部品又は表面に対して実行され、欠陥を平らにし、次いで補修領域が周囲領域との認識可能な差をほとんど又は全く有さなくなるまで、補修領域を更に改良することを含む。
【背景技術】
【0002】
クリアコート補修は、自動車の相手先商標製品製造（ＯＥＭ）セクタで自動化される最後の動作のうちの１つである。この処理、並びに研磨剤並びに／又はロボット検査及び補修での使用に適している他の塗装適用（例えば、プライマーサンディング、クリアコート欠陥除去、クリアコートポリッシングなど）を自動化するための技術が所望される。加えて、この問題は、アフターマーケットセクタにおいて解決されていない。
【0003】
塗装欠陥の検出及び補修を自動化するための以前の取り組みとしては、米国特許出願公開第２００３／０１３９８３６号に記載されたシステムが挙げられ、これは、車両本体上の塗装欠陥を検出及び補修するための電子撮像の使用について開示している。このシステムは、車両のＣＡＤデータに対して車両撮像データを参照して、各塗装欠陥について三次元の塗装欠陥座標を構築する。塗装欠陥データ及び塗装欠陥座標を使用して、塗装欠陥をサンディング及びポリッシングすることを含む様々なタスクを実行する複数の自動ロボットを使用する自動補修のための補修戦略を策定する。補修戦略は、経路及び処理パラメータ、ツール、並びにロボットの選択を含む。力フィードバックセンサを使用して、補修処理を制御することができる。追加のタスクとしては、ロボット経路及びツーリングパラメータを生成することと、品質データロギングを実行することと、エラー報告とが挙げられる。しかしながら、補修処理の詳細は提供されない。また、このシステムは、欠陥の識別を支援するために、又は欠陥を補正するための最適な処理を決定することを支援するために、パターンマッチング又は機械学習技術を適用しない。
【0004】
米国特許出願公開第２０１７／０２７７９７９号は、車両検査システムにおけるパターン分類子を使用して、固定位置で鏡面上に光を照射し、固定カメラを用いて反射光を測定することによって生成された画像から欠陥を識別することについて開示している。パターン分類子は、画像を使用して車両モデル及び色のための画像トレーニングセットを構築することによって、欠陥検出結果を改善するようにトレーニングされる。トレーニングセット内の画像は、どの画像及びどのピクセルが欠陥を有するかを識別するために人間又は機械によって審査される。しかしながら、識別された欠陥を補正するための自動化された技術は開示されていない。
【0005】
米国特許第９，８１１，０５７号は、機械学習を使用して、モータの動作状態及びモータの故障の有無に関するデータを検出するセンサの出力データを含む状態変数を観察することによって、モータの寿命を予測することについて開示している。学習ユニットは、状態変数とモータの測定された実際の寿命との組み合わせに基づいて作成されたトレーニングデータセットに従って、モータの予測される寿命に関連する条件を学習する。
【0006】
出願人は、自動化された方法で塗装欠陥を識別し、補修するための機械学習技術の適用を発見することができていない。また、先行技術のシステムは、顧客によって使用される自動化された処理のばらつきを考慮して、塗装欠陥を検査及び補正することはない。このような処理を自動化するための改善された技術が所望される。
【発明の概要】
【0007】
ここで、発明を実施するための形態において以下に更に記載する簡略化された形態の概念の選択を紹介するために、様々な実施例が記載される。概要は、特許請求されている主題の重要な又は必須の特徴を識別することを意図するものではなく、特許請求されている主題の範囲を限定するために使用されることを意図するものでもない。
【0008】
本明細書に記載するシステム及び方法は、研磨自動化の全ての領域について塗装欠陥の補正を自動化するための技術を提供する。
【0009】
本明細書に記載するシステム及び方法は、新たな処理を学習する能力及び／又は顧客の処理逸脱に適応する能力と共に、検査／フィードバックを含む選択肢を有する塗装補修処理の完全自動化を可能にするためのフレームワークを提供することにより、ロボット研磨処理の問題に対処する。換言すれば、本明細書に記載するシステム及び方法は、従来の適用工学技術のデジタル化として機能し、これは、顧客及び研磨剤製造業者のドメインに固有の知識を保護する方法で、顧客のアプリケーション及び研磨剤製造業者の特定の研磨剤製品の両方に合わせた費用対効果の高い最適な解決策を提供することによって、研磨剤の消費様式を革新することを意味する。プライマー、塗装、及びクリアコートの補修を含むロボット塗装補修を提供するために記載されているが、本明細書に記載する技術は、それ自体が、塗装補修以外の他の工業用途に役立つことが理解されよう。
【0010】
本明細書に記載する自動研磨塗装補修を提供する、コンピュータで実施される方法のサンプル実施形態は、各欠陥の特性を説明するパラメータと共に、基材内の各識別された欠陥の座標を受信するステップと、熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択するステップと、受信したパラメータを使用して選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、自動研磨塗装補修デバイスに命令するステップと、を含む。サンプル実施形態では、経験的に導出された規則及びパラメータは、ルックアップテーブルに格納され、パラメータは、受信したパラメータの経験的に工学的に作られたパラメータ関数を実装するパラメータ選択アルゴリズムを使用して、ルックアップテーブルから選択される。他のサンプル実施形態では、特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善する機械学習モジュールを使用して、経験的に導出された規則が更新される。このような実施形態では、パラメータ選択アルゴリズムを使用して、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいてパラメータを選択する機械学習技術のうちの少なくとも１つを実装することができる。
【0011】
サンプル実施形態では、受信したパラメータは、分類子からの欠陥の種類、欠陥を説明するおおよその容積情報、及び／又は基材材料情報を含む。受信したパラメータはまた、滞留時間又は力プロファイルなどの処理パラメータを含んでもよい。受信したパラメータは、手動で測定されてもよく、又はカメラを含む自動デジタルロボット検査デバイスを使用して測定されてもよい。
【0012】
サンプル実施形態では、自動研磨塗装補修デバイスは、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨／ポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨／ポリッシングステップを実行するように、命令される。サンプル実施形態では、バフ研磨／ポリッシングパラメータは、以前に実行された補修戦略に基づいて選択される。自動研磨塗装補修デバイスに提供される出力は、研磨タイプ、研磨グレード、サンディングツールによる使用のためのＲＰＭ、サンディングツールによる使用のためのオービット、ポリッシングコンパウンド、バフ研磨／ポリッシングツールによる使用のためのＲＰＭ、及び／又はバフ研磨／ポリッシングツールによる使用のためのオービットを含むことができる。出力はまた、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び／又は総処理時間を含むことができる。このような実施形態では、ロボットマニピュレータの軌道は、補修されている欠陥の起点からの経時変化位置オフセットとしてロボットマニピュレータに伝達される。
【0013】
サンプル実施形態では、各欠陥の特性は、エンドエフェクタセンサから局所的に収集されたｉｎ－ｓｉｔｕ検査データとして受信される。ｉｎ－ｓｉｔｕ検査データは、縞模様投影、偏向測定、及びカメラを使用する拡散反射又は通常の白色光の強度測定のうちの少なくとも１つを使用して学習更新を作成するように機械学習ユニットに提供されてもよい。サンプル実施形態では、サンディング処理及びポリッシング処理は、連続パラメータのための連続パラメータ関数を含む。
【0014】
他のサンプル実施形態では、基材の画像及び受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドが選択される。機械学習技術はまた、以前に実行された補修に基づいて、研磨媒体並びに／又はバフ研磨及びポリッシングパッドを選択するために使用されてもよい。この方法は、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送ることを更に含むことができる。
【0015】
この方法は、受信した命令に応じて、基材のサンディング、バフ研磨、及びポリッシングのうちの少なくとも１つを選択的に実行する、自動研磨塗装補修デバイスと、自動研磨塗装補修デバイスを制御する命令を生成する命令を実行する１つ以上のプロセッサを有するコントローラと、を含む自動研磨塗装補修システムによって実施される。コントローラは、各欠陥の特性を説明するパラメータと共に、基材内の各識別された欠陥の座標を受信するステップと、熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及び／又はポリッシング処理を選択するステップと、受信したパラメータを使用して選択されたサンディング処理、バフ研磨処理、及び／又はポリッシング処理を実行するように、自動研磨塗装補修デバイスに命令を提供するステップと、を実施する命令を実行したプロセッサを含む。サンプル実施形態では、経験的に導出された規則及びパラメータを格納するルックアップテーブル、並びにコントローラは、受信したパラメータの経験的に工学的に作られたパラメータ関数に従って、ルックアップテーブルからパラメータを選択するパラメータ選択アルゴリズムを実装する。他のサンプル実施形態では、特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善する機械学習モジュールを使用して、経験的に導出された規則が更新される。このような実施形態では、パラメータ選択アルゴリズムを使用して、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいてパラメータを選択する機械学習技術のうちの少なくとも１つを実装することができる。コントローラは、本明細書に記載する方法の他のステップを実施するための命令を更に含む。
【0016】
前述の例のうちのいずれも、本開示の範囲内で新しい実施形態を作成するために、他の前述の例のうちの任意の１つ以上と組み合わせることができる。
【図面の簡単な説明】
【0017】
図面は必ずしも原寸に比例して描かれていないが、図面における同様の符号は、異なる図における類似の構成要素を記述し得る。図面は、例示的ではあるが限定的ではなく、本明細書に論じる様々な実施形態を全般的に示す。
【図1】ＯＥＭ及びアフターマーケット用途のためのロボット塗装補修ハードウェアを示す概略図である。
【図2】ロボット塗装補修スタックのコンポーネントの分解を概略的に示す図である。
【図3】自動研磨塗装補修デバイスを制御して自動研磨塗装補修を提供するためのコントローラによって実施される処理のサンプル実施形態を示す概略図である。
【図4】２つの別個の隆起した「ニブ」欠陥のプロファイルを示す図である。
【図5】サンディング前（左）、サンディング後／ポリッシング前（中央）、及びポリッシング後（右）の間に撮られたマルチモーダル画像である。
【図6】２つの欠陥（サンディング前）の偏向測定からの局所曲率計算出力を示す図である。
【図7】過度に処理された領域からの曲率出力を示す図である。
【図8】高さマップを測定するためのレーザー撮像の使用を表す、レーザー形状測定を使用して取られた高さマップである。
【図9】特に塗装補修のタスクのための既存の処理ノウハウから生成された例示的な経験的に導出されたルックアップテーブルである。
【図10】サンプル実施形態による、学習コンポーネント並びにクラウドベースの処理計画及び最適化を含むロボット塗装補修を示す図である。
【図11】サンプル実施形態におけるロボット塗装補修のためのサンプル実施形態のサンプル処理フローを示す図である。
【図12】サンプル実施形態における強化学習に好適なサンディング及びポリッシング処理のマルコフ決定過程（Markov Decision Process、ＭＤＰ）遷移グラフである。
【図13】更なるサンプル実施形態における強化学習に好適なサンディング及びポリッシング処理の簡略化されたＭＤＰ遷移グラフである。
【図14】クリアコートの下に特定のサイズの合成汚れを導入することによって生じた欠陥が、天井光反射の境界で最も良く見える高密度欠陥学習基材を示す図である。
【図15】サンプルポリッシングパターンを示す図である。
【図16】ポリッシングパターンの高効率ネスティングの例を示す図である。
【図17】製造業者によって提供された、Ｍｉｃｒｏ－Ｅｐｓｉｌｏｎ ｒｅｆｌｅｃｔ ＣＯＮＴＲＯＬの塗装欠陥画像である。
【図18】４つの偏向された垂直縞模様、及び４つの偏向された水平縞模様が各々、π／２の倍数だけシフトされた８つの画像である。
【図19】後続の位相アンラッピングを伴う４つの偏向された縞模様にわたる画素の逆正接を使用して計算された水平及び垂直の曲率マップである。
【図20】強度マップ及びメッシュグリッドの両方として可視化された水平及び垂直の結果の両方を組み合わせる複合（二乗和の平方根）局所曲率マップである。
【図21】近暗視野反射画像のサンプルを示す図である。
【図22】サンプル実施形態に記載するシステムの１つ以上の実施形態を実施するのに好適な専用コンピュータにプログラムすることができる汎用コンピュータを示す図である。
【発明を実施するための形態】
【0018】
１つ以上の実施形態の例示的な実施が以下に提供されるが、図１～図２２に関連して説明された開示されたシステム及び／又は方法は、現在知られているか存在しているかにかかわらず、任意の数の技術を使用して実施されてもよいことを最初に理解されたい。本開示は、本明細書に例示及び説明する例示的な設計及び実施を含む、以下に例示される例示的な実施、図面、及び技術に限定されるべきではなく、添付の特許請求の範囲内で、それらの同等物の全範囲と共に修正されてもよい。
【0019】
本明細書に説明する機能又はアルゴリズムは、一実施形態ではソフトウェアに実装することができる。ソフトウェアは、ローカル又はネットワーク上のいずれかの、１つ以上の非一時的メモリ又は他の種類のハードウェアベースのストレージデバイスなどの、コンピュータ可読媒体又はコンピュータ可読ストレージデバイス上に記憶されたコンピュータ実行可能命令で構成することができる。更に、このような機能は、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組み合わせとすることができる、モジュールに対応する。複数の機能は、所望により１つ以上のモジュールで実行することができ、説明する実施形態は、単なる例である。ソフトウェアは、パーソナルコンピュータ、サーバ、又は他のコンピュータシステムなどのコンピュータシステム上で動作する、デジタル信号プロセッサ、ＡＳＩＣ、マイクロプロセッサ、又は他の種類のプロセッサ上で実行することができ、このようなコンピュータシステムを、専用にプログラムされた機械に変えることができる。
【0020】
概要
自動研磨処理及び後続のポリッシングを使用して、塗装適用についての欠陥を補修する処理を自動化するためのシステム及び方法が記載される。このシステム及び方法は、ロボット（スマート）ツール及び／又は部品取り扱い、感知技術、現在の部品／システム状態及び提供されたフィードバックに基づいて所望のシステム挙動をもたらす確率的処理ポリシー、並びに提供された処理ポリシーを最適化すること、顧客の上流処理の変動に起因してポリシーを連続的に適応させること、及び／又は処理ポリシーを、人の介入がほとんど若しくは全く行われずにゼロから学習することが可能な任意選択の学習コンポーネントの新しい組み合わせを含む。
自動研磨処理及び後続のポリッシングを使用して、塗装適用についての欠陥を補修する処理を自動化するためのシステム及び方法が記載される。このシステム及び方法は、ロボット（スマート）ツール及び／又は部品取り扱い、感知技術、現在の部品／システム状態及び提供されたフィードバックに基づいて所望のシステム挙動をもたらす確率的処理ポリシー、並びに提供された処理ポリシーを最適化すること、顧客の上流処理の変動に起因してポリシーを連続的に適応させること、及び／又は処理ポリシーを、人の介入がほとんど若しくは全く行われずにゼロから学習することが可能な任意選択の学習コンポーネントの新しい組み合わせを含む。
【0021】
一般に、本明細書に記載するシステム及び方法は、自動研磨処理を実施する。自動車用クリアコート／塗装補修に関してサンプル実施形態に記載されているが、本明細書に記載するシステム及び方法は、塗料補修以外の他の工業用途に適用可能であることが当業者には理解されよう。サンプル実施形態では、本明細書に記載する自動研磨処理技術は、以下の特性を示す。
１．ロボット（スマート）ツール及び／又は部品取り扱い；
高度な研磨システム（例えば、３ＭのＦｉｎｅｓｓｅ－ｉｔ（商標））の利用；
部品／欠陥の生画素データ、（面法線情報を有する）予め識別された欠陥の場所、並びに予め識別された欠陥分類及び対応する測定基準（例えば、重大度）を含む、複数の入力モダリティを取り扱う能力；
機械学習／強化学習を使用して、単純な経験的に導出されたポリシーから自己学習した確率的ポリシーまでの範囲の様々な処理選択の高度化を実施する能力；及び
既存の産業制御インフラストラクチャの制約内で機能する能力、又はロボット操作、エンドエフェクタ／ツーリング、撮像前／後、及びｉｎ－ｓｉｔｕ感知を含む、研磨処理ハードウェア／機器の総合制御を有する能力。
１．ロボット（スマート）ツール及び／又は部品取り扱い；
高度な研磨システム（例えば、３ＭのＦｉｎｅｓｓｅ－ｉｔ（商標））の利用；
部品／欠陥の生画素データ、（面法線情報を有する）予め識別された欠陥の場所、並びに予め識別された欠陥分類及び対応する測定基準（例えば、重大度）を含む、複数の入力モダリティを取り扱う能力；
機械学習／強化学習を使用して、単純な経験的に導出されたポリシーから自己学習した確率的ポリシーまでの範囲の様々な処理選択の高度化を実施する能力；及び
既存の産業制御インフラストラクチャの制約内で機能する能力、又はロボット操作、エンドエフェクタ／ツーリング、撮像前／後、及びｉｎ－ｓｉｔｕ感知を含む、研磨処理ハードウェア／機器の総合制御を有する能力。
【0022】
エンドエフェクタのコンプライアンス／力制御における最近の進歩により、自動車用クリアコート補修の全自動化が実現可能になった。具体的には、ロボットシステムが繊細な研磨作業（すなわち、サンディング、バフ研磨、及び後続のポリッシングによるクリアコート補修）に必要とされる力／圧力の忠実度を示すことを可能にする、アクティブかつ高ダイナミック空気適合力制御フランジが現在存在する。前述したように、ロボットのコントローラと併せてツールにおける力／トルクセンサを使用したアームを介した力制御は、受け入れられた方法であったが、このアプローチは、不十分な応答時間及び非常に硬直した応答曲線に悩まされ、したがって、このアプリケーションドメインのための許容可能な解決策としてそれらを排除している。
【0023】
上述のツーリング（以下の図１では、スタック１０６と呼ばれる）は、（適合）力制御などの任意の補助機器と共に、任意の研磨ツーリング及び物品を含む。スタック１０６は、エンドエフェクタという用語とほとんど同義であるが、スタックという用語は、本明細書ではロボット研磨仕上げの文脈で使用される。図１は、例示的なスタック１０６を概略的に更に分解する。
【0024】
計算力の最近の進歩は、製造速度でのクリアコート検査の処理を実現可能にしてきた。具体的には、ステレオ偏向測定は、後続の自動スポット補修を可能にするために、空間情報を用いて適切な解像度で塗装及びクリアコート欠陥を提供することが可能であることが最近では示されている。従来の検査方法を使用すると、サンプル実施形態における自動化されたクリアコートスポット補修システム１００は、ＯＥＭ用途についての図１の概略図と同様に見える場合がある。図１では、それぞれのボックスは、ロボットコントローラ１０２、ロボットマニピュレータ１０４、並びにコンプライアンス力制御ユニット１０８と、ツーリング１１０と、研磨物品／コンパウンド１１２とを含むロボット塗装補修スタック１０６を含む、システムの様々なハードウェアコンポーネントを表す。データの流れは、背景の矢印１１４によって示されており、この矢印は、基材内の識別された欠陥を含む検査データを提供する検査前データモジュール１１６から開始し、欠陥補修処理中に基材１２０から生成されたデータを処理するための検査後欠陥データモジュール１１８で終了する。
【0025】
サンプル実施形態では、基材１２０は、自動車の本体自体であってもよく、仕上げは、製造プロセス全体にわたって自動車の任意の状態とすることができる。典型的には、対象とする自動車又はパネルは塗装され、クリアコートされており、なんらかの形態の硬化（例えば、焼成）が見られ、欠陥をチェックされる。動作中、欠陥の場所及び特性は、検査前データモジュール１１６からロボットマニピュレータ１０４を制御するロボットコントローラ１０２に供給され、ロボットコントローラ１０２において、プログラムがエンドエフェクタ（スタック）１０６を識別された欠陥に誘導して、なんらかの所定の補修プログラム（決定論的な）ポリシーを実行する。いくつかのまれな場合には、ポリシーは、提供された欠陥特性に応じて適合することが可能であり得る。
【0026】
塗装補修用途の場合、ロボット塗装補修スタック１０６は、（適合）力制御ユニット１０８などの任意の補助機器と共に、研磨ツーリング１１０並びに研磨物品及びコンパウンド１１２を含む。本明細書で使用するとき、ロボット塗装補修スタック１０６は、エンドエフェクタという用語とほとんど同義であるが、本明細書では、用語「スタック」は、ロボット塗装補修の文脈においてエンドエフェクタである。また、プライマー、塗装、及びクリアコートの補修を含むロボット塗装補修を提供するために記載されているが、本明細書に記載する技術は、それ自体が、塗装補修以外の他の工業用途に役立つことが理解されよう。
【0027】
図２は、ロボット塗装補修スタック１０６のコンポーネントの分解を概略的に示す。図示されているように、ロボット塗補修スタック１０６は、ロボットアーム２００、力制御センサ及びデバイス１０８、研削／ポリッシングツール１１０、ハードウェア統合デバイス２０２、研磨パッド装及びコンパウンド１１２、設計研磨処理２０４、並びにデータ及びサービス２０６を備える。これらの要素が一緒に働いて、欠陥の場所を識別し、識別された欠陥についての決定論的なポリシーを使用して、所定の補修プログラムを実施することができる。
【0028】
したがって、図１及び図２は、新たに利用可能な検査方法（すなわち、偏向測定）に基づいて、クリアコート補修の自動化のやや簡単なアプローチを実施する。以下に記載するシステム及び方法の実施形態は、補修のためのロボットプログラム（すなわち、ポリシー）を欠陥ごとにリアルタイムで修正するために、検査、作業セル、又はツーリングからの追加データを利用することによって、図１及び図２のシステム及び方法と差異化される。この点において、プログラムは、決定論的な経験的に導出されたレシピ（技術サービス／アプリケーション工学）と、性能（すなわち、強化学習）に基づいて常に改善された確率的ポリシーとの間のスペクトル上にある最適な（又はほぼ最適な）補修戦略（ポリシー）を実行するための観察に基づいて適応する。加えて、分類（教師あり学習）又はクラスタリング（教師なし学習）などの他の学習形態を適用して、感知データなどにおける次元性の低減を実行するのに役立てることができる。これらのアプローチは一緒に、以下のサンプル実施形態に関して記載する学習モジュールを含む。
【0029】
サンプル実施形態
ツーリングの進歩にもかかわらず、図１及び図２に関して説明されたシステムをプログラムして研磨剤を効果的に使用する方法についての理解／経験の一般的な欠如が依然として存在する。成功した実施は、ロボット統合／プログラミング及びドメイン固有の研磨剤利用の両方において専門知識を必要とする。本明細書に記載する技術は、当面のタスクのための最適な研磨剤利用／技術を選択及び実行することができる完全自動化の解決策を提供することによって、この問題に対処するものであり、ユーザの代わりに専門知識を必要としない。自動車用塗装補修の文脈では、これは、欠陥情報（例えば、画像及び／又は場所、説明など）を取り込み、欠陥固有、研磨剤固有の補修戦略を計算することを伴う。この技術は、入力の種類及びアプリケーションコントローラに割り当てられた制御／実行の全幅に応じて、多数の様々なインスタンス化で実施されてもよい。代表的な実施形態を、図３に概略的に示す。
ツーリングの進歩にもかかわらず、図１及び図２に関して説明されたシステムをプログラムして研磨剤を効果的に使用する方法についての理解／経験の一般的な欠如が依然として存在する。成功した実施は、ロボット統合／プログラミング及びドメイン固有の研磨剤利用の両方において専門知識を必要とする。本明細書に記載する技術は、当面のタスクのための最適な研磨剤利用／技術を選択及び実行することができる完全自動化の解決策を提供することによって、この問題に対処するものであり、ユーザの代わりに専門知識を必要としない。自動車用塗装補修の文脈では、これは、欠陥情報（例えば、画像及び／又は場所、説明など）を取り込み、欠陥固有、研磨剤固有の補修戦略を計算することを伴う。この技術は、入力の種類及びアプリケーションコントローラに割り当てられた制御／実行の全幅に応じて、多数の様々なインスタンス化で実施されてもよい。代表的な実施形態を、図３に概略的に示す。
【0030】
図３は、本明細書に記載するように、自動研磨塗装補修デバイスを制御して自動研磨塗装補修を提供するようにプログラムされた少なくとも１つのプロセッサを有するコントローラによって実施される、処理３００のサンプル実施形態を示す概略図である。図３では、データは、矢印によって示されるように左から右に流れる。実線及び破線の垂直バーは、それぞれ入力間のデータ又は選択の収集を示し、バス（実線）及びマルチプレクサ（破線）と考えることができる。ボックスは、モジュールを表し、これらの各々は、以下に詳細に説明される。図示されているように、処理３００は、一般に、高い実線で分けられた５つの主段階（Ｉ～Ｖ）を含む。これらの段階の各々を、以下に説明する。
【0031】
段階Ｉ
第１の段階（段階Ｉ）では、処理３００は、塗料欠陥補修の特定の事例についての関連情報を収集する。具体的には、この処理は、補修される欠陥の、欠陥の場所及び欠陥定量化を説明するデータ３１２と共に、塗装層などの使用中の塗装システムについての関連情報３１０（例えば、順序、組成など）を取り込む。欠陥データは、様々な制御アーキテクチャ及びプラントインフラストラクチャへの組み込みに適応するために、多数の異なる形態で提示することができる。最も単純な場合、製造業者は、彼ら自体の（既存の）検査方法からの欠陥の最小限の情報を提供する。これは、手動、自動、又は両方のなんらかの組み合わせであってもよい。一般に、処理３００は、欠陥自体のなんらかの尺度と共に、少なくとも、欠陥の場所（面法線情報を有する）を使用する。これらの特徴がより説明的であるほど、第４の段階（段階ＩＶ）に関して以下に記載するサンディング、バフ研磨、及びポリッシング処理セレクタによって、欠陥をより良好に処理することができる。
第１の段階（段階Ｉ）では、処理３００は、塗料欠陥補修の特定の事例についての関連情報を収集する。具体的には、この処理は、補修される欠陥の、欠陥の場所及び欠陥定量化を説明するデータ３１２と共に、塗装層などの使用中の塗装システムについての関連情報３１０（例えば、順序、組成など）を取り込む。欠陥データは、様々な制御アーキテクチャ及びプラントインフラストラクチャへの組み込みに適応するために、多数の異なる形態で提示することができる。最も単純な場合、製造業者は、彼ら自体の（既存の）検査方法からの欠陥の最小限の情報を提供する。これは、手動、自動、又は両方のなんらかの組み合わせであってもよい。一般に、処理３００は、欠陥自体のなんらかの尺度と共に、少なくとも、欠陥の場所（面法線情報を有する）を使用する。これらの特徴がより説明的であるほど、第４の段階（段階ＩＶ）に関して以下に記載するサンディング、バフ研磨、及びポリッシング処理セレクタによって、欠陥をより良好に処理することができる。
【0032】
図３の処理は、今日の業界で使用されている現在の人間が中心の基準を含む、利用可能な任意の情報で機能するために十分に柔軟である。このような基準は、一般的に、本質的に独自であり、製造業者ごとに変化するが、同じ基礎をなす特性の多くを共有する。供給された外部情報を取り込む代替として、図３の処理は、欠陥画像の生画素データから、このような画像（例えば、ステレオ偏向測定）を提供する撮像処理システム３１４からの高さ又は曲率マップにまでわたる、スペクトルの形態のデジタル情報を取り込むことができる。
【0033】
本明細書に記載する処理３００は、場所及び特性情報を含む、なんらかの形態で既存の／提供された欠陥情報を取り込む能力を有する。例えば、図４は、２つの別個の隆起した「ニブ」欠陥のプロファイルを示す。しかしながら、好ましい入力モードは、画像処理システム３１４からの高さマップ又は更には生の画像データ（例えば、一般的な偏向測定法の場合、位相シフトされた欠陥の生の画像）などの、データに富んだ画像入力の形態である。この後者の場合、処理３００は、欠陥を最も効果的に補修し、かつ更には自動化された方法でそれらを位置特定／識別する方法について、より良好な決定を行うことができる。前処理された入力がより意味があると思われることがあるが、これらの特徴は、選択された研磨製品／システムに対して不正確又は準最適であり得る先験的仮定を用いて構築された場合が多い。例えば、欠陥を説明する一般的な人間が中心の方法は、重大度のなんらかの尺度を伴う種類分類によるものである。しかしながら、これは、この特定の場合に研磨をどのように実行するかについての情報をほとんど提供せず、したがって、最適な補修の解決策は、不可能である。
【0034】
完全に統合された画像処理のサンプル実施形態として、図５は、３Ｍ Ｃｏｒｐｏｒａｔｉｏｎによって提供されるＦｉｎｅｓｓｅ－ｉｔ（商標）補修処理の、補修前、サンディング後、及びポリッシング後の段階の各々における生画素データを示す。特に、図５は、サンディング前（左）５００、サンディング後／ポリッシング前（中央）５１０、及びポリッシング後（右）５２０の間に撮られたマルチモーダル画像を示す。画像の上の２つの行は、鏡面反射領域についての未処理の偏向測定位相シフト画像キャプチャであり、下の行は、拡散領域についての単一の白一色で照明された画像である。位相シフトされた偏向画像は、鏡面（４つの水平にシフトした、及び４つの垂直にシフトした）の高精度検査を可能にし、拡散白色照明でキャプチャされた通常の画像は、拡散面の特徴を観察するために有用である。
【0035】
図６及び図７は、局所的に計算された曲率を使用した画像処理の可能な出力を示す。図６は、２つの欠陥（サンディング前）の偏向測定からの局所曲率計算出力を示す。領域６００は、残りの領域６１０よりも高い曲率の領域である。ここで、領域６００は隆起した「ニブ」欠陥であり、左画像内の２つ及び右側画像内の大きな１つがすぐ目につく。図７は、過度に処理された領域７００からの曲率出力を示す。ここで、補修は、過度に積極的であって、不均一な補修後表面トポグラフィをもたらす。補修は、部品の大面積の欠陥のない外観を維持しながら、いかなる存在する欠陥も除去する。他の可能な実施としては、第４の段階（段階ＩＶ）に関して後述するように、ニューラルネットワークの畳み込み層のようなものを介した自動分類及び／又は暗黙的特徴抽出が挙げられる。
【0036】
図８は、高さマップを測定するためのレーザー撮像の使用を表す、レーザー形状測定を使用して取られた高さマップを示す。ここで、領域８００は、領域８１０よりも高い。反転された「クレーター」欠陥８２０の例を図８の下の行に見ることができる。
【0037】
段階ＩＩ
処理３００の第２の段階（段階ＩＩ）は、最適な製品セレクタモジュール３２０の利用を可能にする任意選択の段階である。アプリケーションドメイン及び製品状態３２２などの関連する詳細があれば、製品セレクタモジュール３２０は、当面の処理のための最適な研磨製品選択を提供する。製品セレクタモジュール３２０による製品選択は、ドメイン詳細だけでなく、この場合では欠陥情報自体などの部分ごとにも基づくことができる。例えば、より大きな、より重度の欠陥は、より積極的な研磨剤を必要とすることがある。処理３００は、製品セレクタモジュール３２０が存在しない／利用可能でない場合、所定の製品選択３２４を使用することをデフォルトにする。
処理３００の第２の段階（段階ＩＩ）は、最適な製品セレクタモジュール３２０の利用を可能にする任意選択の段階である。アプリケーションドメイン及び製品状態３２２などの関連する詳細があれば、製品セレクタモジュール３２０は、当面の処理のための最適な研磨製品選択を提供する。製品セレクタモジュール３２０による製品選択は、ドメイン詳細だけでなく、この場合では欠陥情報自体などの部分ごとにも基づくことができる。例えば、より大きな、より重度の欠陥は、より積極的な研磨剤を必要とすることがある。処理３００は、製品セレクタモジュール３２０が存在しない／利用可能でない場合、所定の製品選択３２４を使用することをデフォルトにする。
【0038】
サンプル実施形態では、製品セレクタモジュール３２０は、所与の仕上げを見て、視覚によってそれを定義し、次いで、所望の終了状態の仕上げを達成するために、研磨処理のための推奨される解決策を提供する能力を提供するデジタルツールである。製品セレクタモジュール３２０は、デジタル画像を使用してもよく、アプリケーション要件又は処理条件の更なる記述子を含んでもよい。デジタル画像は、携帯電話カメラを介して収集されてもよく、解決策は、モバイルデバイス上に提供されてもよい。ツールを駆動するアルゴリズムは、広範囲のエンドユーザアプリケーションからのアプリケーションエンジニアの専門知識を組み込んで、画像分析及び研磨処理の解決策のための推奨される選択肢を通知及び改良する。製品セレクタモジュール３２０は、多段階処理の反復法で使用されてもよい。
【0039】
研磨用途のためのエンドユーザビジット（End-user visits）は、一般に、所望の最終仕上げを示すためのワークピースのレビューを含む。「最終仕上げ」は、より大きな製造プロセスの最終生産段階、ワークピースの更なる塗装、めっき、若しくはコーティング前の最後から二番目のステップ、又は中間ステップで、ワークピースの外観に適用される。多くの場合、エンドユーザは、仕上げを定量化するために利用可能な制限された測定値を有する。最も多くの場合、仕上げの品質及び視覚的手段による（例えば、目による）最終検査を定義するための測定値は存在しない。仕上げ外観は、照明条件（反射率、輝度など）とワークピースの特徴（材料、コーティング、色、引っかき傷の深さ／形状／集中など）との複雑な組み合わせである。人間の目は、全体的な外観の多くの属性を捉えるが、欠陥又は欠点を識別する「トレーニングされた目」であっても、高度に主観的である。加えて、全体的な外観が「初心者の目」又は同じ照明条件下でワークピースを直接見ていない人によって完全に理解されるように、人が全体的な外観を正確に説明することは困難である。製品セレクタモジュール３２０は、可能性のある欠陥を含む視野のデジタルキャプチャを作成して製品セレクタモジュール３２０に供給することによって、これらの主観的要因を最小化する。
【0040】
最終仕上げはまた、一連の研磨作業による成果である。研磨タイプ、グレード及び／又は処理条件の不十分な選択により、ワークピースの再処理を必要とする最終仕上げにおける望ましくない特徴（鏡面又はほぼ鏡面仕上げにおける深い引っかき傷など）、及びワークピースの廃棄（廃棄物）になってしまう多過ぎる材料除去などの、いくつかの望ましくない状況をまねくことがある。多くの場合、過度に慎重な作業者は、より積極的でない研磨ステップ／より微細なグレードを使用して、最終廃棄物を最小限に抑える又は再処理を阻止するために生産性を犠牲にするアプローチを取る。製品セレクタモジュール３２０は、解決策を提案するために、多段階研磨処理におけるアプリケーションエンジニアの広範な専門知識を利用する。
【0041】
アプリケーションエンジニアは、性能に影響を及ぼす一般的な要因で製品セレクタモジュール３２０による処理評価を開始し、次いで、既存の処理を最適化する又は新しい処理解決策を推奨するためのパラメータを提案する。製品セレクタモジュール３２０は、推奨を行うために、デジタル画像内の仕上げを介して以前の例を利用する。アプリケーションからの追加の画像、パラメータ、及び機器情報は、進行に基づいて挿入されて、製品セレクタモジュール３２０に分類又はクラスタリングから予測出力に移動する方法を更に教えることができる。
【0042】
したがって、製品セレクタモジュール３２０は、説明が困難であった顧客ニーズ（仕上げ）に対して構造化されたデータを作成する。製品セレクタモジュール３２０は、ロボットアプリケーションの計画及び実行を向上させる機械学習アルゴリズムを実装してもよい。製品セレクタモジュール３２０はまた、動作パラメータからの仕上げ出力の予測を生成してもよい。製品セレクタモジュール３２０は、提供される場合には、したがって、提案する研磨解決策の品質及び速度の改善、並びに顧客の研磨用途の幅において限られた経験を有するより初心者の従業員（セールスエンジニア又はアプリケーションエンジニア）の有効性の改善を可能にする。
【0043】
段階ＩＩＩ
処理３００の第３の段階（段階ＩＩＩ）は、研磨製品を変更及び／又は手入れすることを含む個別のアクションの選択を取り扱う、個別アクションセレクタモジュール３３０を含む。研磨物品は、複数回の補修のために使用することができる場合があるが、性能は、一般的に経時的に劣化する。これは、トレードオフを防止し、いつ研磨ディスクを交換するかに関して行われなければならない後続の決定を必要とする。新しい研磨剤は、より良好に切断することができるが、研磨剤自体のコスト及び入れ替えの時間負担コストが考慮されることが多い。
処理３００の第３の段階（段階ＩＩＩ）は、研磨製品を変更及び／又は手入れすることを含む個別のアクションの選択を取り扱う、個別アクションセレクタモジュール３３０を含む。研磨物品は、複数回の補修のために使用することができる場合があるが、性能は、一般的に経時的に劣化する。これは、トレードオフを防止し、いつ研磨ディスクを交換するかに関して行われなければならない後続の決定を必要とする。新しい研磨剤は、より良好に切断することができるが、研磨剤自体のコスト及び入れ替えの時間負担コストが考慮されることが多い。
【0044】
任意の研磨媒体の有限の耐用年数により、経時的に十分な性能を維持するために、周期的な研磨剤の交換が必要とされる。用途、使用、及び研磨剤自体に応じて、交換間の時間は様々であり得る。個別アクションセレクタモジュール３３０は、主な仕事として、研磨剤の交換が必要とされたときに処理３００へ信号を送ることを有する。加えて、多くの研磨作業は、なんらかの形態の補助流体などを利用する。個別アクションセレクタモジュール３３０はまた、いつ及び／又はどれだけの量の補助流体を使用するかを取り扱う。このロジックはまた、同様にパッドを交換する必要があるバフ研磨及びポリッシングにも適用されるが、一般的に、このようなパッドは、はるかに低い頻度で交換される。新しいパッドは、コンディショニングを必要とし、使用されるパッドは、ポリッシュの継続的な再適用を必要とする。
【0045】
クリアコート／塗装補修サンディングの文脈では、個別アクションセレクタモジュール３３０は、現在のディスク使用に関するデータ（例えば、経時的な適用された力）を取り込み、任意選択的に、これからの補修に関する情報を取り込み、ディスクを交換する／ディスクを交換しない、補助流体適用量などを含むアクションのセットを出力する。
【0046】
いくつかの場合には、様々な理由により、個別アクションの決定は、製造の好みに基づいて経験的に予め決められている。そうである場合、このような所定のアクションは、３３２で提供される。例えば、１つのポリシーは、欠陥ごとの後に研磨剤を交換することである。これは、一般に、多くの研磨製品が単一の補修を越えて良好に継続する寿命を呈するため、準最適である。したがって、性能（すなわち、補修の最終品質）を著しく変化させることなく、研磨剤の耐用年数全体を利用する、最適な決定を利用する値が存在する。その最も高度な形態の個別アクションセレクタモジュール３３０は、研磨剤交換のコスト（時間及び金額の両方における）を考慮し、それに応じて決定する。
【0047】
段階ＩＶ
第４の段階（段階ＩＶ）は、研磨剤の実際の使用戦略が計算される段階である。塗装補修の文脈において、この量は、処理時間、ディスク速度、ディスクの動き、適用された力などの値を選択するための量である。選択されたモジュール（サンディング処理セレクタモジュール３４０、バフ研磨処理セレクタモジュール３４２、又はポリッシング処理セレクタモジュール３４４）は、現在の処理段階（すなわち、サンディング、バフ研磨、又はポリッシング）に対応する。一般に、この段階の出力は、採用される方法の高度化に応じて、スカラー値又は経時変化関数であってもよい。
第４の段階（段階ＩＶ）は、研磨剤の実際の使用戦略が計算される段階である。塗装補修の文脈において、この量は、処理時間、ディスク速度、ディスクの動き、適用された力などの値を選択するための量である。選択されたモジュール（サンディング処理セレクタモジュール３４０、バフ研磨処理セレクタモジュール３４２、又はポリッシング処理セレクタモジュール３４４）は、現在の処理段階（すなわち、サンディング、バフ研磨、又はポリッシング）に対応する。一般に、この段階の出力は、採用される方法の高度化に応じて、スカラー値又は経時変化関数であってもよい。
【0048】
処理セレクタモジュール３４０、３４２、及び３４４は、補修の現在の段階に基づいて選択される。例えば、補修処理の第１のパスは、サンディング処理セレクタモジュール３４０を呼び出し、後続のパスが、次いで（最終的に）、バフ研磨処理セレクタモジュール３４２及びポリッシング処理セレクタモジュール３４４を選択する。一般的な場合、補修処理全体は、多段階であり、反復的であってもよい。各処理セレクタが選択される順序及び回数について、制限はない。この点において、反復補修戦略を得ることができる（それらのより長い処理時間に起因して、常に望ましいわけではないが）。
【0049】
経験的に導出されたループアップテーブル
これらの処理セレクタを実施するための最も簡単なアプローチは、既存の経験的ドメインの専門知識及び処理知識からのものである。この情報は、ルックアップテーブル又は模倣学習などの機械学習技術を介して含まれる多数の異なる方法で捕捉することができる。図９は、特に塗装補修のタスクのための既存の処理ノウハウから生成された経験的に導出された例示的なルックアップテーブル９００を示す。塗装システム、欠陥の種類、欠陥の測定値、及び欠損付近の周囲外観に基づいて、適切な補修戦略が推奨される。このようなテーブルは、一般に、可能な／適切な場合に、入力を間隔範囲内にビン化する。他の選択肢は、多くの異なる既知の個別の戦略を記録し、当面のタスクを使用して内挿することである。
これらの処理セレクタを実施するための最も簡単なアプローチは、既存の経験的ドメインの専門知識及び処理知識からのものである。この情報は、ルックアップテーブル又は模倣学習などの機械学習技術を介して含まれる多数の異なる方法で捕捉することができる。図９は、特に塗装補修のタスクのための既存の処理ノウハウから生成された経験的に導出された例示的なルックアップテーブル９００を示す。塗装システム、欠陥の種類、欠陥の測定値、及び欠損付近の周囲外観に基づいて、適切な補修戦略が推奨される。このようなテーブルは、一般に、可能な／適切な場合に、入力を間隔範囲内にビン化する。他の選択肢は、多くの異なる既知の個別の戦略を記録し、当面のタスクを使用して内挿することである。
【0050】
次いで、経験的に導出されたルックアップテーブル９００に格納された値を使用して、欠陥の種類を識別し、測定されたパラメータを使用して、欠陥に適用するための適切なサンディング、バフ研磨、及びポリッシングツール、並びに手順を決定することができる。例えば、格納されている経験的に導出されたパラメータを処理するためのサンプル擬似コードは、以下のようになってもよい。
【0051】
欠陥＿種類の切り替え：
ニブの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝ニブ＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
クレーターの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝クレーター＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿研磨剤，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
．．．
デフォルトの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝デフォルト＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿研磨剤，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
ニブの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝ニブ＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
クレーターの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝クレーター＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿研磨剤，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
．．．
デフォルトの場合：
［研磨剤＿種類，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット］＝デフォルト＿研磨剤＿ルックアップ（容積＿情報，
基材＿情報）
［ポリッシュ＿コンパウンド，
ポリッシュ＿滞留，
ポリッシュ＿力＿プロファイル，
ポリッシュ＿ｒｐｍ，
ポリッシュ＿オービット］＝ポリッシュ＿ルックアップ（基材＿情報
研磨剤＿研磨剤，
研磨剤＿グレード，
研磨剤＿滞留，
研磨剤＿力＿プロファイル，
研磨剤＿ｒｐｍ，
研磨剤＿オービット）
【0052】
サンプル実施形態では、方法は、熟練者／専門家の人間の作業者から経験的に導出された規則から自動研磨塗装補修戦略及びプログラムを実施した。図９に示すように、入力として提供される経験的に導出されたパラメータは、以下のものを含むことができる。
１．提供された分類子からの欠陥の種類。サンプル欠陥の種類としては、ニブ、クレーター、ドリップ、液だれ、毛髪などが挙げられる。
２．欠陥のおおよその容積情報。サンプルは、高さ、幅、アスペクト比などのいずれか／全てを含む。
３．基材材料情報。サンプルは、種類、材料、硬度などのいずれか／全てを含む。
サンプル実施形態では、提供される処理パラメータは、滞留時間、力（プロファイル）などを含むことができる。
１．提供された分類子からの欠陥の種類。サンプル欠陥の種類としては、ニブ、クレーター、ドリップ、液だれ、毛髪などが挙げられる。
２．欠陥のおおよその容積情報。サンプルは、高さ、幅、アスペクト比などのいずれか／全てを含む。
３．基材材料情報。サンプルは、種類、材料、硬度などのいずれか／全てを含む。
サンプル実施形態では、提供される処理パラメータは、滞留時間、力（プロファイル）などを含むことができる。
【0053】
本明細書に記載したように、これらの入力は、手動で測定されてもよく、又は自動デジタルロボット検査（すなわち、カメラ）を使用して測定されてもよい。サンプル実施形態では、結果として得られた自動研磨塗料補修は、処理セレクタモジュール３４０、３４２、及び３４４が最初に研磨処理パラメータを生成し、次いで、ポリッシングパラメータを生成し、それによって、ポリッシングパラメータが以前に生成／実行された補修戦略を考慮して選択される、研磨ステップと、後続の１つ以上のバフ研磨／ポリッシングステップとを含む。第１の実施形態では、処理セレクタモジュール３４０、３４２、及び３４４は、入力の経験的に工学的に作られたパラメータ関数であるパラメータ選択アルゴリズムを使用して、図９に示す種類の経験的に導出されたルックアップテーブルからパラメータを選択する。代替的な実施形態では、パラメータは、以下により詳細に記載するように、決定木及び／若しくは既知のｋ最近傍法を実装するパラメータ選択アルゴリズムによって選択されてもよく、かつ／又はパラメータ選択は、機械学習技術（すなわち、分類及び／又は回帰）を用いて生成される。
【0054】
結果として得られた研磨剤固有の出力は、研磨タイプ（製品／ファミリー）、研磨グレード、サンディングツーリング、オービットなどによって使用するためのＲＰＭを含んでもよい。結果として得られたポリッシュ固有の出力は、コンパウンド、バフ研磨／ポリッシングツーリングによって使用するためのＲＰＭ、及びオービットなどを含んでもよい。塗装の場合、入力は、基材硬化レベル、ゆず肌測定値、及びヘイズ感度などを含んでもよい。
【0055】
このような処理の結果は、２つ又は３つのステップの塗装欠陥補修システムのための標準的な動作手順を指定することができる。例えば、第１のステップは、使用するサンダーツール及びパッド、並びに適切な研磨剤を指定することができる。ユーザには、選択されたサンディングツール及びパッドについてのベストプラクティスのためのサンディング命令及び助言が提供される。第２のステップは、使用するポリッシングツール及びパッド、並びに推奨されるポリッシュを指定することができる。ユーザには、選択されたバフ研磨ツール及びパッドについてのベストプラクティスのためのバフ研磨命令及び助言が提供される。３つのステップの補修システムでは、第３のステップは、私たちにバフ研磨ツール及びパッド、並びに推奨されるポリッシュを指定することができる。ユーザには、選択されたバフ研磨ツール及びパッドについてのベストプラクティスのためのバフ研磨命令が更に提供される。
【0056】
機械学習処理
他の実施形態では、完全なエンドツーエンド機械学習技術を、処理セレクタモジュール３４０、３４２、及び３４４に適用することができる。例えば、図１０は、学習コンポーネント及びクラウドベースの処理計画及び最適化を含むロボット塗装補修システムのサンプル実施形態を示す。図１０の実施形態では、ロボット塗装補修スタック１０００は、上述のロボット塗装補修スタック１０６から強化されており、追加のセンサ１００２と、スマートツーリング１００３と、補助制御ユニット１００４と、データベース１００７を含むクラウドコンピューティングシステム１００６とを更に含み、このデータベースは、ローカルにあるか、又はクラウドコンピューティングシステム１００６内で維持されており、機械学習ユニット１００８によって推奨され、かつポリシーサーバ１００９によって維持されるそれらのポリシー及び手順を含む、塗装補修スタック１０００のための制御ポリシーを実行及び維持する役割を担っている。データベース１００７及びポリシーサーバ１００９は、クラウド内又はローカルオンサイトサーバ若しくはエッジコンピュータ内にあってもよい。
他の実施形態では、完全なエンドツーエンド機械学習技術を、処理セレクタモジュール３４０、３４２、及び３４４に適用することができる。例えば、図１０は、学習コンポーネント及びクラウドベースの処理計画及び最適化を含むロボット塗装補修システムのサンプル実施形態を示す。図１０の実施形態では、ロボット塗装補修スタック１０００は、上述のロボット塗装補修スタック１０６から強化されており、追加のセンサ１００２と、スマートツーリング１００３と、補助制御ユニット１００４と、データベース１００７を含むクラウドコンピューティングシステム１００６とを更に含み、このデータベースは、ローカルにあるか、又はクラウドコンピューティングシステム１００６内で維持されており、機械学習ユニット１００８によって推奨され、かつポリシーサーバ１００９によって維持されるそれらのポリシー及び手順を含む、塗装補修スタック１０００のための制御ポリシーを実行及び維持する役割を担っている。データベース１００７及びポリシーサーバ１００９は、クラウド内又はローカルオンサイトサーバ若しくはエッジコンピュータ内にあってもよい。
【0057】
補助制御モジュール１００４は、ロボットコントローラ１００２内に以前に収められた決定論的なコードの場所を取り、ロボットマニピュレータ１００４及びスマートツーリング１００３の実行のための即時リアルタイム信号及び処理を提供する。この点に関して、ロボットマニピュレータ１００４は、ここで、補助コントローラ１００４によって駆動されるシステム１０００において、反応的な役割を果たす。クラウドコンピューティングシステム１００６のデータベース１００７は、ポリシーサーバ１００９によって実施されるポリシーを生成するために識別された欠陥と相関する、状態変数、測定値、及び結果として得られた性能を含む処理の観察を記憶する長期データリポジトリとして機能する。最後に、機械学習モジュール１００８は、観察（状態／センサデータ）及び後続の報酬（補修の品質）に基づいて補修ポリシーを連続的に改善する役割を担っている。オンライン学習は、Ｔｅｍｐｏｒａｌ Ｄｉｆｆｅｒｅｎｃｅ（ＴＤ）Ｌｅａｒｎｉｎｇ、Ｄｅｅｐ Ｑ Ｌｅａｒｎｉｎｇ、Ｔｒｕｓｔ Ｒｅｇｉｏｎ Ｐｏｌｉｃｙ Ｏｐｔｉｍｉｚａｔｉｏｎなどの強化学習の形態によって達成される。
【0058】
図１０の実施形態では、ロボットマニピュレータ１０４は、本明細書に記載する欠陥検査及び補修を達成するために、エンドエフェクタ（スタック）ツーリング１００５を十分に位置決めすることができる。サンプル実施形態に関して本明細書に記載する問題ドメイン（プライマー／塗装／クリアコート補修）では、欠陥は、一般的に、基材１２０（板金、プラスチック、カーボンファイバーなどの複数の成形片のアセンブリ）の外面上にあり、これは、一般的に、２Ｄマニホールド構造（すなわち、局所的に「平坦」又は「平滑」である）を示す。理論上はより自由度の低いシステムを使用することができるが、工業的に標準的な６自由度のシリアルロボットマニピュレータが、この処理への適合性が最良であると見出されている。いくつかの例としては、ＦａｎｕｃのＭ－２０シリーズ、ＡＢＢのＩＲＢ １６００、又はＫｕｋａのＫＲ ６０シリーズが挙げられる。例えば、Ｋｕｋａ ＫＲ ６０ ＨＡは、６つの軸及び自由度を有し、６０ｋｇの荷重を支持し、２．０３３ｍまで届く。処理固有のツーリング（すなわち、エンドエフェクタ）は、以下のスタック１００５の説明においてより詳細に扱われる。
【0059】
ロボットコントローラモジュール１０２は、選択されたロボットマニピュレータ１０４のためにロボットＯＥＭが提供するコントローラである。ロボットコントローラモジュール１０２は、ロボットマニピュレータ１０４に直接モーションコマンドを送り、いずれのセル関連の安全性に関する懸念も監視する役割を担っている。実際には、ロボットコントローラモジュール１０２は、一般的に、セル監視のための１つ以上の安全プログラム可能論理コントローラ（ＰＬＣ）と併せてロボットコントローラを含む。サンプル実施形態では、ロボットコントローラモジュール１０２は、欠陥固有の情報及び／又はコマンドを提供する補助制御ユニット１００４からの入力を行うようにセットアップされる。これは、所望の実施に応じて、所定の機能のプログラムダウンロード若しくはパラメトリック実行を介してオフラインで、又は位置／速度オフセットストリーミングを介してリアルタイムで、のいずれかで起こる。オフラインアプローチの例は、ロボットコントローラモジュール１０２によって実行されるネイティブロボットの言語（例えばＲＡＰＩＤ、ＫＲＬ、Ｋａｒｅｌ、Ｉｎｆｏｒｍなど）の前処理されたロボットプログラムである。一方、例示的なストリーミングインターフェースは、ＦａｎｕｃのＤｙｎａｍｉｃ Ｐａｔｈ Ｍｏｄｉｆｉｃａｔｉｏｎパッケージ又はＫｕｋａのＲｏｂｏｔ Ｓｅｎｓｏｒ ＩｎｔｅｒｆａｃｅなどのロボットＯＥＭが提供するセンサインターフェースパッケージを介したものである。このリアルタイムの実施形態では、補助コントローラ１００４（以下に更に詳細に記載する）は、補修されている欠陥に基づいて、ロボットコントローラモジュール１０２にオンラインリアルタイム位置オフセットを送信する。
【0060】
サンプル実施形態では、位置補正のオンラインリアルタイムストリーミングのためのＫＵＫＡ．ＲｏｂｏｔＳｅｎｓｏｒＩｎｔｅｒｆａｃｅオプションパッケージを有するＫｕｋａ ＫＲ Ｃ４コントローラを、Ｋｕｋａ ＫＲ ６０ ＨＡロボットマニピュレータ１０４を用いてロボットコントローラ１０２として使用することができる。
【0061】
図１０の実施形態では、検査前データモジュール１１６及び検査後データモジュール１１８は、処理される各部品についての全本体検査データを提供する。ここで必要とされるセンサ１００２の種類は、当面の問題の特性（すなわち、プライマー又はクリアコート補修）に依存する。具体的には、基材１２０の表面の鏡面性が、センサ１００２の選択に影響する。高鏡面性（反射性）表面については、較正されたステレオ偏向測定である主要技術のうちの１つを用いる反射アプローチが通常、選択される。非反射性のシナリオ（すなわち、プライマー補修）の場合、投影アプローチが好ましい。両方のアプローチは、それらの基本的な数学的原理において類似しており、主にそれらの表面照度アプローチ（すなわち、偏光／反射対投影）によって異なる。投影アプローチに加えて、非鏡面又は混合シナリオのための従来のモノクロ又はＲＧＢ撮像に、拡散反射された又は構造化されていない光を使用するという利点もまた存在する。
【0062】
クリアコート補修及び本体の十分な鏡面性のためのサンプル実施形態では、Ｍｉｃｒｏ－Ｅｐｓｉｌｏｎ ｒｅｆｌｅｃｔＣＯＮＴＲＯＬ撮像システムが、検査前モジュール１１６及び検査後モジュール１１８の両方のために使用され、連続オンサイト学習及びポリシー改善及び処理ドリフト補償を可能にする。
【0063】
補助コントローラ１００４は、特殊な塗装補修エンドエフェクタ１００５、ロボットマニピュレータ１０４と、クラウドコンピューティングシステム１００６、及び／又はローカルオンサイトサーバ若しくはエッジコンピュータとの間の中央通信ハブとして機能する。図１０に図示されているように、補助コントローラ１００４は、（検査前データ、及び／又はエンドエフェクタセンサ１００２などの任意のロボット装着型ハードウェアから）当面の補修のための全ての欠陥検査データを受信し、得られたポリシーを、ロボットコントローラモジュール１０２及びエンドエフェクタスタック１００５に送信する。上述したように、この送信は、特定の実施に応じてオンライン又はオフラインのいずれかであり得る。補助コントローラ１００４はまた、適合力制御ユニット１０８、空気／サーボツール、水／コンパウンドディスペンサ、及びセンサ１００２などの、任意の独自のエンドエフェクタハードウェア１００５を制御する役割を担っている。
【0064】
サンプル実施形態では、補助コントローラ１００４は、リアルタイム／低レイテンシＬｉｎｕｘカーネルを実行する埋め込み型（工業的に堅固にされた）処理ＰＣを含む。（ＫＵＫＡ．ＲｏｂｏｔＳｅｎｓｏｒＩｎｔｅｒｆａｃｅを介した）ロボットコントローラモジュール１０２への伝達は、ＵＤＰプロトコルを介して達成される。様々なエンドエフェクタコンポーネント１００５への伝達は、ＵＤＰ、ＴＣＰ、（シリアルオーバー）ＵＳＢ、デジタル入力／出力などの混合であってもよい。
【0065】
スタック（エンドエフェクタツーリング）１００５は、サンプル実施形態における目的に必要な任意の処理固有のツーリングを含んでもよい。材料除去（サンディング、プライマー補修、クリアコート補修、ポリッシングなど）を含む実施形態に関しては、なんらかの形態の圧力／力制御及び／又はコンプライアンスが必要とされる。一般に、ロボットマニピュレータ１０４自体は、クリアコート補修のための補正処理力を適切に適用するには硬すぎるため、なんらかの形態のアクティブコンプライアンスが必要である又は望ましいことが多い。ツーリング１００３及び研磨システム１１２の他に、センサ１００２もまたｉｎ－ｓｉｔｕ検査として望ましく、センサ１００２により、処理中盤でのフィードバックを取得する能力と共に、処理時間における局所的な高忠実度測定を可能にし、これは、検査前及び検査後のみを使用したアプローチでは達成できない。例えば、処理中盤フィードバックは、学習アルゴリズムの成功に役立つ。
【0066】
ロボット塗装補修（及びより広範なロボットサンディング）の適用のために、センサ３０２として使用するための望ましいセンサとしては、以下が挙げられる（ただし、これに限定されない）：
１．加速度計又はマイクロフォンを使用した振動と、ＲＰＭツール関節のエフォート（effort）（すなわち、力、トルク、加速、及び／又は速度）、加速度及び／又は速度を含む線形（エンドエフェクタ）のエフォート（すなわち、力及び／又はトルク）及び力／圧力ツールを使用した力学とを検出する固有受容性センサ。
２．撮像センサ、温度センサ、及び／又は湿度センサを含む外受容性センサ。撮像センサは、ＲＧＢ、モノクロ、赤外線、ヘイズ、反射性、及び／若しくは拡散性センサを含む視覚センサであってもよく、又は、ＲＧＢ－Ｄ（構造化光、飛行時間計測、及び／又はステレオ写真測量）、ステレオ偏向測定、形状測定、及び／若しくは顕微鏡を含むトポグラフィックセンサであってもよい。外受容性センサはまた、エラストマー撮像用の触覚センサ（すなわち、ＧｅｌＳｉｇｈｔ）を含んでもよい。
３．熱電対及び／又はＩＲ熱撮像を含む温度センサも使用されてもよい。
４．湿度センサもまた使用されてもよい。
１．加速度計又はマイクロフォンを使用した振動と、ＲＰＭツール関節のエフォート（effort）（すなわち、力、トルク、加速、及び／又は速度）、加速度及び／又は速度を含む線形（エンドエフェクタ）のエフォート（すなわち、力及び／又はトルク）及び力／圧力ツールを使用した力学とを検出する固有受容性センサ。
２．撮像センサ、温度センサ、及び／又は湿度センサを含む外受容性センサ。撮像センサは、ＲＧＢ、モノクロ、赤外線、ヘイズ、反射性、及び／若しくは拡散性センサを含む視覚センサであってもよく、又は、ＲＧＢ－Ｄ（構造化光、飛行時間計測、及び／又はステレオ写真測量）、ステレオ偏向測定、形状測定、及び／若しくは顕微鏡を含むトポグラフィックセンサであってもよい。外受容性センサはまた、エラストマー撮像用の触覚センサ（すなわち、ＧｅｌＳｉｇｈｔ）を含んでもよい。
３．熱電対及び／又はＩＲ熱撮像を含む温度センサも使用されてもよい。
４．湿度センサもまた使用されてもよい。
【0067】
サンディング、プライマー補修、クリアコート補修、及びポリッシング用途のためのサンプル実施において、研磨／コンパウンド１１２は、ツール１００３として３Ｍエア駆動式ランダムオービタルサンダーと共に使用される３Ｍ Ｔｒｉｚａｃｔ Ｆｉｎｅｓｓｅ－ｉｔ研磨システムを含んでもよい。このようなサンプル実施では、コンプライアンス力制御ユニット１０８は、ＦｅｒＲｏｂｏｔｉｃｓ ＡＣＦを含んでもよく、センサ１００２は、Ｐｉｃｏプロジェクタ、５インチ４ＫのＬＣＤマイクロディスプレイ、イーサネットカメラ、及び／又はＧｅｌＳｉｇｈｔユニットを含んでもよい。センサ１００２の更なる例が以下に提供される。
【0068】
高レベルの手動クリアコート補修処理は、業界で周知であり、受け入れられている。これは、研磨／サンディング及びポリッシング／バフ研磨の２段階処理である。自動化の観点から、以下の入力及び出力は、異なる実施形態において関連性があり得る（３Ｍ Ｆｉｎｅｓｓｅ－ｉｔ（商標）システムからの例）。
【0069】
入力：
共通（サンディング及びポリッシング）
ツール速度［周波数］
ツールオービット［長さ］
ランダム度（すなわち、ランダムオービタル対オービタル）
経路パターン
経路速度［速度］
適用された力
角度（すなわち、垂直からの角度）
総処理時間
サンディング固有
バックアップパッド
硬度
研磨ディスク
製品
例えば、｛４６８ＬＡ、３６６ＬＡ、４６４ＬＡ、４６６ＬＡ｝
グレード
例えば、｛Ａ３、Ａ５、Ａ７｝
直径／スカラップ
例えば、｛１～１／４インチ、１～３／８インチ スカラップ装飾｝
状態
寿命（例えば、寿命≒ｆ（圧力，時間））
清浄度（例えば、ディスクを洗浄したか）
ポリッシング固有
バフ研磨パッド
発泡体
例えば、｛灰色、オレンジ、赤、緑、白｝
直径
例えば、｛３～１／４インチ、３～３／４インチ、５～１／４インチ｝
表面プロファイル
例えば、｛平坦、エッグクレート｝
ポリッシュ
量
分布
仕上げ
例えば、｛ＦＭ、Ｐ、ＥＦ、Ｋ２１１、ＦＦ、ＵＦ｝
出力：
均一性
粗度
光沢率
バフ研磨の時間
最終バフ研磨品質（例えば、均一性、ヘイズなど）
共通（サンディング及びポリッシング）
ツール速度［周波数］
ツールオービット［長さ］
ランダム度（すなわち、ランダムオービタル対オービタル）
経路パターン
経路速度［速度］
適用された力
角度（すなわち、垂直からの角度）
総処理時間
サンディング固有
バックアップパッド
硬度
研磨ディスク
製品
例えば、｛４６８ＬＡ、３６６ＬＡ、４６４ＬＡ、４６６ＬＡ｝
グレード
例えば、｛Ａ３、Ａ５、Ａ７｝
直径／スカラップ
例えば、｛１～１／４インチ、１～３／８インチ スカラップ装飾｝
状態
寿命（例えば、寿命≒ｆ（圧力，時間））
清浄度（例えば、ディスクを洗浄したか）
ポリッシング固有
バフ研磨パッド
発泡体
例えば、｛灰色、オレンジ、赤、緑、白｝
直径
例えば、｛３～１／４インチ、３～３／４インチ、５～１／４インチ｝
表面プロファイル
例えば、｛平坦、エッグクレート｝
ポリッシュ
量
分布
仕上げ
例えば、｛ＦＭ、Ｐ、ＥＦ、Ｋ２１１、ＦＦ、ＵＦ｝
出力：
均一性
粗度
光沢率
バフ研磨の時間
最終バフ研磨品質（例えば、均一性、ヘイズなど）
【0070】
サンプル補修シナリオでは、このような入力及び出力を含む処理フローは、図１１に図示されているように実施されてもよい。図１１に図示されているように、処理フロー１１００は、１１０２で、検査前データモジュール１１６から検査前データを補助コントローラ１００４に提供することを含む。検査前データは、（任意選択の）幾何学的データ／プロファイル及び／又は欠陥自体の分類と共に、識別された各欠陥のグローバルな本体中心の座標を含む。識別された欠陥のグローバル座標は、ロボットマニピュレータ１０４がエンドエフェクタを識別された欠陥に連続して近接させることができるように、コンベヤベルト位置などの任意の外部軸と共に、１１０４で、ロボットコントローラモジュール１０２に伝達される。任意選択の局所的欠陥情報及び／又は分類が提供された場合、これを使用して、欠陥を処理するか又はスキップするかを選択することができる。次いで、ロボットコントローラモジュール１０２と併せて補助コントローラモジュール１００４は、１１０６で、ロボットマニピュレータ１０４を移動させ、センサ１００２によってエンドエフェクタ感知をトリガして、局所的未較正偏向測定情報を使用してｉｎ－ｓｉｔｕ局所的欠陥検査データを取る。
【0071】
１１０８で、検査前データ、ｉｎ－ｓｉｔｕ検査データ、及びシステムの現在の状態（例えば、装填された研磨／コンパウンド、研磨寿命、現在のツーリングなど）は、クラウドコンピューティングシステム１００６内のポリシーサーバ１００９に転送され、これは、検査データ及び現在のシステム状態の全てを取り、以前に学習した制御ポリシーを使用して補修作業を戻す。学習されたポリシーから戻されたｓａｎｄｉｎｇアクション（２部補修のステップ１）は、次いで、ロボットコントローラモジュール１０２及びエンドエフェクタスタック１００５と同時に伝達することによって、補助コントローラ１００４によって１１１０で実行される。この例におけるアクションは、ツールＲＰＭ、圧力（適合力フランジへの制御入力）、ロボット軌道、及び総処理時間の設定値を含む。サンプル実施形態では、ロボット軌道は、ＫＵＫＡ．ＲｏｂｏｔＳｅｎｓｏｒＩｎｔｅｒｆａｃｅパッケージインターフェースを使用して、欠陥起点からの経時変化位置オフセットとして伝達される。センサ１００２を使用してｉｎ－ｓｉｔｕデータを収集して、補修の品質を確保する。ｉｎ－ｓｉｔｕデータは、モノクロ／ＲＧＢカメラを使用して、縞模様投影又は従来の撮像、及び新たに研磨された領域から拡散反射をキャプチャするために拡散反射された又は構造化されていない白色光を使用する後の学習更新のために保存される。
【0072】
ロボットを誘導して製造システム内のいずれのエラーも排除する際に、選択された補修ポリシーを行うことに加えて、任意のｉｎ－ｓｉｔｕ撮像データを使用して、欠陥の場所を突きとめる／サーボオフすることができる。一般に、グローバル検査前データは、収集された場合、製造プロセスのかなり上流に取り込まれ、エラーの位置決めは、部品が塗装補修ステーションに到達する時間までに、容易にインチのオーダーになり得る。
【0073】
１１１４で、補修が満足いくものでないと判断された場合、補修が満足いくものとみなされるまでステップ１１０６～１１１２を繰り返すことができるが、最適な補修ポリシーの実行の場合にはこのような反復は必要とされない。
【0074】
ステップ１１０６～１１１４はまた、クラウドコンピューティングシステム１００６内のポリシーサーバ１００９から戻されたバフ研磨コマンド（２部補修のステップ２）のために繰り返すことができる。
【0075】
最後に、検査後データは、検査後データモジュール１１８によって、１１１６にて最終的補修品質で収集され、検査後データは、処理のために補助コントローラ１００４に送られる。全てのデータ（検査前、ｉｎ－ｓｉｔｕ、及び検査後）は、クラウドコンピューティングシステム１００６内のポリシーサーバ１００９に、ロギング及び学習更新のために送られる。次いで、この処理は１１１８で終了する。
【0076】
ポリシーサーバ１００９は、クラウドコンピューティングシステム１００６内に配置するように本明細書に記載されている。しかしながら、ポリシーサーバ１００９は、所望の実施及び／又はセキュリティニーズに応じて、製造フロア上のロボット塗装補修スタック１０００の残りの部分に局所的に配置されてもよいことが理解されよう。動作中、ポリシーサーバ１００９は、現在の学習されたポリシー（単数又は複数）を維持し、状態及び観察クエリに基づいて制御出力を提供する。ポリシーは、適切な学習アルゴリズム（以下に記載）を介して得られる。ポリシーサーバ１００９の出力の特定の性質は、補助コントローラ１００４によって使用される伝達モード（すなわち、オンライン又はオフライン）に依存する。オフラインアプローチでは、ポリシーサーバ１００９の出力は、滞留時間、圧力、速度などの処理パラメータに対応する。一方、オンラインアプローチは、ロボットの関節（アクチュエータ）におけるエフォートを直接制御するポリシーを出力することができる。このシナリオでは、レイテンシは問題であり、通常、ローカル（非クラウドベース）ポリシーサーバ１００９を必要とする。
【0077】
ポリシーサーバ１００９のクラウドベースのサンプル構成において、ポリシーサーバ１００９は、検査前データ、及びシステム状態を入力として受信し、処理時間、処理圧力、処理速度（ＲＰＭ）、及びオービットパターン（ツーリング軌道）などを出力する。ポリシーサーバ１００９はまた、任意選択的に、ｉｎ－ｓｉｔｕ検査データを受信してもよい。
【0078】
機械学習ユニット１００８は、ポリシーサーバ１００９と並行して実行され、かつ要求されたときにポリシーを改善するために学習更新を実行する、モジュールである。機械学習手順は、欠陥補修のための良好なポリシーを学習することを含み、ポリシーは、状況（欠陥観察）と挙動（ロボットアクション／補修戦略）との間の単なるマッピングである。理想的には、機械学習システム１００８は、超人的な性能を提供するため、欠陥及び補修戦略の著しく大きくラベルされたデータセットが存在すると仮定することができない。既存の知識は不完全であり得るため、このシステムは、教師あり学習技術を全解決策として使用しない。しかしながら、このシステムは、処理中に収集されたセンサフィードバックを使用して、良好又は不良（又はそれらの間のどこか）として補修を識別する能力を有し、更に、欠損及び補修戦略の大きくラベルされたデータセットの欠如に対処する強化学習を使用する能力を有する。
【0079】
強化学習は、経験を介して性能を改善することを目的とする問題及び解決策の部類である。一般に、強化学習システムは、４つの主要素、すなわち、ポリシー、報酬関数、価値関数、及びこのシステムの任意選択的なモデルを有する。ポリシーは、主に、このシステムの知覚される状態をアクションにマッピングすることを見つけることに関心があるものである。本明細書に記載するサンプルシナリオでは、これは欠陥画像とロボット補修作業との間のマッピングである。画像は前処理されてもよく、及び／又は抽出された特徴を有することができるが、これらは必須ではない。報酬関数は、状態（又は状態とアクションとのペア）と、状況の望ましさを捕捉する単一の数値報酬との間のマッピングとして問題の目標を定義する。このシステムの目標は、報酬を最大化するポリシーを識別することである。価値関数は、ポリシーを策定するために使用される現在の状態から達成可能な将来の報酬の予測である。任意選択的なモデルは、計画目的で使用することができる環境の近似である。
【0080】
一般に、サンプル実施形態で使用されるものを含むほとんどの強化学習タスクは、マルコフ性を満たし、マルコフ決定過程（ＭＤＰ）を構成する。高レベルでは、機械学習を使用するサンディング及びポリッシング処理の欠陥補修問題は、図１２に図示されているＭＤＰ遷移グラフ１２００によって有限ＭＤＰとして表すことができる。図１２のＭＤＰ遷移グラフ１２００では、タスクは、Ｓ＝｛初期（１２０２），サンド済（１２０４），ポリッシュ済（１２０６），完了（１２０８）｝の４つの状態を使用して表される。初期状態１２０２は、元の変更されていない状態の欠陥である。サンド済状態１２０４及びポリッシュ済状態１２０６は、それぞれ、ｓａｎｄｉｎｇアクション及びｐｏｌｉｓｈｉｎｇアクションの後に発生し、完了状態１２０８は、補修の終了（並びに、学習エピソードの終了）を示す。一方、アクションは、セットＡ＝｛ｃｏｍｐｌｅｔｅ（１２１０），ｔｅｎｄＤｉｓｃ（）（１２１２），ｓａｎｄ（）（１２１４），ｐｏｌｉｓｈ（）（１２１６）｝によって表される。図示されているように、ｃｏｍｐｌｅｔｅアクション１２１０は、このシステムを直ちに（終点）完了状態１２０８にする。初期状態１２０２からのｃｏｍｐｌｅｔｅアクション１２１０は、「補修しない」シナリオと類似しており、欠陥が補修不能である、及び／又は補修によりこのシステムが元の状態よりも悪い状態になる可能性がある場合に補修に異議する（opt out of repairs）能力をシステムに与える。ｔｅｎｄＤｉｓｃ（）１２１２アクションは、ロボットマニピュレータ１０４に信号を送り、エンドエフェクタスタック１００５のための新しい研磨ディスク１１２を得ること、又は現在のディスク１１２に水を適用すること、又は現在のディスク１１２の洗浄動作を実行することのいずれかを行い、供給された材料を除去する。一般に、研磨寿命は、単一の補修よりも長い。しかしながら、研磨ディスク１１２の経時的な性能は一定ではない。このアクションを有することにより、システムが新しい研磨ディスク１１２が必要又は望ましいときを（最適に）決定することを可能にする。加えて、最適なポリシーは、ディスクの学習された研磨寿命補償を考慮し、それに応じて補修作業を選択する（例えば、パッドが摩耗する／負荷がかかると、より多くの力が必要とされる場合があるため、など）。最終的な２つのアクション、ｓａｎｄ（）１２１４及びｐｏｌｉｓｈ（）１２１６は、処理関数であり、一般にパラメトリックである。パラメータは、ツールＲＰＭ、印加圧力、滞留／処理時間、補修軌道などの処理情報を含む。識別された欠陥及び行われる補修作業の性質に応じて、多数の異なるパラメータ化が可能である。
【0081】
この問題は、有限ＭＤＰとして表現されているが、各状態及びアクションは、連続ドメイン内で有効であることが理解されよう。例えば、高レベルからのサンド済状態１２０４は、サンディングが起こった後の欠陥を表すが、状態自体は、本質的に高次元かつ連続的であるサンディング後の欠陥の撮像データを含む。加えて、ｓａｎｄアクション１２１４及びｐｏｌｉｓｈアクション１２１６はそれぞれ、パラメータ自体が連続的であるパラメータ関数である。
【0082】
図１３に示すような代替的な簡略化されたＭＤＰ遷移グラフ１３００が可能であり、完全な補修は、単一のｓａｎｄｉｎｇアクション１２１４、続いて単一のｐｏｌｉｓｈｉｎｇアクション１２１６からなる。ＭＤＰ遷移グラフ１３００は、任意の所与の状態でのアクションの数を低減するため、当面の問題の次元性を低減する。ＭＤＰ遷移グラフ１３００は簡略な構成であるが、問題は、より一般的には、完全に連続的に表現され得、ここで、位置、速度、又はエフォートコマンドからなるように拡大されたロボットの関節位置／速度及びアクションを含むように状態が拡大される。このシナリオでは、ロボットマニピュレータ１０４は、有限状態遷移の形態の補修処理の経験的ドメイン知識を与えられず、代わりに、所望の処理を達成するリアルタイム制御アクションを学習する必要がある。しかしながら、この問題の策定は、有用なポリシーに収束するために著しく多くの経験を必要とし、一般的に当面の産業的タスクのためには、おそらく不必要である。
【0083】
使用中、このシステムは画像を撮影し続け、オンザフライのシステムパラメータを調節するために使用される処理中のセンサフィードバックを提供し続ける。
【0084】
機械学習システムのサンプル実施形態はまた、図示されている自動化ロボットクリアコート欠陥補修システムに実施されてもよい。２つの可能なアルゴリズム実装が記載されている。図１２及び図１３に図示されているＭＤＰ遷移グラフの各々について１つである。両方の例では、同じハードウェアセットアップが使用されており、ハードウェアセットアップには、ＫＲ Ｃ４コンパクトコントローラを備えたＫｕｋａ ＫＲ１０ Ｒ９００ ｓｉｘｘを使用して実施されたロボットマニピュレータ１０４及びロボットコントローラ１０２と、ＦｅｒＲｏｂｏｔｉｃｓ ＡＣＦ／１１１／０１ ＸＳＨＤアクティブコンタクトフランジと併せてロボット装着型カスタムランダムオービタルサンダー（ＲＯＳ）を含むツーリング１００３と、３Ｍ Ｆｉｎｅｓｓｅ－ｉｔ（商標）システム（例えば、３Ｍポリッシュ及び対応するバックアップパッド／アクセサリを備える３Ｍ Ｔｒｉｚａｃｔ研磨ディスク）を含む研磨／ポリッシングディスクと、鏡面反射（偏向測定）及び拡散（縞模様投影）モダリティの両方で撮像するための５インチ４Ｋ ＬＥＤディスプレイ、１０８０Ｐ Ｐｉｃｏプロジェクタ、及び５ＭＰカラーＣＣＤカメラを含むセンサ１００２と、を含む。
【0085】
上記のセットアップを使用して、図１２のより大きいｎステップＭＤＰ遷移グラフを使用して上記のシステム及び方法を適用した。この場合、Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔｓ（ＤＤＰＧ）を、Ｈｉｅｒａｒｃｈｉｃａｌ Ｅｘｐｅｒｉｅｎｃｅ Ｒｅｐｌａｙ（ＨＥＲ）及び疎な報酬と共に（事前トレーニングされた分類子を介して）使用した。
【0086】
上記のシステム及び方法はまた、図１３の簡略化されたより小さい２ステップＭＤＰ遷移を使用して適用され、各ステップの直前の撮像を伴うサンディング及びポリッシングの処理ステップを仮定した。この場合、Ｄｅｅｐ Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｐｏｌｉｃｙ Ｇｒａｄｉｅｎｔｓ（ＤＤＰＧ）を再度使用したが、代わりに画像ベース整形報酬（観測報酬関数（Perceptual Reward Function）の機能と同様）を、「良好な」周囲領域と比較した補修された領域の類似性の尺度に基づいて使用した。このアプローチは、補修されていない良好な周囲領域から完全な補修が区別できないという観察に基づく。
【0087】
上記のシステム及び方法はまた、図１３の簡略化されたより小さい２ステップＭＤＰ遷移を使用して適用され、各ステップの直前の撮像を伴うサンディング及びポリッシングの処理ステップを仮定した。この場合、連続パラメトリックアクションは、入力として離散パラメータを用いて使用され、これにより、Ｄｅｅｐ Ｑ－Ｌｅａｒｎｉｎｇ（ＤＱＮ）の使用を可能にした。このケースは、疎な報酬又は整形報酬のいずれかを使用することができる。
【0088】
データ収集
いずれの強化学習問題における重要な問題は、学習アルゴリズムが所望の最適なポリシーに収束するために十分な経験を生成することである。産業処理用途では、十分な経験を生成することは重大な問題であり、多くの場合、非常に高価であり、かつ／又は時間がかかる。全ての強化学習にわたる１つの一般的なアプローチは、経験生成のために十分に良好なコンピュータ（デジタル）シミュレーションを活用することである。しかしながら、産業上のタスク、及び一般的な処理のために、正確なコンピュータシミュレーションを構築するタスクは、最適なポリシーを見つけるという問題と同じくらい困難であるか、又は更にはそれよりも難しくなり得る。したがって、多くの場合、低コストでデータに富んだ実世界の経験を生成するための効率的かつ便利な方法を見出すことが重要である。この点において、対象の実際の製造プロセスを十分に反映する物理的シミュレーションが生成される。
いずれの強化学習問題における重要な問題は、学習アルゴリズムが所望の最適なポリシーに収束するために十分な経験を生成することである。産業処理用途では、十分な経験を生成することは重大な問題であり、多くの場合、非常に高価であり、かつ／又は時間がかかる。全ての強化学習にわたる１つの一般的なアプローチは、経験生成のために十分に良好なコンピュータ（デジタル）シミュレーションを活用することである。しかしながら、産業上のタスク、及び一般的な処理のために、正確なコンピュータシミュレーションを構築するタスクは、最適なポリシーを見つけるという問題と同じくらい困難であるか、又は更にはそれよりも難しくなり得る。したがって、多くの場合、低コストでデータに富んだ実世界の経験を生成するための効率的かつ便利な方法を見出すことが重要である。この点において、対象の実際の製造プロセスを十分に反映する物理的シミュレーションが生成される。
【0089】
当面のドメインに関しては、ロボット塗装補修では、処理が本質的に「破壊的」な性質であり、したがって不可逆的である（すなわち、塗装欠陥に適用されるいずれの処理も欠陥の状態を変更する）という事実により、問題は更に困難である。データ収集手順及び欠陥部分作成の両方について、実施形態を以下に概説する。
【0090】
欠陥シミュレーション
なんらかの形態（デジタル又は物理的）のシミュレーションは、多くの場合、適用される学習アルゴリズムのために十分な量の経験を生成するために望ましい。いくつかの可能な方法は、塗装補修の文脈において以下に概説される。
なんらかの形態（デジタル又は物理的）のシミュレーションは、多くの場合、適用される学習アルゴリズムのために十分な量の経験を生成するために望ましい。いくつかの可能な方法は、塗装補修の文脈において以下に概説される。
【0091】
最初に、塗装補修の十分に大きな部分が２Ｄマニホールド構造を呈する本体領域上で生じることに留意されたい（すなわち、それらが単一の補修の文脈で局所的に平坦である）。車体の高曲率領域（例えば、トリム周辺、ドアハンドルなど）は例外であるが、一般に、平坦な表面からの学習されたポリシーは、なんらかのロボット軌道修正を用いて湾曲面に適用され得る。これを念頭に置いて、データ収集及び経験生成の大部分に対して、（コスト及び取り扱いの両方の観点から）便利な標準化は、塗装された平坦な基材を使用することである。
【0092】
利用可能な多数の異なる厚さ、サイズ、塗装、クリアコート、アンダーコートなどを備える多数の異なる基材に対して、平坦な矩形の塗装された試験パネルが市販されている。パネルは、このような市販の供給源から購入するか、又は学習される処理と同じ若しくは類似の方法及び機器を使用して調製することができる。
【0093】
製造部品に塗装欠陥が導入されることがないのが理想的であるため、製造プロセスは、可能な最良の部品を製造するように設計される。現実的には、欠陥が存在するが、強化学習の観点から、任意の製造部分又はシミュレートされた試験／学習基材上の欠陥密度は比較的低い。全ての製造プロセスは品質の観点で異なるが、塗装１０００平方インチ当たり１個未満のオーダーで欠陥を有することは珍しくない。したがって、学習アルゴリズムの経験を生成するために十分な量の欠陥を見出すためには非常に高価になり得る。
【0094】
この問題を解決するために、十分に高密度の欠陥基材を生成する方法が開発されてきた。任意の好都合な標準サイズの平坦な基材に関しては、欠陥密度が１平方インチ当たり１超であるオーダーの、欠陥のある塗装及び／又はクリアコートが生成される。正確な密度は調節可能であるが、特定の密度は、学習基材の任意のグリッド離散化が少なくとも１つの欠陥を含む可能性が高い。
【0095】
（合成）汚染物質、シリコーン、塗装／クリアコートスプレー速度／パターン、溶媒などの組み合わせを利用することにより、ニブ（汚染物質）、クレーター、フィッシュアイ、ドリップ、サグなどの、対象とする自然に生じる欠陥の大部分を模倣することが可能である。図１４は、クリアコートの下に特定のサイズの合成汚れを導入する結果を示す。図１４は、欠陥が天井光反射の境界で最も良く見える高密度欠陥学習基材を示す。この学習基材を作製するためには、市販の塗装されクリアコートされた試験パネルから開始する。パネルを、その全体を（ランダムオービタルツール上の３Ｍ Ｔｒｉｚａｃｔ６インチディスクを使用して）サンディングし、次いで、合成汚れで処理して、その後、クリアコートを再適用し、最終硬化した。
【0096】
追加の方法は、十分に薄いパネルを使用することと、制御された方法で（例えば、バネ式パンチを用いて）裏側を打って、上部に隆起した欠陥を形成することとを伴う。好都合であるが、このような欠陥は、自然に及びＯＥＭ環境において生じるものとして、正確な補修挙動を必ずしも模倣するとは限らない。
【0097】
データ収集手順
以下は、欠陥補修データを収集するための例示的な手順である。このシステムは、欠陥の種類、数、及び／又は存在にかかわらず、多数の個別の所定の場所で、基材上で欠陥補修を実施する（以下、例えば、離散化及び考察を参照されたい）。学習／最適化アルゴリズムの違いとは別に、単一の基材の基本的な処理構造は以下のとおりである。
以下は、欠陥補修データを収集するための例示的な手順である。このシステムは、欠陥の種類、数、及び／又は存在にかかわらず、多数の個別の所定の場所で、基材上で欠陥補修を実施する（以下、例えば、離散化及び考察を参照されたい）。学習／最適化アルゴリズムの違いとは別に、単一の基材の基本的な処理構造は以下のとおりである。
【0098】
【表1】
【0099】
【0100】
概説されるように、基材１２０は最初に撮像され、次いでその後、サンディングのためにロボットに提示される。基材１２０は、押さえ機構（例えば、磁石、真空、クランプなど）によって固定される。既定のグリッドのセルごとに、アルゴリズムは、ｔｅｎｄＤｉｓｃ（）アクションを介してディスクの手入れを最初に実行する。これにより、研磨ディスクの洗浄、湿潤、及び／又は交換のなんらかの組み合わせがもたらされる。次いで、撮像データ（欠陥特性）の、ポリシーサーバ１００９を介して現在提供されているポリシーに基づいて、ｓａｎｄ（）アクションが実行される。
【0101】
各グリッドの場所がサンディングされた後、パネルは次いでポリッシング前に再び撮像される。再び、セルごとに、ロボットは、各グリッドセルに適用された指定のポリッシュを用いて、基材の所定のグリッドの場所の各々をポリッシングする。ポリッシング後、パネルを再び撮像する。
【0102】
パネル全体が上記のように処理された後、補修処理前、補修処理中、及び補修処理後の、撮像データを介した欠陥特性がグリッドセルの各々に利用可能である。加えて、実行されたポリシーは、特性撮像データと併せて各セルについて記憶される。所定の数の基材が処理された後に、セルの各々について強化学習更新が実行される。
【0103】
上記は、速度及びコスト要件に基づいて、自動化のスペクトルで実装することができる。単純な実装では、ｓａｎｄｉｎｇアクション及びｐｏｌｉｓｈｉｎｇアクションの各々について別個のロボットと、人間の作業者が、セル間で基材を移動させること、及び要求されたときにディスクを交換することの役割を担っているベンチトップ撮像セットアップとを使用することができる。完全自動化セットアップは、エンドエフェクタのためのツール交換を含んでもよいため、単一のロボットで実施することができる。加えて、コンベヤは、基材取り扱いのために使用することができ、又は撮像は、セル装着型カメラ又は撮像エンドエフェクタを介してロボットセル内で生じ得る。
【0104】
高密度欠陥塗装基材及び自動化グリッドベースのポリシー実行による上記のアプローチでは、グリッドの離散化を可能な限り厳格にして、各基材の使用された部分を最大化することが望ましい。基材処理手順中に、補修がその隣接セルと干渉しないように対策がなされる。１つのアプローチは、任意の特定の補修作業が単一のセル内に完全に存在するように、最も厳格なセルの離散化を選択することである。この素朴なアプローチは、実現可能であるが、基材の利用が不十分となり得る。
【0105】
一例として、３Ｍ Ｆｉｎｅｓｓｅ－ｉｔ（商標）システムを使用して、効率的な基材処理のためのサンプル離散化を概説する。このシステムでは、サンディングディスクは、バフ研磨パッドよりも著しく小さい（例えば、直径１～１／４インチのサンディングパッド対直径３～１／２インチのバフ研磨パッド）。加えて、ランダムオービタルツール上のスローは、それぞれ１／４インチ及び１／２インチである。少なくとも半径が重なり合う円形軌道を仮定すると、サンディング及びポリッシングのための最小限の補修された影響領域は、それぞれ直径２～１／４インチ及び６インチの円である。ここで、必要とされるバフ研磨領域ははるかに大きいため、補修セルのネスティング密度を大幅に制限することによって、基材の無駄に有意に寄与することが分かり得る。
【0106】
この制限を克服するために、ポリッシングが隣接セル間で共有される修正パネル処理手順を考案することが可能である。セルの隣接するバッチを独立してサンディングすることができ、次いで、個々のセルのポリッシング軌道の連結から作成されたポリッシング軌道を使用して一緒にポリッシングすることができる。
【0107】
一例として、３Ｍ Ｆｉｎｅｓｓｅ－ｉｔ（商標）システムが提案する「Ｌ」字形状のポリッシング軌道が使用され、ここで、欠陥は「Ｌ」の左下頂点にあり、ポリッシングパッドは、交互の上下の動き及び左右の動きで移動される。このパターンでは、回転及び並進によって、４つの「Ｌ」を一緒に置いて正方形を作ることが可能である。したがって、正方形を一緒に作製する４つのセルは、独立してサンディングされることができ、次いで正方形のポリッシング軌道を使用してポリッシングすることができる。この方法は、達成可能なセル密度を大幅に改善し、１２×１８インチの基材上で最大２４個のセルの補修を可能にする。
【0108】
図１５は、透明な円１５００によって描かれたサンプルポリッシングパターンを示す。欠陥の場所は、ドット１５０２として描かれている。破線の輪郭を有する円は、補修領域１５０４を表す。「Ｌ」パターン１５０６（左）及び正方形パターン１５０８（右）は、研磨器が停止するごとの番号付きの矢印１５１０によって表される。
【0109】
図１６は、寸法１８×２４インチパネル基材１６０２上の前述のＦｉｎｅｓｓｅ－ｉｔ（商標）アクセサリを用いたポリッシングパターン１６００の高効率ネスティングの例を示す。４つのサンディング補修の各セットは、図１５（右）の単一の正方形のポリッシング経路を共有する。
【0110】
欠陥特性
一般に、欠陥特性は、以下の任意の組み合わせとして解釈することができる。
工学的に作られた特徴（サイズ、種類など）
生の画像データ（強度値の行列／テンソル）
補修前、補修中盤（ｉｎ－ｓｉｔｕ）、又は補修後に収集されたもの
現在のアプローチは、一般に人間中心である工学的に作られた特徴を使用する。すなわち、現在のアプローチは、現在の手動処理の歴史的な専門知識に基づいて存在する。このような特徴としては、欠陥の種類、欠陥のサイズ、欠陥の重大度などの「有意義な」測定が挙げられる。実際には、各製造業者は、自社の特徴のセットと、塗装補修処理のための動作手順の形態で経時的に進化したそれぞれの分類とを有する。加えて、より新しい自動化された検査の提供の多くは、自身の分類及び特徴に付随する。
一般に、欠陥特性は、以下の任意の組み合わせとして解釈することができる。
工学的に作られた特徴（サイズ、種類など）
生の画像データ（強度値の行列／テンソル）
補修前、補修中盤（ｉｎ－ｓｉｔｕ）、又は補修後に収集されたもの
現在のアプローチは、一般に人間中心である工学的に作られた特徴を使用する。すなわち、現在のアプローチは、現在の手動処理の歴史的な専門知識に基づいて存在する。このような特徴としては、欠陥の種類、欠陥のサイズ、欠陥の重大度などの「有意義な」測定が挙げられる。実際には、各製造業者は、自社の特徴のセットと、塗装補修処理のための動作手順の形態で経時的に進化したそれぞれの分類とを有する。加えて、より新しい自動化された検査の提供の多くは、自身の分類及び特徴に付随する。
【0111】
例えば、図１７は、Ｍｉｃｒｏ－Ｅｐｓｉｌｏｎ ｒｅｆｌｅｃｔ ＣＯＮＴＲＯＬ装置１７０２によって提供される一連の塗装欠陥画像１７００を示す。これらの分類は、従来的に、人間の処理経験／専門知識に基づいて経験的に工学的に作られているが、他のアプローチは、教師あり学習及び教師なし学習などの新しい機械学習技術を使用して成功してきた。
【0112】
魅力的と思われるが、ロボット処理は、このような人間の中心の特徴、分類、及び／又は記述子から必ずしも恩恵をうけるわけではない。ディープニューラルネットワークと共に強化学習技術を使用することにより、このシステムは、処理ドメイン（すなわち、ロボット塗装補修）の文脈において欠陥特性を最良に捕捉するコンボリューションカーネルを介して内部で自身の表現を学習する自由が与えられる。
【0113】
本発明者らは、前述の従来の工学的に作られた特徴記述子の代わりに未処理、未較正、及び／又は生の撮像データを使用することに利点を見出した。画像処理モジュール３１４からの未較正偏向測定データは、サンプル実施形態で使用される。較正、位置合わせ、及び処理は、おそらく、このような視覚処理の実施における最も困難な部分であるため、このアプローチは、このシステムの複雑さを大幅に緩和させる。加えて、未較正及び／又は生の撮像の使用は、メンテナンスの負担を大幅に低減し、ｉｎ－ｓｉｔｕで撮像及びデータを処理することができるより小さい（ロボット装着型）システムを可能にする。これにより、このシステムの学習速度、及び全体的な能力、性能、フィードバック、分析の選択肢などの改善の両方を大幅に改善することができる。
【0114】
図１８～図２０は、欠陥の局所曲率マップを計算するために、未較正の偏向測定画像をどのように使用することができるかを示す。図１８は、４つの偏向された垂直縞模様１８００、及び４つの偏向された水平縞模様１８０２の、各々がパターンソースをπ／２の倍数でシフトされた８つの画像を示す。図１９は、４つの偏向された縞模様にわたる画素の逆正接を使用して計算された水平及び垂直の曲率マップを示す。上の曲率マップ１９００は、逆正接（２πを法とする）、中間の曲率マップ１９０２は、アンラッピングされた位相シフト、及び下の曲率マップ１９０４は、一次有限画素ごとの差を使用して近似された局所曲率の結果である。図２０は、強度マップ２０００及びメッシュグリッド２００２の両方として可視化された水平及び垂直の結果の両方を組み合わせる複合（二乗和の平方根）局所曲率マップである。
【0115】
偏向測定を使用して表面の高さマップを計算することの、より一般的な動作では、測定された位相シフトの積分を必要とするため、較正及びノイズに対して非常に敏感である。局所曲率は、代わりに導関数を使用するため、感度が低い。加えて、著しく小さい領域（すなわち、単一の欠陥補修）にのみ焦点を当てる場合、低曲率の特徴は関係がない（すなわち、２Ｄマニホールド）ため、欠陥のサイズ及び強度の指標として相対的な曲率を利用できると仮定することができる。
【0116】
上記の例では、局所曲率は手動で抽出されたが、このような情報が生の撮像データ内に存在し、有用であることを示すためだけのものである。実際には、強化学習アルゴリズムは、類似の（おそらくより関連する）特徴及びマッピングを発見する。
【0117】
上記の例の別の興味深い使用は、報酬関数及び欠陥分類の構築である。局所曲率マップは、最大局所曲率がなんらかの閾値を超える場合、領域が欠陥ありと示される単純な閾値アプローチを提供する。
【0118】
また、ユーティリティは、近暗視野反射光並びに非構造化白色光及びＲＧＢ／モノクロカメラを用いた従来の撮像を使用する、より単純なアプローチでも見出され得る。前者は、鏡面（前／後処理）及びｉｎ－ｓｉｔｕでのマット／拡散（処理中盤）の両方に作用し、後者はｉｎ－ｓｉｔｕに作用する。図２１は、近暗視野反射画像２１００のサンプルを示す。この方法では、表面勾配（すなわち、スロープ）の近似として、画素強度を解釈することができる（表面均一性に関していくつかの仮定がある）。したがって、このような画像は、偏向測定法と同様に、位相アンラッピングの計算的負担を伴わずに表面／欠陥情報を提供する能力を有する。
【0119】
強化学習がそれ自体の特徴表現を推測することが可能であるのと同様に、研磨剤の将来の性能に使用する効果を学習することもまた可能である。換言すれば、研磨剤は、それらの寿命にわたって異なって機能する。ＭＤＰ状態増加におけるディスクの使用をエンコードすることによって、ポリシーは、研磨剤の予測された状態に基づいてアクションを選択することができる。いくつかの可能なエンコードとしては、単に補修の数、又は力、時間などのより複雑な関数が挙げられる。別のアプローチは、エンドエフェクタからｉｎ－ｓｉｔｕデータ収集を介して、振動／熱などの性能指標測定値を組み込むこと、又は更には、研磨物品（又はポリッシングパッド）自体内にセンサを配置することがある。このアプローチでは、強化学習アルゴリズムは、処理中の観察と予測された性能との間のマッピングを直接識別し、これを活用することができる。
【0120】
段階Ｖ
再び図３を参照すると、最終段階（段階Ｖ）は、アプリケーション制御モジュール３５０による選択されたアクションの実行である。特定のインスタンス化に応じて、アプリケーション制御モジュール３５０は、エンドエフェクタツーリング、ロボット、及び他の重要なツーリングのアクション及びフィードバックを同期させる。
再び図３を参照すると、最終段階（段階Ｖ）は、アプリケーション制御モジュール３５０による選択されたアクションの実行である。特定のインスタンス化に応じて、アプリケーション制御モジュール３５０は、エンドエフェクタツーリング、ロボット、及び他の重要なツーリングのアクション及びフィードバックを同期させる。
【0121】
最も高いレベルでは、アプリケーション制御モジュール３５０は、単に、個別アクションセレクタモジュール３３０並びにプロセッサセレクタモジュール３４０、３４２、及び３４４によって提供されるアクションを実行することを担当する。しかしながら、アクション仕様の正確な性質に応じて、アプリケーション制御モジュール３５０の実施は、異なる場合がある。２つの主要な統制特性は、制御及び入力形態の幅である。
【0122】
制御幅は、アプリケーション制御モジュール３５０の制御下のデバイスの数によって決定される。単純な場合には、アプリケーション制御モジュール３５０は、産業用ＰＬＣなどのマスターデバイスにコマンドを送ることができる。より高度な実施では、アプリケーション制御モジュール３５０は、ロボット、エンドエフェクタ、及び補助デバイスを含む任意のアプリケーション固有のハードウェアを直接制御することができる。
【0123】
一例として、アプリケーション制御モジュール３５０は、抵抗及び適用された圧力に基づいて、研磨剤が基材１２０の表面をどのくらい良好に切断しているかを示すフィードバックを提供してもよく、白濁した水が削りくずの量を示し、これはひいては、切断がどのくらい良好に行なわれているかを示すため、処理に使用される水の乳濁度を測定してもよい。同様に、サンディングディスクは、ディスク上に過剰な量の材料が存在するかどうかを判定するために、カメラ又は目でサンディング後に検査されてもよい。アプリケーション制御モジュール３５０は、次いで、それに応じて処理３００を調節する。
【0124】
入力形態に関して、入力形態は、（単純な）離散的かつ／又はスカラー入力から、任意の経時変化関数の最も一般的な（高度な）場合までの範囲であり得る。後者の場合、アプリケーション制御モジュール３５０は、全ての関連するハードウェア及びセンサにリアルタイムのインターフェースを有する必要がある。
【0125】
コンピュータ実施形態
図２２は、本明細書に開示するシステムの１つ以上の実施形態を実施するのに好適な専用コンピュータにプログラムすることができる典型的な汎用コンピュータを示す。上記のロボットコントローラモジュール１０２、補助制御モジュール１００４、機械学習ユニット１００８、及びクラウドコンピューティングシステム１００６は、それに課された必要なワークロードを取り扱うために十分な処理電力、メモリリソース、及び伝達スループット能力を有するコンピュータなどの、専用処理デバイス又は任意の汎用処理コンポーネント上に実施されてもよい。このような汎用処理コンポーネント２２００は、二次ストレージ２２０４、読み取り専用メモリ（read only memory、ＲＯＭ）２２０６、ランダムアクセスメモリ（random access memory、ＲＡＭ）２２０８、入力／出力（input/output、Ｉ／Ｏ）デバイス２２１０、及びネットワーク接続デバイス２２１２を含む、メモリデバイスと通信するプロセッサ２２０２（中央処理装置又はＣＰＵと呼ばれることがある）を含む。プロセッサ２２０２は、１つ以上のＣＰＵチップとして実施されてもよく、又は１つ以上の特定用途向け集積回路（application specific integrated circuits、ＡＳＩＣ）の一部であってもよい。
図２２は、本明細書に開示するシステムの１つ以上の実施形態を実施するのに好適な専用コンピュータにプログラムすることができる典型的な汎用コンピュータを示す。上記のロボットコントローラモジュール１０２、補助制御モジュール１００４、機械学習ユニット１００８、及びクラウドコンピューティングシステム１００６は、それに課された必要なワークロードを取り扱うために十分な処理電力、メモリリソース、及び伝達スループット能力を有するコンピュータなどの、専用処理デバイス又は任意の汎用処理コンポーネント上に実施されてもよい。このような汎用処理コンポーネント２２００は、二次ストレージ２２０４、読み取り専用メモリ（read only memory、ＲＯＭ）２２０６、ランダムアクセスメモリ（random access memory、ＲＡＭ）２２０８、入力／出力（input/output、Ｉ／Ｏ）デバイス２２１０、及びネットワーク接続デバイス２２１２を含む、メモリデバイスと通信するプロセッサ２２０２（中央処理装置又はＣＰＵと呼ばれることがある）を含む。プロセッサ２２０２は、１つ以上のＣＰＵチップとして実施されてもよく、又は１つ以上の特定用途向け集積回路（application specific integrated circuits、ＡＳＩＣ）の一部であってもよい。
【0126】
二次ストレージ２２０４は、典型的には、１つ以上のディスクドライブ又はテープドライブから構成され、ＲＡＭ２２０８が全ての作業データを保持するために十分な大きさでない場合には、データの不揮発性ストレージのために及びオーバーフローデータストレージデバイスとして使用される。二次ストレージ２２０４を使用して、ＲＡＭ２２０８にロードされるプログラムを、このようなプログラムが実行のために選択されたときに記憶することができる。ＲＯＭ２２０６を使用して、プログラム実行中に読み取られる命令及びおそらくはデータを記憶する。ＲＯＭ２２０６は、典型的には二次ストレージ２２０４のより大きなメモリ容量に対して小さいメモリ容量を有する、不揮発性メモリデバイスである。ＲＡＭ２２０８を使用して、揮発性データを記憶し、おそらく命令を記憶する。ＲＯＭ２２０６及びＲＡＭ２２０８の両方へのアクセスは、典型的には、二次ストレージ２２０４よりも速い。
【0127】
本明細書に記載するデバイスは、コンピュータ可読命令を記憶するコンピュータ可読非一時的媒体と、メモリに連結された１つ以上のプロセッサと、を含むように構成することができ、コンピュータ可読命令を実行するときに、図１～図２１を参照して上述された方法ステップ及び動作を実行するように、処理コンポーネント２２００を構成する。コンピュータ可読非一時的媒体は、磁気ストレージ媒体、光学ストレージ媒体、フラッシュ媒体、及びソリッドステートストレージ媒体を含む、全ての種類のコンピュータ可読媒体を含む。
【0128】
本開示のステップのいずれか１つ又は全てを参照して上述したような処理及び動作を容易にする１つ以上のコンピュータ実行可能命令を含むソフトウェアは、本開示と一致する消費者及び／又は生産者ドメイン内の１つ以上のサーバ及び／又は１つ以上のルータ及び／又は１つ以上のデバイスにインストールされ、共に販売され得ることを更に理解されたい。あるいは、ソフトウェアは、本開示と一致する消費者及び／又は生産者ドメイン内の１つ以上のサーバ及び／又は１つ以上のルータ及び／又は１つ以上のデバイスで得ることができ、かつこれにロードすることができ、物理的媒体若しくは分配システムを介してソフトウェアを得ることを含み、例えば、ソフトウェア作成者が所有するサーバから、又はソフトウェア作成者によって所有されていないが使用されているサーバからソフトウェアを得ることを含む。ソフトウェアは、例えば、インターネットを介して配信するためにサーバ上に記憶され得る。
【0129】
また、本開示はその適用が、以下の記載で説明する又は図面に示されている構築の詳細及び構成要素の配置構成に限定されるものではないことが当業者には理解されよう。本明細書における実施形態は、他の実施形態も可能であり、様々な方法で実践又は実行することが可能である。また、本明細書において使用されている語法及び専門用語は説明を目的としたものであり、限定するものとみなしてはならないことが理解されよう。本明細書における「含む（including）」、「含む（comprising）」、又は「有する（having）」、及びこれらの変化形の使用は、その後に列記される項目及びこれらの同等物、並びに追加的な項目を包含することを意味する。別途限定されない限り、本明細書では用語「接続された（connected）」、「連結された（coupled）」、及び「装着された（mounted）」、並びにそれらの変化形は、広い意味で使用され、直接的及び間接的な接続、連結、装着を包含する。加えて、用語「接続された」及び「連結された」、並びにそれらの変化形は、物理的又は機械的な接続又は連結に限定されない。更に、上、下、底部、及び頂部などの用語は、相対的であり、例示を支援するために用いられるが、限定するものではない。
【0130】
本発明の例示的な実施形態に従って用いられる例示的なデバイス、システム、及び方法のコンポーネントは、少なくとも部分的に、デジタル電子回路、アナログ電子回路、若しくはコンピュータハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせで実施することができる。これらのコンポーネントは、例えば、プログラム可能プロセッサ、コンピュータ、又は複数のコンピュータなどのデータ処理装置によって実行される、又はこれらの動作を制御するための情報キャリア、又は機械可読ストレージデバイスに明確に具現化されたコンピュータプログラム、プログラムコード、又はコンピュータ命令などのコンピュータプログラム製品として実施することができる。
【0131】
コンピュータプログラムは、コンパイル又は解釈された言語を含む任意の形態のプログラミング言語で記述することができ、スタンドアロン型のプログラムとして、又はモジュール、コンポーネント、サブルーチン、若しくはコンピューティング環境での使用に好適な他のユニットを含む、任意の形態でデプロイすることができる。コンピュータプログラムは、１つのコンピュータにおいて、又は１つのサイトで若しくは複数のサイトにわたり分散されており通信ネットワークを介して相互接続されている複数のコンピュータにおいて実行されるようにデプロイすることができる。また、本発明を達成するための機能的プログラム、コード、及びコードセグメントは、本発明が属する技術分野のプログラマーによって、本発明の範囲内で容易に解釈することができる。本発明の例示的実施形態に関連付けられた方法ステップは、コンピュータプログラム、コード、又は命令を実行する１つ以上のプログラム可能プロセッサによって実行されて、（例えば、入力データで動作することによって、及び／又は出力を生成することによって）機能を実行することができる。方法のステップは、専用論理回路、例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）又はＡＳＩＣ（特定用途向け集積回路）によって実行することもでき、本発明の装置は、これらとして実施することもできる。
【0132】
本明細書に開示する実施形態に関連して説明されている様々な例示的な論理ブロック、モジュール、及び回路は、本明細書に記載する機能を実行するように設計された汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、ＡＳＩＣ、ＦＰＧＡ、若しくは他のプログラム可能ロジックデバイス、別個のゲート若しくはトランジスタ論理、別個のハードウェアコンポーネント、又はこれらの任意の組み合わせにより実施又は実行されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替的に、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、又はステートマシンであってもよい。プロセッサはまた、計算デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアを伴う１つ以上のマイクロプロセッサ、又は任意の他のこのような構成として実施されてもよい。
【0133】
コンピュータプログラムの実行に好適なプロセッサとしては、例えば、汎用マイクロプロセッサ及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータのうちの任意の１つ以上のプロセッサが挙げられる。一般的に、プロセッサは、読み取り専用メモリ若しくはランダムアクセスメモリ又は両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサ、並びに命令及びデータを記憶するための１つ以上のメモリデバイスである。一般的に、コンピュータはまた、例えば、磁気ディスク、光磁気ディスク、又は光ディスクにデータを記憶するための１つ以上のマスストレージデバイスを含むか、又はこれらに動作可能に連結されて、これらからデータを受信するか、若しくはこれらにデータを転送するか、又は両方を行う。コンピュータプログラム命令及びデータを具現化するのに好適な情報キャリアとしては、例えば、半導体メモリデバイス、例えば、電気的プログラム可能読み出し専用メモリ又はＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラム可能ＲＯＭ（ＥＥＰＲＯＭ）、フラシュメモリデバイス、及びデータストレージディスク（例えば、磁気ディスク、内部ハードディスク、又は取り外し可能ディスク、光磁気ディスク、並びにＣＤ－ＲＯＭ及びＤＶＤ－ＲＯＭディスク）を含む全形態の不揮発性メモリが挙げられる。プロセッサ及びメモリは、専用論理回路によって補完されるか、又はその中に組み込まれ得る。
【0134】
当業者であれば、情報及び信号は、様々な異なるテクノロジー及び技術のいずれかを使用して表され得ることを理解する。上記の説明の至るところで参照され得る、例えば、データ、命令、コマンド、情報、信号、ビット、記号、及びチップは、電圧、電流、電磁波、磁場若しくは粒子、光場若しくは粒子、又はこれらの任意の組み合わせによって表されてもよい。
【0135】
当業者は、本明細書に開示する実施形態に関連して説明されている様々な例示的な論理ブロック、モジュール、回路、及びアルゴリズムステップが、電子ハードウェア、コンピュータソフトウェア、又はそれらの両方の組み合わせとして実施され得ることを更に理解する。ハードウェア及びソフトウェアのこの互換性を明確に説明するために、様々な例示的なコンポーネント、ブロック、モジュール、回路、及びステップは、一般的に、それらの機能に関して上述されている。このような機能がハードウェア又はソフトウェアとして実施されるかどうかは、システム全体に課された特定のアプリケーション及び設計上の制約に依存する。当業者は、各特定の用途について様々な方法で説明された機能を実施することができるが、このような実施決定は、本発明の範囲から逸脱を引き起こすものとして解釈されるべきではない。ソフトウェアモジュールは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、取り外し可能ディスク、ＣＤ－ＲＯＭ、又は当該技術分野において既知の任意の他の形態のストレージ媒体内に存在してもよい。例示的なストレージ媒体は、プロセッサがストレージ媒体から情報を読み取り、ストレージ媒体に情報を書き込むことができるように、プロセッサに連結される。代替的に、ストレージ媒体はプロセッサと一体であってもよい。換言すれば、プロセッサ及びストレージ媒体は、集積回路内に存在してもよく、又は別個のコンポーネントとして実施されてもよい。
【0136】
本明細書で使用するとき、「機械可読媒体」とは、命令及びデータを一時的又は永続的に記憶することができるデバイスを意味し、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、バッファメモリ、フラッシュメモリ、光学媒体、磁気媒体、キャッシュメモリ、他の種類のストレージ（例えば、消去可能プログラム可能読み出し専用メモリ（ＥＥＰＲＯＭ））、及び／又はそれらの任意の好適な組み合わせを含み得るが、これらに限定されない。用語「機械可読媒体」は、プロセッサ命令を記憶することができる単一媒体又は複数媒体（例えば、集中型若しくは分散型データベース、又は関連するキャッシュ及びサーバ）を含むように解釈されるべきである。用語「機械可読媒体」はまた、命令が１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、本明細書に記載する方法論のうちのいずれか１つ以上を実行させるように、１つ以上のプロセッサによって実行されるための命令を記憶することができる、任意の媒体、又は複数の媒体の組み合わせを含むように解釈されるものとする。したがって、「機械可読媒体」とは、単一のストレージ装置又はデバイス、及び複数のストレージ装置又はデバイスを含む「クラウドベースの」ストレージシステム又はストレージネットワークを指す。このような信号が一時的である限り、本明細書で使用するとき、用語「機械可読媒体」は、信号自体を除外する。
【0137】
上述の説明及び図面は、単に例として意図されており、添付の特許請求の範囲に記載するものを除いて、例示的実施形態をいかなる方法でも限定することを意図するものではない。上述した様々な例示的実施形態の様々な要素の様々な技術的態様は、多数の他の方法で組み合わせることができ、これらの全ては、本開示の範囲内であると考えられることに留意されたい。
【0138】
したがって、例示目的で例示的実施形態が開示されてきたが、当業者であれば、様々な修正、追加、及び置換が可能であることを理解されよう。したがって、本開示は、上述の実施形態に限定されるものではなく、添付の特許請求の範囲内で、同等物の全範囲と共に修正されてもよい。
なお、以上の各実施形態に加えて以下の態様について付記する。
（付記１）
自動研磨塗装補修を提供する、コンピュータで実施される方法であって、
１つ以上のプロセッサによって、各欠陥の特性を説明するパラメータと共に、基材内の各識別された欠陥の座標を受信することと、
前記１つ以上のプロセッサによって、熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び前記受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択することと、
前記１つ以上のプロセッサによって、前記受信したパラメータを使用して前記選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、自動研磨塗装補修デバイスに命令することと、
を含む、方法。
（付記２）
前記経験的に導出された規則及びパラメータが、ルックアップテーブル内に格納されている、付記１に記載の方法。
（付記３）
パラメータが、前記受信したパラメータの経験的に工学的に作られたパラメータ関数を実装するパラメータ選択アルゴリズムを使用して、前記選択するステップにおいて前記ルックアップテーブルから選択される、付記２に記載の方法。
（付記４）
特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善する機械学習モジュールを使用して、前記経験的に導出された規則を更新することを更に含む、付記１に記載の方法。
（付記５）
前記選択するステップが、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいて前記パラメータを選択する機械学習技術のうちの少なくとも１つを実装するパラメータ選択アルゴリズムを使用する、付記４に記載の方法。
（付記６）
前記受信したパラメータが、分類子からの欠陥の種類、前記欠陥を説明するおおよその容積情報、及び基材材料情報のうちの少なくとも１つを含む、付記１に記載の方法。
（付記７）
前記受信したパラメータが、滞留時間及び力プロファイルのうちの少なくとも１つを含む処理パラメータを含む、付記１に記載の方法。
（付記８）
前記受信したパラメータが、少なくとも１つのカメラを含む自動デジタルロボット検査デバイスを使用して測定される、付記１に記載の方法。
（付記９）
前記自動研磨塗装補修デバイスに命令することが、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨／ポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨／ポリッシングステップを実行するように、前記自動研磨塗装補修デバイスに命令することを含み、前記バフ研磨／ポリッシングパラメータが、以前に実行された補修戦略に基づいて選択される、付記１に記載の方法。
（付記１０）
前記自動研磨塗装補修デバイスに命令することが、研磨タイプ、研磨グレード、サンディングツールによる使用のためのＲＰＭ、サンディングツールによる使用のためのオービット、ポリッシングコンパウンド、バフ研磨／ポリッシングツールによる使用のためのＲＰＭ、及び前記バフ研磨／ポリッシングツールによる使用のためのオービットのうちの少なくとも１つを含む出力を提供することを含む、付記１に記載の方法。
（付記１１）
前記自動研磨塗装補修デバイスに命令することが、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び総処理時間のうちの少なくとも１つを含む出力を提供することを含む、付記１に記載の方法。
（付記１２）
前記ロボットマニピュレータの前記軌道が、前記１つ以上のプロセッサによって、補修されている前記欠陥の起点からの経時変化位置オフセットとして前記ロボットマニピュレータに伝達される、付記１１に記載の方法。
（付記１３）
各欠陥の特性を受信することが、エンドエフェクタセンサから局所的に収集されたｉｎ－ｓｉｔｕ検査データを受信すること含む、付記１に記載の方法。
（付記１４）
前記１つ以上のプロセッサによって、前記ｉｎ－ｓｉｔｕデータを、縞模様投影、偏向測定、及びカメラを使用する拡散反射又は通常の白色光の強度測定のうちの少なくとも１つを使用して学習更新を作成するように機械学習ユニットに提供することを更に含む、付記１３に記載の方法。
（付記１５）
前記サンディング処理及び前記ポリッシング処理が、連続パラメータのための連続パラメータ関数を含む、付記１に記載の方法。
（付記１６）
前記１つ以上のプロセッサによって、前記基材の画像及び前記受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを更に含む、付記１に記載の方法。
（付記１７）
前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することが、機械学習技術を使用して、以前に実行された補修に基づいて、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを含む、付記１６に記載の方法。
（付記１８）
前記１つ以上のプロセッサによって、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送ることを更に含む、付記１に記載の方法。
（付記１９）
自動研磨塗装補修システムであって、
受信した命令に応じて、基材のサンディング、バフ研磨、及びポリッシングのうちの少なくとも１つを選択的に実行する、少なくとも１つの自動研磨塗装補修デバイスと、
１つ以上のプロセッサを有するコントローラであって、前記１つ以上のプロセッサが、
各欠陥の特性を説明するパラメータと共に、前記基材内の各識別された欠陥の座標を受信するステップと、
熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び前記受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択するステップと、
前記受信したパラメータを使用して前記選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、前記少なくとも１つの自動研磨塗装補修デバイスに前記命令を提供するステップと、を実施する命令を実行する、コントローラと、
を備える、
システム。
（付記２０）
前記経験的に導出された規則及びパラメータを格納するルックアップテーブルを更に備える、付記１９に記載のシステム。
（付記２１）
前記コントローラが、前記受信したパラメータの経験的に工学的に作られたパラメータ関数に従って、前記ルックアップテーブルからパラメータを選択するパラメータ選択アルゴリズムを更に実装する、付記２０に記載のシステム。
（付記２２）
特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善することによって、前記経験的に導出された規則を更新する、機械学習モジュールを更に備える、付記１９に記載のシステム。
（付記２３）
前記機械学習モジュールが、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいて前記パラメータを選択する機械学習技術のうちの少なくとも１つを実装するパラメータ選択アルゴリズムを使用する、付記２２に記載のシステム。
（付記２４）
前記受信したパラメータが、分類子からの欠陥の種類、前記欠陥を説明するおおよその容積情報、及び基材材料情報のうちの少なくとも１つを含む、付記１９に記載のシステム。
（付記２５）
前記受信したパラメータが、滞留時間及び力プロファイルのうちの少なくとも１つを含む処理パラメータを含む、付記１９に記載のシステム。
（付記２６）
前記パラメータを前記コントローラに提供する少なくとも１つのカメラを含む自動デジタルロボット検査デバイスを更に備える、付記１９に記載のシステム。
（付記２７）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨／ポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨／ポリッシングステップを実行するように命令し、前記バフ研磨／ポリッシングパラメータが、以前に実行された補修戦略に基づいて選択される、付記１９に記載のシステム。
（付記２８）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、研磨タイプ、研磨グレード、サンディングツールによる使用のためのＲＰＭ、サンディングツールによる使用のためのオービット、ポリッシングコンパウンド、バフ研磨／ポリッシングツールによる使用のためのＲＰＭ、及び前記バフ研磨／ポリッシングツールによる使用のためのオービットのうちの少なくとも１つを含む出力を提供する、付記１９に記載のシステム。
（付記２９）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び総処理時間のうちの少なくとも１つを含む出力を提供する、付記１９に記載のシステム。
（付記３０）
前記コントローラが、補修されている前記欠陥の起点からの経時変化位置オフセットとして前記ロボットマニピュレータの前記軌道を前記ロボットマニピュレータに伝達する、付記２９に記載のシステム。
（付記３１）
各欠陥の特性を説明する前記パラメータとして局所的に収集されたｉｎ－ｓｉｔｕ検査データを前記コントローラに提供する、エンドエフェクタセンサを更に備える、付記１９に記載のシステム。
（付記３２）
前記ｉｎ－ｓｉｔｕ検査データ内の受信された縞模様投影、偏向測定、及び拡散反射又は通常の白色光の強度測定値のうちの少なくとも１つを使用して学習更新を作成する、機械学習ユニットを更に備える、付記３１に記載のシステム。
（付記３３）
前記少なくとも１つの自動研磨塗装補修デバイスが、連続パラメータのための連続パラメータ関数を含むサンディング処理及びポリッシング処理のうちの少なくとも１つを実施する、付記１９に記載のシステム。
（付記３４）
前記基材の画像を生成する撮像デバイスを更に備え、前記コントローラが、前記基材の前記画像及び前記受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択する前記ステップを実施する命令を更に実行する、付記１９に記載のシステム。
（付記３５）
前記コントローラが、機械学習技術を使用して、以前に実行された補修に基づいて、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択する、付記３４に記載のシステム。
（付記３６）
前記コントローラが、更に、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送る、付記１９に記載のシステム。
なお、以上の各実施形態に加えて以下の態様について付記する。
（付記１）
自動研磨塗装補修を提供する、コンピュータで実施される方法であって、
１つ以上のプロセッサによって、各欠陥の特性を説明するパラメータと共に、基材内の各識別された欠陥の座標を受信することと、
前記１つ以上のプロセッサによって、熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び前記受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択することと、
前記１つ以上のプロセッサによって、前記受信したパラメータを使用して前記選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、自動研磨塗装補修デバイスに命令することと、
を含む、方法。
（付記２）
前記経験的に導出された規則及びパラメータが、ルックアップテーブル内に格納されている、付記１に記載の方法。
（付記３）
パラメータが、前記受信したパラメータの経験的に工学的に作られたパラメータ関数を実装するパラメータ選択アルゴリズムを使用して、前記選択するステップにおいて前記ルックアップテーブルから選択される、付記２に記載の方法。
（付記４）
特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善する機械学習モジュールを使用して、前記経験的に導出された規則を更新することを更に含む、付記１に記載の方法。
（付記５）
前記選択するステップが、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいて前記パラメータを選択する機械学習技術のうちの少なくとも１つを実装するパラメータ選択アルゴリズムを使用する、付記４に記載の方法。
（付記６）
前記受信したパラメータが、分類子からの欠陥の種類、前記欠陥を説明するおおよその容積情報、及び基材材料情報のうちの少なくとも１つを含む、付記１に記載の方法。
（付記７）
前記受信したパラメータが、滞留時間及び力プロファイルのうちの少なくとも１つを含む処理パラメータを含む、付記１に記載の方法。
（付記８）
前記受信したパラメータが、少なくとも１つのカメラを含む自動デジタルロボット検査デバイスを使用して測定される、付記１に記載の方法。
（付記９）
前記自動研磨塗装補修デバイスに命令することが、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨／ポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨／ポリッシングステップを実行するように、前記自動研磨塗装補修デバイスに命令することを含み、前記バフ研磨／ポリッシングパラメータが、以前に実行された補修戦略に基づいて選択される、付記１に記載の方法。
（付記１０）
前記自動研磨塗装補修デバイスに命令することが、研磨タイプ、研磨グレード、サンディングツールによる使用のためのＲＰＭ、サンディングツールによる使用のためのオービット、ポリッシングコンパウンド、バフ研磨／ポリッシングツールによる使用のためのＲＰＭ、及び前記バフ研磨／ポリッシングツールによる使用のためのオービットのうちの少なくとも１つを含む出力を提供することを含む、付記１に記載の方法。
（付記１１）
前記自動研磨塗装補修デバイスに命令することが、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び総処理時間のうちの少なくとも１つを含む出力を提供することを含む、付記１に記載の方法。
（付記１２）
前記ロボットマニピュレータの前記軌道が、前記１つ以上のプロセッサによって、補修されている前記欠陥の起点からの経時変化位置オフセットとして前記ロボットマニピュレータに伝達される、付記１１に記載の方法。
（付記１３）
各欠陥の特性を受信することが、エンドエフェクタセンサから局所的に収集されたｉｎ－ｓｉｔｕ検査データを受信すること含む、付記１に記載の方法。
（付記１４）
前記１つ以上のプロセッサによって、前記ｉｎ－ｓｉｔｕデータを、縞模様投影、偏向測定、及びカメラを使用する拡散反射又は通常の白色光の強度測定のうちの少なくとも１つを使用して学習更新を作成するように機械学習ユニットに提供することを更に含む、付記１３に記載の方法。
（付記１５）
前記サンディング処理及び前記ポリッシング処理が、連続パラメータのための連続パラメータ関数を含む、付記１に記載の方法。
（付記１６）
前記１つ以上のプロセッサによって、前記基材の画像及び前記受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを更に含む、付記１に記載の方法。
（付記１７）
前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することが、機械学習技術を使用して、以前に実行された補修に基づいて、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択することを含む、付記１６に記載の方法。
（付記１８）
前記１つ以上のプロセッサによって、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送ることを更に含む、付記１に記載の方法。
（付記１９）
自動研磨塗装補修システムであって、
受信した命令に応じて、基材のサンディング、バフ研磨、及びポリッシングのうちの少なくとも１つを選択的に実行する、少なくとも１つの自動研磨塗装補修デバイスと、
１つ以上のプロセッサを有するコントローラであって、前記１つ以上のプロセッサが、
各欠陥の特性を説明するパラメータと共に、前記基材内の各識別された欠陥の座標を受信するステップと、
熟練者／専門家の人間の作業者によって確立された経験的に導出された規則及び前記受信したパラメータに基づいて、サンディング処理、バフ研磨処理、及びポリッシング処理のうちの少なくとも１つを選択するステップと、
前記受信したパラメータを使用して前記選択された少なくとも１つのサンディング処理、バフ研磨処理、及びポリッシング処理を実行するように、前記少なくとも１つの自動研磨塗装補修デバイスに前記命令を提供するステップと、を実施する命令を実行する、コントローラと、
を備える、
システム。
（付記２０）
前記経験的に導出された規則及びパラメータを格納するルックアップテーブルを更に備える、付記１９に記載のシステム。
（付記２１）
前記コントローラが、前記受信したパラメータの経験的に工学的に作られたパラメータ関数に従って、前記ルックアップテーブルからパラメータを選択するパラメータ選択アルゴリズムを更に実装する、付記２０に記載のシステム。
（付記２２）
特定の識別された欠陥及び後続の実行された補修の評価に基づいて、学習更新を行って将来の自動研磨塗装補修作業を改善することによって、前記経験的に導出された規則を更新する、機械学習モジュールを更に備える、付記１９に記載のシステム。
（付記２３）
前記機械学習モジュールが、決定木、既知のｋ最近傍法、及び以前に実行された補修に基づいて前記パラメータを選択する機械学習技術のうちの少なくとも１つを実装するパラメータ選択アルゴリズムを使用する、付記２２に記載のシステム。
（付記２４）
前記受信したパラメータが、分類子からの欠陥の種類、前記欠陥を説明するおおよその容積情報、及び基材材料情報のうちの少なくとも１つを含む、付記１９に記載のシステム。
（付記２５）
前記受信したパラメータが、滞留時間及び力プロファイルのうちの少なくとも１つを含む処理パラメータを含む、付記１９に記載のシステム。
（付記２６）
前記パラメータを前記コントローラに提供する少なくとも１つのカメラを含む自動デジタルロボット検査デバイスを更に備える、付記１９に記載のシステム。
（付記２７）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、研磨処理パラメータを使用して選択されたサンディング処理を使用して研磨ステップを実行し、続いて、バフ研磨／ポリッシングパラメータを使用して選択された少なくとも１つのバフ研磨処理及びポリッシング処理を使用して少なくとも１つのバフ研磨／ポリッシングステップを実行するように命令し、前記バフ研磨／ポリッシングパラメータが、以前に実行された補修戦略に基づいて選択される、付記１９に記載のシステム。
（付記２８）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、研磨タイプ、研磨グレード、サンディングツールによる使用のためのＲＰＭ、サンディングツールによる使用のためのオービット、ポリッシングコンパウンド、バフ研磨／ポリッシングツールによる使用のためのＲＰＭ、及び前記バフ研磨／ポリッシングツールによる使用のためのオービットのうちの少なくとも１つを含む出力を提供する、付記１９に記載のシステム。
（付記２９）
前記コントローラが、前記少なくとも１つの自動研磨塗装補修デバイスに、サンディングツールのＲＰＭの設定値、適合力フランジの制御入力、ロボットマニピュレータの軌道、及び総処理時間のうちの少なくとも１つを含む出力を提供する、付記１９に記載のシステム。
（付記３０）
前記コントローラが、補修されている前記欠陥の起点からの経時変化位置オフセットとして前記ロボットマニピュレータの前記軌道を前記ロボットマニピュレータに伝達する、付記２９に記載のシステム。
（付記３１）
各欠陥の特性を説明する前記パラメータとして局所的に収集されたｉｎ－ｓｉｔｕ検査データを前記コントローラに提供する、エンドエフェクタセンサを更に備える、付記１９に記載のシステム。
（付記３２）
前記ｉｎ－ｓｉｔｕ検査データ内の受信された縞模様投影、偏向測定、及び拡散反射又は通常の白色光の強度測定値のうちの少なくとも１つを使用して学習更新を作成する、機械学習ユニットを更に備える、付記３１に記載のシステム。
（付記３３）
前記少なくとも１つの自動研磨塗装補修デバイスが、連続パラメータのための連続パラメータ関数を含むサンディング処理及びポリッシング処理のうちの少なくとも１つを実施する、付記１９に記載のシステム。
（付記３４）
前記基材の画像を生成する撮像デバイスを更に備え、前記コントローラが、前記基材の前記画像及び前記受信したパラメータに基づいて、少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択する前記ステップを実施する命令を更に実行する、付記１９に記載のシステム。
（付記３５）
前記コントローラが、機械学習技術を使用して、以前に実行された補修に基づいて、前記少なくとも１つの研磨媒体並びにバフ研磨及びポリッシングパッドを選択する、付記３４に記載のシステム。
（付記３６）
前記コントローラが、更に、研磨媒体並びにバフ研磨及びポリッシングパッドの使用を監視して、研磨媒体又はバフ研磨及びポリッシングパッドの交換が推奨されるときに信号を送る、付記１９に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
