特開2023-43178カラーチャンネルを利用するワーク検査及び欠陥検出システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023043178
(43)【公開日】2023-03-28
(54)【発明の名称】カラーチャンネルを利用するワーク検査及び欠陥検出システム
(51)【国際特許分類】
G01N 21/88 20060101AFI20230320BHJP
G06T 7/00 20170101ALI20230320BHJP
G06V 10/143 20220101ALI20230320BHJP
G06V 10/60 20220101ALI20230320BHJP
G06V 10/74 20220101ALI20230320BHJP
【ＦＩ】
G01N21/88 Z
G06T7/00 610Z
G06V10/143
G06V10/60
G06V10/74
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022145171
(22)【出願日】2022-09-13
(31)【優先権主張番号】17/476,378
(32)【優先日】2021-09-15
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】000137694
【氏名又は名称】株式会社ミツトヨ
(74)【代理人】
【識別番号】100166545
【弁理士】
【氏名又は名称】折坂 茂樹
(72)【発明者】
【氏名】マーク ローレンス デレイニー
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AA90
2G051AB02
2G051BA08
2G051BA20
2G051CA04
2G051CB01
2G051EB05
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096CA17
5L096CA24
5L096CA25
5L096DA01
5L096DA02
5L096EA35
5L096EA39
5L096FA02
5L096FA06
5L096FA17
5L096FA64
5L096FA69
5L096GA51
5L096HA09
5L096JA11
5L096KA04
5L096KA15
5L096MA03
(57)【要約】 （修正有）
【課題】ワークの検査において様々な種類の課題に直面する（例えば、検査対象のワークの材料の種類及び／又は表面の変化、検査条件の変更などに起因する）。特定の種類の検査操作のこのような問題を改善する。
【解決手段】ワークの検査及び欠陥検出システムは、光源構成、レンズ構成、及びワークを撮像するカメラ構成を含む。システムは、トレーニング及びランモードワーク画像を取得して、トレーニング及びランモードワーク画像データの対応するセットを取得する。画像データの各セットは、少なくとも、第１及び第２のカラーチャンネルに対応する第１及び第２のカラーチャンネルワーク画像データを含む。欠陥検出部は、画像データに少なくとも部分的に基づいてトレーニングされ、且つ解析を実行するために利用されて、欠陥のあるワークを含む欠陥あり画像を決定する。
【選択図】図２
【解決手段】ワークの検査及び欠陥検出システムは、光源構成、レンズ構成、及びワークを撮像するカメラ構成を含む。システムは、トレーニング及びランモードワーク画像を取得して、トレーニング及びランモードワーク画像データの対応するセットを取得する。画像データの各セットは、少なくとも、第１及び第２のカラーチャンネルに対応する第１及び第２のカラーチャンネルワーク画像データを含む。欠陥検出部は、画像データに少なくとも部分的に基づいてトレーニングされ、且つ解析を実行するために利用されて、欠陥のあるワークを含む欠陥あり画像を決定する。
【選択図】図２
【特許請求の範囲】
【請求項1】
ワーク検査及び欠陥検出システムであって、
複数のカラーチャンネルを提供するように構成された光源構成であって、各カラーチャンネルは異なるカラーに対応している、光源構成と、
前記光源構成によって照明されたワークの表面から生じる撮像光を入力し、且つ前記撮像光を撮像光路に沿って伝送するレンズ構成と、
ワーク画像を提供するために、前記撮像光路に沿って伝送された撮像光を受け取るカメラ構成と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合され、且つプログラム命令を保存しているメモリと、
を備え、
前記プログラム命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、少なくとも、
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、
を行わせる、システム。
複数のカラーチャンネルを提供するように構成された光源構成であって、各カラーチャンネルは異なるカラーに対応している、光源構成と、
前記光源構成によって照明されたワークの表面から生じる撮像光を入力し、且つ前記撮像光を撮像光路に沿って伝送するレンズ構成と、
ワーク画像を提供するために、前記撮像光路に沿って伝送された撮像光を受け取るカメラ構成と、
１つ以上のプロセッサと、
前記１つ以上のプロセッサに結合され、且つプログラム命令を保存しているメモリと、
を備え、
前記プログラム命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、少なくとも、
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、
を行わせる、システム。
【請求項2】
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて前記欠陥検出部をトレーニングすることは、トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データを利用して、前記欠陥検出部をトレーニングするために利用される対応するトレーニングモード合成画像データを生成することを含み、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む、請求項１に記載のシステム。
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む、請求項１に記載のシステム。
【請求項3】
トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率が決定され、
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される、請求項１に記載のシステム。
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される、請求項１に記載のシステム。
【請求項4】
前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の前記複数の比率を決定することは、前記対応する第１のカラーチャンネルトレーニングモードワーク画像データの各ピクセル値について、そのピクセル値と、前記対応する第２のカラーチャンネルトレーニングモードワーク画像データの対応するピクセル値との比率を決定することを含み、
前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の前記複数の比率を決定することは、前記対応する第１のカラーチャンネルランモードワーク画像データの各ピクセル値について、そのピクセル値と、前記対応する第２のカラーチャンネルランモードワーク画像データの対応するピクセル値との比率を決定することを含む、請求項３に記載のシステム。
前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の前記複数の比率を決定することは、前記対応する第１のカラーチャンネルランモードワーク画像データの各ピクセル値について、そのピクセル値と、前記対応する第２のカラーチャンネルランモードワーク画像データの対応するピクセル値との比率を決定することを含む、請求項３に記載のシステム。
【請求項5】
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて前記欠陥検出部をトレーニングすることは、トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データの前記ピクセル値の前記比率を利用して、前記欠陥検出部をトレーニングするために利用される対応するトレーニングモード合成画像データの対応するピクセル値を決定することを含み、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データの前記ピクセル値の前記比率を利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データの対応するピクセル値を決定することを含む、請求項４に記載のシステム。
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データの前記ピクセル値の前記比率を利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データの対応するピクセル値を決定することを含む、請求項４に記載のシステム。
【請求項6】
前記光源構成は、前記第１のカラーチャンネルの第１のカラー光を提供する第１の光源と、前記第２のカラーチャンネルの第２のカラー光を提供する第２の光源と、を備え、前記第１及び第２のカラー光は、光の異なる波長に対応している、請求項１に記載のシステム。
【請求項7】
前記第１の光源は、第１の発光ダイオードであり、前記第２の光源は、第２の発光ダイオードである、請求項６に記載のシステム。
【請求項8】
検査されるワークの少なくとも一部には、第１及び第２の材料が含まれており、画像内の露出した第２の材料の存在が、前記トレーニングされた欠陥検出部によって検出可能である欠陥に相当する、請求項１に記載のシステム。
【請求項9】
検査されるワークの少なくとも一部には、第１及び第２の材料が含まれており、前記第１及び第２の材料は、前記第１のカラーチャンネルに対応する第１のカラー光について、前記第１の材料の反射率が前記第２の材料の反射率よりも大きく、前記第２のカラーチャンネルに対応する第２のカラー光について、前記第２の材料の前記反射率が前記第１の材料の前記反射率よりも大きいか又は等しいように、第１及び第２の反射率プロファイルを有している、請求項１に記載のシステム。
【請求項10】
前記光源構成のコンポーネントは、前記第１及び第２の材料の前記反射率プロファイルに少なくとも部分的に基づいて、前記第１及び第２のカラー光の波長を提供するように選択される、請求項９に記載のシステム。
【請求項11】
前記光源構成は、前記第１及び第２のカラー光を提供するように構成され、且つ第３のカラーチャンネルの第３のカラー光も提供するように構成されており、
前記第１及び第２の材料の前記反射率プロファイルに基づいて、前記第１及び第２の材料を有するワークを検査するために、前記第１及び第２のカラー光は利用されるように選択され、前記第３のカラー光は利用されるようには選択されない、請求項９に記載のシステム。
前記第１及び第２の材料の前記反射率プロファイルに基づいて、前記第１及び第２の材料を有するワークを検査するために、前記第１及び第２のカラー光は利用されるように選択され、前記第３のカラー光は利用されるようには選択されない、請求項９に記載のシステム。
【請求項12】
前記第３のカラー光は、前記第１及び第２の反射率プロファイルとは異なる第３の材料の反射率プロファイルに基づいて、前記第３の材料を有するワークを検査するために利用されるように選択される、請求項１１に記載のシステム。
【請求項13】
トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データは、それぞれの第１及び第２のカメラ画像プレーンによって生成され、
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データは、それぞれの第１及び第２のカメラ画像プレーンによって生成される、請求項１に記載のシステム。
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データは、それぞれの第１及び第２のカメラ画像プレーンによって生成される、請求項１に記載のシステム。
【請求項14】
前記プログラム命令は、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、１つ以上の欠陥あり画像を使用して１つ以上の計測操作を実行することをさらに行わせる、請求項１に記載のシステム。
【請求項15】
ワーク検査及び欠陥検出システムを操作する方法であって、
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、
を含む、方法。
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、
を含む、方法。
【請求項16】
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて前記欠陥検出部をトレーニングすることは、トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データを利用して、前記欠陥検出部をトレーニングするために利用される対応するトレーニングモード合成画像データを生成することを含み、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む、請求項１５に記載の方法。
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、前記トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む、請求項１５に記載の方法。
【請求項17】
トレーニングモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率が決定され、
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される、請求項１５に記載の方法。
ランモードワーク画像データの各セットについて、前記対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される、請求項１５に記載の方法。
【請求項18】
検査されるワークの少なくとも一部には、第１及び第２の材料が含まれており、前記第１及び第２の材料は、前記第１のカラーチャンネルに対応する第１のカラー光について、前記第１の材料の反射率が前記第２の材料の反射率よりも大きく、前記第２のカラーチャンネルに対応する第２のカラー光について、前記第２の材料の前記反射率が前記第１の材料の前記反射率よりも大きいか又は等しいように、第１及び第２の反射率プロファイルを有しており、
前記方法は、前記第１及び第２の材料の前記反射率プロファイルに少なくとも部分的に基づいて、前記第１及び第２のカラー光の波長を提供するように光源構成のコンポーネントを選択することをさらに含む、請求項１５に記載の方法。
前記方法は、前記第１及び第２の材料の前記反射率プロファイルに少なくとも部分的に基づいて、前記第１及び第２のカラー光の波長を提供するように光源構成のコンポーネントを選択することをさらに含む、請求項１５に記載の方法。
【請求項19】
１つ以上の欠陥あり画像を使用して１つ以上の計測操作を実行することをさらに含む、請求項１５に記載の方法。
【請求項20】
ワーク検査及び欠陥検出システムであって、
複数のカラーチャンネルを提供するように構成された光源構成であって、各カラーチャンネルは異なるカラーに対応している、光源構成と、
前記光源構成によって照明されたワークの表面から生じる撮像光を入力し、且つ前記撮像光を撮像光路に沿って伝送するレンズ構成と、
ワーク画像を提供するために、前記撮像光路に沿って伝送された撮像光を受け取るカメラ構成と、
を備え、
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、を行うように構成されている、システム。
複数のカラーチャンネルを提供するように構成された光源構成であって、各カラーチャンネルは異なるカラーに対応している、光源構成と、
前記光源構成によって照明されたワークの表面から生じる撮像光を入力し、且つ前記撮像光を撮像光路に沿って伝送するレンズ構成と、
ワーク画像を提供するために、前記撮像光路に沿って伝送された撮像光を受け取るカメラ構成と、
を備え、
第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、
トレーニングモードワーク画像データの前記複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、
前記第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、前記第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、
前記トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの前記複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、を行うように構成されている、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ワーク検査システムに関し、特にワークを検査し、欠陥を検出するための精密計測システムに関する。
【背景技術】
【0002】
マシンビジョン検査システム（又は、略して「ビジョンシステム」）などの特定の精密計測システムを利用して、検査対象のワークの画像を取得することができる。このようなシステムは、様々な種類の用途（例えば、一般的なワーク検査、ワークの正確な寸法測定値を決定するための計測用途など）に利用することができる。このようなシステムには、一般にコンピュータ、カメラ、及び光学システムが含まれているものがある。特定の構成では、ワークの走査（ｔｒａｖｅｒｓａｌ）及び検査を可能とするために移動する移動メカニズム（例えば、精密ステージ、コンベヤなど）が含まれている場合がある。例示的な先行技術のマシンビジョン検査システムの１つは、イリノイ州オーロラにあるＭｉｔｕｔｏｙｏ Ａｍｅｒｉｃａ Ｃｏｒｐｏｒａｔｉｏｎ（ＭＡＣ）から入手可能であるＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのＰＣベースのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアである。ＱＵＩＣＫ ＶＩＳＩＯＮ（登録商標）シリーズのビジョンシステム及びＱＶＰＡＫ（登録商標）ソフトウェアの特徴及び操作については、概ね、例えば２００３年１月に発表された「ＱＶＰＡＫ ３Ｄ ＣＮＣ Ｖｉｓｉｏｎ Ｍｅａｓｕｒｉｎｇ Ｍａｃｈｉｎｅ Ｕｓｅｒ’ｓ Ｇｕｉｄｅ」に記載されている。これは参照によりその全体が本明細書に組み込まれる。この種類のシステムは、顕微鏡型の光学系を使用し、ステージを移動させてワークの検査画像を提供する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
このような計測システムは、通常、ワークの検査において様々な種類の課題に直面する（例えば、検査対象のワークの材料の種類及び／又は表面の変化、検査条件の変更などに起因する）。特定の種類の検査操作のこのような問題を（例えば、ワーク欠陥検出及び／又は欠陥検出の精度の向上などのために）改善できるシステムが望ましい。
【課題を解決するための手段】
【0004】
この概要は、以下の「発明を実施するための形態」でさらに説明する概念の精選を簡略化された形式で紹介するために提供されるものである。この概要は、請求項に係る主題の重要な特徴を特定することを目的としたものでも、請求項に係る主題の範囲を決定するための補助として使用されることを目的としたものでもない。
【0005】
光源構成、レンズ構成、ワーク画像を提供するために撮像光路に沿って伝送された撮像光を受け取るカメラ構成、１つ以上のプロセッサ、及びメモリを含むワーク検査及び欠陥検出システムが提供される。光源構成は、複数のカラーチャンネルを提供するように構成されており、各カラーチャンネルは異なるカラーに対応している。レンズ構成は、光源構成によって照明されたワークの表面から生じる撮像光を入力し、且つ撮像光を撮像光路に沿って伝送する。カメラ構成は、ワーク画像を提供するために撮像光路に沿って伝送された撮像光を受け取る。
【0006】
メモリは、１つ以上のプロセッサに結合され、且つプログラム命令を保存している。プログラム命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、少なくとも、第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて、欠陥検出部をトレーニングすることと、第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、を行わせる。
【0007】
様々な実装形態では、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることは、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データを利用して、欠陥検出部をトレーニングするために利用される対応するトレーニングモード合成画像データを生成することを含み、トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む。
【0008】
様々な実装形態では、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率が決定され、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される。様々な実装形態では、本明細書で説明する各画像の画像データは、複数のピクセル値を含む。各ピクセル値（例えば輝度値を含む）は画像のピクセルに対応している。同じ位置のピクセル、又は異なる画像内のワーク上の同じ表面点の撮像は、対応するピクセル値が異なる画像間の対応するピクセルとして指定することができる（例えば、異なる対応するピクセル値は、各画像のワークを照明するために利用される異なるカラー光に由来し得る）。様々な実装形態では、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率を決定することは、対応する第１のカラーチャンネルトレーニングモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルトレーニングモードワーク画像データの対応するピクセル値との比率を決定することを含み、対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率を決定することは、対応する第１のカラーチャンネルランモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルランモードワーク画像データの対応するピクセル値との比率を決定することを含む。様々な実装形態では、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることは、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データのピクセル値の比率を利用して、欠陥検出部をトレーニングするために利用される対応するトレーニングモード合成画像データの対応するピクセル値を決定することを含み、トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することは、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データのピクセル値の比率を利用して、トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データの対応するピクセル値を決定することを含む。
【0009】
様々な実装形態では、光源構成は、第１のカラーチャンネルの第１のカラー光を提供する第１の光源と、第２のカラーチャンネルの第２のカラー光を提供する第２の光源と、を備え、第１及び第２のカラー光は、光の異なる波長に対応している。様々な実装形態では、第１の光源は、第１の発光ダイオードであり、第２の光源は、第２の発光ダイオードである。
【0010】
様々な実装形態では、検査されるワークの少なくとも一部には、第１及び第２の材料が含まれており、画像内の露出した第２の材料の存在が、トレーニングされた欠陥検出部によって検出可能である欠陥に相当する。
【0011】
様々な実装形態では、検査されるワークの少なくとも一部には、第１及び第２の材料が含まれており、第１及び第２の材料は、第１のカラーチャンネルに対応する第１のカラー光について、第１の材料の反射率が第２の材料の反射率よりも大きく、第２のカラーチャンネルに対応する第２のカラー光について、第２の材料の反射率が第１の材料の反射率よりも大きいか又は等しいように、第１及び第２の反射率プロファイルを有している。光源構成のコンポーネントは、第１及び第２の材料の反射率プロファイルに少なくとも部分的に基づいて、第１及び第２のカラー光の波長を提供するように選択され得る。様々な実装形態では、光源構成は、第１及び第２のカラー光を提供するように構成され、且つ第３のカラーチャンネルの第３のカラー光も提供するように構成されている。第１及び第２の材料の反射率プロファイルに基づいて、第１及び第２の材料を有するワークを検査するために、第１及び第２のカラー光は利用されるように選択され、第３のカラー光は利用されるようには選択されない。様々な実装形態では、第３のカラー光は、第１及び第２の反射率プロファイルとは異なる第３の材料の反射率プロファイルに基づいて、第３の材料を有するワークを検査するために利用されるように選択される。
【0012】
様々な実装形態では、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データは、それぞれの第１及び第２のカメラ画像プレーンによって生成され、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データは、それぞれの第１及び第２のカメラ画像プレーンによって生成される。
【0013】
様々な実装形態では、プログラム命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに、１つ以上の欠陥あり画像を使用して１つ以上の計測操作を実行することをさらに行わせる。
【0014】
様々な実装形態では、ワーク検査及び欠陥検出システムを操作する方法（例えば、実行可能命令で構成されている１つ以上のコンピューティングシステムの制御下で操作されるコンピュータ実装方法）が提供され得る。この方法は、第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得することと、トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、を含む。
【0015】
様々な実装形態では、第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データと、を各セットが含む、トレーニングモードワーク画像データの複数のセットを取得するためのトレーニングモードワーク画像を取得することと、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて欠陥検出部をトレーニングすることと、第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データと、を各セットが含む、ランモードワーク画像データの複数のセットを取得するためのランモードワーク画像を取得して、取得することと、トレーニングされた欠陥検出部を利用して、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定することと、を行うように構成されているワーク検査及び欠陥検出システムが提供され得る。
【図面の簡単な説明】
【0016】
本発明の上記の態様及び付随する利点の多くは、添付の図面と併せて解釈されるときに、以下の詳細な説明を参照することでよりよく理解されることによって、より容易に理解されるであろう。
【0017】
【図1】ワーク検査及び欠陥検出システムの一実装形態の様々なコンポーネントを示す図である。
【図6】欠陥を含むワークの画像に計測操作を実行するための１つ以上のビデオツールの利用を示す図である。
【図7E】欠陥マスクの画像の一例である。
【図8E】欠陥マスクの画像の一例である。
【図9】欠陥を含むワークの画像に計測操作を実行するための１つ以上のビデオツールの利用を示す図である。
【発明を実施するための形態】
【0018】
図１は、例示的なワーク検査及び欠陥検出システム１０のブロック図である。図１の例では、ワーク検査及び欠陥検出システム１０は、マシンビジョン検査システムが含まれていても、その一部であってもよく、又は場合によっては、代わりにマシンビジョン検査システムとして参照されてもよい。ワーク検査及び欠陥検出システム１０には、制御コンピュータシステム１４とデータ及び制御信号を交換するために動作可能に接続されたビジョン検査マシン１２が含まれている。制御コンピュータシステム１４はさらに、モニタ又はディスプレイ１６、プリンタ１８、ジョイスティック２２、キーボード２４、及びマウス２６とデータ及び制御信号を交換するために動作可能に接続されている。モニタ又はディスプレイ１６には、ワーク検査及び欠陥検出システム１０の操作の制御及び／又はプログラミングに適したユーザインターフェースが表示され得る。様々な例示的な実装形態では、タッチスクリーンタブレット及び／又は同様のデバイスなどが、要素１４、１６、２２、２４、及び２６のうちのいずれか又はすべての機能の代わりとなったり、冗長性を提供したりすることができることが理解されるであろう。
【0019】
当業者であれば、本明細書に説明する制御コンピュータシステム１４及び／又は他の制御システムは、一般に、分散コンピューティング環境又はネットワークコンピューティング環境など、任意の適切なコンピューティングシステム又はデバイスを使用して実装され得ることを理解するであろう。このようなコンピューティングシステム又はデバイスには、本明細書に説明する機能を行うためにソフトウェアを実行する１つ以上の汎用又は特殊用途のプロセッサ（例えば、非カスタムデバイス又はカスタムデバイス）が含まれていてもよい。ソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリなどのメモリ、又はそのようなコンポーネントの組み合わせに保存され得る。ソフトウェアはまた、光学ベースのディスク、フラッシュメモリデバイス、又はデータを保存するための任意の他の種類の不揮発性ストレージ媒体など、１つ以上のストレージデバイスに保存され得る。ソフトウェアには、特定のタスクを実行する又は特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む１つ以上のプログラムモジュールが含まれていてもよい。分散コンピューティング環境では、プログラムモジュールの機能を組み合わせても、複数のコンピューティングシステム又はデバイスに分散して、有線又はワイヤレスのいずれかの構成でサービスコールを介してアクセスしてもよい。
【0020】
ビジョン検査マシン１２には、可動式ワークステージ３２と、ズームレンズ又は交換可能な対物レンズが含まれ得るレンズ構成を有する光学式撮像システム３４とが含まれている。ズームレンズ又は交換可能な対物レンズは一般に、光学式撮像システム３４によって提供される画像に様々な倍率を提供する。ビジョン検査マシン１２の様々な例示的な実装形態はまた、米国特許第７，４５４，０５３号、第７，３２４，６８２号、第８，１１１，９０５号、及び第８，１１１，９３８号に記載されている。これらの特許の各々は参照によりその全体が本明細書に組み込まれる。
【0021】
可能なシステムコンポーネントのいくつかの例として、ワーク検査及び欠陥検出システム１０の光学式撮像システム３４のカメラ構成に、モノクロカメラが含まれている場合があり、当該システムでは、異なるカラーチャンネルに対しそれぞれ異なる色の発光ダイオード（ＬＥＤ）が利用される。他の実装態様では、異なる波長の画像を区別／生成できる赤・緑・青（ＲＧＢ）カメラ、又は２若しくは３センサカメラを利用してもよい。このような場合、異なるＬＥＤを用いて異なる時間にワークを照明するのではなく、白色光源を（例えば、ビームスプリッタ及び狭帯域カラーフィルタとともに）利用して、異なるカラーチャンネルを実装することができる。いくつかの実装形態では、画像をより迅速に生成することが望ましい場合がある。これには（例えば、異なる時間に各カラー画像を撮影するよりも）複数の画像センサ付きカメラなどが有利であり得る。様々な実装形態では、ワーク検査及び欠陥検出システムは、（例えば、ワーク検査及び欠陥検出システムの一部としての、単一のビジョン検査マシン若しくは複数のビジョン検査マシン若しくはそのコンポーネント及び／又はコンピュータシステムなどの一部として）本明細書に説明される複数のカメラ構成及び／又は他のコンポーネントからのデータを含み、該データを利用し、及び／又は該データを受信する場合がある。
【0022】
図２は、図１のワーク検査及び欠陥検出システムと同様であり、本明細書に開示する特定の特徴を含むワーク検査及び欠陥検出システム１００の制御システム部１２０及びビジョンコンポーネント部２００のブロック図である。以下でより詳細に説明するように、制御システム部１２０を利用して、ビジョンコンポーネント部２００を制御する。制御システム部１２０は、ビジョンコンポーネント部２００とデータ及び制御信号を交換するように配置され得る。ビジョンコンポーネント部２００には、光学アセンブリ部２０５、光源２２０、２３０、２４０、３００、及びワークステージ２１０が含まれており、ワークステージ２１０には透明な中央部分２１２がある。ワークステージ２１０は、ワーク２０を配置できるステージの表面にほぼ平行な平面内にあるｘ軸及びｙ軸に沿って制御可能に移動可能である。
【0023】
光学アセンブリ部２０５には、カメラ構成２６０（例えば、１つ以上のカメラ及び／又は様々なカメラコンポーネントを含む）と、交換可能な対物レンズ２５０を備えたレンズ構成とが含まれている。いくつかの実装形態では、光学アセンブリ部２０５のレンズ構成には、可変焦点距離（ＶＦＬ）レンズ（例えば、米国特許第９，１４３，６７４号に開示されているような可変音響式屈折率分布型（ＴＡＧ））を任意選択で含めることができる。該米国特許は参照によりその全体が本明細書に組み込まれる。
【0024】
様々な例示的な実装形態では、光学アセンブリ部２０５のレンズ構成にはさらに、レンズ２８６及び２８８を有するターレットレンズアセンブリ２８０が含まれていてもよい。ターレットレンズアセンブリの代わりに、様々な例示的な実装形態では、固定又は手動で交換可能な倍率変更レンズ、又はズームレンズ構成などが含まれていてもよい。様々な例示的な実装形態では、可変倍率レンズ部の一部として含まれる固定倍率対物レンズのセット（例えば、０．５倍、１倍、２倍若しくは２．５倍、５倍、１０倍、２０倍若しくは２５倍、５０倍、１００倍などの倍率に対応する対物レンズのセット）から交換可能な対物レンズ２５０を選択することができる。
【0025】
光学アセンブリ部２０５は、制御可能なモータ２９４を使用することによって、ｘ軸及びｙ軸にほぼ直交するｚ軸に沿って制御可能に移動可能である。制御可能なモータ２９４は、アクチュエータを駆動して光学アセンブリ部２０５をｚ軸に沿って移動してワーク２０の画像の焦点を変更する。制御可能なモータ２９４は、信号線２９６を介して入出力インターフェース１３０に接続されて、特定の範囲で画像の焦点を変更する。ワーク２０はワークステージ２１０上に配置することができる。ワークステージ２１０は、交換可能な対物レンズ２５０の視野がワーク２０上の位置間及び／又は複数のワーク２０間を移動するように、光学アセンブリ部２０５に対して移動するように制御され得る。
【0026】
ステージ光源２２０、同軸光源２３０、及び面光源２４０（例えば、リングライト）のうちの１つ以上が、それぞれ光源光２２２、２３２、及び／又は２４２を放射して、１つ以上のワーク２０を照明することができる。例えば、画像露出中に、同軸光源２３０がビームスプリッタ２９０（例えば、部分ミラー）を含む経路に沿って光源光２３２を放射し得る。光源光２３２は、ワーク光２５５として反射又は透過され、撮像に使用されるワーク光は、交換可能な対物レンズ２５０及びターレットレンズアセンブリ２８０を通過し、カメラ構成２６０（例えば、カメラを含む）によって集められる。ワーク２０の画像を含むワーク画像露出は、カメラ構成２６０によって撮影され、制御システム部１２０へと信号線２６２に出力される。
【0027】
様々な実装形態では、光源２２０、２３０、２４０、又は３００のうちの１つ以上に（例えば、光源構成の一部として）複数の光源が含まれる場合がある。例えば、１つの実装形態では、光源２３０に２つ又は３つの光源（例えば、赤色、緑色、及び／又は青色ＬＥＤといった２つ又は３つのＬＥＤなど）が含まれていてもよく、この場合、光源光２３２には現在点灯している光源のいずれかからの光が含まれ得る。以下により詳細に説明するように、このような光源構成の一部として、例えば、第１の光源が第１のカラーチャンネルに対応し（例えば、青色ＬＥＤが青のカラーチャンネルに対応し）、第２の光源が第２のカラーチャンネルに対応している（例えば、赤色ＬＥＤが赤のカラーチャンネルに対応している）場合がある。異なるカラーチャンネルを利用して、異なるカラーチャンネル画像データなどを生成することができる。
【0028】
様々な光源（例えば、光源２２０、２３０、２４０、３００）は、関連する信号線（例えば、それぞれバス２２１、２３１、２４１、３３１）を介して制御システム部１２０の照明制御インターフェース１３３に接続することができる。制御システム部１２０は、ターレットレンズアセンブリ２８０を軸２８４に沿って回転するように制御して、信号線又はバス２８１を介してターレットレンズを選択して、画像倍率を変更することができる。
【0029】
図２に示すように、様々な例示的な実装形態では、制御システム部１２０にはコントローラ１２５、入出力インターフェース１３０、メモリ１４０、ワークプログラム生成器及び実行器１７０、並びに電源部１９０が含まれている。これらのコンポーネント及び以下に説明する追加コンポーネントの各々は、１つ以上のデータ／制御バス及び／若しくはアプリケーションプログラミングインターフェースによって、又は様々な要素間の直接接続によって相互接続することができる。入出力インターフェース１３０には、撮像制御インターフェース１３１、モーション制御インターフェース１３２、照明制御インターフェース１３３、及びレンズ制御インターフェース１３４が含まれている。
【0030】
照明制御インターフェース１３３には、例えば、ワーク検査及び欠陥検出システム１００の様々な対応する光源の選択、電源、及び／又はオン／オフスイッチを制御する照明制御要素１３３ａ～１３３ｎが含まれ得る。照明制御インターフェース１３３には、図示する実施形態では、画像取得時に構造化された照明を提供するために、構造化された照明パターン（ＳＩＰ：Ｓｔｒｕｃｔｕｒｅｄ Ｉｌｌｕｍｉｎａｔｉｏｎ Ｐａｔｔｅｒｎ）生成部３００と連動して機能し得る照明制御要素１３３ｓｉｐも含まれている。様々な実装形態では、ＳＩＰ生成部３００からビームスプリッタ２９０に入力されるように予測パターンを出力することができ、これは、対物レンズ２５０を通る同軸光として方向付けられてＳＩＰ構造化された光２３２’を提供して、視野を照明し、ＳＩＰ構造化された光２３２’はワーク２０からワーク光２５５’として反射される。
【0031】
メモリ１４０には、画像ファイルメモリ部１４１、欠陥検出部１４０ｄｐ、ワークプログラムメモリ部１４２（１つ以上のパートプログラムなどを含み得る）、及びビデオツール部１４３が含まれ得る。ビデオツール部１４３には、対応するビデオツールの各々のＧＵＩ、画像処理操作などを決定するビデオツール部１４３ａ及び他のビデオツール部（例えば１４３ｎ）と、ビデオツール部１４３に含まれている様々なビデオツールにおいて操作可能である様々なＲＯＩを定義する自動、半自動、及び／又は手動操作をサポートする関心領域（ＲＯＩ）生成器１４３ｒｏｉとが含まれている。このようなエッジ特徴の位置特定や他のワーク特徴検査操作の実行のためのビデオツールの操作例については、以前に組み込まれた参照文献のうちの一部と、米国特許第７，６２７，１６２号により詳細に記載されている。該米国特許は参照によりその全体が本明細書に組み込まれる。
【0032】
また、ビデオツール部１４３には、フォーカス高さ測定操作のためのＧＵＩ、画像処理操作などを決定するオートフォーカスビデオツール１４３ａｆも含まれている。様々な例示的な実装形態では、オートフォーカスビデオツール１４３ａｆにはさらに、米国特許第９，１４３，６７４号により詳細に記載されているように、ハードウェアを使用してフォーカス高さを高速で測定するために利用できる高速フォーカス高さツールが含まれていてもよい。該米国特許は参照によりその全体が本明細書に組み込まれる。様々な例示的な実装形態では、高速フォーカス高さツールは、それ他の点はオートフォーカスビデオツールの従来の方法に従って動作するオートフォーカスビデオツール１４３ａｆの特別なモードであり得る。或いは、オートフォーカスビデオツール１４３ａｆの動作には、高速フォーカス高さツールの動作しか含まれていなくてもよい。画像領域又は関心領域の高速オートフォーカス及び／又はフォーカス位置決定は、既知の方法に従って画像を解析し、様々な領域に対応する定量的コントラストメトリックを決定することに基づいていてもよい。例えば、このような方法は、米国特許第８，１１１，９０５号、第７，５７０，７９５号、及び第７，０３０，３５１号に開示されている。これらは各々、参照によりその全体が本明細書に組み込まれる。
【0033】
本開示の文脈において、また、当業者によって知られるように、「ビデオツール」という用語は、通常、比較的単純なユーザインターフェースを介してマシンビジョンユーザが実装することができる、比較的複雑な自動操作又はプログラム操作のセットを指す。例えば、ビデオツールには、操作及び計算を左右するいくつかの変数又はパラメータを調整することによって、特定のインスタンスで適用及びカスタマイズされる複雑な事前プログラムされた画像処理操作及び計算のセットが含まれる場合がある。ビデオツールは、基礎となる操作及び計算に加えて、ユーザがビデオツールの特定のインスタンスに対してこれらのパラメータを調整することを可能にするユーザインターフェースを備えている。なお、可視のユーザインターフェース特徴がビデオツールと呼ばれることもあるが、基礎となっている操作は黙示的に含まれている。
【0034】
１つ以上のディスプレイデバイス１３６（例えば、図１のディスプレイ１６）及び１つ以上の入力デバイス１３８（例えば、図１のジョイスティック２２、キーボード２４、及びマウス２６）を入出力インターフェース１３０に接続することができる。ディスプレイデバイス１３６及び入力デバイス１３８は、ユーザインターフェースを表示するために使用され得る。このユーザインターフェースには、検査操作を実行する、及び／若しくはパートプログラムを作成及び／若しくは修正する、カメラ構成２６０によって撮影された画像を見る、並びに／又はビジョンコンポーネント部２００を直接制御するために使用可能である様々なグラフィカルユーザインターフェース（ＧＵＩ）特徴が含まれ得る。
【0035】
様々な例示的な実装形態では、ユーザがワーク検査及び欠陥検出システム１００を利用してワーク２０のパートプログラムを作成するときに、ユーザは、トレーニングモードでワーク検査及び欠陥検出システム１００を操作して、所望の画像取得トレーニングシーケンスを提供することによって、パートプログラム命令を生成する。例えば、トレーニングシーケンスは、代表的なワークの特定のワーク特徴を視野（ＦＯＶ）に配置すること、光レベルを設定すること、焦点を合わせるか又はオートフォーカスすること、画像を取得すること、及び（例えば、該ワーク特徴上のビデオツールのうちの１つのインスタンスを使用して）画像に適用される検査トレーニングシーケンスを提供することを含み得る。トレーニングモードは、シーケンスが撮影又は記録され、対応するパートプログラム命令に変換されるように動作する。パートプログラムが実行されると、これらの命令によって、ワーク検査及び欠陥検出システムがトレーニングされた画像取得を再現し、検査操作によって、パートプログラムを作成するときに使用された代表的なワークと一致する、ランモードのワーク上の特定のワーク特徴（即ち、対応する位置にある対応する特徴）が自動的に検査される。様々な例示的な実装形態では、特定の種類のトレーニングモードをさらに使用することも、代わりに使用することもできる（例えば、欠陥を検出するための欠陥検出部をトレーニングするためのトレーニングモード、欠陥検出プロセスに許容可能ではない異常画像を検出するために異常検出器部分をトレーニングするためのトレーニングモードなど）。様々な実装形態では、トレーニングモードを学習モードとしてさらに参照しても、代わりに参照してもよい。
【0036】
ビデオツール部１４３には、Ｚ高さ測定ツール部１４３ｚも含まれている。Ｚ高さ測定ツール部１４３ｚは、Ｚ高さ測定操作に関連する様々な操作及び特徴を提供する。一実装形態では、Ｚ高さ測定ツール部１４３ｚにはＺ高さツール１４３ｚｔが含まれる場合がある。Ｚ高さツール１４３ｚｔには、例えば、オートフォーカスツール１４３ａｆ、及びマルチポイントオートフォーカスツール１４３ｍａｆが含まれる場合がある。Ｚ高さツール１４３ｚｔは、最適なフォーカス高さ及び／又はＺ高さの測定値を決定するモードで構成されたＺ高さツールと併せて、画像スタック取得及び関連する照明操作の特定の側面を左右することができる。一般に、Ｚ高さ測定ツール部１４３ｚは、トレーニングモード及び／又はランモード若しくは他のモードでの操作を実行して、焦点曲線の全体又は一部を生成し、そのピークを最適な焦点位置として見つけるなど、既知のＺ高さ測定ツールと同様に、少なくともいくつかの操作を実行することができる。例えば、Ｚ高さ測定ツールの特定の既知の操作については、米国特許第１０，５２０，３０１号に記載されている。該特許は参照によりその全体が本明細書に組み込まれる。
【0037】
欠陥検出部１４０ｄｐは、以下でより詳細に説明するように、様々な欠陥検出操作を実行する。様々な実装形態では、欠陥検出部１４０ｄｐは、トレーニングデータ（例えば、トレーニング画像）を必要とするモデルを利用する。例えば、規定の撮像、照明、及びワーク条件を使用して撮影されたトレーニング画像のセットを使用して、欠陥検出部１４０ｄｐをトレーニングすることができる。様々な例示的な実装形態では、モデルは教師付きモデル（例えば、人工知能（ＡＩ）など）であってもよい。欠陥検出部１４０ｄｐは、ラベル付けされた欠陥画像（例えば、ユーザ及び／又は自動プロセスによってラベル付けされる）に対応する画像データを処理して、分類モデルをトレーニングする。該分類モデルは、様々な実装形態ではＡＩ分類モデルであってもよい。
【0038】
様々な実装形態では、欠陥検出部１４０ｄｐは、計測プロセスとともに実行される欠陥検出プロセスを実装することができる。様々な実装形態では、欠陥検出部１４０ｄｐを、計測プロセスを実行するように構成されている、図１のワーク検査及び欠陥検出システム１００と同様のワーク検査及び欠陥検出システムに含めることが望ましい場合がある。これは、システムが欠陥検出部１４０ｄｐによって実装される欠陥検出プロセスに入力される画像データを生成することができるためである。したがって、単一のマシンが計測プロセスと欠陥検出プロセスの両方を実行するように構成されており、従来の計測システムに勝る利点を提供することができる。例えば、欠陥検出プロセスの実行中にワークに欠陥が検出された場合、該ワークに計測プロセスを実行する理由がないため、時間を節約できる。より具体的には、欠陥検出プロセスの実行中にワークに欠陥が検出された場合、明らかに欠陥のあるパーツを測定する必要はない。したがって、計測プロセスを開始する前に欠陥検出プロセスを実行することが有利になり得る。
【0039】
また、いくつかの欠陥によって、追加の欠陥パラメータを決定するためにさらなる計測又は検査が必要となる場合がある。例えば、２Ｄ画像は、推定欠陥がすぐに認識され、該欠陥のＸＹ位置及び該欠陥の近似ＸＹ領域がすばやく確認されることを可能にする。潜在的な欠陥の３Ｄ特性が重要である場合、欠陥検出部１４０ｄｐは、潜在的な欠陥が実際の欠陥であるかどうかを決定するために、追加の処理（例えば計測操作）を実行することができる。例えば、ワークの表面のスクラッチが欠陥と見なされるためには特定の閾値よりも深くなければならない場合、欠陥検出部１４０ｄｐは、影響を受けている領域のより時間のかかる３Ｄ点群を取得させて（例えば、Ｚ高さ測定ツール部１４３ｚを使用して）、スクラッチの深さがパーツを不合格品とするのに十分かどうかを学習する。様々な実装形態では、（１）標準的な計測プロセスを継続する、（２）欠陥検出プロセスを停止又は一時停止し、潜在的な欠陥のより有益な尺度を含む計測プロセス（例えば、３Ｄ、異なる照明、表面粗さなどのタッチプローブ測定結果など）を実行する、（３）ワークをスクラップに送る（例えば、ワークを廃棄又はリサイクルする）、（４）追加の人間による検査のためにワークを送る、（５）機械又はプロセスに問題があることを示すフィードバックを生産ラインに提供するなど、最初の欠陥分類の結果として、（例えば、自動的に生じるようにプログラムされ得る）異なる動作が実行され得る。
【0040】
様々な例示的な実装形態では、メモリ１４０の欠陥検出部１４０ｄｐは、様々な種類の欠陥がワークの画像に存在するかどうか（即ち、画像に含まれているワーク表面の一部分に欠陥があることを示す）を推測するために使用できる、欠陥検出システムの様々なツール及びアルゴリズムのモデルデータ及びプログラム命令を保存する。ワーク検査及び欠陥検出システムがトレーニングモード又は学習モードで操作されている間、欠陥検出システムは、欠陥あり画像及び欠陥なし画像を含むトレーニング画像のセットからの画像データを使用して、欠陥検出部１４０ｄｐをトレーニングする。トレーニング画像のセットは、規定の撮像、照明、及びワーク条件を使用して撮影される。欠陥検出部１４０ｄｐの初期トレーニング後、欠陥検出部１４０ｄｐは、（例えば、同じ規定の撮像、照明、及びワーク条件を利用して）ランモードで操作されて、新しい、以前に見られていないワーク画像に欠陥に含まれているかどうかを推測し、これに応じて各ワーク画像を欠陥あり画像又は欠陥なし画像として分類する。
【0041】
以下により詳細に説明するように、図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、図５Ａ～図５Ｄ、図７Ａ～図７Ｅ、及び図８Ａ～図８Ｆは、ワーク検査及び欠陥検出システム１００によって取得され得るいくつかのワーク画像の例を示し、いくつかの実装形態では、トレーニングモード中に画像データを（例えば、トレーニング画像及び／又はテスト画像として）利用して、欠陥検出部１４０ｄｐがトレーニングされ得る（及び／又は画像のうちのいくつかは、後にランモード中にワーク検査及び欠陥検出システム１００によって取得され、トレーニングされた欠陥検出部１４０ｄｐによって解析され得るワーク画像の例であり得る）。
【0042】
特に、図３Ａ～図３Ｆ及び図４Ａ～図４Ｅのワーク画像の例は、機械加工されたアルミニウムプレート上の異なるセクション（つまり、異なるＸＹ位置にある）のものである。以下により詳細に説明するように、図３Ａ～図３Ｆは欠陥なし画像の例を示し、図４Ａ～図４Ｅは欠陥あり画像の例を示す（例えば、トレーニング画像のセットには通常、多数の欠陥ありワーク画像及び欠陥なしワーク画像の両方が含まれている）。画像間の差は、欠陥検出部１４０ｄｐのトレーニングに多数のトレーニング画像を利用することが望ましい理由の一部を説明するのに役立つ。より具体的には、ワークの種類を検査するために取得され得る異なるワーク画像の異なる可能な特性に部分的に起因して（例えば、機械加工されたアルミニウムプレートの種類を検査するために図３Ａ～図３Ｆ及び図４Ａ～図４Ｅのワーク画像間の差によって示されているように）、欠陥検出部１４０ｄｐの欠陥を検出する精度は、トレーニングに様々なワーク画像を利用することによって向上され得る。これらのワーク画像は、後でランモード中に取得され得る及び／又はこのような画像内の欠陥を検出し易くすることができる様々な画像と同様であり得る。例えば、特に図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、及び図５Ａ～図５Ｄの具体的な例に関して、このようなトレーニングは、欠陥検出部１４０ｄｐが欠陥（例えば、図に示す例では、様々な種類のスクラッチ欠陥などが含まれている）と正常なワーク表面の特徴（例えば、図に示す例では、通常は表面全体にわたって変化するハッシュテクスチャとして現れるプレート表面上に形成される様々な種類の機械加工マークが含まれている）とを区別するのに役立ち得る。
【0043】
上記のように、図３Ａ～図３Ｆ及び図４Ａ～図４Ｆは、比較的「平坦」な機械加工されたアルミニウムプレートであるワークのセクションのワーク画像の例である。各画像は、同じ角度の視点（例えば、プレートに対して９０度の角度で直接頭上）から撮られるが、各々、プレート上の異なるＸＹ位置にある。各画像は、プレートの表面の約２．５ミリメートル×１．９ミリメートル（ＸＹ）のビューを示している。したがって、各画像はプレートの表面の一部分の拡大図を示している。プレート表面上に形成された機械加工マークは、通常は表面全体にわたって変化するハッシュテクスチャをもたらす。画像では、このように拡大されたスケールでは、比較的平坦なプレートが平坦に見えない場合がある。現在の例では、いくつかの機械加工マークのハッシュリッジの高さは約５マイクロメートル以下であり得る。
【0044】
図３Ａ～図３Ｆに示す機械加工されたアルミニウムプレートのセクションには、欠陥は含まれていない。つまり、図３Ａ～図３Ｆは、「欠陥なし」の機械加工されたアルミニウムプレートのセクションの画像の例を示している。対照的に、図４Ａ～図４Ｅは、欠陥を含むワークのセクションの画像の例を示している。図４Ａ～図４Ｅに示す画像は、図３Ａ～図３Ｆに示す画像と同様であるが、図４Ａ～図４Ｅには、機械加工されたアルミニウムプレートの表面に形成された欠陥が含まれている。これらの例における欠陥は、機械加工されたアルミニウムプレートの表面に形成されたスクラッチである。より具体的には、図４Ａはスクラッチ欠陥４０２Ａ１と４０２Ａ２を示し、図４Ｂはスクラッチ欠陥４０２Ｂ１と４０２Ｂ２を示し、図４Ｃはスクラッチ欠陥４０２Ｃ１と４０２Ｃ２を示し、図４Ｄはスクラッチ欠陥４０２Ｄを示し、図４Ｅはスクラッチ欠陥４０２Ｅ１と４０２Ｅ２を示している。上記のように、図３Ａ～図３Ｆ及び図４Ａ～図４Ｅに示す欠陥及びワーク表面の様々な特性は、欠陥検出部１４０ｄｐのトレーニングに多数のトレーニング画像を利用することが望ましい理由の一部を説明するのに役立つ（例えば、トレーニング画像のセットには通常、多数の欠陥ありワーク画像及び欠陥なしワーク画像が含まれている）。
【0045】
図５Ａ～図５Ｄは、図１のワーク検査及び欠陥検出システムと同様のワーク検査及び欠陥検出システムを使用して取得され得る、欠陥がある又は欠陥のないワークの同様の部分の画像の例である。図５Ａは、「欠陥なし」と分類され得るプレートのセクションの例を示している。図５Ｂ～図５Ｄは、「欠陥あり」と分類され得る同様のプレートの同様のセクションの画像の例を示している。各画像には、スクラッチ欠陥（例えば、それぞれのスクラッチ欠陥５０２Ｂ、５０２Ｃ、及び５０２Ｄ）が含まれている。図５Ａ～図５Ｄの例では、画像はワークの同様の部分のものである（例えば、部分の表面に形成された機械加工マークの種類が各画像で同様であるか又は公称的に同じであり、画像間の主な差は、それぞれのスクラッチ欠陥５０２Ｂ、５０２Ｃ、及び５０２Ｄの特性である）。１つの例示的な実装形態では、図５Ａ～図５Ｃの画像は欠陥検出部１４０ｄｐをトレーニングするための画像のトレーニングセットの一部として含まれている場合がある。
【0046】
図５Ｄの画像は、ランモード画像の一例であり得、これは、欠陥検出部１４０ｄｐによって解析されて、欠陥あり画像又は欠陥なし画像に分類するべきかどうかを決定することができる。様々な実装形態では、欠陥検出部１４０ｄｐは、図５Ｄの画像を欠陥のある画像として適切に分類できるように十分にトレーニングされている場合がある（例えば、ワークの同様の部分と、スクラッチ欠陥５０２Ｄと特定の同様の特性を有するスクラッチ欠陥５０２Ｂ及び５０２Ｃとを含む図５Ａ～図５Ｃのトレーニング画像によってトレーニングされている）。様々な実装形態では、例示のスクラッチ欠陥５０２Ｄに関して、特定の追加プロセスを実行してもよい。例えば、１つ以上の計測プロセスを欠陥検出プロセスと併せて実行してもよい。このプロセスでは、図６に関して以下により詳細に説明するように、例示のスクラッチ欠陥５０２Ｄの様々な寸法又は他の特性を決定することができる。
【0047】
図６は、（例えば、欠陥の寸法などを決定するために）欠陥を含むワークの画像に計測操作を実行するための１つ以上のビデオツールの利用を示す図である。図示するように、スクラッチ欠陥６０２（例えば、スクラッチ欠陥５０２Ｄと同様又は同じであり得る）を含む画像６０１（例えば、図５Ｄの画像と同様又は同じであり得る）の場合、ビデオボックスツール６０６には、スクラッチ欠陥６０２のエッジの位置、寸法、及び／又は他の側面を決定するために利用されるスキャンライン６０８（例えば、これは、ビデオポイントツールなどをさらに又は代わりに表す場合もある）が含まれている。様々な例示的な実装形態では、ビデオボックスツール６０６は、当該ボックスツール６０６が関心領域（例えば、ボックスツール６０６内の領域）を示す又は定義するまで、サイズ設定、配置、及び回転を行うことができ、図６に示す矢印（例えば、スキャンライン、ポイントツールを表す）を利用して、スクラッチ欠陥６０２のエッジを決定することができる。様々な例示的な実施形態では、ビデオボックスツール６０６では、通常、関心領域内の欠陥６０２のエッジに沿って１つ以上の従来のエッジ勾配を使用することができ、欠陥６０２のエッジは、様々なスキャンライン６０８に沿ったエッジ勾配の局所的な大きさなどに基づいて決定することができる。
【0048】
様々な例示的な実装形態では、このような計測操作には、特定の形態学的フィルタリング又は他のフィルタリングを実行することが含まれていてもよい（例えば、ワークの機械加工パターンからスクラッチのエッジを区別するために。特定の種類のフィルタリングについては米国特許第７，５２２，７６３号に記載されている。該特許は参照によりその全体が本明細書に組み込まれる）。図６に示すように、画像に含まれている表示領域では、スキャンライン６０８を有するボックスツール６０６を利用して、スクラッチ欠陥６０２のエッジ位置（例えば、外側エッジ又は外周）を決定する。このような決定に基づいて、ビデオツール及び／又は他の計測操作には、スクラッチ欠陥の寸法Ｄ１（例えば、スクラッチ欠陥６０２の長さ及び／又は他の寸法に対応している）を決定することが含まれている場合がある。様々な例示的な実装形態では、ボックスツール６０６、スキャンライン６０８、並びに／又は他のビデオツール及び／若しくは計測操作を利用して、スクラッチの欠陥６０２の他の寸法（例えば、幅、深さなど）を決定することができる。例えば、前述のように、ビデオツール部１４３にはＺ高さ測定ツール部１４３ｚが含まれている場合があり、対応するビデオツール又は操作を利用して、スクラッチ欠陥のＺ高さ寸法を決定することができる（例えば、ワーク表面の他の部分又は特徴に対するスクラッチの深さを決定することなどが含まれる）。
【0049】
欠陥検出部の一般的な操作の一部として、検出されたいくつかの欠陥によって、追加の欠陥パラメータを決定するためにさらなる計測又は検査が必要となる場合がある。例えば、上記のように、スクラッチ欠陥６０２を含む、欠陥のある画像の様々な種類の解析及び／又は処理により、欠陥６０２のＸＹ位置及び近似ＸＹ領域、及び／又は他の寸法を（例えば、ビデオツール及び／又は上記の他の操作を利用して）決定することができる。潜在的な欠陥の３Ｄ特性が重要である場合（例えば、スクラッチが欠陥と見なされるためには何らかの値よりも深くなければならない場合）、欠陥検出部１４０ｄｐは、（例えばＺ高さ測定ツール部１４３ｚの）Ｚ高さ測定ツールを利用するためのプロセス、又は（例えば、影響を受けている領域の３Ｄ点群を取得してスクラッチの深さを決定するなどのための）他の３Ｄ感知プロセスを開始することができる。
【0050】
様々な実装形態では、本明細書で説明する各画像の画像データは、複数のピクセル値（例えば、各ピクセル値は画像のピクセルに対応している）を含む。欠陥検出部１４０ｄｐのトレーニングに画像（例えば、トレーニングモード画像）を利用することの本明細書における説明は、対応する画像データ（例えば、トレーニングモード画像に対応するトレーニングモード画像データなど）がトレーニングに提供され、利用されることを示している（例えば、また、反対に、トレーニングに画像データを利用することの本明細書における説明は、対応する画像がトレーニングに使用されることを示している）。同様に、欠陥検出部１４０ｄｐが画像を解析する（例えば、ランモード画像に対して行って欠陥のあるワークを含む欠陥のある画像を決定する）ことの本明細書における説明は、対応する画像データ（例えば、ランモード画像に対応するランモード画像データ）が解析の実行のために提供され、利用されることを示している（例えば、また、反対に、ランモード中に解析に画像データを利用することの本明細書における説明は、対応する画像が解析に使用されることを示している）。以下により詳細に説明するように、トレーニング又は解析のためのいくつかの実装形態では、画像データ（例えば、カメラ部から取得した生の画像データ）を利用して、トレーニング又は解析に利用できる合成画像データ（例えば、合成画像に対応する）を決定することができる。
【0051】
様々な実装形態では、欠陥検出部１４０ｄｐは、異なる材料から形成された複数の層を含むワークの欠陥を検出するように構成されている。各欠陥は、第１の材料の撮像に対応しており、第２の材料のみが撮像されることが予想され得る。例えば、アルミニウム基板を含み、該アルミニウム基板の上に銅の層が形成されているワークに、誤って銅を除去し過ぎる可能性のある様々な種類の処理（例えば、ドリル加工、エッチング）が施されるか、及び／又は他の問題（例えば、図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、及び図５Ｂ～図５Ｄなどに示すようなスクラッチ）が発生し、これにより、アルミニウム基板が露出する。これは欠陥に相当する。つまり、欠陥検出部１４０ｄｐが、露出した銅のみが含まれると予想されるワークの領域に露出したアルミニウムが存在する／撮像されていると決定した場合、欠陥検出部１４０ｄｐは、その領域に欠陥があると決定することができる。別の例として、ワークには、ペイント又はコーティングが施されている１つ以上の部分が含まれている場合がある。この場合、ペイント又はコーティングの欠け若しくはスクラッチ、又は塗装若しくはコーティングの問題によって、下層の材料が露出する場合があり、このような露出が欠陥と見なされ得る。一般的に、欠陥検出部１４０ｄｐが、第１の材料（例えば、塗装、コーティング、上層など）のみが含まれると予想されるワークの領域に第２の材料が存在する／撮像されていると決定した場合、欠陥検出部１４０ｄｐは、その領域に欠陥があると決定することができる。
【0052】
様々な実装形態では、欠陥検出部１４０ｄｐは、ワークに含まれる異なる材料の複数の異なる反射率プロファイルに少なくとも部分的に依存するプロセスに基づいて、ワークに欠陥が存在していることを決定するように構成することができる。異なる材料（例えば、銅、アルミニウム、金、銀など）は、異なる反射率プロファイル（例えば、反射率対波長曲線）を有していることが知られており、各材料の反射率は、材料に向けられた光の対応する波長に従って変化する。例えば、異なる材料（例えば、銀、銅、アルミニウム、及び炭素鋼）のスペクトル反射率プロファイルを単一のグラフに含めることで、スペクトル反射率プロファイルの比較を容易にすることができ、特定の波長での各材料の反射率を見ることができる（例えば、比較のためにいくつかのスペクトル反射率プロファイルを含むグラフの１つの具体例として、ｈｔｔｐｓ：／／ｗｗｗ．ｒｅｓｅａｒｃｈｇａｔｅ．ｎｅｔ／ｆｉｇｕｒｅ／Ｓｐｅｃｔｒａｌ－ｒｅｆｌｅｃｔａｎｃｅ－ｏｆ－ａｌｕｍｉｎｕｍ－ａｎｄ－ｖａｒｉｏｕｓ－ｏｔｈｅｒ－ｍｅｔａｌｓ－Ｏ－Ｅｌｓｅｖｉｅｒ－Ｒｅｐｒｉｎｔｅｄ－ｗｉｔｈ＿ｆｉｇ１＿２８３４３７７６３のグラフを参照されたい）。
【0053】
例として、１つの特定の実装形態では、（例えば、青色ＬＥＤから出力される）約４５０ナノメートルの波長を有する青色光で照明される場合、特定のテスト評価基準に従って、銅は約５０％の反射率を有する一方で、アルミニウムは約９５％の反射率を有し得る。（例えば、緑色ＬＥＤから出力される）約５７０ナノメートルの波長を有する緑色光で照明される場合、銅は約６５％の反射率を有する一方で、アルミニウムは約９２％の反射率を有し得る。（例えば、赤色ＬＥＤから出力される）約７００ナノメートルの波長を有する赤色光で照明される場合、銅は約９６％の反射率を有する一方で、アルミニウムは約９０％の反射率を有し得る。他の材料（例えば金、銀など）には、対応する反射率対波長曲線によって示され得る異なる反射率特性がある。
【0054】
本開示の様々な実施形態による欠陥検出システムは、解析対象のワークに含まれる２つ以上の異なる材料に対して、異なる反射率プロファイルを有利に利用することができる。例えば、異なるカラーチャンネル画像データが取得される間に、２つの異なる材料を含むワークを照明するために、２つの波長（即ち、色）の光が選択され得る。この２つの波長は、波長のうちの少なくとも一方に対する２つの異なる材料の反射率曲線の値の差が比較的大きい（例えば、システムの実用的な限界内で最大差に近づく）ように、及び／又は、２つの波長の差の比率が比較的大きいように選択される。例えば、上記のテスト評価基準に従って、（例えば、青色ＬＥＤから出力される）約４５０ナノメートルの波長を有する青色光が選択されて利用され得る。これに対し、銅は約５０％の反射率を有し、アルミニウムは約９５％の反射率を有し得る。この場合、５０％と９５％との差は比較的大きく、（例えば、システムの実用的な制限範囲内で使用できる波長及びその他の成分の）反射率曲線の最大差に近づく可能性がある。このような例では、第２の波長には、（例えば、赤色ＬＥＤから出力される）約７００ナノメートルの波長を有する赤色光が選択されて利用され得る。これに対し、銅は約９６％の反射率を有し、アルミニウムは約９０％の反射率を有し得る。この場合、青／赤の比率は、銅の反射率では約５０％／９６％＝０．５２であり、アルミニウムの反射率では約９５％／９０％＝１．０５であり得（例えば、銅の比率は１をはるかに下回り、アルミニウムの比率は１に近いか又は１を上回る）、これは比較的大きな比率差である。以下により詳細に説明するように、このような異なるカラーチャンネル画像データを欠陥検出部１４０ｄｐに入力することにより、欠陥を検出する能力が向上され得る。一実装形態では、異なるカラーチャンネル画像データ間の比率を決定することで、例えば、図８Ｆに関して以下に示すように、欠陥が検出されることを可能にするための特に有利な特性を提供することができる。
【0055】
様々な実装形態では、モノクロカメラが、（例えば、べイヤー（Ｂａｙｅｒ）フィルタが利用される場合など、各カラー画像には、当該カラーに指定されているカメラのピクセルの一部しか含まれていないカラーカメラと比較して）最も高いＸＹ解像度を提供することができる。いくつかの実装形態では、赤色、緑色、及び／又は青色ＬＥＤを使用して、ワークのモノクロ画像を撮影する（例えば、ＬＥＤは上記のように特定の所望の波長に応じて選択され得る）。具体例としては、４３０ナノメートルに対応する波長、４４０ナノメートルに対応する別の波長、及び４５０ナノメートルに対応する別の波長など、青色光の範囲内の異なる青色波長を提供する異なる青色ＬＥＤが利用可能であり得る。上記の例に従って、４５０ナノメートルに対応する青色ＬＥＤがシステムで利用するために選択され、４５０ナノメートルでの銅とアルミニウムの反射率プロファイル値（例えば、銅とアルミニウムの反射率のより小さい相対的差に対応し得る４３０ナノメートル又は４４０ナノメートルとは対照的に、反射率曲線の最大差に近づくか及び／又はほぼ対応している）に従って、システムの所望の比率及び／又は他の特性などを達成することができる。同様に、６５０ナノメートルに対応する波長、６７５ナノメートルに対応する別の波長、及び７００ナノメートルに対応する別の波長など、赤色光の範囲内の異なる赤色波長を提供する異なる赤色ＬＥＤが利用可能であり得る。上記の例に従って、７００ナノメートルに対応する赤色ＬＥＤがシステムで利用するために選択され、所望の比率などを達成することができる。
【0056】
このような例については、いくつかの実装形態では、ＬＥＤ及び／又は他の光源は単一の波長によって特徴付けられ得るが、対応するスペクトル帯域幅（例えば、場合によっては、６０ナノメートル未満などの）でスペクトルを出力し得ることが理解されるであろう。例えば、特定のＬＥＤは、ほぼガウス形状のスペクトルを出力する比較的狭帯域のエミッタであり得る。様々な実装形態では、このような光源を特徴付けるために使用される単一の波長は、対応するスペクトルのピーク波長、対応するスペクトルの中心波長、対応するスペクトルの重心波長、又は対応するスペクトルの主波長などの特徴化波長に基づいていてよい。このような場合、光源は特徴化波長を有する光を出力し、且つ対応する周囲スペクトルの他の波長を有する光も出力することが理解されるであろう。
【0057】
動作中に、赤色、緑色、又は青色ＬＥＤのうちの１つが光を出力している間に、各モノクロ画像が撮影され得る。このようなモノクロ画像を使用して、ワークの合成ＲＧＢ画像を生成することができる。合成ＲＧＢ画像の画像データには、ワークが赤色ＬＥＤだけで照明されている間に撮影されたモノクロ画像に対応する複数の赤のピクセル値と、ワークが緑色ＬＥＤだけで照明されている間に撮影されたモノクロ画像に対応する複数の緑のピクセル値と、ワークが青色ＬＥＤだけで照明されている間に撮影されたモノクロ画像に対応する複数の青のピクセル値が含まれている。いくつかの実装形態では、青色ＬＥＤ及び赤色ＬＥＤのみを使用してモノクロ画像を撮影して、ワークの合成モノクロ画像を生成する。この場合、合成モノクロ画像の画像データは、ワークが青色ＬＥＤだけで照明されている間に撮影されたモノクロ画像のピクセル値と、ワークが赤色ＬＥＤだけで照明されている間に撮影されたモノクロ画像のピクセル値との比率に基づいた値を有する複数のピクセルに対応し得る。様々な実装形態では、欠陥検出部１４０ｄｐのトレーニングのための欠陥を特定するために、（例えば、合成画像上の）欠陥マスクの画像が描画されるか又は他の方法で決定され得る。
【0058】
１つ以上の実装形態では、ワーク検査及び欠陥検出システム１００のビジョンコンポーネント部２００の光源２３０には、複数のカラーチャンネルに対応する複数の異なる色（即ち、波長）を有する光をそれぞれ出力する複数のＬＥＤが含まれている。各カラーチャンネルは異なる色に対応している。様々な実装形態では、各ＬＥＤは、２５ナノメートルよりも大きいが６０ナノメートル未満であるの波長範囲（例えば、５０ナノメートルの波長範囲など）を有し得る。例えば、光源２３０は、第１のカラー光を提供する第１のＬＥＤと、第２のカラー光を提供する第２のＬＥＤと、第３のカラー光を提供する第３のＬＥＤを含む光源構成を含み得る。光源２３０は、第１のカラー光源、第２のカラー光、及び第３のカラー光を提供するように構成されているが、ワークに含まれる材料の反射率プロファイル（例えば、スペクトル反射率曲線）に基づいて、これらのサブセットを選択することができる。例えば、第１及び第２の材料の反射率プロファイルに基づいて、第１及び第２の材料を有するワークを検査するために、第１のカラー光及び第２のカラー光は利用されるように選択され、第３のカラー光は利用されるようには選択されない場合がある。第１のカラー光及び第２のカラー光に対する異なる材料の値及び／又は比率間に比較的大きな差を得ることができるように、第１のカラー光及び第２のカラー光を選択することができる。この点に関して、上記のように、検査対象のワークに含まれる特定の材料についての反射率対波長のデータに関して、異なる材料を含むワークの照明に利用される光の波長を選択して、第１のカラー光及び第２のカラー光に対する異なる材料の値及び／又は比率間に所望の大きな差を提供する２つの色（即ち、波長）を選択することが望ましい場合がある。さらに、第３のカラー光は、第１及び第２の反射率プロファイルとは異なる第３の材料の反射率プロファイルに基づいて第３の材料を有するワークを検査するために利用されるように選択され得る。例えば、第１の材料及び第２の材料を含むワークに対して第１のカラー光及び第２のカラー光を選択し、第１の材料及び第３の材料を含むワークに対して第１のカラー光及び第３のカラー光を選択することができる。
【0059】
前述のように、多層ワークには複数の材料が含まれ得る。各材料は異なるスペクトル反射率プロファイルを有し得る。したがって、各材料は、材料を照明する光の波長（即ち、色）によって光を異なように反射し得る。したがって、アルミニウムが比較的高い反射率を有し、銅が比較的低い反射率を有する波長を有する光で照明されている間に、例えば、銅の層で覆われたアルミニウム基板を含む多層ワークが撮像される場合、結果として得られる画像は、（存在する場合は）アルミニウムが露出している各領域に比較的高い値のピクセルを有し得る。例えば、アルミニウムと銅が４５０～４９５ナノメートルの波長を有する青色光で照明される場合、特定のテスト評価基準に従って、アルミニウムは約８０％の相対反射率を有し、銅は４０％未満の相対反射率を有し得る（例えば、アルミニウムは銅の約２倍の反射率を有し得る）。以下により詳細に説明するように、様々な実装形態では、青の画像データ及び赤の画像データを含むカラー画像データが撮影される場合、青の画像データと赤の画像データの比率は、カラー画像データ自体よりも欠陥の存在により敏感な場合がある。
【0060】
いくつかの実装形態では、カメラを含むカメラ構成を、マルチカラー画像を生成するための異なるカラープレーンとともに利用することができる。本明細書で定義されているように、カメラのこのような異なるカラープレーンの各々は、対応する異なるカラーチャネル画像データを有する異なるカラー画像に対応し得る。より具体的には、青のカラープレーン、緑のカラープレーン、及び赤のカラープレーンを生成するカメラを、対応するカラーチャンネル画像データを各々有する青のカラー画像、緑のカラー画像、及び赤のカラー画像を生成するものとして本明細書で定義され得る。いくつかの実装形態では、異なるカラープレーンの各々は、画像プレーンとして説明されるか又は定義され得る。本明細書では、各画像プレーンは、生成された対応するカラーチャネル画像データを有する異なるカラー画像に対応するものと見なされる。したがって、トレーニングモードワーク画像データの複数のセットの各々について、対応する第１のカラーチャンネルトレーニングモードワーク画像データ（例えば、図８Ａに示す画像と同様の画像に対応する）と、対応する第２のカラーチャンネルトレーニングモードワーク画像データ（例えば、図８Ｃに示す画像と同様の画像に対応する）が、それぞれの第１及び第２のカメラ画像プレーンによって生成され得る。さらに、ランモードワーク画像データの複数のセットの各々について、対応する第１のカラーチャンネルランモードワーク画像データ（例えば、図８Ａに示す画像と同様の画像に対応する）と、対応する第２のカラーチャンネルランモードワーク画像データ（例えば、図８Ｃに示す画像と同様の画像に対応する）が、それぞれの第１及び第２のカメラ画像プレーンによって生成され得る。
【0061】
様々な実装形態では、赤の画像データ、緑の画像データ、及び青の画像データ（即ち、ＲＧＢ画像データ）を生成するＲＧＢカラーカメラを使用してワークを撮像することができる。例えば、ＲＧＢカメラは、ワークが青色ＬＥＤから出力される青色光で照明されている間に、ワークの第１の画像を撮影し、次にワークが赤色ＬＥＤから出力される赤色光で照明されている間に、ワークの第２の画像を撮影することができる。上記のように、使用される特定の青色ＬＥＤ及び赤色ＬＥＤは、青色ＬＥＤから出力される光と赤色ＬＥＤから出力される光がシステムの所望の比率及び／又は他の特性を達成するように選択することができる。このような実装形態では、光の可視波長における銅とアルミニウムの反射率スペクトルを考慮する。いくつかの実装形態では、青色ＬＥＤから出力される光と赤色ＬＥＤから出力される光は、それぞれ、ＲＧＢカメラの感度が許容する範囲で短く且つ長い。
【0062】
様々な実装形態では、欠陥検出部１４０ｄｐの感度は、銅とアルミニウムの反射率がほぼ同じである点（即ち、等吸収点）を中心とした特徴化波長を有する赤色光を出力する赤色ＬＥＤを選択することによって最適化することができる。また、（例えば、ＲＧＢべイヤーフィルタマシンビジョンカメラの青色フィルタで通過した波長の範囲内及び／又はシステムの実用的な限界／制限範囲内にとどまりながら）銅とアルミニウムの反射率の差を最大化する特徴化波長を有する青色光を出力する青色ＬＥＤを選択することもできる。
【0063】
様々な実装形態では、２つのカラーチャンネル（例えば、青のカラーチャンネルと赤のカラーチャンネル）の間で最大又は所望の比率若しくは他の特性を生成する波長に従って、複数の異なるカラーチャンネルの各々に対応するカラー光を選択し、これにより、２つの材料（例えば、銅とアルミニウム）をランモード画像で最適に互いから区別できるようにすることで、欠陥検出部１４０ｄｐが最適にトレーニングされ、また、（例えば、色比率を得るために同様の青の画像及び赤の画像が生成される）ランモードプロセスの一部として欠陥を特定するための最良の能力を備えることを可能にすることが望ましい。所望の／最適な比率を提供する２つの異なる色の波長が決定されると、異なるカラーチャンネルについて異なるカラー波長を有するシステムを実現するために、異なる構成を利用することができる。本明細書で定義されるカラーチャンネルに関して、これらは異なるカラー光源（例えば、各カラーに別個のＬＥＤ）、又は異なるフィルタ、又は本明細書に説明する原理に従って異なるカラーチャンネルのために利用され得るものといった異なるカラー光を生成又はフィルタリングするために利用される得る任意の他の既知の技法を利用することによって生成され得る。
【0064】
例えば、製造プロセスの一部として、画像の所望の比率に対して所望の波長を生成するＬＥＤ又は他の光源を選択して含めることができる。別の例として、対応するカラーチャンネルの所望の波長を通過する異なるカラーフィルタを選択することもできる。場合によっては、このようなフィルタは、所望の波長を達成するために同調可能又は調整可能であり得る。いくつかの実装形態では、入手可能な異なるフィルタを、所望の波長を選択するために、回転させたり、システムに挿入したりすることができる。例えば、いくつかの実装形態では、各カラーフィルタは、それぞれのカラーチャンネルの波長を決定するために、４０ナノメートル未満、又は２０ナノメートル未満などのスペクトル帯域幅を通過させることがある。
【0065】
様々な実装形態では、モノクロ画像データを生成するモノクロカメラを使用してワークを撮像することができる。例えば、ステップ・アンド・リピート手順を使用して、カメラをある位置に進め（ステップさせ）、その位置に固定し、ワークが（例えば、赤色ＬＥＤからの）赤色光で照明されている間の第１の画像と、ワークが（例えば、青色ＬＥＤからの）青色光で照明されている間の第２の画像とを含む２つの画像を撮影して、この手順を繰り返す。次に、欠陥検出部１４０ｄｐは、トレーニング及び／又はランモード解析（例えば、２つの画像の画像データの比率が決定され得るなど）のために画像を利用する。モノクロ画像を利用したこのような実装形態では、べイヤーフィルタを使用した実装形態と比較して空間分解能がより優れているという利点を有し得る。また、べイヤーフィルタを使用した実装形態と比較して、より多くの光を集めることができるが、この効果は、十分べイヤーフィルタの通過波長内である２つの狭帯域ＬＥＤとともにべイヤーフィルタを使用する実装形態と比較して、比較的小さい可能性がある。べイヤーフィルタを使用しない実装形態は、カメラの感度によって制約される場合があるが、べイヤーフィルタの通過波長によっては制約されない。これは、（例えば、ワーク材料の反射率プロファイルなどに従って）所望の波長を選択する自由を有利に最大化する。ただし、このような実装形態では、２つのカラーチャンネルの２つの異なる画像を取得するために各位置での追加の時間が必要になるため、画像取得時間が遅くなる場合がある（例えば、場合によっては約２倍遅くなる可能性がある）。
【0066】
画像取得時間を短縮するために、様々な実装形態では、２つの画像センサを含むモノクロカメラを使用してワークを撮像することができる。例えば、モノクロカメラは、マルチセンサプリズムベースのマルチスペクトルエリアスキャンカメラ（例えば、ＪＡＩ Ｃｏｒｐｏｒａｔｉｏｎから市販されているようなものなど）であり得る。これには、可視及び近赤外（ＮＩＲ）波長帯の事前定義された構成、又は２つ若しくは３つのカスタム波長帯を使用した用途要件に合わせた構成が含まれている場合がある。様々な実装形態では、このようなモノクロカメラの利用は、フル解像度を実現し、カスタムのカラーパス波長が選択されることを可能にし得る。さらに、このようなモノクロカメラを使用すると、ワークが第１のカラー光（例えば、赤色ＬＥＤからの赤色光）で照明されている間の第１の画像と、ワークが第２のカラー光（例えば、青色ＬＥＤからの青色光）で照明されている間の第２の画像とを含む２つの画像（例えば、２つのカラーチャンネルの）が互いに時間的にすぐ近くで撮影され得る高速画像取得を可能にし得る。このような実装形態（例えば、又は異なるカメラ構成を利用する他の実装形態）では、２つの画像の取得時間間にワークがシステムに相対的に移動した場合（例えば、ワークがシステムに対し相対的にコンベヤ上を移動した場合など）、欠陥検出部１４０ｄｐは、各画像のＸＹＺ位置に基づいてピクセルデータが重なるように画像をオフセットするように構成することができる（例えば、重なるデータのない画像の領域は無視され、重なるデータは画像間の共通の視野に対応していると見なされ得る）。
【0067】
様々な実装形態では、ＲＧＢ画像が撮影され（例えば、赤、緑、及び青のピクセルの画像データは、それぞれの赤、緑、及び青のカラーチャンネル画像に対応していると見なされ得る）、欠陥検出部１４０ｄｐは、（例えば、以下により詳細に説明するように）ＲＧＢ画像の画像データを使用して、同じ解像度又は高さと幅の寸法が半分の合成画像を作成するように構成することができる。また、欠陥検出部１４０ｄｐは、各ＲＧＢピクセル値をモノクロピクセル値の比率に変換するように構成することができる。さらに、欠陥検出部１４０ｄｐは、（例えば、以下により詳細に説明するように）各ＲＧＢＧクアッドピクセルを単一の比率のモノピクセルに変換するように構成することができる。
【0068】
欠陥検出部１４０ｄｐは、合成画像を生成するために様々なカーネルを適用するように構成することができる。次の表１に、４つのＲＧＢＧクアッドピクセルを含む生画像データの例を示す。より具体的には、生画像データには、ピクセルＲ１、Ｇ１、Ｂ１、Ｇ１を有する第１のＲＧＢＧクアッドピクセル、ピクセルＲ２、Ｇ２、Ｂ２、Ｇ２を有する第２のＲＧＢＧクアッドピクセル、ピクセルＲ３、Ｇ３、Ｂ３、Ｇ３を有する第３のＲＧＢＧクアッドピクセル、及びピクセルＲ４、Ｇ４、Ｂ４、Ｇ４を有する第４のＲＧＢＧクアッドピクセルが含まれている。様々な実装形態では、赤のピクセルＲ１、Ｒ２、Ｒ３、及びＲ４は赤のカラーチャンネル画像に対応していると見なされ、緑のピクセルＧ１、Ｇ２、Ｇ３、及びＧ４は緑のカラーチャンネル画像に対応していると見なされ、青のピクセルＢ１、Ｂ２、Ｂ３、及びＢ４は、青のカラーチャンネル画像に対応していると見なされ得る。
【表1】
【0069】
次の表２に、表１に示す生画像データに基づいて生成される４つのピクセル値を有する粗い解像度の合成比データの例を示す。より具体的には、粗い解像度の合成比データには、Ｂ１／Ｒ１に基づく値を有する第１のピクセル、Ｂ２／Ｒ２に基づく値を有する第２のピクセル、Ｂ３／Ｒ３に基づく値を有する第３のピクセル、及びＢ４／Ｒ４に基づく値を有する第４のピクセルが含まれている。様々な実装形態では、合成比データについて、各ピクセルの実際の値は、より詳細に説明するように、Ｂ１／Ｒ１などのそれぞれの比率を利用するさらなる計算に基づいている場合がある（例えば、０～２５５の範囲内の値を得るためにスケーリング係数を適用すること及び／又は他のプロセスなど）。
【表2】
【0070】
次の表３に、表１に示す生データに基づいて生成される４つのピクセル値を有する細かい解像度の合成比データの例を示す。より具体的には、細かい解像度の合成比データには、（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／（４＊Ｒ１）に基づく値を有する第１のピクセル、（Ｂ２＋Ｂ４）／（Ｒ２＋Ｒ１）に基づく値を有する第２のピクセル、（Ｂ３＋Ｂ４）／（Ｒ１＋Ｒ３）に基づく値を有する第３のピクセル、及び４＊Ｂ４／（Ｒ１＋Ｒ２＋Ｒ３＋Ｒ４）に基づく値を有する第４のピクセルが含まれている。様々な実装形態では、合成比データについて、各ピクセルの実際の値は、より詳細に説明するように、（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／（４＊Ｒ１）などのそれぞれの比率を利用するさらなる計算に基づいている場合がある（例えば、０～２５５の範囲内の値を得るためにスケーリング係数を適用すること及び／又は他のプロセスなど）。
【表3】
【0071】
様々な実装形態では、ワークの照明時に合成白色照明（ＳＷＩ：Ｓｙｎｔｈｅｔｉｃ Ｗｈｉｔｅ Ｉｌｌｕｍｉｎａｔｉｏｎ）を作成して使用することができる。ＳＷＩは、所望のカラーバランスを有する白色光を作成することを目的とした赤、緑、及び青色ＬＥＤの照明値の組み合わせである。さらに、ワークの照明時にカスタマイズされたＳＷＩを作成して使用することができる。カスタマイズされたＳＷＩは、カラーカメラ（例えば、カラーマシンビジョンカメラ）を使用して撮像されている間にワークを照明するための赤及び青色ＬＥＤのみの照明値の組み合わせであり、赤及び青の照明の波長及び／又は比率は、本明細書に開示する原理に従って選択される。同様に、ワークの照明時に合成赤色青色照明（ＳＲＢＩ：Ｓｙｎｔｈｅｔｉｃ Ｒｅｄ Ｂｌｕｅ Ｉｌｌｕｍｉｎａｔｉｏｎ）を作成して使用することができる。いくつかの実装形態では、ある光源構成で（例えば、光源２３０を利用してなど）ワークを照明するために、上記のカラーオプション及び／又は他のカラーオプションのいずれかを選択するために、ユーザはグラフィカルユーザインターフェースを利用することができる。
【0072】
図７Ａ～図７Ｃは、図１のワーク検査及び欠陥検出システムと同様のワーク検査及び欠陥検出システムを使用して取得され得る、欠陥を含むワークの一部分の画像の例である。図７Ａ～図７Ｃに示すワークは、アルミニウム基板を有し、該アルミニウム基板の上に銅の層が形成されている。図７Ａ～図７Ｃに示すワークには、説明のために丸で囲まれた欠陥７０２、７０４、７０６、及び７０８が含まれている。一例では、欠陥７０２、７０４、７０６、及び７０８の各々は、ワーク表面の対応する画像の露出したアルミニウムに対応している場合がある。より具体的には、特定の実装形態では、様々な種類の処理（例えば、ドリル加工、エッチング）が覆っている銅を誤って除去し過ぎるか、及び／又は他の問題（例えば、スクラッチなど）が発生する可能性があり、これにより、アルミニウム基板が露出する可能性があり、これは欠陥に相当すると見なされ得る。
【0073】
図７Ａ～図７Ｃに示す画像は、異なる照明条件下で得られ、同じ視野に対応するワークのモノクロ画像のセットである。より具体的には、図７Ａは、ワークが例えば青色ＬＥＤから放射された青色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。図７Ｂは、ワークが例えば緑色ＬＥＤから放射された緑色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。図７Ｃは、ワークが例えば赤色ＬＥＤから放射された赤色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。
【0074】
図７Ａ、図７Ｂ、及び図７Ｃの画像を比較するとわかるように、各画像内の特定の特徴は、より明るく又は暗く見える場合がある（例えば、各画像のワークを照明するために利用される光の色に応じて各画像内の銅、アルミニウムなどの反射性が異なる）。様々な実装形態では、本明細書で説明する各画像の画像データは、複数のピクセル値を含む。各ピクセル値（例えば輝度値を含む）は画像のピクセルに対応している。同じ位置のピクセル、又は異なる画像内のワーク上の同じ表面点の撮像は、対応するピクセル値が異なる画像間の対応するピクセルとして指定することができる（例えば、異なる対応するピクセル値は、各画像のワークを照明するために利用される異なるカラー光に由来し得る）。
【0075】
図７Ｄは、（例えば、図７Ａ～図７Ｃの画像の画像データに基づいて生成された）合成画像の一例である。より具体的には、図７Ｄは、赤、緑、及び青のカラー情報（例えば、赤のカラー情報は図７Ｃに示すモノクロ画像に対応し、緑のカラー情報は図７Ｂに示すモノクロ画像に対応し、青のカラー情報は図７Ａに示すモノクロ画像に対応し得る）を含む画像データに基づく合成カラー画像である。図７Ｄに示す合成カラー画像などの合成カラー画像は、例えば、ワークの部分の観察及び／又は検査などに役立ち、ユーザにとって有用であり得る。
【0076】
図７Ｅは、図７Ｄの合成画像に基づき得る（例えば、及び／又は図７Ａ～図７Ｃの画像のうちの１つ以上などに基づいていてもよい）欠陥マスクの画像の一例である。様々な実装形態では、欠陥マスクは、欠陥を特定するために、（例えば、以下により詳細に説明するように）手書きされても、及び／又はユーザによって他の手段で提供されても、自動プロセスによって提供されてもよい。図７Ｅに示す画像は、ワークに欠陥が含まれているかどうかを決定するために欠陥検出部１４０ｄｐによって利用されるモデルをトレーニングするために使用され得る画像データを含む複数の画像うちの１つの一例である。様々な実装形態では、モデルをトレーニングするために、ユーザは、トレーニング画像のセットに含まれる各トレーニング画像を、欠陥なし又は欠陥ありとして分類し得る。したがって、図７Ａ～図７Ｄに示す画像はいずれも欠陥ありとして分類され得る（例えば、画像内のワーク表面に１つ以上の欠陥が含まれている）。
【0077】
手書きプロセスの一部として、ユーザは（例えば、ユーザインターフェースのセレクタを使用して）画像内の各欠陥に対応するピクセルをマークすることができる（例えば、ペイントのようなツールを使用して元の画像に重ねられた透明レイヤーのピクセルをマークして、図７Ｅの例に示されているように、そのカラーピクセルが元の画像内の一致する欠陥ピクセルに対応する画像を作成する）。例えば、画像データの一部として、ユーザは、図７Ｅに示す画像内の欠陥７０２、７０４、７０６、及び７０８の各々に含まれているピクセルの値を所定値（例えば２５５）に設定して、各欠陥に対応するピクセルをマークする。次に、ユーザは、例えば、グラフィックユーザインターフェースを使用して１つ以上のセレクションをマークすることによって、欠陥検出部１４０ｄｐをトレーニングするためにトレーニングモードにおいてトレーニング画像（例えば任意の欠陥マスクを含む）の各々に対応する画像データを欠陥検出部１４０ｄｐに利用させる。欠陥検出部１４０ｄｐが（例えば、図７Ｅに示す画像を含む）トレーニング画像のセットからの画像データを使用してトレーニングされた後、ユーザは欠陥検出部１４０ｄｐをランモードで操作して、欠陥検出部１４０ｄｐのトレーニングに使用されたトレーニングモード画像のセットと同様の条件（例えば、同じ照明条件及び／又は合成画像生成プロセスなど）下で生成されたランモード画像のセットに含まれている欠陥を検出することができる。
【0078】
図７Ａ～図７Ｅに示す画像は、トレーニングモード画像とランモード画像の両方の例と見なされ得る。１つの例示的な実装形態では、図７Ａ～図７Ｅに示す画像のうちの一部又はすべての画像データは、欠陥検出部１４０ｄｐをトレーニングするためのトレーニングモード画像データのセットの一部として含まれる場合がある（例えば、画像データのセットは、ワークの同じ視野に対応する画像からの画像データなどを含む場合がある）。また、図７Ａ～図７Ｄの画像のうちの一部又はすべては、ランモード画像の例と見なされてもよく、これらは、欠陥検出部１４０ｄｐによって解析されて、各画像を欠陥あり画像又は欠陥なし画像に分類するべきかどうか決定することができる。
【0079】
図８Ａ～図８Ｃは、図１のワーク検査及び欠陥検出システムと同様のワーク検査及び欠陥検出システムを使用して取得され得る、欠陥を含むワークの部分の画像の例である。図８Ａ～図８Ｃに示すワークは、アルミニウム基板を有し、該アルミニウム基板の上に銅の層が形成されている。図８Ａ～図８Ｃに示すワークには、説明のために丸で囲んだ欠陥８０２、８０４、及び８０６が含まれている（例えば、図７Ａ～図７Ｃの例と同様に、各欠陥は露出したアルミニウムに対応している場合がある）。
【0080】
図８Ａ～図８Ｃに示す画像は、異なる照明条件下で得られ、同じ視野に対応するワークのモノクロ画像のセットである。より具体的には、図８Ａは、ワークが例えば青色ＬＥＤから放射された青色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。図８Ｂは、ワークが例えば緑色ＬＥＤから放射された緑色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。図８Ｃは、ワークが例えば赤色ＬＥＤから放射された赤色光で照明されている間に、モノクロカメラによって撮影されたワークの一部分のモノクロ画像である。
【0081】
一例では、図７Ａ～図７Ｃに示す画像では、ワークの第１の部分に欠陥があり、図８Ａ～図８Ｃに示す画像では、ワークの第２の部分に欠陥がある。別の例では、図７Ａ～図７Ｃに示す画像では、第１のワークの一部分に欠陥があり、図８Ａ～図８Ｃに示す画像では、第２のワークの一部分に欠陥がある。上記のように、様々な実装形態では、本明細書で説明する各画像の画像データは、複数のピクセル値（例えば、各ピクセル値は画像のピクセルに対応しており、また、同じ位置のピクセル、又は異なる画像内のワーク上の同じ表面点の撮像は、対応するピクセル値が異なる画像間の対応するピクセルとして指定することができる）を含む。
【0082】
図８Ｄは、（例えば、図８Ａ～図８Ｃの画像の画像データに基づいて生成された）合成画像の一例である）。より具体的には、図８Ｄは、赤のカラー情報、緑のカラー情報、及び青のカラー情報（例えば、赤のカラー情報は図８Ｃに示すモノクロ画像に対応し、緑のカラー情報は図８Ｂに示すモノクロ画像に対応し、青のカラー情報は図８Ａに示すモノクロ画像に対応し得る）を含む画像データに基づく合成カラー画像である。図８Ｄに示すカラー画像などのカラー画像は、例えば、ワークの部分の観察及び／又は検査などに役立ち、ユーザにとって有用であり得る。
【0083】
図８Ｅは、図８Ｄに示す合成画像又は図８Ｆに示す合成画像に基づく（例えば、及び／又は、図７Ｅの欠陥マスクと同様に、図８Ａ～図８Ｃの画像のうちの１つ以上などに基づいていてもよい）欠陥マスクの画像の一例である。図８Ｅに示す画像は、ワークに欠陥が含まれているかどうかを決定するために欠陥検出部１４０ｄｐによって利用されるモデルをトレーニングするために使用され得る画像データを含む多くの画像のうちの１つの一例である。モデルをトレーニングするために、ユーザは、複数のトレーニング画像のうちの各画像を、欠陥なし又は欠陥ありとして分類し得る。したがって、図８Ａ～図８Ｄに示す画像はいずれも欠陥ありとして分類され得る（例えば、画像内のワーク表面に１つ以上の欠陥が含まれている）。次に、ユーザは、各欠陥あり画像内の各欠陥に対応するピクセルをマークすることができる（例えば、ペイントのようなツールを使用して元の画像に重ねられた透明レイヤーのピクセルをマークして、そのカラーピクセルが元の画像内の一致する欠陥ピクセルに対応する画像を作成する）。例えば、画像データの一部として、ユーザは、図８Ｅに示す画像内の欠陥８０２、８０４、及び８０６の各々に含まれているピクセルの値を所定値（例えば２５５）に設定して、各欠陥に対応するピクセルをマークすることができる。
【0084】
欠陥検出部１４０ｄｐが（例えば、図８Ｅに示す画像を含む）トレーニング画像のセットからの画像データを使用してトレーニングされた後、ユーザは欠陥検出部１４０ｄｐをランモードで操作して、欠陥検出部１４０ｄｐのトレーニングに使用されたトレーニングモード画像のセットと同様の条件（例えば、同じ照明条件及び／又は合成画像生成プロセスなど）下で生成されたランモード画像のセットに含まれている欠陥を検出することができる。様々な実装形態では、図７Ｅ及び図８Ｅのような欠陥マスク（ユーザによって手書きされていても、欠陥検出部１４０ｄｐが欠陥の特性を学習するのに役立つように他の方法で生成されていてもよい）は、ランモード画像の一部として含まれない場合があることに留意されたい。これは、ランモードの間は、欠陥検出部１４０ｄｐは、ユーザ又は別のプロセスが手書きの欠陥マスクを作成することなく、欠陥を検出するからである。より具体的には、様々な実装形態では、このような欠陥マスクは、ランモード画像ではなく、トレーニング及びトレーニング画像に主に使用され得る。
【0085】
図８Ｆは、以下により詳細に説明するように、図８Ａ及び図８Ｃの画像に基づいて生成された合成画像（例えばモノクロ画像）の一例である。図８Ｆに示す画像は、トレーニング画像（その画像データはワークピースに欠陥が含まれているかどうかを決定するために欠陥検出部１４０ｄｐによって利用されるモデルをトレーニングするために使用され得る）、又は、ワークに欠陥が含まれているかどうかを決定するために欠陥検出部１４０ｄｐによって解析されるランモード画像として使用できる複数の画像のうちの１つの別の例である。モデルをトレーニングするために、ユーザは、図８Ｆに示す画像を欠陥あり画像として分類し得る。欠陥検出部１４０ｄｐが（例えば、図８Ｆに示す画像を含む）トレーニング画像のセットからの画像データを使用してトレーニングされた後、ユーザは欠陥検出部１４０ｄｐをランモードで操作して、欠陥検出部１４０ｄｐのトレーニングに使用されたトレーニングモード画像のセットと同様の条件（例えば、同じ照明条件及び／又は合成画像生成プロセスなど）下で生成されたランモード画像のセットに含まれている欠陥を検出することができる。
【0086】
図８Ｆに示す合成画像は、複数のピクセル値を含む画像データに基づいている。上で説明したように、各ピクセル値は、スケーリング係数と、それぞれワークが青色光及び赤色光で照明される間に取得された図８Ａ及び図８Ｃに示す画像の画像データに含まれる対応するピクセル値の比率とを使用して生成される。以下に、図８Ｆに示す合成画像（例えばモノクロ画像）に対応する画像データに含まれるピクセル値を計算又は決定する方法の例を示す。図８Ｆの説明を簡単にするために、露出したアルミニウムの欠陥８０２、８０４、及び８０６は、周囲の銅表面部分と明確に区別されているように示されている（例えば、図８Ｅの欠陥マスクとある程度類似している）。以下に説明する図８Ｆを形成するためのプロセスは、（例えば、図８Ａ～図８Ｄと比較して）露出したアルミニウムの欠陥を銅表面部分と区別し易くすることを目的としており、また、対応して形成される合成画像における特徴間の結果として得られるコントラストは、通常、様々な要因（例えば、画像内のワーク表面特徴の特性など）に依存し得る。
【0087】
１つの具体例では、図８Ａに示す画像の第１のピクセル（例えば、青色光で照明され、銅の表面部分及び／又はワークの表面の点に対応する）は、１００の値（例えば、輝度値）を有し得、図８Ｃに示す画像の対応する第１のピクセル（例えば、赤色光で照明され、同じ銅の表面部分及び／又はワークの表面の点に対応する）は、２００の値（例えば、輝度値）を有し得る。様々な実装形態且つ特定の条件下では、１００／２００の比率は、青色光下の銅の反射性が赤色光下の銅の反射性の約０．５倍であることを示し得る（例えば、以下により詳細に説明するように、ピクセル値によって示される反射性と輝度はほぼ直線的に関連していると仮定する）。欠陥検出部１４０ｄｐは、１００を２００で除算して青と赤の中間比率値（即ち、１００／２００＝０．５）を計算するように構成することができる。欠陥検出部１４０ｄｐは、スケーリング係数を使用して青と赤の中間比率をスケーリングして、０～２５５の範囲の値を取得するように構成することができる。この範囲は、（例えば、モノクロ画像、ＲＧＢ画像、又は他の画像の）１バイトの輝度値に含まれ得る値の範囲に相当する。最大比率値が値１．５に定義され、最小比率値が値０．１に定義されているとすると、欠陥検出部１４０ｄｐは、１．５から０．１を減算して比率スケール値（即ち、１．５－０．１＝１．４）を計算するように構成することができる。また、欠陥検出部１４０ｄｐは、最初に青と赤の中間比率値から最小比率値を減算し（即ち、０．５－０．１＝０．４）、次に、その値に、最大バイト値から１を減算したものを比率スケール値で徐算した比率を乗算し（即ち、０．４＊（２５５－１）／１．４＝７２）、その結果に１を加算する（７２＋１＝７３）ことによって、スケーリング係数を使用して青と赤の中間比率値をスケーリングするように構成することができる。したがって、欠陥検出部１４０ｄｐは、合成画像の対応する第１のピクセルは、７３の値（即ち、合成画像の画像データの一部として）を有することを決定するように構成することができる。
【0088】
別の例では、図８Ａに示す画像の第２のピクセル（例えば、青色光で照明され、上記例に従って欠陥に相当し得る、露出したアルミニウムの表面部分及び／又はワークの表面の点に対応する）は、１９０の値を有し得、図８Ｃに示す画像の対応する第２のピクセル（例えば、赤色光で照明され、同じ露出したアルミニウムの表面部分及び／又はワークの表面の点に対応する）は、１８０の値を有し得る。様々な実装形態且つ特定の条件下では、１９０／１８０の比率は、青色光下のアルミニウムの反射性が赤色光下のアルミニウムの反射性の約１．０５５５５５倍であることを示し得る（例えば、以下により詳細に説明するように、ピクセル値によって示される反射性と輝度はほぼ直線的に関連していると仮定する）。欠陥検出部１４０ｄｐは、１９０を１８０で除算して青と赤の中間比率値（即ち、１９０／１８０＝１．０５５５５５）を計算するように構成することができる。欠陥検出部１４０ｄｐは、スケーリング係数を使用して青と赤の中間比率をスケーリングして、０～２５５の範囲の値を取得するように構成することができる。この範囲は、（例えば、モノクロ画像、ＲＧＢ画像、又は他の画像の）１バイトの輝度値に含まれ得る値の範囲に相当する。第１のピクセルについて前述したプロセスと同様に、最大比率値が値１．５に定義され、最小比率値が値０．１に定義されているとすると、欠陥検出部１４０ｄｐは、１．５から０．１を減算して比率スケール値（即ち、１．５－０．１＝１．４）を計算するように構成することができる。また、欠陥検出部１４０ｄｐは、最初に青と赤の中間比率値から最小比率値を減算し（即ち、１．０５５５５５－０．１＝０．９５５５５５５）、次に、その値に、最大バイト値から１を減算したものを比率スケール値で徐算した比率を乗算し（即ち、０．９５５５５５５＊（２５５－１）／１．４＝１７３）、その結果に１を加算する（１７３＋１＝１７４）ことによって、スケーリング係数を使用して青と赤の中間比率値をスケーリングするように構成することができる。したがって、欠陥検出部１４０ｄｐは、合成画像の対応する第２のピクセルは、１７４の値（即ち、合成画像の画像データの一部として）を有することを決定するように構成することができる。
【0089】
様々な実装形態では、合成画像（例えば、図８Ｆの画像など）の画像データの一部としてピクセルの残りの値を決定するために、同様の計算を実行することができる。上記の表２及び表３の例の合成画像など、他の種類の合成画像の画像データの一部としてピクセル値を決定するためにも、同様のプロセスを利用することができる。より具体的には、表２及び表３の各比率（例えば、Ｂ１／Ｒ１、（Ｂ１＋Ｂ２＋Ｂ３＋Ｂ４）／（４＊Ｒ１）、（Ｂ２＋Ｂ４）／（Ｒ２＋Ｒ１）など）について、スケーリング計算（スケーリング係数及び／又は他の計算を利用する）を各比率に適用して、合成画像のそれぞれのピクセルの値を決定することができる。
【0090】
上記のように、場合によっては、反射性と輝度（例えば、ピクセル値で示される）はほぼ直線的に関連している場合がある。より具体的には、様々な実装形態では、一次的には、反射性と輝度はほぼ直線的に関連している場合がある（例えば、高い相関度を有する）。二次的には（例えば、ワーク表面が光学的に粗い場合）、光の散乱がある場合があり、この場合、反射性と輝度の関係にある程度の分散があり得る。（例えば、欠陥は、銅が想定されるワーク表面に露出したアルミニウムが存在することと定義されている）上記の例について説明したような用途では、（例えば、図８Ｆの合成画像の生成のために）赤と青の比率ではなく青と赤の比率を使用することがより好ましい。これは、比率の除数が欠陥位置の近くでは比較的大きい数（例えば、除数について銅の２００の輝度値）であることが望ましい点で好ましい場合があり、これは、カメラノイズが比率値（例えば、また、図８Ｆのような対応する比率の合成画像）に与える影響を最小限に抑える。例えば、青と赤の比率が利用され、赤のチャネルの銅パッドの輝度が２００である（＋／－１のノイズを有する）場合、青のチャネル値と赤のチャネル値の比率は（青のチャネル値／１９９）、（青のチャネル値／２００）、又は（青のチャネル値／２０１）であり得、ノイズの影響は比較的小さい。逆に、赤と青の比率が利用され、銅上の青のチャネルの平均輝度が１００である（＋／－１のノイズを有する）場合、比率は、（赤のチャンネル値／９９）又は（赤のチャンネル値／１００）又は（赤のチャンネル値／１０１）であり得、ノイズの影響はほぼ２倍大きく、望ましくない。
【0091】
図８Ｆのような画像（例えば、比率合成画像）の生成された合成画像データ（例えば、比率合成画像データ）は、欠陥検出部１４０ｄｐが欠陥をより正確に検出することを可能にし得ることが理解されるであろう。より具体的には、上記の例に従って、銅とアルミニウムの青と赤の比率例の差（例えば、銅の青と赤の比率は０．５であり、アルミニウムの青と赤の比率は１．０５５５５５である）と、７３の銅の比率ピクセル値例及び１７４のアルミニウムの比率ピクセル値例（例えば、大きな値の差及び大きなパーセンテージ差があることが示されている）は、欠陥検出部１４０ｄｐが、（例えば、対応するトレーニング画像及び／又は対応するランモード画像において）アルミニウムと銅を区別し易くなることを支援し得る。露出したアルミニウムが欠陥に相当する実装形態では、そのようなプロセス及び合成画像は、欠陥検出部１４０ｄｐが欠陥を検出し易くすることを対応して可能にし得る。
【0092】
様々な実装形態では、上記の合成画像生成プロセスを使用して、欠陥検出部１４０ｄｐのトレーニングに使用されるトレーニングモード画像と、欠陥検出部１４０ｄｐで解析されるランモード画像の両方を生成することができる。より具体的には、第１のカラーチャンネルトレーニングモードワーク画像データ（例えば、図８Ａに示す画像の画像データと同様）及び第２のカラーチャンネルトレーニングモードワーク画像データ（例えば、図８Ｃに示す画像の画像データと同様）を含む、トレーニングモードワーク画像データの複数のセットの各々について、欠陥検出部１４０ｄｐは、第１のカラーチャンネルトレーニングモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルトレーニングモードワーク画像データの対応するピクセル値との比率を決定する。さらに、第１のカラーチャンネルのランモードワーク画像データ（例えば、図８Ａに示す画像の画像データと同様）及び第２のカラーチャンネルのランモードワーク画像データ（例えば、図８Ｃに示す画像の画像データと同様）を含む、ランモードワーク画像データの複数のセットの各々について、欠陥検出部１４０ｄｐは、対応する第１のカラーチャンネルのランモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルのランモードワーク画像データの対応するピクセル値との比率を決定する。したがって、欠陥検出部１４０ｄｐは、トレーニングモードワーク画像データの各セットに、対応する第１及び第２のカラーチャンネルのトレーニングモードワーク画像データのピクセルの比率を利用して、欠陥検出部のトレーニングに利用される対応するトレーニングモード合成画像データの対応するピクセル値を決定する。また、欠陥検出部１４０ｄｐは、ランモードワーク画像データの各セットに、対応する第１及び第２のカラーチャンネルのランモードワーク画像データのピクセルの比率を利用して、（例えば、トレーニングされた欠陥検出部が解析して欠陥のあるワークを含む欠陥あり画像を決定する対象である）対応するランモード合成画像データの対応するピクセル値を決定する。
【0093】
様々な実装形態では、画像内の欠陥を検出するために図８Ａ～図８Ｄに示すような画像の画像データを利用するよりも、図８Ｆに示すような画像の比率合成モノクロ画像データを利用する方が好ましい場合がある。場合によっては、青のピクセル値と赤のピクセル値の比率を用いて合成モノクロ画像の画像データを作成する（例えば、図８Ｆに関連して前述したように）ことは、結果として生じる合成モノクロ画像データが、欠陥検出部１４０ｄｐの異なる材料を区別する能力を向上させ、欠陥検出を向上させ得る点で有益であり得る。例えば、欠陥８０２、８０４、及び８０６は、図８Ａ～図８Ｄに示す画像の画像データにおけるよりも、図８Ｆに示す画像の合成モノクロ画像データにおいて検出し易い場合がある。
【0094】
図８Ｆの例のワークは、少なくとも２つの異なる材料（例えば、銅とアルミニウム）を含むものとして説明されており、また、上記のピクセル値の比率に基づいて合成モノクロ画像の画像データを生成することは、３つ以上の材料を確実に区別することにも役立ち得る。例えば、ピクセル値の比率に基づいて合成モノクロ画像の画像データを生成することは、ワークに含まれる可能性のある黒色プラスチック成形物、又は他の表面特徴（例えば、ディボットなど）によって明るい又は暗い領域などの他の側面の検出にも役立ち得る。このような追加材料及び／又は側面に関して、第１及び第２の材料（例えば、銅やアルミニウム）を互いに区別し、これらの材料を、画像に含まれる可能性のある追加材料及び／又は特徴（例えば、黒色プラスチック成形物、ディボットなど）と区別できるようにすることも望ましい場合がある。欠陥検出部１４０ｄｐが（例えば、追加材料の反射率プロファイルと、青及び赤の波長での対応する反射率などに部分的に起因して）追加材料をアルミニウム及び／又は銅と区別し易くするのに役立ち得るので、銅及びアルミニウムと同様に、追加材料にも、大きな値の差と大きなパーセンテージ差を有する比率が決定され得る。
【0095】
前述のように、様々な実装形態では、ユーザは、図８Ａ及び図８Ｃにそれぞれ示す画像の画像データの青と赤のピクセル値の比率に基づいて生成される、例えば、図８Ｆに示す合成モノクロ画像である合成モノクロ画像の観察及びマーキングに基づいて、手書きの欠陥マスクを作成することができる。また、様々な実装形態では、ユーザは、例えば、図８Ｄに示す合成ＲＧＢ画像の赤、緑、及び青のピクセル値である、合成ＲＧＢ画像の観察及びマーキングに基づいて、手書きの欠陥マスクを作成することができる。さらに、ユーザは、例えば、図８Ａ、図８Ｂ、又は図８Ｃに示す画像である他の画像の観察及びマーキングに基づいて、手書きの欠陥マスクを作成することができる。
【0096】
上記のように、様々な実装形態では、図８Ａ～図８Ｆに示す画像は、トレーニングモード画像とランモード画像の両方の例と見なされ得る。１つの例示的な実装形態では、図８Ａ～図８Ｆの画像のうちの一部又はすべての画像データは、欠陥検出部１４０ｄｐをトレーニングするためのトレーニングモード画像データのセットの一部として含まれる画像データの例であり得る（例えば、画像データのセットは、同じ視野に対応する画像からの画像データなどを含む場合がある）。また、図８Ａ～図８Ｄ及び／又は図８Ｆの画像は、ランモード画像の例であり得、その画像データは、欠陥検出部１４０ｄｐによって解析されて、対応する画像が欠陥あり画像又は欠陥なし画像に分類するべきかどうか決定することができる。図７Ａ～図７Ｅ及び図８Ａ～図８Ｆの画像は、本明細書では、トレーニングモード画像とランモード画像の両方の可能な例として説明されているが、トレーニングモード及びランモードでは、一般に異なる画像が利用され得ることが理解されるであろう。より具体的には、トレーニングモード中に、欠陥検出部１４０ｄｐをトレーニングするためのトレーニングモード画像（即ち、対応するトレーニングモード画像データを有する）が取得され、その後、ランモード中（例えばワークを生産するための製造操作中）に、異なるランモード画像（即ち、対応するランモード画像データを有する）が取得されて、欠陥検出部１４０ｄｐによって解析され及び／又は解析の一部として利用されて、欠陥のあるワークを含む欠陥あり画像を決定することができる。一般に、トレーニングモード画像は、規定の撮像、照明、及びワーク条件を使用して撮影され、ランモード画像は、同様の（例えば、ほぼ同等の）規定の撮像、照明、及びワーク条件を利用して取得され得る（例えば、同じ又は同様の光源構成、レンズ構成、及び／又はカメラ構成など、同じ又は類似の機器及び／又はコンポーネントなどを利用して撮影され得る）。
【0097】
様々な実装形態では、ユーザインターフェースが提供される場合がある。ユーザインターフェースでは、ユーザは、様々な画像を観察するために、及び／又は欠陥検出部１４０ｄｐをトレーニング若しくは利用するために、本明細書に説明したように様々なカラー画像及び／又は比率を利用するための選択又はオプションが提供され得る。例えば、ユーザは、（例えば、図８Ｆに示す合成画像などの青／赤の画像データを有する）合成画像を生成及び／又は観察すための選択又はオプションを有するユーザインターフェースが提供され得る。
【0098】
トレーニングモード中の欠陥検出部１４０ｄｐのトレーニングのために、及び／又はランモード中の解析のために合成画像（例えば、合成モノクロ画像）の画像データのみを利用する又は画像データを主に利用することの１つの利点は、完全な青及び赤の画像データセットを利用することと比較して、含まれるデータセットが小さいという点である（例えば、より高速な処理などが実現され得る）。いくつかの実装形態では、取得／生成された画像のうちの一部又はすべての画像データ（例えば、図８Ａ～図８Ｆのいずれかの画像データ）が、トレーニングのために欠陥検出部１４０ｄｐに提供される場合がある。各画像には、少なくともトレーニングを向上させるための何らかの固有のデータが含まれている場合がある。
【0099】
図９は、（例えば、欠陥の寸法などを決定するために）欠陥を含むワークの画像に計測操作を実行するための１つ以上のビデオツールの利用を示す図である。図示するように、欠陥９０４（例えば、図８Ｅ又は図８Ｆに示す欠陥８０６と同様又は同じであり得る）を含む画像９０２（例えば、図８Ｅ又は図８Ｆの画像と同様又は同じであり得る）の場合、ビデオボックスツール９０６には、欠陥９０４のエッジの位置、寸法、及び／又は他の側面を決定するために利用されるスキャンライン９０８（例えば、これは、ビデオポイントツールなどをさらに又は代わりに表す場合もある）が含まれている。様々な例示的な実装形態では、ビデオボックスツール９０６は、当該ボックスツール９０６が関心領域（例えば、ボックスツール９０６内の領域）を示す又は定義するまで、サイズ設定、配置、及び回転を行うことができ、図９に示す矢印（例えば、スキャンライン、ポイントツールなどを表す）を利用して、欠陥９０４のエッジを決定することができる。様々な例示的な実施形態では、ビデオボックスツール９０６では、通常、関心領域内の欠陥９０４のエッジに沿って１つ以上の従来のエッジ勾配を使用することができ、欠陥９０４のエッジは、様々なスキャンライン９０８に沿ったエッジ勾配の局所的な大きさなどに基づいて決定することができる。
【0100】
様々な例示的な実装形態では、このような計測操作には、特定の形態学的フィルタリング又は他のフィルタリングを実行することが含まれていてもよい（例えば、ワークの他の特徴から欠陥のエッジを区別するために。特定の種類のフィルタリングについては米国特許第７，５２２，７６３号に記載されている。該特許は参照によりその全体が本明細書に組み込まれる）。また又は或いは、（例えば、計測操作を実行できる、図８Ｅのような欠陥マスクワーク画像を形成するために）閾値処理及び／又は二値画像の作成など、他の様々なプロセスを実行することもできる。図９に示すように、画像に含まれている表示領域では、スキャンライン９０８を有するボックスツール９０６を利用して、欠陥９０４のエッジ位置（例えば、外側エッジ又は外周）を決定する。このような決定に基づいて、ビデオツール及び／又は他の計測操作には、欠陥の寸法Ｄ２（例えば、欠陥９０４の長さ及び／又は他の寸法に対応している）を決定することが含まれている場合がある。様々な例示的な実装形態では、ボックスツール９０６、スキャンライン９０８、並びに／又は他のビデオツール及び／若しくは計測操作を利用して、欠陥９０４の他の寸法（例えば、幅、深さなど）を決定することができる。例えば、前述のように、ビデオツール部１４３にはＺ高さ測定ツール部１４３ｚが含まれている場合があり、対応するビデオツール又は操作を利用して、欠陥９０４のＺ高さ寸法を決定することができる（例えば、ワーク表面の他の部分又は特徴に対するスクラッチの深さを決定することなどが含まれる）。
【0101】
図１０は、図１のワーク検査及び欠陥検出システムと同様のワーク検査及び欠陥検出システムを操作するための方法１０００のフロー図を示している。操作中、ワーク検査及び欠陥検出システムは、複数のワークを検査する。検査されるワークの少なくとも一部には、第１及び第２の材料が含まれ得る。第１及び第２の材料は、（例えば、第１のカラーチャンネルに対応する第１のカラー光について、第１の材料の反射率が、第２の材料の反射率よりも大きく、第２のカラーチャンネルに対応する第２のカラー光について、第２の材料の反射率が、第１の材料の反射率よりも大きいか又は等しいように）第１及び第２の反射率プロファイルを有している。例えば、検査されるワークの少なくとも一部には、アルミニウムと銅が含まれ得る。これらは、青のチャンネルに対応する青色光について、アルミニウムの反射率が、銅の反射率よりも大きく、赤のカラーチャンネルに対応する赤色光について、銅の反射率がアルミニウムの反射率よりも大きいか又は等しい場合があるように反射率プロファイルを有している。
【0102】
方法１０００は１０１０から始まる。１０１０において、ワーク検査及び欠陥検出システムはトレーニングモードワーク画像を取得して、トレーニングモードワーク画像データの複数のセットを取得する。トレーニングモードワーク画像データの各セットは、第１のカラーチャンネルに対応する第１のカラーチャンネルトレーニングモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルトレーニングモードワーク画像データとを含む。例えば、ワーク検査及び欠陥検出システム１００の光源２３０、対物レンズ２５０、及びカメラ構成２６０を利用して、図７Ａ及び図７Ｃに示す画像と同様の画像を含むトレーニングモードワーク画像の第１のセット（例えば、カメラ構成２６０及びワークが互いに対して同じ位置にあるなど、各画像は同じ視野に対応している）を取得して、トレーニングモードワーク画像データの対応する第１のセットを取得することができる。同様に、ワーク検査及び欠陥検出システム１００の光源２３０、対物レンズ２５０、及びカメラ構成２６０を利用して、図８Ａ及び図８Ｃに示す画像と同様のトレーニングモードワーク画像の第２のセット（例えば、各画像は同じ視野に対応している）を取得して、トレーニングモードワーク画像データの対応する第２のセットを取得することができる。次に、方法１０００は１０２０に進む。
【0103】
１０２０において、１０１０において取得されたトレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づいて、欠陥検出部がトレーニングされる。例えば、欠陥検出部１４０ｄｐは、図７Ａ、図７Ｃ、図８Ａ、及び図８Ｃに示す画像と同様の画像に対応する画像データ、及び／又はこれらの画像に基づいて生成された合成画像（例えば、図８Ｆの画像）に対応する画像データを入力し、この画像データを使用して、欠陥検出部１４０ｄｐによって実装されているモデルをトレーニングすることができる。次に、方法１０００は１０３０に進む。
【0104】
様々な実装形態では、１０２０において、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づく欠陥検出部のトレーニングは、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データを利用して、欠陥検出部のトレーニングに利用される対応するトレーニングモード合成画像データを生成することを含む。例えば、図８Ａ及び図８Ｃに示す画像に対応するトレーニングモードワーク画像データのセットについて、欠陥検出部１４０ｄｐは、図８Ｆに示す合成画像に対応するトレーニングモード合成画像データを生成することができ、これは、欠陥検出部１４０ｄｐのトレーニングに利用される。
【0105】
様々な実装形態では、１０２０において、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率が決定される。様々な実装形態では、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データ間の複数の比率の決定は、対応する第１のカラーチャンネルトレーニングモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルトレーニングモードワーク画像データの対応するピクセル値との比率を決定することを含む。様々な実装形態では、トレーニングモードワーク画像データの複数のセットに少なくとも部分的に基づく欠陥検出部のトレーニングは、トレーニングモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルトレーニングモードワーク画像データのピクセル値の比率を利用して、欠陥検出部のトレーニングに利用される対応するトレーニングモード合成画像データの対応するピクセル値を決定することを含む。例えば、図８Ａ及び図８Ｃに示す画像に対応するトレーニングモードワーク画像データのセットについて、欠陥検出部１４０ｄｐは、図８Ａに示す画像に対応する青のカラーチャンネル画像データと、図８Ｃに示す画像に対応する赤のカラーチャンネル画像データとの間のピクセル値の比率を決定して、欠陥検出部１４０ｄｐのトレーニングに利用されるトレーニングモード合成画像データ（例えば、図８Ｆに示す合成画像に対応する）の対応するピクセル値を決定することができる。
【0106】
１０３０において、ワーク検査及び欠陥検出システムはランモードワーク画像を取得して、ランモードワーク画像データの複数のセットを取得する。ランモードワーク画像データの各セットは、第１のカラーチャンネルに対応する第１のカラーチャンネルランモードワーク画像データと、第２のカラーチャンネルに対応する第２のカラーチャンネルランモードワーク画像データとを含む。例えば、ワーク検査及び欠陥検出システム１００の光源２３０、対物レンズ２５０、及びカメラ構成２６０（例えば、又は、ビジョン検査マシン１２及び／又はビジョンコンポーネント部２００の一部など、システムの一部と同様の操作手順／条件を有する同様のコンポーネント、又は、システムの一部と同様のビジョン検査マシン及び／又はビジョンコンポーネント部）を利用して、図７Ａ及び図７Ｃに示す画像と同様の画像を含む、ランモードワーク画像の第１のセット（例えば、各画像は同じ視野に対応している）を取得して、ランモードワーク画像データの対応する第１のセットを取得することができる。同様に、ワーク検査及び欠陥検出システム１００の光源２３０、対物レンズ２５０、及びカメラ構成２６０（例えば、又は、システムの一部と同様の操作手順／条件を有する同様のコンポーネント）を利用して、図８Ａ及び図８Ｃに示す画像と同様のランモードワーク画像の第２のセット（例えば、各画像は同じ視野に対応している）を取得して、ランモードワーク画像データの対応する第２のセットを取得することができる。次に、方法１０００は１０４０に進む。
【0107】
１０４０において、１０２０においてトレーニングされた欠陥検出部を利用して、１０３０において取得されたランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定する。例えば、欠陥検出部１４０ｄｐは、図８Ｆに示す画像と同様の画像が、欠陥のあるワークを含む欠陥あり画像であると決定することができる。次に、方法１０００が終了する。
【0108】
様々な実装形態では、１０４０において、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定するためのトレーニングされた欠陥検出部の利用は、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データを利用して、トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データを生成することを含む。例えば、図８Ａ及び図８Ｃに示す画像に対応するランモードワーク画像データのセットについて、欠陥検出部１４０ｄｐは、図８Ｆに示す合成画像に対応するランモード合成画像データを生成することができ、これは、トレーニングされた後、欠陥検出部１４０ｄｐによって解析される。
【0109】
様々な実装形態では、１０４０において、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率が決定される。様々な実装形態では、対応する第１及び第２のカラーチャンネルランモードワーク画像データ間の複数の比率の決定は、対応する第１のカラーチャンネルランモードワーク画像データの各ピクセル値について、そのピクセル値と、対応する第２のカラーチャンネルランモードワーク画像データの対応するピクセル値との比率を決定することを含む。様々な実装形態では、ランモードワーク画像データの複数のセットに少なくとも部分的に基づく解析を実行して、欠陥のあるワークを含む欠陥あり画像を決定するためのトレーニングされた欠陥検出部の利用は、ランモードワーク画像データの各セットについて、対応する第１及び第２のカラーチャンネルランモードワーク画像データのピクセル値の比率を利用して、トレーニングされた欠陥検出部によって解析される対応するランモード合成画像データの対応するピクセル値を決定することを含む。例えば、図８Ａ及び図８Ｃに示す画像に対応するランモードワーク画像データのセットについて、欠陥検出部１４０ｄｐは、図８Ａに示す画像に対応する青のカラーチャンネル画像データと、図８Ｃに示す画像に対応する赤のカラーチャンネル画像データとの間のピクセル値の比率を決定して、欠陥検出部１４０ｄｐの分析対象であるランモード合成画像データ（例えば、図８Ｆに示す合成画像に対応する）の対応するピクセル値を決定することができる。
【0110】
様々な実装形態では、方法１０００には、第１及び第２の材料の反射率プロファイルに少なくとも部分的に基づいて、第１及び第２のカラー光の波長を提供するために光源構成のコンポーネントを選択することも含まれる。例えば、アルミニウムと銅の反射率プロファイルを比較することで、アルミニウムの反射率と銅の反射率との差がほぼ最大化される及び／又は第１の閾値よりも大きくなる（例えば、システムの実用的な制限範囲内にある）、第１の波長（例えば青色光の波長に対応する）を決定することができる。アルミニウムの反射率と銅の反射率との差がほぼ最小限化される及び／又は第２の閾値よりも小さくなる（例えば、システムの実用的な制限範囲内にある）、第２の波長（例えば、赤色光の波長に対応する）を決定することができる。第１のＬＥＤ（例えば、青色ＬＥＤ）を、（例えば、第１のＬＥＤによって出力されるスペクトルの特徴化波長として）第１の波長を有する光を出力するシステム内に設置される又は他の方法で利用されるように選択することができ、第２のＬＥＤ（例えば、赤色ＬＥＤ）を、（例えば、第２のＬＥＤによって出力されるスペクトルの特徴化波長として）第２の波長を有する光を出力するシステム内に設置される又は他の方法で利用されるように選択することができる。
【0111】
様々な実装形態では、方法１０００には、１つ以上の欠陥あり画像（例えば、欠陥のあるワークを含む）を使用して１つ以上の計測操作を実行することも含まれる。例えば、欠陥検出部１４０ｄｐは、図８Ａ及び図８Ｃの画像に対応するランモード画像データを利用して、図９に示す合成画像９０２に対応するランモード合成画像データを生成することができ、また、図９に関連して前述したように、１つ以上のビデオツールを利用して、欠陥９０４の寸法Ｄ２が決定される計測操作を実行することができる。
【0112】
本開示の好ましい実装形態を例示且つ説明したが、本開示に基づいて、当業者には、例示且つ説明した特徴の配置や操作の順序における多数の変更が明らかであろう。本明細書に開示している原理を実装するために、様々な代替形態を使用することができる。
【0113】
例えば、欠陥検出を強化するために異なるカラーチャンネルを利用することについては、図７Ａ～図７Ｅ及び図８Ａ～図８Ｆに示す画像に関連して上記で説明しているが、本開示に従って、異なるカラーチャンネルは、図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、及び図５Ａ～図５Ｄに示す画像に関連して欠陥検出を強化するために使用することもできる。図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、及び図５Ｂ～図５Ｄに示す欠陥は、１つの具体例では、銅で覆われたアルミニウム基板であり得るテクスチャード加工されたプレート上のスクラッチである。各スクラッチは、銅の下にあるアルミニウム基板を露出する場合があり、これが欠陥に相当し、異なるカラー画像、特に上記で説明したように、青のピクセル値と赤のピクセル値との比率を使用して生成される合成画像に現れる。より具体的には、ワークが青色光で照明されている間に撮影された第１のモノクロ画像と、ワークが赤色光で照明されている間に撮影された第２のモノクロ画像とを含む、図３Ａ～図３Ｆ、図４Ａ～図４Ｅ、及び図５Ｂ～図５Ｄに示す各サンプル画像について２つの画像が撮影される。対応する画像データを使用して、第１のモノクロ画像及び第２のモノクロ画像に含まれている対応するピクセルの値の比率に基づいて計算された値を有するピクセルを有する対応する合成モノクロ画像の合成モノクロ画像データを生成することができる。このような合成モノクロ画像データは、欠陥検出部１４０ｄｐのトレーニングモード及びランモードに対応して使用される。
【0114】
本明細書で言及されている米国特許及び米国特許出願はすべて、参照によりその全体が本明細書に組み込まれる。実装形態の態様は、必要に応じて、様々な特許及び出願の概念を採用して、さらなる実装形態を提供するために修正することができる。これらの変更及び他の変更は、上記の詳細な説明を踏まえて実装形態に加えることができる。一般的に、次の特許請求の範囲では、使用される用語は、特許請求の範囲を明細書及び特許請求の範囲に開示された特定の実装形態に限定するように解釈されるべきではなく、特許請求の範囲に与えられる均等物の完全な範囲とともにあらゆる可能な実装形態を含むと解釈されるべきである。
【図1】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図5C】
【図5D】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図8A】
【図8B】
【図8C】
【図8D】
【図8E】
【図8F】
【図9】
【図10】
【外国語明細書】