特開 2023-81845 自動検査方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023081845

(43)【公開日】2023-06-13

(54)【発明の名称】自動検査方法及び装置

(51)【国際特許分類】

   G01N 29/06 20060101AFI20230606BHJP

   G01N 21/88 20060101ALI20230606BHJP

   G06T 7/00 20170101ALI20230606BHJP

   G01N 29/46 20060101ALI20230606BHJP

【ＦＩ】

G01N29/06

G01N21/88 J

G06T7/00 610C

G01N29/46

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022184020

(22)【出願日】2022-11-17

(31)【優先権主張番号】63/280,511

(32)【優先日】2021-11-17

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/297,601

(32)【優先日】2022-01-07

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】63/324,342

(32)【優先日】2022-03-28

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/986,524

(32)【優先日】2022-11-14

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】517388071

【氏名又は名称】ソニックス・インコーポレイテッド

【氏名又は名称原語表記】Ｓｏｎｉｘ， Ｉｎｃ．

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】ケビン・ライアン

(72)【発明者】

【氏名】ジョン・ジェイ・ピカード

(72)【発明者】

【氏名】サム・ジェイ・ストリックリング

(72)【発明者】

【氏名】ジェフリー・ジェイ・トルゴヴィッチ

(57)【要約】

【課題】被試験デバイス中の欠陥を自動的に検査し、分類する。
【解決手段】画像取り込み装置４０４は、被検査物体の画像を取得する。差分生成部１１４は、同じタイプの欠陥のない物体の基準画像と取得画像との差分を示す差分画像を生成する。差分画像又は差分画像の検出された特定領域の特性は、検査対象物における欠陥を分類するために自動欠陥分類部４０２に通知される。差分画像の特性は、差分画像の画素やこれから求められる特徴であっても良い。特徴は、例えば、ニューラル・ネットワークを用いて抽出されても良い。自動欠陥分類部４０２は、差分画像を使用してトレーニングされ、オペレータ分類に基づいて、オペレータによって識別された欠陥の模擬画像を使用して、動作中に更にトレーニングされても良い。
【選択図】図４

【特許請求の範囲】

【請求項1】

被検査物体の画像を取得する処理と、
上記被検査物体と同じタイプの物体の基準画像と取得画像との間の差分画像を生成する処理と、
上記差分画像の特性を自動欠陥分類部に通知して、上記被検査物体中の欠陥を分類する処理と
を具え、
上記差分画像の特性は、上記差分画像の画素又はこれから求めた特徴を含む自動検査方法。

【請求項2】

上記差分画像中の異常を含む特定領域を検出する処理を更に具え、上記自動欠陥分類部に通知される上記差分画像の特性が、上記特定領域内の上記差分画像の画素又はこれから求めた特徴を含む請求項１の自動検査方法。

【請求項3】

上記差分画像を生成する処理の前に上記取得画像を調整する処理を更に具え、上記調整する処理が、回転する処理、平行移動する処理、スケール調整する処理、強度の正規化処理及びコントラストの正規化処理の中の１つ以上を含む請求項１の自動検査方法。

【請求項4】

上記被検査物体と同じタイプの１つ以上の欠陥のない物体の複数の画像の平均として上記基準画像を生成する処理を更に具える請求項１の自動検査方法。

【請求項5】

上記被検査物体と同じタイプの１つ以上の物体の複数の画像の標準偏差を求める処理と、
計算された上記標準偏差に少なくとも部分的に基づいて、上記被検査物体中の１つ以上の欠陥を特定する処理と
を更に具える請求項１の自動検査方法。

【請求項6】

求めた上記標準偏差に基づいて上記差分画像の値をスケール調整する処理を更に具える請求項５の自動検査方法。

【請求項7】

上記物体の上記差分画像を人間のオペレータに表示する処理と、
上記人間のオペレータから上記差分画像中に見ることができる欠陥の分類ラベルを受ける処理と、
上記分類ラベルに基づいて上記自動欠陥分類部をアップデートする処理と
を更に具える請求項１の自動検査方法。

【請求項8】

上記人間のオペレータから受けた分類ラベルと、
上記自動欠陥分類部によって生成された分類ラベルとを比較する処理と、
比較の結果に基づいて上記自動欠陥分類部の精度の指標をアップデートする処理と
を更に具える請求項７の自動検査方法。

【請求項9】

上記精度の指標を閾値と比較する処理と、
上記精度の指標が閾値を超えた場合に完全に自動化された欠陥の分類をイネーブルする処理と
を更に具える請求項８の自動検査方法。

【請求項10】

上記差分画像に基づいて被試験物体中の欠陥を含む上記被試験物体の画像の領域を特定する処理と、
上記画像の領域を人間のオペレータに表示する処理と、
上記人間のオペレータから上記画像の領域において見える欠陥の分類ラベルを受ける処理と、
上記被検査物体の上記画像の特定された領域に少なくとも部分的に基づく上記ラベル付き欠陥を含む複数のシミュレーション画像を生成する処理と、
上記複数のシミュレーション画像及び受けた上記分類ラベルに基づいて上記自動欠陥分類部をアップデートする処理と
を更に具える請求項１の自動検査方法。

【請求項11】

上記被検査物体の画像を取得する処理が、
上記被検査物体の超音波スキャンを実行して複数の応答波形を生成する処理と、
上記応答波形を時間でゲートする処理と、
時間でゲートされた上記波形に基づいて上記被検査物体の画像を生成する処理と
を有する請求項１の自動検査方法。

【請求項12】

被検査物体の画像を取得するように構成された画像取り込みシステムと、
取得画像を受けて上記被検査物体と同じタイプの物体の基準画像と上記取得画像との間の差分画像を生成するように構成された画像差分生成部と、
上記差分画像又はこれから導出される特徴に基づいて、上記被検査物体内の欠陥を検出及び分類するように構成された自動欠陥分類部と
を具える自動検査装置。

【請求項13】

異常を含む上記差分画像内の領域を検出するように構成された検出部を更に具え、
上記自動欠陥分類部が、上記差分画像内の検出された領域又はこれから導出された特徴に基づいて、上記被検査物体中の欠陥を検出及び分類するように構成される請求項１２の自動検査装置。

【請求項14】

機械学習（ＭＬ）ベースの特徴抽出部を更に具え、
上記導出された特徴が、上記差分画像内の検出された領域から上記ＭＬベースの特徴抽出部によって抽出された特徴から構成される請求項１３の自動検査装置。

【請求項15】

上記物体の上記差分画像を人間のオペレータに表示するように構成された表示部と、
上記人間のオペレータから差分画像中に見える欠陥の分類ラベルを受けるように構成されたオペレータ・インタフェースと、
少なくとも部分的に分類ラベルに基づいて自動欠陥分類部をアップデートするように構成されたアップデート部と
を更に具える請求項１３の自動検査装置。

【請求項16】

ラベル付けされた欠陥を含む複数のシミュレーション差分画像を生成するように構成されたシミュレーション画像生成部を更に具え、上記シミュレーション画像は、１つ以上の構成において、少なくとも部分的に、上記差分画像中の上記ラベル付き欠陥が含まれる検出された領域に基づいている請求項１３の自動検査装置。

【請求項17】

ラベル付き欠陥と１つ以上の対応する欠陥のない画像とを含む複数のシミュレーション画像を生成するように構成されたシミュレーション画像生成部を更に具え、上記シミュレーション画像は、上記ラベル付き欠陥を含み、１つ以上の構成において、少なくとも部分的に上記差分画像中の上記ラベル付き欠陥が含まれる検出された領域に基づいている請求項１３の自動検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被試験デバイス（ＤＵＴ）の取得した画像に基づいて、ＤＵＴの欠陥を自動検出及び分類するための方法及び装置に関する。

【背景技術】

【0002】

製造後、欠陥を検出するためにウエハのような被試験デバイス（ＤＵＴ）を検査する場合がある。これにより、欠陥のある製品が市場に出回るのを防止する。検査の補助として、被試験デバイスの画像を取得することがある。例えば、光学顕微鏡画像又は走査型超音波顕微鏡画像は、小型デバイスにおける表面欠陥の検出を支援するために使用でき、一方、走査型超音波顕微鏡画像又はＸ線画像は、デバイス内部の欠陥を検出するために使用できる。

【0003】

被試験デバイス（ＤＵＴ）内の欠陥の自動検出及び分類は、取得したＤＵＴの画像に基づいても良い。画像は、例えば、可視光、赤外光又はＸ線などの電磁放射を捕捉するためにカメラ又は検出装置を使用することによって取得されても良い。あるいは、画像は、超音波顕微鏡（scanning acoustic microscope：SAM）を用いた超音波スキャン又は磁気共鳴画像法（Magnetic Resonance Imaging：MRI）スキャンなど、対象物（object）についてのスキャンから生成されても良い。

【0004】

例えば、半導体デバイスの非破壊検査のための走査型超音波顕微鏡の環境では、機械的スキャン装置は、被試験デバイスに対して超音波トランスデューサを直交（Ｘ及びＹ）方向に移動させ、所望の領域に対する複数の反射又は透過パルスから画像を構築できる。１つ以上のそのようなデバイスの画像が、自動欠陥分類装置への入力となる。超音波画像化処理（イメージング）は、半導体分析に共通する、層間剥離、ボイド（void：空隙）、意図しない融合又はブリッジ、亀裂、その他の欠陥を特定するのに特に優れている。これらのスキャンは、ウエハ、個々のデバイス、集積回路などの半導体パッケージ、その他のそのようなサンプルについて行える。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開２０２０／０７２７１２号明細書

【特許文献2】特開２０１８－０９１８３４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

通常、オペレータは、これらの画像を調べてＤＵＴの欠陥を特定するようにトレーニングされている。しかし、これには、広範なトレーニングが必要であり、更に、低コントラストの欠陥、オペレータ間でのばらつき、疲労、分析対象のデバイスの数が非常に多いことから、プロセスにエラーが発生しやすくなる。

【0007】

欠陥を見つけて分類するために、これらの画像を自動的に分析するには様々な方法がある。しかし、分析すベきデバイスの数の多さ、デバイス自体の複雑さ、欠陥の見本（exemplar）の数が限られているために、自動分類装置をトレーニングするのに十分なデータを用意することが非常に困難なことがある。

【課題を解決するための手段】

【0008】

以前の自動化システムでは、未加工（raw：生）の欠陥画像又はこれから導出した特性が使用されている。未加工の画像には、被試験デバイスの構造が含まれているため、自動分類部は、デバイス構造から欠陥を分離する方法を学習する必要がある。本開示技術によれば、未加工の画像ではなくて、取得画像と基準画像との差分が分類に使用される。これにより、特定のデバイス形式から欠陥が分離され、トレーニング・プロセスが簡素化される。差分画像中の分離（isolated：特定）された欠陥は、サイズ、形状、テクスチャ、コントラスト・レベルなどの古典的な画像測定値に基づいて効果的に分析でき、分類部は、これらを亀裂、引っかき傷、ボイド（void：空隙）、意図しない融合などの欠陥として特定する。これに代えて、機械学習（Machine Learning：ＭＬ）ベースの分類部を使用して画像を分析することもできる。以下で説明するように、差分は、基準画像の単純な減算を含む、いくつかの方法で得ることができる。

【0009】

特定された欠陥の形式は、より詳細な分類のために、オプションで、デバイスの特定の部分のボイドなど、欠陥位置に関連付けることができる。

【0010】

この手法の利点は、特に、多数の様々なデバイスにおいて、分離された欠陥の形式を調べることができることで、これにより、製造される全てのデバイスの欠陥の見本を取得して、その都度、分類する装置をトレーニング又は再トレーニングする必要なしに、トレーニングされた分類する装置を複数のデバイスに適用可能となる。

【図面の簡単な説明】

【0011】

【図1】図１は、様々な代表的実施形態による自動化された欠陥を分類する装置のブロック図である。

【図2】図２は、様々な代表的実施形態による取得画像と比較するための１つ以上の基準画像を生成する方法のフローチャートである。

【図3】図３は、様々な代表的実施形態によるデバイス内の欠陥を検出及び分類する方法のフローチャートである。

【図4】図４は、様々な代表的実施形態による、検査システムにおいて欠陥分類に使用される機械学習（ＭＬ）モデルをトレーニングするための装置のブロック図である。

【図5】図５は、様々な代表的実施形態による、ＭＬベースの自動欠陥分類部をアップデートする方法のフローチャートである。

【図6】図６は、様々な代表的実施形態による、自動欠陥分類部をトレーニングするための装置のブロック図である。

【図7】図７は、様々な代表的実施形態による、自動欠陥分類部のためのトレーニング材料を生成する方法のフローチャートである。

【図8】図８は、様々な代表的実施形態による例示的な画像を示す。

【発明を実施するための形態】

【0012】

添付の図面は、様々な代表的実施形態を更に充分に説明するために使用するために視覚的に表現したものであり、当業者が開示される代表的な実施形態及びそれら固有の利点をより良く理解するために利用できる。

【0013】

本開示は、多種多様な形の実施形態があり得るところ、本願では、詳細な具体的実施形態を図示及び説明しているが、本願で図示及び説明するこれら実施形態は、本開示技術の原理の例を与えるものと理解すべきであり、これら図示及び説明する具体的な実施形態に本開示技術を限定することを意図するものではない。なお、以下の説明では、図面のいくつかの図において、同様の参照番号が、同一、類似又は対応する部分を説明するために使用される。説明の単純化及び明確さのために、対応する又は類似の要素を示すために、参照番号が複数の図で繰り返されることがある。

【0014】

図１は、様々な代表的実施形態による自動化された欠陥分類のための装置１００のブロック図である。装置１００には、例えば、超音波顕微鏡又はカメラなどの画像取り込み（キャプチャ）装置１０２がある。画像取り込み装置１０２は、ストレージ（又は、メモリ）１０６内の画像ストア１０４に記憶されるデジタル画像を生成する。また、ストレージ１０６は、この取得画像と比較するための１つ以上の基準画像を基準画像ストア１０８に記憶する。

【0015】

また、装置１００には、１つ以上のプロセッサ１１０がある。これらには、プログラマブル・プロセッサ、専用ハードウェア又はそれらの組み合わせが含まれる場合がある。このため、ストレージ１０６は、プロセッサの実行可能な命令のプログラムを格納することもある。１つ以上のプロセッサは、取得画像を調整、スケール調整及び正規化して、基準画像に対してより良く位置合わせするためのスケール及び位置合わせブロック１１２と、差分画像を求める差分生成部１１４とを実装する。一実施形態では、差分画像は、取得画像のピクセル値から基準画像のピクセル値を減算することによって生成される（又は、同様にその逆でも）。他の実施形態を以下に説明する。オプションで、複数の基準画像が利用可能な場合、画像間の変動の統計量を測定し、差分画像のスケーリング（スケール調整：拡大縮小）に使用できる。

【0016】

異常検出部１１６は、差分画像から、どの領域が有意な差異又は異常を示しているかを特定する。特に、異常検出部１１６は、差分画像内の分離された異常を特定する。異常が検出されると、関連情報が分類部１１８に通知される。関連情報は、差異を示す差分画像の画素１２０（差分画像の領域）、又は、その領域の特性１２２（形状、サイズ、コントラスト、テクスチャ、位置など）であっても良い。一実施形態では、画素は、ニューラル・ネットワークなどの自動特徴抽出部１２４に通知される。

【0017】

分類部１１８は、欠陥種別を含む分類情報１２６を出力する。分類情報には、合格/不合格インジケータも含まれても良い。対応する分類は、例えば、オペレータ・インタフェース１２８を介して人間のオペレータに表示されたり、ストレージ１０６内の試験結果ストア１３０に格納されても良い。分類情報１２６は、コントローラ１３２に通知されても良い。コントローラ１３２は、分類情報に応答して、被試験デバイスの搬送及びスキャンを制御しても良い。欠陥の分類に加えて、分類情報１２６は、欠陥の位置や程度、分類の信頼レベルを有していても良い。この目的のために、ストレージ１０６は、欠陥のないデバイスの画像間の予想される変動に関連するメタデータ１３４を、被試験デバイスにおける関心又は重要領域の指定などの追加情報と共に、記述子（descriptors）として有していても良い。

【0018】

図１に示す実施形態例では、画像取り込み装置１０２は、超音波顕微鏡であり、これは、多数のスキャン位置で被試験物体に高周波の音波を当てるスキャナ１３６と、超音波受信機から信号を取得する信号取得部１３８と、時間でゲートされた信号を測定し、様々な時間ウィンドウにおいて複数のスキャン位置における受信強度からなる画像を生成する画像生成部（ビルダ）１４０とを有する。あるアプリケーションでは、被試験物体は、複数のデバイス（チップ）を含むウエハである。このアプリケーションでは、サブ画像抽出部１４２は、検査対象の個々のデバイスの画像を抽出する。

【0019】

一実施形態では、画像内の位置ｉ，ｊにおける差分画像は、絶対差分として計算される。
[数１]
d(i, j)＝|y(i, j)－m(i, j)|

ここで、ｉとｊは、画素インデックス、y(i, j)は、被試験デバイスの取得画像、m(i, j)は、Ｎ個の基準画像ｘ_n(i, j）について、次のように計算された平均基準画像である。

【数2】

【0020】

別の実施形態では、差分は、標準偏差によって正規化された絶対差として計算される統計的差分であって、即ち、

【数3】

ここで、λは、負ではないパラメータであり、標準偏差σは、次を満たす。

【数4】

【0021】

このため、基準画像の標準偏差が小さい画素値の差分には、より高い重み付けが与えられる。

【0022】

更に別の実施形態では、位置i, jにおける差分画像は、次の最小距離によって与えられる。

【数5】

【0023】

本開示から逸脱することなく、他の手段による差分を使用しても良い。

【0024】

図２は、代表的な実施形態による、取得画像と比較するための１つ以上の基準画像を生成する方法のフローチャート２００である。図２を参照すると、被試験デバイスと同じタイプの欠陥のないデバイスの画像がブロック２０２で取得される。これらは、例えば、同じタイプの異なるデバイスの画像であっても良い。ブロック２０４において、１つ以上の基準画像が形成される。一実施形態では、これら画像は、（必要に応じて）位置合わせ（アライメント）及び正規化され、次いで平均化されて単一の基準画像を生じる。ブロック２０６では、欠陥のない画像の統計値が測定される。例えば、複数の欠陥のない画像全体にわたる画素値の標準偏差が計算されても良い。これにより、差分画像の信頼性試験や差分画像のスケール（拡大縮小）調整が可能になる。オプションで、ブロック２０８において、デバイスに関する関心領域が指定される。最後に、ブロック２１０において、１つ以上の基準画像が、測定された任意の統計値及び指定された関心領域と共に、記憶される。

【0025】

図３は、様々な代表的実施形態による、デバイス内の欠陥を検出及び分類する方法のフローチャート３００である。ブロック３０２では、被試験デバイスの画像が取得される。画像は、例えば、カメラ又はスキャナを用いて取得できる。あるいは、保存された画像のデータベースから画像を取得することもできる。ブロック３０４において、画像が、基準画像によりよく一致するようにスケール調整及び位置合わせ（アライメント）される。例えば、画像は、強度又はコントラストに基づいて正規化され、平行移動や回転され、拡大又は縮小されても良い。位置合わせは、精度を向上させるためにサブ・ピクセル・スケールで実行されても良い。ブロック３０６では、取得画像と基準画像との間の差分画像が生成される。差分画像は、デバイス間の個体差を測定した統計値によってスケール調整されても良い。

【0026】

オプションで、ブロック３０８において、差分画像は、エッジ強調、テクスチャ抽出又は他の画像処理操作を適用することによって強調される。

【0027】

判断ブロック３１０では、差分が被試験デバイスの欠陥を示しているか否かが判断される。これは、指定された関心領域内で、分離された異常を検出することによって行うことができる。一実施形態では、分離された異常は、サイズ、角度、形状、テクスチャ、コントラスト及び他のそのような特性評価によって測定される。判断ブロック３１０からの否定の分岐によって描かれるように、欠陥が示されない場合、デバイスには欠陥がないと判断され、フローはブロック３０２に戻る。そうでなければ、判断ブロック３１０からの肯定の分岐によって描かれるように、差分画像又は測定された特徴の評価は、自動欠陥分類部に通知される。検出は、最小差分強度、最小サイズ、基準偏差と比較した最小強度、又は、分類するために差分を通知する前に満たさなければならない他のそのような基準のような閾値を利用しても良い。

【0028】

ブロック３１２では、分離された欠陥が、自動欠陥分類部によって特定され、分類される。更に、分類の信頼性レベルの指標が、欠陥の位置と共に、基準画像の統計値に基づいて生成されても良い。ブロック３１４では、欠陥の種別（クラス）及び位置が、分類の信頼性レベルと共にレポートされる。その後、フローはブロック３０２に戻る。

【0029】

一実施形態では、分類部は、以前に特定された欠陥の特性のｋ平均法（k-Means clustering）を用いてトレーニングされても良く、現在の差分の分類を指定された欠陥カテゴリの１つに戻しても良い。これに代えて、信頼性の低い分類を未分類の差分としてグループ化し、オプションでマニュアル（手作業）の検査に戻しても良い。本開示の他の実施形態は、ベイズ分類機能（Bayes classifiers）、ニューラル・ネットワーク又は機械学習の領域で知られている他の分類機能などの他の種類の分類機能を使用しても良く、これらはいずれも、複数の潜在的な特定及び信頼性強度のうちの１つを返答する（return）単一の分類機能からなる。

【0030】

上述の方法では、分類部は、デバイス構造が差分処理によって除去され、これによって欠陥を分離（Isolate：特定、抽出）するので、デバイスの特定の構造と欠陥とを区別する必要はない。このアプローチの主な利点は、分類部を様々なデバイスのために再トレーニングする必要がないことである。分離された欠陥の様々な種別を特定するように、分類部をトレーニングするだけで十分である。

【0031】

分類部は、サイズ、角度、形状、テクスチャ及びコントラストなどの特定された欠陥の特性を利用しても良い。あるいは、分類のための特徴ベクトルを、未加工（raw：生）の差分画素データから自動的に取得しても良い。一実施形態では、未加工の画素データが、畳み込みニューラル・ネットワーク（convolutional neural network：ＣＮＮ）又は他のニューラル・ネットワークに通知されて特徴が抽出され、それが次いで、特徴ベースの分類部に供給される。

【0032】

従って、既知の良好なデバイスの１つ以上の基準画像を使用して、これら基準からのサンプル画像の差分が求められる。これら差分又は測定された特性の差分のみが検出と分類に使用される。

【0033】

分類部（そして、使用される場合には、ＣＮＮ又は他の特徴生成装置）は、以前に特定され、マニュアル（手作業）で分類され、ラベル付けされた欠陥の形態のトレーニング・データを使用してトレーニングされても良い。しかし、サンプルと基準画像の間の抽出された差分のみが分類部に供給されるため、分類部を再トレーニングすることなく、様々な半導体デバイスを試験できる。

【0034】

分類の信頼性レベルもレポートでき、十分な信頼性で分類されていない差分は、マニュアル検査用にレポートすることもできる。

【0035】

要約すると、検査画像（半導体デバイスの超音波スキャンなど）の欠陥は、欠陥をデバイス画像と１つ以上の基準画像との差分として分離（isolate：特定）し、それらの欠陥の差分の複数の測定値を使用して、複数の欠陥カテゴリに区別することによって分類される。分類の信頼性が低い差分は、必要に応じて、マニュアルで検討することもできる。

【0036】

処理ループにおけるオペレータ

【0037】

機械学習（ＭＬ）モデルのトレーニングは、通常、トレーニング済みのモデルを実稼働環境に展開する前に発生する時間のかかるプロセスである。このトレーニング期間中、ユーザは、このモデルから何の利益も得られない。更に、ユーザは通常、広範な試験を実行しないと、ＭＬモデルが実際の環境で動作するかどうかわからないため、展開が更に遅れる。本開示技術の実施形態は、長時間の事前トレーニングを排除すると同時に、オペレータの生産性に直ちに利益を提供することを追求している。更なる利点としては、ＭＬモデルが、実稼働環境で実際のデータを使用して継続的に試験されているため、「データ・シフト」のリスクが排除されることである。データ・シフトとは、ＡＩがトレーニング及び試験されたデータと、実際の環境で遭遇するデータとの間の不一致のことである。

【0038】

図４は、様々な代表的実施形態による、検査システムにおける欠陥分類に使用される機械学習（Machine Learning：ＭＬ）モデルをトレーニングするための装置４００のブロック図である。この検査システムは、例えば、半導体装置の超音波検査及び欠陥検出システムであっても良い。示されている例では、ＭＬベースの分類部４０２は、最初に、ベースとなるＭＬモデル（別の半導体デバイスについてトレーニングされたものなど）で初期化される。上述したように、デバイスの構造の詳細は、差分生成部１１４によって除去されるので、このベースＭＬモデルは、少なくともある程度の性能を提供する。被試験デバイスの画像は、画像取り込み（キャプチャ）装置４０４によって取得され、得られた画像は、メモリ１０６内の画像ストア４０６に格納される。上述したように、差分生成部１１４は、基準画像ストア４０８中の１つ以上の基準画像を用いて差分画像を形成し、検出された欠陥は、ＭＬベースの分類部４０２によって分類されて分類情報１２６を提供する。差分画像は、オペレータ表示部４１０にも表示され、トレーニングを受けたオペレータが欠陥を特定して分類できるようにする。オペレータの分類を画像メタデータ４１４をアップデートするのに使用しても良く、これにより、取得画像を後でトレーニングに使用できる。オペレータの分類４１２とＭＬベースの分類は、比較及びアップデート・ユニット４１６において比較される。この比較に基づいて、分類部の精度がアップデートされる。オプションで、特徴抽出部１２４もアップデートされても良い。分類部が十分に正確でない場合は、オペレータの分類を利用して分類部をアップデートし、性能を向上させる。分類部が十分に正確であると判断されると、オペレータを必要としなくなる。これが生じると、そのアップデートがオペレータに通知されても良い。代替的に、比較及び更新ユニット４１６は、オペレータが十分な精度が達成されたかどうかを判断できるように、現在の精度レベルをオペレータに報告しても良い。

【0039】

図４に示す実施形態では、欠陥分類データを画像取り込み装置４０４から受ける。画像取り込み装置４０４は、オペレータと同じエリア（ローカル）にあっても良いし、遠隔にあっても良い。しかし、他の実施形態では、分類データを複数の検査ステーションから受けて、同じＭＬモデルをアップデートするために使用しても良い。これには、スキャン・ツール間にあり得る個体差を考慮するという追加の利点がある。更に、複数のオペレータが、複数のステーション間で共有されているＭＬモデルをアップデートしても良い。

【0040】

図５は、様々な代表的実施形態によるＭＬベースの自動欠陥分類部をアップデートする方法５００のフローチャートである。被試験デバイスの画像は、ブロック５０２において、画像取り込み（キャプチャ）装置によって取得される。画像内の欠陥は、取得された画像と１つ以上の基準画像との差分に基づいて、ブロック５０４において分類される。ブロック５０６において、オペレータから、オペレータに表示された差分画像に基づいて、欠陥の分類を受ける。オペレータの分類は、取得された画像を後でトレーニングに使用しても良いように、画像メタデータをアップデートするために使用されても良い。オペレータの分類とＭＬベースの分類とが、ブロック５０８において比較される。分類において何らかの不一致があれば、オペレータが、ブロック５１０において解決する。比較に基づいて、自動欠陥分類部の精度の指標（measure）がブロック５１２においてアップデートされる。分類部が十分に正確でない場合、判断ブロック５１４からの否定の分岐によって示されるように、性能を改善するために、ブロック５１６において、オペレータの分類を使用して分類部をアップデートし、フローはブロック５０２に戻る。そうでなければ、判断ブロック５１４からの肯定の分岐によって描かれるように、分類部は十分に正確であると判断され、ブロック５１８によって示されるように、オペレータは、もはや必要とされない。これが生じると、アップデート処理は、オペレータに通知されても良い。

【0041】

シミュレーション・トレーニング画像

【0042】

コンポーネント間、実行間（run-to-run）及び部品間に差異があると、自動検査用の汎用ライブラリを構築することが困難になる。自動欠陥分類部（Automated Defect Classifier：ＡＤＣ）の事前トレーニングでは、欠陥がある実際のコンポーネント及び欠陥がない実際のコンポーネントを表す多数の画像（通常、数千）を処理する必要がある。これらの画像は、特に新しいデバイスの場合、取得が難しい場合がある。本開示技術の実施形態は、ＡＤＣ用の事前トレーニング材料をダイナミックに作成し、その結果、システムのより早い段階で、より少ない人間の介入で、より多くの欠陥を取得できる。

【0043】

図６は、様々な代表的実施形態による自動欠陥分類部（ＡＤＣ）をトレーニングするための装置６００のブロック図である。図６を参照すると、同タイプの欠陥のないデバイスの１つ以上の基準画像が、ストレージ１０６内の基準画像ストア６０２に格納される。上述したように、差分生成部１１４及び分類部１１８は、６０４に記憶された取得画像中に検出された欠陥を分類するために用いられる。得られる分類は、オペレータ・インタフェース１２８を介してオペレータに伝えられる。欠陥が検出されると、欠陥の特性が、シミュレーション画像生成部６０６に通知されても良く、これは、複数の様々な（実現可能及び実現不可能な）表示（view）形式で、欠陥を含むシミュレーション差分画像を作成する。シミュレーション差分画像は、６０８に格納される。画像に関する分類ラベルは、シミュレーションで使用される任意の統計値と共に、メタデータ・ストア６１０に格納される。シミュレーション差分画像は、自動欠陥分類部が欠陥を認識するようにトレーニングするために使用できるトレーニング材料を提供する。これらは、従来の（シミュレーションではない）トレーニング材料と組み合わせて使用できる。トレーニング中、シミュレーション差分画像は、破線矢印６１２によって描かれるように、異常検出部１１６に直接通知される。分類部１１８によって生成された分類とメタデータ６１０内のラベルとの差異は、分類部と、そして、オプションで特徴抽出部１２４とをアップデートするために使用される。

【0044】

別の実施形態では、シミュレーション画像生成部６０６は、欠陥のあるシミュレーション画像と欠陥のないシミュレーション画像を生成する。６０２に保存される欠陥のない画像は、デバイス画像である必要はなく、任意の画像にすることができる。欠陥がある画像と欠陥のない画像の一方又は両方に、ノイズを追加しても良い。

【0045】

検査される画像は、デバイスがスキャンされるときにダイナミックに取得されても良い。オペレータが欠陥を特定すると、その欠陥にフラグが付けられ、複数のシミュレーション画像の生成をトリガするために使用できる。これは、自動欠陥分類部が、正しく分類した欠陥、誤って分類した欠陥、又は、検出に失敗した欠陥に関して発生する可能性がある。欠陥の新しい種別（クラス）を追加することもできる。このように、トレーニング画像のライブラリは、スキャン又は取得された画像のみを使用する場合と比較して、大幅に拡大できる。

【0046】

この自動欠陥分類部は、差分についてのみトレーニングされるため、検出と分類を行う前に、デバイスの欠陥のない構造が除去されることを強調したい。このように、新しいデバイス用に自動欠陥分類部をトレーニングしなくても、例えば、シリコン・チップ中の剥離したはんだバンプのような欠陥を、新しいデバイスでも認識できる。

【0047】

図７は、様々な代表的実施形態による自動欠陥分類部のためのトレーニング材料を生成する方法のフローチャート７００である。検査ステーションでは、ブロック７０２において、被試験装置の画像が取得される。ブロック７０４において差分画像が得られ、ブロック７０６において検査ステーションのオペレータに対して表示される。ブロック７０８では、差分画像中に見ることができる欠陥の分類ラベルを、オペレータから受ける。このラベルは、既存の欠陥種別のラベル又は新しい種別の欠陥のラベルであっても良い。ラベル付けされた欠陥を含むシミュレーション画像が、ブロック７１０において生成される。シミュレーション画像は、少なくとも部分的に、検査中の物体（被検査物体）の画像の特定された領域に基づいている。ブロック７１２では、シミュレーション画像に関連するラベル及び他のメタデータが、将来使用するために記憶される。自動欠陥分類部は、複数のシミュレーション画像及び受信した分類ラベルに基づいて、ブロック７１４においてアップデートされ、フローは７０２に戻る。このようにして、トレーニング・サンプルの数が増加し、分類部がアップデートされて、精度が向上する。更に、新しい種別の欠陥を特定し、トレーニング材料に含めても良い。

【0048】

図８は、様々な代表的実施形態による例示的な画像を示す。画像８０２は、欠陥のない基準画像である。画像８０４は、スクラッチ８０６の形態の欠陥を示す取得画像である。画像８０８は、差分画像であり、基準画像８０２と取得画像８０４との間の統計的な差分として得られる。

【0049】

実施形態の例によれば、超音波走査装置（ultrasonic scanning device）は、被試験サンプルについての複数パルスの反射又は透過から生成された画像を生じる。差分画像は、この生成画像と、既知の良品のデバイスの１つ以上の参照イメージとの差分を表して生成される。差分画像又はこれから抽出された情報のみが、分類のために伝えられる。オプションで、差分は、複数のデバイスにわたる基準画像の標準偏差のような観察された統計値によってスケール調整されても良い。オプションで、エッジ強調、テクスチャ抽出又は他の画像処理操作機能によって、差分をフィルタ処理して、これらの差分を強調しても良い。オプションで、分類するために差分を伝える前に満たすべき、最小差分強度、最小サイズ、基準偏差に対する最小強度、又は、その他の基準のような閾値が存在しても良い。

【0050】

測定は、位置、サイズ、形状、テクスチャ、コントラスト、向きなどを含む、検出された任意の差分に対して行っても良い。一実施形態では、差分画像の特徴抽出は、畳み込みニューラル・ネットワークによって実行され、従来からある計算された特徴と共に、分類部に供給される特徴のセットを提供する。これら特徴は、それ自体は分類ではなく、後の分類機能のための単なる追加機能である。

【0051】

分類部のためのトレーニング・データは、以前に特定され、マニュアルで分類され、そして、ラベルが付された欠陥の形態で提供されても良い。分類部は、差分の特徴の測定されたベクトルを欠陥の既知のカテゴリと比較し、最も一致するものをレポートする。サンプルと基準画像の間で抽出された差分のみを使用すると、分類部を再トレーニングすることなしに、様々な半導体デバイスのような複数のサンプル形式に更なる分析を適用できる。分類部は、例えば、ｋ平均法（k-Means clustering）を使用しても良いし、分類部が、ベイズ分類装置（Bayes classifier）、ラベルが付されたデータについてトレーニングされたニューラル・ネットワーク、又は、当業者には周知の他の機械学習分類部であっても良い。ある実施形態では、分類の信頼性が判断され、レポートされる。オプションで、十分な信頼性で分類されていない差異を、マニュアルで検査するようにレポートしても良い。

【0052】

要約すると、本開示技術の実施形態は、欠陥の形式を特定するために機械学習を使用して、半導体デバイスの超音波スキャン又は他の画像における欠陥を分類するためのメカニズムを提供する。実施形態は、概して、欠陥をデバイス画像と基準画像との間の差分として分離し、これらの欠陥の差分の複数の測定値を用いて、複数の欠陥カテゴリに区別する。分類の確実性が低い差分は、オプションで、マニュアルで検討することもできる。

【0053】

この説明では、第１と第２、上部と下部などの関係性を表す用語は、あるエンティティ又はアクションを別のエンティティ又はアクションと区別するためにのみ使用され、そのようなエンティティ又はアクション間の実際のそのような関係又は順序を必ずしも必要とするか又は暗示することなく使用することがある。用語「からなる（comprises）」、「からなっている（comprising）」、「を含む（includes）」、「を含んでいる（including）」又はその他のバリエーションは、非排他的な包含をカバーすることが意図されており、要素のリストからなるプロセス、方法、物品又は製品が、必ずしもこれら要素だけを含むのではなく、明示的に列挙されていないか又はこうしたプロセス、方法、物品又は装置に固有の他の要素を含んでいても良い。「を含む（comprises …a）」に続く要素は、より多くの制約なしに、その要素を含むプロセス、方法、物品又は装置における追加の同一要素の存在を排除するものではない。

【0054】

この説明全体を通して、「一実施形態」、「特定の実施形態」、「ある実施態様」、「態様（implementation(s)）」又は類似の用語への言及は、実施形態に関連して記載される特定の特徴、構造又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。従って、本願全体を通して又は様々な場所におけるそのような語句の出現は、必ずしも全てが同じ実施形態を指すとは限らない。更に、特定の特徴、構造又は特性は、制限なしに１つ以上の実施形態において、任意の適切な方法で組み合わせることができる。

【0055】

本願で使用される用語「又は」は、包括的又は任意の１つ又は任意の組み合わせを意味するものとして解釈されるべきである。従って、「Ａ、Ｂ又はＣ」とは、「Ａ」、「Ｂ」、「Ｃ」、「Ａ及びＢ」、「Ａ及びＣ」、「Ｂ及びＣ」、「Ａ、Ｂ及びＣ」の中の任意のものを意味する。この定義の例外は、要素、機能、ステップ又は行為の組み合わせが、本質的に相互に排他的である場合にのみ発生する。

【0056】

本願で使用される場合、用語「するに構成される」とは、要素に適用される場合、要素が指定された機能を実行するように設計又は構築されても良いこと又はその機能を実行するために再構成又は適合されることを可能にするために必要な構造を有することを意味する。

【0057】

本願に記載される実施形態の理解のために、詳細が多数説明されている。実施形態は、これらの詳細なしに実施されても良い。他の例では、周知の方法、手順及び構成要素は、記載された実施形態を不明瞭にすることを避けるために、詳細には説明されていない。本開示は、本願に記載の実施形態の範囲に限定されると考えるべきではない。

【0058】

当業者であれば、本開示が実施例によって説明されていることが理解できよう。本開示は、記載及び請求されるように本開示と等価である専用ハードウェアや専用プロセッサなどのハードウェア・コンポーネントの等価物を使用して実施できる。同様に、専用プロセッサや専用ハード・ワイヤード・ロジックを使用して、本開示の代替の等価実施形態を構築しても良い。

【0059】

本願で説明される様々な実施形態は、フローチャートの形態で広く説明されるプログラミング命令を実行する専用ハードウェア、構成変更なハードウェア又はプログラムされたプロセッサを使用して実装され、このプログラミング命令は、任意の適切な電子記憶媒体に格納されるか又は任意の適切な電子通信媒体を介して送信されても良い。これらの要素を組み合わせて使用しても良い。当業者であれば、上述のプロセス及びメカニズムが、本開示から逸脱することなく任意の数の変形例で実施されても良いことが理解できよう。例えば、本開示から逸脱することなく、実行される特定の工程の順序を多くの場合変更でき、追加の工程を追加でき、工程を削除することもできる。そのような変形が考慮され、同等とみなされる。

実施例

【0060】

以下では、本願で開示される技術の理解に有益な実施例が提示される。この技術の実施形態は、以下で記述する実施例の１つ以上及び任意の組み合わせを含んでいても良い。

【0061】

実施例１は、自動検査方法であって、被検査物体の画像を取得する処理と、上記被検査物体と同じタイプの物体の基準画像と取得画像との間の差分画像を生成する処理と、上記差分画像の特性を自動欠陥分類部に通知して、上記被検査物体中の欠陥を分類する処理とを具え、上記差分画像の特性は、上記差分画像の画素又はこれから求めた特徴を含む。

【0062】

実施例２は、実施例１の自動検査方法であって、上記差分画像中の異常を含む特定領域を検出する処理を更に具え、上記自動欠陥分類部に通知される上記差分画像の特性が、特定領域内の上記差分画像の画素又はこれから求めた特徴を含む。

【0063】

実施例３は、実施例１の自動検査方法であって、上記差分画像を生成する処理が、上記取得画像の画素と上記基準画像の画素との間の画素ごとの差分を計算する処理を含む。

【0064】

実施例４は、実施例１の自動検査方法であって、上記差分画像を生成する処理の前に上記取得画像を調整する処理を更に具え、上記調整する処理が、回転する処理、平行移動する処理、スケール調整する処理、強度の正規化処理及びコントラストの正規化処理の中の１つ以上を含む。

【0065】

実施例５は、実施例４の自動検査方法であって、上記調整する処理が、上記取得画像と上記基準画像と間の上記差分の指標を最小化する処理に基づいている。

【0066】

実施例６は、実施例１の自動検査方法であって、上記被検査物体と同じタイプの１つ以上の欠陥のない物体の複数の画像の平均として上記基準画像を生成する処理を更に具える。

【0067】

実施例７は、実施例１の自動検査方法であって、上記被検査物体と同じタイプの１つ以上の物体の複数の画像の標準偏差を求める処理と、計算された上記標準偏差に少なくとも部分的に基づいて、上記被検査物体中の１つ以上の欠陥を特定する処理とを更に具える。

【0068】

実施例８は、実施例７の自動検査方法であって、求めた上記標準偏差に基づいて上記差分画像の値をスケール調整する処理を更に具える。

【0069】

実施例９は、実施例１の自動検査方法であって、上記物体の上記差分画像を人間のオペレータに表示する処理と、上記人間のオペレータから、上記差分画像中に見ることができる欠陥の分類ラベルを受ける処理と、上記分類ラベルに基づいて上記自動欠陥分類部をアップデートする処理とを更に具える。

【0070】

実施例１０は、実施例９の自動検査方法であって、上記分類ラベルは、既存の分類ラベル又は新しい分類ラベルである。

【0071】

実施例１１は、実施例９の自動検査方法であって、上記人間のオペレータから受けた分類ラベルと、上記自動欠陥分類部によって生成された分類ラベルとを比較する処理と、比較の結果に基づいて上記自動欠陥分類部の精度の指標をアップデートする処理とを更に具える。

【0072】

実施例１２は、実施例１１の自動検査方法であって、上記精度の指標を閾値と比較する処理と、上記精度の指標が閾値を超えた場合に完全に自動化された欠陥の分類をイネーブルする処理とを更に具える。

【0073】

実施例１３は、実施例１の自動検査方法であって、上記差分画像に基づいて被試験物体中の欠陥を含む上記被試験物体の画像の領域を特定する処理と、上記画像の領域を人間のオペレータに表示する処理と、上記人間のオペレータから上記画像の領域において見える欠陥の分類ラベルを受ける処理と、上記被検査物体の上記画像の特定された領域に少なくとも部分的に基づく上記ラベル付き欠陥を含む複数のシミュレーション画像を生成する処理と、上記複数のシミュレーション画像及び受けた上記分類ラベルに基づいて上記自動欠陥分類部をアップデートする処理とを更に具える。

【0074】

実施例１４は、実施例１３の自動検査方法であって、上記シミュレーション画像が、差分画像を含む。

【0075】

実施例１５は、実施例１の自動検査方法であって、上記被検査物体の画像を取得する処理が、上記被検査物体の超音波スキャンを実行して複数の応答波形を生成する処理と、上記応答波形を時間でゲートする処理と、時間でゲートされた上記波形に基づいて上記被検査物体の画像を生成する処理とを有する。

【0076】

実施例１６は、実施例１の自動検査方法であって、上記被検査物体の画像を取得する処理が、電磁放射の反射画像又は透過画像を撮影する処理を含む。

【0077】

実施例１７は、実施例１の自動検査方法であって、上記被検査物体の画像を取得する処理が、画像のデータベースから画像を取得する処理を含む。

【0078】

実施例１８は、自動検査装置であって、被検査物体の画像を取得するように構成された画像取り込みシステムと、取得画像を受けて上記被検査物体と同じタイプの物体の基準画像と上記取得画像との間の差分画像を生成するように構成された画像差分生成部と、上記差分画像又はこれから導出される特徴に基づいて、上記被検査物体内の欠陥を検出及び分類するように構成された自動欠陥分類部とを具える。

【0079】

実施例１９は、実施例１８の自動検査装置であって、異常を含む上記差分画像内の領域を検出するように構成された検出部を更に具え、上記自動欠陥分類部が、上記差分画像内の検出された領域又はこれから導出された特徴に基づいて、上記被検査物体中の欠陥を検出及び分類するように構成される。

【0080】

実施例２０は、実施例１９の自動検査装置であって、機械学習（ＭＬ）ベースの特徴抽出部を更に具え、上記導出された特徴が、上記差分画像内の検出された領域から上記ＭＬベースの特徴抽出部によって抽出された特徴から構成される。

【0081】

実施例２１は、実施例１９の自動検査装置であって、上記物体の上記差分画像を人間のオペレータに表示するように構成された表示部と、上記人間のオペレータから差分画像中に見える欠陥の分類ラベルを受けるように構成されたオペレータ・インタフェースと、少なくとも部分的に分類ラベルに基づいて自動欠陥分類部をアップデートするように構成されたアップデート部（updater：アップデータ）とを更に具える。

【0082】

実施例２２は、実施例１９の自動検査装置であって、ラベル付けされた欠陥を含む複数のシミュレーション差分画像を生成するように構成されたシミュレーション画像生成部を更に具え、上記シミュレーション画像は、１つ以上の構成において、少なくとも部分的に、上記差分画像中の上記ラベル付き欠陥が含まれる検出された領域に基づいている。

【0083】

実施例２３は、実施例１９の自動検査装置であって、ラベル付き欠陥と１つ以上の対応する欠陥のない画像とを含む複数のシミュレーション画像を生成するように構成されたシミュレーション画像生成部を更に具え、上記シミュレーション画像は、上記ラベル付き欠陥を含み、１つ以上の構成において、少なくとも部分的に上記差分画像中の上記ラベル付き欠陥が含まれる検出された領域に基づいている。

【0084】

実施例２４は、実施例１８の自動検査装置であって、上記被検査物体の画像と、上記被検査物体の関心領域の記述子を含む上記被検査物体の基準画像及びメタデータとに関するストレージを更に具える。

【0085】

本願で詳細に説明されている様々な代表的実施形態は、例として提示されており、限定するものではない。当業者であれば、記載された実施形態の形態及び細部に様々な変更を加えることで、添付の特許請求の範囲内にとどまる等価な実施形態が得られることが理解できよう。

【符号の説明】

【0086】

１００ 自動検査装置
１０２ 画像取り込み装置
１０４ 画像ストア
１０６ ストレージ
１０８ 基準画像ストア
１１０ プロセッサ
１１２ スール及び位置合わせブロック
１１４ 差分生成部
１１６ 異常検出部
１１８ 分類部
１２０ 画素
１２２ 特性
１２４ 自動特徴抽出部
１２６ 分類情報
１２８ オペレータ・インタフェース
１３０ 試験結果ストア
１３２ コントローラ
１３４ メタデータ
１３６ スキャナ
１３８ 信号取得ユニット
１４０ 画像生成部
１４２ サブ画像抽出部
４００ トレーニング装置
４０２ 機械学習ベース分類部
４０４ 画像取り込み装置
４０６ 画像ストア
４０８ 基準画像ストア
４１０ オペレータ表示部
４１２ オペレータの分類
４１４ 画像メタデータ
４１６ 比較及びアップデート・ユニット
６００ トレーニング装置
６０２ 基準画像ストア
６０４ 画像ストア
６０６ シミュレーション画像生成部
６０８ シミュレーション差分画像ストア
６１０ メタデータ・ストア

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】