特表 2024-535984 多次元動的部品平均テストのためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-04

(54)【発明の名称】多次元動的部品平均テストのためのシステム及び方法

(51)【国際特許分類】

   H01L 21/66 20060101AFI20240927BHJP

   G01R 31/26 20200101ALI20240927BHJP

   G01R 31/28 20060101ALI20240927BHJP

【ＦＩ】

H01L21/66 H

H01L21/66 Z

H01L21/66 B

G01R31/26 Z

G01R31/28 R

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024509103

(86)(22)【出願日】2022-10-06

(85)【翻訳文提出日】2024-02-28

(86)【国際出願番号】 US2022045883

(87)【国際公開番号】W WO2023059790

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】17/497,518

(32)【優先日】2021-10-08

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390005175

【氏名又は名称】株式会社アドバンテスト

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】バトラー、ケネス

(72)【発明者】

【氏名】レベンサル、アイラ

(72)【発明者】

【氏名】クサンソプロス、コンスタンティノス

(72)【発明者】

【氏名】ハート、アラン

(72)【発明者】

【氏名】ブラス、ブライアン

(72)【発明者】

【氏名】シャウブ、キース

【テーマコード（参考）】

2G003

2G132

4M106

【Ｆターム（参考）】

2G003AA10

2G003AF05

2G003AF06

2G003AH01

2G132AA00

2G132AB00

2G132AC02

2G132AC03

2G132AC10

2G132AD00

2G132AL06

2G132AL11

2G132AL25

4M106AA01

4M106DD01

4M106DJ12

4M106DJ19

4M106DJ20

4M106DJ27

4M106DJ28

(57)【要約】

本発明の実施形態は、本発明の実施形態による、デバイスをテストし、外れ値を検出するためにテスト結果を分析するための多次元部品平均テストのためのシステム及び方法を提供する。テストには、例えば、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した多変量（例えば、二変量）統計の計算が含まれ得る。生のテスト結果データは残差空間に変換でき、外れ値の結果が回帰に影響を与えることを防ぐためにロバスト回帰が実行され、それにより、オーバーキルを有利に削減することができる。

【特許請求の範囲】

【請求項1】

動的部品平均テストの方法であって、前記方法は、
過去のテスト結果データに基づいてテスト限界値を決定する段階；
前記テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する段階；
前記テスト結果を使用して多変量統計を計算する段階；
前記多変量統計の平均値又は中央値を計算する段階；
前記多変量統計及び前記平均値又は中央値の間の差を計算する段階；
前記平均値又は中央値に基づいて前記テスト限界値を更新し、更新されたテスト限界値を生成する段階；及び
前記平均値又は中央値及び前記更新されたテスト限界値に基づいて、前記複数のデバイスの外れ値を特定する段階を備える方法。

【請求項2】

主成分分析（ＰＣＡ）；独立成分分析（ＩＣＡ）；自動エンコーディング；又は機械学習のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する段階をさらに備える、請求項１に記載の方法。

【請求項3】

前記テスト結果を使用して多変量統計を前記計算する段階は、二変量対を形成する段階；比率を形成する段階；及びデルタを形成する段階のうちの少なくとも１つを有する、請求項１に記載の方法。

【請求項4】

前記テスト結果を使用して多変量統計を前記計算する段階は、結果タイプに従って前記テスト結果をクラスタリングする段階を有する、請求項１に記載の方法。

【請求項5】

外れ値の結果を増幅するために、非線形、非単調変換を使用して前記平均値又は中央値を残差空間に変換する段階をさらに備える、請求項１に記載の方法。

【請求項6】

前記平均値又は中央値に基づいて前記テスト限界値を前記更新する前に外れ値の結果を除外する段階をさらに備える、請求項１に記載の方法。

【請求項7】

前記平均値又は中央値に基づいて前記テスト限界値を前記更新する前に、再重み付けされた最小二乗回帰を実行する段階をさらに備える、請求項１に記載の方法。

【請求項8】

動的部品平均テストを実行するための装置であって、前記装置は、
プロセッサ；及び
テストデータ及び命令を記憶するための前記プロセッサと通信するメモリを備え、ここで、前記プロセッサは多変量部品平均テストの方法を実行するための命令を実行し、前記方法は、
過去のテスト結果データに基づいてテスト限界値を決定する段階；
前記テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する段階；
前記テスト結果を使用して多変量統計を計算する段階；
前記多変量統計の平均値又は中央値を計算する段階；
前記多変量統計及び前記平均値又は中央値の間の差を計算する段階；
前記平均値又は中央値に基づいて前記テスト限界値を更新し、更新されたテスト限界値を生成する段階；及び
前記平均値又は中央値及び前記更新されたテスト限界値に基づいて、前記複数のデバイスの外れ値を特定する段階を備える、装置。

【請求項9】

前記方法は、主成分分析（ＰＣＡ）；自動エンコーディング；又は機械学習のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する段階をさらに備える、請求項８に記載の装置。

【請求項10】

前記テスト結果を使用して多変量統計を前記計算することは、二変量対を形成すること；二変量比率を形成すること；及び二変量デルタを形成することのうちの少なくとも１つを有する、請求項８に記載の装置。

【請求項11】

前記テスト結果を使用して多変量統計を前記計算することは、結果タイプに従って前記テスト結果をクラスタリングすることを有する、請求項８に記載の装置。

【請求項12】

前記方法は、外れ値の結果を増幅するために、非線形、非単調変換を使用して前記平均値又は中央値を残差空間に変換する段階をさらに備える、請求項８に記載の装置。

【請求項13】

前記方法は、前記平均値又は中央値に基づいて前記テスト限界値を前記更新する前に外れ値の結果を除外する段階をさらに備える、請求項８に記載の装置。

【請求項14】

前記方法は、前記平均値又は中央値に基づいて前記テスト限界値を前記更新する前に、再重み付けされた最小二乗回帰を実行する段階をさらに備える、請求項８に記載の装置。

【請求項15】

プロセッサに、
過去のテスト結果データに基づいてテスト限界値を決定する手順；
前記テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する手順；
前記テスト結果を使用して多変量統計を計算する手順；
前記多変量統計の平均値又は中央値を計算する手順；
前記多変量統計及び前記平均値又は中央値の間の差を計算する手順；
前記平均値又は中央値に基づいて前記テスト限界値を更新し、更新されたテスト限界値を生成する手順；及び
前記平均値又は中央値及び前記更新されたテスト限界値に基づいて、前記複数のデバイスの外れ値を特定する手順
を実行させるためのコンピュータプログラム。

【請求項16】

前記プロセッサに、
主成分分析（ＰＣＡ）；独立成分分析（ＩＣＡ）；自動エンコーディング；又は機械学習のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する手順をさらに実行させる、請求項１５に記載のコンピュータプログラム。

【請求項17】

前記テスト結果を使用して多変量統計を前記計算することは、二変量対を形成すること；比率を形成すること；及びデルタを形成することのうちの少なくとも１つを有する、請求項１５に記載のコンピュータプログラム。

【請求項18】

前記テスト結果を使用して多変量統計を前記計算することは、結果タイプに従って前記テスト結果をクラスタリングすることを有する、請求項１５に記載のコンピュータプログラム。

【請求項19】

前記プロセッサに、
外れ値の結果を増幅するために、非線形、非単調変換を使用して前記平均値又は中央値を残差空間に変換する手順をさらに実行させる、請求項１５に記載のコンピュータプログラム。

【請求項20】

過去のテスト結果データに基づいてテスト限界値を前記決定することは、ｅテストデータ；以前の製造段階中に生成されたデータ；統計的相関データ；又は位相的相関データのうちの少なくとも１つにアクセスすることを有する、請求項１５に記載のコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、概して、デバイステスト分野に関する。より詳細には、本発明の実施形態は、部品平均テストのための方法及びシステムに関する。

【背景技術】

【0002】

テスト対象デバイス又はテスト対象機器（例えば、Ｄｅｖｉｃｅ Ｕｎｄｅｒ Ｔｅｓｔ：ＤＵＴ）は通常、デバイスの販売前にデバイスの性能及び均一性を判定するためにテストされる。デバイスは様々なテストケースを使用してテストでき、テストケースの結果は期待される出力結果と比較される。テストケースの結果が期待される出力値と一致しない場合、デバイスは不合格のデバイス又は外れ値と見なされ得、デバイスは性能などに基づいてビニングされ得る。

【0003】

ＤＵＴは通常、自動テスト装置又は自動化テスト機器（Ａｕｔｏｍａｔｉｃ ｏｒ Ａｕｔｏｍａｔｅｄ Ｔｅｓｔ Ｅｑｕｉｐｍｅｎｔ：ＡＴＥ）によってテストされ、ＡＴＥは、ソフトウェア及び自動化を使用し複雑なテストを行って、テスト効率を向上させるのに使用され得る。ＤＵＴは、コンピュータ又は他の電子デバイスなどの最終製品に統合されることを意図した任意のタイプの半導体デバイス、ウェハ、又は構成要素であり得る。ＡＴＥを使用して製造時に欠陥のあるチップや不満足なチップを除去することにより、歩留まりの品質を大幅に向上させることができる。

【0004】

自動車デバイステストの分野では、追加の安全性が考慮され、場合によっては、自動車デバイスはゼロトレランス手法を使用してテストされる。部品平均テスト（Ｐａｒｔ Ａｖｅｒａｇｅ Ｔｅｓｔｉｎｇ：ＰＡＴ）は、同じロット、ウェハ、又はサブウェハ近傍内の他の部品と著しく異なる特性を有する部品（例えば、ウェハ又はダイ）を特定する統計分析に基づくデバイステストの一種である。これらの部品の差異は、どの部品が不合格になる（例えば、許容限度の範囲外になる）と予想されるかを示し得る。一般に、部品平均テストでは、以前にテストした部品からデータを収集し、以前の測定値の平均値（又は中央値）を現在の部品と比較する。現在の部品の測定値が特定の範囲外にある場合、その部品は外れ値と示される。この範囲は、例えば、平均からの標準偏差の数に基づき得るか、又は四分位範囲値の計算に基づき得る。

【0005】

残念ながら、部品平均テストに対するこれらの従来の手法は、単変量統計的手法を使用した個別のテストパラメータでの使用に限定されている。さらに、部品平均テストの限界値を設定する現在の手法はやや単純化されており、所望するよりも多くのオーバーキルが生じ得る。

【発明の概要】

【0006】

必要とされているのは、外れ値ユニットを検出し、オーバーキル及びエスケープを制限する点で、単変量手法よりも優れたデバイステストへの多変量手法である。それに応じて、本発明の実施形態は、本発明の実施形態による、デバイスをテストし、外れ値を検出するためにテスト結果を分析するための多次元部品平均テストのためのシステム及び方法を提供する。テストには、例えば、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した多変量（例えば、二変量）統計の計算が含まれ得る。

【0007】

一実施形態によれば、動的部品平均テストの方法が開示される。方法は、過去のテスト結果データに基づいてテスト限界値を決定する段階、テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する段階、テスト結果を使用して多変量統計を計算する段階、多変量統計の平均値又は中央値を計算する段階、多変量統計及び多変量平均値又は中央値の間の差を計算する段階、平均値又は中央値に基づいてテスト限界値を更新し、更新されたテスト限界値を生成する段階、及び平均値又は中央値及び更新されたテスト限界値に基づいて複数のデバイスの外れ値を特定する段階を含む。

【0008】

いくつかの実施形態によれば、方法は、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＰＣＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：ＩＣＡ）、自動エンコーディング、機械学習、又は重要な因子を特定する他の同様の分析方法のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する段階を含む。

【0009】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、二変量対を形成する段階、比率を形成する段階、及びデルタを形成する段階のうちの少なくとも１つを含む。

【0010】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、結果タイプに従ってテスト結果をクラスタリングする段階を含む。

【0011】

いくつかの実施形態によれば、方法は、外れ値の結果を増幅するために、非線形、非単調変換を使用して平均値又は中央値を残差空間に変換する段階を含む。

【0012】

いくつかの実施形態によれば、方法は、平均値又は中央値に基づいてテスト限界値を更新する前に外れ値の結果を除外する段階を含む。

【0013】

いくつかの実施形態によれば、方法は、平均値又は中央値に基づいてテスト限界値を更新する前に、再重み付け最小二乗回帰を実行する段階を含む。

【0014】

別の実施形態によれば、動的部品平均テストを実行するための装置が開示される。装置は、プロセッサ、並びにテストデータ及び命令を記憶するためのプロセッサと通信するメモリとを含み、プロセッサは、多変量（又は多次元）部品平均テストの方法を実行するための命令を実行し、方法は、過去のテスト結果データに基づいてテスト限界値を決定する段階、テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する段階、テスト結果を使用して多変量統計を計算する段階、多変量統計の平均値又は中央値を計算する段階、多変量統計及び多変量平均値又は中央値の間の差を計算する段階、平均値又は中央値に基づいてテスト限界値を更新し、更新されたテスト限界値を生成する段階、及び平均値又は中央値及び更新されたテスト限界値に基づいて複数のデバイスの外れ値を特定する段階を含む。

【0015】

いくつかの実施形態によれば、方法は、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、自動エンコーディング、機械学習、又は重要な因子を特定する他の同様の分析方法のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する段階を含む。

【0016】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、二変量対を形成する段階、二変量比率を形成する段階、及び二変量デルタを形成する段階のうちの少なくとも１つを含む。

【0017】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、結果タイプに従ってテスト結果をクラスタリングする段階を含む。

【0018】

いくつかの実施形態によれば、方法は、外れ値の結果を増幅するために、非線形、非単調変換を使用して平均値又は中央値を残差空間に変換する段階を含む。

【0019】

いくつかの実施形態によれば、方法は、平均値又は中央値に基づいてテスト限界値を更新する前に外れ値の結果を除外する段階を含む。

【0020】

いくつかの実施形態によれば、方法は、平均値又は中央値に基づいてテスト限界値を更新する前に、再重み付け最小二乗回帰を実行する段階を含む。

【0021】

別の実施形態によれば、１つ又は複数のプロセッサによって実行可能なプログラム命令を記憶した１つ又は複数の非一時的コンピュータ可読媒体は、過去のテスト結果データに基づいてテスト限界値を決定する段階、テスト限界値に従って複数のデバイスをテストし、テスト結果を取得する段階、テスト結果を使用して多変量統計を計算する段階、多変量統計の平均値又は中央値を計算する段階、多変量統計の平均値又は中央値を計算する段階、平均値又は中央値に基づいてテスト限界値を更新し、更新されたテスト限界値を生成する段階、及び平均値又は中央値及び更新されたテスト限界値に基づいて複数のデバイスの外れ値を特定する段階を含む方法を実装する。

【0022】

いくつかの実施形態によれば、方法は、主成分分析（ＰＣＡ）、独立成分分析（ＩＣＡ）、自動エンコーディング、機械学習、又は重要な因子を特定する他の同様の分析方法のうちの少なくとも１つを実行することによって、テストのための重要な測定値を決定する段階を含む。

【0023】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、二変量対を形成する段階、比率を形成する段階、及びデルタを形成する段階のうちの少なくとも１つを含む。

【0024】

いくつかの実施形態によれば、テスト結果を使用して多変量統計を計算する段階は、結果タイプに従ってテスト結果をクラスタリングする段階を含む。

【0025】

いくつかの実施形態によれば、方法は、外れ値の結果を増幅するために、非線形、非単調変換を使用して平均値又は中央値を残差空間に変換する段階を含む。

【0026】

いくつかの実施形態によれば、方法は、ｅテストデータ又は別の製造段階中に生成されたデータにアクセスすることを含む。

【図面の簡単な説明】

【0027】

本明細書に組み込まれ、本明細書の一部を形成する添付図面は、本発明の実施形態を例示し、本明細書の記載と共に、本発明の原理を説明するのに役立つ。

【0028】

【図1】例示的な単変量静的ＰＡＴプロセスのブロック図及びデータフロー図である。

【0029】

【図2】本発明の実施形態による、蓄積されたテストデータに従ってＰＡＴ限界値を動的に更新する例示的な単変量ＰＡＴプロセスのブロック図及びデータフロー図である。

【0030】

【図3】本発明の実施形態による、多変量統計計算を使用して蓄積されたテストデータに従ってＰＡＴ限界値を動的に更新する例示的な多変量ＰＡＴプロセスのフローチャートである。

【0031】

【図4】本発明の実施形態による、残差空間への変換が実行される前後で示される例示的なＰＡＴ結果を示す。

【0032】

【図5】本発明の実施形態による、ロバストデータ回帰が実行される前後で示される、多変量統計計算を使用して生成された例示的なＰＡＴ結果を示す。

【0033】

【図6】外れ値デバイスを検出するために多変量統計計算及び動的ＰＡＴを使用してデバイスを自動的にテストするためのコンピュータ制御プロセスのコンピュータ実装ステップの例示的な順序を示すフローチャートである。

【0034】

【図7】本発明の実施形態を実装し得る例示的なコンピュータプラットフォームを示す。

【発明を実施するための形態】

【0035】

ここで、いくつかの実施形態を詳細に参照する。主題を代替実施形態に関連して説明するが、それらは、請求項に記載の主題をこれらの実施形態に限定することを意図したものではないことが理解されるであろう。それどころか、請求項に記載の主題は、添付の特許請求の範囲によって定義される、請求項に記載の主題の主旨及び範囲内に含まれ得る代替物、修正物、及び均等物を網羅することを意図している。

【0036】

さらに、以下の詳細な説明では、請求項に記載の主題への十分な理解を提供するために、多くの具体的な詳細が述べられている。しかし、当業者であれば、それらの具体的な詳細又はその均等物がなくとも実施形態を実施し得ることを認識されるであろう。他の例では、主題の態様及び特徴を不必要に曖昧にしないよう、周知の方法、手順、構成要素、及び回路については詳細に説明していない。

【0037】

以下の詳細な説明の一部は、方法の観点から提示及び論じられる。ステップ及びその順序付けは、本方法の動作を説明する本明細書の図（例えば、図６）に開示されているが、そのようなステップ及び順序付けは例示的なものである。実施形態は、その他の様々なステップ又は本明細書の図のフローチャートに記載されているステップの変形の実行、及び、本明細書に示され説明されるもの以外の順序での実行に良好に適合する。

【0038】

詳細な説明の一部は、手順、ステップ、論理ブロック、処理、及びその他の、コンピュータメモリ上で実行できるデータビットに対する動作のその他の記号表記に関して示されている。これらの説明及び表記は、データ処理技術分野の当業者が、彼らの作業の内容を他の当業者に最も効果的に伝えるために使用する手段である。ここでは、手順、コンピュータ実行ステップ、論理ブロック、処理などは、一般に、所望の結果につながる自己矛盾のない一連のステップ又は命令であると考えられる。ステップは、物理量を物理的に操作することを必要とするステップである。必ずではないが通常は、これらの量は、コンピュータシステムに記憶、転送、結合、比較、及びその他の操作が可能な電気信号又は磁気信号の形式をとる。主に、一般的に使用されているという理由から、これらの信号を、ビット、値、要素、記号、文字、用語、番号、パラメータなどと呼ぶと便利な場合があることが分かっている。

【0039】

しかし、これらの用語及び同様の用語のすべては、適切な物理量に関連付けられることになり、これらの量に適用される便宜的なラベルに過ぎないことに留意すべきである。以下の議論から明らかなように、特に別段の記載がない限り、全体を通して、「アクセスする（ａｃｃｅｓｓｉｎｇ）」、「書き込む（ｗｒｉｔｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」、「記憶する（ｓｔｏｒｉｎｇ）」、「送信する（ｔｒａｎｓｍｉｔｔｉｎｇ）」、「関連付ける（ａｓｓｏｃｉａｔｉｎｇ）」、「特定する（ｉｄｅｎｔｉｆｙｉｎｇ）」、「エンコーディングする（ｅｎｃｏｄｉｎｇ）」、「ラベル付けする（ｌａｂｅｌｉｎｇ）」などのような用語を使用した議論は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを操作し、同様に、コンピュータシステムのメモリ又はレジスタ、あるいはその他のそのような情報ストレージデバイス、送信デバイス又は表示デバイス内の物理量として表される他のデータに変換する、コンピュータシステム、又は同様の電子計算デバイスの動作及びプロセスを指すことが理解される。

【0040】

いくつかの実施形態は、１つ又は複数のコンピュータ又は他のデバイスによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的な文脈で説明され得る。一般に、プログラムモジュールには、特定のタスクを実行する、又は特定の抽象データタイプを実装するルーチン、アルゴリズム、プログラム、オブジェクト、構成要素、データ構造などが含まれる。通常、プログラムモジュールの機能は、様々な実施形態において所望に応じて、結合又は分散され得る。多次元動的部品平均テストのためのシステム及び方法

【0041】

本発明の実施形態は、本発明の実施形態による、デバイスをテストし、外れ値を検出するためにテスト結果を分析するための多次元部品平均テストのためのシステム及び方法を提供する。テストには、例えば、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した多変量（例えば、二変量）統計の計算が含まれ得る。部品平均テスト（ＰＡＴ）では、従来、材料セットを処理する前に設定される特定のテストパラメータのための固定の外れ値の限界値を使用する。例えば、テストパラメータは、過去のテストデータの四分位範囲値の計算に基づき得る。このようにして、同じロット内の他の部品の正規分布とは著しく異なる特性を有する部品（例えば、ウェハ、ダイ、材料、デバイス）を特定できる。これらの部品の差異は、どの部品が不合格になると予想されるかを示し得る。動的ＰＡＴ（Ｄｙｎａｍｉｃ ＰＡＴ：ＤＰＡＴ）を使用すると、新しいテスト結果が利用可能になるに伴い経時的に、自動的に更新できる非固定限界値を提供できる。

【0042】

図１は、静的ＰＡＴ限界値を決定し、過去のテストデータ１０５に基づいて部品平均テスト（ＰＡＴ）を実行するための例示的なコンピュータ実装プロセス１００を示すフローチャートである。図１に示すように、過去のテストデータ１０５は、静的ＰＡＴ限界値１１０を確立するために使用される。次いで、静的ＰＡＴスクリーニング１２０を使用して、デバイス（例えば、デバイス１１５）をテストして、それらが静的ＰＡＴ限界値に合格又は不合格であるかを決定する。不合格が発生したデバイスは、それらの性能に基づいてビニングされ得る。

【0043】

図２は、本発明の実施形態による、ユニットがテストされるときにＰＡＴ限界値を動的に計算し調整する、パッケージ化された製品のための例示的なＤＰＡＴテストプロセス２００を示す。図２に示すように、十分な数のテストが実行されると、蓄積されたテストデータに基づいてＰＡＴ限界値が動的に確立される。ロット開始段階２０５は、予め定められたＰＡＴ限界値を使用して実行され、ＰＡＴ限界値は、テストフェーズ２１０中に蓄積されたテストデータに基づいて、テスト分析段階２１５中に調整される。動的ＰＡＴは部品平均テストに対する効率的な手法であるが、テスト結果の分析には通常、自動車電子評議会（Ａｕｔｏｍｏｔｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏｕｎｃｉｌ：ＡＥＣ）規格に従って定義されている個別のテストパラメータでの使用に限定された単変量統計的手法のみが使用される。さらに、ＰＡＴに対する既存の手法は、ＡＥＣ規格に従って実行されると、多くの場合、所望するよりも多くのオーバーキルが生じる。

【0044】

それに応じて、本発明の実施形態は、二変量パラメータなどの１つの統計的測定基準における複数のパラメータを使用してデバイスをスクリーニングできる。いくつかの実施形態では、２つの漏れ測定値が組み合わされて、スクリーニングプロセスの予め定められた限界値の範囲外にあるデバイスをスクリーニングする。いくつかの実施形態は、スクリーニングプロセスを実行するために、２次元以上の任意の次元の多変量統計を使用する。本発明の実施形態は、複数のデバイスをスクリーニングするために並列実行を実行でき、過去のテストデータに基づいてロバスト統計を実装できる。スクリーニングを実行するテスト機器のユーザ（例えば、作成者又は管理者）は、ｎ個のスクリーニングパラメータを使用して、どのテスト測定値がスクリーニング目的に利用されることを意図しているかを示すことができる。テスト結果の数は、外れ値の結果の数ｙを計算するために使用される。

【0045】

図３は、本発明の実施形態による、デバイスをテストし、テスト結果を分析するための例示的な多次元部品平均テストプロセス３００を示す。テストプロセス３００は、ロット開始フェーズ３０５、テスト実行フェーズ３１０、及びテスト後実行フェーズ３１５を含む。ＤＵＴは、１つの統計的測定基準の複数のパラメータを使用してスクリーニングできる。例えば、スクリーニングには、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した二変量統計の計算が含まれ得る。

【0046】

ロット開始フェーズ３０５は、テストプログラムの初期限界値を決定するためにテストの前に実行される。ロット開始フェーズ３０５は、各スクリーニング測定値に対する限界値計算をシードするために、記憶された過去のデータ及び他の関連情報をプリフェッチすることを含み得る。過去のデータは、テストシステムでローカルに記憶され得るか、又はローカル又はリモートのデータベース又はホストからフェッチされ得る。過去のデータは、既にテストした同じデバイスの他の製造ロットからのデータ、以前に実行された同じロットのテスト挿入データ、又はその２つの組み合わせを含み得る。ウェハテストのプローブフェーズからのデータは、ウェハがカットされた後のパッケージテストの初期テスト限界値を確立するために使用され得る。過去のデータには、ウェハ製造中に収集されたｅテスト又はパラメトリックテストからのテストデータ、又は特に追跡目的のために製造中にシリアル化される材料の場合、デバイスの製造中に取得されるその他のデータも含まれ得る。固定テスト限界値は、ロット開始フェーズ３０５中にユーザが手動で提供することもできる。

【0047】

テスト実行フェーズ３１０は、ＰＡＴパラメータの収集及びテスト対象デバイスのためのテストプログラムの実行を含む。テスト中に外れ値ステータスを決定するための例示的なプロセスの１つでは、二変量対、比率、デルタなどが、すべての測定値、又はタイプ別（例えば、電流、電圧、周波数など）に分類された測定値のクラスタに対して形成され、中央値及び残差が二変量対ごとに計算される。テスト中に蓄積された新しい測定値は、テスト中にテスト限界値を更新するために使用でき、集約された二変量結果を使用して外れ値ステータスを決定できる。テスト結果を使用してテスト限界値を更新する前に、各二変量対から予想される外れ値を除外するために、テスト実行フェーズ３１０中にロバスト回帰（例えば、再重み付け最小二乗回帰）を任意選択で実行できる。

【0048】

いくつかの実施形態によれば、多次元部品平均テストプロセス３００は、ＤＵＴを以前にテストされたデバイスのセットのシグネチャと比較することを含む。ＤＵＴは、ＤＵＴのシグネチャに最も一致するシグネチャを有するロット（例えば、最も類似するウェハ又はロット）に従って確立されたパラメータを使用してテストされる。

【0049】

いくつかの実施形態によれば、ベースラインテスト限界値は、同じロットに対して実行された以前のテスト数（例えば、５０回又は１００回のテスト）に従って決定される。１つの手法は、次のＤＵＴ（例えば、ダイ）のパラメータ値を推定するために、以前の測定値の中央値を決定することである。ＤＵＴの結果及び中央値の間の差（「残差」）が計算される。残差の値がベースラインと比較して有意である場合、ＤＵＴは外れ値（不合格）であると判定され得る。

【0050】

テスト限界値を更新するためにフィードフォワードされたデータを使用して、テストプロセスの対象となる材料の異なる物理的部分に対して個別の限界値を確立できる。例えば、通常はウェハ上の限られた数のサイトで収集されるｅテストデータを使用して、ウェハの同じ部分の新しい材料に適用される限界値を調整できる。材料がウェハのどのゾーンのものであるかに基づいて、様々な限界値を適用できる。ゾーンは、例えば、放射状又は四分位数として定義できる。ウェハ上のレチクルショットは、ベースラインの各ユニットにどのレチクルショットが使用されたかを判定するために、追跡及び使用され得る。例えば、各ユニットにどのようなレチクルショットが使用されたかに応じて限界値を設定できる。別の例では、２×２レチクルショットの左上の位置など、レチクル内の位置に従ってユニットが比較される。

【0051】

テストプログラムでスクリーニング測定が実行された後、その測定値はスクリーニング計算の実行に使用される。例えば、測定データを（テストの実行時にテストごとに個別に呼び出すのとは対照的に）１回の呼び出しでスクリーニングコンピュータシステムに渡すことができ、それにより通信オーバーヘッドが節約される。二変量統計は、任意の２つのパラメータのすべての（ｎ）（ｎ－１）個の組み合わせに対して計算される。例えば、二変量統計には、比率（ｎ_ｉ／ｎ_ｊ）又はデルタ（ｎ_ｉ－ｎ_ｊ）、又は外れ値のスクリーニングに適した２つのパラメータのその他の組み合わせが含まれ得る。パラメータの組み合わせごとに、以前のｙ個の二変量測定基準を使用して中央値統計が計算される。次いで、統計の中央値は、関心のある現在のデバイス／ダイの期待値になる。

【0052】

テスト後実行フェーズ３１５は、テスト実行３１０の後に実行され、１つ又は複数の最近テストされたロットからの結果を分析する。このフェーズには、測定傾向の特定、及び制御不能になり得る材料の特定が含まれ得、その場合、テストシステムは、通知を生成及び／又は材料の流れの中のデバイスのテストを自動的に停止し得る。いくつかの実施形態によれば、品質向上のためのテスト中に追加の監視層の機能が提供される。例えば、すべての測定データ及びテスト結果データを、テスト対象のすべてのデバイスにわたって維持及び集約でき、集約されたデータを分析して傾向を特定できる。品質逸脱の可能性を示す傾向が特定された場合、テストシステムは介入することができる。

【0053】

集約及び介入の期間は様々であり得る。一例では、期間は材料の単一ロットをテストする期間に限定されており、介入は即座に行われる。この場合、テストは中止され、診断プロセスが開始される。別の例では、期間は単一ロットの材料のテストよりも長くすることができ、介入は、複数の材料ロットにわたって検出された傾向の、責任者への通知（例えば、メッセージ、電子メール、又はその他の表示）であってよく、製造を停止又は動的に変更できる。このように、ＤＰＡＴ統計の機能は、ＤＰＡＴ統計を使用して集約結果及び傾向を監視することにより、単一デバイスの結果以外にも拡張される。

【0054】

図４に示すように、本発明の実施形態によれば、中央値及び測定結果の間の差（「残差」）が計算される。例えば、最新のダイの残差を以前のｙ個の測定の残差と比較でき、それに応じて、ダイの分布を並べ替えることができる。図４の例では、非線形、非単調変換が生のテストデータに適用され、生のデータが残差空間に変換される。この手法により、外れ値の動作が増幅され得、その結果、これまで検出されなかった不合格のデバイスが外れ値のスクリーニングで認識されるようになる。残差変換は２つのパスで実行できる。いくつかの実施形態によれば、ｙ個の測定基準の母集団からの外れ値は、中央値及び残差の計算の前に除外され、ロバスト統計を可能にできる。

【0055】

図５に示すように、ロバスト回帰を使用すると、デバイスの良好な動作のモデル化に重点を置くことができる。ロバスト回帰により、母集団内の外れ値が回帰に影響を与えるのを防ぎ、それにより、オーバーキルを有利に削減することができる。例えば、テスト限界値を再計算する前に予想される外れ値を除外することができ、現在のテスト対象デバイスを新しいベースラインと比較することができる。図５に示す例では、再重み付け最小二乗回帰が実行され、次いで、最終的な回帰計算から除外される総外れ値が特定される。このように、ロバスト回帰を使用して限界値が調整されるときに、疑わしい外れ値のオーバーキルが防止される。

【0056】

いくつかの実施形態によれば、結果の集合が項目ごとに存在するように、複数の外れ値のスクリーニング技術及び／又は複数の限界値設定戦略を二変量統計に適用できる。この手法はアンサンブル法と呼ばれ得る。外れ値ステータスは、残差限界値を超える二変量統計の数に基づいて判定され得る。閾値は１から（ｎ）（ｎ－１）まで変化し得る。複数の外れ値手法を各二変量統計に適用すると、閾値を（ｎ）（ｎ－１）を超えて調整できる。

【0057】

アンサンブル法を使用する場合、最終的な外れ値の決定は、アンサンブル内で正確に実行されることを示す（例えば、より強い信号及び／又はより優れた予測結果を有する）方法のみに限定できる。例えば、事後分析は、どの特定の外れ値測定基準が関心のある結果（例えば、バーンイン中のデバイス故障、現場でのデバイス故障など）を予測していたかを判定するために実行され得る。この手法では、デバイスの追跡可能性、及び結果を後続の材料のためのテストプロセスにフィードバックすることが必要であり得る。別の手法では、外れ値デバイスが他のデバイスの統計分布の中心からどれだけ離れているかを判定し、外れ値の上限界値又は下限界値に非常に近い外れ値分析結果に、より多くの重みが適用される。

【0058】

場合によっては、比較的大きな測定値ｎの開始数字を使用するか、又は二変量よりも高い次元の統計を使用することにより、一般に「次元の呪い」として知られる様々な問題が発生し得る。したがって、いくつかの実施形態によれば、測定値は類似性（例えば、電流測定値、電圧測定値、周波数測定値など）によってグループ化され、過度に複雑な計算を避けるために、グループ内では多変量の組み合わせのみが生成される。あるいは、デバイスの機能に従って測定値をクラスタ化することもできる。例えば、回路の特定の部分（例えば、アナログからデジタルへの変換を実装するブロック）の性能に関連するすべての測定値を１つのクラスタにグループ化し、電源管理ユニットの性能測定値を第２のクラスタにグループ化できる。予備分析は、主成分分析（ＰＣＡ）、自動エンコーディング、又は機械学習などのパラメータの特定の組み合わせを生成するために、任意のテストを行う前、テストの開始時に静的に、又はテストプロセス全体を通じて定期的に実行できる。

【0059】

テスト及び分析には、任意の数の異なるテストパラメータを使用できるが、実施形態による最も重要なパラメータのいくつかには、以下が含まれる。
・ 抵抗
・ キャパシタンス
・ インダクタンス
・ メモリ
・ 圧力
・ タイミング／頻度
・ ヒューズ／トリム／不揮発性メモリ
・ Ｉ／Ｏ及びＤＣ
・ 送信／受信
・ 電圧
・ アナログ
・ 電流監視（例えば、Ｉ_ＤＤＱリーク）

【0060】

本発明の実施形態は目視検査データを必要とせず、従来のテストプログラム測定データのみを使用して実装できることに留意されたい。

【0061】

いくつかの実施形態によれば、テストされる各デバイスは、例えば、テストされる材料を分類するために、ハードビン及び／又はソフトビンを使用して分類でき、その結果、異なるビンに異なる下流テストフローを割り当てることができる。

【0062】

いくつかの実施形態によれば、従来のＤＰＡＴを多変量統計のみで置き換えるのとは対照的に、単変量統計を使用する従来のＤＰＡＴ統計的尺度も、スクリーニング決定に使用するために多変量統計と共に計算することができる。

【0063】

いくつかの実施形態によれば、不合格の部品は分類（例えば、ビニング）される。すべての外れ値計算は、例えば、どのテストが不合格なのか、残差の値などに応じてビニングできる。

【0064】

図６は、本発明の実施形態による、デバイスをテストし、外れ値を検出するためにテスト結果を分析するための例示的な自動コンピュータ実装多次元部品平均テストプロセス６００を示すフローチャートである。テストには、例えば、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した多変量（例えば、二変量）統計の計算が含まれ得る。

【0065】

ステップ６０５において、テスト限界値が決定される。テスト限界値は、外れ値を特定するためにテストされるデバイスの許容範囲を定義する。テスト限界値は、例えば、メモリ、ローカル又はリモートのストレージシステムからアクセスされる過去のテストデータに基づいて決定できる。過去のデータは、例えば、同じロットから、あるいはロット全体から、テストされた以前の５０又は１００ユニットに基づき得る。いくつかの実施形態によれば、テスト限界値は、記憶されたｅテストデータ又は以前の製造段階中に生成されたデータに従って決定され、例えば、統計的データ又は位相的相関データで増加させ得る。

【0066】

ステップ６０５において、例えば、主成分分析、自動エンコーディング、又は機械学習などの周知の技術を実行することによって、テストのための重要な測定値を決定することも含み得る。

【0067】

ステップ６１０において、定義されたテスト限界値に従って複数のデバイスがテストされ、テスト結果が取得される。いくつかの実施形態によれば、生のテスト結果が記憶され、集約されて、テスト中又はテスト後の傾向を特定できる。

【0068】

ステップ６１５において、テスト結果を使用して多変量統計が計算される。このステップは、例えば、二変量対の形成、二変量比率の形成、及び二変量デルタの形成を含み得るが、任意の適切な多変量統計計算を使用できる。

【0069】

ステップ６２０において、多変量統計の平均値又は中央値が計算される。外れ値の動作を増幅するために、多変量統計の平均値又は中央値を任意選択で、残差空間に変換し得、その結果、これまで検出されなかった不合格のデバイスが外れ値のスクリーニングで認識されるようになる。残差変換は２つのパスで実行できる。いくつかの実施形態によれば、ｙ個の測定基準の母集団からの外れ値は、中央値及び残差の計算の前に除外され、ロバスト統計を可能にできる。ロバスト回帰は、母集団内の外れ値が回帰に影響を与えるのを防ぐために任意選択で実行され、それにより、オーバーキルを有利に削減する。ステップ６２０は、例えば、再重み付けされた最小二乗回帰を実行することを含み得る。

【0070】

ステップ６２５において、平均値又は中央値及び／又は残差に基づいてテスト限界値が更新される。いくつかの実施形態によれば、外れ値は、テスト限界値を更新する前に除外される。

【0071】

ステップ６３０において、複数のデバイスの外れ値が、平均値又は中央値、及び／又は残差及び更新されたテスト限界値に基づいて特定される。外れ値により、不合格のデバイスと見なされ得る、及び／又は不合格になった性能、テストパラメータなどに応じてビニングされ得る。例示的なテストシステム

【0072】

本発明の実施形態は、本発明の実施形態による、デバイスをテストし、外れ値を検出するためにテスト結果を分析するための多次元部品平均テストのための電子システムに関する。テストには、例えば、同様のデバイスのデルタ測定値、測定値の比率、又はメタパラメータを定義するために固有ベクトル及び固有値を特定する主成分分析を使用した多変量（例えば、二変量）統計の計算が含まれ得る。以下の議論では、本発明の実施形態を実装するためのプラットフォームとして使用できる、そのような例示的な電子システム又はコンピュータシステムの１つについて説明する。例えば、コンピュータシステム７１２は、デバイスを受け入れるためのソケット、熱管理システム、電源、及びデバイスをテストするための電子信号システムを含むテストシステム又は装置とインターフェースするように構成され得る。

【0073】

図７の例では、例示的なコンピュータシステム７１２は、ソフトウェアアプリケーション及びオペレーティングシステムを実行するための中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）７０１を含む。ランダムアクセスメモリ７０２及びリードオンリメモリ７０３が、ＣＰＵ７０１が使用するためのアプリケーション及びデータを記憶する。データストレージデバイス７０４は、アプリケーション及びデータのための不揮発性ストレージを提供し、固定ディスクドライブ、リムーバブルディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、又は他の光学ストレージデバイスを含み得る。データストレージデバイス７０４又はメモリ７０２／７０３は、過去及びリアルタイムのテストデータ（例えば、テスト結果、限界値、計算など）を記憶できる。任意選択のユーザ入力７０６及び７０７は、１人又は複数のユーザからの入力をコンピュータシステム７１２に通信するデバイス（例えば、マウス、ジョイスティック、カメラ、タッチスクリーン、キーボード、及び／又はマイクロホン）を備える。通信又はネットワークインターフェース７０８は、コンピュータシステム７１２が、有線及び／又は無線通信を含み、イントラネット又はインターネットを含む電子通信ネットワークを介して他のコンピュータシステム、ネットワーク、又はデバイスと通信できるようにする。

【0074】

任意選択のディスプレイデバイス７１０は、コンピュータシステム７１２からの信号に応答して、視覚情報、例えば、最終スキャンレポートを表示可能な任意のデバイスであり得、例えば、フラットパネルタッチセンシティブディスプレイを含み得る。ＣＰＵ７０１、メモリ７０２／７０３、データストレージ７０４、ユーザ入力デバイス７０６、及びグラフィックスサブシステム７０５を含むコンピュータシステム７１２の構成要素は、１つ又は複数のデータバス７００を介して結合され得る。

【0075】

以上、本発明の実施形態について説明した。本発明を特定の実施形態において説明してきたが、本発明はそのような実施形態によって限定されるものと解釈されるべきではなく、以下の特許請求の範囲に従って解釈されるべきであることを理解されたい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】