特許 7467373 欠陥分類装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-05

(45)【発行日】2024-04-15

(54)【発明の名称】欠陥分類装置、方法およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240408BHJP

   G01N 21/956 20060101ALI20240408BHJP

【ＦＩ】

G06T7/00 610C

G01N21/956 A

【請求項の数】 12

(21)【出願番号】P 2021039436

(22)【出願日】2021-03-11

(65)【公開番号】P2022139174

(43)【公開日】2022-09-26

【審査請求日】2023-02-17

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】平井 隆介

(72)【発明者】

【氏名】浅香 沙織

(72)【発明者】

【氏名】坂田 幸辰

(72)【発明者】

【氏名】谷沢 昭行

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２００３－０９８１１４（ＪＰ，Ａ）

【文献】特開２０２０－０８５７５７（ＪＰ，Ａ）

【文献】特開２０１６－０１７８３８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０１２０２２０（ＵＳ，Ａ１）

【文献】検査における映像情報メディア技術，映像情報メディア学会誌 第５２巻 第５号，1998年05月20日，647～652

【文献】Hiroyuki Ukida，Visual defect inspection of rotating screw heads，SICE Annual Conference 2007，IEEE，2007年09月17日，1478-1483，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=4421216

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／９５６

(57)【特許請求の範囲】

【請求項1】

設計ソフトウェアにより作成された設計データに基づく画像であって、第１検査対象に関する第１設計画像を取得する第１取得部と、
前記設計データに基づき生成された前記第１検査対象を撮影した第１撮影画像を取得する第２取得部と、
前記第１設計画像を、欠陥のない第２検査対象を撮影した第２撮影画像を用いて表現した参照画像に変換する変換部と、
前記参照画像の信頼度を算出する算出部と、
前記参照画像と前記第１撮影画像とを比較して、前記第１検査対象における欠陥を検出する検出部と、
前記信頼度に基づき前記欠陥を分類する分類部と、
を具備する欠陥分類装置。

【請求項2】

前記第２撮影画像の部分画像である第２撮影パッチ画像と、前記第２検査対象に関する設計データに基づく第２設計画像の部分画像である第２設計パッチ画像とが紐づけられ、
前記変換部は、前記第１設計画像から一部を切り出した部分画像である第１設計パッチ画像に類似する第２設計パッチ画像に紐づく第２撮影パッチ画像を、前記第１設計パッチ画像の切り出し位置に対応させて貼り付けることで前記参照画像を生成し、
前記算出部は、前記第１設計パッチ画像と前記第２設計パッチ画像との類似度が高いほど、前記切り出し位置の前記信頼度を高く設定する、請求項１に記載の欠陥分類装置。

【請求項3】

前記類似度は、前記第１設計パッチ画像と前記第２設計パッチ画像との差分が小さいほど高く設定される、請求項２に記載の欠陥分類装置。

【請求項4】

前記類似度は、前記第１設計パッチ画像と前記第２設計パッチ画像との正規化相互相関の値が大きいほど高く設定される、請求項２に記載の欠陥分類装置。

【請求項5】

前記算出部は、複数の第２撮影パッチ画像が重畳した画素位置において、前記第１設計パッチ画像と前記複数の第２設計パッチ画像それぞれとの類似度に関する統計量を前記画素位置の信頼度として算出する、請求項２から請求項４のいずれか１項に記載の欠陥分類装置。

【請求項6】

前記検出部は、前記参照画像と前記第１撮影画像とを比較して差分が閾値以上となる画素の領域を前記欠陥として検出し、前記欠陥の位置と、前記欠陥の位置に対応する前記参照画像の信頼度とを取得する、請求項１から請求項５のいずれか１項に記載の欠陥分類装置。

【請求項7】

前記検出部は、前記参照画像と前記第１撮影画像とをそれぞれ正規化した画像の画素値に基づいて前記欠陥の位置を検出する、請求項６に記載の欠陥分類装置。

【請求項8】

前記分類部は、欠陥を有する画像と対応する信頼度とを入力し、欠陥の種類を出力するように学習された学習済みモデルに対して、前記第１撮影画像と前記欠陥の位置と対応する信頼度とを入力することにより、前記第１撮影画像に関する前記欠陥の種類を分類する、請求項１から請求項７のいずれか１項に記載の欠陥分類装置。

【請求項9】

前記分類部は、前記欠陥の位置と対応する信頼度が閾値未満である場合、前記欠陥を疑似欠陥に分類する、請求項１から請求項８のいずれか１項に記載の欠陥分類装置。

【請求項10】

前記第１撮影画像に前記欠陥の位置と前記欠陥の種類とを表示する表示部をさらに具備する、請求項１から請求項９のいずれか１項に記載の欠陥分類装置。

【請求項11】

設計ソフトウェアにより作成された設計データに基づく画像であって、第１検査対象に関する第１設計画像を取得し、
前記設計データに基づき生成された前記第１検査対象を撮影した第１撮影画像を取得し、
前記第１設計画像を、欠陥のない第２検査対象を撮影した第２撮影画像を用いて表現した参照画像に変換し、
前記参照画像の信頼度を算出し、
前記参照画像と前記第１撮影画像とを比較して、前記第１検査対象における欠陥を検出し、
前記信頼度に基づき前記欠陥を分類する、欠陥分類方法。

【請求項12】

コンピュータを、
設計ソフトウェアにより作成された設計データに基づく画像であって、第１検査対象に関する第１設計画像を取得する第１取得手段と、
前記設計データに基づき生成された前記第１検査対象を撮影した第１撮影画像を取得する第２取得手段と、
前記第１設計画像を、欠陥のない第２検査対象を撮影した第２撮影画像を用いて表現した参照画像に変換する変換手段と、
前記参照画像の信頼度を算出する算出手段と、
前記参照画像と前記第１撮影画像とを比較して、前記第１検査対象における欠陥を検出する検出手段と、
前記信頼度に基づき前記欠陥を分類する分類手段として機能させるための欠陥分類プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、欠陥分類装置、方法およびプログラムに関する。

【背景技術】

【0002】

半導体デバイスなどの回路パターンに基づき製品を製造する工程では、製品の歩留まりの低下を抑えるための欠陥検査が重要である。例えば半導体デバイスにおいては、Ｄｉｅ ｔｏ Ｄａｔａｂａｓｅ検査と呼ばれる、回路パターンの撮影画像と回路パターンから撮影画像を疑似的に生成したマスク画像とを比較する欠陥検査がある。この検査は、単純に２枚の画像を比較するだけであり、原理的に簡単なため、様々な検査装置に実装される。
また、欠陥検査においては、修正すべき欠陥、転写後の半導体デバイスの動作には影響がない欠陥、または疑似欠陥といったように欠陥を分類して判断することが有用である。一般的に、目視による分類は評価者の熟練度で精度のばらつきが大きいこと、さらに時間がかかることから、欠陥の分類に関する自動化手法が様々提案されている。
例えば、対象画像と参照画像との差分が大きい領域を設計データに重畳し、設計レイアウトに依存する欠陥を分類する手法がある。使用される参照画像は、欠陥が混入していないマスクの撮影画像を忠実に再現することを前提とする。そのため、参照画像の再現性が低いと上述の差分が大きくなり、欠陥が誤検出される場合に対応できない。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開第２０１１／００４５３４号

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、上述の課題を解決するためになされたものであり、高精度な欠陥検査を支援できる欠陥分類装置、方法およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0005】

本実施形態に係る欠陥分類装置は、第１取得部と、第２取得部と、変換部と、算出部と、検出部と、分類部とを含む。第１取得部は、設計ソフトウェアにより作成された設計データに基づく画像であって、第１検査対象に関する第１設計画像を取得する。第２取得部は、前記設計データに基づき生成された前記第１検査対象を撮影した第１撮影画像を取得する。変換部は、前記第１設計画像を、欠陥のない第２検査対象を撮影した第２撮影画像を用いて表現した参照画像に変換する。算出部は、前記参照画像の信頼度を算出する。検出部は、前記参照画像と前記第１撮影画像とを比較して、前記第１検査対象における欠陥を検出する。分類部は、前記信頼度に基づき前記欠陥を分類する。

【図面の簡単な説明】

【0006】

【図1】本実施形態に係る欠陥分類装置を示すブロック図。

【図2】変換部の詳細を示すブロック図。

【図3】辞書格納部に格納される辞書を木構造で保持する場合の概念図。

【図4】第２撮影パッチ画像の貼り付けの一例を示す図。

【図5】第２撮影パッチ画像の貼り付けの別例を示す図。

【図6】本実施形態に係る欠陥分類装置の動作例を示すフローチャート。

【図7】分類部における欠陥の分類結果の第１例を示す図。

【図8】分類部における欠陥の分類結果の第２例を示す図。

【図9】欠陥分類装置のハードウェア構成の一例を示す図。

【発明を実施するための形態】

【0007】

以下、図面を参照しながら本実施形態に係る欠陥分類装置、方法およびプログラムについて詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作を行うものとして、重複する説明を適宜省略する。
本実施形態に係る欠陥分類装置を図１のブロック図を参照して説明する。

【0008】

本実施形態に係る欠陥分類装置１０は、設計画像取得部１０１と、撮影画像取得部１０２と、画像格納部１０３と、変換部１０４と、算出部１０５と、検出部１０６と、分類部１０７と、表示部１０８とを含む。

【0009】

設計画像取得部１０１は、検査対象となる検査対象品（第１検査対象）に関する、設計ソフトウェアにより生成した設計データに基づく第１設計画像を取得する。設計ソフトウェアは、例えばＣＡＤ（Computer Aided Design）のようなコンピュータ設計用のソフトウェアである。設計においては、要求される機能を実現する機能設計や、回路図を作成する論理設計、素子の配置や配線レイアウトを実行する部筒設計などの工程を経て設計データが作成される。第１設計画像は、例えば、Ｄｉｅ ｔｏ Ｄａｔａｂａｓｅ検査と同様に、設計データのパターンの有無に応じた２値化画像である。その他、設計データのパターンに基づいた画像であってもよい。

【0010】

撮影画像取得部１０２は、検査対象の設計データに基づき実際に生成された検査対象を撮影した第１撮影画像を取得する。使用する撮影装置は、例えば、光学カメラである。または、一般の電子顕微鏡やＸ線撮影カメラやそれらに原理的に類似する各種カメラでもよい。つまり、光源から光（電磁波）を検査対象である被写体にスキャン照射し、透過または反射された光（電磁波）がセンサに到達したときの強度などに応じて画素値に変換することで、被写体を画像化する。ここでの光源は、例えば、ＤＵＶ（Deep Ultraviolet：遠紫外光）レーザがある。また、センサは、ＣＭＯＳセンサと同様に２次元アレイ状に並べられたものを用いる。これら光源やセンサは、検査対象のパターンの細かさに応じて、その光の波長やセンサアレイの配置が適切に定められるものとする。

【0011】

画像格納部１０３は、第２設計画像と、第２設計画像に対応する第２撮影画像との画像ペアを収集し、データベースとして格納する。第２設計画像は、上述の検査対象とは異なる、以前に検査された検査対象（第２検査対象）に関する設計データに基づく設計画像である。第２撮影画像は、第２設計画像に関する設計データに基づいて生成された欠陥がない検査対象品（良品または正常な製品ともいう）の撮影画像である。「欠陥がない」とは、例えば、目視または他の外観検査システムにより撮影画像に欠陥がないと判定されることを示す。
画像ペアに含まれる第２撮影画像は、検査対象の第１撮影画像取得時に用いられる撮影系と同一の構成により撮影された画像であることが望ましいが、他の撮影系で取得した画像ペアでもよい。また、画像ペアは、同一の解像度であることが望ましいが、画像ペアを構成する画像間で解像度が異なってもよい。

【0012】

画像ペアは、画像の取得に関する撮影系などの画像の作成情報や、画像の解像度の情報、設計データのパターンに応じてカテゴリ化された情報に応じて仕分けられてもよい。カテゴリに応じて仕分けされた画像ペアの集合を画像ペアクラスとも呼ぶ。ここでの設計データのパターンとは、直線の長さ、曲線の曲率などの幾何学的情報や、ＲＦ回路のようなアナログ回路、論理演算回路のようなデジタル回路など、設計した回路の種類の情報を示す。

【0013】

変換部１０４は、設計画像取得部１０１から第１設計画像を受け取る。変換部１０４は、画像格納部１０３の画像ペアを参照して、第１設計画像を、第１設計画像に関する欠陥のない撮影画像を再現するように第２撮影画像を用いて表現した参照画像に変換する。言い換えれば、変換部１０４は、第１設計画像に基づいて、欠陥がない場合の検査対象の疑似撮影画像となる参照画像を生成する。参照画像は、例えば欠陥検査に用いられるマスク画像となる。
算出部１０５は、変換部１０４で生成された参照画像に関して、参照画像の再現性に対する信頼度を算出する。

【0014】

検出部１０６は、変換部１０４から参照画像を、撮影画像取得部１０２から第１撮影画像をそれぞれ受け取る。検出部１０６は、参照画像と第１撮影画像とを比較して、検査対象に欠陥が存在するか否か、および欠陥が存在する場合は第１撮影画像における欠陥の位置（以下、欠陥位置ともいう）を検出する。

【0015】

分類部１０７は、変換部１０４から参照画像を、算出部１０５から信頼度を、検出部１０６から第１撮影画像および欠陥位置に関する情報をそれぞれ受け取る。分類部１０７は、欠陥位置における欠陥を分類し、分類結果を得る。欠陥の分類としては、例えば修正すべき欠陥（線幅欠陥、ホール欠陥）のほか、回路の動作上問題にならない欠陥や、良品（正常な製品）を誤検出した疑似欠陥が挙げられる。

【0016】

表示部１０８は、分類部１０７から第１撮影画像、欠陥位置、および欠陥の分類結果を受け取り、例えば欠陥分類装置１０に備え付けのディスプレイに表示する。また、表示部１０８は、表示に限らず、第１撮影画像、欠陥位置、および欠陥の分類結果のデータを外部に出力してもよい。例えば、外部のタブレット端末、スマートフォンなど画面表示機能を有するデバイスに、第１撮影画像、欠陥位置、および欠陥の分類結果のデータを送信してもよい。

【0017】

なお、本実施形態に係る欠陥分類装置１０は画像格納部１０３を含むが、画像格納部１０３が欠陥分類装置１０と接続可能な外部サーバなど、欠陥分類装置１０の外部に存在してもよい。

【0018】

次に、変換部１０４の詳細について図２のブロック図を参照して説明する。
変換部１０４は、パッチ画像取得部１０４１と、探索部１０４２と、辞書格納部１０４３と、参照画像生成部１０４４とを含む。

【0019】

パッチ画像取得部１０４１は、設計画像取得部１０１から第１設計画像を受け取り、第１設計画像から部分画像を切り出す。以下では、切り出された部分画像を第１設計パッチ画像と呼ぶ。第１設計パッチ画像の切り出し方法としては、取得した第１設計画像上に複数のサンプリング点を設定し、サンプリング点を中心に、所定サイズの部分画像を切り出すことで第１設計パッチ画像を生成すればよい。

【0020】

探索部１０４２は、画像格納部１０３から複数の画像ペアを取得し、第２設計画像から第２設計パッチ画像を、第２撮影画像から第２撮影パッチ画像をそれぞれ紐づけて抽出し、辞書として辞書格納部１０４３に格納する。画像格納部１０３から複数の画像ペアを取得する方法としては、例えば、画像格納部１０３に含まれる全ての画像ペアを取得してもよいし、ランダムに画像ペアを取得してもよい。また、複数の画像ペアクラスが存在する場合は、複数の画像ペアクラスそれぞれから同数の画像ペアをランダムに取得してもよいし、１つの画像ペアクラスからのみ取得してもよい。
第２設計パッチ画像は、第２設計画像から切り出された部分画像であり、第２撮影パッチ画像は、第２撮影画像から切り出された部分画像である。切り出す部分画像の数は、辞書格納部１０４３が保持できる記憶容量に応じて適宜設定されればよい。また、切り出し位置は、第２設計パッチ画像と第２撮影パッチ画像とで被写体における同じ位置を想定する。

【0021】

探索部１０４２は、パッチ画像取得部１０４１から第１設計パッチ画像を受け取り、辞書格納部１０４３を参照して、第１設計パッチ画像に類似する第２設計パッチ画像を探索し、類似する第２設計パッチ画像のペアとなる第２撮影パッチ画像を抽出する。第１設計パッチ画像に類似する第２設計パッチ画像を探索する場合の類似度は、ベクトル間の距離を計算できる指標であればよい。例えば、第１設計パッチ画像の画素値の並びをベクトルとみなし、第２設計パッチ画像の画素値のベクトルとの差のＬ１ノルムまたはＬ２ノルムを用いて計算すればよい。または、正規化相互相関値を類似度としてもよい。つまり、第１設計パッチ画像と第２設計パッチ画像との画素値の差分に関するＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Squared Difference）などのパターンマッチングでもよく、画像間の類似度を算出する手法であれば、どのような手法を用いてもよい。探索部１０４２は、辞書格納部１０４３から算出された類似度と第２撮影パッチ画像とを抽出してもよい。

【0022】

なお、探索部１０４２は、第１設計パッチ画像に類似する第２設計パッチ画像を探索する前に、パッチ画像に関する辞書を生成し、辞書格納部１０４３に辞書を格納しておくことを想定するが、これに限らない。例えば、画像格納部１０３から定期的に辞書が生成され、辞書格納部１０４３に辞書が格納されるようにしてもよい。または、新たな画像ペアが画像格納部１０３に格納される度に、当該新たな画像ペアからパッチ画像に関する辞書が生成され、辞書格納部１０４３にパッチ画像の組が格納されてもよい。

【0023】

辞書格納部１０４３は、探索部１０４２から第２設計パッチ画像および第２撮影パッチ画像の複数のペアを受け取り、辞書として格納する。

【0024】

参照画像生成部１０４４は、パッチ画像取得部１０４１または探索部１０４２から第１設計画像を、探索部１０４２から第２撮影パッチ画像をそれぞれ受け取る。参照画像生成部１０４４は、第１設計画像からの第１設計パッチ画像の切り出し位置に第２撮影パッチ画像を割り当てる。参照画像生成部１０４４は、第１設計画像のうちの第１パッチ画像の各切り出し位置に、探索された第２パッチ画像を割り当てることで、参照画像を生成する。

【0025】

なお、パッチ画像取得部１０４１におけるサンプリング点の配置は、第１設計画像の全ての画素が少なくとも１度はパッチ画像として切り出されるように配置されることを想定する。従って、サンプリング点が密に配置される場合は、パッチ画像として部分画像が切り出される回数が増加し、結果として、貼り付けられる第２撮影パッチ画像の数が増加する。よって、参照画像生成部１０４４では、参照画像を生成する際に手がかりが増えるため、参照画像の画質を向上させることができる。一方、サンプリング点が密に配置されることで、探索部１０４２による第２撮影パッチ画像を抽出する処理回数（問い合わせ回数）が増加するため、計算量が増加してしまう。よって、サンプリング点の数は、参照画像の画質と計算量とのトレードオフを考慮して設定されればよい。

【0026】

なお、第１設計画像においてパターンが存在しない画像の領域については、サンプリング点を疎にして、サンプリング点の数を減らしてもよい。また、切り出した第２設計パッチ画像がすでに辞書格納部１０４３に登録済みの第２設計パッチ画像と同一であれば、変換部１０４は、当該切り出した第２設計パッチ画像に対応する第２撮影パッチ画像を新たに登録せずに削除してもよいし、切り出した第２設計パッチ画像に対応する第２撮影パッチ画像と登録済みの第２撮影パッチ画像との平均画像を生成し、当該平均画像を、登録済みの第２撮影パッチ画像に代えて登録してもよい。

【0027】

または、第２設計パッチ画像と対応する複数の第２撮影パッチ画像とがペアとして辞書格納部１０４３に格納されてもよいし、例えば表示部１０８が、第２設計パッチ画像と複数の第２撮影パッチ画像とをディスプレイに表示し、ユーザに選択させてもよい。

【0028】

第２設計パッチ画像としての切り出し位置が近い場合、同じ位置の画像が重複して切り出されている可能性が高い。よって、辞書格納部１０４３は、パッチ画像を記憶することに限らず、第２設計画像と第２撮影画像との画像ペアと、第２設計画像および第２撮影画像上でのそれぞれの切り出し位置に関する位置情報とを記憶してもよい。位置情報は、例えば、切り出し位置の中心座標およびパッチサイズでもよいし、切り出されるパッチ画像の左上の座標および右下の座標との組でもよい。探索部１０４２は、位置情報に基づいて第２設計画像および第２撮影画像からパッチ画像を切り出して、画像のマッチングを実行すればよい。

【0029】

また、第２設計パッチ画像および第２撮影パッチ画像の少なくとも一方の次元を削減したベクトルデータとして保持してもよい。例えば、第２設計パッチ画像および第２撮影パッチ画像の少なくとも一方に対して主成分解析を行い、所定の寄与率の主成分のみで表現されたパッチ画像のベクトルデータを保持すればよい。これにより、必要な辞書の記憶容量を削減することができる。

【0030】

また、一般的なクラスタリング手法を用いて、辞書格納部１０４３に保持される第２設計パッチ画像および第２撮影パッチ画像をクラスタ化してもよい。クラスタリング手法としては、例えばＫ－ｍｅａｎｓ法を用いればよい。または、木構造などの階層的表現を用いて多数のクラスに分類してもよい。

【0031】

次に、辞書格納部１０４３に格納されるパッチ画像を木構造で保持する場合の概念図について図３を参照して説明する。
図３は、辞書に含まれる第２設計パッチ画像がプロットされ、パターンによってｘ軸およびｙ軸の２軸で分類されたプロット図である。プロット間の距離が近いほど、第２設計パッチ画像が類似していることを示す。図３において、第２設計パッチ画像がパターンの類似度に応じてクラスタリングされ、第２設計パッチ画像が、破線と座標軸とで区切られる複数のクラスに分割される。各クラスが木構造で関連づけられることで、辞書が木構造で保持される例を示す。

【0032】

各クラスでは代表点が求められる。代表点は、クラスに含まれる複数の第２設計パッチ画像を代表するパターンを示す画像であり、クラスに含まれる複数の第２設計パッチ画像の中から１つ選択されてもよいし、複数の第２設計パッチ画像の平均画像など、新たに算出される画像でもよい。各代表点をノードとして、木構造が形成される。

【0033】

具体的に図３の例では、クラスａおよびｂの代表点３０２－１と、クラスｃ、ｄおよびｅの代表点３０２－２が同一層のノードとして形成される。代表点３０２－１の下位層として、クラスａの代表点３０３－１と、クラスｂの代表点３０３－２とが同一層のノードとして形成される。同様に、代表点３０２－２の下位層として、クラスｃの代表点３０３－３と、クラスｄおよびｅの代表点３０３－４とが同一層のノードとして形成される。さらに代表点３０３－４の下位層として、クラスｄの代表点３０４－１とクラスｅの代表点３０４－２とが同一層のノードとして形成される。

【0034】

ここで、探索部１０４２が木構造に基づいて第１設計パッチ画像に類似する第２設計パッチ画像を探索する例について説明する。
探索部１０４２は、第１設計パッチ画像３５０と、木構造のノードを形成する代表点とを比較し、パターンが類似するノードを下位層に向かって順に辿る。具体的に図３の例では、第１設計パッチ画像３５０と、木構造の一番上の層の２つの代表点３０２－１および３０２－２とのそれぞれの類似度を比較、例えば画像間の距離を計算する。ここでは、代表点３０２－２のほうが第１設計パッチ画像３５０と距離が近い（つまり類似する）場合を想定する。探索部１０４２は、第１設計パッチ画像３５０と代表点３０２－２の下位層（代表点３０３－３および３０３－４）との間の距離を計算する。ここで、第１設計パッチ画像３５０が代表点３０３－４との距離が近い場合を想定し、同様に、第１設計パッチ画像３５０と代表点３０３－４の下位層（代表点３０４－１および３０４－２）との間の距離を計算する。ここで最終的に第１設計パッチ画像３５０と代表点３０４－２との距離が近いと想定すると、探索部１０４２は、代表点３０４－２のクラスｅに含まれる第２設計パッチ画像とのみ、第１設計パッチ画像３５０との距離計算を行えばよい。

【0035】

図３に示す木構造によれば、探索部１０４２は、第１設計パッチ画像に類似する第２設計パッチ画像を探索する際、類似するパターンを有する第２設計パッチ画像について木構造の上位層から下位層に向かって順に辿って探索することにより、辞書に含まれる第２設計パッチ画像を全探索する場合に比べて、探索回数（距離計算）を減らすことができる。これは、辞書に格納されるデータ数が多いほど実益があり、探索時間を短縮でき、探索効率を向上させることができる。

【0036】

なお、木構造の構築段階または更新段階において、ノード画像が同一、つまり重複するノード画像は１つのペアが存在すればよいため、画像の類似度が閾値以上となる複数のノード画像（第２設計パッチ画像および対応する第２撮影パッチ画像）は削除されてもよい。また、ノード画像に対して平準化処理が行われてもよい。例えば、木構造の構築段階または更新段階において、ノード画像である第２設計パッチ画像では同一の画像であるが、対応する第２撮影パッチ画像は実際に撮影した画像であるため、第２撮影パッチ画像は輝度などが異なる場合がありうる。よって、画像の類似度が閾値以上となるノード画像を１つとし、ノード画像である第２設計パッチ画像に紐付く複数の第２撮影パッチ画像を平均化することで、重複した冗長なノード画像を減らし、辞書のデータサイズを減らすことができる。

【0037】

なお、図３の例では、第２設計パッチ画像に含まれる検査対象のパターン形状（凹凸、直線であるか曲線であるかといった曲率度など）の類似度に基づく木構造を想定したが、輝度値の分布など他の類似度指標を基準として木構造を構築し、辞書として保持してもよい。
また、図３の例では、木構造のノードでの分岐にクラスの代表点との類似度を用いたが、第１設計パッチ画像３５０がどのクラスに属するかを判定できるルールであれば何でもよい。例えば、領域を分割する超平面を利用することも可能で、その場合は各ノードに代表点の代わりに超平面を保存しておくと同様の処理がおこなえる。
他にも、木構造を用いずに探索を効率化する方法もある。例えば、図３で一番小さい領域の代表点（３０３－１、３０３－２、３０３－３、３０４－１および３０４－２）を保存しておき、探索時は第１設計パッチ画像３５０とそれぞれの代表点の距離計算をして探索画像である第１設計パッチ画像が属するクラスを特定することも可能である。

【0038】

辞書格納部１０４３における上述の手法により、第１設計パッチ画像と類似する第２設計パッチ画像の探索にかかる計算時間を短縮できる。
なお、辞書格納部１０４３は、画像格納部１０３から取得した画像ペアの種別に応じて、異なる辞書を保持してもよい。例えば、回路設計時に定められた最小線幅または最小加工寸法に応じて、それぞれ異なる辞書を保持してもよい。
なお本実施形態では、辞書格納部１０４３が変換部１０４に含まれることを想定したが、これに限らず、欠陥分類装置１０の内部に存在してもよい。また、欠陥分類装置１０の外部に辞書格納部１０４３が存在してもよい。変換部１０４が参照画像生成の際に、外部にある辞書格納部１０４３にアクセスしてもよい。または、画像格納部１０３に辞書が格納されてもよい。

【0039】

なお、各パッチ画像の形状は、ここでは正方形の場合を想定するが、これに限らず、台形、平行四辺形など他の四角形でもよいし、三角形や五角形以上の多角形でもよい。または、円形、十字形状など、どのような形状であってもよい。例えば、直線が多い、曲線が多いなどの検査対象の回路パターンに応じて、パッチ画像の形状を適宜決定してもよい。
また、パッチ画像のサイズは、固定サイズに限らず、複数のサイズを設定してもよい。例えば、回路設計時に定められた最小線幅あるいは最小加工寸法に応じて、パターンが細かくなるほど小さくなるようにパッチ画像のサイズを設定してもよい。

【0040】

次に、第２撮影パッチ画像の貼り付け例について図４および図５を参照して説明する。
図４は、４つのサンプリング点４１と、各サンプリング点４１に対応する４つの第２撮影パッチ画像４２と、参照画像の画素値となる生成画素４３とを示す。

【0041】

４つのサンプリング点４１それぞれに１つの第２撮影パッチ画像４２が対応するため、生成画素４３の位置と重複する第２撮影パッチ画像４２それぞれの画素値の平均値を、生成画素４３の画素値とする。また、第２撮影パッチ画像４２に類似度が紐付けられる場合は、当該類似度を重みとした、第２撮影パッチ画像４２それぞれの画素値の重み付き平均を生成画素４３の画素値としてもよい。

【0042】

また、図５は、１つのサンプリング点４１と２つの第２撮影パッチ画像４２とが対応している場合である。図５のように、サンプリング点４１を共通として、大きさの異なる２つの第２撮影パッチ画像４２が重複する場合も図４と同様の手法で生成画素４３の画素値を算出してもよい。さらに、大きい第２撮影パッチ画像４２が貼り付けられる場合は、参照画像の部分画像として類似度が高いと考えられるため、大きい第２撮影パッチ画像４２の重みを大きくするような重み付け平均を生成画素４３の画素値としてもよい。

【0043】

なお、第２撮影パッチ画像を貼り付ける際は、サブピクセル精度で貼り付けてもよい。これは、第１設計パッチ画像と第２設計パッチ画像とで画像の位相が異なる場合もあり、第１設計パッチ画像を切り出した位置そのものよりも少しずれた位置のほうが、すなわち、画素単位よりもサブピクセル単位で調整したほうが、より精度よく対応する場合があるからである。よって、参照画像生成部１０４４は、第２設計パッチ画像を第１設計パッチ画像の切り出し位置にサブピクセル精度で位置合わせし、最適な貼り付け位置を決定してもよい。

【0044】

次に、本実施形態に係る欠陥分類装置１０の動作例について図６のフローチャートを参照して説明する。
ステップＳ６０１では、設計画像取得部１０１が、第１設計画像を取得する。
ステップＳ６０２では、変換部１０４が、上述の手法により、第１設計画像から参照画像を生成する。

【0045】

ステップＳ６０３では、算出部１０５が、参照画像の信頼度を算出する。信頼度は、例えば参照画像を生成する際の類似度に基づいて、参照画像の画素ごとに算出される。参照画像の生成過程では、第１設計パッチ画像と第２設計パッチ画像との類似度が算出される。類似度が小さいほど、辞書格納部１０４３に格納される辞書に第１設計パッチ画像に対応する望ましいデータが存在しないことを示すため、当該類似度が小さい第２設計パッチ画像に対応する第２撮影パッチ画像から生成された参照画像の画素値は、信頼度が低いといえる。
一方、類似度が高いほど、当該類似度が高い第２設計パッチ画像に対応する第２撮影パッチ画像から生成された参照画像の画素値は、信頼度が高いといえる。よって、参照画像における１つの画素値の計算において、複数の第２撮影パッチ画像を用いた場合は、複数の第２撮影パッチ画像それぞれの類似度の平均、分散、複数の類似度のうちの最大値または最小値、およびこれらの２つ以上の組み合わせといった統計量に基づいて、信頼度を算出すればよい。

【0046】

ステップＳ６０４では、撮影画像取得部１０２が、第１撮影画像を取得する。
ステップＳ６０５では、検出部１０６が、第１撮影画像と参照画像とを比較する。具体的には、同一位置における画素ごとに、第１撮影画像の画素値と参照画像の画素値との差分を計算する。なお、第１撮影画像および参照画像の少なくとも一方の画像を、平均化フィルタ等で平滑化したのちに差分を計算してもよい。第１撮影画像および参照画像の少なくとも一方の画像を、エッジ強調フィルタ等で先鋭化して差分を計算してもよい。

【0047】

なお、第１撮影画像および参照画像の両方に対してダイナミックレンジの調整を行なってもよい。例えば、第１撮影画像および参照画像を合わせた全体の画素値の平均値を引くことで、２枚の画像間の平均値の差（直流成分）の差による違いをなくしてから、第１撮影画像と参照画像とを比較してもよい。その他、それぞれの画像を正規化してから比較してもよい。また、差分を相関値で表してもよい。例えば、画像の全体または一部分を切り出し、切り出された部分画像間の正規化相互相関などを算出すればよい。正規化相互相関の値が高いほど、画像の差分が小さいといえる。

【0048】

ステップＳ６０６では、検出部１０６が、欠陥の有無を判定する。具体的には、ステップＳ６０５で算出した差分が閾値以上であるか否かを判定する。差分が閾値以上である場合、欠陥ありと判定してステップＳ６０７に進み、差分が閾値未満である場合、欠陥なしと判定して処理を終了する。

【0049】

ステップＳ６０７では、検出部１０６が、欠陥位置を検出する。具体的には、検出部１０６は、ステップＳ６０６で欠陥ありと判定された画素位置を欠陥位置として推定すればよい。

【0050】

ステップＳ６０８では、分類部１０７が、欠陥位置の欠陥を分類し、欠陥の種類を示す情報を出力する。例えば、識別器を利用して分類する。識別器は、欠陥を含む第１撮影画像と、参照画像と、参照画像の信頼度と、欠陥位置とを入力データとし、欠陥の種類を正解データとして機械学習モデルを学習した学習済みモデルを含む。分類部１０７は、当該学習済みモデルに対して、第１撮影画像と、欠陥位置と、信頼度とを入力することで、当該欠陥位置における欠陥の種類が出力される。機械学習モデルは、サポートベクターマシン、ランダムフォレスト、深層学習などを利用すればよい。

【0051】

なお、識別器は、複数の欠陥の種類のうちの確度が最も高い欠陥の種類を分類結果として出力する。なお、複数の欠陥の種類それぞれの確率を分類結果として出力してもよい。例えば、確率値の最大値が所定の閾値よりも小さいデータについては、欠陥の種類を特定せずに、それぞれの種類の確率値をユーザに提示してもよい。
なお、分類部１０７は、学習済みモデルを含む識別器を用いた欠陥の分類に限らず、参照画像の信頼度に応じて、ルールベースにより欠陥を分類してもよい。

【0052】

ステップＳ６０９では、表示部１０８が、検出した欠陥の種類をユーザに提示する。さらに欠陥位置もあわせてユーザに提示してもよい。例えば、第１撮影画像または参照画像における欠陥位置を画像に重畳表示してもよいし、参照画像の欠陥位置における信頼度を表示してもよい。表示部１０８は、信頼度を第１撮影画像における欠陥位置に対応する位置に重畳表示してもよい。重畳表示する場合、信頼度をヒートマップで色分けして表示してもよいし、参照画像のＩＤなど、欠陥を検出した参照画像を同定できる情報を表示してもよい。また、欠陥が検出されなかった場合は、異常なし（正常な製品）である旨をユーザに通知してもよい。

【0053】

なお、分類部１０７で用いる学習済みモデルの学習時は、第１撮影画像と、欠陥位置と、信頼度が閾値以上である参照画像と、対応する信頼度とを入力データとして、欠陥位置における欠陥の種類を正解データとして機械学習モデルを学習する。信頼度が低い参照画像による検査結果は、機械学習結果に悪影響を及ぼす可能性があるため、予め学習用のデータから除外することで、機械学習の精度を向上させることができる。
または、信頼度が低い参照画像についても入力データとして用いてもよく、この場合は信頼度の値を重視するように学習することで、信頼度が低い参照画像による分類結果の重みを低く、信頼度が高い参照画像による分類結果の重みを高く学習させてもよい。

【0054】

学習済みモデルの学習時は、入力データおよび正解データを事前に準備したデータで学習する。学習済みモデルの推論時は、検査対象の欠陥の分類において、予め用意された欠陥の種類の画像パターンと欠陥が類似していれば、分類の精度（正解率）が高いことが期待されるが、同種の欠陥であっても新たな画像パターンで欠陥が発生した場合は、（正解率）が低くなる可能性がある。よって、分類部１０７から出力された分類結果の確率が閾値以上である場合、学習済みモデルに入力された第１撮影画像、参照画像および信頼度を学習用データとして追加し、機械学習モデルの学習に適用してもよい。
また、学習済みモデルの学習時には、欠陥位置における回路形状情報を入力データとしてさらに追加してもよい。回路形状情報は、例えば、配線の幅、配線のコーナー部、断線形状といった情報である。学習時に回路形状情報を入力データとして用いた場合は、学習済みモデルの推論時に、第１撮影画像の欠陥位置における回路形状情報を入力してもよい。

【0055】

次に、分類部１０７における欠陥の分類結果の第１例について図７を参照して説明する。
図７は、分類部１０７に含まれる識別器（学習済みモデル）の入出力を示す。参照画像７０１と、参照画像７０１の信頼度７０２と、第１撮影画像７０３とが識別器７０４に入力される。図７の例では、参照画像７０１の信頼度７０２は、９０％であるとする。また、検査対象には欠陥７１０が存在し、第１撮影画像７０３には欠陥７１０が映り込んでいる場合を想定する。

【0056】

識別器７０４は、参照画像７０１と、信頼度７０２と、第１撮影画像７０３との入力に基づいて欠陥を分類し、欠陥の種類を示す結果を出力する。一例として、欠陥７１０の位置を示す画像７０５と欠陥７１０の種類に関する欠陥情報７０６を提示する。欠陥７１０の位置を示す画像７０５は、例えば参照画像７０１と第１撮影画像７０３との差分画像である。欠陥情報７０６は、欠陥７１０の種類と信頼度７０２とを表示する。具体的に図７の例では、「種類：ホール欠陥、信頼度：９０％」が表示される。なお、欠陥情報７０６に信頼度７０２を表示しなくともよい。

【0057】

次に、分類部１０７における欠陥の分類結果の第２例について図８を参照して説明する。
図８は、図７と同様の識別器７０４に対する入出力を示すが、参照画像８０１の信頼度８０２が異なる。図８の場合は信頼度が３０％と、比較的低い場合を想定する。

【0058】

参照画像８０１と、信頼度８０２と、第１撮影画像８０３とが識別器７０４に入力され、識別器７０４から欠陥の位置を示す画像８０４と欠陥情報８０５とが出力される。
欠陥の位置を示す画像８０４は、参照画像８０１と第１撮影画像８０３との差分が示され、参照画像８０１では途切れている箇所が、欠陥として画像８０４に表される。識別器７０４では、参照画像８０１の信頼度８０２が低いことが考慮されるため、参照画像８０１に基づく欠陥は不正確である可能性が高いとして、欠陥情報８０５は、「種類：疑似欠陥、信頼度：３０％」が表示される。

【0059】

なお、本実施形態では、半導体設計のような回路設計における検査を想定するが、これに限らない。例えば、第１検査対象は建物でもよく、この場合、第１設計画像は建物に関する３次元設計データに基づく。つまり、本実施形態に係る欠陥分類装置１０により、コンピュータ設計用のソフトウェアにより生成された３次元設計データに基づく建物の外観などの予想図（参照画像）と、実際に建物が完成したあとの建物の撮影画像とを比較し、予想図の信頼度に応じて欠陥の有無を検出してもよい。例えば、検出部１０６が、予想図の信頼度が閾値以上であれば、欠陥ありとして欠陥位置を検出し、表示部１０８が欠陥位置に関する情報を提示すればよい。一方、予想図の信頼度が閾値未満であれば、検出部１０６は欠陥なしと判定すればよい。なお、表示部１０８が、信頼度が閾値未満であるため、欠陥と判定していない旨、ユーザに提示してもよい。
また、第１検査対象の構造を定める設計データに加えて、例えば、木造であるか鉄筋コンクリートであるかなどといった素材の情報、および、壁の色といった色に関する情報を付与した第１設計画像が生成されてもよい。
すなわち、コンピュータ設計用のソフトウェアにより生成されるデータに基づいて製造される製品および建築される建造物であれば、本実施形態に係る欠陥分類装置１０の処理を適用できる。

【0060】

次に、上述の実施形態に係る欠陥分類装置１０のハードウェア構成の一例を図９に示す。
欠陥分類装置１０は、ＣＰＵ（Central Processing Unit）９０１と、ＲＡＭ（Random Access Memory）９０２と、ＲＯＭ（Read Only Memory）９０３と、ストレージ９０４と、表示装置９０５と、入力装置９０６と、通信装置９０７とを含み、それぞれバスにより接続される。

【0061】

ＣＰＵ９０１は、プログラムに従って演算処理および制御処理などを実行するプロセッサである。ＣＰＵ９０１は、ＲＡＭ９０２の所定領域を作業領域として、ＲＯＭ９０３およびストレージ９０４などに記憶されたプログラムとの協働により、欠陥分類装置１０に関する上述の各種処理を実行する。

【0062】

ＲＡＭ９０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリである。ＲＡＭ９０２は、ＣＰＵ９０１の作業領域として機能する。ＲＯＭ９０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

【0063】

ストレージ９０４は、ＨＤＤ等の磁気記録媒体、フラッシュメモリなどの半導体による記憶媒体、または、ＨＤＤ（Hard Disc Drive）などの磁気的に記録可能な記憶媒体、または光学的に記録可能な記憶媒体などにデータを書き込みおよび読み出しをする装置である。ストレージ９０４は、ＣＰＵ９０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。

【0064】

表示装置９０５は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスである。表示装置９０５は、ＣＰＵ９０１からの表示信号に基づいて、各種情報を表示する。
入力装置９０６は、マウスおよびキーボード等の入力デバイスである。入力装置９０６は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ９０１に出力する。
通信装置９０７は、ＣＰＵ９０１からの制御に応じて外部機器とネットワークを介して通信する。

【0065】

以上に示した本実施形態によれば、第１設計画像に基づく欠陥がない場合の検査対象のマスク画像となる参照画像を生成する場合に、画素ごとに参照画像の信頼度を算出し、信頼度に応じて当該検査対象の欠陥を分類する。これにより、例えば、参照画像の信頼度が低ければ、当該参照画像により検出された欠陥は疑似欠陥である可能性があるといった判定ができる。よって、参照画像の再現性に応じて欠陥分類が可能となり、分類精度を向上させることができる。

【0066】

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した欠陥分類装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の欠陥分類装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。
また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

【0067】

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

【0068】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0069】

１０…欠陥分類装置、３５０…第１設計パッチ画像、４１…サンプリング点、４２…第２撮影パッチ画像、４３…生成画素、１０１…設計画像取得部、１０２…撮影画像取得部、１０３…画像格納部、１０４…変換部、１０５…算出部、１０６…検出部、１０７…分類部、１０８…表示部、３０２－１，３０２－２，３０３－１，３０３－２，３０３－３，３０３－４，３０４－１，３０４－２…代表点、７０１，８０１…参照画像、７０２，８０２…信頼度、７０３，８０３…第１撮影画像、７０４…識別器、７０５，８０４…画像、７０６，８０５…欠陥情報、７１０…欠陥、９０１…ＣＰＵ、９０２…ＲＡＭ、９０３…ＲＯＭ、９０４…ストレージ、９０５…表示装置、９０６…入力装置、９０７…通信装置、１０４１…パッチ画像取得部、１０４２…探索部、１０４３…辞書格納部、１０４４…参照画像生成部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】