特開 2023-5477 検査装置及び計測装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023005477

(43)【公開日】2023-01-18

(54)【発明の名称】検査装置及び計測装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230111BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021107415

(22)【出願日】2021-06-29

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】福田 光佑

(72)【発明者】

【氏名】石川 昌義

(72)【発明者】

【氏名】吉田 泰浩

(72)【発明者】

【氏名】新藤 博之

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA03

5L096AA06

5L096BA03

5L096CA18

5L096DA02

5L096EA03

5L096EA06

5L096EA14

5L096EA37

5L096EA45

5L096HA11

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】
欠陥検査などの評価や寸法計測において、欠陥などの異常部を除く領域に適合した歪み補正技術により評価や計測を高精度化し得る検査装置及び計測装置を提供する。
【解決手段】
検査装置３０１は、参照画像１０１と検査画像１０２との間の歪み量を推定する画像歪み推定部３０３と、推定歪み量３０４を用いて検査画像１０２及び／又は参照画像１０１を補正する画像歪み補正部３０５と、補正された検査画像と参照画像或いは検査画像と補正された参照画像を用いて検査する検査部３０７と、を備える。画像歪み推定部３０３が補正条件の調整により画像全体に発生する歪みのみを補正可能な歪み量を推定する。
【選択図】 図３

【特許請求の範囲】

【請求項1】

参照画像との比較により検査画像を検査する検査装置であって、
前記参照画像と前記検査画像との間の歪み量を推定する画像歪み推定部と、
推定歪み量を用いて検査画像及び／又は参照画像を補正する画像歪み補正部と、
補正された検査画像と参照画像或いは検査画像と補正された参照画像を用いて検査する検査部と、を備え、
前記画像歪み推定部が補正条件の調整により画像全体に発生する歪みのみを補正可能な歪み量を推定することを特徴とする検査装置。

【請求項2】

請求項１に記載の検査装置において、
前記画像歪み推定部は、
補正条件により処理内容を変更可能な、検査画像と参照画像に対する前処理と、前記前処理によって処理された検査画像と参照画像を入力として第一の歪み量を推定し、
前記第一の歪み量に対し補正条件に定義された後処理を行い第二の歪み量を、前記推定歪み量とすることを特徴とする検査装置。

【請求項3】

請求項２に記載の検査装置において、
少なくとも、補正条件に定義される前処理が検査画像と参照画像の画像サイズを縮小するダウンサンプル処理であり、前記後処理が画像歪み補正部へ入力可能な形式に推定歪み量を処理するアップサンプル処理であり、
補正条件が前記ダウンサンプル処理および前記アップサンプル処理の倍率及び／又は検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズを調整することで、前記画像歪み推定部が局所的かつ高周波な画像特徴を除いて歪み量を推定することを特徴とする検査装置。

【請求項4】

請求項２に記載の検査装置において、
前記画像歪み推定部は、検査画像と参照画像の類似度と、前記第一の歪み量の近傍領域内での歪み量の変動を評価する処理を有し、補正条件により検査画像と参照画像の類似度を大きくしつつ、前記推定歪み量の近傍領域内での歪み量の変動を小さくするよう歪み量を推定することを特徴とする検査装置。

【請求項5】

請求項１に記載の検査装置において、
学習用検査画像と、前記学習用検査画像に対応する学習用参照画像を教師として前記参照画像と前記検査画像との間の歪み量を推定するためのモデルを作成する機械学習部を備え、
前記画像歪み推定部は、前記機械学習部で作成したモデルを用いて歪み量を推定することを特徴とする検査装置。

【請求項6】

請求項５に記載の検査装置において、
前記画像歪み推定部は、
補正条件により処理内容を変更可能な、検査画像と参照画像に対する前処理と、前記機械学習部で作成したモデルを用いて、前記前処理によって処理された検査画像と参照画像から第一の歪み量を推定し、
前記第一の歪み量に対し補正条件に定義された後処理を行い第二の歪み量を、前記推定歪み量とすることを特徴とする検査装置。

【請求項7】

請求項６に記載の検査装置において、
少なくとも、補正条件に定義される前処理が検査画像と参照画像の画像サイズを縮小するダウンサンプル処理であり、前記後処理が画像歪み補正部へ入力可能な形式に推定歪み量を処理するアップサンプル処理であり、
補正条件が前記ダウンサンプル処理および前記アップサンプル処理の倍率及び／又は検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズを調整することで、前記画像歪み推定部が局所的かつ高周波な画像特徴を除いて歪み量を推定することを特徴とする検査装置。

【請求項8】

検査画像により試料を測長する計測装置であって、
参照画像と前記検査画像に基づき前記参照画像と前記検査画像との間の歪み量を推定する画像歪み推定部と、
推定歪み量を用いて検査画像を補正する画像歪み補正部と、
補正された検査画像を用いて試料を測長する計測部と、を備え、
前記画像歪み推定部が補正条件の調整により画像全体に発生する歪みのみを補正可能な歪み量を推定することを特徴とする計測装置。

【請求項9】

請求項８に記載の計測装置において、
前記画像歪み推定部は、
補正条件により処理内容を変更可能な、検査画像と参照画像に対する前処理と、前記前処理によって処理された検査画像と参照画像を入力として第一の歪み量を推定し、
前記第一の歪み量に対し補正条件に定義された後処理を行い第二の歪み量を、前記推定歪み量とすることを特徴とする計測装置。

【請求項10】

請求項９に記載の計測装置において、
少なくとも、補正条件に定義される前処理が検査画像と参照画像の画像サイズを縮小するダウンサンプル処理であり、前記後処理が画像歪み補正部へ入力可能な形式に推定歪み量を処理するアップサンプル処理であり、
補正条件が前記ダウンサンプル処理および前記アップサンプル処理の倍率及び／又は検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズを調整することで、前記画像歪み推定部が局所的かつ高周波な画像特徴を除いて歪み量を推定することを特徴とする計測装置。

【請求項11】

請求項９に記載の計測装置において、
前記画像歪み推定部は、検査画像と参照画像の類似度と、前記第一の歪み量の近傍領域内での歪み量の変動を評価する処理を有し、補正条件により検査画像と参照画像の類似度を大きくしつつ、前記推定歪み量の近傍領域内での歪み量の変動を小さくするよう歪み量を推定することを特徴とする計測装置。

【請求項12】

請求項８に記載の計測装置において、
学習用検査画像と、前記学習用検査画像に対応する学習用参照画像を教師として前記参照画像と前記検査画像との間の歪み量を推定するためのモデルを作成する機械学習部を備え、
前記画像歪み推定部は、前記機械学習部で作成したモデルを用いて歪み量を推定することを特徴とする計測装置。

【請求項13】

請求項１２に記載の計測装置において、
前記画像歪み推定部は、
補正条件により処理内容を変更可能な、検査画像と参照画像に対する前処理と、前記機械学習部で作成したモデルを用いて、前記前処理によって処理された検査画像と参照画像から第一の歪み量を推定し、
前記第一の歪み量に対し補正条件に定義された後処理を行い第二の歪み量を、前記推定歪み量とすることを特徴とする計測装置。

【請求項14】

請求項１３に記載の計測装置において、
少なくとも、補正条件に定義される前処理が検査画像と参照画像の画像サイズを縮小するダウンサンプル処理であり、前記後処理が画像歪み補正部へ入力可能な形式に推定歪み量を処理するアップサンプル処理であり、
補正条件が前記ダウンサンプル処理および前記アップサンプル処理の倍率及び／又は検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズを調整することで、前記画像歪み推定部が局所的かつ高周波な画像特徴を除いて歪み量を推定することを特徴とする計測装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データを処理する画像処理技術に係り、特に画像データを用いた検査又は計測に好適な検査装置及び計測装置に関する。

【背景技術】

【0002】

半導体回路の欠陥検査などの評価のために、検査画像を参照画像と比較する手法が採用されている。参照画像には、評価対象物あるいは寸法計測対象である試料の設計データや、設計データを用いて機械学習などにより撮影画像をシミュレーションした画像や、同じ設計データから製造された試料の撮影画像が取り得る輝度値の分布を画素ごとに表す画像統計量、試料と同パターンの撮影画像の別領域が用いられる。

【0003】

欠陥検査や寸法計測において、装置によって生成される撮影画像には、撮像起因の画像歪みが発生し、参照画像と検査画像との間に局所的な位置ずれが生じる場合がある。この場合、画像歪みのある領域で本来正常な箇所が欠陥と判断されたり、計測誤差が増大する。特許文献１には、ＳＳＤ（Ｓｕｍ ｏｆ ｓｑｕａｒｅｄ ｄｉｆｆｅｒｅｎｃｅ）マッチングにより２つの画像間の誤差を最小とするシフト量を推定することで位置ずれを除き、欠陥の誤検出を抑制することが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４２３９０８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

参照画像と検査画像の間に生じる位置ずれには画像歪みによるものと欠陥などの異常によるものがある。画像歪みが生じた検査画像を欠陥検査などの評価に適用するためには画像歪みによる位置ずれのみを取り除く必要がある。
特許文献１では画像全体および部分領域ごとに求めた検査画像と参照画像の差が最小となるシフト量を歪み量として位置適合する。しかしながら、欠陥などの異常による位置ずれを考慮していないため、欠陥などの異常のある検査画像に対する過適合が生じ得る。その結果、本来異常である領域を正常であるとする未検出の問題が危惧される。

【0006】

そこで本発明では、欠陥検査などの評価や寸法計測において、欠陥などの異常部を除く領域に適合した歪み補正技術により評価や計測を高精度化し得る検査装置及び計測装置を提供する。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係る検査装置は、参照画像との比較により検査画像を検査する検査装置であって、前記参照画像と前記検査画像との間の歪み量を推定する画像歪み推定部と、推定歪み量を用いて検査画像及び／又は参照画像を補正する画像歪み補正部と、補正された検査画像と参照画像或いは検査画像と補正された参照画像を用いて検査する検査部と、を備え、前記画像歪み推定部が補正条件の調整により画像全体に発生する歪みのみを補正可能な歪み量を推定することを特徴とする。
また、本発明に係る計測装置は、検査画像により試料を測長する計測装置であって、参照画像と前記検査画像に基づき前記参照画像と前記検査画像との間の歪み量を推定する画像歪み推定部と、推定歪み量を用いて検査画像を補正する画像歪み補正部と、補正された検査画像を用いて試料を測長する計測部と、を備え、前記画像歪み推定部が補正条件の調整により画像全体に発生する歪みのみを補正可能な歪み量を推定することを特徴とする。

【発明の効果】

【0008】

本発明によれば、欠陥検査などの評価や寸法計測において、欠陥などの異常部を除く領域に適合した歪み補正技術により評価や計測を高精度化し得る検査装置及び計測装置を提供することが可能となる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】参照画像および画像歪みを有する検査画像の一例を示す図である。

【図2A】参照画像と画像歪みによる位置ずれと、欠陥を有する検査画像を示す図である。

【図2B】欠陥部に対する過適合を生じた歪み補正量と補正後検査画像を示す図である。

【図2C】本発明の一実施例に係る検査装置を構成する画像歪み推定部により推定された歪み量による歪み補正量と、補正後検査画像を示す図である。

【図3】本発明の一実施例に係る実施例1の検査装置の全体構成例を示す機能ブロック図である。

【図4】図３に示す補正条件の一例を示す図である。

【図5】実施例１に係る検査装置の処理動作を示すフローチャートである。

【図6】実施例１に係る検査装置を構成する画像歪み推定部のフローチャートである。

【図7】本発明の他の実施例に係る実施例２の検査装置の全体構成例を示す機能ブロック図である。

【図8】図７に示す機械学習部のフローチャートである。

【図9】実施例２に係る検査装置を構成する画像歪み推定部のフローチャートである。

【図10A】画像歪みのない画像領域について計測する一例を示す図である。

【図10B】画像歪みを有する画像領域を計測する一例を示す図である。

【図11】本発明の他の実施例に係る実施例３の計測装置の全体構成例を示す機能ブロック図である。

【発明を実施するための形態】

【0010】

本明細書において例示する検査装置及び計測装置は、参照画像と検査画像の間で画像全体に発生する歪みのみを推定し、欠陥などの異常部による位置ずれを除いて補正可能とし、検査・計測性能を向上させるための検査装置及び計測装置に関するものである。
本明細書では、検査対象の試料として走査電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ:ＳＥＭ）により撮影された半導体回路を挙げるが、これに限定されるものではない。他の撮影装置によって撮影された画像にも適用可能であることは言うまでもない。
以下、図面を用いて本発明の実施例について説明する。

【実施例0011】

図１は、参照画像および画像歪みを有する検査画像の一例を示す図である。図１に示すように、参照画像１０１は欠陥や画像歪みのない場合に検査画像１０２とノイズを除いて一致する画像であり、例えば、試料の設計データを画像化したものや、設計データを用いて機械学習などにより生成された撮影画像、或いは検査画像と同様のパターンを有する別領域の画像、設計データより予測される撮影画像の取り得る輝度値の分布を、ガウス分布などを仮定して画素ごとに求めた画像統計量、などが挙げられる。検査画像１０２は参照画像１０１と同様の設計データを用いて製造された試料の撮影画像である。この参照画像１０１と検査画像１０２の差分を評価することで、検査画像１０２上の欠陥有無を判定する。参照画像１０１と検査画像１０２の差分画像１０３において、輝度値の高い領域を欠陥などの異常部として検出する。検査画像１０２が画像歪みを有する場合、画像全体に生じる画像歪みによる位置ずれにより参照画像１０１と検査画像１０２に差が生じることで、本来欠陥でない場所を誤って欠陥と判断する誤検出が発生する。

【0012】

ここで、図１の参照画像１０１には画像歪みのない例を示しているが、上述の通り参照画像１０１は検査画像１０２と同様の設計データを用いて製造された試料の撮影画像でも良く、画像歪みを有する場合がある。その場合、本実施例の検査装置は参照画像１０１と検査画像１０２の間にある画像歪みによる位置ずれを推定する。また、図１の検査画像１０２では、画像歪みとして放射状の歪みの例を示しているが、これに限られるものではない。例えば、並進ずれや回転ずれ、配線が波打つ波状のずれなど、どのような歪みであっても良い。

【0013】

図３は、本発明の一実施例に係る実施例1の検査装置の全体構成例を示す機能ブロック図である。なお、本実施例に係る検査装置３０１は、参照画像１０１と検査画像１０２の比較によって検査を実施するものである。
図３に示すように、検査装置３０１は、画像歪み推定部３０３、推定歪み量３０４、画像歪み補正部３０５、補正済検査画像３０６、及び検査部３０７より構成される。ここで、画像歪み推定部３０３、画像歪み補正部３０５、及び検査部３０７は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に可能するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。

【0014】

画像歪み推定部３０３は、参照画像１０１と検査画像１０２、補正条件３０２が入力され、参照画像１０１と検査画像１０２の間にある画像歪みによる位置ずれを推定し、推定歪み量３０４を出力する。この推定歪み量３０４は、後述する補正条件３０２によって定義された制約条件を満たしつつ、参照画像１０１と検査画像１０２の類似度が大きくなるよう計算される。推定歪み量は、参照画像１０１または検査画像１０２の各画素に対応した２次元のベクトル量（ｄｘ，ｄｙ）で表され、検査画像１０２の各画素を対応するベクトル量だけ移動させることで参照画像１０１と類似する画像とする。ここで、推定歪み量３０４の形式としてベクトル量を挙げたが、回転ずれや並進ずれのような定式化可能な歪み量であることを仮定する場合は、回転角や並進ずれ量のようなパラメータであってもよい。参照画像１０１と検査画像１０２の類似度は、輝度値の誤差を小さくすること、参照画像１０１が画像統計量である場合には検査画像１０２と参照画像１０１の分布の尤度を大きくすること、によって大きくする。

【0015】

画像歪み補正部３０５は、上記画像歪み推定部３０３が出力した推定歪み量３０４と、検査画像１０２を入力として、検査画像１０２を推定歪み量３０４によって補正し補正済検査画像３０６を出力する。
検査部３０７は、上記補正済検査画像３０６と参照画像１０１を比較することにより欠陥などの異常部を検査する。上記画像歪み補正部３０５で参照画像１０１を補正した場合は、検査部３０７は、補正済参照画像と検査画像１０２を比較することにより検査する。

【0016】

図４は、図３に示す補正条件３０２の一例を示す図であり、画像歪み推定部３０３に入力される補正条件３０２のバリエーションの例を説明する図である。補正条件３０２は、処理内容や設定パラメータを調整することにより、画像歪み推定部３０３が局所的かつ高周波な画像特徴を考慮せず、画像全体に発生する歪みによる位置ずれのみを補正可能な歪み量の推定を可能とすることを目的とする。補正条件３０２には局所的かつ高周波な画像特徴を除去可能な検査画像１０２と参照画像１０１に対する前処理や、局所的かつ高周波な位置ずれを補正しないよう推定歪み量３０４に対し制約を設ける制約条件と後処理が定義される。

【0017】

例えば補正条件４０１のように、前処理として画像を例えば４分の１に縮小するダウンサンプルや、推定歪み量を元の画像サイズに復元するための４倍のアップサンプルを定義することができる。また、補正条件４０２のように、前処理のダウンサンプル倍率や、推定歪み量を元の画像サイズに復元するためのアップサンプル倍率に加え、推定歪み量を平滑化するためのガウシアンフィルタのフィルタサイズや標準偏差、画像歪み推定部が後述する図６のステップＳ６０３における評価基準に対する制約条件として、隣接領域における予測歪み量の、ベクトルの絶対誤差を例えば０．１以内とするように定義することができる。さらに、補正条件４０３のように、前処理および後処理を実施せず、定義することができる。

【0018】

補正条件４０１、４０２、４０３は例であり、処理内容や設定パラメータの値は、検査対象となる試料の回路サイズや欠陥サイズに応じて決定するものであるため、これらに限定するものではない。例えば、検査画像に対してガウシアンフィルタや移動平均フィルタなどの平滑化フィルタを前処理として適用することや、前処理と後処理に平滑化フィルタとダウンサンプル、アップサンプルを併用することも挙げられる。また、歪み量に対する制約条件として、推定歪み量の近傍領域での分散値を小さくすることも挙げられる。

【0019】

図５は、本実施例に係る検査装置３０１の処理動作を示すフローチャートである。図５に示すように、ステップＳ５０１において、検査画像１０２と参照画像１０１が検査装置３０１に入力される。
ステップＳ５０２において、補正条件３０２が検査装置３０１に入力される。
ステップＳ５０３において、検査装置３０１を構成する画像歪み推定部３０３は、入力された参照画像１０１と検査画像１０２、補正条件３０２を用いて参照画像１０１と検査画像１０２の間の歪み量を推定し、推定歪み量３０４を出力する。なお、出力された推定歪み量３０４は記憶部に格納される。また、本実施例のステップＳ５０３の詳細については、図６を用いて後述する。

【0020】

ステップＳ５０４において、検査装置３０１を構成する画像歪み補正部３０５は、画像歪み推定部３０３の出力した推定歪み量を用いて、検査画像１０２または参照画像１０１を補正し、補正済検査画像３０６或いは図示しない補正済参照画像を出力する。なお、出力された補正済検査画像３０６或いは図示しない補正済参照画像は記憶部に格納される。

【0021】

ステップＳ５０５において、検査装置３０１を構成する検査部３０７は、補正済検査画像３０６と参照画像１０１、または検査画像１０２と補正済参照画像（図示せず）を用いた画像比較により、欠陥などの異常部の有無およびその座標を算出する。
ステップＳ５０６において、検査装置３０１を構成する検査部３０７が、検査部３０７で算出された検査結果３０８を出力し、検査を終了する。

【0022】

図６は、本実施例に係る検査装置３０１を構成する画像歪み推定部３０３のフローチャートである。
図６に示すように、ステップＳ６０１において、検査装置３０１を構成する画像歪み推定部３０３は、上述のステップＳ５０１にて入力された検査画像１０２と参照画像１０１に対し、補正条件３０２に定義された画像前処理を実施する。

【0023】

ステップＳ６０２において、画像歪み推定部３０３は、ステップＳ６０２で前処理を実施された検査画像と参照画像を用いて、検査画像と参照画像の類似度を大きくするようなシフト量を推定し、参照画像と検査画像の間にある画像歪みによる位置ずれ（第一の歪み量）を出力する。推定の方法として、例えば、任意またはランダムな歪み量の初期値を設定し、後述するステップＳ６０３の評価値に応じて歪み量を更新する方法が挙げられる。より具体的には、参照画像Ｒと検査画像Ｉ、補正処理関数ｆ、推定歪み量Ｄ、距離関数ｄについて、補正条件３０２によって指定された制約条件Ｌを用いて、評価関数ｄ（Ｒ，ｆ（Ｉ，Ｄ））により計算される評価値を最小化する制約付き最適化問題を、動的計画法などにより解く方法が挙げられる。距離関数ｄは、参照画像と検査画像の画像類似度を評価するものであり、絶対誤差や二乗誤差が挙げられる。また、参照画像が検査画像の輝度値が取り得るガウス分布などの画像統計量であれば、負の対数尤度が挙げられる。

【0024】

ステップＳ６０３において、画像歪み推定部３０３は、ステップＳ６０２で推定された第一の歪み量について評価し、その評価値が評価基準を満たすか判定を行う。評価値には、推定歪み量の近傍領域におけるベクトル量の差や分散などの変動に関する値と、推定歪み量を用いて検査画像を補正した画像と参照画像の画像類似度が挙げられる。評価基準には、補正条件３０２よって指定された、推定歪み量の近傍領域における差や分散などの変動に対する制約条件を満たすかどうか、指定の画像類似度以上となるか、が挙げられる。

【0025】

ステップＳ６０４において、画像歪み推定部３０３は、第一の歪み量に対し、補正条件３０２に定義された後処理を実施し、第二の歪み量を出力する。
ステップＳ６０５において、画像歪み推定部３０３は、第二の歪み量を推定歪み量として出力し、画像歪み推定処理を終了する。

【0026】

図２Ａ、図２Ｂ、図２Ｃを用いて、本実施例による効果を説明する。図２Ａは、参照画像と画像歪みによる位置ずれと、欠陥をもつ検査画像を示す図である。図２Ｂは欠陥部に対する過適合を生じた歪み補正量と補正後検査画像を示す図である。図２Ｃは、本実施例により推定された歪み量による歪み補正量と、補正後検査画像を示す図である。

【0027】

図２Ａの検査画像のように、欠陥などの異常部は画像歪みと比較して局所的かつ高周波な画像特徴として検査画像上に現れる。
特許文献１に記載の手法を用いる場合、検査画像と参照画像の類似度を最大化するよう画像歪み量が推定されることで、図２Ｂに示すように歪み補正量が検査画像の対応する画素ごとに推定され、補正後検査画像が参照画像と一致する。その結果、欠陥などの異常部が正常と判断される未検出につながる。

【0028】

これに対し本実施例では、補正条件であるアップサンプル倍率やダウンサンプル倍率、検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズやパラメータを調整することで、画像歪み推定部が検査画像上の欠陥による局所的な画像の変動を元に歪み量を推定できないようにし、画像全体にかけて生じる変動である画像歪みのみを推定することができる。

【0029】

また、推定歪み量を平滑化する平滑化フィルタのフィルタサイズやパラメータを調整することや、ステップＳ６０３における評価基準に対する制約条件として隣接領域における予測歪み量の差を抑制することで、推定歪み量の近傍領域内での歪み量の変動を小さくし、欠陥の未検出を引き起こす高周波な補正量を抑制することができる。

【0030】

これらにより本実施例では、図２Ｃに示すように、局所的かつ高周波な補正量を推定しないことで、欠陥部を残した補正後検査画像を生成することが可能となる。そのため、画像歪みによる位置ずれを有する検査画像に対する検査装置の精度を担保することができる。

【0031】

なお、本実施例では、図３において検査画像１０２を画像歪み補正部３０５への入力として検査画像の画像歪みを取り除く例を示したが、参照画像１０１を画像歪み補正部３０５への入力とし、画像歪みを付与したものを補正済参照画像として出力する構成としてもよい。

【0032】

以上の通り、本実施例によれば、欠陥検査などの評価や寸法計測において、欠陥などの異常部を除く領域に適合した歪み補正技術により評価や計測を高精度化し得る検査装置を提供することが可能となる。
また、具体的には、正条件であるアップサンプル倍率やダウンサンプル倍率、検査画像と参照画像を平滑化する平滑化フィルタのフィルタサイズやパラメータを調整することで、画像歪み推定部が検査画像上の欠陥による局所的な画像の変動を元に歪み量を推定できないようにし、画像全体にかけて生じる変動である画像歪みのみを推定することができる。

【0033】

また、局所的かつ高周波な補正量を推定しないことで、欠陥部を残した補正後検査画像を生成することが可能となる。そのため、画像歪みによる位置ずれを有する検査画像に対する検査装置の精度を担保することができる。

【実施例0034】

図７は、本発明の他の実施例に係る実施例２の検査装置の全体構成例を示す機能ブロック図である。本実施例に係る検査装置７０４は、上述の実施例１における検査装置３０１に相当するものの、図５に示すステップＳ５０３において、機械学習によって生成された画像歪み推定モデルを利用して、参照画像と検査画像の間の画像歪みによる位置ずれを推定する点において、実施例１と異なる。実施例１と同様の構成要素に同一符号を付し、以下では、実施例１と重複する説明を省略する。

【0035】

図７に示すように、本実施例に係る検査装置７０４は、画像歪み推定部７０５、推定歪み量７０６、画像歪み補正部３０５、補正済検査画像３０６、及び検査部３０７より構成される。ここで、画像歪み推定部７０５、画像歪み補正部３０５、及び検査部３０７は、例えば、図示しないＣＰＵなどのプロセッサ、各種プログラムを格納するＲＯＭ、演算過程のデータを一時的に可能するＲＡＭ、外部記憶装置などの記憶装置にて実現されると共に、ＣＰＵなどのプロセッサがＲＯＭに格納された各種プログラムを読み出し実行し、実行結果である演算結果をＲＡＭ又は外部記憶装置に格納する。

【0036】

なお、画像歪み補正部３０５及び検査部３０７は実施例１と同様である。加えて、画像歪み推定部７０５で使用する画像歪み推定モデル７０８を作成するための機械学習部７０７を備えている。検査装置７０４の処理フローは図５に示す実施例１の場合と同様であるが、ステップＳ５０３の内容において異なる。実施例１と異なる点についてのみ後述する。

【0037】

検査装置７０４を構成する画像歪み推定部７０５は、参照画像１０１と検査画像１０２、補正条件７０３が入力され、後述する機械学習部７０７が作成した画像歪み推定モデル７０８を用いて、参照画像１０１と検査画像１０２の間にある画像歪みによる位置ずれを推定し、推定歪み量７０６を出力する。画像歪み推定モデル７０８は、推定歪み量７０６が後述する補正条件７０３によって定義された制約条件を満たしつつ、参照画像１０１と検査画像１０２の類似度が大きくなるよう学習される。

【0038】

機械学習部７０７は、学習用参照画像７０１、学習用検査画像７０２、及び補正条件７０３を用いて、画像歪み推定部７０５で使用する画像歪み推定モデル７０８を作成し保存する。機械学習部７０７における学習処理は、検査装置７０４における処理と同時に行っても良いし個別に行っても良い。また、画像歪み推定部７０５を実行する計算機が、ネットワーク接続などを介して画像歪み推定モデル７０８を取得可能であれば、機械学習部７０７は検査処理７０４と異なる計算機で実行する構成としてもよい。

【0039】

画像歪み推定モデル７０８は、画像歪み補正部３０５で参照画像１０１または検査画像１０２を補正した場合に、後述する補正条件７０３によって定義された制約条件を満たしつつ、参照画像１０１と検査画像１０２の類似度を大きくするよう学習される。画像歪み推定モデル７０８には、例えば、Ｕ－ＮｅｔなどのＥｎｃｏｄｅ－ＤｅｃｏｄｅｒタイプのＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）やその他の構造を有するＣＮＮを用いるが、ＣＮＮに限定されるものではない。

【0040】

図８は、本実施例に係る機械学習部７０７の動作を説明するフローチャートである。図８に示すように、ステップＳ８０１において、学習用参照画像７０１、学習用検査画像７０２、及び補正条件７０３が、機械学習部７０７に入力される。学習用参照画像７０１及び学習用検査画像７０２は、２画像の間に画像歪みによる位置ずれを有する参照画像と検査画像の組であり、１組以上が機械学習部７０７に入力される。補正条件７０３は、上述の実施例１の補正条件３０２と同様の内容に加え、後述するステップＳ８０６の誤差関数の計算における重み付けパラメータなどが定義される。

【0041】

ステップＳ８０２において、機械学習部７０７は、入力された学習用検査画像７０２と学習用参照画像１０１から、１組以上を取得する。
ステップＳ８０３において、機械学習部７０７は、上述の実施例１の画像歪み推定部３０３におけるステップＳ６０１と同様の前処理を、ステップＳ８０２で取得した学習用検査画像７０２と学習用参照画像７０１に対し、補正条件７０３に定義された処理内容と設定パラメータに基づいて実施する。

【0042】

ステップＳ８０４において、機械学習部７０７は、画像歪み推定モデル７０８を用いてステップＳ８０３で処理された学習用参照画像と学習用検査画像を用いて、参照画像と検査画像の間の歪み量（第一の歪み量）を推定する。本実施例では、ステップＳ８０３で前処理された参照画像と検査画像を入力として第一の歪み量を推定する画像歪み推定モデル７０８を挙げるが、例えば、参照画像がＣＮＮなどの機械学習モデルによってシミュレートされた画像である場合、参照画像生成モデルの中間層の特徴量を、参照画像と同時或いは参照画像の代替として画像歪み推定モデル７０８に入力できる。

【0043】

ステップＳ８０５において、機械学習部７０７は、上述の実施例１の画像歪み推定部３０３におけるステップＳ６０４と同様の後処理を、補正条件７０３に定義された処理内容と設定パラメータに基づいて実施し、推定歪み量（第二の歪み量）を算出する。
ステップＳ８０６において、機械学習部７０７は、推定歪み量（第二の歪み量）を用いて検査画像或いは参照画像を補正し、補正済検査画像或いは補正済参照画像を作成する。

【0044】

ステップＳ８０７において、機械学習部７０７は、ステップＳ８０５で算出された推定歪み量、ステップＳ８０２で取得された学習用検査画像と学習用参照画像７０１、ステップＳ８０６で学習用検査画像７０２と学習用参照画像７０１より作成された補正済検査画像或いは補正済参照画像を用いて画像歪み推定モデル７０８の誤差関数または損失関数を評価する。画像歪み推定モデル７０８の誤差関数または損失関数は、例えば、補正条件７０３により定義される推定歪み量の近傍領域でのベクトルの大きさの差や分散などの変動を示す評価値と、補正済検査画像と学習用参照画像の絶対誤差、二乗誤差、またはガウス分布などによる負の対数尤度の重みつき和であり、重み付けパラメータは補正条件７０３に定義される。推定歪み量に関する正則化項は、例えば、推定歪み量が画像形式である場合に、隣接画素間における推定歪み量のベクトルの大きさの差の平均や、特定の画素の近傍における推定歪み量の分散などである。

【0045】

ステップＳ８０８において、機械学習部７０７は、ステップＳ８０７における評価結果に基づいて、画像歪み推定モデル７０８の誤差関数の値を小さくするように画像歪み推定モデル７０８のパラメータを更新する。この更新は、例えば、確率勾配降下法によって行う。

【0046】

ステップＳ８０９において、機械学習部７０７は、学習の終了条件に達したか否かを判定し、学習の終了条件に達したと判定した場合（ＹＥＳ）は、ステップＳ８１０に移行し、機械学習部７０７は、画像歪み推定モデル７０８を保存し、学習処理を終了する。一方、学習の終了条件に達していないと判定した場合（ＮＯ）は、ステップＳ８０２に戻り、ステップＳ８０２以降の処理を再び実行する。学習の終了条件には、ステップＳ８０２からステップＳ８０８までの処理を所定の回数以上繰り返したか、ステップＳ８０７で求めた画像歪み推定モデルの誤差関数の値がステップＳ８０２からステップＳ８０８までの処理を所定の回数繰り返しても小さくならず、画像歪み推定モデル７０８の学習が収束したと判断されるか、などが挙げられる。

【0047】

図９は、本実施例に係る検査装置７０４を構成する画像歪み推定部７０５のフローチャートである。以下、図６に示す実施例１の検査装置３０１の処理フローと異なる箇所についてのみ説明する。

【0048】

ステップＳ９０１において、検査装置７０４を構成する画像歪み推定部７０５は、機械学習部７０７で作成された画像歪み推定モデル７０８を取得する。
ステップＳ９０３において、画像歪み推定部７０５は、ステップＳ６０１で前処理された検査画像と参照画像に画像歪み推定モデル７０８を適用し、参照画像１０１と検査画像１０２の間にある歪み量（第一の歪み量）を推定する。
その後、ステップＳ６０４とステップＳ６０５を経て、推定歪み量を出力し、画像歪み推定処理を終了する。

【0049】

このように機械学習を用いる場合、画像歪み推定モデルの構成を変更することにより、推定精度とのトレードオフとなるが検査を実施する計算機のメモリ使用量や演算時間を削減可能であるという利点がある。構成の変更による演算時間の削減方法としては、例えば、ＣＮＮで使用される畳み込み層のチャネル数を減らすことや、層数を減らすことが挙げられる。

【0050】

以上の通り本実施例によれば、実施例１の効果に加え、画像歪み推定モデルの構成を変更することにより、推定精度とのトレードオフとなるが検査を実施する計算機のメモリ使用量や演算時間を削減することが可能となる。