特許 5941782 マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5941782

(24)【登録日】2016年5月27日

(45)【発行日】2016年6月29日

(54)【発明の名称】マッチング処理装置、マッチング処理方法、及びそれを用いた検査装置

(51)【国際特許分類】

   G06T 7/00 20060101AFI20160616BHJP

   G01N 21/956 20060101ALI20160616BHJP

   G01B 15/00 20060101ALI20160616BHJP

【ＦＩ】

   G06T7/00 300F

   G06T7/00 350B

   G01N21/956 A

   G01B15/00 K

【請求項の数】9

【全頁数】25

(21)【出願番号】特願2012-167363(P2012-167363)

(22)【出願日】2012年7月27日

(65)【公開番号】特開2014-26521(P2014-26521A)

(43)【公開日】2014年2月6日

【審査請求日】2015年4月22日

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテクノロジーズ

(74)【代理人】

【識別番号】100091096

【弁理士】

【氏名又は名称】平木 祐輔

(74)【代理人】

【識別番号】100105463

【弁理士】

【氏名又は名称】関谷 三男

(74)【代理人】

【識別番号】100102576

【弁理士】

【氏名又は名称】渡辺 敏章

(72)【発明者】

【氏名】長友 渉

(72)【発明者】

【氏名】安部 雄一

(72)【発明者】

【氏名】牛場 郭介

【審査官】 佐田 宏史

(56)【参考文献】

【文献】 特開平０５−１０１１８６（ＪＰ，Ａ）

【文献】 特開２００６−２９２６１５（ＪＰ，Ａ）

【文献】 特開２００３−０７６９７６（ＪＰ，Ａ）

【文献】 特開２００１−０１４４６５（ＪＰ，Ａ）

【文献】 特開平０９−１３８７８５（ＪＰ，Ａ）

【文献】 特開２００６−２９３５２８（ＪＰ，Ａ）

【文献】 特開２００８−１８５３９５（ＪＰ，Ａ）

【文献】 前田 英作、石井 健一郎，“物体有無判定における正規化主成分特徴量の評価”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，１９９２年 ３月２５日，Vol.J75-D-II, No.3，pp.520-529

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／６０

Ｇ０１Ｎ ２１／９５６

Ｇ０１Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

被サーチ画像に対しパターンマッチングを行うマッチング処理装置において、
学習用に取得したテンプレート画像から画像内の座標によって定まる特徴量を抽出する領域を抽出する特徴領域抽出処理部と、
学習用に取得した被サーチ画像から画像内の座標によって定まる特徴量を抽出する特徴量抽出処理部と、
前記テンプレート画像から抽出した特徴量と前記被サーチ画像から抽出した特徴量、及び前記テンプレート画像と前記被サーチ画像との相対位置とから、テンプレート画像と被サーチ画像との第１の相互的な特徴量を算出する第１の相互的特徴量算出処理部と、
特徴量抽出演算が異なる複数の前記特徴量抽出処理部で抽出した画像内の同じ座標において特徴量の値が異なる特徴量から算出した複数の前記第１の相互的な特徴量を用いて特徴量ベースのマッチングを行う第１の判定指標値を求め、前記テンプレート画像と前記被サーチ画像との相互的な関係をもとに求めた前記第１の判定指標値に基づいてマッチングの成否を分ける識別境界面を算出する識別境界面算出部と、
検査対象から取得したテンプレート画像と被サーチ画像とから第２の相互的な特徴量を算出する第２の相互的特徴量算出処理部と、
画像内の同じ座標において特徴量の値が異なる特徴量から算出した複数の前記第２の相互的な特徴量を用いて特徴量ベースのマッチングを行う第２の判定指標値を求め、前記テンプレート画像と前記被サーチ画像との相互的な関係をもとに求めた前記第２の判定指標値と前記識別境界面とを用いて検査対象のテンプレート画像と被サーチ画像とのマッチングを行うテンプレートマッチング処理部と
を備えることを特徴とするマッチング処理装置。

【請求項2】

前記テンプレートマッチング処理部は、
複数の特徴量からなる特徴量空間において、前記識別境界面からの距離をマッチングスコアとして算出するマッチングスコア算出処理部を備えることを特徴とする請求項１に記載のマッチング処理装置。

【請求項3】

前記マッチングスコア算出処理部は、
距離が０をスコアの中央値として設定する中央値設定処理部を有し、
マッチングススコアの中央値以下ならばマッチング不正解とし、スコアの中央値以上ならばマッチング正解とすることを特徴とする請求項２に記載のマッチング処理装置。

【請求項4】

前記第２の相互的な特徴量算出部において、
テンプレート画像と被サーチ画像との正規化相関値、及び、テンプレート画像から抽出した特徴点群と被サーチ画像から抽出した特徴点とで類似した特徴点の座標の一致度、及び、テンプレート画像から求めた階調値ヒストグラムと被サーチ画像から求めた階調値ヒストグラムとの一致度の、うちの少なくともいずれか１を特徴量とすることを特徴とする請求項１又は２に記載のマッチング処理装置。

【請求項5】

前記第１の相互的な特徴量と、テンプレート画像から抽出した特徴量と、被サーチ画像から抽出した特徴量のうちの少なくともいずれか１と、事前に取得したテンプレート画像と被サーチ画像とのマッチング成否結果と、を入力として、マッチング判定境界面を求めるマッチング成否判定境界面指定処理部を備えることを特徴とする請求項１から４までのいずれか１項に記載のマッチング処理装置。

【請求項6】

前記マッチング対象の特徴量と前記識別境界面とをＧＵＩ表示させるとともに、前記マッチング対象の特徴量に応じて、マージンを最大化するようにマッチング処理の正否を判定可能にする前記識別境界面を求める処理を行うことを特徴とする請求項５に記載のマッチング処理装置。

【請求項7】

請求項１から６までのいずれか１項に記載のマッチング処理装置によりパターンマッチングを行うことを特徴とする検査装置。

【請求項8】

被サーチ画像に対しパターンマッチングを行うマッチング処理方法において、
学習用に取得したテンプレート画像から特徴量を抽出する領域を抽出する特徴領域抽出ステップと、
学習用に取得した被サーチ画像から特徴量を抽出する特徴量抽出ステップと、
前記テンプレート画像から抽出した特徴量と前記被サーチ画像から抽出した特徴量からテンプレート画像と被サーチ画像との第１の相互的な特徴量を算出する第１の相互的特徴量算出ステップと、
複数の前記第１の相互的な特徴量を用いて特徴量ベースのマッチングを行う第１の判定指標値を求め、前記テンプレート画像と前記被サーチ画像との相互的な関係をもとに求めた前記第１の判定指標値に基づいてマッチングの成否を分ける識別境界面を算出する識別境界面算出ステップと、
検査対象から取得したテンプレート画像と被サーチ画像とから第２の相互的な特徴量を算出する第２の相互的特徴量算出ステップと、
前記第２の相互的な特徴量を用いて特徴量ベースのマッチングを行う第２の判定指標値を求め、前記テンプレート画像と前記被サーチ画像との相互的な関係をもとに求めた前記第２の判定指標値と前記識別境界面とを用いて検査対象のテンプレート画像と被サーチ画像とのマッチングを行うテンプレートマッチングステップと
を備えることを特徴とするマッチング処理方法。

【請求項9】

コンピュータに、請求項８に記載のマッチング処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、マッチング処理技術、より詳細にはパターンマッチング技術に関し、特に、半導体ウェーハ上に形成されたパターンの検査、或いは計測を目的とした検査技術におけるテンプレートマッチング技術に関する。

【背景技術】

【0002】

半導体ウェーハ上に形成されたパターンを計測、検査する装置では、テンプレートを用いてマッチングを行うテンプレートマッチング技術（下記非特許文献１参照）を利用して、所望の計測位置に検査装置の視野を合わせる処理を行う。下記特許文献１には、そのようなテンプレートマッチング方法の一例が説明されている。尚、テンプレートマッチング処理とは、予め登録されたテンプレート画像と最も一致する領域を、探索対象の画像から見つける処理である。

【0003】

テンプレートマッチングを用いた検査装置の具体例としては、走査型電子顕微鏡を用いた半導体ウェーハ上のパターンの計測がある。本検査装置では、ステージ移動によって計測位置の大まかな位置に装置の視野を移動するが、ステージの位置決め精度だけでは電子顕微鏡の高倍率で撮像された画像上では大きなズレが生じることが多い。また、ウェーハをステージに毎回同じ方向で載せられるとは限らず、ステージに載せたウェーハの座標系（例えば、ウェーハのチップ等の並ぶ方向）が、ステージの駆動方向と完全には一致せず、これも電子顕微鏡の高倍率で撮像された画像上でのズレの原因となる。

【0004】

更に、所望の観察位置での高倍率の電子顕微鏡画像を得るために、電子ビームを微小量(例えば、数十μm以下)だけ偏向させて観察試料上の狙った位置に照射する場合があるが（これを、「ビームシフト」と呼ぶ場合がある）、このビームシフトを行っても、ビームの偏向制御の精度だけでは、照射位置に関し、所望の観察位置からズレが生じることがある。このような夫々のズレを補正して正確な位置での計測、検査を行うために、テンプレートマッチングが行われる。

【0005】

具体的には、電子顕微鏡像よりも低倍率の光学式カメラでのアライメントと、電子顕微鏡像でのアライメントの、多段階にアライメントを行う。例えば、ステージに乗せたウェーハの座標系のアラメントを光学式カメラで行う場合には、ウェーハ上で離れた位置にある複数チップ（例えばウェーハの左右両端のチップ）の画像を用いてアライメントを行う。まず、夫々のチップ内、あるいは近傍にあるユニークな同一パターン(夫々のチップ内で相対的に同じ位置にあるパターン)をテンプレートとして登録する(登録に用いるパターンとしては、ウェーハ上に光学用のアライメントパターンとして作成されたものを用いることが多い)。

【0006】

次に、夫々のチップでテンプレート登録したパターンを撮像するようにステージ移動を行い、夫々のチップで画像を取得する。取得した画像に対しテンプレートマッチングを行う。その結果として得られる夫々のマッチング位置をもとに、ステージ移動のズレ量を算出し、このズレ量をステージ移動の補正値としてステージ移動の座標系とウェーハの座標系を合わせることを行う。また、次に行う電子顕微鏡でのアライメントでは、予め計測位置に近いユニークなパターンをテンプレートとして登録しておき、テンプレートから見た計測位置の相対座標を記憶しておく。そして、電子顕微鏡で撮像した画像から計測位置を求める時は、撮像した画像においてテンプレートマッチングを行い、マッチング位置を決め、そこから記憶しておいた相対座標分移動したところが計測位置となる。このようなテンプレートマッチングを利用して、所望の計測位置まで装置の視野を移動させることを行う。

【0007】

尚、上述のステージ移動のズレ、或いはビームシフトのズレが大きな場合には、電子顕微鏡で撮像した画像内にアライメント用のパターンが写らない場合がある。その場合は、撮像位置周辺でアライメント用のパターンを再び探す(周辺探索)、或いは計測を中断してアライメントに失敗したことをアラームでユーザに伝える等の処理(計測中断)を行うことがある。この処理を行うには画像内にアライメント用のパターンが有るか否かの判定が必要となる。この判定には、例えばテンプレートマッチングでのマッチングスコア（例えば正規化相関演算での相関値）を用いる。マッチングスコアが予め設定した基準値（以降、この基準値をスコアアクセプタンスと呼ぶ）より高ければ視野内にパターンが有ると判定し、マッチングスコアがスコアアクセプタンスが低ければパターンが無いと判定する。

【0008】

テンプレートマッチング方法は、正規化相関などによる画像ベースの方法と、画像から抽出した特徴点を比較する特徴点ベースの手法とに分けることができる。前者の画像ベースによる手法では、例えば被サーチ画像からテンプレートと同サイズの画像を切り出し、切り出した画像とテンプレートとの相関値を算出し、この相関値を被サーチ画像から切り出す画像位置毎（位置は例えば被サーチ画像全面）に算出し、相関値が大きな位置をマッチング位置とする(非特許文献１)。一方で、後者の特徴点ベースの手法は、テンプレートと被サーチ画像の夫々で複数の特徴点を抽出し、例えば両画像で類似した特徴点を見つけ出し(対応点マッチング)、その特徴点を重ねるようなテンプレートの射影を行ったときに(画像間での回転・スケール等の違いは考慮)、射影した領域が重なる数が多くなる位置をマッチング位置とする(非特許文献２)。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】特許文献２００１−２４３９０６号公報（対応米国特許ＵＳ６２７８８８）

【非特許文献】

【0010】

【非特許文献1】ディジタル画像処理(CG-ART協会)p.203-204 (2009)

【非特許文献2】高木, 藤吉,SIFT特徴量を用いた交通道路標識認,SII07,LD2-06(2007)

【非特許文献3】近藤，杜下，桂川，土井: “胸部単純X線写真におけるエッジ強調画像を利用した患者自動認識法の開発”, 日本放射線技術学会誌, Vol. 59, No. 10 pp.1277-1284(2007)

【発明の概要】

【発明が解決しようとする課題】

【0011】

先に述べたテンプレートマッチングにおいて、テンプレートと被サーチ画像とで画像の見た目の乖離が大きな場合にマッチングが成功しない場合がある。テンプレートと被サーチ画像とで画像の見た目の乖離が大きくなる理由として、例えば、テンプレートを登録した時の検査装置の撮像条件と被サーチ画像を撮像した時の検査装置の撮影条件との差が大きくなった場合、テンプレートを登録した時に撮影した半導体パターンの出来栄えと被サーチ画像を撮像した半導体パターンの出来栄えの違いが大きくなった場合、或いは、テンプレートを登録した時の半導体パターンの半製造工程と、被サーチ画像を撮影したときの半導体パターンの製造工程とが異なる場合などがある。また、ここに挙げた例に限らず、様々な要因でテンプレートと被サーチ画像とで画像の見た目の乖離が大きくなることがある。

【0012】

画像ベースのテンプレートマッチングにおいては、テンプレートと被サーチ画像との見た目が乖離すると、マッチング正解位置での相関値が低下し、マッチングに失敗する恐れがある。テンプレートと被サーチ画像との見た目の違いを小さくするために、平滑化処理、エッジ強調などの前処理で行う方法も提案されている(非特許文献３)。

【0013】

しかしながら、見た目が様々な画像に対して、マッチング正解位置を求めることは難しい。また画像の見た目が異なる度に、ユーザがスコアアクセプタンスを変更することが必要で、装置の稼働率を下げてしまう。スコアアクセプタンスは、理想的には、統一の値（固定値）が望ましいが、現状の手法では、それは難しい。図４は、見た目の異なる複数の画像(サンプルＩＤ:１〜１００)に対して、マッチング正解位置及びマッチング不正解位置での相関値（マッチングのスコア）を例示した図である。サンプルによって相関値が異なり、一つのスコアアクセプタンス（しきい値）２０２（或いは２０３）では、マッチング成否を判定は困難となっている。スコアアクセプタンス（しきい値１）２０２を用いると、区間２０５のサンプルでマッチング正解位置のものをマッチング不正解位置と誤って判定することになる。

【0014】

一方で、例えばアクセプタンス（しきい値２）２０３を用いた場合は、マッチング不正解位置のサンプル（２０５の右となりの斜線領域）をマッチング正解位置であると誤って判定してしまう。

【0015】

このように、マッチング正解位置と不正解位置とでのスコアの分離性が悪い(統一のスコアで分離できない)と、マッチングの成否判定が困難となり、検査装置で必要とされるマッチング性能が得られない恐れがある。

【0016】

また、特徴点ベースのテンプレートマッチングにおいては、例えばSIFT(Scale-Invariant Feature Transform)等の特徴量を用いた方法等(非特許文献２参照)が提案されているが、この手法においても、テンプレートと被サーチ画像との見た目の乖離が大きいと、テンプレートと被サーチ画像との特徴ベクトル(特徴記述子)の類似性が悪くなり、対応点マッチングが上手くできずにマッチングが不安定になるという問題がある。

【0017】

本発明は、テンプレートマッチングにおいて、テンプレートと被サーチ画像とで画像の見た目の乖離が大きな場合でも、正確なマッチング位置を出力することを目的とする。

【課題を解決するための手段】

【0018】

上記課題を解決するために本発明では、テンプレート、或いは被サーチ画像の各々から別々に特徴量(以降、個別特徴量と呼ぶ)を抽出して比較するのみならず、テンプレートと被サーチ画像の両者から求めた相互的な情報（以降、相互的特徴量と呼ぶ）もマッチング成否の判定の情報として用いる。これを実現するための本発明の代表的なものの概要は次の通りである。

【0019】

本発明によるテンプレートマッチングを行う検査装置は、テンプレートから画像内の座標によって定まる特徴量を抽出する特徴領域抽出処理部と、被サーチ画像から画像内の座標によって定まる特徴量を抽出する特徴量抽出処理部と、前記テンプレートから抽出した特徴量、及び前記被サーチ画像から抽出した特徴量、前記テンプレートと被サーチ画像との相対位置とから、テンプレートと被サーチ画像の両画像の相互的な特徴量算出処理部と、複数の前記相互的な特徴量を用いてテンプレートと被サーチ画像とのマッチングを行うテンプレートマッチング処理部を備えることを特徴とする。

【0020】

また上記の相互的特徴量を複数種類用い、また個別特徴量をも複数種類を用いることを特徴とし、それらの特徴量によって張られる特徴量空間において、マッチング対象の座標と、マッチングの成否を分ける識別面との距離をマッチングスコアとすることを特徴とし、境界面からの距離が0の時にスコアを0とし（或いはスコアの中央値とする）、スコアが正ならマッチング正解、スコアが負ならばマッチング不正解（或いは、スコアの中央値以上ならマッチング正解、スコアの中央値以下なら不正解）とすることを特徴とする。これによりスコアアクセプタンスは常に0（或いはスコア中央値）を固定値とすることが可能となる。

【発明の効果】

【0021】

本発明によれば、テンプレートマッチングにおいて、テンプレートと被サーチ画像とで画像の見た目の乖離が大きな場合でも、正確なマッチング位置を出力することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の一実施の形態によるテンプレートマッチングを行う検査装置の例（ＳＥＭ）を示す図である。

【図2】本発明の一実施の形態によるテンプレートマッチング処理部の一構成例を示す機能ブロック図である。

【図3】本発明の一実施の形態によるテンプレートマッチング装置の一構成例を示す機能ブロック図であり、学習処理機能を有する装置の一例を示す図である。

【図4】見た目の異なる複数の画像(サンプルＩＤ:１〜１００)に対して、マッチング正解位置及びマッチング不正解位置での相関値（マッチングのスコア）を例示した図である。

【図5】本実施の形態のパターンマッチング処理の一構成例を示すブロック図である。

【図6】本実施の形態におけるマッチングスコアを算出する処理を説明する原理図である。

【図7】本実施の形態におけるマッチング成否判定境界面を指定する手段を説明する図であり（ａ）、その処理の概要を示す図である（ｂ）。

【図8】本実施の形態における判定指標値を算出する処理の流れを示す図である。

【図9】第２類特徴量、第３類特徴用を説明する図である。

【図10】第２類特徴量の算出領域を説明する図である。

【図11】第３類特徴量の算出について説明する図である。

【図12】本実施の形態による判定指標値の例を説明する図である。

【図13A】本実施の形態による特徴量の例を示す図である。

【図13B】本実施の形態による特徴量の例を示す図である。

【図13C】本実施の形態による特徴量の例を示す図である。

【図13D】本実施の形態による特徴量の例を示す図である。

【図13E】本実施の形態による特徴量の例を示す図である。

【図13F】本実施の形態による特徴量の例を示す図である。

【図13G】本実施の形態による特徴量の例を示す図である。

【図14】本実施の形態における学習データの与える手段を説明する図である。

【図15】マッチング成否判定境界面の学習に加えて、特徴量算出方法も学習する方法を説明する図である。

【図16】本実施の形態におけるマッチング成否判定境界面を手動で指定する例を説明する図である。

【図17】本実施の形態におけるマッチング結果の安定性を確認する手段を説明する図である。

【発明を実施するための形態】

【0023】

以下では、本発明に係る実施の形態について図面を参照しながら詳細に説明する。なお、図中で説明番号が同じものは、特に断わりがない限り同一部材を示していることとする。

【0024】

図１は、本発明の一実施の形態による検査装置の適用例として、半導体ウェーハ上に形成された半導体デバイスのパターン寸法計測に主に用いられている走査型電子顕微鏡(Scanning Electron Microscope：ＳＥＭ)で、マスク処理を用いたテンプレートマッチングを行うときの装置の一構成例を示す図である。走査型電子顕微鏡（ＳＥＭ）Ａでは、電子銃１から電子線を発生させる。ステージ２上に設置された試料である例えば半導体ウェーハ３上の任意の位置において電子線が焦点を結んで照射されるように、偏向器４および対物レンズ５を制御する。電子線を照射された半導体ウェーハ３からは、２次電子が放出され、２次電子検出器６により検出される。検出された２次電子は、Ａ／Ｄ変換機７でデジタル信号に変換され、処理・制御部１４内の画像メモリ１５内に格納され、ＣＰＵ１６で目的に応じた画像処理が行われる。本実施の形態によるテンプレートマッチング処理は、処理・制御部１４、より詳細には、マッチング処理部１６ａで処理を行う。図１３で後述する処理の設定、および、処理結果の表示は、表示装置２０で行う。また、電子顕微鏡よりも低倍の光学式カメラを用いたアライメントにおいては、光学式カメラ１１を用いる。半導体ウェーハ３を、本カメラ１１で撮像することで得られる信号も、Ａ／Ｄ変換器１２でデジタル信号に変換され（光学式カメラからの信号がデジタル信号の場合は、Ａ／Ｄ変換器１２は不要である）、処理・制御部１４内の画像メモリ１５に格納され、ＣＰＵ１６で、目的に応じた画像処理が行われる。

【0025】

また、反射電子検出器８が備わっている場合には、半導体ウェーハ３から放出される反射電子を、反射電子検出器８により検出し、検出された反射電子はＡ／Ｄ変換器９あるいは１０でデジタル信号に変換され、処理・制御部１４内の画像メモリ１５に格納され、ＣＰＵ１６において、目的に応じた画像処理が行われる。本実施の形態では、検査装置の例として走査型電子顕微鏡を示したが、適用する装置としては、これに限定するものではなく、画像を取得し、テンプレートマッチング処理を行う検査装置等に適用できる。

【0026】

図２は、本実施の形態による検査装置でのマッチング処理部の一構成例を示す機能ブロック図であり、図５に対応する処理を行う処理部の機能ブロック図である。図３は、本実施の形態による検査装置でのテンプレートマッチング処理の一流れを含む全体構成例を示す機能ブロック図であり、学習処理を行う構成を合わせて示す図である。尚、学習処理とマッチング処理とは、別の処理としても良いし、一部共通のハードウェア構成又はソフトウェア構成、それらの組み合わせであっても良い。

【0027】

図２に示すように、図１に示すマッチング処理部１６ａは、例えば２つの入力の特徴量を抽出する特徴量抽出部１６ａ−１と、第１及び第２の特徴量を含む複数の特徴量に基づいて、それらの特徴量の関係を示す相互的特徴量を算出する相互的特徴量算出部１６ａ−２と、相互的特徴量、及びマッチング成否判定境界面に基づいてテンプレートマッチングの判定を行い、特徴量空間で相互特徴量とマッチング成否判定境界面との距離（スコア）を求めるテンプレートマッチング判定部１６ａ−３と、照合対象が残っているか否かを判定する照合対象判定部１６ａ−４と、例えば、距離（スコア）が最大となるウェハ上の位置を選出するスコア位置選出部１６ａ−５と、正解のクラスであるか不正解のクラスであるかの判定を行う所属クラス判定部１６ａ−６と、マッチングされたウェハ上の位置（ｘ、ｙ）などと、マッチングスコアなどとを対応付けて記憶する記憶部１６ａ−７と、これらの記憶された値に基づく表示等の出力を行う出力部１６ａ−８と、を有している。さらに、後述する学習処理に関連して、学習用に取得したテンプレート画像から特徴量を抽出する特徴領域抽出処理部１６ａ−１ａと、後述する学習処理部１６ａ−２ａと、を有している。尚、マッチング処理部１６ａは、図２に示す全ての要素（機能部）を備えていても良く、或いは、一部のみを備えていても良い。

【0028】

図３は、本実施の形態による検査装置でのマッチング処理部１６ａによる処理の流れを示すフローチャート図である。

【0029】

図３に示すように、本実施の形態による処理は、相互的特徴に基づく判定指標値算出処理Ｘと、学習処理に基づくマッチング正否判定境界面（識別境界面）の指定処理Ｙと、処理Ｘ、処理Ｙとに基づくテンプレートマッチング処理による判定結果の導出処理とからなる。

【0030】

相互的特徴に基づく判定指標値算出処理Ｘは、予め登録したテンプレート１０１と、検査装置で取得した被サーチ画像から切り出した画像１０２（マッチング候補位置における切り出し画像）とから、テンプレートマッチングに用いる判定指標値１０９を求める処理である。

【0031】

尚、被サーチ画像内にサーチ対象のパターンが有るか否かの判定処理、及び、マッチング位置を求める手段の詳細については、図６を参照しながら後に説明する。本実施の形態では、例えば、テンプレート１０１と被サーチ画像１０２のマッチング正解位置とで、画像の見た目の乖離が大きくなった場合でもパターンマッチングを成功させるようにすることが１つの目的であり、詳細には、図３の説明の後半に述べるが、テンプレート１０１及び被サーチ画像１０２の両画像を用いて求めた相互的特徴量１０８を用いて、特徴量ベースのマッチングを行う判定指標値１０９を求める。これにより、例えば、テンプレート１０１のみ、或いは、被サーチ画像１０２のみ、から求めていた個別特徴量を用いた特徴量ベースのマッチングでは取り扱うことが難しかったテンプレート１０１と被サーチ画像１０２とでの見た目の違いに起因する悪影響を受けにくい特徴量によるマッチング（或いは、悪影響を受けにくいように特徴量を用いるマッチング）が行えるようになり、テンプレートマッチングのロバスト性を向上させることができる。

【0032】

相互的特徴量１０８は、テンプレート１０１から特徴量抽出部１６ａ−１による特徴量Ａ抽出処理１０３により抽出した特徴量Ａ１０５と、被サーチ画像からの切り出し画像（マッチング候補位置）１０２から特徴量抽出部１６ａ−１による特徴量Ｂ抽出処理１０４により抽出した特徴量Ｂ１０６とを用いて、相互的特徴量算出部１６ａ−２で相互的特徴量算出処理１０７により求める。相互的特徴量の算出方法は後述するが、単純な算出方法としては、例えば、特徴量Ａ１０５、特徴量Ｂ１０６として、テンプレート１０１、被サーチ画像からの切り出し画像１０２をそのまま用い、両画像の正規化相関値を相互的特徴量の一つとして用いるようにすることができる。

【0033】

例えば、２組の対応するデータｘ，ｙ間での平均からの偏差の積の平均値である共分散ρ_ＸＹを、相互的特徴量として求めても良い。

【0034】

ρ_ＸＹ＝Ｃｏｖ（ｘ，ｙ）／（Ｖ（ｘ））^１／２・（Ｖ（ｙ））^１／２

【0035】

求めた相互的特徴量１０８は、テンプレートマッチング判定部１６ａ−３（マッチングスコア算出部）で用いる判定指標値１０９の一部、或いは、全てとして用いる。尚、この相互的特徴量１０８は、１つとは限らず、種類の異なる複数の特徴量を算出し、用いることもできる。なお、被サーチ画像からの切り出し画像１０２から抽出した特徴量Ｂ１０６を、そのまま個別特徴量として、判定指標値１０９の一部に用いることもできる。この特徴量も、１つとは限らず、種類の異なる特徴量を複数算出し、個別特徴量として用いることもできる。マッチングスコア判定処理部は、距離が０をスコアの中央値として設定する中央値設定処理部を有し、マッチングススコアの中央値以下ならばマッチング不正解とし、スコアの中央値以上ならばマッチング正解とするようにしても良い。

【0036】

一方、学習処理部１６ａ−２ａでは、テンプレート１０１ａと、被サーチ画像からの切り出し画像（マッチング正否情報）１０２ａとして、画像１０２ａ−１とマッチング正否情報１０２ａ−２と、を用いることができる。以下の、判定指標値１０９ａを求めるまでの処理Ｙは、処理Ｘと同様であり、同じアルゴリズムで実行することもできるし、同じハードウェアにより処理することもできる。別の構成により行うようにしても良い。

【0037】

処理Ｙでは、判定指標値１０９ａから、マッチング正否判定境界面の指定処理１１０を行う。

【0038】

マッチング正否判定境界面の指定処理１１０においては、詳細は後述するが、判定指標値空間でマッチングの正否を分ける境界面を指定する。複数の判定指標値を用い、かつ、その判定指標値には、テンプレートと被サーチ画像の相互的な関係をもとに求めた判定指標値１０９ａが含まれることから、例えば、画像ベースのマッチング手法において相関値のみを用いた場合ではマッチング成否を分けられないケースでも、本実施の形態による手法では、マッチングの成否を分けられるマッチング成否判定境界面を求めることができる可能性が高まる。学習処理部１６ａ−２ａにおけるマッチング正否判定境界面の指定処理１１０において指定されたマッチング正否判定境界面１１１と、相互的特徴量算出処理により求めた判定指標値１０９とを用いて、テンプレートマッチング判定部１６ａ−３におけるテンプレートマッチング判定処理１１２により、判定指標値空間での判定指標値１０９のマッチング判定境界面からの距離をマッチングの判定指標として算出し、その距離を判定結果（マッチングスコア等）１１３とする。この距離の算出方法の例については後述する。

【0039】

以上により、マッチングスコアを算出する対象（被サーチ画像からの切り出し画像１０２）のマッチングスコア等のマッチングの判定指標を算出することができる。これにより、テンプレート１０１と被サーチ画像１０２との相互的な関係をも特徴量とした特徴量ベースのテンプレートマッチングにおいて、複数の前記相互的な特徴量を用いてマッチングの成否を分ける識別境界面を算出する学習結果を用いることが可能となり、被サーチ画像の見た目の変動に対して、変動の影響を受けにくいマッチング処理が可能となる。

【0040】

図５は、図３を参照して説明したテンプレートマッチング処理を利用して、サーチ処理を行う処理の流れを示すフローチャート図である。破線で囲んだ部位３００が、図３で説明した処理に相当し、テンプレート１０１、被サーチ画像から切り出した画像１０２、及び、学習処理にマッチング正否判定境界面１１１を用いて、テンプレートマッチング判定処理１１２によりマッチング判定結果（マッチングスコア）１１３を算出する。

【0041】

被サーチ画像３０１からテンプレートと照合する領域の画像の切り出し処理３０２により切り出した画像１０２を切り出し、テンプレート１０１と照合し、テンプレートマッチング判定処理１１２を経て判定結果１１３を出力する。照合対象の判定処理３０３では、判定結果１１３を、被サーチ画像の全ての照合対象位置で得たか否かを判定する。

【0042】

照合対象が未だ残っている場合は、切り出し位置変更処理３０４で切り出し位置を求め、テンプレートと照合する画像の切り出し処理３０２で画像を切り出す。照合対象の判定処理３０３で全ての照合対象で判定を完了した場合は、あるスコア、例えば、最大スコア位置の選出処理３０５を行い、マッチングスコアが最大となる位置を求める。マッチングスコアが最大となった照合位置でのマッチングスコアを用いて、所属クラス判定処理３０６で、マッチングスコアが最大となった照合位置が、マッチング正解とみなせる位置であるか、マッチング不正解とみなす位置であるかを判定する。

【0043】

この処理は、詳細は後述するが、判定指標値空間で、マッチングスコアが最大となった照合位置の判定指標値１０９が、マッチング正否判定境界面を基準にして、マッチング不正解側（不正解クラス）に属する場合(スコアアクセプタンス以下となった場合)は、被サーチ画像の視野内にサーチ対象のパターンが無かったと判断する。この場合は、撮像位置周辺でアライメント用のパターンを探す、或いは計測を中断してアライメントに失敗したことをアラームでユーザに伝える等の処理を行うことになる（不正解クラス）。

【0044】

一方で、マッチングスコアが最大となった照合位置の判定指標値１０９が、マッチング正否判定境界面を基準にして、マッチング正解側（正解クラス）に属する場合（スコアアクセプタンス以上となった場合）は、その照合位置をマッチング位置３０７として出力する。またマッチング正否と併せてマッチングスコアも出力することもできる。以上により、図３で説明した相互的特徴量を用いて算出したテンプレートマッチング結果、例えばマッチングスコアを用いて、テンプレートマッチングを行うことができる。

【0045】

図６は、図３で説明したマッチングスコア算出処理１１２について、原理を説明する図である。

【0046】

本実施の形態では、図６（ａ）に判定指標値Ａ及び判定指標値Ｂの２つの判定指標値を用いた場合の例を示している。マッチングスコアは、判定指標値で張られる判定指標値空間（本例では２次元で示す。）で、スコアを算出する対象の座標（判定指標値空間上の座標は、各判定指標値１０９から決まる）と、マッチング正否判定境界面１１１との距離を用いる。マッチング正否判定境界面１１１は、図３で説明したように、マッチング正否判定境界面指定処理１１０の結果として与えられる。

【0047】

例えば、スコアを算出する対象が、図中の△印４０５であったとき、マッチング正否判定境界面１１１までの距離が破線部４１０となる。距離としては、例えばユークリッド距離を用いることができる。なお、用いる距離は、ユークリッド距離に限定されるものではなく、マッチング正否判定境界面１１１からの距離が算出できる手段であれば良い。

【0048】

図６（ｂ）は、マッチング正否判定境界面１１１からの距離４１０とマッチングスコア４１１との関係を示した図である。マッチングスコア４１１の取り方としては、例えば、マッチング正否判定境界面１１１からの距離が０の時にマッチングスコア４１１を０にし、正解位置のクラスのとなる場合はスコアを正の値、不正解位置のクラスとなる場合は、負の値とする方法がある。そのときの距離とスコアの関係は、図６（ｂ）に直線４１２で示したように線形にすることができる。

【0049】

尚、ここでは線形を例にして説明するが、関係は、線形に限定されるものではなく、非線形に距離とスコアとを対応づけることも可能である。本実施の形態で対象としている検査装置においては、先に述べたようにマッチングの正否をスコアアクセプタンスで判断することがある。このスコアアクセプタンスについては、ユーザ或いは装置設計者が決めることを要求されることが多く、その設定次第でマッチング性能が異なることもある。先に述べたように距離が０の場合を、スコアを０の固定値とすれば、アクセプタンスの設定が不要になる。また従来のマッチング方式で例えば正規化相関を用いたマッチングで関値を用いたマッチングでは、判定指標に相当するものは相関値の１つだけとなり、その値そのものがスコアとなる。その場合に、図６（ａ）のように１つの値を用いた場合に、マッチングの正解と不正解とが分けられない場合には、適切なアクセプタンススコアを設定することができなくなる。本実施の形態によれば、そのようなケースも回避することが可能となる。

【0050】

尚、正解と不正解とを分けるアクセプタンススコアを０と限定する必要はなく、オフセット値を設けることも可能である。また本実施の形態では、判定指標値Ａ及び判定指標値Ｂの２つの判定指標値を用いて、２次元でマッチング正否判定を行う例を示したが、判定指標値は２つに限定するものでなく、２つよりも多くの判定指標値を用いて正否判定することができる。

【0051】

図７は、図３で述べたマッチング正否判定境界面１１１の指定処理１１０について説明する図である。マッチング成否判定境界面１１１は、判定指標値空間において、マッチング正解となる事例（図７(a)では○で記載）と、マッチング不正解となる事例（図７(a)では×で記載）を分けることを目的として設定する。そうすることにより、図６で説明した所属クラス判定処理３０６において、マッチング成否判定境界面１１１を基準に、どちら側にマッチング結果があるかを判定することができ、マッチング結果が、マッチング正解位置であるか、或いは、マッチング不正解位置であるかが判る。マッチング成否判定境界面１１１は、例えばSVM（Support Vector Machine）で用いられている手法によって求めることができる。

【0052】

以下に、詳細に説明する。SVMは、教師有り学習を用いる識別手法の一つである。マッチング成否判定境界面１１１は、SVMでの分離超平面（識別面などとも呼ばれる）に相当する。図７（ａ）では、マッチング成否判定境界面１１１が分離超平面となり、マッチング成否判定境界面１１１の内側の破線部５０１、及びマッチング成否判定境界面１１１の外側の破線部５０２が、SVMでのマージンと呼ばれるものとなる。またマージン上の点を、サポートベクターと呼んでいる（マッチング正解となる事例、及びマッチング不正解となる事例のそれぞれで少なくとも１つはある）。

【0053】

SVMでは、学習データ中で最も他の事例と近い位置にあるもの（それがサポートベクターである）を基準として、そのユークリッド距離が最も大きくなるような位置に分離超平面を設定する。つまり、事例の最端から他の事例までのマージンを最大にする（マージン最大化）。

【0054】

本実施の形態でのマッチング成否判定境界面１１１を、SVMの分離超平面とすることで、複数の判定指標値がある場合でも特徴量空間でマッチング正解の事例とマッチング不正解の事例とを分離することが可能となる。つまり、本手法で求めたマッチング成否判定境界面１１１を基準に用いて、マッチング成否の判定ができるようになる。

【0055】

図７（ｂ）は、マッチング成否判定境界面１１１を求める処理の構成を説明する図である。まず図５で説明した複数の判定指標値１０９ａと、マッチング成否１０２−２の組み合わせを１つの事例とし、その事例を複数含んだデータ（学習データ）１０２ａを準備する。この学習データ１０２ａには、マッチング正解の事例とマッチング不正解の事例とが含まれるようにする。次に、学習データに基づき、先に述べたようにSVMを用いてSVMの分離超平面を求め（１１１）、求めた分離超平面をマッチング成否判定境界面１１１とする。

【0056】

以上の処理により、SVMを用いて、複数の判定指標値からマッチング成否判定境界面１１１を求めることができる。なお、識別面（分離超平面）を求めるのにSVMに限定する必要はなく、マッチング正解の事例と、マッチング不正解の事例を分離するマッチング成否判定境界面が求められる手法であれば良い。

【0057】

図８は、図３、及び図５で述べた判定指標値算出手段について説明する図である。図３で説明した通り、テンプレート１０１及マッチング候補位置での切り出し画像１０２から判定指標値１０９ａを算出する。

【0058】

次に、相互的特徴量の算出方法についてまず説明する。特徴量抽出部Ａ１０３でテンプレート１０１から抽出した特徴量（ここでは特徴量Ａ１０５とする）と、特徴量抽出部Ｂ１０４でマッチング候補位置の切り出し画像１０２から抽出した特徴量（ここでは特徴量Ｂ１０６とする）とを用いて、相互的特徴量算出処理１０７で特徴量Ｄ１０８を求める。相互的特徴量の算出方法は、図９で説明する。また図３で説明した個別特徴量は、マッチング候補位置での切り出し画像１０２、或いはテンプレート１０１を用いて、特徴量抽出処理Ｃ６０５で特徴量Ｃ６０８を算出する。個別特徴量の算出方法は、図９で説明する。求めた特徴量Ｄ１０８、或いは特徴量Ｃ６０８を判定指標値１０９ａとする。なお、特徴量Ａ１０５、特徴量Ｂ１０６、特徴量Ｃ６０８、特徴量Ｄ１０８は、それぞれ複数種類を用いても良い。判定指標値１０９ａも複数種類を用いることなる。本構成により、テンプレート１０１、及びマッチング候補位置での切り出し画像１０２から、相互的特徴量、及び個別特徴量を複数種類求め、その特徴量を判定指標値１０９ａにすることができる。

【0059】

図９は、図８で述べた特徴量について説明する図である。特徴量を、その性質によって分類し、第１類特徴量、第２類特徴量、第３類特徴量と呼ぶことにする。第１類特徴量は、特徴量を算出する画像において、画像内の位置(座標)に依らずに対象画像、或いは対象画像の一部の領域から定まる特徴である。例えば、画像全体の画素値平均値、画素値分散値などは、第１類特徴量となる。本特徴量は個別特徴量に相当する。第２類特徴量は、画像内の位置（座標）により定まる特徴量である。例えば、図９(a)に示すように、画像上の座標(i,j)1402(ここでは画像の左上を画像座標系の原点としている)において、算出される特徴量V_i,jとなる。ここでは、特徴量V_i,jは、多次元のベクトルとして表すことができる。図９(a)に示すように、特徴量のベクトルV_i,jは、ｆ1からｆｎを、ベクトル要素とする（nは、ベクトルの要素数）。例えばSIFT特徴量(非特許文献２)は、画像上のある座標毎(特徴点毎)に定まるベクトルで特徴を表現する。SIFT特徴量では、特徴点周辺領域を複数の小領域に分割し(１６領域)、各小領域での画素値の勾配方向(８方向)をビンとするヒストグラムを生成し、その各ヒストグラムの各ビンをベクトル要素（要素数は１２８個（１６×８））の一つとするベクトルを特徴量として用いる。本特徴量も個別特徴量に相当する。第３類特徴量は、テンプレート画像から算出した第２類特徴量及び被サーチ画像から算出した同第２類特徴量と、両画像間の相対位置(例えば両画像の照合位置)によって定まる特徴量である。相互的特徴量は、第３類特徴量となる。第２類特徴を用いて第３類特徴を求める方法（相互的特徴量算出方法）は、図１１、図１３で詳細を説明するが、例えば、図９（b）に示すようにテンプレート画像と被サーチ画像から切り出した領域(破線部)との相対位置1416によって定まる特徴量である。

【0060】

図１０は、図９で述べた第２類特徴量において、画像内の位置によって定まる特徴量の算出時の特徴量算出領域について説明する図である。図１０(a)は、画像内のある座標から特徴量を求める例である。この座標における、画素値、画素値勾配情報等を特徴量とする。従って特徴量は画像内での座標によって定まることになる。図１０(b)は、画像内の或る矩形領域から特徴量を求める例である。この矩形領域における、画素値平均、画素値分散、画素値ヒストグラムの各ビンの値、或いは、矩形領域を小領域に分けて算出した画素値勾配方向ヒストグラムの各ビンの値などを特徴量とする。これによって、特徴量を算出する着目座標周辺の特徴も利用することができ、本特徴を用いることでマッチングをよりロバストにできるようになる。図１０(c)は、画像内の円形領域から特徴量を求める例である。図１０(b)の矩形領域と同様に、この円形領域における、画素値平均、画素値分散、画素値ヒストグラムの各ビンの値、或いは、円形領域を小領域に分けて算出した画素値勾配方向ヒストグラムの各ビンの値などを特徴量とする。これによって、特徴量を算出する着目座標周辺の特徴も利用することができ、本特徴を用いることでマッチングをよりロバストにできるようになる。図１０(d)は、画像内の或る任意形状の領域における特徴量を求める例である。この図１０(b)(c)の矩形領域、円形領域と同様に、この任意形状の領域から特徴量を算出しても良い。これによって、特徴量を算出する着目座標周辺の特徴も利用することができ、本特徴を用いることでマッチングをよりロバストにできるようになる。

【0061】

図１１は、図９で述べた第３類特徴量において、第２類特徴量から第３類特徴量を求める方法を説明する図である。先に述べたように第３類特徴量は、テンプレート画像の第２類特徴量と、被サーチ画像の同第２類特徴量との相対位置に基づき求める。

【0062】

図１１(a)は、被サーチ画像1605からテンプレート画像1601と同じサイズの領域（破線部）1610を切り出し（切り出し位置（X, Y））1607、切り出した領域から第２類特徴量を算出する。同第２類特徴量をテンプレート画像1601からも算出する。この被サーチ画像1605から算出した第２類特徴量と、テンプレート画像1601から算出した第２類特徴量との、相互の関係を求めたものが、相互的特徴量となる。例えば、両者の第２類特徴量を表すベクトルの距離の値を相互的特徴量とする。距離としては、ユークリッド距離、マンハッタン距離、バッタチャリア距離など、両特徴量間の関係を定量化できるものであれば限定しない。以上により、この相互的特徴量は、テンプレート画像と被サーチ画像との相対位置によって定まる特徴量となる（本例では、被サーチ画像における画像切り出し位置（X, Y）1607が相対位置に相当する）。

【0063】

図１１(b)は、図１１(a)の方法とは異なる方法で、テンプレート画像と被サーチ画像の相対位置を定める方法を説明する図である。本方法は、被サーチ画像上でテンプレート画像がどの位置に類似しているかを推定するための手法の一つとして投票ベース手法を用いた場合の投票値を第３類特徴量とする方法である。テンプレート画像、及び被サーチ画像のそれぞれにおいて、第２類特徴量を算出する（ここでの被サーチ画像での第２類特徴量の算出は、画像領域全体を対象とする）。テンプレート画像において第２類特徴量を求める際の位置の基準となる点1631を基準点と呼ぶことにする（例えば図１１(a)において画像座標系で左上を原点Oとし、原点を基準に第２類特徴量を定めている場合は、原点Oが基準点となる）。両画像の第２類特徴量のうち類似度の最も高い特徴量を選出し、それをペアとして記憶する。テンプレート画像での第２類特徴量の算出位置（座標）から基準点への距離、及びベクトル方向をもとに、テンプレート画像での第２類特徴量とペアになった被サーチ画像側の第２類特徴量の算出位置（座標）に対し、テンプレート画像で求めた距離、及びベクトル方向に相当する座標（被サーチ画像でのテンプレート画像の基準点の位置と推定される座標）を求める。そして、求めた座標に対してマッチング位置候補座標として投票を行う(ペアの一つに対し、投票を１回)。この投票処理を全てのペア（或いはある一定上の類似度がある全てのペア）の組に対して行う。被サーチ画像からテンプレート画像に相当する領域を切り出して、マッチング候補とするときに、その切り出し領域の基準点（例えば切り出し領域の左上の座標）1641での投票数を第３類特徴量とする。なお、各特徴点で類似度が最も高いものを選択する例を示したが、各特徴点で類似度が高い上位の数組を用いても良い（例えば上位３組を用いる）。

【0064】

以上により第２類特徴量から第３類特徴量を算出することができる。相互的特徴量である第３類特徴量を用いることで、よりロバストなマッチングを行うことが可能となる。

【0065】

図１２は、図８で述べた特徴量の具体的例を説明する図である。図８で説明した特徴量Ａ１０５、特徴量Ｂ１０６、及び特徴量Ｃ６０８（個別特徴量）は、同種類のものを用いることができる。図１２に示すように特徴量Ａ１０５、特徴量Ｂ１０６、及び特徴量Ｃ６０８の特徴量には、例えば画像内の或る指定した座標を基準とした領域内のテクスチャに関する特徴量７０２、或いは画像に写っているパターンの構造の情報をあらわすエッジ特徴量７０３などを用いることができる。テクスチャに関する特徴量の例としては、後で説明するが、ヒストグラム特徴量７０７、コントラスト特徴量７０８、同時生起行列７０９を用いたもの等がある。本特徴量は、図９で説明した第２類特徴量に相当する特徴量となる。

【0066】

なお、テクスチャの情報を抽出できる手法、及び特徴量であれば良く、これらに限定するものではない。ヒストグラム特徴７０７は、テンプレートと被サーチ画像の夫々で画像内の或る指定した座標を基準として領域内の階調値ヒストグラムを解析して得た平均、分散、歪度、尖度等を特徴量とする。コントラスト特徴量７０８は、テンプレートと被サーチ画像の夫々で指定された領域の平均階調値を特徴量とする。前記の指定された領域とは、例えば画像中でパターン（例えばラインパターン）が存在する領域、或いはパターンが存在しない領域（下地領域）を用いる。あるいは、テンプレートと被サーチ画像の夫々の視野内での指定した複数の領域間のコントラスト差を求めて（画像内のコントラスト特徴）、その値を特徴量として用いても良い。またSIFT(非特許文献２)などの手法を用いて求めた特徴点情報７０４等もある。エッジ特徴量７０３としては、HOG(Histgrams of Oriented Gradients)などの特徴量がある。

【0067】

一方特徴量Ｄ(相互的特徴量７２０)については、特徴量Ａ１０５、及び特徴量Ｂ１０６で求めた特徴量から相互的に算出する。図１３で説明するが、例えば、ヒストグラム特徴であれば、テンプレートと被サーチ画像の夫々から求めたヒストグラムを解析して得た平均、分散、歪度、尖度等の一致度（例えば値の差分）を特徴量とする。或いは、テンプレートと被サーチ画像の夫々から求めたヒストグラムの分布の形状の相関値を特徴量としても良い。またコントラスト情報であれば、テンプレートと被サーチ画像の夫々から求めたコントラスト特徴の一致度（例えば値の差分）を特徴量とする。またテンプレートと被サーチ画像のそのものの相関値を特徴量としても良い。その際に用いる画像は、入力画像そのものでも良いし、或いはノイズ除去処理、エッジ強調処理などの前処理を事前に行った画像を用いても良い。またコーナ時点情報から相互的特徴量を求める場合は、テンプレートと被サーチ画像の夫々で求めたコーナ点の一致した数を用いることができる。或いは、SIFTで求めた特徴点を基いる場合は、非特許文献２に示してあるように対応点マッチングでのVoting数を特徴量としても良い。本特徴量は、図９で説明した第３類特徴量に相当する。

【0068】

以上のような複数の個別特徴量７０１、及び相互的特徴量の一部、或いは全てを図３、図５で説明したテンプレートマッチングでは用いることができる。

【0069】

図１３は、図１２で述べた特徴量の算出手段の一例を説明する図である。図８、及び図１２で述べた特徴量Ａ１０５、特徴量Ｂ１０６、及び特徴量Ｃ６０８に、次に述べるいずれの特徴量も用いることができる。

【0070】

図１３Ａは、ヒストグラム特徴を説明する図である。ヒストグラム特徴は指定した領域内の階調値ヒストグラムの分布形状、或いは分布を解析して得られる値を特徴として用いる手段である。テンプレート８０１と、被サーチ画像８０２から切り出した画像８０３の夫々からヒストグラム８０４、８０５を求める。特徴量としては、ヒストグラムの分布形状そのまま用いることができる。例えばヒストグラムの各ビン（データ範囲の分割区間）の頻度を要素とするベクトルを特徴とする。或いは、分布の形状を分析して算出した平均、分散、歪度、尖度の一部、或いは全てを特徴量としても良い。また階調値ヒストグラムに累積ヒストグラムを用いても良い。

【0071】

図１３Ｂは、コントラスト特徴を説明する図である。テンプレート８１１、及び被サーチ画像８１２から切り出した画像８１３において、指定した領域内８１４、８１５での階調値の平均値を特徴量として用いる。なお、平均値に限定するものではなく、領域内の階調値の情報を表せる情報であれば良く、例えば分散値、最大値、最小値などでも良い。

【0072】

図１３Ｃは、コントラスト特徴に関して図１３Ｂと異なる特徴量について説明する図である。テンプレート８２１において、指定した複数の領域８２２及び８２３の夫々で階調値の平均値の比（画像内でのコントラスト）を求め、その値を特徴量とする。同様に、被サーチ画像８２４から切り出した画像８２５についても指定した複数の領域８２６、及び８２７で階調値の平均値の比（画像内でのコントラスト）特徴量とする。ここでは、平均値を用いたが、それに限定するものではなく、領域内の階調値の情報を表せる情報であれば良く、例えば分散値、最大値、最小値などでも良い。

【0073】

上記の図１３Ａから図１３Ｃまでに例示される方法で取得した特徴量は、先の述べた特徴量Ａ１０５、特徴量Ｂ１０６、及び特徴量Ｃ６０８に用いることができる個別特徴量である。また、その他に、図１２でも述べたように、同時生起行列７０９、エッジ特徴量７０３、SIFT特徴量７０４、Harr-like特徴量７０５、HLAC特徴量７０６などがある。但し、これらの特徴量に限定するものではなく、テンプレート及び被サーチ画像から切り出した画像の特徴を表す値、或いはベクトルを求められるものであれば良い。

【0074】

図８、図１２で説明した特徴量Ｄ７２０である相互的特徴量は、テンプレート画像、及び被サーチ画像から切り出した画像から求めた個別特徴量を比較することで求めることができる。

【0075】

例えば、図１３Ａで求めたヒストグラム特徴量では、テンプレート画像、及び被サーチ画像から切り出した画像から求めたヒストグラムの分布形状の相関値を相互的特徴量とする。或いは、ヒストグラムを解析して得た値である平均（或るいは、分散、歪度、尖度など）の差、或いは比などを相互的特徴量とすることもできる。図１３Ｂ及び図１３Ｃで求めたコントラストの特徴量についても、テンプレート画像、及び被サーチ画像から求めた値の差、或いは比を相互的特徴量とすることができる。また相互的特徴量として以下のようなものを用いることができる。

【0076】

図１３Ｄは、ラインプロファイル特徴を説明する図である。テンプレート８３１、及び被サーチ画像８３２から切り出した画像８３３の夫々において、画像の一定の方向に画素を加算平均(投影)して異次元の波形を求める。これをラインプロファイルと呼んでいる。図１３Ｄでは、各画像ともにＹ方向に投影を行った例であり、夫々の画像のラインプロファイル８３４、８３５の相関値を求め、その相関値を相互的特徴量とすることができる。尚、ラインプロファイルで相関をとる範囲は、ラインプロファイル全体を用いることに限定せず、ラインプロファイルの一部の切り出した区間のみの相関値を用いて良い。

【0077】

図１３Ｅは、画像そのものの相関値を相互的特徴量とする例を示す図である。テンプレート８４１、及び被サーチ画像８４２から切り出した画像８４３において画像間の相関値を算出し、その相関値を特徴量とする。

【0078】

図１３Ｆは、SIFTの対応点マッチング結果を相互的特徴量とする例である。テンプレート８５１と被サーチ画像８５２の夫々で抽出した特徴点(特徴記述子)で対応点マッチング（例えば、矢印でつないだものが対応点８５３である）を行うと、被サーチ画像８５２で対応する特徴点の座標とスケールと回転量が求まる(非特許文献２)。テンプレート８５１において、基準点座標(例えば、テンプレート８５１での白丸の位置)を定めておき、先の座標とスケールと回転量の情報から一般化ハフ変換のように被サーチ画像８５２での基準点の位置に投票(Voting処理)を行う(非特許文献２)。特徴量は、被サーチ画像上から切り出す画像の位置（或いはその周辺）にテンプレートが射影される投票回数とすることができる。また投票回数ではなく、その周辺の領域も考慮して、投票の密集度（投票回数/周辺領域の面積）としても良い。また対応点マッチング得た対応点のテンプレートのSIFT特徴量と被サーチ画像でのSIFT特徴量の相関値を特徴量としても良い。

【0079】

図１３Ｇは、図１３ＦのＳＩＦＴに代えてＣｏｒｎｅｒの対応点マッチング結果を相互的特徴量とする例である。テンプレート８６１と被サーチ画像８６２から切り出した画像８６３の夫々で抽出したであるＣｏｒｎｅｒを特徴点として対応点マッチング（例えば、矢印でつないだものが対応点である）を行うと、被サーチ画像８６２で対応する特徴点の座標とスケールと回転量が求まる。

【0080】

以上のような方法で相互的特徴量を求めることができる。尚、相互的特徴量の算出方法はここで説明した方法に限定するものではなく、テンプレートと被サーチ画像との相互的な関係を表現する特徴量（スカラー値、或いはベクトル等）であれば良い。

【0081】

尚、テンプレート及び被サーチ画像に前処理を行い、ノイズ低減、或いは特徴を強調した画像を生成し、生成した画像に対して、上記の特徴量（個別特徴量、及び相互的特徴量）を求めることもできる。前処理としては、例えば、平滑化フィルタリング、エッジ強調フィルタリング、２値化処理等の処理がある。ここに挙げた処理に限定するものでなく、前処理として使えるフィルタ処理であればどのようなものでも良い。また複数の前処理を組み合わせた処理を、テンプレート、或いは被サーチ画像に対して行い、その処理で得た画像に対して、上記の特徴量(個別特徴量、及び相互的特徴量)を求めることもできる。

【0082】

以上の相互的特徴量、及び個別特徴量の複数を判別指標値に用いることで、従来のように個別特徴量のみではマッチングの成否の判別に失敗するケースに対しても、マッチングの成否の判定に成功することが可能になる。それは、テンプレートと被サーチ画像の相互的な関係の情報をも判別指標値に用いて、テンプレートと被サーチ画像の相互的な関係の変化をも吸収できるように、判別指標値空間でマッチング成否判別境界面を求めることができることに起因する利点である。

【0083】

図１４は、図７で説明したマッチング成否判定境界面１１１を算出する際の学習データについて詳細に説明した図である。図１４(a)は、単純な学習データの例であり、１つのテンプレート１００１と、被サーチ画像でのマッチング正解位置を切り出した画像１００２、及びマッチング不正解位置を切り出した画像１００３を学習データに用いる。ここで、被サーチ画像から切り出した画像（正解位置、及び不正解位置）は、１枚の画像から複数枚とれる場合は複数枚を用いても良いし、複数の画像を学習に用いる場合は（テンプレートは共通）、複数ある学習に用いる画像の夫々から１枚、或いは複数、画像を切り出してもよい。切り出す画像の枚数を増やし、テンプレートと被サーチ画像の見た目が異なるサンプルを多くすることで、図７で説明した判別指標値空間でのマッチング成否判定境界面１１１のマッチング正解位置と不正解位置を判別する汎化性能を向上する可能性が高くなる。

【0084】

図１４（ｂ）は、学習データに用いるテンプレート１０１１を複数種類用いる場合の例を示す図である。このように複数枚のテンプレート１００４を用いることで、特定のテンプレートのパターンや見た目に依存する程度が低い、つまり、より汎用性の高いマッチング成否判定境界面を求めることが可能となる。

【0085】

図１５は、図３において、マッチング成否境界面を学習するだけでなく、特徴量抽出部での特徴量抽出方法も、学習によって決定する方法を説明する図である。本例では、特徴量抽出方法を遺伝的アルゴリズム(以下、GAと呼ぶ)、或いは遺伝的プログラミング(以下,GPと呼ぶ)によって学習する例を示している。特徴量抽出は複数の画像処理の組合せで構成される。また各画像処理は、複数の設定パラメータを持つ場合がある。この画像処理の組合せ、及び各処理の設定パラメータをGA、或いはGPを用いて学習する。判定指標値を算出するための画像処理の組合せ（パラメータ設定も含む）を染色体（解の候補）とする。図１５(a)は、学習にGA、或いはGPを用いた場合の処理の流れを示したものである。まず、複数の処理特徴量抽出処理(初期染色体群)の生成1701を行う。次に個体群に対し、後述する学習終了判定のための評価1702を行う。評価の結果、学習が終了1703すれば、特徴量抽出方法及び、マッチング成否判定境界面が決定する。学習終了判定の終了と判断されない場合は、染色体の選択1704、交差1705、突然変異1706を行う。その結果得られた染色体群に対し、再び学習終了判定のための評価1702を行う。学習終了するまで、本処理を繰り返し行う(世代更新)。図１５(b)は、図１５（a）の評価部を詳細に示す図である。先の述べたように染色体1721は、判定指標値1728を算出する処理の組合せである(一つの染色体から複数の判定指標値を算出する)。染色体(解の候補)1721は複数個生成する（例えば100個体生成）。各染色体（特徴量抽出処理）で求めた判定指標値を基に、マッチング成否判定境界面の算出処理1723を行う。ここでは、先に述べたSVMによって、マッチング成否判定境界面を算出する。このとき、評価値1724として、例えばSVMでのマッチング境界面からサポートベクターまでの距離(スコア)を評価値として用いることができる。この評価値が、指定された値を満たすか否かで学習の終了判定1725を行う（例えば距離が指定された値よりも大きいか否か）。学習が終了した時の染色体が、特徴量抽出方法（画像処理の組合せ、及び各画像処理のパラメータ設定）となり、また併せてマッチング成否判定境界面も定まる。学習が終了しない場合は、学習を継続し、図１５(a)で示した選択1704、交差1705、突然変異1706の処理を再び行う(世代交代)。なお、ここで評価値として、距離を用いたが、マッチング成否判定境界面の良否を判断できる評価値であれば、距離に限定するものではない。

【0086】

以上のように、GA(或るいGP)と、SVMを組み合わせて用いることで、マッチング成否判定境界面だけでなく、特徴量抽出処理方法も学習することが可能となる。なお、学習に用いる手法は、GA(或いはGP)、SVMに限らず、このような学習ができる方法であれば良い。

【0087】

図１６は、マッチング成否判定境界面１１１のマニュアル設定を実現するためのＧＵＩの一例を示す図である。マッチング成否判定境界面１１１は、先に説明したように、例えばSVM等の手法を用いて求めることができるが、図１６に示す例では、マッチング成否判定境界面１１１をユーザがマニュアルで指定する手段について説明する。図１６（ａ）は、ＧＵＩによるユーザ設定の例を示す図である。図１６（ａ）に示すＧＵＩでは、判定指標値空間を例えばＬＣＤ画面などの表示装置２０に表示する。図１６（ａ）では、判定指標値Ａ１１０３、判定指標値Ｂ１１０４の２つの判定指標値を縦軸と横軸にとったグラフを例としているが、３つ以上の複数の判定指標値を用いている場合は、軸に表示する指標値を切り替えることで表示することも可能である。本ＧＵＩで、境界面描画ボタン１１０２をマウス等で選択し、マッチング判定境界面１１０１のユーザ入力の受け入れを開始する。次にＧＵＩ上の判定指標値空間にマウス入力等によりユーザがマニュアルで判定境界面１１０１を描画する。ユーザが描画したマッチング判定境界面を図３で述べたマッチング成否判定境界面１１１としてユーザ指定により用いることができる。

【0088】

なおＧＵＩは、図１６に示すようなフォーマットに限定するものではなく、マッチング成否判定境界面１１１をユーザがマニュアルで指定できるものであれば周知の技術を用いることができる。

【0089】

図１６（ｂ）、（ｃ）は、ＧＵＩに表示する判定指標値空間の一例を示す図である。図１６（ｂ）は、マッチング正否判定境界面１１１を直線で引いた例であり、図１６（ｃ）は、マッチング正否判定境界面１１１を曲線で引いた例を示す図である。尚、グラフ上に、記号○、或いは、記号×で表示しているプロットが、学習データにおける判定指標値であり、１つの記号が、一組のテンプレートと被サーチ画像から切り出した画像とから求めた判定指標値となる。ここでは、○がマッチング正解の場合の値、×がマッチング不正解の場合の値となっている。この記号○、記号×の分布は、ユーザがマッチング成否判定指標値１１０３、１１０４をマニュアル操作で指定する際の参考データとして表示することが可能である。尚、ここでは、記号に○×を用いたが、それに限定するものはなく、マッチング正解、不正解を区別できるものであれば良い。以上により、複数のマッチング成否判定指標値がある場合にでもマニュアルでマッチング成否判定指標値１１０３、１１０４を入力する手段を提供することが可能である。

【0090】

図１７は、マッチング結果の安定性を判定指標値で張られる判定指標値空間で確認するためのＧＵＩの例を説明する図である。図１７（ａ）は、２次元の判定指標値空間の例である。判定指標値Ａ１２０３と判定指標値Ｂ１２０４とで張られる判定指標値空間で、マッチング成否判定境界面１２０１及び、マッチングで照合位置（マッチング結果）を得たときのテンプレートと被サーチ画像から切り出した画像とから求めた判定指標値をもとにマッチング結果の判定指標値空間での位置１２０２を、ＧＵＩでは表示する。この図に示すＧＵＩにより、マッチング結果が、マッチング成否判定境界面１２０１からどの程度離れているかのイメージをグラフィカルに確認することが可能となる。マッチング結果がマッチング成否判定境界面１２０１に近ければ、判定指標値が少し異なるとマッチング正解/不正解が異なってしまい、マッチングが不安定になる恐れがあることを確認できる。

【0091】

一方で、マッチング結果がマッチング成否判定境界面１２０１から離れていれば、マッチングが安定している可能性が高いことを確認できる。

【0092】

図１７（ｂ）は、図１７（ａ）と同様に、マッチング結果の安定性を確認するＧＵＩの例を示す図であるが、３つの判定指標値で張られる判定指標値空間を３次元グラフでグラフィカルに確認することができる。マッチング成否判定境界面１２０５、マッチング結果の位置１２０２を図１７（ａ）と同様に表示することができる。

【0093】

尚、マッチング成否判定境界面１２０５は、透過表示により境界面内にあるデータも確認できる。また視点の移動ボタン１２０６、１２０７などにより、表側、裏側などの任意の視点から、判定指標値空間内の学習データ、マッチング成否判定境界面、及びマッチング結果の位置を確認することができる。

【0094】

図１７（ｃ）は、図１７（ａ）、（ｂ）と同様に、マッチング結果の安定性を確認するＧＵＩであり、複数の判定指標値で張られる判定指標値空間を、任意の２つの判定指標値で張られる判定指標値空間にマッチング判定境界面を投影したもの１２１４の全て、或いは一部を対応させて並べた表示１２１１が行われている。図１７（ｃ）は、判定指標値がＡ，Ｂ，Ｃ，Ｄ(１２１２、１２１３)の４つある場合の例であり、例えば、ＡとＢとから得られる判定指標値空間にマッチング判定境界面を投影したもの１２１４を、任意の対応関係について見ることができる。以上により、マッチング結果の安定性を確認するＧＵＩを提供することが可能である。なお、このＧＵＩでの表示部材の配置、サイズ、項目は、図に示したものに限られず、判定指標値空間における学習データ、マッチング成否判定境界面、マッチング結果の位置の関係が確認できる表示方法であれば良い。

【0095】

上記の実施の形態において、添付図面に図示されている構成等については、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

【0096】

また、本発明の各構成要素は、任意に取捨選択することができ、取捨選択した構成を具備する発明も本発明に含まれるものである。

【産業上の利用可能性】

【0097】

本発明は、パターンマッチング装置に利用可能である。

【符号の説明】

【0098】

Ａ…走査型電子顕微鏡、１４…処理制御部、１５…画像メモリ、１６ａ…マッチング処理部、１６ａ−１…特徴量抽出部、１６ａ−２…相互的特徴量算出部、１６ａ−３…テンプレートマッチング判定部、１６ａ−４…照合対象判定部、１６ａ−５…スコア位置選出部、１６ａ−６…所属クラス判定部、１６ａ−７…記憶部、１６ａ−８…出力部、２０…表示装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】

【図13E】

【図13F】

【図13G】

【図14】

【図15】

【図16】

【図17】