【文献】
渋谷 久恵,決定木を利用した分類ルール自動生成技術,画像ラボ,日本,日本工業出版株式会社,2008年 4月10日,第19巻,第4号,p.53−58
(58)【調査した分野】(Int.Cl.,DB名)
前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の分散に基づいて、当該特徴量についての前記典型範囲を設定する請求項3に記載の画像分類装置。
前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の平均値と標準偏差とを求め、前記平均値を中心とする前記標準偏差に基づいて定めた範囲を、当該特徴量についての前記典型範囲とする請求項3または4に記載の画像分類装置。
前記出力手段は、前記分類手段が分類対象とする一の前記画像について、当該画像が分類された前記分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された前記確度指標とを関連付けて報知出力する請求項1ないし5のいずれかに記載の画像分類装置。
【発明の概要】
【発明が解決しようとする課題】
【0005】
従来の画像分類技術においては、演算によって未知の画像がどの分類カテゴリに分類されたかの結果が提示されるが、その分類結果がどの程度確からしいかについての情報を提供することは想定されていない。すなわち、ある分類カテゴリに分類された画像が、明らかにその分類カテゴリに属すると言えるものなのか、他の分類カテゴリの特徴に近い要素をも含んだものなのか等については提示されない。
【0006】
このような情報は、例えば収集された画像から教師データを作成したり、新たなタイプの欠陥を分析したり、分類装置(または方法)自体を検証する際等において有用なものであり、そのような情報を提供する画像分類装置または画像分類方法の実現が望まれる。しかしながら、簡便な方法でこれを実現する技術については、これまでのところ確立されるに至っていない。
【0007】
この発明は上記課題に鑑みなされたものであり、画像の特徴量に基づき分類を行う画像分類装置および画像分類方法において、簡便な方法で、分類結果の確からしさに関する情報を提示することのできる技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
この発明にかかる画像分類装置は、上記目的を達成するため、画像の特徴を示す複数種の特徴量を算出する特徴量算出手段と、前記画像を、前記特徴量に基づいて複数の分類カテゴリのいずれかに分類する分類手段と、算出処理の対象となる前記画像である一の算出対象画像と、前記分類カテゴリのうち一の算出対象分類カテゴリとの組み合わせについて、当該算出対象画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標を算出する確度算出手段と、前記分類手段による分類結果と、前記確度算出手段による算出結果とを関連付けて報知出力する出力手段とを備えている。
【0009】
そして、前記確度算出手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を記憶する記憶部と、前記算出対象画像を表す前記複数種の特徴量の各々について、当該特徴量の値が、前記算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定手段と、前記複数種の特徴量の種類数に対する、前記判定手段において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を前記確度指標として出力する演算部とを備えている。
【0010】
このように構成された発明では、一の画像と一の分類カテゴリとの間で、当該画像を表す複数種の特徴量のうち、何種類あるかを示す比の値によって、当該画像が当該分類カテゴリに属する「確からしさ」が確度指標として定量的に示される。これにより、ユーザは単なる分類結果だけでなく、その結果の確からしさをも把握することができるので、これを分類結果の評価や分析に役立てることができる。
【0011】
また、確度指標の算出は、当該画像を表す各特徴量が予め設定された典型範囲内にあるか否かを特徴量ごとに個別に判定し、その判定結果を集計することで行われるため、複雑な演算処理を用いることなく簡便な処理によって確度指標を算出することができる。
【0012】
このように、この発明によれば、ユーザの作業支援に寄与する分類結果の確からしさに関する情報を、簡便な処理で算出し提示することが可能である。
【0013】
具体的には、例えば、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、複数の分類カテゴリに対応する学習データを作成する学習手段を備え、分類手段は、該学習データに基づき画像を分類するようにしてもよい。このような事例学習型の分類装置自体は従来から知られており、多様な特徴を有する画像を効率よく分類することが可能である。従来の装置では分類結果の妥当性について評価する手段がなかったが、本発明では、このような事例学習型の画像分類装置において分類結果とその確度とを合わせて利用することが可能となり、画像の分類や分析、また分類結果についての評価や分析をより効率よく行うことが可能である。
【0014】
また、例えば、学習手段は、事例学習の結果に基づいて典型範囲を設定し記憶部に記憶させるようにしてもよい。教師画像から抽出された特徴に基づき設定された典型範囲を用いて判定を行うことで、実際の事例とよく対応した判定を行うことができ、算出される確度指標の精度を向上させることができる。
【0015】
この場合、例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の分散に基づいて、当該特徴量についての典型範囲を設定するようにしてもよい。こうすることで、各分類カテゴリに属する教師画像の特徴のばらつきを反映させた判定が可能となり、確度指標の精度をさらに向上させることができる。
【0016】
あるいは例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の平均値と標準偏差とを求め、平均値を中心とする標準偏差に基づいて定めた範囲を、当該特徴量についての典型範囲とするようにしてもよい。こうすることで、設定された典型範囲には当該分類カテゴリに属する教師画像の平均的な特徴が反映されるので、確度指標の精度をさらに向上させることができる。
【0017】
これらの発明においては、例えば、出力手段は、分類手段が分類対象とする一の画像について、当該画像が分類された分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された確度指標とを関連付けて報知出力するようにしてもよい。こうすることで、ユーザに対して、画像がどの分類カテゴリに分類されたかの結果とともに、その確度がどの程度あるかを確認できる情報を提示することができる。
【0018】
また、例えば、画像を撮像する撮像手段をさらに備えるようにしてもよい。撮像手段を上記した画像分類装置に組み合わせることで、画像の撮像およびその分類、評価を一括して効率的に行うことが可能となる。
【0019】
また、この発明にかかる画像分類方法は、
教師画像を用いた事例学習を行う学習手段と、分類アルゴリズムを実行する分類手段と、ユーザへの報知出力を行う出力手段とを備えるコンピュータが、画像を分類する画像分類方法であって、上記目的を達成するため、
前記コンピュータが、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、
前記学習手段が複数の分類カテゴリに対応する学習データを作成する学習工程と、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を、前記学習工程の結果に基づき設定する典型範囲設定工程と、
前記画像について、前記複数種の特徴量を算出する特徴量算出工程と、算出された前記特徴量に基づいて、
前記分類手段が前記画像を前記複数の分類カテゴリのいずれかに分類する分類工程と、前記画像について算出された前記複数種の特徴量の各々について、当該特徴量の値が、前記複数の分類カテゴリのうち一の算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定工程と、前記複数種の特徴量の種類数に対する、前記判定工程において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を当該画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標とする演算工程と、
前記出力手段が前記分類工程における分類結果と、前記演算工程において算出された前記確度指標とを関連付けて報知出力する出力工程とを
実行することを特徴としている。
【0020】
このように構成された発明では、事例学習の結果に基づいて、画像が当該算出対象分類カテゴリに属する蓋然性が高いかを定量的に示すことができる。そのため、上記した画像分類装置と同様に、分類結果に対する評価や分析において利用しやすい情報をユーザに提供することができる。
【0021】
ここで、例えば、複数の分類カテゴリのうち、分類工程において当該画像が分類された分類カテゴリを算出対象分類カテゴリとするようにしてもよい。このようにすると、画像がどの分類カテゴリに分類されたかという分類結果とともに、その分類カテゴリに属する確からしさを定量的に示すことができる。
【0022】
また、この発明にかかる画像分類方法では、例えば、基板の欠陥を撮像した複数の画像を収集する画像収集工程と、欠陥の種別を表す分類カテゴリごとに、収集された画像の少なくとも1つを当該分類カテゴリに対応する教師画像として設定する教師画像設定工程とをさらに備え、学習工程では、教師画像設定工程で設定された教師画像を用いて事例学習を行うようにしてもよい。
【0023】
このように構成された発明は、基板の欠陥分類に本発明を適用したものであり、欠陥をその種別に応じて分類するとともに、分類結果の確からしさを確度指標として定量的に提示することができる。
【発明の効果】
【0024】
この発明によれば、画像がどの分類カテゴリに分類されるかだけでなく、どの分類カテゴリにどの程度の確からしさで分類されるかを示す確度指標が定量的に提示されるので、ユーザにとっての利便性を向上させることができる。また、本発明の確度指標の算出処理は、比較的簡便な演算によって行うことが可能である。
【発明を実施するための形態】
【0026】
図1はこの発明にかかる画像分類装置の一実施形態としての検査システムの概略構成を示す図である。この検査システム1は、検査対象である半導体基板(以下「基板」という。)Sの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム1は、基板S上の検査対象領域を撮像する撮像装置2と、撮像装置2からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類(ADC;automatic defect classification)する検査・分類機能および検査システム1の全体動作を制御する機能を有する制御部としてのホストコンピュータ5を有する。撮像装置2は基板Sの製造ラインに組み込まれ、検査システム1はいわゆるインライン型のシステムとなっている。
【0027】
撮像装置2は、基板S上の検査対象領域を撮像することにより画像データを取得する撮像部21、基板Sを保持するステージ22、および、撮像部21に対してステージ22を相対的に移動させるステージ駆動部23を有し、撮像部21は、照明光を出射する照明部211、基板Sに照明光を導くとともに基板Sからの光が入射する光学系212、および、光学系212により結像された基板Sの像を電気信号に変換する撮像デバイス213を有する。ステージ駆動部23はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ5に設けられた装置制御部501がステージ駆動部23および撮像部21を制御することにより、基板S上の検査対象領域が撮像される。
【0028】
ホストコンピュータ5は、予め読み込まれた制御プログラムを実行することにより、
図1に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ5は、上記の装置制御部501のほか、欠陥検出部502、欠陥分類部(ADC)503、特徴量算出部504、教示部505、判定部506、演算部507などの各機能ブロックを備えている。さらに、ホストコンピュータ5は、各種データを記憶するための記憶部510、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部511および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部512などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム1の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス(I/F)を介する等して接続される。
【0029】
各機能ブロックの詳細については後に説明するが、ここでは各機能ブロックの機能について簡単に説明しておく。欠陥検出部502は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部502が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置510に一時的に保存される。
【0030】
一方、欠陥分類部503は、検出された欠陥をSVM(サポート・ベクタ・マシン;Support Vector Machine)、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。特徴量算出部504は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。教示部505は欠陥分類部503に上記アルゴリズムを機械学習させるための教示データを与える。
【0031】
判定部506および演算部507はそれぞれ、欠陥分類部503によって分類された分類結果の妥当性を示す確度を算出するための処理を行う。具体的には、判定部506は欠陥画像の各特徴量の値が各分類カテゴリに適合するものであるか否かの判定を行う。また演算部507は判定部506の判定結果に基づき確度を算出する。
【0032】
図2はこの検査システムにおける自動欠陥分類処理を示すフローチャートである。この処理は本発明の「画像分類方法」の一実施形態であり、まず検査対象物の画像を取得する(ステップS101)。具体的には、撮像装置2が検査対象となる基板S表面を撮像する。そして、欠陥検出部502は撮像された画像について欠陥検出を行う(ステップS102)。以下では、欠陥を含むとみなされる画像を「欠陥画像」と称することとする。
【0033】
欠陥画像が検出されると、欠陥検出部502は検査対象領域の画像(欠陥画像)や検査処理の際に求められたデータ(当該検査対象領域の座標情報、差分画像、参照画像等のデータ)を出力し、これらのデータは欠陥分類部503に送られるほか、記憶部510にも書き込まれる。記憶部510に記憶された画像データに基づいて、特徴量算出部504が当該欠陥画像の特徴量を算出する(ステップS103)。
【0034】
続いて、検出された欠陥の自動分類が欠陥分類部503により行われる(ステップS104)。欠陥分類部503は、機械学習アルゴリズムを実行可能となっており、教示部505から与えられる教師データに基づいて予め行った事例学習の結果に基づいて、欠陥画像の分類を行う。具体的には、特徴量算出部504により求められた欠陥画像の特徴量に基づいて、欠陥の特徴に応じて予め設定されている複数の分類カテゴリのいずれに当該欠陥画像が該当するかを決定する。なお、特徴量とは、画素値を所定の規則にて演算処理することにより得られる値を指し、特徴量の多くは、画像に何らかのフィルタを作用させることにより得られる。例えば、画像の平均輝度、テクスチャ情報、所定の条件を満たす領域の大きさ、抽出されるエッジの量等のように画像の何らかの特徴を示す指標値が特徴量とされる。複数の自己相関フィルタを用いた特徴量を用いてもよい。
【0035】
欠陥分類部503により行われた分類の結果については、判定部506および演算部507によってその確度が算出される(ステップS105)。この「確度」は、分類結果の「確からしさ」を定量的に示す指標であり、その値が大きいほど、分類結果の蓋然性が高く信頼できるものであることを表す。
【0036】
分類の結果と確度の算出結果とは適宜の表示方法により互いに関連付けられて表示部512に表示され(ステップS106)、ユーザに提示される。検査システム1では、欠陥検出部502にて欠陥が検出される毎に
図2のステップS103ないしS106に示す動作がリアルタイムにて行われ、欠陥を示す多量の画像の分類が高速に行われる。こうして検出された欠陥画像は対応する分類カテゴリに分類され、その分類結果の確度とともにユーザに提示されてゆく。
【0037】
次に、欠陥分類部503による学習処理について説明する。この実施形態では、
図2の欠陥分類処理に先立って、欠陥分類部503等が以下に説明する学習処理を行う。学習処理では、欠陥の種類に対応する分類カテゴリごとの典型的な欠陥画像についてユーザから教示を受け、そのような欠陥画像の典型例を教師データとして学習を行うことによって、新たに検出された未知の欠陥画像をその特徴に基づいていくつかの分類カテゴリに分類することが可能となっている。
【0038】
図3はこの実施形態における学習処理を示すフローチャートである。まず教師データとなる教師画像を取得する(ステップS201)。この画像は、撮像装置2によって例えばサンプル基板を撮像することで新たに取得してもよく、また欠陥画像の典型例としてライブラリ化された画像を外部装置から取り込むものであってもよい。そして、こうして取得した各教師画像の特徴量を、特徴量算出部504により算出する(ステップS202)。
【0039】
次に、欠陥画像を何通りの、またどのような分類カテゴリに分類するかをユーザに設定入力させ、教示部505はそれらに対応する分類カテゴリを作成する。そして、検出された欠陥画像を順次表示部512に表示させて、表示された欠陥がどの分類カテゴリに分類されるべきものかについてのユーザの教示入力を受け付ける(ステップS203)。教示入力により各分類カテゴリごとに少なくとも1つの欠陥画像が指定されると、教示部505は、その教示入力結果と各欠陥画像の特徴量とを欠陥分類部503に与え、欠陥分類部503はこれらに基づく学習作業を行う(ステップS204)。この際の学習プロセスとしては、例えばSVM(Support Vector Machine)や判別分析法、ニューラルネットワークによるものなど、公知のものを適用することができる。
【0040】
なお、こうして事例学習を行った結果に基づいて画像を分類すると、新たに提示される未知の欠陥画像についてもその特徴量の値に基づきいずれかの分類カテゴリへ分類することが可能となる。しかしながら、処理対象となる画像はそれぞれ異なった内容を有するものである。そのため、中には特徴が曖昧でどの分類カテゴリに属すべきものかが明確でないものや、既知の分類カテゴリのいずれとも大きく異なる特徴を有する新たな欠陥が含まれるもの等もあり、これらに起因する誤分類が不可避的に生じうる。
【0041】
また、分類のためのアルゴリズムの検証や、ユーザが教師画像に対して付与した分類カテゴリ自体の妥当性を評価する必要がある場合もある。このため、分類結果とともにその確からしさが提示されると、ユーザにとっては便宜である。しかしながら、上記の分類方法では各画像がどの分類カテゴリに分類されたかについての結果が提示されるものの、その分類がどの程度確かなものであるかについては提示されない。
【0042】
そのため、このような確からしさ(確度)を検証するための方法として、例えば教師データの部分集合を使って生成した比較的高精度の学習器の多数決を採るなどの方法が試みられているが、このような高精度の学習器を複数構成するのには複雑な演算処理と膨大な時間が必要となり、実用化されるには至っていない。一方、この実施形態では、後述するように、より簡便な方法で分類結果の確度を定量的に表せるようにしている。
【0043】
これを可能とするために、事例学習の段階では、続いて後の確度算出に用いられる情報を算出する。具体的には、各分類カテゴリの各特徴量のそれぞれについて、当該カテゴリに属すると教示された各教師画像の有する当該特徴量の値の平均値と分散とを算出する(ステップS205)。分類カテゴリがM種類、特徴量がN種類ある場合、分類カテゴリと特徴量との組み合わせは(M×N)通りあり、これらの全ての組について、平均値と分散とが算出される。本実施形態の説明において示す例では、分類カテゴリを4種類(カテゴリA〜D)、特徴量の種類を8種類(V1〜V8)とするので、この場合は32組の数値が算出される。
【0044】
そして、これらの組における各平均値を中心として大小方向にその標準偏差σの3倍までの数値範囲を、当該組の「典型範囲」として設定し記憶部510に記憶保存する(ステップS206)。詳しくは次に説明するが、この典型範囲は、当該分類カテゴリの特徴を有する典型的な画像において当該特徴量が示すであろう値の範囲を示すものである。つまり、ある画像の特徴量の値が1つのカテゴリにおける典型範囲内に含まれるとき、その画像は当該カテゴリの典型的な特徴を有するものであると言うことができる。逆に特徴量の値が典型範囲から離れているとき、当該特徴量により表現される特徴がその画像には明瞭に現れていないということが示唆される。
【0045】
ここまで述べたような事例学習を行うことによって、未分類の新たな欠陥画像に対して学習結果を用いた分類を行うことが可能となる。また、分類カテゴリごとに、各特徴量の典型範囲を設定することで、分類結果の妥当性を示す確度を算出することが可能となる。
【0046】
図4は典型範囲を説明するための図である。ここでは原理の理解を容易にするために2種の特徴量V1、V2のみを考慮した2次元の特徴量平面を用いて説明するが、実際の概念はこの基本原理を特徴量の種類数を次元とする超空間(特徴量空間)に拡張したものである。図は2つの特徴量V1、V2をそれぞれ座標軸とする平面内に、特徴量の値(V1,V2)を該座標平面内における座標値とみなして各教師画像をプロットしたものである。白丸印はカテゴリAに属すると教示された教師画像を、黒丸印はカテゴリBに属すると教示された教師画像をそれぞれ示している。同一カテゴリに属する画像は共通の特徴を有するので、平面上において比較的近接した位置に分布する。
【0047】
カテゴリAに属する各教師画像の特徴量V1の平均値をV1aavgとし、その標準偏差をσ1aとする。このとき、平均値V1aavgを中心とする±3σ1aの範囲、すなわちV1amin(=V1aavg−3σ1a)ないしV1amax(=V1aavg+3σ1a)の範囲が、カテゴリAと特徴量V1との組み合わせにおける「典型範囲」である。同様に、カテゴリAと特徴量V2との組み合わせにおける典型範囲は、同カテゴリに属する各教師画像の特徴量V2の平均値V2aavgを中心とするV2aminないしV2amaxの範囲である。平均値(V1aavg,V2aavg)により表される座標位置(図において×印で示す)が当該カテゴリAの「中心」に相当する。
【0048】
また、カテゴリBと特徴量V1との組み合わせにおける典型範囲は平均値V1bavgを中心とするV1bminないしV1bmaxの範囲であり、カテゴリBと特徴量V2との組み合わせにおける典型範囲は平均値V2bavgを中心とするV2bminないしV2bmaxの範囲である。
【0049】
このように分類カテゴリごとに典型範囲を設定すると、当該カテゴリに対応する特徴が顕著な欠陥画像では、その特徴量の値が当該カテゴリの典型範囲内に入る蓋然性が高いと言える。例えばカテゴリAに分類すべき画像の多くは、それぞれ座標(V1amin,V2amin)、(V1amax,V2amax)で表される2点を結ぶ線分を対角線とする矩形の領域TRa内に分布すると予想される。またカテゴリBに分類すべき画像は、それぞれ座標(V1bmin,V2bmin)、(V1bmax,V2bmax)で表される2点を結ぶ線分を対角線とする矩形の領域TRb内に多くが分布すると予想される。特に典型範囲の広がりを平均値を中心とした標準偏差の3倍までとすることで、統計的には99%以上の画像が典型範囲に入るということができる。
【0050】
したがって、ある欠陥画像がいずれかの分類カテゴリに分類されたとき、その欠陥画像を表す複数種の特徴量のうち、当該カテゴリの各特徴量について設定された典型範囲内に入るものが多いほど、その画像が当該カテゴリに属する蓋然性が高い、つまり分類結果の妥当性が高いということができる。上記のような原理に基づき、この実施形態では次のようにして分類結果の確度を算出する。
【0051】
図5はこの実施形態における確度算出処理の第1の態様を示すフローチャートである。また、
図6はその処理例を示す図である。
図5は、
図2のステップS105に示した処理内容をより具体的に記述したものである。ここでは、新たな欠陥画像Xについて分類を行った結果、カテゴリAに分類されたケースを想定する。まずV1〜V8で表される特徴量Vnを区別するための内部パラメータnの値を0にリセットし(ステップS301)、その値nを1つインクリメントしてから(ステップS302)、確度算出対象とする欠陥画像X(算出対象画像)に対応する1つの特徴量Vn(ここではV1)を選択する(ステップS303)。判定部506は、その特徴量Vnの値を、確度を算出すべき分類結果、すなわちカテゴリA(算出対象分類カテゴリ)についての当該特徴量Vnの典型範囲と比較判定する(ステップS304)。
【0052】
判定部506は、画像Xの特徴量Vnの値がカテゴリAにおける当該特徴量Vnの典型範囲内にあれば当該分類カテゴリへの「投票」を行う一方、典型範囲外であれば投票しない。(ステップS305、S306)。ステップS302ないしS306の処理をn=8になるまで繰り返し(ステップS307)、全種類の特徴量について同様の比較を行う。
【0053】
ここでは、特徴量の値が典型範囲に該当するか否かを判定し、該当するものが1つある度にその数をカウントしてゆく作業を「投票」と称している。
図6の例において「○」印は投票を行い、「×」印は投票を行わなかったことを示している。すなわち、算出対象画像(X)と分類結果(カテゴリA)との組み合わせにおいては、画像Xの特徴量V1の値はカテゴリAにおけるその典型範囲(V1amin〜V1amax)内にあったものとする。同様に、特徴量V2(典型範囲:V2amin〜V2amax)、V4(典型範囲:V4amin〜V4amax)、V5(典型範囲:V5amin〜V5amax)、V7(典型範囲:V7amin〜V7amax)、V8(典型範囲:V8amin〜V8amax)についても、それぞれ画像Xの特徴量値が典型範囲内にあったものとする。これらについては投票が行われる。
【0054】
一方、特徴量V3(典型範囲:V3amin〜V3amax)、V6(典型範囲:V6amin〜V6amax)については、画像Xの特徴量の値が典型範囲外であるとして投票は行われなかったとする。
【0055】
このような例においては、8種の特徴量のうち6種で投票が行われ、その結果としての得票数は6となる。この結果は、8種の特徴量のうち6種までが分類結果を支持していることを意味しており、当該画像XをカテゴリAに分類した今回の分類結果の妥当性が高いと言える。このように、複数の特徴量のうち何種において投票が行われたか、つまり特徴量の数に対する得票数の比をもって、分類結果の妥当性を定量的に表すことが可能である。
【0056】
そこで、演算部507は、判定部506による得票数(この例では6)の、特徴量の総数(この例では8)に対する比(この例では6/8)を算出し、これを当該分類結果の確度として出力する(ステップS308)。ユーザが結果を直感的に把握することができるように、確度は例えば%表示とするのが好ましい。この例では、66.7%(小数点以下第2位を四捨五入)という確度が得られる。
【0057】
このように、分類結果の確度が比較的高い場合にはその分類結果は妥当なものと言えるが、画像によっては、欠陥分類部503が分類したカテゴリの確度が低い(例えば50%未満)場合もあり得る。したがって、単に分類結果だけでなくその確度が提示されることで、ユーザは分類結果がどの程度信頼してよいかを把握して、必要に応じて分類を再検証する等の対応を取ることが可能となる。
【0058】
上記した第1の態様の確度算出処理では、画像の分類アルゴリズムについては特に制約がない。すなわち、任意の分類方法で行われた分類結果に対して、上記した分類結果についての確度算出処理を適用することが可能である。一方、本願出願人が先に開示した特許文献2(特開2010−091401号公報)に記載の分類方法と本発明にかかる確度算出処理とを組み合わせた場合、演算過程の共通化により処理の大幅な簡素化が可能である。このようにした場合の確度算出処理について、次に説明する。
【0059】
図7はこの実施形態における確度算出処理の第2の態様を示すフローチャートである。また、
図8はその処理例を示す図である。この処理では、
図2にステップS104として記載した欠陥画像の分類と、ステップS105として記載した確度の算出とを平行して行う。すなわち、この処理の開始時点で分類結果は確定しておらず、全ての分類カテゴリについて上記した「投票」作業を行う。
【0060】
最初に、複数種の分類カテゴリから1つを選択する(ステップS401)。続くステップS402ないしS408は、第1の態様におけるステップS301ないしS307と同様の処理である。すなわち、内部パラメータnの値をリセットしてから(ステップS402)、その値を1つずつインクリメントしながら(ステップS403)、算出対象画像Xの特徴量Vnと先に選択された分類カテゴリにおける当該特徴量の典型範囲とを比較して(ステップS404、S405)、典型範囲内であれば当該分類カテゴリに投票を行う(ステップS406、S407)、という処理を全ての特徴量V1〜V8について行う(ステップS408)。
【0061】
上記を全ての分類カテゴリについて繰り返すと(ステップS409)、4種の分類カテゴリA〜Dおよび8種の特徴量V1〜V8の全ての組み合わせについて判定が行われることになる。その結果の一例を
図8に示すが、
図6に示したものと同じ例であって、
図6は
図8に示す結果のうちカテゴリAに関する結果のみを抽出したものに相当する。
図8においても、「○」は画像Xの特徴量の値が典型範囲内にあって投票が行われたことを示し、「×」は典型範囲外であったことを示す。
【0062】
前記したように、1つの分類カテゴリに対する得票数(○の数)が多いほど、画像Xが当該分類カテゴリに属する蓋然性が高いと考えられる。
図8の例では、カテゴリA、B、CおよびDの得票数がそれぞれ6、2、3および1であるから、当該画像Xは最も得票数の多いカテゴリAに分類されるのが妥当と考えられる。すなわち、欠陥分類部503は判定部506による判定の結果、最も得票数の多い分類カテゴリに画像Xを分類する(ステップS410)。
【0063】
また、第1の態様と同様に、分類されたカテゴリにおける得票数の特徴量数に対する比を分類結果の確度とすることができるが(ステップS411)、この場合、分類されなかったカテゴリ(すなわちカテゴリB、C、D)についても得票数が判っているので、
図8に示すように、それぞれその確度を算出することが可能である。
【0064】
このようにすると、分類結果の妥当性だけでなく、当該画像が他の分類カテゴリに対してどの程度類似しているかが定量的に示されるので、例えば画像の撮像条件や教師画像へのカテゴリ付与、分類アルゴリズム等の妥当性を検証する等の場合に参考情報として役立てることが可能である。
【0065】
なお、本実施形態のような判定演算は、最近傍法による自動欠陥分類のアルゴリズムと似ているが、両者は以下の点で相違している。すなわち、最近傍法では特徴量空間における分類カテゴリの分布中心からの距離を当該分類カテゴリ内の分散で正規化したマハラノビス距離を用いて演算を行うため、高次の演算が必要である。また、判定にほとんど影響しない特徴量まで演算に含まれるため、特に特徴量の種類が多くなると処理時間が長大となる。これを回避するためには、事前に例えば分散分析によって判定に影響しない特徴量を排除しておく必要がある。
【0066】
これに対し、本実施形態では各特徴量ごとの典型範囲との個別比較という処理で済むため、正規化処理や高次の演算が不要であり、短時間での処理が可能となっている。また、典型範囲から外れた特徴量が「投票」という処理で除外されるため、判定への影響の少ない特徴量が自動的に排除されることとなる。このように、この実施形態における確度算出処理では、簡素な演算処理によってユーザに有用な情報を算出することが可能である。
【0067】
図9および
図10はこの実施形態における表示内容の例を示す図である。より具体的には、
図2のステップS106において表示部512に表示する画像内容の例を示す図である。
図9は、
図3に示す学習処理を行った上で該学習に用いた教師画像について再分類を行った結果を示している。
【0068】
この例では、欠陥の分類カテゴリとして、「異物」、「不良黒」、「気泡」および「不良白」の4種類を用意し、
図3に示す処理で教師画像に対するカテゴリ教示および事例学習を行う。そして、学習結果に基づく
図2に示す処理によって、与えられた教師画像を改めて分類する作業を行っている。分類および確度算出については、
図7に示す、全ての分類カテゴリについて角度を算出する処理を採用している。
【0069】
図において符号Aを付した枠内に示すように、使用されたそれぞれの教師画像には、画像ファイル名、ユーザによる教示作業で教示された分類カテゴリ、および、学習結果に基づき欠陥分類部503が再分類した分類結果が付されて表示される。符号Aの例は、当該教師画像についてユーザにより教示された分類カテゴリと欠陥分類部(ADC)503が再分類した分類結果とがともに「異物」カテゴリであったことを示している。
【0070】
一方、符号Bで示す例では、ユーザにより教示された欠陥が「気泡」カテゴリであったのに対して、欠陥分類部503が再分類した分類結果は「不良黒」であったことを示している。例えば教師画像についてのユーザの教示内容が不適切であった場合などに、このように教示結果と分類結果とが一致しないケースが生じる。
【0071】
ここで、符号Cで示すように、カーソルをある教師画像に重ねると、当該画像について求められた各分類カテゴリごとの確度が表示される。この例では、各カテゴリごとの確度の値が図示された通りのものであり、そのうち最も確度の大きい「不良黒」カテゴリが欠陥分類部503による分類結果となっている。ただし、「異物」カテゴリにおける確度との差があまり大きくないことから、教師画像の収集や教示作業の仕方によっては「異物」カテゴリに分類されるケースもあり得る。
【0072】
なお、本実施形態における各分類カテゴリの確度は、欠陥画像がその分類カテゴリに属する蓋然性の高さを分類カテゴリごとの個別演算により数値として示すものであって、画像が各分類カテゴリに属する確率を表すものではない。この意味において、各分類カテゴリの確度を合計しても必ずしも100%にはならない。したがって、例えば2つ以上の分類カテゴリの特徴をいずれも具備する画像であれば確度の合計は100%を超えることがある一方、いずれの分類カテゴリの特徴とも類似しない画像であれば確度の合計は100%を大きく下回ることもある。このような数値が全て提示されることで、ユーザは分類結果がどの程度信じてよいかを把握することができ、例えば複数種類の欠陥が複合的に現れた画像や、既知の分類カテゴリのいずれにも属さない新たな欠陥を含む画像等を発見しやすくなる。
【0073】
また、符号Dで示す領域には、多数の教師画像についての教示および分類結果の集計結果が表示されている。このような表示により、教師画像のサンプル数やそのうち教示内容と分類結果とが一致したもの、一致しなかったものがどの程度あったか等の状況が把握しやすくなる。
【0074】
このように、各画像について分類結果とともに各分類カテゴリごとの確度を表示させることにより、画像を分類するためのプロセス自体の評価を行うことが可能となり、したがってこのような表示は分類アルゴリズムや教示作業の最適化を図る際に、特に有用である。
【0075】
これに対し
図10は、こうして最適化された分類処理により実際に基板の評価(欠陥検出および分類)を行ったときの結果を示している。画面上部中央には、基板上で検出された欠陥の分布状況が表示されている。画面下部には検出された欠陥についてのより詳細な情報が表示されており、例えば符号Aで示す枠内には、検出された欠陥画像それぞれを識別するために付されたID番号が表示される。また符号Bで示す枠内には、当該欠陥画像の分類結果とその分類結果の確度とが表示されている。この場合の確度算出は、
図5に示した処理によって行われる。
【0076】
このような表示を行うことによって、ユーザにとっては、検出された欠陥の種類やその分布状況が判るだけでなく、それぞれの欠陥画像の分類結果の確度が示されることで、分類の妥当性や誤検出の有無、未知の新たな欠陥の存在の可能性等を容易に認識することが可能となる。この場合、ユーザの関心は主として当該画像の分類結果とその確からしさにあるから、基本画面では該当する分類カテゴリについてのみ確度を表示し、非該当の分類カテゴリの確度についてはユーザからの要求操作があったときに表示することができるようにするのが好ましい。
【0077】
以上説明したように、この実施形態では、撮像装置2が本発明の「撮像手段」として機能している。また、この実施形態では、特徴量算出部504および欠陥分類部503がそれぞれ本発明の「特徴量算出手段」および「分類手段」として機能している。また、教示部505と欠陥分類部503とが一体として本発明の「学習手段」として機能している。また、判定部506、演算部507および記憶部510が一体として、本発明の「確度算出手段」として機能する一方、表示部512が本発明の「出力手段」として機能している。また確度算出手段により算出される確度が、本発明の「確度指標」に相当している。
【0078】
また、本実施形態においては、
図2のステップS103、S104およびS106がそれぞれ本発明の「特徴量算出工程」、「分類工程」および「出力工程」に相当している。また、
図3のステップS201、S202、S204およびS206がそれぞれ本発明の「画像収集工程」、「教師画像設定工程」、「学習工程」および「典型範囲設定工程」に相当している。また、
図5のステップS304およびS308がそれぞれ本発明の「判定工程」および「演算工程」に相当している。
【0079】
また、
図5の確度算出処理においては、分類の結果によって画像が分類された分類カテゴリだけが本発明の「算出対象分類カテゴリ」に相当する一方、
図7の確度算出処理においては全ての分類カテゴリが「算出対象分類カテゴリ」に相当している。
【0080】
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記した表示画面は単なる1つの構成例を示したものにすぎず、分類結果とその確度とを組み合わせて表示する方法は上記に限定されない。また、その出力の態様は「表示」に限定されるものではない。
【0081】
例えば、
図10に例示した任意の分類アルゴリズムによる分類によって行う基板検査処理に、全ての分類カテゴリを算出対象分類カテゴリとした本発明にかかる確度算出処理を組み合わせて次のようにしてもよい。すなわち、分類結果によらず全ての分類カテゴリについて確度を算出し、算出された確度が最も高い分類カテゴリと分類結果とが一致しないものがある場合、そのことを画像に表示するようにしてもよい。こうすることで、疑わしい分類結果についての確認をユーザに促すことができる。
【0082】
また、上記実施形態では、各分類カテゴリごとの特徴量の典型範囲を、平均値から標準偏差の3倍までの範囲としているが、典型範囲の設定の仕方はこれに限定されない。例えば、一の特徴量について、教示された全ての教師画像の特徴量の最小値から最大値までの範囲を典型範囲としてもよい。
【0083】
また、上記実施形態の検査システム1は、基板表面を撮像する本発明の「撮像手段」としての撮像装置2を含む画像分類装置であるが、撮像手段を含まず、例えば通信回線を介して他の撮像装置等から画像データを受け取って分類処理を行う画像分類装置に対しても、本発明を適用することが可能である。
【0084】
また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置、光学顕微鏡と組み合わせて生体細胞を観察するための装置であってもよい。