特許 6971112 教師データ作成支援装置、分類装置および教師データ作成支援方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971112

(24)【登録日】2021年11月4日

(45)【発行日】2021年11月24日

(54)【発明の名称】教師データ作成支援装置、分類装置および教師データ作成支援方法

(51)【国際特許分類】

   G06F 16/906 20190101AFI20211111BHJP

【ＦＩ】

   G06F16/906

【請求項の数】8

【全頁数】18

(21)【出願番号】特願2017-189619(P2017-189619)

(22)【出願日】2017年9月29日

(65)【公開番号】特開2019-66993(P2019-66993A)

(43)【公開日】2019年4月25日

【審査請求日】2020年6月22日

(73)【特許権者】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(74)【代理人】

【識別番号】100088672

【弁理士】

【氏名又は名称】吉竹 英俊

(74)【代理人】

【識別番号】100088845

【弁理士】

【氏名又は名称】有田 貴弘

(72)【発明者】

【氏名】松村 明

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００５−２９３２６４（ＪＰ，Ａ）

【文献】 特開２００３−０５１０１１（ＪＰ，Ａ）

【文献】 特開平１１−１７５５３５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １６／９０６

(57)【特許請求の範囲】

【請求項1】

データを分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、
複数のカテゴリのいずれか１つが教示された教師データを主成分分析することにより、ｎ個（ただし、ｎは４以上）の主成分を求める主成分分析部と、
前記ｎ個の主成分のうち、３つの主成分を３Ｄ表示用主成分軸に設定するとともに、前記３つの主成分とは異なる１つ以上の主成分を離散化用主成分軸に設定する主成分軸設定部と、
前記３Ｄ表示用主成分軸で定義される空間における前記教師データの分布を、前記離散化用主成分軸のうち１つの主成分に関して複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成する離散化分布画像生成部と、
を備え、
前記離散化分布画像における前記教師データの各々が、前記複数のカテゴリ毎に異なる形状、色または模様で示される、教師データ作成支援装置。

【請求項2】

請求項１の教師データ作成支援装置であって、
前記離散化分布画像生成部は、前記離散化用主成分軸で定義される領域において閉領域を設定する領域設定部、
をさらに備え、
前記離散化分布画像生成部は、前記教師データのうち、前記閉領域に含まれる教師データについてのみ、前記離散化用主成分軸のうち１つの主成分に関して離散化することにより、前記離散化分布画像を生成する、教師データ作成支援装置。

【請求項3】

請求項１または請求項２の教師データ作成支援装置であって、
前記離散化用主成分軸に設定される前記少なくとも１つの主成分が、前記３Ｄ表示用主成分軸に設定される３つの主成分よりも寄与率が大きい主成分である、教師データ作成支援装置。

【請求項4】

請求項１から請求項３のいずれか１項の教師データ作成支援装置であって、
前記区間毎の離散化分布画像を表示装置に表示させる表示制御部、
をさらに備える、教師データ作成支援装置。

【請求項5】

請求項４の教師データ作成支援装置であって、
前記表示制御部は、前記区間毎の離散化分布画像各々を、連続的に切り替えて前記表示装置に表示させる、教師データ作成支援装置。

【請求項6】

請求項４または請求項５の教師データ作成支援装置であって、
前記表示制御部は、前記複数の区間のうちから１つを選択する入力に基づき、その選択された区間に対応する前記離散化分布画像を前記表示装置に表示させる、教師データ作成支援装置。

【請求項7】

多次元の特徴量を有するデータを複数のカテゴリのいずれかに分類する分類装置であって、
請求項１から請求項６のいずれか１項の教師データ作成支援装置と、
前記教師データ作成支援装置を用いて生成された前記教師データを用いた機械学習により構築された分類器と、
を備える、分類装置。

【請求項8】

データを分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、
（ａ）複数のカテゴリのいずれか１つが教示された教師データを主成分分析することにより、ｎ個（ただし、ｎは４以上）の主成分を求める工程と、
（ｂ）前記ｎ個の主成分のうち、３つの主成分を３Ｄ表示用主成分軸に設定するとともに、前記３つの主成分とは異なる１つ以上の主成分を離散化用主成分軸に設定する工程と、
（ｃ）前記３Ｄ表示用主成分軸で定義される空間における前記教師データの分布を、前記離散化用主成分軸のうち１つの主成分に関して複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成する工程と、
を含み、
前記離散化分布画像における前記教師データの各々が、前記複数のカテゴリ毎に異なる形状、色または模様で示される、教師データ作成支援方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像などのデータを分類する分類器の学習に使用される複数の教師データの特徴量に基づく分布を視覚化する技術に関する。

【背景技術】

【0002】

半導体基板、ガラス基板、プリント配線基板等の製造では、異物や傷、エッチング不良等の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。また、このような検査工程において検出された欠陥に対して、詳細な解析を行うことによりその欠陥の発生原因を特定し、欠陥に対する対策が施される。

【0003】

近年では、基板上のパターンの複雑化および微細化に伴い、検出される欠陥の種類および数量が増加する傾向にあり、検査工程で検出された欠陥を自動的に分類する自動欠陥分類（Automatic Defect Classification：ＡＤＣ）も用いられる場合がある。自動欠陥分類によると、欠陥の解析を迅速かつ効率的に行うことが可能となっている。

【0004】

自動欠陥分類においては、ニューラルネットワークや決定木、判別分析等を利用した分類器が用いられる。分類器に自動分類を行わせるには、欠陥画像およびそのカテゴリ（すなわち、欠陥画像の種類）を示す信号を含む教師データを用意して分類器を学習させる必要がある。典型的には、各欠陥画像の欠陥の種別に対応したカテゴリを操作者が決定することにより、教師データが作成される。この教師データを用いた教師あり学習をコンピュータにおいて実行することにより、分類器が生成される。

【0005】

たとえば、特許文献１（特許４１５５４９７号）には教師あり学習を用いた欠陥分類装置が記載されている。具体的には、まず、検査対象物から実際の欠陥画像を採取し、それぞれの欠陥画像に対して特徴量抽出を行うとともに、オペレータが分類名を与えて教師データを作成する。続いて、新たに採取される欠陥画像を分類するための「分類器」は、これらの教師データを用いて構築される。

【0006】

一つの欠陥画像から抽出される特徴量は、たとえば数十〜数百個に上る場合があるため、人間が多次元の特徴量空間内における各欠陥画像の分布を直感的に想起し、各カテゴリに分類するための規則性を見つけ出すことは事実上不可能である。このため、「機械学習」の手法が用いられる。

【0007】

機械学習には、たとえば、線形判別分析、ロジスティック回帰分析、ニューラルネットワーク、遺伝的プログラミング、サポートベクタマシンなどの「識別関数」型が含まれる。機械学習によって、人間の手に余る大量の特徴量データ（超多次元データ）から有用な規則性を見出し、新たなデータに基づいて欠陥種別を予測する分類器が生成される。

【0008】

分類器の汎化能力（学習に用いた教師データだけでなく、未知の新たなデータに対する分類や関数値も正しく予測する能力）は、なるべく高いことが望ましい。そのためには、ある時点で得られた分類器による分類結果を、単に正答率だけでなく分類の妥当性や誤分類された理由などを検討することが望ましく、その手段の一つとして教師データの分析が有効と考えられる。

【0009】

これは一見、人間には高次元データの分析が困難であるという前提と矛盾するが、はじめに述べた分析はクラス間を最も良く分離する境界を求める目的で行うのに対して、ここで言う分析は主に特徴量空間内における欠陥種別ごとの分布の概略配置（大まかなクラスタ形成）といった情報を得る目的で行う。分布の状況が判れば、たとえば便宜的に欠陥種別を細かく分けるといった対応が可能になる。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特許４１５５４９７号

【発明の概要】

【発明が解決しようとする課題】

【0011】

教師データを主成分分析して上位３つの主成分をたとえば３次元空間にプロットした場合、全体の情報の７０〜８０％を説明できていることが多く、これを２次元画面に擬似的に３次元表示することによって、前述のような概略情報が得られる。しかし、クラスタ形成に関してより多くの情報を得ようとするとさらに多くの主成分軸まで（たとえば、累積寄与率が９０％程度となる主成分軸まで）必要なことが多く、これらを人間が自然に理解できる次元数で表現することは困難であった。

【0012】

そこで、本発明は、教師データの分布状況の把握を好適に支援する技術を提供することを目的とする。

【課題を解決するための手段】

【0013】

上記課題を解決するため、第１態様は、データを分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援装置であって、複数のカテゴリのいずれか１つが教示された教師データを主成分分析することにより、ｎ個（ただし、ｎは４以上）の主成分を求める主成分分析部と、前記ｎ個の主成分のうち、３つの主成分を３Ｄ表示用主成分軸に設定するとともに、前記３つの主成分とは異なる１つ以上の主成分を離散化用主成分軸に設定する主成分軸設定部と、前記３Ｄ表示用主成分軸で定義される空間における前記教師データの分布を、前記離散化用主成分軸のうち１つの主成分に関して複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成する離散化分布画像生成部と、を備え、前記離散化分布画像における前記教師データの各々が、前記複数のカテゴリ毎に異なる形状、色または模様で示される。

【0014】

第２態様は、第１態様の教師データ作成支援装置であって、前記離散化分布画像生成部は、前記離散化用主成分軸で定義される領域において閉領域を設定する領域設定部、をさらに備え、前記離散化分布画像生成部は、前記教師データのうち、前記閉領域に含まれる教師データについてのみ、前記離散化用主成分軸のうち１つの主成分に関して離散化することにより、前記離散化分布画像を生成する。

【0015】

第３態様は、第１態様または第２態様の教師データ作成支援装置であって、前記離散化用主成分軸に設定される前記少なくとも１つの主成分が、前記３Ｄ表示用主成分軸に設定される３つの主成分よりも寄与率が大きい主成分である。

【0016】

第４態様は、第１態様から第３態様のうちのいずれか１つの教師データ作成支援装置であって、前記区間毎の離散化分布画像を表示装置に表示させる表示制御部をさらに備える。

【0017】

第５態様は、第４態様の教師データ作成支援装置であって、前記表示制御部は、前記区間毎の離散化分布画像各々を、連続的に切り替えて前記表示装置に表示させる。

【0018】

第６態様は、第４または第５の態様の教師データ作成支援装置であって、前記表示制御部は、前記複数の区間のうちから１つを選択する入力に基づき、その選択された区間に対応する前記離散化分布画像を前記表示装置に表示させる。

【0019】

第７態様は、多次元の特徴量を有するデータを複数のカテゴリのいずれかに分類する分類装置であって、第１態様から第６態様のうちのいずれか１つの教師データ作成支援装置と、前記教師データ作成支援装置を用いて生成された前記教師データを用いた機械学習により構築された分類器とを備える。

【0020】

第８態様は、データを分類する分類器の学習に使用される教師データの作成を支援する教師データ作成支援方法であって、（ａ）複数のカテゴリのいずれか１つが教示された教師データを主成分分析することにより、ｎ個（ただし、ｎは４以上）の主成分を求める工程と、（ｂ）前記ｎ個の主成分のうち、３つの主成分を３Ｄ表示用主成分軸に設定するとともに、前記３つの主成分とは異なる１つ以上の主成分を離散化用主成分軸に設定する工程と、（ｃ）前記３Ｄ表示用主成分軸で定義される空間における前記教師データの分布を、前記離散化用主成分軸のうち１つの主成分に関して複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成する工程とを含み、前記離散化分布画像における前記教師データの各々が、前記複数のカテゴリ毎に異なる形状、色または模様で示される。

【発明の効果】

【0021】

第１態様の教師データ作成支援装置によると、３つの主成分を軸とする空間座標上における教師データの分布を、これらとは別の主成分に関して複数の区間に離散化した画像を生成できる。このため、４つの主成分に関する教師データの分布状況を示す離散化分布画像を生成できる。これにより、オペレータが教師データの分布状況を把握することを支援できる。

【0022】

第２態様の教師データ作成支援装置によると、閉領域に含まれる教師データの分布状況を示す離散化分布画像が生成されるため、オペレータがその一部の教師データの分布状況を詳細に把握することを支援できる。

【0023】

第３態様の教師データ作成支援装置によると、教師データを寄与率が相対的に大きい主成分に関して離散化することにより、教師データを各区間に広く分散させることができる。これにより、各カテゴリの分布の特徴の把握が容易となり、カテゴリの妥当性などをオペレータが評価できる離散化分布画像を生成できる。

【0024】

第４態様の教師データ作成支援装置によると、離散化分布画像を表示装置に表示させることができる。表示装置に離散化分布画像が表示されることにより、オペレータが教師データの分布を視覚的に把握できる。

【0025】

第５態様の教師データ作成支援装置によると、時間差で各区間の離散化分布画像を表示できるため、オペレータが、各区間の教師データの分布を容易に把握することができる。

【0026】

第６態様の教師データ作成支援装置によると、オペレータが所望の区間を選択する入力を行うことにより、その区間に対応した離散化分布画像が表示される。このため、オペレータによる教師データの分布状況の把握を好適に支援できる。

【0027】

第７態様の分類装置によると、教師データ作成支援装置により、高精度な分類器を生成する上で有効な教師データを作成することができる。

【図面の簡単な説明】

【0028】

【図1】実施形態の画像分類装置１の概略構成を示す図である。

【図2】実施形態の画像分類装置１による欠陥画像の分類の流れを示す図である。

【図3】ホストコンピュータ５の構成を示すブロック図である。

【図4】ホストコンピュータ５の機能構成を示すブロック図である。

【図5】ホストコンピュータ５において、離散化分布画像を表示装置５５に表示する表示動作の流れを示すフローチャートである。

【図6】主成分分析によって得られた主成分毎の標準偏差、寄与率および累積寄与率を示す図である。

【図7】各カテゴリの代表的な欠陥画像ＤＦｉ１〜ＤＦｉ４を示す図である。

【図8】教師データの分布を擬似３Ｄで表した分布画像Ｄｉ１を示す図である。

【図9】離散化分布画像ＤＤａ１〜ＤＤａ２０を示す図である。

【図10】離散化分布画像ＤＤａ１〜ＤＤａ２０を動画表示する場合の表示例を示す図である。

【図11】教師データの分布を擬似３Ｄで表した分布画像Ｄｉ２を示す図である。

【図12】離散化分布画像ＤＤｂ１〜ＤＤｂ２０を示す図である。

【図13】教師データの分布を擬似３Ｄで表した分布画像Ｄｉ３を示す図である。

【図14】離散化分布画像ＤＤｃ１〜ＤＤｃ２０を示す図である。

【発明を実施するための形態】

【0029】

以下、添付の図面を参照しながら、本発明の実施形態について説明する。なお、この実施形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。図面においては、理解容易のため、必要に応じて各部の寸法や数が誇張又は簡略化して図示されている場合がある。

【0030】

図１は、実施形態の画像分類装置１の概略構成を示す図である。画像分類装置１では、半導体基板９上のパターン欠陥を示す欠陥画像が取得され、その欠陥画像の分類が行われる。画像分類装置１は、撮像装置２、検査・分類装置４およびホストコンピュータ５を備えている。

【0031】

撮像装置２は、半導体基板９上の検査対象領域を撮像する。検査・分類装置４は、撮像装置２によって取得された画像データに基づく欠陥検査を行う。検査・分類装置４は、欠陥が検出された場合に、その欠陥を欠陥の種別（カテゴリ）毎に分類する。半導体基板９上に存在するパターンの欠陥のカテゴリは、欠損、突起、断線、ショート、異物などを含み得る。ホストコンピュータ５は、画像分類装置１の全体動作を制御するとともに、検査・分類装置４における欠陥の分類に利用される分類器４２２を生成する。

【0032】

撮像装置２は、半導体基板９の製造ラインに組み込まれ、画像分類装置１はいわゆるインライン型のシステムとされ得る。画像分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置である。

【0033】

撮像装置２は、撮像部２１、ステージ２２、ステージ駆動部２３を備えている。撮像部２１は、半導体基板９の検査領域を撮像する。ステージ２２は、半導体基板９を保持する。ステージ駆動部２３は、撮像部２１に対してステージ２２を半導体基板９の表面に平行な方向に相対移動させる。

【0034】

撮像部２１は、照明部２１１、光学系２１２および撮像デバイス２１３を備えている。光学系２１２は、半導体基板９に照明光を導く。半導体基板９にて反射した光は、再び光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された半導体基板９の像を電気信号に変換する。

【0035】

ステージ駆動部２３は、ボールネジ、ガイドレール、モータ等により構成されている。ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、半導体基板９上の検査対象領域が撮像される。

【0036】

検査・分類装置４は、欠陥検出部４１および分類制御部４２を有する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。詳細には、欠陥検出部４１は、検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像により得られた画像と参照画像（欠陥が存在しない画像）との比較や画像処理により検査対象領域の欠陥検査を行う。分類制御部４２は、欠陥検出部４１が検出した欠陥画像を分類する。詳細には、各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、特徴量算出部４２１および分類器４２２を有する。分類器４２２は、ニューラルネットワーク、決定木、判別分析等を利用して欠陥の分類、すなわち、欠陥画像の分類を実行する。

【0037】

図２は、実施形態の画像分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が半導体基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像データを取得する（ステップＳ１１）。

【0038】

続いて、欠陥検出部４１が、検査対象領域の欠陥検査を行うことにより、欠陥の検出を行う（ステップＳ１２）。ステップＳ１２において欠陥が検出された場合（ステップＳ１２においてＹＥＳ）、欠陥部分の画像（すなわち、欠陥画像）のデータが分類制御部４２へと送信される。欠陥が検出されない場合は（ステップＳ１２においてＮＯ）、ステップＳ１１の画像データの取得が行われる。

【0039】

分類制御部４２は、欠陥画像を受け取ると、その欠陥画像の複数種類の特徴量の配列である特徴量ベクトルを算出する（ステップＳ１３）。その算出された特徴量ベクトルは分類器４２２に入力され、分類器４２２により分類が行われる（ステップＳ１４）。すなわち、分類器４２２により欠陥画像が複数のカテゴリのいずれかに分類される。画像分類装置１では、欠陥検出部４１にて欠陥が検出される毎に、特徴量ベクトルの算出がリアルタイムに行われ、多数の欠陥画像の自動分類が高速に行われる。

【0040】

図３は、ホストコンピュータ５の構成を示すブロック図である。ホストコンピュータ５は、ＣＰＵ５１、ＲＯＭ５２およびＲＡＭ５３を有する。ＣＰＵ５１は各種演算処理を行う演算回路を含む。ＲＯＭ５２は基本プログラムを記憶している。ＲＡＭ５３は各種情報を記憶する揮発性の主記憶装置である。ホストコンピュータ５は、ＣＰＵ５１，ＲＯＭ５２およびＲＡＭ５３をバスライン５０１で接続した一般的なコンピュータシステムの構成を備えている。

【0041】

ホストコンピュータ５は、固定ディスク５４、表示装置５５、入力部５６、読取装置５７および通信部５８を備えている。これらの要素は、適宜インターフェース（Ｉ／Ｆ）を介してバスライン５０１に接続されている。

【0042】

固定ディスク５４は、情報記憶を行う補助記憶装置である。表示装置５５は、画像などの各種情報を表示する表示部である。入力部５６は、キーボード５６ａおよびマウス５６ｂ等を含む入力用デバイスである。読取装置５７は、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読取可能な記録媒体８から情報の読み取りを行う。通信部５８は、画像分類装置１の他の要素との間で信号を送受信する。

【0043】

ホストコンピュータ５は、読取装置５７を介して記録媒体８からプログラム８０を読み取り、固定ディスク５４に記録される。当該プログラム８０は、ＲＡＭ５３にコピーされる。ＣＰＵ５１は、ＲＡＭ５３内に格納されたプログラム８０に従って、演算処理を実行する。

【0044】

図４は、ホストコンピュータ５の機能構成を示すブロック図である。ホストコンピュータ５は、多数の教師データの３次元空間における分布を示す離散化分布画像を生成する教師データ作成支援装置として機能する。以下では、教師データ作成支援装置として機能させる構成について主に説明する。

【0045】

図４に示すように、ホストコンピュータ５のＣＰＵ５１は、プログラム８０に従って動作することにより、主成分分析部６０、主成分軸設定部６２、領域設定部６４、離散化分布画像生成部６６および表示制御部６８として機能する。

【0046】

＜主成分分析部６０＞
主成分分析部６０は、複数の教師データを主成分分析することにより、主成分を求める。教師データは、Ｎ次元の特徴量ベクトルが既知であり、かつ、欠陥のカテゴリがオペレータ等によって予め決定されているデータである。

【0047】

主成分分析（principal component analysis）は、高次元（Ｎ次元）のデータ（ここでは教師データ）を、分散が最大となるように、低次元（ｎ次元）の主成分を求める手法である。なお、ｎは、Ｎよりも小さくかつ４以上の自然数である。すなわち、教師データ各々の特徴量ベクトルは５次元以上とされ、主成分分析により少なくとも４つの主成分が求められる。

【0048】

＜主成分軸設定部６２＞
主成分軸設定部６２は、主成分分析によって求められたｎ個の主成分のうちから選択される３つの主成分を３Ｄ表示用主成分軸に設定する。また主成分軸設定部６２は、３Ｄ表示用主成分軸に設定された上記３つの主成分を除くｎ個の主成分のうちから選択される１つ以上の主成分を離散化用主成分軸に設定する。

【0049】

これらの主成分の選択は、オペレータが入力部５６を介して行う選択入力に基づいて行われてもよいし、主成分軸設定部６２が所定の選択条件に従って自動的に選択するようにしてもよい。後者の場合、たとえば、各主成分の寄与率（Proportion of Variance）の大きさに基づいて、主成分軸設定部６２が主成分を選択することが考えられる。

【0050】

３Ｄ表示用主成分軸は、教師データ各々がプロットされる３次元空間（表示用空間）を定義する３つの軸である。離散化用主成分軸は、後述する閉領域を設定するための軸であり、最大３つまでの主成分が設定されうる。また、離散化用主成分軸のうち１つの軸（離散化用主成分軸が１つの場合はその軸）は、教師データを離散化する第４の次元の軸とする。

【0051】

＜領域設定部６４＞
領域設定部６４は、離散化用主成分軸で定義される領域において、閉領域を設定する。この閉領域は、全ての教師データ群のうち、離散化分布画像を生成する対象となる教師データ群を定義するものである。すなわち、閉領域の内側に含まれる教師データ群のみについて、後述する離散化分布画像生成部６６が離散化分布画像を生成する。閉領域の設定は、オペレータが入力部５６を介して行う領域設定入力に基づいて行われるとよい。

【0052】

閉領域が設定されることによって、オペレータが関心のある教師データ群に限って離散化分布画像が生成される。このため、オペレータが関心のある教師データ群だけを、別の主成分で離散化することにより、その分布状況がより見やすくなる。ただし、閉領域が設定されることは必須ではなく、たとえば、全ての教師データ群を対象として離散化分布画像が生成されてもよい。

【0053】

＜離散化分布画像生成部６６＞
離散化分布画像生成部６６は、３Ｄ表示用主成分軸で定義される３次元空間における教師データの分布を、離散化用主成分軸に関して複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成する。なお、領域設定部６４により、閉領域が設定された場合には、その閉領域に含まれる教師データ群のみについて、離散化分布画像が生成される。

【0054】

離散化分布画像においては、３次元空間における各教師データの位置が点状に示される。ただし、各教師データの位置は、各教師データが予め分類されているカテゴリ毎に異なる形状、色または模様で示される。すなわち、２つの教師データが同一のカテゴリに属する場合、これらの位置が同一の形状、色または模様で表される。また、２つの教師データが異なるカテゴリに属する場合、これらの位置が異なる形状、色または模様で表される。このため、離散化分布画像においては、各教師データの位置（分布位置）がカテゴリ毎に識別可能とされている。

【0055】

＜表示制御部６８＞
表示制御部６８は、表示装置５５における表示を制御する。ここでは、表示制御部６８は、表示装置５５における、離散化分布画像生成部６６によって生成された離散化画像の表示を制御する。

【0056】

表示制御部６８は、区間毎の離散化分布画像各々を、連続的に切り替えて表示装置５５に表示させる。以下、この表示を「動画表示」と称する。また、表示制御部６８は、複数の区間の中から１つを選択する入力に基づき、その選択された区間に対応する離散化分布画像を表示装置５５に表示させる。

【0057】

なお、表示制御部６８が表示装置５５に動画表示を行わせることは必須ではない。たとえば、表示制御部６８が、全ての区間の離散化分布画像を一列にまたは複数列に並べて表示させてもよい。以下、このような表示を「並列表示」と称する。

【0058】

＜動作例＞
図５は、ホストコンピュータ５において、離散化分布画像を表示装置５５に表示する表示動作の流れを示すフローチャートである。図５に示す各工程は、ホストコンピュータ５のＣＰＵ５１がプログラム８０に従って動作することにより実現される。

【0059】

ここでは、まず、複数の教師データが準備される（ステップＳ１）。教師データは、欠陥画像を示すデータであり、Ｎ次元（Ｎは５以上）の特徴量ベクトルが特定されており、かつ、その欠陥画像が属するカテゴリ（欠陥カテゴリ）が特定されている。すなわち、各教師データは、欠陥画像、特徴量ベクトル及びカテゴリの各情報で構成される。

【0060】

なお、ここで使用される各教師データのカテゴリは、オペレータがその欠陥画像から判断して与えたものであることが望ましいが、これは必須ではなく、たとえば、分類器４２２が機械学習に基づいて与えたものであってもよい。

【0061】

続いて、主成分分析部６０が、複数の教師データを読み込み、主成分分析を行う（ステップＳ２）。上述したように、主成分分析部６０は、ｎ個の主成分を算出する。また、各教師データの特徴量ベクトルは、Ｎ個の特徴量で表される情報からｎ次元の各主成分で表される情報に適宜変換される。この変換は、主成分分析部６０が行うとよい。

【0062】

図６は、主成分分析によって得られた主成分毎の標準偏差、寄与率および累積寄与率を示す図である。図６に示す例は、５２８０個の教師データを主成分分析した結果である。各教師データは、１７４個（１７４次元）の特徴量ベクトルと、４つのカテゴリ（具体的には、「異物」、「不良黒」、「気泡」および「分類対象外」）が教示されている。図７は、各カテゴリの代表的な欠陥画像ＤＦｉ１〜ＤＦｉ４を示す図である。

【0063】

図６においては、第１主成分から第１４主成分までの標準偏差（Standard deviation）、寄与率(Proportion of Variance)および累積寄与率（Cumulative Proportion）が列記されている。なお、図６および以降の各図では、各主成分を表記する際、主成分の番号に従い「ＰＣ１」〜「ＰＣ１４」のように表記する場合がある（ＰＣ：Principal Component）。図６に示す例において、累積寄与率を参照すると、全データのおよそ９８％を説明するためには第１３主成分（ＰＣ１３）まで必要であり、全データのおよそ９０％を説明するためには第７主成分まで必要であることが判る。

【0064】

図５に戻って、ステップＳ２の主成分分析が完了すると、主成分軸設定部６２が、３Ｄ表示用主成分軸および離散化用主成分軸の設定を行う（ステップＳ３）。詳細には、上述したように、ｎ個の主成分のうちから、３Ｄ表示用主成分軸として３つの主成分が、離散化用主成分軸として１つ以上の主成分が、オペレータの選択入力に基づいてそれぞれ選択される。一例として、表示制御部６８が主成分を選択するための画像を表示装置５５の画面上に表示させるとよい。そして、オペレータが、その画面上において、入力部５６を介して選択入力（たとえば、カーソルを移動させる操作入力、または、数値などの入力）を行うとよい。なお、離散化用主成分軸として２つ以上の主成分が選択された場合、選択された離散化用主成分軸を合成し１つの離散化用主成分軸として用いてもよい。

【0065】

図８は、教師データの分布を擬似３Ｄで表した分布画像Ｄｉ１を示す図である。分布画像Ｄｉ１は、奥行き方向に延びる第１主成分（ＰＣ１）の軸、横方向に延びる第２主成分（ＰＣ２）の軸、縦方向に延びる第３主成分（ＰＣ３）の軸で定義された３次元空間における教師データの分布を示している。また、３次元空間における各教師データの位置は、欠陥カテゴリ毎に異なる形状で示されている。具体的には、「異物」が円形状（○）、「不良黒」が四角形状（□）、「気泡」が三角形状（黒塗りの△）、「分類対象外」がクロス形状（×）で示されている。このような分布画像Ｄｉ１が生成されることにより、オペレータが、３つの主成分に関する３次元空間における教師データの分布状況を、視覚的に把握可能となる。

【0066】

図５に戻って、ステップＳ３にて各主成分軸が設定されると、領域設定部６４が閉領域の設定を行う（ステップＳ４）。具体的には、上述したように、離散化用主成分軸で定義される領域において、閉領域が設定される。

【0067】

この閉領域の設定に当たっては、たとえば、表示制御部６８が、離散化用主成分軸で定義される領域中の教師データの分布を示す分布画像を表示装置５５に表示させるとよい。たとえば、離散化用主成分軸として３つの主成分が設定された場合、図８に示す３次元空間（ただし、３つの主成分は異なる）における教師データ群の分布画像が表示される。そして、オペレータは、その分布画像から教師データの全体の分布状況を確認し、その教師データ群のうち第４の主成分（離散化用主成分軸の１つ）に関して離散化させたい教師データ群が含まれるように閉領域を指定する入力を行う。この入力に基づいて、領域設定部６４が閉領域を設定するとよい。

【0068】

なお、オペレータが所定操作を行うことにより、表示制御部６８が、教師データ群の分布画像の拡大率を変更して表示装置５５に表示させてもよい。このことにより、教師データの分布の一部分が拡大して表示されるため、オペレータが分布状況をより詳細に把握し得る。

【0069】

また、オペレータが、１つの軸における特定の数値範囲のみを選択する操作を行うことにより、表示制御部６８がその数値範囲にある教師データのみを分布画像として表示させてもよい。この場合、数値範囲を適切に設定することにより、たとえば、全体の分布の内側にある隠れた教師データのみの分布を、オペレータが確認し得る。

【0070】

また、オペレータが所定操作を行うことにより、表示制御部６８が離散化用主成分軸で構成される座標系を回転させて表示装置５５に表示させてもよい。たとえば、座標系を回転させることにより、教師データの分布も回転するため、オペレータがその分布を様々な方向から見ることが可能となる。特に、離散化用主成分軸が３軸ある場合（すなわち、教師データが３次元空間に分布する場合）、座標系を回転させることは有効である。

【0071】

なお、上述したように、ステップＳ４において、閉領域を設定することは必須ではない。閉領域を設定しない場合、全ての教師データ群が、後述する離散化処理の対象とされ得る。

【0072】

続いて、離散化分布画像生成部６６が、離散化分布画像を生成する処理を行う（ステップＳ５）。また、表示制御部６８が、生成された離散化画像を、表示装置５５に表示させる（ステップＳ６）。詳細には、離散化分布画像生成部６６は、ステップＳ４において設定された閉領域に含まれる教師データ群を、ステップＳ２で設定された第４の主成分（離散化用主成分軸の１つ）に関して複数の区間に離散化させる。離散化の手法としては、等間隔区間による離散化（Equal Width Discretization; EWD）や等頻度区間による離散化（Equal Frequency; EFD）など、種々の方法を採用し得る。

【0073】

図９は、離散化分布画像ＤＤａ１〜ＤＤａ２０を示す図である。図９では、離散化用主成分軸を１つの第４主成分（ＰＣ４）として、教師データ群を等頻度区間で区間１ａから区間２０ａまでの２０個の区間に離散化させたときの、各区間の離散化分布画像ＤＤａ１〜ＤＤａ２０を示している。図９に示すように、区間１ａ〜２０ａ各々の離散化分布画像ＤＤａ１〜ＤＤａ２０は、第１〜第３主成分に対応する３Ｄ表示用主成分軸で定義された３次元空間における教師データの分布を示している。ただし、離散化分布画像ＤＤａ１〜ＤＤａ２０各々は、第４主成分について各区間に含まれる教師データのみの分布が示されている。すなわち、たとえば区間ｋ（ｋは１から２０の自然数）の離散化分布画像ＤＤａｋについては、特徴量の第４主成分がその区間ｋに属する教師データ群のみが擬似的な３次元空間上に出現することとなる。

【0074】

離散化分布画像ＤＤａ１〜ＤＤａ２０が生成されることにより、３次元空間における教師データの分布状況だけでなく、その３次元空間に対応する３つの主成分とは別の第４の主成分の方向に関する各教師データの分布状況を、オペレータが直感的に把握できる。つまり、オペレータは、教師データの分布状況を、４次元で視覚的に把握できる。

【0075】

なお、区間毎の離散化分布画像ＤＤａ１〜ＤＤａ２０を表示装置５５に表示する場合、図９に示すように複数列に並べて表示する並列表示が行われてもよいが、これらの画像を連続的に切り替えて表示する動画表示が行われてもよい。

【0076】

図１０は、離散化分布画像ＤＤａ１〜ＤＤａ２０を動画表示する場合の表示例を示す図である。図１０に示す例では、表示装置５５の画面Ｗ１に、離散化分布画を表示する領域Ｒ１と、区間を表示する領域Ｒ２とが定義されている。また、画面Ｗ１には、領域Ｒ１における離散化分布画像の表示を制御するための各種操作部を表示する領域Ｒ３が定義されている。具体的に、領域Ｒ３には、再生ボタンＢＴ１、一時停止ボタンＢＴ２、停止ボタンＢＴ３およびシークバーＳＢ１が用意されている。

【0077】

再生ボタンＢＴ１が押下操作されることにより、領域Ｒ１において区間１ａから区間２０ａの各離散化分布画像ＤＤａ１〜ＤＤａ２０が、順に切り替わるように表示される。また、離散化分布画像ＤＤａ２０が表示された後、再び離散化分布画像ＤＤａ１が表示されるように、ループ再生が行われてもよい。

【0078】

一時停止ボタンＢＴ２または停止ボタンＢＴ３が押下操作されることにより、領域Ｒ１における離散化分布画像の切り替わり表示（再生）が停止される。なお、一時停止ボタンＢＴ２が押下操作された場合は、その押下操作がなされたときに表示されていた離散化分布画像が領域Ｒ１に表示されたままの状態で再生が停止される。

【0079】

シークバーＳＢ１上のスライダーの位置は、領域Ｒ１に切り替え表示される離散化分布画像の再生位置（区間）を表している。スライダーを横方向に移動させる操作が行われることにより、その位置に対応した区間の離散化分布画像が領域Ｒ１に表示される。

【0080】

このように、生成された離散化分布画像ＤＤａ１〜ＤＤａ２０が連続的に切り替わって表示させることにより、オペレータが、各区間の教師データの分布を容易に把握することができる。また、シークバーＳＢ１のように、区間を選択する入力が受け付けられることにより、その区間の離散化分布画像を表示できる。このため、オペレータが教師データの分布状況を把握することを好適に支援できる。

【0081】

また、図１０では説明の便宜上、離散化用主成分軸に対応するシークバーＳＢ１等が設けられた領域Ｒ３を１つのみ図示して説明を行った。しかし、例えば、離散化用主成分軸が２つまたは３つ選択されるような場合は、シークバー等を設けた領域Ｒ３が２つまたは３つ設けられることとなる。つまり、選択される離散化用主成分軸の数に応じて表示を制御するための各種操作部が設けられ、各離散化用主成分軸で規定される領域の離散化分布画像が表示される。

【0082】

なお、図９に示す離散化分布画像ＤＤａ１〜ＤＤａ２０からは、たとえば「気泡」（黒塗りの△）が第４主成分の特定範囲（たとえば、区間５ａ〜区間２０ａ）に分布することは判るが、それ以外の分布の特性は不明である。これは、図６に示すように、第４主成分の寄与率が５．４％と低い（すなわち、分散が小さい）ため、人間にとっては、その第４主成分に関する区間の変化による分布の違いを読み取ることが困難であるからと考えられる。

【0083】

図１１は、教師データの分布を擬似３Ｄで表した分布画像Ｄｉ２を示す図である。また、図１２は、離散化分布画像ＤＤｂ１〜ＤＤｂ２０を示す図である。ここでは、図１１に示すように、第２〜第４主成分が３Ｄ表示用主成分軸に設定されている。そして、第１主成分（ＰＣ１）が離散化用主成分軸に設定されている。さらに、教師データ群を等頻度区間で２０個の区間１ｂ〜２０ｂに離散化することにより、図１２の離散化分布画像ＤＤｂ１〜ＤＤｂ２０が生成されている。

【0084】

図１２に示す例では、「気泡」のクラスタがより明瞭になるほか、「異物」は大まかに区間１ｂ〜３ｂと区間１６ｂ〜２０ｂの２つのクラスタを形成する可能性を読み取ることが可能となっている。このように、比較的寄与率の大きい（すなわち、分散が大きい）主成分を、第４の次元（離散化用主成分軸）に対応付けることにより、人間にとって、区間毎の分布の違いの把握が容易となる。具体的には、離散化用主成分軸に設定する主成分を、３Ｄ表示用主成分軸に設定した主成分（ここでは第２〜第４主成分）よりも寄与率の大きい主成分（ここでは第１主成分）とするとよい。

【0085】

図１３は、教師データの分布を擬似３Ｄで表した分布画像Ｄｉ３を示す図である。また、図１４は、離散化分布画像ＤＤｃ１〜ＤＤｃ２０を示す図である。ここでは、図１３に示すように、第４〜第６主成分（ＰＣ４〜ＰＣ６）が３Ｄ表示用主成分軸に設定されている。そして、第１主成分（ＰＣ１）が離散化用主成分軸に設定されている。そして、教師データ群を２０個の区間１ｃ〜２０ｃに離散化することにより、図１４の離散化分布画像ＤＤｃ１〜ＤＤｃ２０が生成されている。

【0086】

このように主成分を選択した場合、図１４に示すように、「気泡」と教示された教師データ（黒塗りの△）は、区間１６ｃ〜２０ｃで、小さな３つのクラスタを形成している。このことから、寄与率が比較的低い第４〜第６主成分（ＰＣ４〜ＰＣ６）も、クラスタの微細構造に関わり得る情報であるから、可視化する上では重要な要素であると考えられる。

【0087】

また、図１４を参照すると、「異物」と教示された教師データの分布（丸形状で示される座標は、区間１ｃの辺りと、区間２０ｃの辺りとで大きく二つのクラスタを形成していると考えられる。このことから、「異物」と教示された教師データについては、さらに２つに分類可能であることが推測される。

【0088】

図１４に示す各区間の分布は、第１〜第３主成分を離散化用主成分軸に設定し、この３次元空間に分布する教師データ（図８の分布画像Ｄｉ１）のうち、第１主成分の軸に関して、α＜第１主成分＜α＋δであるような「厚み」を持つ平面状の領域内にあるデータだけを、第４〜第６主成分の張る３次元空間にプロットしたものといえる。ここで、データを選び出す領域は、このような厚みを持つ平面状の領域に限定されない。たとえば、立方体、直方体、どれかの軸に平行な直線（または角柱）、あるいは、離散化用主成分軸で定義される領域（たとえば、第１〜第３主成分に対応する３次元空間）全体に置き換えてもよい。

【0089】

教師データを主成分分析し、最大で上位３つまでの主成分軸（離散化用主成分軸）を設定し、それらを座標軸とした空間を考えると共に、各軸を適切な小区間に分割する。そして、空間内で選択した小領域に含まれる教師データだけを、別途適切に選んだ主成分を座標軸（３Ｄ表示用主成分軸）とする空間にプロットする。この画像が、離散化用分布画像となる。

【0090】

以上のように、主成分分析による次元削減を行ってもなお４以上の次元数となる教師データについて、上記離散化画像を生成することによって、３つの次元にさらにもう１つの次元の情報が加味された教師データの分布状況をオペレータに提示できる。この分布状況から、オペレータは、たとえば、カテゴリ毎の分布の概略位置（大まかなクラスタ形成）といった情報を得ることができる。オペレータは、この情報に基づき、カテゴリの設定の適否を評価して、たとえば便宜的にカテゴリをさらに細かく分ける、あるいは、新たなカテゴリを追加するといった対応を採ることができる。このように、分類対象のデータについて、分類先となるカテゴリを適切に設定することが可能となる。したがって、上記離散化画像を生成することにより、分類精度の高い分類器を構築する上で有効な教師データを作成することが可能となる。

【0091】

なお、本発明は、半導体基板の画像分類だけでなく、たとえば、表示装置（液晶表示装置、プラズマディスプレイまたは有機ＥＬ等）用、フォトマスク用等のガラス基板、磁気・光ディスク用のガラスまたはセラミック基板、太陽電池用のガラスまたはシリコン基板、その他フレキシブル基板の画像分類にも適用可能である。また、本発明は、生体組織、生体組織から単離した細胞または培養細胞などを撮像して得られる画像の分類にも適用可能である。さらに、本発明は、可視光により撮像される画像以外に、電子線やＸ線等により撮像される画像の分類にも適用可能である。また、本発明は、画像データ以外の特徴量ベクトルを定義可能な各種データ（測定データ等）の分類にも適用し得る。

【0092】

また、本発明は、離散化分布画像生成部６６は、３Ｄ表示用主成分軸で定義される３次元空間における教師データの分布を、離散化用主成分軸に関して、互いに重複しない複数の区間に離散化して、その区間毎の分布を示す離散化分布画像を生成し、表示制御部６８によって、区間毎の離散化分布画像各々を連続的に切り替えて表示している。しかしながら、教師データの分布を、離散化用主成分軸に関して、互いに重複を有する複数の区間に離散化してもよい。すなわち、３Ｄ表示用主成分軸で定義される３次元空間における教師データの分布を、離散化用主成分軸に関して所定の区間幅を設定し、当該区間幅よりも小さい間隔でシフトさせることによって区間を連続的に規定し、この区間毎の分布を示す離散化分布画像を生成してもよい。これにより、教師データの分布の変化をより詳細に観察することが可能となるため、クラス設定の妥当性などの判断を適切に支援することができる。

【0093】

この発明は詳細に説明されたが、上記の説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。上記各実施形態及び各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせたり、省略したりすることができる。

【符号の説明】

【0094】

１ 画像分類装置
２ 撮像装置
４ 分類装置
４２２ 分類器
５ ホストコンピュータ
９ 半導体基板
５５ 表示装置
５６ 入力部
５６ａ キーボード
５６ｂ マウス
６０ 主成分分析部
６２ 主成分軸設定部
６４ 領域設定部
６６ 離散化分布画像生成部
６８ 表示制御部
ＤＤａ１〜ＤＤａ２０ 離散化分布画像
ＤＤｂ１〜ＤＤｂ２０ 離散化分布画像
ＤＤｃ１〜ＤＤｃ２０ 離散化分布画像
ＤＦｉ１〜ＤＦｉ４ 欠陥画像
Ｄｉ１〜Ｄｉ３ 分布画像
ＳＢ１ シークバー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】