特開 2024-82013 画像処理装置、特徴抽出器の学習方法、識別器の更新方法、および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082013

(43)【公開日】2024-06-19

(54)【発明の名称】画像処理装置、特徴抽出器の学習方法、識別器の更新方法、および画像処理方法

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240612BHJP

   G06T 7/00 20170101ALI20240612BHJP

   H04N 7/18 20060101ALI20240612BHJP

【ＦＩ】

G06T7/11

G06T7/00 350B

H04N7/18 K

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022195687

(22)【出願日】2022-12-07

(71)【出願人】

【識別番号】000207551

【氏名又は名称】株式会社ＳＣＲＥＥＮホールディングス

(71)【出願人】

【識別番号】504145283

【氏名又は名称】国立大学法人 和歌山大学

(74)【代理人】

【識別番号】100135013

【弁理士】

【氏名又は名称】西田 隆美

(72)【発明者】

【氏名】岡山 敏之

(72)【発明者】

【氏名】野口 威

(72)【発明者】

【氏名】島田 佳典

(72)【発明者】

【氏名】和田 俊和

(72)【発明者】

【氏名】菅間 幸司

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC13

5C054FD07

5C054FE13

5C054HA05

5L096AA06

5L096BA03

5L096CA02

5L096DA01

5L096EA23

5L096FA02

5L096HA11

5L096KA04

(57)【要約】

【課題】画像中の領域種を推定する画像処理装置および画像処理方法において、ユーザの認識に近い推定結果を得ることができる技術を提供する。
【解決手段】画像処理装置５０は、特徴抽出器５３および識別器５４を有する。特徴抽出器５３は、入力された画像Ｄｉの各画素に対応する特徴ベクトルを、中間出力データＤｍとして出力する。識別器５４は、特徴抽出器５３から出力される中間出力データＤｍに基づいて、画像Ｄｉの各画素の領域種を推定した出力データＤｏを出力する。このように、特徴抽出器５３および識別器５４を用いて、画像Ｄｉ中の領域種を推定する。このため、特徴抽出器５３および識別器５４を、推定結果Ｄｏに応じて調整することにより、ユーザの認識に近い推定結果Ｄｏを得ることができる。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像に含まれる複数種類の領域の領域種を推定する画像処理装置であって、
入力された画像の各画素に対応する特徴ベクトルを、中間出力データとして出力する特徴抽出器と、
前記特徴抽出器から出力される前記中間出力データに基づいて、前記画像の各画素の領域種を推定した出力データを出力する識別器と、
を有し、
前記領域種は、少なくとも第１領域および第２領域の２種類を含み、
特徴空間において、
最も近い既知の特徴ベクトルが、前記第１領域に属する既知の画素に対応する第１特徴ベクトルとなる領域を、前記第１特徴ベクトルの支配領域とし、
最も近い既知の特徴ベクトルが、前記第２領域に属する既知の画素に対応する第２特徴ベクトルとなる領域を、前記第２特徴ベクトルの支配領域として、
前記識別器は、
前記特徴抽出器から出力される特徴ベクトルが、前記第１特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第１領域に属すると推定し、
前記特徴抽出器から出力される特徴ベクトルが、前記第２特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第２領域に属すると推定する、画像処理装置。

【請求項2】

請求項１に記載の画像処理装置であって、
前記特徴空間は３次元である、画像処理装置。

【請求項3】

請求項１に記載の画像処理装置であって、
前記特徴抽出器は、機械学習モデルである、画像処理装置。

【請求項4】

請求項１に記載の画像処理装置であって、
前記識別器は、最近傍識別器である、画像処理装置。

【請求項5】

請求項１ないし請求項４のいずれかに記載の画像処理装置であって、
前記画像は、対象物の撮影画像であり、
前記第１領域は、前記対象物の欠陥を示す欠陥領域である、画像処理装置。

【請求項6】

請求項３に記載の画像処理装置が有する特徴抽出器の学習方法であって、
ａ）前記第１領域および前記第２領域を含む学習用画像を準備する工程と、
ｂ）前記学習用画像に対して、既知の前記第１領域と、既知の前記第２領域とを、指定する工程と、
ｃ）前記特徴抽出器に、既知の前記第１領域と既知の前記第２領域とを入力し、前記特徴抽出器から、前記特徴ベクトルを出力させる工程と、
ｄ）前記特徴空間内において、前記第１領域に対応する特徴ベクトルと、前記第２領域に対応する特徴ベクトルとが、分離するように、前記特徴抽出器のパラメータを調整する工程と、
を有する、学習方法。

【請求項7】

請求項６に記載の学習方法であって、
前記工程ｄ）では、Ｌｏｓｓ関数が小さくなるように前記パラメータが調整され、
前記Ｌｏｓｓ関数は、同一の前記領域種に対応する特徴ベクトルの間には引力が作用し、異なる前記領域種に対応する特徴ベクトル間には斥力が作用する関数である、学習方法。

【請求項8】

請求項６に記載の学習方法であって、
ｅ）前記工程ｄ）により前記パラメータを調整済みの特徴抽出器に、前記学習用画像を入力し、前記中間出力データを出力させる工程と、
ｆ）前記中間出力データを前記識別器に入力し、前記学習用画像の各画素の領域種を推定する工程と、
ｇ）前記工程ｆ）の推定結果をユーザに対して表示する工程と、
ｈ）前記ユーザに、前記特徴抽出器を再学習するか否かの選択を求める工程と、
を有し、
前記工程ｈ）において、ユーザが前記特徴抽出器の再学習を選択した場合、前記工程ｂ）～ｄ）を再度実行する、学習方法。

【請求項9】

請求項１ないし請求項４のいずれかに記載の識別器の更新方法であって、
ｉ）前記特徴抽出器に画像を入力し、前記特徴抽出器から前記中間出力データを出力させる工程と、
ｊ）前記中間出力データを前記識別器に入力し、前記画像の各画素の領域種を推定する工程と、
ｋ）前記工程ｊ）の推定結果をユーザに対して表示する工程と、
ｌ）前記ユーザに、前記識別器を更新するか否かの選択を求める工程と、
を有し、
前記工程ｌ）において、ユーザが前記識別器の更新を選択した場合、
ｍ）前記画像に対して、既知の前記第１領域と、既知の前記第２領域とを、再指定する工程と、
ｎ）前記工程ｍ）において再指定された既知の前記第１領域および既知の前記第２領域に基づいて、前記識別器の更新を行う工程と、
を実行する、更新方法。

【請求項10】

画像に含まれる複数種類の領域の領域種を推定する画像処理方法であって、
Ｐ）被検査画像を特徴抽出器に入力し、前記被検査画像の各画素に対応する特徴ベクトルを、中間出力データとして前記特徴抽出器から出力する工程と、
Ｑ）前記中間出力データを識別器に入力し、前記被検査画像の各画素の領域種を推定した出力データを前記識別器から出力する工程と、
を有し、
前記領域種は、少なくとも第１領域および第２領域の２種類を含み、
特徴空間において、
最も近い既知の特徴ベクトルが、前記第１領域に属する既知の画素に対応する第１特徴ベクトルとなる領域を、前記第１特徴ベクトルの支配領域とし、
最も近い既知の特徴ベクトルが、前記第２領域に属する既知の画素に対応する第２特徴ベクトルとなる領域を、前記第２特徴ベクトルの支配領域として、
前記工程Ｑ）では、前記識別器が、
前記特徴抽出器から出力される特徴ベクトルが、前記第１特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第１領域に属すると推定し、
前記特徴抽出器から出力される特徴ベクトルが、前記第２特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第２領域に属すると推定する、画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像に含まれる複数種類の領域の領域種を推定する技術に関する。

【背景技術】

【0002】

従来、工業製品の画像を撮影し、得られた画像に基づいて工業製品の欠陥を検出する検査装置が知られている。工業製品の欠陥を検出する検査技術については、例えば、特許文献１に記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特表２０２２－５３８４６８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この種の検査装置では、従来、撮影画像に対してルールベースの画像処理を行うことにより、画像中の欠陥領域を検出していた。しかしながら、ルールベースの画像処理では、閾値などの多数のパラメータを、人による判断で設定する必要がある。また、ルールベースの画像処理では、検査装置から出力される欠陥領域と、ユーザが欠陥と考える領域との間に、差が生じやすく、その差を縮めるためにパラメータを適切に設定することが困難であった。

【0005】

また、上記の問題は、欠陥検出を目的とした画像処理に限らず、画像に含まれる複数種類の領域を識別する場合一般に生じ得る問題である。

【0006】

本発明は、このような事情に鑑みなされたものであり、画像中の領域種を推定する画像処理装置および画像処理方法において、ユーザの認識に近い推定結果を得ることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本願の第１発明は、画像に含まれる複数種類の領域の領域種を推定する画像処理装置であって、入力された画像の各画素に対応する特徴ベクトルを、中間出力データとして出力する特徴抽出器と、前記特徴抽出器から出力される前記中間出力データに基づいて、前記画像の各画素の領域種を推定した出力データを出力する識別器と、を有し、前記領域種は、少なくとも第１領域および第２領域の２種類を含み、特徴空間において、最も近い既知の特徴ベクトルが、前記第１領域に属する既知の画素に対応する第１特徴ベクトルとなる領域を、前記第１特徴ベクトルの支配領域とし、最も近い既知の特徴ベクトルが、前記第２領域に属する既知の画素に対応する第２特徴ベクトルとなる領域を、前記第２特徴ベクトルの支配領域として、前記識別器は、前記特徴抽出器から出力される特徴ベクトルが、前記第１特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第１領域に属すると推定し、前記特徴抽出器から出力される特徴ベクトルが、前記第２特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第２領域に属すると推定する、画像処理装置。

【0008】

本願の第２発明は、第１発明の画像処理装置であって、前記特徴空間は３次元である。

【0009】

本願の第３発明は、第１発明または第２発明の画像処理装置であって、前記特徴抽出器は、機械学習モデルである。

【0010】

本願の第４発明は、第１発明ないし第３発明のいずれかの画像処理装置であって、前記識別器は、最近傍識別器である。

【0011】

本願の第５発明は、第１発明ないし第４発明のいずれかの画像処理装置であって、前記画像は、対象物の撮影画像であり、前記第１領域は、前記対象物の欠陥を示す欠陥領域である。

【0012】

本願の第６発明は、第３発明の画像処理装置が有する特徴抽出器の学習方法であって、ａ）前記第１領域および前記第２領域を含む学習用画像を準備する工程と、ｂ）前記学習用画像に対して、既知の前記第１領域と、既知の前記第２領域とを、指定する工程と、ｃ）前記特徴抽出器に、既知の前記第１領域と既知の前記第２領域とを入力し、前記特徴抽出器から、前記特徴ベクトルを出力させる工程と、ｄ）前記特徴空間内において、前記第１領域に対応する特徴ベクトルと、前記第２領域に対応する特徴ベクトルとが、分離するように、前記特徴抽出器のパラメータを調整する工程と、を有する。

【0013】

本願の第７発明は、第６発明の学習方法であって、前記工程ｄ）では、Ｌｏｓｓ関数が小さくなるように前記パラメータが調整され、前記Ｌｏｓｓ関数は、同一の前記領域種に対応する特徴ベクトルの間には引力が作用し、異なる前記領域種に対応する特徴ベクトル間には斥力が作用する関数である。

【0014】

本願の第８発明は、第６発明または第７発明の学習方法であって、ｅ）前記工程ｄ）により前記パラメータを調整済みの特徴抽出器に、前記学習用画像を入力し、前記中間出力データを出力させる工程と、ｆ）前記中間出力データを前記識別器に入力し、前記学習用画像の各画素の領域種を推定する工程と、ｇ）前記工程ｆ）の推定結果をユーザに対して表示する工程と、ｈ）前記ユーザに、前記特徴抽出器を再学習するか否かの選択を求める工程と、を有し、前記工程ｈ）において、ユーザが前記特徴抽出器の再学習を選択した場合、前記工程ｂ）～ｄ）を再度実行する。

【0015】

本願の第９発明は、第１発明ないし第５発明のいずれかに記載の識別器の更新方法であって、ｉ）前記特徴抽出器に画像を入力し、前記特徴抽出器から前記中間出力データを出力させる工程と、ｊ）前記中間出力データを前記識別器に入力し、前記画像の各画素の領域種を推定する工程と、ｋ）前記工程ｊ）の推定結果をユーザに対して表示する工程と、ｌ）前記ユーザに、前記識別器を更新するか否かの選択を求める工程と、を有し、前記工程ｌ）において、ユーザが前記識別器の更新を選択した場合、ｍ）前記画像に対して、既知の前記第１領域と、既知の前記第２領域とを、再指定する工程と、ｎ）前記工程ｍ）において再指定された既知の前記第１領域および既知の前記第２領域に基づいて、前記識別器の更新を行う工程と、を実行する。

【0016】

本願の第１０発明は、画像に含まれる複数種類の領域の領域種を推定する画像処理方法であって、Ｐ）被検査画像を特徴抽出器に入力し、前記被検査画像の各画素に対応する特徴ベクトルを、中間出力データとして前記特徴抽出器から出力する工程と、Ｑ）前記中間出力データを識別器に入力し、前記被検査画像の各画素の領域種を推定した出力データを前記識別器から出力する工程と、を有し、前記領域種は、少なくとも第１領域および第２領域の２種類を含み、特徴空間において、最も近い既知の特徴ベクトルが、前記第１領域に属する既知の画素に対応する第１特徴ベクトルとなる領域を、前記第１特徴ベクトルの支配領域とし、最も近い既知の特徴ベクトルが、前記第２領域に属する既知の画素に対応する第２特徴ベクトルとなる領域を、前記第２特徴ベクトルの支配領域として、前記工程Ｑ）では、前記識別器が、前記特徴抽出器から出力される特徴ベクトルが、前記第１特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第１領域に属すると推定し、前記特徴抽出器から出力される特徴ベクトルが、前記第２特徴ベクトルの支配領域に属する場合、当該特徴ベクトルに対応する画素が、前記第２領域に属すると推定する。

【発明の効果】

【0017】

本願の第１発明～第１０発明によれば、特徴抽出器および識別器を用いて、画像中の領域種を推定する。このため、特徴抽出器および識別器を、推定結果に応じて調整することにより、ユーザの認識に近い推定結果を得ることができる。

【図面の簡単な説明】

【0018】

【図1】検査装置の構成を示した図である。

【図2】コンピュータの機能を概念的に示したブロック図である。

【図3】学習用画像または被検査画像の例を示した図である。

【図4】識別器が有する特徴空間の例を示した図である。

【図5】画像処理装置の学習処理の流れを示したフローチャートである。

【図6】特徴抽出器の学習処理の流れを示したフローチャートである。

【図7】被検査画像に対する識別処理の流れを示したフローチャートである。

【図8】被検査画像に対して識別処理を行った後に、識別器の更新または特徴抽出器の再学習を行う場合のフローチャートである。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、図面を参照しつつ説明する。

【0020】

＜１．検査装置の構成＞
図１は、本発明の一実施形態に係る画像処理装置を含む検査装置１の構成を示した図である。この検査装置１は、対象物９の画像を撮影し、得られた画像に基づいて、対象物９中の欠陥を検出する装置である。対象物９は、例えば、半導体基板である。ただし、対象物９は、フラットパネルディスプレイ用基板、プリント基板等の他の精密電子部品であってもよい。また、対象物９は、印刷用紙等のシート状の基材であってもよい。また、対象物９は、細胞や胚などの生体試料であってもよい。

【0021】

図１に示すように、検査装置１は、撮像部１０、コンピュータ２０、表示部３０、および入力部４０を備える。

【0022】

撮像部１０は、対象物９を撮影するためのカメラ１１を有する。カメラ１１は、ＣＣＤやＣＭＯＳ等の撮像素子と、対象物９から入射する光を撮像素子に結像させる光学系とを有する。撮像部１０は、撮影時に対象物９に光を照射する照明装置を有していてもよい。撮像部１０は、コンピュータ２０と電気的に接続されている。

【0023】

図１に示すように、対象物９の表面には、配線パターンなどの被検査パターン９１が形成されている。撮像部１０は、対象物９の表面に形成された被検査パターン９１を撮像する。これにより、被検査パターン９１を含む撮影画像Ｄ１が得られる。撮影画像Ｄ１は、多数の画素が二次元座標上に配列され、各画素に輝度値が規定されたデータである。撮像部１０は、撮影により得られた撮影画像Ｄ１を、コンピュータ２０へ入力する。

【0024】

コンピュータ２０は、撮像部１０から入力される撮影画像Ｄ１に基づいて、対象物９の欠陥を検出する装置である。図１に示すように、コンピュータ２０は、ＣＰＵ等のプロセッサ２１、ＲＡＭ等のメモリ２２、およびハードディスクドライブ等の記憶部２３を有する。

【0025】

記憶部２３には、後述する学習処理および識別処理をコンピュータ２０に実行させるためのコンピュータプログラム２４が記憶されている。コンピュータプログラム２４は、ＣＤやＤＶＤなどのコンピュータ２０により読み取り可能な記憶媒体から読み取られて、記憶部２３に記憶される。ただし、コンピュータプログラム２４は、ネットワーク経由でコンピュータ２０にダウンロードされるものであってもよい。

【0026】

表示部３０は、検査装置１の処理に関する種々の情報を表示する装置である。表示部３０には、例えば、液晶表示装置が使用される。入力部４０は、検査装置１の処理に関する種々の情報を入力する装置である。入力部４０には、例えば、キーボードやマウスが使用される。なお、表示部３０と入力部４０とは、タッチパネル等の単一の装置であってもよい。表示部３０および入力部４０は、コンピュータ２０と電気的に接続されている。

【0027】

＜２．コンピュータについて＞
図２は、上述したコンピュータ２０の機能を、概念的に示したブロック図である。図２に示すように、コンピュータ２０は、画像切り出し部５１、既知領域指定部５２、特徴抽出器５３、識別器５４、および学習部５５を有する。画像切り出し部５１、既知領域指定部５２、特徴抽出器５３、識別器５４、および学習部５５の各機能は、コンピュータ２０のプロセッサ２１が、コンピュータプログラム２４に従って動作することにより実現される。

【0028】

画像切り出し部５１は、撮影画像Ｄ１から、学習用画像Ｄｔと被検査画像Ｄｉとを切り出す処理部である。学習用画像Ｄｔは、後述する学習処理に使用される画像である。被検査画像Ｄｉは、検査対象となる画像である。

【0029】

画像切り出し部５１は、被検査パターン９１の領域を判別して、撮影画像Ｄ１から学習用画像Ｄｔおよび被検査画像Ｄｉを、自動的に切り出してもよい。あるいは、画像切り出し部５１は、入力部４０から入力される情報に基づいて、撮影画像Ｄ１から学習用画像Ｄｔおよび被検査画像Ｄｉを切り出してもよい。また、学習用画像Ｄｔと被検査画像Ｄｉとは、異なる撮影画像Ｄ１から切り出されるものであってもよい。

【0030】

図３は、学習用画像Ｄｔまたは被検査画像Ｄｉの例を示した図である。対象物９の表面には、被検査パターン９１の欠け、突起、線幅異常、異物などの欠陥が存在する。したがって、図３に示すように、学習用画像Ｄｔおよび被検査画像Ｄｉには、これらの欠陥に相当する領域（以下「欠陥領域」と称する）Ａ１と、欠陥ではない正常な領域（以下「背景領域」と称する）Ａ２とが、含まれる。

【0031】

既知領域指定部５２は、学習用画像Ｄｔに対して、既知の欠陥領域ａ１と、既知の背景領域ａ２とを、指定する処理部である。既知領域指定部５２は、学習用画像Ｄｔを、表示部３０に表示する。ユーザは、表示部３０に表示された学習用画像Ｄｔを確認しながら、入力部４０を操作して、１つ以上の既知の欠陥領域ａ１と、１つ以上の既知の背景領域ａ２とを指定する。既知領域指定部５２は、入力部４０から入力された既知の欠陥領域ａ１および既知の背景領域ａ２を、記憶部２３に記憶させる。

【0032】

特徴抽出器５３および識別器５４は、被検査画像Ｄｉを、欠陥領域Ａ１と背景領域Ａ２とに分類して出力する画像処理装置５０を構成する。画像処理装置５０は、被検査画像Ｄｉに含まれる複数の画素が、それぞれ、欠陥領域Ａ１に属する画素（以下「欠陥画素」と称する）であるか、それとも、背景領域Ａ２に属する画素（以下「背景画素」と称する）であるかを、推定する。そして、画像処理装置５０は、被検査画像Ｄｉのうち、欠陥画素と推定された画素により構成される領域を、欠陥領域Ａ１として推定し、背景画素と推定された画素により構成される領域を、背景領域Ａ２として推定する。

【0033】

特徴抽出器５３は、入力された画像に対して特徴抽出を行う処理部である。特徴抽出器５３は、入力された画像に基づいて、特徴ベクトルを出力する。特徴ベクトルは、複数の次元により規定される特徴空間のベクトルである。特徴空間の次元数は、例えば３次元とされる。ただし、特徴空間の次元数は、２次元であってもよく、あるいは、４次元以上であってもよい。

【0034】

特徴抽出器５３は、再学習可能な学習済み機械学習モデルにより構成される。特徴抽出器５３には、例えば、畳み込みニューラルネットワーク（Convolutional Neural Network，ＣＮＮ）を使用することができる。ただし、機械学習モデルとして、ニューラルネットワークのフルコネクテッド層、Vision Transformer等の他のモデルを使用してもよい。特徴抽出器５３は、既知領域指定部５２により指定された既知の欠陥領域ａ１および既知の背景領域ａ２に基づいて、学習部５５が学習処理を行うことにより、生成される。学習処理の詳細については、後述する。

【0035】

特徴抽出器５３は、入力された画像の各画素を、特徴ベクトルに変換する。すなわち、特徴空間の次元数が３次元の場合、特徴抽出器５３は、画像の各画素を、３種類の特徴量を有する特徴ベクトルに変換する。そして、特徴抽出器５３は、画像に含まれる複数の画素に対応する複数の特徴ベクトルを、中間出力データＤｍとして、識別器５４へ出力する。

【0036】

なお、特徴抽出器５３は、機械学習モデルにより構成される第１特徴抽出器と、ルールベースの第２特徴抽出器とを組み合わせたものであってもよい。その場合、例えば、第１特徴抽出器により２種類の特徴量を抽出し、第２特徴抽出器により１種類の特徴量を抽出して、これらの３種類の特徴量により、特徴ベクトルを生成してもよい。

【0037】

識別器５４は、特徴抽出器５３から出力される中間出力データＤｍに基づいて、被検査画像Ｄｉ中の欠陥領域Ａ１と背景領域Ａ２を識別する処理部である。すなわち、識別器５４は、中間出力データＤｍに基づいて、被検査画像Ｄｉの各部の領域種（欠陥領域Ａ１または背景領域Ａ２）を推定する処理部である。識別器５４には、例えば、最近傍識別器が使用される。

【0038】

識別器５４は、特徴空間内に、複数の既知の特徴ベクトルを有する。既知の特徴ベクトルとは、上述した既知領域指定部５２において指定された既知の欠陥領域ａ１および背景領域ａ２に属する画素に対応する特徴ベクトルである。既知の欠陥画素に対応する特徴ベクトル（以下「欠陥特徴ベクトルｖ１」と称する）には、欠陥領域Ａ１を示す教師ラベルが付されている。既知の背景画素に対応する特徴ベクトル（以下「背景特徴ベクトルｖ２」と称する）には、背景領域Ａ２を示す教師ラベルが付されている。欠陥特徴ベクトルｖ１は、本発明における「第１特徴ベクトル」の一例である。背景特徴ベクトルｖ２は、本発明における「第２特徴ベクトル」の一例である。

【0039】

図４は、識別器５４が有する特徴空間の例を示した図である。図４に示すように、識別器５４では、特徴空間が、欠陥特徴ベクトルｖ１の支配領域Ｔ１と、背景特徴ベクトルｖ２の支配領域Ｔ２とに、区分されている。欠陥特徴ベクトルｖ１の支配領域Ｔ１では、当該領域内の各座標に最も近い既知の特徴ベクトルが、欠陥特徴ベクトルｖ１となる。背景特徴ベクトルｖ２の支配領域Ｔ２では、当該領域内の各座標に最も近い既知の特徴ベクトルが、背景特徴ベクトルｖ２となる。

【0040】

識別器５４は、中間出力データＤｍに含まれる複数の特徴ベクトル（識別対象となる特徴ベクトル）が、欠陥特徴ベクトルｖ１の支配領域Ｔ１および背景特徴ベクトルｖ２の支配領域Ｔ２のいずれに属するかを判定する。そして、識別器５４は、欠陥特徴ベクトルｖ１の支配領域Ｔ１に属する特徴ベクトルに対応する被検査画像Ｄｉ中の画素を、欠陥画素と推定する。また、識別器５４は、背景特徴ベクトルｖ２の支配領域Ｔ２に属する特徴ベクトルに対応する被検査画像Ｄｉ中の画素を、背景画素と推定する。

【0041】

識別器５４は、被検査画像Ｄｉを、欠陥領域Ａ１と背景領域Ａ２とに分類した結果である結果画像Ｄｏを、表示部３０に出力する。識別器５４は、例えば、被検査画像Ｄｉ中の欠陥画素と推定された画素を、特定の色に着色することにより、結果画像Ｄｏを作成する。ただし、識別器５４は、背景画素と推定された画素も、欠陥画素とは異なる色に着色してもよい。また、識別器５４は、欠陥領域Ａ１を外形線で囲むなどの方法で、欠陥領域Ａ１と背景領域Ａ２を区別した結果画像Ｄｏを作成してもよい。結果画像Ｄｏは「出力データ」の一例である。

【0042】

＜３．学習処理について＞
続いて、上述した画像処理装置５０の学習処理について、説明する。図５は、画像処理装置５０の学習処理の流れを示したフローチャートである。

【0043】

図５に示すように、コンピュータ２０は、まず、学習用画像Ｄｔを準備する（ステップＳ１１）。具体的には、画像切り出し部５１が、撮影画像Ｄ１から、学習用画像Ｄｔを切り出す。学習用画像Ｄｔの数は、１つであってもよく、複数であってもよい。既知領域指定部５２は、得られた学習用画像Ｄｔを、表示部３０に表示する。

【0044】

次に、ユーザは、学習用画像Ｄｔに対して、既知の欠陥領域ａ１と、既知の背景領域ａ２とを指定する（ステップＳ１２）。具体的には、ユーザは、図３のように、表示部３０に表示された学習用画像Ｄｔを確認しながら、入力部４０を操作して、１つ以上の既知の欠陥領域ａ１と、１つ以上の既知の背景領域ａ２とを指定する。この操作は、例えば、表示部３０に表示された学習用画像Ｄｔ上で、指定すべき領域をドラッグすることにより、行われる。

【0045】

既知領域指定部５２は、指定された既知の欠陥領域ａ１に属する画素（既知の欠陥画素）に、欠陥領域Ａ１の教師ラベルを付与する。また、既知領域指定部５２は、指定された既知の背景領域ａ２に属する画素（既知の背景画素）に、背景領域Ａ２の教師ラベルを付与する。そして、既知領域指定部５２は、指定された各領域に属する画素を、教師ラベルとともに、記憶部２３に記憶させる。

【0046】

続いて、学習部５５は、既知領域指定部５２において指定された既知の欠陥領域ａ１および既知の背景領域ａ２を教師データとして、特徴抽出器５３の学習を行う（ステップＳ１３）。図６は、ステップＳ１３の処理の流れを示したフローチャートである。

【0047】

図６に示すように、学習部５５は、まず、特徴抽出器５３として使用するＣＮＮ等の機械学習モデルに、既知の欠陥領域ａ１および既知の背景領域ａ２を入力する（ステップＳ３１）。すると、機械学習モデルは、既知の欠陥領域ａ１および既知の背景領域ａ２の各画素に対応する特徴ベクトルを出力する。

【0048】

次に、学習部５５は、機械学習モデルから出力された特徴ベクトルに基づいて、Ｌｏｓｓ関数（損失関数）を算出する（ステップＳ３２）。Ｌｏｓｓ関数は、例えば、次式で定義される。このＬｏｓｓ関数は、同一の領域種に対応する（同一の教師ラベルを有する）特徴ベクトルの間には引力が作用し、異なる領域種に対応する（異なる教師ラベルを有する）特徴ベクトルの間には斥力が作用する関数である。

【数1】

【0049】

上記のＬｏｓｓ関数において、ｘｉ，ｘｊは、特徴ベクトルを表す。また、上記のＬｏｓｓ関数において、ｔｉ，ｔｊは、教師ラベルを表す。具体的には、ｔｉ，ｔｊは、欠陥領域Ａ１および背景領域Ａ２のいずれかの教師ラベルを表す。（ｔｉ＝ｔｊ）は、特徴ベクトルｘｉ，ｘｊの教師ラベルが同一であることを表す。（ｏｔｈｅｒｗｉｓｅ）は、特徴ベクトルｘｉ，ｘｊの教師ラベルが同一でないことを表す。εは、０除算を回避するための定数である。αは、特徴ベクトルｘｉ，ｘｊの教師ラベルが同一である場合に、２つの特徴ベクトルｘｉ，ｘｊの間に作用する引力の強さを表す。βは、特徴ベクトルｘｉ，ｘｊの教師ラベルが同一でない場合に、２つの特徴ベクトルｘｉ，ｘｊの間に作用する斥力の強さを表す。α，βは、いずれも正の値である。

【0050】

上記のＬｏｓｓ関数では、特徴ベクトルｘｉ，ｘｊ間の距離を示す（ｘｉ－ｘｊ）の絶対値が分母に入っている。このため、特徴ベクトルｘｉ，ｘｊ間の距離が大きい場合には、Ｌｏｓｓ関数の絶対値は小さくなる。この場合、特徴ベクトルｘｉ，ｘｊの間に作用する引力または斥力の影響が小さくなる。また、特徴ベクトルｘｉ，ｘｊが同一の教師ラベルを有し（ｔｉ＝ｔｊの場合）、かつ、特徴ベクトルｘｉ，ｘｊ間の距離が小さい場合には、Ｌｏｓｓ関数が、より小さいマイナスの値となる。一方、特徴ベクトルｘｉ，ｘｊが異なる教師ラベルを有し（ｏｔｈｅｒｗｉｓｅの場合）、かつ、特徴ベクトルｘｉ，ｘｊ間の距離が小さい場合には、Ｌｏｓｓ関数が、大きい値となる。この場合、特徴ベクトルｘｉ，ｘｊの間に作用する斥力の影響が大きくなる。

【0051】

ステップＳ３２においてＬｏｓｓ関数が算出されると、学習部５５は、特徴抽出器５３の学習を終了するか否かを判断する（ステップＳ３３）。具体的には、学習部５５は、Ｌｏｓｓ関数により算出された値を、所定の閾値と比較する。Ｌｏｓｓ関数により算出された値が、所定の閾値よりも大きい場合（ステップＳ３３：Ｎｏ）、学習部５５は、特徴抽出器５３の学習を継続する。この場合、学習部５５は、Ｌｏｓｓ関数により算出される値が小さくなるように、機械学習モデルのパラメータを調整して（ステップＳ３４）、ステップＳ３１～Ｓ３３の処理を再度実行する。

【0052】

ステップＳ３１～Ｓ３４の処理を繰り返すと、次第に、機械学習モデルから出力される特徴空間において、欠陥画素に対応する特徴ベクトルと、背景画素に対応する特徴ベクトルとが、分離するようになる。学習部５５は、Ｌｏｓｓ関数により算出される値が閾値以下になると（ステップＳ３３：Ｙｅｓ）、特徴抽出器５３の学習を終了する。

【0053】

上記の学習処理により、入力画像に基づいて、欠陥画素に対応する特徴ベクトルと、背景画素に対応する特徴ベクトルとが、特徴空間において分離するように、各画素の特徴ベクトルを出力することが可能な特徴抽出器５３が生成される。ただし、欠陥画素に対応する特徴ベクトルは、特徴空間において１箇所に集合する必要はない。欠陥画素に対応する特徴ベクトルは、特徴空間の複数箇所に、それぞれ集合してもよい。また、背景画素に対応する特徴ベクトルも、特徴空間において１箇所に集合する必要はない。背景画素に対応する特徴ベクトルは、特徴空間の複数箇所に、それぞれ集合してもよい。

【0054】

図５に戻る。ステップＳ１３において特徴抽出器５３の学習が終了すると、学習部５５は、次に、識別器５４の更新を行う（ステップＳ１４）。ステップＳ１４では、識別器５４において、特徴空間を設定するとともに、当該特徴空間に、図４のように、複数の既知の欠陥特徴ベクトルｖ１と、複数の既知の背景特徴ベクトルｖ２とを設定する。既知の欠陥特徴ベクトルｖ１は、ステップＳ１２で指定した既知の欠陥領域ａ１に属する複数の欠陥画素に基づいて、学習済みの特徴抽出器５３が出力する特徴ベクトルである。既知の背景特徴ベクトルｖ２は、ステップＳ１２で指定した既知の背景領域ａ２に属する複数の背景画素に基づいて、学習済みの特徴抽出器５３が出力する特徴ベクトルである。

【0055】

また、ステップＳ１４では、特徴空間において、欠陥特徴ベクトルｖ１の支配領域Ｔ１と、背景特徴ベクトルｖ２の支配領域Ｔ２とが、設定される。欠陥特徴ベクトルｖ１の支配領域Ｔ１は、当該領域内の各座標に最も近い既知の特徴ベクトルが、欠陥特徴ベクトルｖ１となる領域である。背景特徴ベクトルｖ２の支配領域Ｔ２は、当該領域内の各座標に最も近い既知の特徴ベクトルが、背景特徴ベクトルｖ２となる領域である。２つの支配領域Ｔ１，Ｔ２の境界では、最も近い既知の欠陥特徴ベクトルｖ１までの距離と、最も近い既知の背景特徴ベクトルｖ２までの距離とが、等距離となる。

【0056】

続いて、学習部５５は、学習用画像Ｄｔの全体を、学習済みの特徴抽出器５３に入力する（ステップＳ１５）。これにより、特徴抽出器５３は、学習用画像Ｄｔの全体の各画素に対応する特徴ベクトルを、中間出力データＤｍとして出力する。

【0057】

その後、識別器５４が、特徴抽出器５３から出力される中間出力データＤｍに基づいて、学習用画像Ｄｔ中の欠陥領域Ａ１と背景領域Ａ２を識別する（ステップＳ１６）。識別器５４は、中間出力データＤｍに含まれる複数の特徴ベクトルが、欠陥特徴ベクトルｖ１の支配領域Ｔ１および背景特徴ベクトルｖ２の支配領域Ｔ２のいずれに属するかを判定する。そして、識別器５４は、欠陥特徴ベクトルｖ１の支配領域Ｔ１に属する特徴ベクトルに対応する学習用画像Ｄｔ中の画素を、欠陥画素と推定する。また、識別器５４は、背景特徴ベクトルｖ２の支配領域Ｔ２に属する特徴ベクトルに対応する学習用画像Ｄｔ中の画素を、背景画素と推定する。

【0058】

識別器５４は、学習用画像Ｄｔ中の欠陥画素と推定された画素を、特定の色に着色する。これにより、欠陥領域Ａ１と背景領域Ａ２の推定結果を示す結果画像Ｄｏが作成される。識別器５４は、作成した結果画像Ｄｏを、表示部３０に表示する（ステップＳ１７）。ユーザは、表示部３０に表示された結果画像Ｄｏを見ることにより、学習用画像Ｄｔにおける欠陥領域Ａ１と背景領域Ａ２の識別結果を、視覚的に確認できる。

【0059】

なお、識別器５４は、背景画素も、欠陥画素とは異なる色に着色してもよい。また、識別器５４は、欠陥領域Ａ１を外形線で囲むなどの方法で、欠陥領域Ａ１と背景領域Ａ２とを識別可能な結果画像Ｄｏを作成してもよい。

【0060】

続いて、学習部５５は、ユーザに、識別器５４を更新するか否かの選択を求める（ステップＳ１８）。ユーザは、結果画像Ｄｏにより示された識別結果が不十分と判断した場合、識別器５４の更新を選択する（ステップＳ１８：Ｙｅｓ）。この場合、ユーザは、学習用画像Ｄｔに対して、既知の欠陥領域ａ１と、既知の背景領域ａ２とを再指定する（ステップＳ１９）。

【0061】

ステップＳ１９では、ユーザは、結果画像Ｄｏを参照しつつ、識別器５４が誤推定していると思う箇所を、学習用画像Ｄｔにおいて指定する。そして、当該箇所に、ユーザが正しいと考える教師ラベルを付与する。例えば、ユーザが欠陥領域Ａ１であると考える画素が、結果画像Ｄｏにおいて背景領域Ａ２となっている場合、ユーザは、当該画素を、既知の欠陥領域ａ１として指定する。また、ユーザが背景領域Ａ２であると考える画素が、結果画像Ｄｏにおいて欠陥領域Ａ１となっている場合、ユーザは、当該画素を、既知の背景領域ａ２として指定する。

【0062】

この場合、学習部５５は、再指定された既知の欠陥領域ａ１および既知の背景領域ａ２に基づいて、識別器５４の更新を行う（ステップＳ２０）。すなわち、上述したステップＳ１４と同様に、特徴空間において、既知の欠陥特徴ベクトルｖ１と、既知の背景特徴ベクトルｖ２とを、再設定する。これにより、特徴空間において、欠陥特徴ベクトルｖ１の支配領域Ｔ１と、背景特徴ベクトルｖ２の支配領域Ｔ２とが、更新される。

【0063】

識別器５４が更新された後、識別器５４は、ステップＳ１５で出力された中間出力データＤｍに基づいて、学習用画像Ｄｔ中の欠陥領域Ａ１と背景領域Ａ２を、再度識別する（ステップＳ１６）。そして、識別器５４は、欠陥領域Ａ１と背景領域Ａ２の識別結果を示す結果画像Ｄｏを、表示部３０に再度表示する（ステップＳ１７）。ユーザは、結果画像Ｄｏにより示される識別結果が良好であるか否かを、再度判断する（ステップＳ１８）。

【0064】

このように、ステップＳ１６～Ｓ２０の処理を繰り返すことにより、特徴空間における欠陥特徴ベクトルｖ１の支配領域Ｔ１と、背景特徴ベクトルｖ２の支配領域Ｔ２とを、ユーザの認識を反映した適切な状態に、近づけることができる。したがって、結果画像Ｄｏにより示される識別結果を、ユーザの認識に近づけることができる。

【0065】

結果画像Ｄｏにより示される識別結果が納得できる場合、ユーザは、ステップＳ１８において、識別器５４の更新を選択しない（ステップＳ１８：Ｎｏ）。また、識別器５４の更新だけでは、所望の識別結果を得られないと判断した場合も、ユーザは、ステップＳ１８において、識別器５４の更新を選択しない（ステップＳ１８：Ｎｏ）。

【0066】

この場合、次に、学習部５５は、ユーザに、特徴抽出器５３を再学習するか否かの選択を求める（ステップＳ２１）。ユーザは、結果画像Ｄｏにより示された識別結果が、識別器５４の更新だけでは十分に改善していないと判断した場合、特徴抽出器５３の再学習を選択する（ステップＳ２１：Ｙｅｓ）。この場合、ユーザは、学習用画像Ｄｔに対して、既知の欠陥領域ａ１と、既知の背景領域ａ２とを再指定する（ステップＳ２２）。

【0067】

ステップＳ２２では、ユーザは、ステップＳ１９と同様に、結果画像Ｄｏを参照しつつ、識別器５４が誤推定していると思う箇所を、学習用画像Ｄｔにおいて指定する。そして、当該箇所に、ユーザが正しいと考える教師ラベルを付与する。

【0068】

その後、ステップＳ１３に戻り、学習部５５は、再指定された既知の欠陥領域ａ１および既知の背景領域ａ２に基づいて、特徴抽出器５３の学習を再度行う（ステップＳ１３）。具体的には、図６のステップＳ３１～Ｓ３４の処理を、再度行う。これにより、再指定された既知の欠陥領域ａ１および既知の背景領域ａ２に基づいて、特徴抽出器５３のパラメータが更新される。その結果、特徴抽出器５３による特徴ベクトルの出力精度が向上する。

【0069】

その後、ステップＳ１４～Ｓ１７の処理を再度実行する。これにより、欠陥領域Ａ１と背景領域Ａ２の識別結果を示す結果画像Ｄｏが、表示部３０に再度表示される（ステップＳ１７）。ユーザは、結果画像Ｄｏにより示される識別結果が良好であるか否かを、再度判断する（ステップＳ１８，Ｓ２１）。

【0070】

このように、ステップＳ１３～Ｓ２２の処理を繰り返すことにより、特徴抽出器５３により出力される中間出力データＤｍを、ユーザの認識を反映した適切な状態に、近づけることができる。したがって、結果画像Ｄｏにより示される識別結果を、ユーザの認識に、より近づけることができる。

【0071】

ステップＳ１３～Ｓ２２の処理により、ユーザが納得できる結果画像Ｄｏが得られた場合、ユーザは、ステップＳ２１において、特徴抽出器５３の再学習を選択しない（ステップＳ２１：Ｎｏ）。これにより、精度のよい特徴抽出器５３および識別器５４を得ることができる。

【0072】

＜４．識別処理について＞
上記のステップＳ１３～Ｓ２２の処理が終了した後、画像処理装置５０は、被検査画像Ｄｉに対して、欠陥領域Ａ１と背景領域Ａ２の識別処理を行う。図７は、被検査画像Ｄｉに対する識別処理の流れを示したフローチャートである。

【0073】

図７に示すように、コンピュータ２０は、まず、被検査画像Ｄｉを準備する（ステップＳ４１）。具体的には、画像切り出し部５１が、撮影画像Ｄ１から、被検査画像Ｄｉを切り出す。

【0074】

次に、画像処理装置５０は、得られた被検査画像Ｄｉを、学習済みの特徴抽出器５３に入力する（ステップＳ４２）。これにより、特徴抽出器５３は、被検査画像Ｄｉの各画素に対応する特徴ベクトルを、中間出力データＤｍとして出力する。

【0075】

続いて、識別器５４が、特徴抽出器５３から出力される中間出力データＤｍに基づいて、被検査画像Ｄｉ中の欠陥領域Ａ１と背景領域Ａ２を識別する（ステップＳ４３）。識別器５４は、中間出力データＤｍに含まれる複数の特徴ベクトルが、欠陥特徴ベクトルｖ１の支配領域Ｔ１および背景特徴ベクトルｖ２の支配領域Ｔ２のいずれに属するかを判定する。そして、識別器５４は、欠陥特徴ベクトルｖ１の支配領域Ｔ１に属する特徴ベクトルに対応する被検査画像Ｄｉ中の画素を、欠陥画素と推定する。また、識別器５４は、背景特徴ベクトルｖ２の支配領域Ｔ２に属する特徴ベクトルに対応する被検査画像Ｄｉ中の画素を、背景画素と推定する。

【0076】

識別器５４は、被検査画像Ｄｉ中の欠陥画素と推定された画素を、特定の色に着色する。これにより、欠陥領域Ａ１と背景領域Ａ２の推定結果を示す結果画像Ｄｏが作成される。識別器５４は、作成した結果画像Ｄｏを、表示部３０に表示する（ステップＳ４４）。ユーザは、表示部３０に表示された結果画像Ｄｏを見ることにより、被検査画像Ｄｉにおける欠陥領域Ａ１と背景領域Ａ２の識別結果を、視覚的に確認できる。

【0077】

なお、識別器５４は、背景画素も、欠陥画素とは異なる色に着色してもよい。また、識別器５４は、欠陥領域Ａ１を外形線で囲むなどの方法で、欠陥領域Ａ１と背景領域Ａ２とを識別可能な結果画像Ｄｏを作成してもよい。

【0078】

以上のように、この画像処理装置５０では、特徴抽出器５３および識別器５４を用いて、画像中の欠陥領域Ａ１および背景領域Ａ２を推定する。このため、特徴抽出器５３および識別器５４を、推定結果に応じて調整することにより、ユーザの認識に近い推定結果を得ることができる。

【0079】

図８は、被検査画像Ｄｉに対して識別処理を行った後に、識別器５４の更新または特徴抽出器５３の再学習を行う場合のフローチャートである。ユーザは、ステップＳ４４において表示部３０に表示された結果画像Ｄｏを確認し、推定結果が不適切と判断した場合、図８のように、識別器５４の更新または特徴抽出器５３の再学習を行ってもよい。

【0080】

識別器５４の更新を行う場合（ステップＳ１８：Ｙｅｓ）、上述したステップＳ１９～Ｓ２０と同等の処理を行えばよい。また、特徴抽出器５３の再学習を行う場合（ステップＳ２１：Ｙｅｓ）、上述したステップＳ２２およびステップＳ１３と同等の処理を行えばよい。これにより、被検査画像Ｄｉに対する識別処理を開始した後においても、領域の推定結果を、ユーザの認識により近づけることができる。

【0081】

＜５．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。以下では、種々の変形例について、上記の実施形態との相違点を中心に説明する。

【0082】

上記の実施形態では、画像処理装置５０は、入力された画像に含まれる２種類の領域（欠陥領域Ａ１と背景領域Ａ２）の領域種を推定するものであった。しかしながら、本発明の画像処理装置および画像処理方法は、入力された画像に含まれる３種類以上の領域の領域種を推定するものであってもよい。

【0083】

上記の実施形態では、欠陥領域Ａ１が「第１領域」に相当し、背景領域Ａ２が「第２領域」に相当する。しかしながら、画像処理装置５０が識別する領域種は、欠陥領域Ａ１および背景領域Ａ２以外の領域を含んでいてもよい。すなわち、画像処理装置５０が識別する領域種は、「第１領域」「第２領域」に限らず、「第３領域」等を有していてもよい。

【0084】

上記の実施形態では、欠陥特徴ベクトルｖ１が「第１特徴ベクトル」に相当し、背景特徴ベクトルｖ２が「第２特徴ベクトル」に相当する。しかしながら、特徴空間に設定される既知の特徴ベクトルは、「第１特徴ベクトル」「第２特徴ベクトル」に限らず、「第３特徴ベクトル」等を有していてもよい。

【0085】

上記の実施形態では、画像処理装置５０が、対象物９の欠陥を検出する検査装置１に搭載されていた。しかしながら、画像処理装置５０は、検査以外の目的で、画像中の複数の領域種を推定するものであってもよい。

【0086】

また、上述した方法や装置の細部については、本発明の趣旨を逸脱しない範囲で、適宜に変更したり、一部を省略したりすることが可能である。また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。

【符号の説明】

【0087】

１ 検査装置
９ 対象物
１０ 撮像部
１１ カメラ
２０ コンピュータ
３０ 表示部
４０ 入力部
５０ 画像処理装置
５１ 画像切り出し部
５２ 既知領域指定部
５３ 特徴抽出器
５４ 識別器
５５ 学習部
Ａ１ 欠陥領域
Ａ２ 背景領域
Ｄ１ 撮影画像
Ｄｔ 学習用画像
Ｄｉ 被検査画像
Ｄｍ 中間出力データ
Ｄｏ 結果画像
Ｔ１ 欠陥特徴ベクトルｖ１の支配領域
Ｔ２ 背景特徴ベクトルｖ２の支配領域
ａ１ 既知の欠陥領域
ａ２ 既知の背景領域
ｖ１ 欠陥特徴ベクトル
ｖ２ 背景特徴ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】