特開2024-59056 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ 山本　隆義の特許一覧

特開2024-59056画像データによる対象物の状態判別方法、及び装置

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1
2
3
4
5

8
9
10
11
12
13
14
15
16
17
18
19

22
23
24
25
26

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024059056

(43)【公開日】2024-04-30

(54)【発明の名称】画像データによる対象物の状態判別方法、及び装置

(51)【国際特許分類】

G06T 7/00 20170101AFI20240422BHJP

G01N 21/88 20060101ALI20240422BHJP

【ＦＩ】

G06T7/00 610C

G01N21/88 J

【審査請求】未請求

【請求項の数】7

【出願形態】書面

(21)【出願番号】P 2022177686

(22)【出願日】2022-10-17

(71)【出願人】

【識別番号】500262511

【氏名又は名称】山本隆義

(72)【発明者】

【氏名】山本隆義

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA51

2G051AA90

2G051AB02

2G051ED11

5L096AA02

5L096BA02

5L096BA03

5L096CA24

5L096DA01

5L096FA28

5L096FA32

5L096FA33

5L096FA34

5L096FA69

5L096GA51

5L096HA02

5L096JA11

(57)【要約】（修正有）

【課題】対象物の欠陥、変形や色むらなどの不良状態若しくは対象設備の異常状態から生じる機器表面の温度変化の兆候等を画像データにより検出する状態判別方法及び装置を提供する。
【解決手段】撮像装置、演算処理・判定を行う処理・判定部、設定値入力装置及び処理、判定の結果を表示する表示装置を有する状態判別装置３０において、処理・判定部は、画像データを読込む画像取得部、読込んだ画像内に解析対象の領域（ＲＯＩ）設定部、基準ＲＯＩと対象ＲＯＩ内の特徴量を抽出する特徴抽出部、基準ＲＯＩの特徴量と対象ＲＯＩの特徴量の乖離度を状態変化度として算出する状態変化度算出部、判定閾値を設定する閾値設定部、状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する良否・異常判定部、不良・異常と判定された場合に、当該対象ＲＯＩの位置を特定する不良・異常領域特定部及び一連の演算・判定結果等を出力する結果出力部を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

電子・機械部品や製品等の対象物を加工・組立する製造工程で発生する不良を検出するための良否検査、もしくは、製造プラントを構成している機器設備の状態変化や異常から間接的に、もしくは、直接的に生じる現象、例えば表面温度や排煙・排水などの異常を監視するための状態判別装置であって、検査・監視対象物の画像を撮影する撮像装置と、前記画像データの演算処理及び良否・異常判定を行う処理・判定部と、検査・監視の実行に必要な各種設定値を入力する設定値入力装置と、前記した処理・判定部で得られた結果を表示する表示装置と、前記した撮像装置、処理・判定部、設定値入力装置及び表示装置と、を連携させるインターフェースと、を有し、
前記の処理・判定部は、基準画像データもしくは検査・監視用画像データを読み込む画像取得部と、前記にて読み込んだ画像内に目的とする検査・監視を実行するための基準領域、及び、対象領域を設定する領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）設定部と、前記で設定した基準領域（基準ＲＯＩ）及び、対象領域（対象ＲＯＩ）内での画像データに潜在する、それぞれの特徴量分布を抽出する特徴抽出部と、前記特徴抽出部にて得た基準領域（基準ＲＯＩ）の特徴量分布と、対象領域（対象ＲＯＩ）の特徴量分布と、の乖離度を状態変化度として算出する状態変化度算出部と、前記の状態変化度の大きさに対して良否・異常判定を行うための判定閾値を設定する閾値設定部と、前記の状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する良否・異常判定部と、前記の良否・異常判定部にて不良・異常と判定された場合に、当該不良・異常領域（対象ＲＯＩ）の位置を特定する不良・異常領域特定部と、前記した一連の演算処理によって得た状態変化度、良否・異常判定結果、及び、不良・異常領域特定結果等を出力する結果出力部とから構成されることを特徴とした画像データによる対象物の状態判別方法、及び、装置。

【請求項2】

前記請求項１の画像取得部において、検査・監視用画像のみを読込み、当該単一画像内において各種演算処理、及び、良否・異常判定を実施する場合と、基準画像と検査・監視用画像との異なる画像を読込み、当該複数の画像間に着目する場合と、の２種類の演算処理・判定を行うことを特徴とする画像データによる対象物の状態判別方法、及び装置。

【請求項3】

前記請求項１に記載の特徴抽出部において、前記領域設定部にて設定した基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）の縦方向の各画素を変数群とし、横方向の各画素の輝度強度をデータ群として前記縦方向変数群の相関関係を求める場合と、逆に、横方向の各画素を変数群とし、縦方向の各画素の輝度強度をデータ群として前記横方向変数群の相関関係を求める場合と、の２方向での各相関関係に基づき特徴抽出を行うことを特徴とする画像データによる対象物の状態判別方法、及び、装置。

【請求項4】

前記請求項３に記載の特徴抽出部において、基準領域（基準ＲＯＩ）の縦方向、及び、横方向の各画素変数群に対して得た、それぞれの相関係数に基づき主成分分析を実行し、その結果得られる縦方向、及び、横方向の固有ベクトルを、当該基準領域（基準ＲＯＩ）、及び対象領域（対象ＲＯＩ）の縦方向、及び、横方向の特徴量算出のための、共通値の特性係数とすることを特徴とした画像データによる対象物の状態判別方法、及び、装置。

【請求項5】

前記請求項１に記載の状態変化度算出部において、前記請求項４に記載の特徴抽出部にて算出した基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）での、縦方向、及び、横方向の特徴量分布のそれぞれの平均値と分散に基づき、基準領域（基準ＲＯＩ）と、対象領域（対象ＲＯＩ）と、の前記特徴量分布間の乖離度の大きさを当該領域間の状態変化度とすることを特徴とした画像データによる対象物の状態判別方法、及び、装置。

【請求項6】

前記請求項４に記載の良否・異常判定部において、前記請求項５にて得た状態変化度は、前記請求項４の主成分分析によって得た固有ベクトルの次数に対応した当該基準領域（基準ＲＯＩ）と、対象領域（対象ＲＯＩ）と、の乖離度の大きさであるとし、前記請求項１の閾値設定部にて設定した判定閾値との比較を行い、当該判定閾値以上であれば、不良・異常状態と判定し、当該判定閾値未満であれば、良好・正常状態と判定することを特徴とする画像データによる対象物の状態判別方法、及び、装置。

【請求項7】

前記請求項１に記載の、不良・異常領域特定部について、前記請求項６に記載の判定結果が不良・異常となった場合の当該対象ＲＯＩの位置を不良・異常領域であると、特定することを特徴とする画像データによる対象物の状態判別方法、及び、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像データによる対象物の状態判別方法、及び装置に関する。

【背景技術】

【0002】

電子・機械部品や製品等の対象物を加工・組立する製造工程で、発生する不良を検出するための外観検査において、カメラ等の撮像機器により対象物の画像データを得て良否判定を行うために、検出したい欠陥、ムラ、変形、異物の有無等の不良事象に応じたアルゴリズム、及び、判定基準を個別に開発、実用化を行っている。正常時の画像データには様々なノイズの重なり、検査対象部位位置ズレや回転などの外乱により、良否判定の結果の精度が低下する場合には、各種フィルタ処理、輝度変換、各種の特徴抽出法などが適用されている。一方、不良発生時にも不良の種類、及び、その度合いは、さまざまで多岐にわたっているために、特に多品種・少量生産の製造工程では、対象物の潜在的な微小不良を効率的、かつ高い精度で汎用的に検出することが困難であった。
また、製造プラント設備の運転異常時には、直接的に、もしくは間接的に、例えば当該機器の表面温度の異常発生を伴う場合や、当該製造プラントの排出物、例えば濃淡や色の変化などという直接的な異常発生を伴う場合など、画像データの分析による製造プラントの監視機能の開発が試みられている。しかしながら、前記した異常発生時の画像には、様々な明るさの変化や汚れの付着による外乱や位置ズレなどが含まれており、特に、屋外仕様では太陽光の変化や様々な陰影の存在があるために実用的な精度を有した異常監視が困難であった。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】：特開２０２２－１２４０７９

テルモ株式会社は、名称「コート層検査装置およびコート層検査方法」においてコート層を撮像して画像データを作成する撮像部と、演算処理を行う処理部と、を有し、処理部は、複数の異なる欠陥の型に分けられる複数の欠陥画像データおよび判定対象画像データを読み込み可能な画像取得部と、複数の欠陥画像データから複合的に特徴量を抽出して判定器を作成する判定器作成部と、判定器から数値化した異常度を検出する異常度検出部と、判定対象画像データから判定器および異常度検出部を用いて検出される異常度を閾値と比較して、コート層に欠陥があるか否かを判定する欠陥判定部と、を有するとしている。
そして、ニューラルネットワークを使用して前記複数の欠陥画像データから特徴量を抽出して判定器を作成するステップと、作成した前記判定器からサポートベクターマシンにより異常度を数値化して検出するステップと、前記複数の欠陥の特徴を複合的に検出できる前記異常度の閾値を設定するステップと、判定対象画像データを読み込むステップと、前記判定対象画像データから特徴量を抽出し、作成した前記判定器およびサポートベクターマシンにより、前記判定対象画像データの異常度を検出するステップと、前記判定対象画像データの異常度を前記閾値と比較して、前記異常度が前記閾値以上か否かにより、判定対象画像データのコート層に欠陥があるか否かを判定する。

【0004】

しかしながら、判定器での、複数の欠陥画像データから特徴量を抽出するためのニューラルネットワーク学習機能として、様々な判定対象画像データに対する汎化性能に関する配慮がなされていないので、妥当な特徴抽出が実行されているのか、という不確実性が存在する。
また、異常度を検出する異常度検出部では、判定器にて抽出した特徴量に対してサポートベクターマシンを適用して異常度を数値化するとしているが、サポートベクターマシンは本来的に二者択一、つまり正常か異常かの予測を行う手法であること、判定器からの特徴量のスケールの影響を強く受けるので、判定対象画像ごとにスケーリングを細かく行う必要があること、複雑な画像の場合には判定器での特徴量の員数が増加するので計算量が指数関数的に増加すること、に対する配慮に欠けていることから、様々な判定対象画像データに対して信頼性の高い検査機能を発揮することは困難であるという課題があった。

【0005】

【非特許文献】

【非特許文献】：「ＤｅｅｐＬｅａｒｎｉｎｇを用いた基板外観検査」（株）レクザムｐ．７５－８０画像ラボ２０１９．０１

株式会社レクザムは、プリント基板の外観検査装置「Ｓｈｅｒｌｏｃｋ－３Ｄ－１０００Ｓ」において簡単な設定で多様な検査項目に対応するために、基板の反り補正を行って部品の高さを補正した後、部品の種類を分類する際に、従来の部品対象間の類似性マッチング法によっているために、部品の色や形の差異が外乱となり、輝度変換などの前処理が必要となることから、ＤｅｅｐＬｅａｒｎｉｎｇにより部品種類の分類を行うように改善したという。そして、分類した部品に対して例えば、ＩＣ部品のリード本数や間隔を抽出してリードの浮きやハンダ量の良否判定を、閾値との比較により行っている。しかしながら、ハンダボールのような形状が一様でない異物の検出や、様々なハンダ形状の検査が困難であり、基準とする検査データはユーザ毎に千差万別で異なり、検査画像の様々な異常状態に対応できるように判定閾値を設定し直さなければならず、汎用的な検査機能を発揮できないという課題があった。

【発明の概要】

【発明が解決しようとする課題】

【0006】

対象物の欠陥、変形や色むらなどの不良状態、もしくは対象設備の劣化・異常発生から生じる機器表面の温度変化の兆候、もしくは排出物の性状などを、画像データにより検出するには、様々な種類の不良・異常状態があり、また、その異常度の程度も千差万別であるので、予め、全ての異常画像を学習することはできず、解析パラメータや判定閾値を汎用化することは困難である。しかも、予め検査・異常判定の基準を設定するための適切な異常画像が存在しない場合も多く、正常画像においても太陽光はじめ照明条件の変動による外乱下にあるために、対象物が良品・正常時の範疇であっても画像データにバラツキが存在する場合には、誤判定が生じてしまうなど実用的な検査・監視機能が発揮できない。

【0007】

これらの課題は、得られた画像データにおける各画素の輝度強度の値、もしくは、ある着目画素の輝度強度を、その周辺の輝度強度群の平均値等で置き換えるなどのフィルタ処理後の輝度強度の値に基づき、学習過程や良否・異常判定を行っていることに起因していることが多いからである。つまり、対象物が良好・正常状態にあっても太陽光、照明の変動、対象部品部位の位置ズレ、部品・部位の微妙な偏り、生産ラインでの、例えば半導体ウェハー表面の位置や傾きなどの微妙な違いによる輝度強度の微小変化などが存在している場合があり、当該対象物に不良・異常兆候が発生した場合の輝度強度には、上記した良好・正常状態の輝度強度の変化・変動が重なった、複雑な画像データとなっているからである。

【0008】

また、最近では上述した良好状態での外乱などを反映した正常画像群と、可能な限り収集した異常画像とを用いて、ＤｅｅｐＬｅａｒｎｉｎｇなどのＡＩ技術を適用した外観検査機能の高度化も行われている。そして、１個のニューロンに２次元空間の情報を学習させるために、畳み込み演算（これも２次元フィルタ）を行い、入力画像の小さな歪みやズレ、変形による影響を受けにくくするなどの工夫を施している。

【0009】

しかしながら、ＡＩ技術の学習機能を有する良否・異常判定用アルゴリズムが、未知の検査・監視用画像を誤判定しないという保証ははく、誤判定であると判明した場合に、その原因が何であるかは不明な場合が多い。さらにＡＩ技術には「過学習」という本質的な問題を抱えており、好適な追加学習を実行するための明確なガイドラインは、まだ存在しないために、未知の微小異常を安定的に検出するうえで信頼性に欠けるといった課題があった。

【0010】

本発明は、かかる課題に鑑みてなされたものであり、その目的とするところは、画像データを用いて対象物の品質や状態の良否・異常判定を行う検査工程・監視モニタリングにおいて、予めの良好・正常状態や不良・異常状態での画像データの有無によらず、また様々な画像データの輝度強度が外乱等により変動しても、未知の検査・監視用画像に対して、高い検出感度、及び、高い信頼度を発揮する、汎用的な良否判定・異常判定機能を提供することにある。

【課題を解決するための手段】

【0011】

主たる本発明は、電子・機械部品や製品等の対象物を加工・組立する製造工程で発生する不良を検出するための良否検査、もしくは、製造プラントを構成している機器設備の状態変化や異常状態から間接的に、もしくは直接的に生じる現象、例えば表面温度や排煙・排水などの異常を監視するための状態判別装置であって、検査・監視対象物の画像を撮影する撮像装置と、画像データの演算処理及び良否・異常判定を行う処理・判定部と、検査・監視の実行に必要な各種設定値を入力する設定値入力装置と、前記した処理・判定部で得られた結果を表示する表示装置と、前記した撮像装置、処理・判定部、設定値入力装置及び表示装置と、を連携させるインターフェースと、を有し、
前記の処理・判定部は、基準画像データもしくは検査・監視用画像データを読み込む画像取得部と、前記にて読み込んだ画像内に目的とする検査・監視を実行するための基準領域、及び、対象領域を設定する領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）設定部と、前記で設定した基準領域（基準ＲＯＩ）及び、対象領域（対象ＲＯＩ）内での画像データに潜在する、それぞれの特徴量分布を抽出する特徴抽出部と、前記特徴抽出部にて得た基準領域（基準ＲＯＩ）の特徴量分布と、対象領域（対象ＲＯＩ）の特徴量分布と、の乖離度を状態変化度として算出する状態変化度算出部と、前記の状態変化度の大きさに対して良否・異常判定を行うための判定閾値を設定する閾値設定部と、前記の状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する良否・異常判定部と、前記の良否・異常判定部にて不良・異常と判定された場合に、当該不良・異常領域（対象ＲＯＩ）の位置を特定する不良・異常領域特定部と、前記した一連の演算処理によって得た状態変化度、良否・異常判定結果、及び、不良・異常領域特定結果等を出力する結果出力部とから構成されることを特徴とした画像データによる対象物の状態判別方法、及び、装置である。

【発明の効果】

【0012】

上述したように本発明による画像データによる対象物の状態判別方法によれば、対象物の欠陥、変形や色むらなどの不良状態、もしくは、対象設備の状態劣化・異常状態から間接的に、もしくは直接的に生じる現象、例えば機器表面の温度変化の兆候、もしくは、当該対象設備からの排出物の性状の異常兆候などを、予め良好・正常状態や不良・異常状態での画像データが存在していなくても、また様々な画像データの輝度強度が外乱等により変動しても、未知の検査・監視用画像に対して、高い検出感度で、かつ、高い信頼度を有する、汎用的な良否判定・異常判定機能を提供できる。

【図面の簡単な説明】

【図1】本発明による画像データによる状態判別方法、及び、装置の全体構成

【図2】本発明による単一画像における状態判別方法のフローシート

【図3】本発明による単一画像における演算処理、及び、判定のブロック図

【図4】本発明による基準・対象画像における状態判別方法のフローシート

【図5】本発明による基準・対象画像における演算処理、及び、判定のブロック図

【図6】本発明による画像全体と、基準ＲＯＩ、及び、対象ＲＯＩと、の関連図

【図7】本発明による対象ＲＯＩの変数群、及び、データ群の関連図

【図8】実施例の半導体ウェハー単一画像における基準・対象ＲＯＩの設定（座標１）

【図9】実施例の半導体ウェハー単一画像における基準・対象ＲＯＩの設定（座標２）

【図10】実施例の半導体ウェハー単一画像の基準・対象ＲＯＩの輝度パターン（座標１）

【図11】実施例の半導体ウェハー単一画像の基準・対象ＲＯＩの輝度パターン（座標２）

【図12】実施例の半導体ウェハー単一画像における良否判定（座標１、２）

【図13】実施例の半導体ウェハー基準・対象画像における基準・対象ＲＯＩ＿１の設定（ケース１）

【図14】実施例の半導体ウェハー基準・対象画像における基準・対象ＲＯＩ＿２の設定（ケース２）

【図15】実施例の半導体ウェハー基準・対象画像における基準・対象ＲＯＩ＿３の設定（ケース３）

【図16】実施例の半導体ウェハー基準・対象画像における基準・対象ＲＯＩ＿１、基準・対象ＲＯＩ＿２、及び、基準・対象ＲＯＩ＿３の輝度パターン

【図17】実施例の半導体ウェハー基準・対象画像における良否判定結果（ケース１）

【図18】実施例の半導体ウェハー基準・対象画像における良否判定結果（ケース２）

【図19】実施例の半導体ウェハー基準・対象画像における良否判定結果（ケース３）

【図20】実施例の機器設備の赤外画像、及び判別対象領域（基準／正常／異常）

【図21】実施例の機器設備の赤外画像における判別対象領域内のＲＯＩ（基準ＲＯＩ／正常ＲＯＩ／異常ＲＯＩ）

【図22】実施例の機器設備の赤外画像の輝度パターン（基準ＲＯＩ）

【図23】実施例の機器設備の赤外画像の輝度パターン（対象ＲＯＩ＿１；正常）

【図24】実施例の機器設備の赤外画像の輝度パターン（対象ＲＯＩ＿２；異常）

【図25】実施例の機器設備の赤外画像の良否判定結果（対象ＲＯＩ＿１；正常）

【図26】実施例の機器設備の赤外画像の良否判定結果（対象ＲＯＩ＿２；異常）

【発明を実施するための形態】

【0013】

本明細書及び添付図面の記載により、少なくとも次のことが明らかにされる。

【0014】

電子・機械部品や製品等の対象物を加工・組立する製造工程で発生する不良を検出するための良否検査、もしくは、製造プラントを構成している機器設備の劣化状態・異常兆候から間接的に、直接的に生じる現象、例えば機器の表面温度や、当該製造プラントからの排出物である排煙・排水などの異常を監視するための状態判別装置であって、検査・監視対象物の画像を撮影する撮像装置と、演算処理及び良否・異常判定を行う処理・判定部と、検査・監視の実行に必要な各種設定値を入力する設定値入力装置と、前記した処理・判定部で得られた結果を表示する表示装置と、前記した撮像装置、処理・判定部、設定値入力装置及び表示装置と、を連携させるインターフェースと、を有し、
前記の処理・判定部は、基準画像データもしくは検査・監視用画像データを読み込む画像取得部と、前記にて読み込んだ画像内に目的とする検査・監視を実行するための基準領域、及び、対象領域を設定する領域（ＲＯＩ：ＲｅｇｉｏｎｏｆＩｎｔｅｒｅｓｔ）設定部と、前記で設定した基準領域（基準ＲＯＩ）及び、対象領域（対象ＲＯＩ）内での画像データに潜在する、それぞれの特徴量分布を抽出する特徴抽出部と、前記特徴抽出部にて得た基準領域（基準ＲＯＩ）の特徴量分布と、対象領域（対象ＲＯＩ）の特徴量分布と、の乖離度を状態変化度として算出する状態変化度算出部と、前記の状態変化度の大きさに対して良否・異常判定を行うための判定閾値を設定する閾値設定部と、前記の状態変化度と判定閾値との比較によって対象物の良否・異常の有無を判定する良否・異常判定部と、前記の良否・異常判定部にて不良・異常と判定された場合に、当該不良・異常領域（対象ＲＯＩ）の位置を特定する不良・異常領域特定部と、前記した一連の演算処理によって得た状態変化度、良否・異常判定結結果、及び、不良・異常領域特定結果等を出力する結果出力部とから構成されることを特徴とした画像データによる対象物の状態判別方法、及び、装置である。

【0015】

かかる画像データによる対象物の状態判別方法、及び、装置では、加工・組立する製造工程で発生する対象物の不良を検出するための良否検査、もしくは、製造プラントを構成している機器設備の劣化状態・異常兆候から間接的に、直接的に生じる現象、例えば表面温度や当該機器設備からの排出物である排煙・排水などの異常兆候の予兆監視において、予め良好・正常状態や不良・異常状態での画像データの有無によらず、また、様々な画像データの輝度強度が外乱等により変動しても、潜在的な不良・異常事象を感度高く、検出でき、しかも信頼性の高い良否検査、及び異常発生の予兆監視機能を提供できる。

【0016】

また、前記の画像取得部において、検査・監視用画像のみを読込み、当該単一画像内において各種演算処理、及び、良否・異常判定を実施する場合と、基準画像と検査・監視用画像との異なる画像を読込み、当該複数の画像間に着目する場合と、の２種類の演算処理・判定を行うことを特徴とする画像データによる対象物の状態判別方法、及び装置である。

【0017】

かかる場合には、当該単一の検査・監視用画像を用いて対象物の良否・異常の初見判定が可能であるので、予め、基準となる画像が存在しない場合においても良否検査、及び、異常監視機能を提供できる。

【0018】

また、前記の特徴抽出部において、前記領域設定部にて設定した基準領域（基準ＲＯＩ）、及び対象領域（対象ＲＯＩ）の縦方向の各画素を変数群とし、横方向の各画素の輝度強度をデータ群として前記縦方向変数群の相関関係を求める場合と、逆に、横方向の各画素を変数群とし、縦方向の各画素の輝度強度をデータ群として前記横方向変数群の相関関係を求める場合と、の２方向での各相関関係に基づき特徴抽出を行うことを特徴とする画像データによる対象物の状態判別方法、及び、装置である。

【0019】

かかる場合には、前記の画像取得部において読み込んだ検査・監視用画像の有する特徴として、縦方向に現れている場合か、横方向に現れている場合か、にも対応した特徴量を抽出するので、潜在的な不良・異常兆候を見逃しなく、検出する良否検査、及び、異常監視機能を提供できる。

【0020】

また、前記した特徴抽出部において、基準領域（基準ＲＯＩ）の縦方向、及び、横方向の各画素変数群に対して得た、それぞれの相関係数に基づき主成分分析を実行し、その結果得られる縦方向、及び、横方向の固有ベクトルを、当該基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）の縦方向、及び、横方向の特徴量算出のための共通の特性係数とすることを特徴とする画像データによる対象物の状態判別方法、及び、装置である。

【0021】

かかる場合には、基準領域（基準ＲＯＩ）の縦方向、及び、横方向における画像データに潜在している特性係数を算出し、当該特性係数を対象領域（対象ＲＯＩ）の縦方向、及び、横方向における特徴量分布を算出する際にも、共通項として適用することにより、微小な不良事象・異常発生の兆候を感度高く検出することが可能となる。

【0022】

また、前記の状態変化度算出部において、前記に記載の特徴抽出部にて算出した基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）での、縦方向、及び、横方向の特徴量分布のそれぞれの平均値と分散に基づき、基準領域（基準ＲＯＩ）と、対象領域（対象ＲＯＩ）と、の前記特徴量分布間の乖離度の大きさを、当該領域間の状態変化度とすることを特徴とした画像データによる対象物の状態判別方法、及び、装置である。

【0023】

かかる場合には、基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）の特徴量分布間の乖離度として、当該特徴量の平均値とバラツキとを考慮するので統計的に、信頼性の高い状態変化の度合いを推定することが可能となる。

【0024】

また、前記の良否・異常判定部において、主成分分析によって得た固有ベクトルの次数に対応した、基準領域（基準ＲＯＩ）と対象領域（対象ＲＯＩ）との特徴量分布間の乖離度の大きさを状態変化度とし、前記の閾値設定部にて設定された判定閾値との比較を行い、当該判定閾値以上の乖離度の大きさであれば不良・異常状態であると判定し、当該判定閾値未満であれば良好・正常状態であると判定することを特徴とする画像データによる対象物の状態判別方法、及び、装置である。

【0025】

かかる場合には、前記した基準領域（基準ＲＯＩ）での画像データに潜在する特性係数の次数全部に対応した乖離度の大きさ、つまり乖離度の次数分布全体について、前記の閾値設定部にて設定された判定閾値と比較するので、特異的な特徴を有する不良兆候、もしくは、異常兆候を見逃さないので、感度の高い良否判定、もしくは、異常監視が可能になる。

【0026】

また、前記に記載の不良・異常領域特定部において、前記記載の判定結果が不良・異常となった場合の当該対象領域（対象ＲＯＩ）の位置を不良・異常領域であると、特定することを特徴とする画像データによる対象物の状態判別方法、及び、装置である。

【0027】

かかる場合には、検査、もしくは監視用画像の中で、不良もしくは異常判定となった対象領域（対象ＲＯＩの位置）を特定できるので、不良発生、もしくは異常兆候の発生位置を確実に推定することが可能となる。

【0028】

（画像データによる対象物の状態判別装置の構成について）
図１に、本発明による画像データによる対象物の状態判別装置の構成を示す。
被検査物１００の画像を撮像装置２０によって撮影し、もしくは製造プラントの監視対象設備の画像を撮像装置２１によって撮影して得た画像は、状態判別装置３０内の、インターフェース４０を介して画像データとして前記状態判別装置３０へ取込み、処理・判定部５０において、様々な演算処理・判定など実行する。そして、前記の演算処理や判定に必要な設定値を、外部より設定するための設定値入力装置６０と、処理・判定結果等を表示するための表示装置７０とから成る。

【0029】

前記の処理・判定部５０は、インターフェース４０を介して画像データを取得する画像取得部５１と、当該画像データに対して演算処理・判定を実行するための領域（ＲＯＩ）を設定する領域（ＲＯＩ）設定部５２と、基準領域（基準ＲＯＩ）、及び、対象領域（対象ＲＯＩ）における特徴量を抽出・演算する特徴抽出部５３と、前記特徴抽出部５３にて算出した基準領域（基準ＲＯＩ）と対象領域（対象ＲＯＩ）での特徴量分布から、状態変化度を算出する状態変化度算出部５４と、前記した設定入力装置６０によって外部より入力される、良否・異常判定の際の判定閾値を設定する閾値設定部５５と、前記した状態変化度の大きさと、当該判定閾値と、を比較して良否、もしくは正常／異常を判定する良否・異常判定部５６と、もし不良もしくは異常と判定された場合には、当該対象領域（対象ＲＯＩ）の位置を特定する不良・異常領域特定部５７と、前記の演算処理、及び、判定経過と判定結果などを外部へ表示するための結果出力部５８とから成る。

【0030】

（基準・対象ＲＯＩにおける画像データを用いた演算内容の説明（縦軸方向））
前記した一連の演算処理の詳細な内容、つまり特徴抽出、状態変化度の算出方法について、まず、縦方向を変数群とした場合を説明する。

【0031】

表１に示すような画像輝度データの２次元分布に対して、ｉ行目変数Ｘｉｊ（ｘｉ１，・・・，ｘｉｐ）、ｋ行目変数Ｘｋｊ（ｘｋ１，・・・，ｘｋｐ）の関係に着目して、縦軸を変数とする場合を説明する。

【表1】

【0032】

輝度データ群ＸｉとＸｋとの相関係数Ｒｉｋ（ｉ，ｋ＝１，・・・，ｑ）から、画像データ（ｊ＝１，・・・，ｐ）を代表する特徴量を算出する。
（１）まず、ｉ行、ｋ行の各輝度データＸｉｊ、Ｘｋｊの平均値μｉ、μｋ、及び、標準偏差σｉ、σｋを求める。
（２）次に、ＸｉｊとＸｋｊとの相関係数Ｒｉｋを算出する。
Ｘｉｊ，Ｘｋｊの各分散、及び、共分散は、以下の▲１▼、▲２▼、▲３▼から求める。

そして、▲１▼、▲２▼、▲３▼から、相関係数は、（１）式によって計算される。

（３）この相関行列^（Ｖ）Ｒ_ｉｋに関する固有値問題（２）式を解くことによって、固有値^（Ｖ）λ^（ｍ）、及び、固有ベクトル^（Ｖ）Ｗｉ^（ｍ）を求める。

ｍは固有値の次数を示し、左上添え（Ｖ）は、縦軸変数であることを示す。
（４）特徴量^（Ｖ）Ｚ^（ｍ）ｊ（ｍ＝１，・・・，ｑ、ｊ＝１，・・・，ｐ）を算出するために、輝度データｘｉｊを（３）式で標準化する。

なお、固有ベクトル^（Ｖ）Ｗｉ^（ｍ）と、標準化した輝度データＸ^～ｉｊとの積和を、特徴量^（Ｖ）Ｚ^（ｍ）ｊと定義する。

【0033】

（５）上記した（１）式で求めた相関行列^（Ｖ）Ｒｉｋを下記に示す。

【表2】

（６）特徴量^（Ｖ）Ｚ^（ｍ）ｉの算出
^（Ｖ）Ｗ^（ｍ）ｉと輝度データ（標準化後）Ｘ^～ｉｊとのベクトル積によって、次数ｍ毎の、横軸画素ｊに対する特徴量^（Ｖ）Ｚ^（ｍ）ｊが求まる。

【表3】

【0034】

以上のベクトル積の結果から、各特徴量の成分は以下の表４となる。

【表4】

【0035】

次に、検査用・監視用画像の不良・異常を検出するための、縦方向での判定指標について説明する。つまり、図２の基準ＲＯＩと対象ＲＯＩとの状態変化度ＤＩ（ｍ）＿ｎの算出（Ｓ１６）の詳細を説明する。「固有ベクトル」（特性係数）こそが対象ＲＯＩから感度の高い特徴抽出する際の拠り所であり、基準（正常）ＲＯＩで得た固有ベクトルを共用して、基準（正常）時と検査・監視時と、での画像データに対する各特徴量分布を求め、それらの特徴量分布間の乖離度を対象物の良否、もしくは、正常／異常状態を判定する指標とするものである。

【0036】

基準時と検査・監視時での、各特徴量^（Ｖ０）Ｚ^（ｍ）ｊと^（Ｖｔ）Ｚ^（ｍ）ｊ（次数ｍ）と、を算出する。
▲１▼基準ＲＯＩ＿０で得た固有ベクトル^（Ｖ０）Ｗ^（ｍ）ｉと、標準化輝度データ^（０）Ｘ^～ｉｊとの積和を、基準特徴量^（０）Ｚ^（ｍ）ｊ

▲２▼検査・監視ＲＯＩ＿ｎの標準化輝度データ^（ｎ）Ｘ^～ｉｊと基準時固有ベクトル^（Ｖ０）Ｗ^（ｍ） _ｉとの積和を、検査・監視時の特徴量^（Ｖｎ）Ｚ^（ｍ）ｊ

なお、検査・監視画像ＲＯＩ＿ｎでの輝度標準化では、基準ＲＯＩ＿０での平均値μｉと標準偏差σｉを用いて^（ｎ）Ｘ^～ｉｊを算出する。

【0037】

次に、基準ＲＯＩ＿０と検査・監視時ＲＯＩ＿ｎにおける各特徴量の、次数ｍ毎の縦軸乖離度（^（Ｖ）ＤＩ^（ｍ）値）を以下の（７）式と定義する。

【0038】

次に、縦軸乖離度（^（Ｖ）ＤＩ^（ｍ）値）の具体的な計算を説明する。
表５に示す、基準ＲＯＩ＿０と検査・監視ＲＯＩ＿ｎにおいて得られた特徴量行列から、以下の手順によって（７）式で示す２つの特徴量分布の縦軸乖離度
^（Ｖ）ＤＩ^（ｍ）値を計算する。
▲１▼基準ＲＯＩ＿０での特徴量^（Ｖ０）Ｚ^（ｍ）ｊの平均値^（Ｖ０）Ｚ^（ｍ） _ａｖｅ、分散^（Ｖ０）Ｚ^（ｍ） _σは、以下の（８）、（９）式で算出する。

▲２▼検査・監視時ＲＯＩ＿ｎでの特徴量も同様に、平均値は（１０）式、分散は（１１）式で算出する。

なお、加算Σはｊ＝１，・・・，ｐについて行う。

【0039】

次数ｍにおける基準ＲＯＩ＿０の特徴量^（Ｖ０）Ｚ^（ｍ）ｊと、検査・監視ＲＯＩ＿ｎの特徴量^（Ｖｎ）Ｚ^（ｍ）ｊと、の乖離度^（Ｖ）ＤＩ^（ｍ）値は、上記した（７）式の定義に基づき、上記（８）式～（１１）式を用いて、以下の（１２）式によって計算する。

ここで、ＡＢＳ：絶対値を、ＳＱＲＴ：平方根を示す。

【表5】

【0040】

最後に、検査・監視時ＲＯＩ＿ｎの良否・異常判定について説明する。
（１２）式で得た、各次数ｍでの縦軸乖離度^（Ｖ）ＤＩ^（ｍ）値の中で、最大値となる^（Ｖ）ＤＩｍａｘ（次数ｍ^（Ｖ））が、設定した判定閾値未満であるか、判定閾値以上であるか、により当該検査・監視時ＲＯＩ＿ｎが縦軸方向において、良好であるか、不良であるか、もしくは、正常であるか、異常であるかを判定する。
なお、当該説明は、後述する図２のＳ１９，Ｓ２０，Ｓ２１に対応している。

【0041】

（基準・対象ＲＯＩにおける画像データ取得からの演算内容の説明（横軸））
一方、表６に示す、横軸を変数Ｙ１，・・・，Ｙｐ（ｐ個）とみなし、縦軸をデータ（ｑ個）とした場合を説明する。演算内容は前記した縦軸方向を変数群とした場合と同様である。

【表6】

輝度データ群ＹｊとＹｌとの相関係数^（Ｈ）Ｒｊｌ（ｊ，ｌ＝１，・・・，ｐ）から、画像データ（ｉ＝１，・・，ｑ）を代表する特徴量を算出する。
（１）ｉ＝１，・・・，ｑについて各輝度データＹｊ、Ｙｌの平均値μｊ、μｌ、及び、標準偏差σｊ、σｌを求める。

（２）次に、ＹｊとＹｌとの相関係数^（Ｈ）Ｒｊｌを算出する。
Ｙｊ，Ｙｌの各分散、及び、共分散は、以下の▲１▼、▲２▼、▲３▼から求められる。

そして、▲１▼、▲２▼、▲３▼から、相関係数は（１５）式によって計算される。

（３）この相関行列Ｒ_ｊｌに関する固有値問題を解き、固有値^（Ｈ）λ^（ｍ）、固有ベクトル^（Ｈ）Ｗｊ^（ｍ）を求める。

ｍは、固有値の次数を示す。左上添え（Ｈ）は、横軸変数を示す。
（４）特徴量^（Ｈ）Ｚ^（ｍ）ｉ（ｍ＝１，・・・，ｑ、ｉ＝１，・・・，ｑ）を算出するために、輝度データｙｉｊを（１７）式にて標準化する。

ここで、固有ベクトル^（Ｈ）Ｗｊ^（ｍ）と、標準化した輝度データＹ^～ｉｊとの積和を、特徴量^（Ｈ）Ｚ^（ｍ）ｉと定義する。

（５）具体的な各特徴量の算出に関する書下し
上記した（１５）式で求めた相関行列^（Ｈ）Ｒｊｌを下記表７に示す。

【表7】

（６）特徴量^（Ｈ）Ｚ^（ｍ）ｉの算出
上記の（１８）式の右辺を書き下し、具体的に^ＨＷ^（ｍ）ｉと輝度データ（標準化後）Ｙ^～ｉｊとのベクトル積を計算することによって、次数ｍ毎の、縦軸画素ｉに対する特徴量^（Ｈ）Ｚ^（ｍ）ｉが求まる。

【表8】

以上のベクトル積の結果から、各特徴量の成分は表９と表示される。

【表9】

【0042】

検査・監視画像内の対象ＲＯＩでの不良・異常検出用の判定指標（横軸）
（１）基準ＲＯＩ＿０と検査・監視時ＲＯＩ＿ｎでの各特徴量^（Ｈ０）Ｚ^（ｍ）ｉと^（Ｈｎ）Ｚ^（ｍ）ｉと、を以下の（１９）、（２０）式にて算出する。
▲１▼基準画像０で得た固有ベクトル^（Ｈ０）Ｗ^（ｍ）ｊと標準化輝度データ^（０）Ｙ^～ｉｊとの積和を基準ＲＯＩ＿０の特徴量^（Ｈ０）Ｚ^（ｍ）ｉ

▲３▼検査・監視時ＲＯＩ＿ｎの標準化輝度データ^（ｎ）Ｙ^～ｉｊと、基準固有ベクトル^（Ｈ０）Ｗ^（ｍ） _ｉとの積和を検査特徴量^（Ｈｎ）Ｚ^（ｍ）ｉ

なお、検査画像での輝度標準化では、基準画像での平均値μｊと分散σｊを用いて^（ｎ）Ｙ^～ｉｊを算出する。
（２）２つの画像ＲＯＩ＿０，ＲＯＩ＿ｎにおける各特徴量の、次数ｍ毎の横軸乖離度（^（Ｈ）ＤＩ^（ｍ）値）は、以下の（２１）式で定義する。

（３）横軸乖離度（^（Ｈ）ＤＩ^（ｍ）値）の具体的な計算
表１０に示す、基準ＲＯＩ＿０と検査・監視時ＲＯＩ＿ｎにおいて得られた特徴量行列から、以下の手順によって２つの特徴量分布の横軸乖離度^（Ｈ）ＤＩ^（ｍ）値を計算する。
▲１▼基準画像での特徴量^（Ｈ０）Ｚ^（ｍ）ｉの平均値^（Ｈ０）Ｚ^（ｍ） _ａｖｅ、分散^（Ｈ０）Ｚ^（ｍ） _σは、以下の（２２）、（２３）式で算出する。

▲２▼検査・監視時ＲＯＩ＿ｎでの特徴量^（Ｈｎ）Ｚ^（ｍ）ｉについても同様に、平均値（２４）式、分散（２５）式で算出する。

なお、加算Σはｉ＝１，・・・，ｑについて行う。
▲３▼横軸乖離度^（Ｈ）ＤＩ^（ｍ）値の計算
次数ｍにおける基準ＲＯＩ＿０の特徴量^（Ｈ０）Ｚ^（ｍ）ｉと、検査時ＲＯＩ＿ｎの特徴量^（Ｈｎ）Ｚ^（ｍ）ｉとの乖離度^（Ｈ）ＤＩ^（ｍ）値は、上記（２２）式～（２５）式を用いて以下の（２６）式によって計算する。

ここで、ＡＢＳ：絶対値を、ＳＱＲＴ：平方根を示す。

【表10】

（４）検査・監視時ＲＯＩ＿ｎの良否・異常判定（横軸上）
（２６）式で得た、各次数ｍでの縦軸乖離度^（Ｈ）ＤＩ^（ｍ）値の中で、最大値となる^（Ｈ）ＤＩｍａｘ（次数ｍ^（Ｈ））が、設定した判定閾値未満であるか、判定閾値以上であるか、により当該検査・監視時ＲＯＩ＿ｎが縦軸方向で良好か、不良か、もしくは正常か、異常かを判定する。なお、当該説明は、後述する図２のＳ１９，Ｓ２０，Ｓ２１に対応している。

【0043】

（単一の画像内において良否・異常判定を行う場合の全体フローシート）
図２に、単一画像内で、設定した対象領域（対象ＲＯＩ）の良否、もしくは、正常／異常を判定し、不良・異常の領域（位置）を特定するための演算処理、及び、判定についてのフローシートを示す。

【0044】

検査用、もしくは監視用の画像データを読み込み（Ｓ１０）、そして、画像には判定に無関係な領域が含まれている場合があるので、予め、判定対象領域の設定Ｓ１１を行い、基準ＲＯＩ（ここでは、ある位置で固定）の座標（ｘ０，ｙ０）を設定する（Ｓ１２）。

【0045】

次に、基準ＲＯＩ、及び、対象ＲＯＩの寸法（ｘ＝ｐ個、ｙ＝ｑ個）を設定する（Ｓ１３）。そして、対象ＲＯＩをｎ＝１から一連の演算を繰り返して移動させてゆき、対象ＲＯＩの総数Ｎ個に至ると当該演算を終了する（Ｓ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８）。

【0046】

図６には、単一画像１において、ＲＯＩの座標設定のための原点４を左上に置き、基準ＲＯＩ～２を固定し、対象ＲＯＩを対象ＲＯＩ＿１～３から順次移動させて対象ＲＯＩ＿Ｎ～５まで、基準ＲＯＩと、対象ＲＯＩ＿ｎ～６（座標（ｘｎ，ｙｎ））と、の前記した演算処理を実行する際の位置関係を示し、図７には、対象ＲＯＩ＿ｎの変数ｑ個～１と、データｐ個～２と、の関連を示している。

【0047】

（単一画像データに対する縦方向、及び、横方向での演算処理フローチャート）
上記にて説明した基準・対象ＲＯＩにおける画像データ取得からの状態変化度までの演算内容のブロック図を、縦方向及び横方向について図３に示す。

【0048】

検査・監視用画像の基準ＲＯＩ（縦軸画素数ｑ個、横軸画素数ｐ個）を取り込み１、縦軸方向での輝度値の平均値と分散を算出２し、同様に、横軸方向での輝度値の平均値と分散を算出３する。

【0049】

縦軸方向を変数群とし、横軸方向の画素の輝度値をデータ群として相関係数群を算出４し、次に、横軸方向を変数群とし、縦軸方向の画素の輝度値をデータ群として相関係数群を算出５する。

【0050】

前記にて算出した縦軸方向、及び、横軸方向での相関係数群を用いて固有値問題を解くことによって、縦軸方向での次数毎の固有ベクトル６、横軸方向での次数毎の固有ベクトル７を得る。当該固有ベクトルが、基準ＲＯＩに潜在する縦方向、横方向での特性係数に相当するものである。

【0051】

当該基準ＲＯＩの縦軸方向変数については、横軸の輝度データを、当該平均値と標準偏差によって、標準化８する。同様に、横軸方向変数については、縦軸の輝度データを、当該平均値と標準偏差によって標準化９する。

【0052】

縦軸方向での次数毎の固有ベクトルと、前記の標準化した横軸輝度データと、の積和演算することによって、縦軸方向での基準特徴量を算出１０する。同様に、横軸方向での次数毎の固有ベクトルと、前記の標準化した縦軸輝度データと、の積和演算によって、横軸方向での基準特徴量を算出１１する。

【0053】

以上に記載した内容は基準ＲＯＩにおける基準特徴量の算出についてであり、同様の手順にて、同一画像内に設定した対象ＲＯＩについて輝度データの平均値、標準偏差１３，１４を求め、標準化１５，１６する。

【0054】

前記した基準ＲＯＩで求めた固有ベクトルと、当該対象ＲＯＩでの標準化した輝度データと、の積和演算により縦軸方向、及び、横軸方向での対象特徴量を算出１７、１８する。

【0055】

前記の基準ＲＯＩでの基準特徴量１０、１１と、当該対象特徴量との、縦軸方向での乖離度（ＤＩ値）１９、及び、横軸方向での乖離度（ＤＩ値）２０を算出する。以上にて、図３に示す特徴量算出、及び、乖離度の演算手順の説明を完了する。以上にて、同一画像内での良否判定・異常監視についての説明を終了する。

【0056】

（基準・対象の２種画像間における良否・異常判定を行う全体フローシート）
図４に、基準画像と、検査・監視用画像と、の２種類の画像において、設定した対象領域（対象ＲＯＩ）の良否・正常／異常を判定し、不良・異常の領域を特定するための演算処理、及び、判定についてのフローシートを示す。

【0057】

基準画像データの読込みＳ１０、検査・監視用画像データの読込み（Ｓ１１）、そして、当該２種の画像群には、判定に無関係な領域が含まれている場合があるので、予め、判定対象領域の設定Ｓ１２を行い、基準ＲＯＩの座標、及び、対象ＲＯＩの座標を設定Ｓ１３、Ｓ１４する。

【0058】

次に、基準ＲＯＩ、及び、対象ＲＯＩの寸法（ｘ＝ｐ個、ｙ＝ｑ個）を設定する（Ｓ１５）。そして、基準ＲＯＩ、及び、対象ＲＯＩをｎ＝１から一連の演算を繰り返して移動させてゆき、基準ＲＯＩと対象ＲＯＩと、の対の総数がＮ個に至ると当該演算を終了する（Ｓ１６，Ｓ１７，Ｓ１８，Ｓ１９，Ｓ２０）。

【0059】

（基準・対象の２種画像における縦方向、及び、横方向での演算処理フローチャート）
上記にて説明した基準・対象ＲＯＩにおける画像データ取得からの状態変化度までの演算内容のブロック図を、縦方向及び横方向について図５に示す。

【0060】

検査・監視用画像の基準ＲＯＩ（縦画素数ｑ個、横画素数ｐ個）を取り込み１、縦方向での輝度値の平均値と分散を算出２し、同様に、横方向での輝度値の平均値と分散を算出３する。

【0061】

縦方向を変数群とし、横方向の画素の輝度値をデータ群として相関係数群を算出４し、次に、横方向を変数群とし、縦方向の画素の輝度値をデータ群として相関係数群を算出５する。

【0062】

前記にて算出した縦方向、及び、横方向での相関係数群を用いて固有値問題を解くことによって、縦方向での次数毎の固有ベクトル６、横方向での次数毎の固有ベクトル７を得る。当該固有ベクトルが、基準ＲＯＩに潜在する縦方向、横方向での特性係数に相当するものである。

【0063】

当該基準ＲＯＩの縦軸方向変数については、横軸の輝度データを、当該平均値と標準偏差によって、標準化８する。同様に、横方向変数については、縦軸の輝度データを、当該平均値と標準偏差によって標準化９する。

【0064】

縦方向での次数毎の固有ベクトルと、前記の標準化した横軸輝度データと、の積和演算することによって、縦方向での基準特徴量を算出１０する。
同様に、横方向での次数毎の固有ベクトルと、前記の標準化した縦軸輝度データと、の積和演算によって、横方向での基準特徴量を算出１１する。

【0065】

以上に記載した内容は基準ＲＯＩにおける基準特徴量の算出についてであり、同様の手順にて、検査・監視用画像内に設定した対象ＲＯＩについて輝度データの平均値、標準偏差１３，１４を求め、標準化１５，１６する。

【0066】

前記した基準ＲＯＩで求めた固有ベクトルと、当該対象ＲＯＩでの標準化した輝度データと、の積和演算により縦方向、及び、横方向での対象特徴量を算出１７、１８する。

【0067】

前記の基準ＲＯＩでの基準特徴量１０、１１と、当該対象特徴量との、縦方向での乖離度（ＤＩ値）１９、及び、横方向での乖離度（ＤＩ値）２０を算出する。以上にて、図５に示す基準画像・対象画像の２種の画像間において、縦方向、及び、横方向に対する特徴量算出、及び、特徴量乖離度（ＤＩ値）の演算手順の説明を完了する。

【実施例0068】

（半導体ウェハー表面の微小欠陥を検出した実施例その１：単一画像の例）
まず、単一画像内での不良・異常の検出についての実施例を説明する。
図８も、左側と右側の画像１は、同一のもので、いずれも半導体ウェハーの表面が不良状態である画像である。ＲＯＩの設定が分かりやすいように左と右に分けて表示している。なお、当該ＲＯＩの寸法は、（ｘ＝２５０画素、ｙ＝２５０画素）とした。

【0069】

基準ＲＯＩ＿１の左上端の座標は（ｘ０，ｙ０）とし、これを座標１とする。対象ＲＯＩは対象ＲＯＩ＿２，＿３，＿４，＿５，＿６，＿７、及び、対象ＲＯＩ＿８の７個を設定した場合の、各ＲＯＩの各画素の強度データである、２次元輝度パターンを図１０に示す。横軸はＹ方向の変数群を、斜め奥の方向はＸ方向のデータ群を、縦軸に輝度強度を取って３次元表示したものである。その１が基準ＲＯＩでの輝度パターンで、順次、その２が対象ＲＯＩ＿２を示し、以降、その８が対象ＲＯＩ＿８での輝度パターンを示している。

【0070】

不良状態である対象物の、画像１における基準ＲＯＩ＿１から対象ＲＯＩ＿８までの輝度パターンには、対象ＲＯＩ＿６（図１０の、その６）には少しの変化が観察されるものの、ほとんどのＲＯＩでは差異が見られない。

【0071】

そこで、基準ＲＯＩ＿１を基準データとして、対象ＲＯＩ＿２、～対象ＲＯＩ＿８を対象データとして、本発明の図３に示す、同一画像に対する検査・監視用フローシートに沿って解析を実行して得た基準ＲＯＩ＿１との乖離度の中の最大ＤＩ値を縦軸にとり、各対象ＲＯＩの番号を横軸にとって図１２の座標１に相当する実線で示す。

【0072】

その結果、全ての対象ＲＯＩにおいて、最大ＤＩ値は、判定閾値の１．０を超えており、不良と判定される。つまり、対象物の半導体ウェハー表面が不良状態であっても、図１０のように輝度パターンとして、各画素の輝度強度の差異としては観察されない場合でも、本発明の状態判別方法によれば不良検知が可能であることが分かる。なお、判定閾値を１．０に設定した根拠については後述する。

【0073】

次に、基準ＲＯＩ＿１の座標を変更して、５００画素分Ｙ方向（画像の下方向）に下げた、座標２（ｘ０，ｙ５００）における不良検知の解析・判定試験を実施した。図９には、同じく画像１に対して基準ＲＯＩ＿１と、対象ＲＯＩ＿２，＿３，＿４，＿５，＿６，＿７及び、対象ＲＯＩ＿８の７個の対象ＲＯＩを示す。
座標２に対する基準ＲＯＩ＿１（その１）と対象ＲＯＩ＿２（その２）～以降、対象ＲＯＩ＿８（その８）までの輝度パターンを図１１に示す。この場合には、座標１での輝度パターンとは異なり、基準ＲＯＩ、対象ＲＯＩとも多くのピーク群が観察された。

【0074】

座標２では、一見すると多くのピーク群が発生しているから、座標１の輝度パターンが全てのＲＯＩで正常状態の輝度強度であれば、当該ピーク群の発生を検出することが可能となる。しかしながら、座標１においても、座標２においても、対象物の表面状態は不良であることから、基準ＲＯＩと、全ての対象ＲＯＩの輝度パターンのピーク群の有無、そのものは、状態判別を行ううえで有用な情報とはならないことが分かる。

【0075】

そこで、本発明の状態判別方法を適用して得た、対象ＲＯＩ＿２～対象ＲＯＩ＿８の最大ＤＩ値を図１２の、座標２に対応した点線で示している。その結果、座標１の場合と同様、全ての対象ＲＯＩで判定閾値１．０を超えており、不良と判定できた。

【0076】

以上の記述した、不良状態での単一画像において、ある基準ＲＯＩを設定し、対象ＲＯＩの特徴量の乖離度を判定指標とすることによって、当該基準ＲＯＩが不良状態に対応する場合においても、不良検知が可能となる。この背景としては、対象物の表面に、何かしらの不良状態が生じている場合には、複数の領域間の特徴量分布が大いに変動していることが推測される。

【0077】

（半導体ウェハー表面の微小欠陥を検出した実施例その２：２種の画像の例）
次に、ある対象物が軽微な不良状態にある場合の画像を基準画像とし、中程度の不良状態にある画像を検査・監視用画像を対象画像とした場合の状態判別についての実施例その２を取り上げて説明する。

【0078】

図１３には、軽微な不良状態にある半導体ウェハーの画像を左側に、基準画像として表示し、中程度の不良状態にある画像を、右側に対象画像として示す。そして、基準画像、対象画像とも当該ウェハーの背景部にあたる領域で輝度強度がほぼ均一な部分に、基準ＲＯＩ＿１、対象ＲＯＩ＿１を設定して、ケース（１）とした。なお、各ＲＯＩの寸法は、ｘ＝２００画素、ｙ＝２００画素とした。

【0079】

図１４には、図１３と同様に、軽微な不良状態にある半導体ウェハーの画像を左側に、基準画像として表示し、中程度の不良状態にある画像を、右側に対象画像として示す。そして、基準画像、対象画像とも当該ウェハーの不良部分にあたる領域に、基準ＲＯＩ＿２、対象ＲＯＩ＿２を設定して、ケース（２）とした。

【0080】

図１５には、図１３と同様に、軽微な不良状態にある半導体ウェハーの画像を左側に、基準画像として表示し、中程度の不良状態にある画像を、右側に対象画像として示す。ただし、基準画像、対象画像とも当該ウェハーの図１４の場合とは異なり、うっすらとした汚れの程度が微妙に異なる不良画像を取り上げた。そして、不良部分にあたる領域に、基準ＲＯＩ＿３、対象ＲＯＩ＿３を設定して、ケース（３）とした。

【0081】

前記のケース（１）（図１３）、ケース（２）（図１４）、及び、ケース（３）（図１５）に示している基準ＲＯＩ＿１と対象ＲＯＩ＿１、基準ＲＯＩ＿２と対象ＲＯＩ＿２、及び、基準ＲＯＩ＿３と対象ＲＯＩ＿３における２次元輝度パターンを図１６に示す。

【0082】

ケース（１）では、基準ＲＯＩ＿１での輝度強度は、対象ＲＯＩ＿１の輝度強度と比較して、ほとんどの領域では輝度強度に顕著な差異は認められない。ただ、Ｘ方向の大きい領域、つまり基準・対象ＲＯＩ＿１の右側部分にて若干のピーク群が観察され、しかも軽微な不良状態である基準ＲＯＩ＿１の方が、中程度の不良状態にある対象ＲＯＩ＿１のピーク群の強さよりも大きいことは、不良事象の進展の傾向とは逆行している。

【0083】

ケース（２）では、基準ＲＯＩ＿２、対象ＲＯＩ＿２とも輝度強度に多くのピーク群が観測され、当該輝度強度の大きさでは基準ＲＯＩ＿２と対象ＲＯＩ＿２との識別は困難であり、軽微な不良状態と中程度の不良状態との判別は困難であることが分かる。

【0084】

ケース（３）では、基準ＲＯＩ＿３よりも対象ＲＯＩ＿３の方が、輝度強度が大きい領域が多く現れピーク群も同様であることは、対象ＲＯＩ＿３が中程度の不良状態であることを反映してはいる。

【0085】

そこで、本発明の状態判別法を適用した結果を、ケース（１）については図１７に、ケース（２）については図１８に、ケース（３）については図１９に示す。いずれも、縦軸はＤＩ値の次数分布で、Ｙ方向を変数群とした場合である。

【0086】

図１７では、ケース（１）；基準画像、対象画像とも当該ウェハーの背景部にあたる領域で輝度強度がほぼ均一な部分に、基準ＲＯＩ＿１、対象ＲＯＩ＿１を設定した場合であり、ＤＩ値の次数分布は、次数全てにおいて最大ＤＩ値で０．２２であった。そこで、判定閾値を１．０と設定すれば安定的に２つの状態間に差異はない、との判定が可能になる。

【0087】

つまり、照明などの外乱が生じた場合に背景部分の輝度強度の変化に対して、ＤＩ値の次数分布がどれくらい影響を受けるかどうかによって、不良状態、もしくは異常状態の検出における、判定閾値を設定することなる。

【0088】

図１８には、ケース（２）；軽微な不良状態の基準ＲＯＩ＿２に対して、中程度の不良状態である対象ＲＯＩ＿２のＤＩ値次数分布を示す。図１６のケース（２）に示すように、観察された基準ＲＯＩ＿２と対象ＲＯＩ＿２とのピーク群の差異から、当該半導体ウェハー表面状態の変化程度を、判別することは困難であったが、図１８のＤＩ値次数分布によれば明らかな状態変化を判別することが可能となった。なお、最大ＤＩ値は１．４３となり判定閾値１．０を超えている。

【0089】

図１９には、ケース（３）；軽微な不良状態の基準ＲＯＩ＿３に対して、中程度の不良状態である対象ＲＯＩ＿３のＤＩ値次数分布を示す。図１６のケース（３）に示すように、対象ＲＯＩ＿３の方が、やや輝度強度のピーク群が多く不良程度の進展の傾向は現れており、このことはＤＩ値次数分布でも明確に把握することができ、ケース（２）の場合と比較しても多くの次数で判定閾値１．０を越えており、最大ＤＩ値は、１．７２であった。

【0090】

（赤外線カメラを用いた機器表面の赤外線画像による異常検知の実施例）
次に、機器設備の監視における実施例として、表面温度を赤外線カメラで撮影し、当該赤外画像に対して本発明の状態判別法を適用した場合を述べる。

【0091】

図２０では、図２０＿１に正常状態における機械設備の赤外画像を、図２０＿２に周囲環境の温度変動が生じた外乱が重なった場合の赤外画像を、図２０＿３に機器設備に異常が発生して表面温度に変化が現れた場合の赤外画像を示している。

【0092】

図２１には、上記した図２０の各赤外画像の中から、機器設備の異常が発生する恐れがある領域を判別対象領域として抽出した画像、及び、白枠で囲んだＲＯＩを示す。図２１＿１は基準ＲＯＩを、図２１＿２は対象ＲＯＩ＿１を、図２１＿３は対象ＲＯＩ＿２を設定した場合である。

【0093】

図２２に、基準ＲＯＩ（基準／正常状態）内の赤外画像の２次元輝度パターンを、図２３に、外乱下での機器設備は正常状態での同２次元輝度パターンを、図２４に、機器設備の異常発生による赤外カメラによる表面温度の２次元輝度パターンを示す。

【0094】

これらの図２２～図２４を観察した結果、Ｙ方向の輝度強度が最大の諧調２５６にある部分が多く、外乱の発生、及び、状態変化に起因する輝度強度は、埋もれていることが分かる。したがって、従来の各種フィルタ処理やＡＩ等による学習では、前記した３種類の状態を識別することは困難である。

【0095】

そこで、本発明の状態判別法を適用した結果として、対象ＲＯＩ＿１（外乱下での正常状態）については図２５に、機器異常の発生時での対象ＲＯＩ＿２については図２６に示す。外乱時においても、図２５に示すように、全ての次数に対してＤＩ値（Ｙ方向）が判定閾値１．０未満であり、最大ＤＩ値は０．８６であった。