特許 7388684 撮像情報分類システム、撮像情報分類方法、撮像情報分類プログラム及び表面判別装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-20

(45)【発行日】2023-11-29

(54)【発明の名称】撮像情報分類システム、撮像情報分類方法、撮像情報分類プログラム及び表面判別装置

(51)【国際特許分類】

   G01N 21/88 20060101AFI20231121BHJP

   G06T 7/00 20170101ALI20231121BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610

【請求項の数】 6

(21)【出願番号】P 2019134121

(22)【出願日】2019-07-19

(65)【公開番号】P2021018149

(43)【公開日】2021-02-15

【審査請求日】2022-06-30

【前置審査】

(73)【特許権者】

【識別番号】000177058

【氏名又は名称】三友工業株式会社

(74)【代理人】

【識別番号】100158067

【弁理士】

【氏名又は名称】江口 基

(72)【発明者】

【氏名】東谷 力雄

(72)【発明者】

【氏名】福原 良雄

(72)【発明者】

【氏名】今田 宗利

(72)【発明者】

【氏名】木村 彰吾

(72)【発明者】

【氏名】大濱 遼太

【審査官】嶋田 行志

(56)【参考文献】

【文献】特開２００４－２９４２０２（ＪＰ，Ａ）

【文献】特開２０１７－２１５２７７（ＪＰ，Ａ）

【文献】特開２００８－１９０８７２（ＪＰ，Ａ）

【文献】国際公開第２００５／０７５９６１（ＷＯ，Ａ１）

【文献】特開２０１２－１１８６９８（ＪＰ，Ａ）

【文献】特開２０１７－０９１０４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／００４３８０５（ＵＳ，Ａ１）

【文献】国際公開第２０１３／１６１３８４（ＷＯ，Ａ１）

【文献】特開２００８－２９２２５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－Ｇ０１Ｎ ２１／９５８

Ｇ０６Ｔ １／００－Ｇ０６Ｔ ７／９０

Ｇ０１Ｂ １１／００－Ｇ０１Ｂ １１／３０

Ｇ０１Ｎ ２３／００－Ｇ０１Ｎ ２３／２２７６

ＪＳＴＰｌｕｓ／ＪＳＴ７５８０／ＪＳＴＣｈｉｎａ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象物の表面を撮像した撮像情報を入力する入力手段と、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出手段と、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出手段と、
前記コントラスト値算出手段が算出した前記コントラスト値と、前記エッジ強度値算出
手段が算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮
像情報とに分類する分類手段と、
を備え、
前記分類手段は、式（１）で表される欠陥評価値の値が予め定められた閾値以上の場合
に、前記撮像情報を正常撮像情報に分類し、前記欠陥評価値の値が予め定められた閾値未
満の場合に、前記撮像情報を異常撮像情報に分類することを特徴とする、
撮像情報分類システム。
Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（１）
（ただし、Ｖは欠陥評価値、Ｃはコントラスト値、Ｆはエッジ強度値、ｍ及びｎは
１以上５以下の整数とする。）

【請求項2】

請求項１に記載の撮像情報分類システムにおいて、
前記所定領域の周辺部の平均輝度と欠陥部の最大輝度との差の絶対値、又は、前記所定
領域の周辺部の平均輝度と欠陥部の最小輝度との差の絶対値のいずれか大きい方を欠陥輝
度差として算出する欠陥輝度差算出手段と、
前記分類手段で異常撮像情報に分類された撮像情報における前記欠陥輝度差が、予め定
められた所定の閾値以上の場合に当該撮像情報を正常撮像情報に分類し、予め定められた
所定の閾値未満の場合に当該撮像情報を異常撮像情報に分類する二次分類手段と、
を備えたことを特徴とする、
撮像情報分類システム。

【請求項3】

請求項２に記載の撮像情報分類システムにおいて、
前記二次分類手段で異常撮像情報に分類された撮像情報から、１又は複数の欠陥領域を
抽出する欠陥領域抽出手段と、
前記欠陥領域抽出手段で抽出された前記欠陥領域の面積、フェレ径、回転フェレ径、周
囲長、円形度の少なくとも一つを算出する欠陥状態算出手段と、
を備えたことを特徴とする、
撮像情報分類システム。

【請求項4】

対象物の表面を撮像し、撮像情報を出力する撮像手段と、
請求項１から３のいずれか１項に記載された撮像情報分類システムで分類された撮像情
報に基づいて機械学習が行われた人工知能を用いて前記撮像情報に含まれる対象物の表面
状態が正常であるか異常であるかを判定する判定手段と、
を備えたことを特徴とする、
表面判別装置。

【請求項5】

対象物の表面を撮像した撮像情報を入力する入力ステップと、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出ステップと、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出ステップと、
前記コントラスト値算出ステップで算出した前記コントラスト値と、前記エッジ強度値
算出ステップに基づいて算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常
撮像情報と異常撮像情報とに分類する分類ステップと、
を備え、
前記分類ステップは、式（１）で表される欠陥評価値の値が予め定められた閾値以上の場合に、前記撮像情報を正常撮像情報に分類し、前記欠陥評価値の値が予め定められた閾値未満の場合に、前記撮像情報を異常撮像情報に分類することを特徴とする、
撮像情報分類方法。
Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（１）
（ただし、Ｖは欠陥評価値、Ｃはコントラスト値、Ｆはエッジ強度値、ｍ及びｎは
１以上５以下の整数とする。）

【請求項6】

請求項５に記載の各ステップを１又は２以上のコンピュータに実行させる撮像情報分類
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像情報分類システム、撮像情報分類方法、撮像情報分類プログラム及び表面判別装置に関する。

【背景技術】

【0002】

近年の情報処理機能の向上に伴い、ニューラルネットワークを用いた欠陥検査方法が知られている。例えば、特許文献１には、被検査物を異なる光学条件で撮像し複数の検査画像を取得し、取得した複数の検査画像を各々フーリエ変換して複数の検査周波数画像を作成し、作成された複数の検査周波数画像を入力信号としてニューラルネットワークに処理をさせ、ニューラルネットワークの出力信号に基づき被検査物の良否を判定する欠陥検査方法が記載されている。この欠陥検査方法では、光学条件の違いより被検査物表面の形状の違いを表現でき、このような異なる光学条件の複数の検査画像に関して単なる画像データではなくフーリエ変換により検査周波数成分に変換した検査周波数画像データを用いてニューラルネットワークで演算処理を行うことで、複数の欠陥の種類に対応した高精度な欠陥検査が可能となる。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００４－１９１１１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ニューラルネットワークを用いて欠陥を検査する場合、予め欠陥に該当するか否かを学習させる必要があるが、多くの場合、この学習における欠陥に該当するか否かの判断は入力者の経験に頼る場合が多く、その学習段階において、欠陥に該当する場合を欠陥に該当しないと入力者が判断していた場合、学習段階において、欠陥の判定が正しく行われていないことになり、結果としてその学習結果を用いた欠陥の判定が正しく行われない可能性があった。

【0005】

本発明は、このような課題に鑑みなされたものであり、人工知能システムに正常と異常との判定を学習させる際、人間の経験による判定よりもより客観的な基準で判定したデータセットを使用することで、人工知能システムによる学習効果を向上させ、人工知能システムによって正常と異常との判定を行う際、判定精度を向上することができる撮像情報分類システム、撮像情報分類プログラム及び撮像情報分類方法を提供することを主目的とする。また、この撮像情報分類システムで分類したデータセットを用いて人工知能システムを学習させることで精度の高い判別ができる表面判別装置を提供することも、目的とする。

【課題を解決するための手段】

【0006】

本発明は、上述の主目的を達成するために以下の手段を採った。

【0007】

本発明の撮像情報分類システムは、
対象物の表面を撮像した撮像情報を入力する入力手段と、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出手段と、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出手段と、
前記コントラスト値算出手段が算出した前記コントラスト値と、前記エッジ強度値算出手段が算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類手段と、
を備えたことを特徴とする、
ものである。

【0008】

この撮像情報分類システムは、対象物の表面を撮像した撮像情報が入力手段から入力されると、コントラスト値算出手段が撮像情報の所定領域のコントラスト値を算出し、エッジ強度値算出手段が撮像情報の所定領域のエッジ強度値を算出する。続いて、分類手段が、コントラスト値とエッジ強度値に基づいて入力手段から入力された撮像情報を正常撮像情報と異常撮像情報とに分類する。こうすることにより、入力された撮像情報がコントラスト値及びエッジ強度値に基づいて正常撮像情報と異常撮像情報とに分類されるため、人間が分類する場合と比較して、より客観的な基準で分類することができる。言い換えると、分類する人間によって基準にバラツキが生じる可能性を未然に低減することで、正常撮像情報と異常撮像情報とを同一の基準で分類することができる。

【0009】

本発明の撮像情報分類システムにおいて、前記分類手段は、次式（１）で表される欠陥評価値の値が予め定められた閾値以上の場合に、前記撮像情報を正常撮像情報に分類し、前記欠陥評価値の値が予め定められた閾値未満の場合に、前記撮像情報を異常撮像情報に分類することを特徴としてもよい。

【0010】

Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（１）

【0011】

上記式（１）中、Ｖは欠陥評価値、Ｃはコントラスト値、Ｆはエッジ強度値、ｍ及びｎは１以上５以下の整数とする。また、ここで「コントラスト値」とは、撮像情報の所定領域における画像の標準偏差に基づく値を意味し、「エッジ強度値」とは、領域内ソーベルヒストグラムの値に基づく値を意味する。

【0012】

こうすることにより、コントラスト値又はエッジ強度値のいずれか一方の基準で分類する場合と比較して、より正確に分類することができる。例えば、欠陥部の境界の輝度勾配が小さい（徐々に輝度が変化する）場合、欠陥部と欠陥周辺部の輝度差はあるが、エッジ強度値が低くなる。このような場合であっても、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、エッジ強度値だけでは判断しにくい欠陥をより正確に判断することができる。また、例えば、エッジ強度値が高いが撮像情報の全体としてはコントラスト値が低い場合、コントラスト値のみで判定した場合には正しく判定できない可能性があるが、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、コントラスト値だけでは判断しにくい欠陥をより正確に判断することができる。

【0013】

また、上記式（１）において、ｍ及びｎの値は、対象物の性質や判定基準に応じて、適宜設定するものであり、コントラスト値やエッジ強度値のいずれを重視するかによって種々の値に定めることができる。このとき、ｍとｎとの比率は、５倍以内であることが好ましい。こうすることにより、コントラスト値とエッジ強度値とを適切な比率で加味することができるため、より正確に判断することができる。

【0014】

本発明の撮像情報分類システムは、前記所定領域の周辺部の平均輝度と欠陥部の最大輝度との差の絶対値、又は、前記所定領域の周辺部の平均輝度と欠陥部の最小輝度との差の絶対値のいずれか大きい方を欠陥輝度差として算出する欠陥輝度差算出手段と、前記分類手段で異常撮像情報に分類された撮像情報における前記欠陥輝度差が、予め定められた所定の閾値以上の場合に当該撮像情報を正常撮像情報と分類し、予め定められた所定の閾値未満の場合に当該撮像情報を異常撮像情報と分類する二次分類手段と、を備えたことを特徴としてもよい。こうすることにより、欠陥評価値のみで評価する場合と比較して、より正確に判断することができる。

【0015】

この態様を採用した本発明の撮像情報分類システムは、前記二次分類手段で異常撮像情報に分類された撮像情報から、１又は複数の欠陥領域を抽出する欠陥領域抽出手段と、前記欠陥領域抽出手段で抽出された前記欠陥領域の面積、フェレ径、回転フェレ径、周囲長、円形度の少なくとも一つを算出する欠陥状態算出手段と、を備えたことを特徴とするものであってもよい。こうすることにより、異常撮像情報と分類された撮像情報において、異常の状態を更に判別することができる。こうすることにより、撮像情報に含まれる異常状態を更に詳細に分類することができるため、例えば、人工知能の学習用データとして使用する際に、より効果的な学習用データとして使用することができる。

【0016】

本発明の表面判別装置は、
対象物の表面を撮像し、撮像情報を出力する撮像手段と、
上述したいずれかに記載の撮像情報分類システムで分類された撮像情報に基づいて機械学習が行われた人工知能を用いて前記撮像情報に含まれる対象物の表面状態が正常であるか異常であるかを判定する判定手段と、
を備えたことを特徴とする、
ものである。

【0017】

この表面判別装置は、上述したいずれかに記載の撮像情報分類システムで分類された撮像情報に基づいて機械学習が行われた人工知能を用いて対象物の表面状態を判別するため、高精度で判別することができる。

【0018】

本発明の撮像情報分類方法は、
対象物の表面を撮像した撮像情報を入力する入力ステップと、
前記撮像情報の所定領域のコントラスト値を算出するコントラスト値算出ステップと、
前記撮像情報の所定領域のエッジ強度値を算出するエッジ強度値算出ステップと、
前記コントラスト値算出ステップで算出した前記コントラスト値と、前記エッジ強度値算出ステップに基づいて算出した前記エッジ強度値と、に基づいて、前記撮像情報を正常撮像情報と異常撮像情報とに分類する分類ステップと、
を備えたことを特徴とする、
ものである。

【0019】

この撮像情報分類方法は、対象物の表面を撮像した撮像情報が入力手段から入力されると、コントラスト値算出ステップで撮像情報の所定領域のコントラスト値を算出し、エッジ強度値算出ステップで撮像情報の所定領域のエッジ強度値を算出する。続いて、分類ステップでコントラスト値とエッジ強度値に基づいて撮像情報を正常撮像情報と異常撮像情報とに分類する。こうすることにより、入力された撮像情報がコントラスト値及びエッジ強度値に基づいて正常撮像情報と異常撮像情報とに分類されるため、人間が分類する場合と比較して、より客観的な基準で分類することができる。言い換えると、分類する人間によって基準にバラツキが生じる可能性を未然に低減することで、正常撮像情報と異常撮像情報とを同一の基準で分類することができる。

【0020】

本発明の撮像情報分類プログラムは、上述した情報管理方法の各ステップを１又は２以上のコンピュータに実現させるためのものである。このプログラムは、コンピュータが読み取り可能な記録媒体（例えばハードディスク、ＲＯＭ、ＦＤ、ＣＤ、ＤＶＤ、コンパクトメモリなど）に記録されていてもよいし、伝送媒体（インターネットやＬＡＮなどの通信網）を介してあるコンピュータから別のコンピュータへ配信されてもよいし、その他どのような形で授受されてもよい。このプログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させれば、上述した撮像情報分類方法の各ステップが実行されるため、上述した撮像情報分類方法と同様の作用効果が得られる。

【図面の簡単な説明】

【0021】

【図1】図１は、撮像情報分類システム２０の電気的な接続を示すブロック図である。

【図2】図２は、撮像情報分類処理ルーチンの一例を示すフローチャートである。

【図3】図３は、表面判別装置４０の電気的な接続を示すブロック図である。

【発明を実施するための形態】

【0022】

本発明の実施の形態の一例として、撮像情報分類システム２０について、詳しく説明する。以下に説明する実施の形態及び図面は、本発明の実施形態の一部を例示するものであり、これらの構成に限定する目的に使用されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更することができる。なお、各図において対応する構成要素には同一又は類似の符号を付す。また、撮像情報分類システムの処理方法の一例を説明することにより、本発明の撮像情報分類方法及びこのプログラムの一例も明らかにする。

【0023】

まず、図１を用いて、本発明の実施の形態の一例である撮像情報分類システム２０の構成の概略について詳しく説明する。ここで、図１は、撮像情報分類システム２０の電気的な接続を示すブロック図である。図１に示すように、撮像情報分類システム２０は、入力手段２２から入力された撮像情報を分類するための汎用型コンピュータであり、各種制御を行う中央演算ユニット３０によって入力手段２２から入力された撮像情報が分類され、記憶手段２４に記憶される。なお、この中央演算ユニット３０は、本発明のコントラスト値算出手段、エッジ強度値算出手段、欠陥輝度差算出手段、分類手段、二次分類手段、欠陥領域抽出手段及び欠陥状態算出手段に相当する。また、ここでは、入力手段２２を有する汎用型コンピュータを一例として説明するが、複数の汎用型コンピュータ及び入力手段２２、記憶手段２４が電気通信回線を利用して接続されたものであればよく、単一又は複数の汎用型コンピュータによって分散処理されるものであってもよい。

【0024】

中央演算ユニット３０は、ＣＰＵ３１を中心とするマイクロプロセッサとして構成されており、撮像情報を分類するための各種処理プログラム等を記憶したＲＯＭ３２と、一時的に各種データを記憶するＲＡＭ３３と、入力手段２２や記憶手段２４等と接続を可能とするインタフェース３４（以下、「Ｉ／Ｆ３４」と言う。）と、を備え、これらはバス３５を介してお互いに信号のやりとりが可能に接続されている。この中央演算ユニット３０は、入力手段２２から入力された撮像情報を正常な撮像情報と異常な撮像情報とに分類し、記憶手段２４に記憶する。こうすることにより、撮像情報を正常な撮像情報と異常な撮像情報とに分類し、記憶することができる。

【0025】

次に、こうして構成された本実施の形態の撮像情報分類システム２０の動作、特に、撮像情報分類処理の動作について説明する。ここで、図２は、撮像情報分類処理ルーチンの一例を表すフローチャートである。この撮像情報分類処理ルーチンは、ＲＯＭ３２に予め記憶されており、ＣＰＵ３１が、入力手段２２から撮像情報が入力された際に、繰り返し実行される。

【0026】

撮像情報分類処理ルーチンが実行されると、ＣＰＵ３１は、撮像情報のコントラスト値（Ｃ）を算出する（ステップＳ１００）。具体的には、撮像情報における所定領域の標準偏差を算出した後、以下の式（２）に示すように、標準偏差の値を１２８で除算し、得た値を（１／２．２）でべき乗することにより、コントラスト値（Ｃ）を算出し、算出した値をＲＡＭ３３に一時的に記憶する。

【0027】

Ｃ＝（標準偏差／１２８）＾（１／２．２） ・・・（２）

【0028】

続いて、ＣＰＵ３１は、ソーベルヒストグラムに基づいてエッジ強度値を算出する（ステップＳ１１０）。具体的には、まず、撮像情報におけるソーベルヒストグラムを求め、得られたヒストグラムについて、輝度値２５５から輝度値０に向かって度数を加算（積分）する。次に、この積分値が閾値を越えた際の輝度値の値をｍａｘＩｎｄｅｘとして、ＲＡＭ３３に一時的に記憶する。続いて、以下の式（３）に示すように、ｍａｘＩｎｄｅｘの値を２５５で除算することにより、エッジ強度値（Ｆ）を算出し、算出した値をＲＡＭ３３に一時的に記憶する。

【0029】

Ｆ＝ｍａｘＩｎｄｅｘ／２５５ ・・・（３）

【0030】

ここで、ソーベルヒストグラムとは、ソーベルフィルタを用いて入力された画像情報の空間フィルタ処理を行った結果得られたヒストグラムであり、輝度値の度数分布を示すものである。また、ソーベルフィルタとは、中央部からの距離に応じて重み付けを変化させた平滑化フィルタ及び微分フィルタを組み合わせたものである。このソーベルフィルタを用いたソーベルヒストグラムにより、ノイズの影響を低減し、自然な平滑化処理による輪郭を抽出することができる。

【0031】

続いて、ＣＰＵ３１は、欠陥評価値を算出する（ステップＳ１２０）。具体的には、ＲＡＭ３３に一時的に記憶したコントラスト値及びエッジ強度値を読み出し、次式（４）により、欠陥評価値（Ｖ）を算出し、ＲＡＭ３３に一時的に記憶する。

【0032】

Ｖ＝（ｍＣ＋ｎＦ）／（ｍ＋ｎ） ・・・（４）

【0033】

なお、上記式（４）において、Ｖは欠陥評価値を、ｍ及びｎは１以上５以下の整数を、Ｃはコントラスト値を、Ｆはエッジ強度値をそれぞれ意味する。

【0034】

次に、ＣＰＵ３１は、ＲＡＭ３３に記憶された欠陥評価値と予めＲＡＭ３３に記憶された閾値とを比較し（ステップＳ１３０）、欠陥評価値が予め定められた閾値以上であると判定した場合には、撮像情報とこの撮像情報が正常であることを示す情報とを関連付けて記憶手段２４に記憶し（ステップＳ１８０）、本ルーチンを終了する。こうすることにより、コントラスト値とエッジ強度値に基づいて、入力された撮像情報を対象物の表面が正常な正常撮像情報と対象物の表面に異常を含む異常撮像情報とに分類することができる。このとき、コントラスト値とエッジ強度値とを一定の割合で合算した欠陥評価値に基づいて正常か異常かを判定しているため、コントラスト値又はエッジ強度値のいずれか一方の基準で分類する場合と比較して、より正確に分類することができる。例えば、欠陥部の境界の輝度勾配が小さい（徐々に輝度が変化する）場合、欠陥部と欠陥周辺部の輝度差はあるが、エッジ強度値が低くなる。このような場合であっても、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、エッジ強度値だけでは判断しにくい欠陥をより正確に判断することができる。また、例えば、エッジ強度値が高いが撮像情報の全体としてはコントラスト値が低い場合、コントラスト値のみで判定した場合には正しく判定できない可能性があるが、コントラスト値とエッジ強度値の両方を組み合わせた欠陥評価値に基づいて判定することにより、コントラスト値だけでは判断しにくい欠陥をより正確に判断することができる。

【0035】

また、上記式（４）において、ｍ及びｎの値は、対象物の性質や判定基準に応じて、適宜設定するものであり、コントラスト値やエッジ強度値のいずれを重視するかによって種々の値に定めることができる。このとき、ｍとｎとの比率は、５倍以内であることが好ましい。こうすることにより、コントラスト値とエッジ強度値とのそれぞれの値が反映されたパラメータとすることができるため、様々な状態の異常を含む場合であっても、より正確に正常撮像情報と異常撮像情報を分類することができる。

【0036】

一方、ステップＳ１３０において、ＲＡＭ３３に記憶された欠陥評価値が予め定められた閾値未満であるとＣＰＵ３１が判定した場合には、ＣＰＵ３１は、欠陥輝度値を算出する（ステップＳ１４０）。具体的には、所定領域の周辺部の平均輝度値と欠陥部の最大輝度との差の絶対値及び所定領域の周辺部の平均輝度値と欠陥部の最小輝度との差の絶対値を算出し、いずれか値の大きい値を欠陥輝度値として、ＲＡＭ３３に一時的に記憶する。なお、ここで、欠陥部とは、欠陥の中央付近と同一の輝度を有する領域を意味し、周辺部とは、欠陥部の周囲の領域であって、欠陥部の外縁から予め定められた所定の距離離れた位置までの領域を意味する。

【0037】

続いて、ＣＰＵ３１は、ＲＡＭ３３に記憶された予め定められた閾値と欠陥輝度値とを比較し（ステップＳ１５０）、欠陥輝度値が予め定められた閾値以上と判定した場合には、撮像情報とこの撮像情報が正常であることを示す情報とを関連付けて記憶手段２４に記憶し（ステップＳ１８０）、本ルーチンを終了する。こうすることにより、欠陥評価値のみで評価する場合と比較して、撮像情報に含まれる対象物が正常か異常かをより正確に判断することができる。

【0038】

一方、ステップＳ１５０において、ＲＡＭ３３に記憶された欠陥輝度値が予め定められた閾値未満であると判定した場合には、ＣＰＵ３１が欠陥状態を算出し（ステップＳ１６０）、欠陥状態と撮像情報とを関連付けて記憶手段２４に記憶し（ステップＳ１７０）、本ルーチンを終了する。具体的には、欠陥領域の個々の面積及び総面積、フェレ径、回転フェレ径、周囲長、円形度をそれぞれ算出する。こうすることにより、異常撮像情報において、どのような異常が含まれているかを表す指標とすることができるため、異常撮像情報を異常状態の属性に応じて、更に分類することができる。こうすることにより、本方法で分類した撮像情報に基づいて人工知能システムの機械学習を行う際、人間が正常か異常かの判断をする場合と比較して判断基準に一貫性があるため、効率的な機械学習を行うことができる。

【0039】

このとき、欠陥領域の個々の面積はそれぞれの欠陥領域の画素数に基づいて算出し、欠陥領域の総面積は、個々の欠陥領域の面積の和を算出することで総面積を算出する。また、フェレ径は、個々の欠陥領域に外接する長方形の縦の長さ及び横の長さを算出し、縦の長さを横の長さで除算することで算出する。更に、回転フェレ径は、回転矩形角度で求めた回転外接矩形の縦の長さ及び横の長さを算出し、縦の長さを横の長さで除算することで算出する。更にまた、円形度は、欠陥領域の中心から欠陥領域の外縁までの平均距離と最大距離をそれぞれ算出する。次に、以下の式（５）及び（６）に基づいて、ＣＲ１及びＣＲ２の値を算出し、いずれか値の小さい方を円形度とする。こうすることにより、面積と周囲長の比率から円形度を算出する方法では濃淡むらや穴等が存在すると正しい円形度を算出することができない場合があるが、本方法で円形度を算出することで、より信頼度の高い円形度を算出することができる。

【0040】

ＣＲ１＝（平均距離）^２／（最大距離）^２ ・・・（５）

【0041】

ＣＲ２＝（最小距離）^２／（平均距離）^２ ・・・（６）

【0042】

次に、撮像情報分類システム２０で正常なものと異常なものに分類した撮像情報を用いて機械学習した表面判別装置４０について説明する。この表面判別装置４０は、図３に示すように、対象物の表面を撮像して撮像情報を出力する撮像手段４２と、撮像手段４２から出力された撮像情報に含まれる対象物の表面が正常か異常かを判定する人工知能システムを含む中央演算ユニット５０と、中央演算ユニット５０で判定された判定結果を出力する出力手段４４と、を含む表面判別装置である。この表面判別装置４０は、上述した撮像情報判別システム２０で判別した撮像情報によって人工知能システムを学習させたこと以外は、公知の判別装置を使用することができる。このように、撮像情報判別システム２０を用いて判別した撮像情報を使用することで、人工知能システムの学習効果を高め、高精度で判別することができる。

【0043】

中央演算ユニット５０は、ＣＰＵ５１を中心とするマイクロプロセッサとして構成されており、撮像情報を判別するための各種処理プログラム等を記憶したＲＯＭ５２と、一時的に各種データを記憶するＲＡＭ５３と、撮像手段４２や出力手段４４等と接続を可能とするインタフェース５４（以下、「Ｉ／Ｆ５４」と言う。）と、を備え、これらはバス５５を介してお互いに信号のやりとりが可能に接続されている。この中央演算ユニット５０は、撮像手段４２で撮像された撮像情報を正常撮像情報と異常撮像情報とに分類し、出力手段４４で出力する。こうすることにより、撮像情報に含まれる対象物の表面が正常か異常を含むかを判別することができる。

【0044】

以上詳述した本実施の形態の撮像情報分類システム２０は、対象物の表面を含む撮像情報を入力手段２２から入力し、中央演算ユニット３０でコントラスト値及びエッジ強度値を算出し、コントラスト値及びエッジ強度値に基づいて対象物の表面が正常な撮像情報と対象物の表面に異常を含む撮像情報とに分類することで、人間が撮像情報を分類する場合と比較して、明確な基準で撮像情報を分類することができる。付言すると、分類した撮像情報を用いて人工知能を学習させる際、高い学習効果が得られるデータセットを得ることができる。

【0045】

また、撮像情報を分類する際、上述した式（１）によって定められる欠陥評価値に基づいて対象物の表面が正常な撮像情報と対象物の表面に異常を含む撮像情報とに分類するため、エッジ強度値又はコントラスト値のみで分類する場合と比較して、より正確に分類することができる。

【0046】

更にまた、欠陥評価値に基づいて対象物の表面に異常を含む撮像情報であると分類された撮像情報に対して、更に欠陥輝度差に基づいて対象物の表面が正常である撮像情報を分類することで、更により正確に分類することができる。

【0047】

そして、欠陥輝度差に基づいて分類した際、対象物の表面に異常を含む撮像情報と分類された撮像情報について、面積、フェレ径、回転フェレ径、周囲長、円形度の少なくとも一つを欠陥状態として算出することにより、対象物の表面の異常の傾向についてクラスタリングすることができる。こうすることにより、撮像情報分類システム２０で分類した撮像情報を人工知能システムの学習用データセットとした際、異常の傾向についてクラスタリングされていないデータセットを使用する場合と比較して、より高い学習効果を得ることができる。

【0048】

そしてまた、対象物の表面に異常を有するか否かを上述した撮像情報分類システム２０で分類された撮像情報を人工知能システムの学習用データセットとした人工知能を用いて判別することで、表面判別装置４０は、人間が分類したデータセットを用いて学習した場合と比較して、より正確に判別を行うことができる。

【0049】

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

【0050】

例えば、上述した実施の形態では、汎用型コンピュータに備えられた中央演算ユニット３０によって各種制御がなされるものとしたが、例えば、電機通信回線を介した制御によるものであってもよい。この場合も、上述した実施の形態と同様の効果が得られる。

【0051】

上述した実施の形態では、欠陥の中央付近から同一の輝度を有する領域を欠陥部とすることにしたが、同一の輝度に限定されることなく、所定の輝度範囲内の領域を欠陥部としてもよい。例えば、欠陥の中央付近の輝度とプラスマイナス１の範囲の輝度の領域を欠陥部としてもよい。この場合も、上述した実施の形態と同様の効果が得られる。

【産業上の利用可能性】

【0052】

上述した実施の形態で示すように、人工知能分野、特に、人工知能システムの学習用データセットを分類する分類手段として利用することができる。

【符号の説明】

【0053】

２０…撮像情報分類システム、２２…入力手段、２４…記憶手段、３０…中央演算ユニット、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…インタフェース、３５…バス、４０…表面判別装置、４２…撮像手段、４４…出力手段、５０…中央演算ユニット、５１…ＣＰＵ、５２…ＲＯＭ、５３…ＲＡＭ、５４…インタフェース、５５…バス。

【図1】

【図2】

【図3】