特開 2024-102390 検査装置、検査方法、および検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024102390

(43)【公開日】2024-07-31

(54)【発明の名称】検査装置、検査方法、および検査プログラム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240724BHJP

   G06T 7/00 20170101ALI20240724BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 610Z

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021093419

(22)【出願日】2021-06-03

(71)【出願人】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110000671

【氏名又は名称】ＩＢＣ一番町弁理士法人

(72)【発明者】

【氏名】指田 岳彦

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051BA20

2G051CA04

2G051EB05

2G051EC01

5L096AA06

5L096BA03

5L096CA02

5L096CA22

5L096DA02

5L096FA17

5L096GA51

5L096HA11

5L096JA16

5L096KA04

(57)【要約】

【課題】リソースや処理時間の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる、検査装置、検査方法、および検査プログラムを提供する。
【解決手段】検査装置１００は、取得部２１０、判定部２３０，２４０、および集計部２５０を有する。取得部２１０は、検査対象に関するコンテンツを取得する。判定部２３０，２４０は、検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、上記分類における各々の属性と、取得部２１０によって取得されたコンテンツの属性とが合致する確からしさを、上記複数の分類の各々について分類する。集計部２５０は、共通属性について、複数の判定部２３０，２４０の判定結果を集計し、集計結果に基づいて、コンテンツが共通属性を有するか否かを判定する。
【選択図】図２

【特許請求の範囲】

【請求項1】

検査対象に関するコンテンツを取得する取得部と、
前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記取得部によって取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について判定する複数の判定部と、
前記共通属性について、前記複数の判定部の判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する集計部と、を有する、検査装置。

【請求項2】

前記複数の属性は、前記複数の判定部による判定が行われる前に、複数のコンテンツから抽出された特徴を用いて設定される、請求項１に記載の検査装置。

【請求項3】

前記判定部は、前記共通属性と前記コンテンツの属性とが合致する確からしさを表す統計情報を算出し、
前記集計部は、前記統計情報に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する、請求項１または２に記載の検査装置。

【請求項4】

前記共通属性は、非欠陥を表す属性であり、前記複数の属性のうち前記共通属性を除く属性は、欠陥の種類を表す属性である、請求項３に記載の検査装置。

【請求項5】

前記判定部は、前記共通属性と前記コンテンツの属性とが合致する尤度を前記統計情報として算出し、前記尤度に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、請求項４に記載の検査装置。

【請求項6】

前記集計部は、前記複数の判定部による判定結果を集計し、集計結果を所定の閾値と比較した結果に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、請求項５に記載の検査装置。

【請求項7】

前記所定の閾値を受け付ける判定条件入力部をさらに有する、請求項６に記載の検査装置。

【請求項8】

前記集計部は、前記コンテンツが非欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、請求項６または７に記載の検査装置。

【請求項9】

前記集計部は、前記コンテンツが欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、請求項６または７に記載の検査装置。

【請求項10】

前記コンテンツは、前記検査対象を撮影した画像である、請求項１～９のいずれか１項に記載の検査装置。

【請求項11】

前記判定部は、前記取得部で取得された前記コンテンツを、学習用コンテンツで予め学習された機械学習モデルに入力して、前記確からしさを判定する、請求項１～１０のいずれか１項に記載の検査装置。

【請求項12】

前記機械学習モデルは、多層ニューラルネットワークを用いたディープラーニングにより学習することにより生成される、請求項１１に記載の検査装置。

【請求項13】

検査対象に関するコンテンツを取得するステップ（ａ）と、
前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記ステップ（ａ）において取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について同時並行的に判定するステップ（ｂ）と、
前記共通属性について、前記ステップ（ｂ）において分類された判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定するステップ（ｃ）と、を有する、検査方法。

【請求項14】

前記複数の属性は、前記ステップ（ｂ）の前に、複数のコンテンツから抽出された特徴を用いて設定される、請求項１３に記載の検査方法。

【請求項15】

請求項１３または１４に記載の検査方法に含まれる処理をコンピューターに実行させるための検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査装置、検査方法、および検査プログラムに関する。

【背景技術】

【0002】

製造ラインにおける検査対象の物体を撮影した画像を用いて、検査対象の物体の良／不良を判定する技術が知られている。例えば、下記特許文献１には、検査対象の物体を撮影した画像、学習モデル、および非学習モデルに基づいて、検査対象の物体の良／不良を判定する画像判定装置が開示されている。

【0003】

また、検査対象の物体を撮影した画像に基づいて検査対象の物体の欠陥の有無を判定し、欠陥を有する場合において欠陥の種類（以下、「欠陥種」という）を分類することにより、検査対象の物体の傷やへこみ等の外観の検査を行う検査装置が知られている。

【0004】

しかしながら、検査対象の物体が欠陥を有することが検査装置によって判定されたにもかかわらず、実際には欠陥を有しない場合（偽欠陥）が生じることがある。検査対象の欠陥の検査においては、欠陥を全て抽出しつつ、偽欠陥はできる限り低減することが必要とされるため、欠陥有無の判定精度の向上が求められる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－５２０４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、検査装置は、検査対象の物体が欠陥を有している場合、どのような欠陥を有しているかについて詳細に分類することが求められる。したがって、検査装置は、欠陥有無の判定精度の向上のためのリソースや処理時間だけではなく、欠陥の分類処理にもリソースや処理時間を割く必要があるため、欠陥有無の判定精度の向上は、限られたリソースや処理時間の範囲内で行う必要がある。

【0007】

本発明は、このような問題を解決するためになされたものであり、リソースや処理時間の追加を抑制しつつ、検査対象の物体（以下、単に「検査対象」ともいう）の欠陥有無の判定精度を向上できる、検査装置、検査方法、および検査プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の上記課題は、以下の手段によって解決される。

【0009】

（１）検査対象に関するコンテンツを取得する取得部と、前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記取得部によって取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について判定する複数の判定部と、前記共通属性について、前記複数の判定部の判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する集計部と、を有する、検査装置。

【0010】

（２）前記複数の属性は、前記複数の判定部による判定が行われる前に、複数のコンテンツから抽出された特徴を用いて設定される、上記（１）に記載の検査装置。

【0011】

（３）前記判定部は、前記共通属性と前記コンテンツの属性とが合致する確からしさを表す統計情報を算出し、前記集計部は、前記統計情報に基づいて、前記コンテンツが前記共通属性を有するか否かを判定する、上記（１）または（２）に記載の検査装置。

【0012】

（４）前記共通属性は、非欠陥を表す属性であり、前記複数の属性のうち前記共通属性を除く属性は、欠陥の種類を表す属性である、上記（３）に記載の検査装置。

【0013】

（５）前記判定部は、前記共通属性と前記コンテンツの属性とが合致する尤度を前記統計情報として算出し、前記尤度に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、上記（４）に記載の検査装置。

【0014】

（６）前記集計部は、前記複数の判定部による判定結果を集計し、集計結果を所定の閾値と比較した結果に基づいて、前記コンテンツが非欠陥を表す属性を有するか否かを判定する、上記（５）に記載の検査装置。
（７）前記所定の閾値を受け付ける判定条件入力部をさらに有する、上記（６）に記載の検査装置。

【0015】

（８）前記集計部は、前記コンテンツが非欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、上記（６）または（７）に記載の検査装置。

【0016】

（９）前記集計部は、前記コンテンツが欠陥を表す属性を有すると判定した場合、前記複数の判定部のうち、前記コンテンツが欠陥を表す属性を有しないと判定した判定部について判定不可として出力する、上記（６）または（７）に記載の検査装置。

【0017】

（１０）前記コンテンツは、前記検査対象を撮影した画像である、上記（１）～（９）のいずれか１つに記載の検査装置。

【0018】

（１１）前記判定部は、前記取得部で取得された前記コンテンツを、学習用コンテンツで予め学習された機械学習モデルに入力して、前記確からしさを判定する、上記（１）～（１０）のいずれか１つに記載の検査装置。

【0019】

（１２）前記機械学習モデルは、多層ニューラルネットワークを用いたディープラーニングにより学習することにより生成される、上記（１１）に記載の検査装置。

【0020】

（１３）検査対象に関するコンテンツを取得するステップ（ａ）と、前記検査対象に関して、互いに異なる複数の属性を有する複数の分類に共通する少なくとも１つの共通属性が予め設定され、前記分類における各々の前記属性と、前記ステップ（ａ）において取得されたコンテンツの属性とが合致する確からしさを、前記複数の分類の各々について同時並行的に判定するステップ（ｂ）と、前記共通属性について、前記ステップ（ｂ）において判定された判定結果を集計し、集計結果に基づいて、前記コンテンツが前記共通属性を有するか否かを判定するステップ（ｃ）と、を有する、検査方法。

【0021】

（１４）前記複数の属性は、前記ステップ（ｂ）の前に、複数のコンテンツから抽出された特徴を用いて設定される、上記（１３）に記載の検査方法。

【0022】

（１５）上記（１３）または（１４）に記載の検査方法に含まれる処理をコンピューターに実行させるための検査プログラム。

【発明の効果】

【0023】

本発明によれば、検査対象に関する画像等のコンテンツに対する複数の分類に共通する共通属性（例えば、非欠陥を表す属性）について、複数の判定部が同時並行的に判定し、集計部が判定結果を集計し、集計結果に基づいて、コンテンツが共通属性を有するか否かを判定する。したがって、リソースや処理時間の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる。

【図面の簡単な説明】

【0024】

【図1】第１の実施形態に係る検査装置のハードウェア構成を例示する概略ブロック図である。

【図2】図１に示す制御部の主要な機能を例示する機能ブロック図である。

【図3】第１の実施形態に係る検査装置の検査方法の処理手順の概要を例示するフローチャートである。

【図4】学習装置の主要な機能を例示する機能ブロック図である。

【図5】学習装置による学習方法の処理手順の概要を例示するフローチャートである。

【図6】第２の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。

【図7】第３の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。

【発明を実施するための形態】

【0025】

以下、図面を参照して、本発明の実施形態に係る検査装置、検査方法、および検査プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。

【0026】

（第１の実施形態）
図１は、第１の実施形態に係る検査装置のハードウェア構成を例示する概略ブロック図であり、図２は、図１に示す制御部の主要な機能を例示する機能ブロック図である。

【0027】

以下、製造ライン上を搬送される検査対象の画像を撮影して検査装置１００により検査し、検査結果を表示する処理を例示して説明を行う。検査装置１００は、検査対象を撮影した画像を入力画像として取得し、入力画像に基づいて、検査対象の欠陥を検査する装置である。検査装置１００は、検査対象の欠陥／非欠陥を判定し、欠陥種を分類する。検査対象は、特に限定されるものではないが、例えば、工業製品に使用される部品等が挙げられる。

【0028】

図１に示すように、検査装置１００は、制御部１１０、通信部１２０、および操作表示部１３０を有する。これらの構成要素は、バス１０１を介して互いに接続される。検査装置１００は、例えば、パーソナルコンピューター、サーバー等のコンピューターでありうる。

【0029】

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１３、および補助記憶部１１４を有する。

【0030】

ＣＰＵ１１１は、ＲＡＭ１１２に展開されたＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、検査プログラム等のプログラムを実行し、検査装置１００の動作制御を行う。検査プログラムは、ＲＯＭ１１３、または補助記憶部１１４に予め保存されている。また、ＲＡＭ１１２は、ＣＰＵ１１１の処理によって一時的に生じたデータ等を格納する。また、ＲＯＭ１１３は、ＣＰＵ１１１によって実行されるプログラムや、プログラムの実行に使用されるデータ、パラメーター等を記憶する。補助記憶部１１４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を有する。

【0031】

通信部１２０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。

【0032】

操作表示部１３０は、入力部および出力部を有する。入力部は、例えば、キーボード、マウス等を備え、キーボード、マウス等による文字入力、各種設定等の各種指示（入力）をユーザーが行うために使用される。また、出力部は、ディスプレイを備え、入力画像、検査対象の検査結果等を表示する。また、出力部は、スピーカーを有し、検査対象の検査結果を音声でユーザーに通知することもできる。

【0033】

また、図示を省略しているが、検査対象は、例えば、照明装置により光が照射され、カメラ等の撮像装置によって撮影される。撮像装置は、撮影された検査対象の画像データを検査装置１００に送信する。検査装置１００は、画像データを入力画像として取得する。あるいは、撮像装置によって予め撮影された検査対象の画像は、検査装置１００の外部にある記憶装置に保存される。

【0034】

撮像装置は、例えば、検査対象が工業製品の部品である場合、検査工程に設置され、検査対象を包含する撮影範囲を撮影し、検査対象が含まれる画像データを出力する。撮像装置は、例えば、所定ピクセル（例えば、１２８ピクセル×１２８ピクセル）の検査対象の白黒またはカラーの画像データを出力する。

【0035】

図２に示すように、制御部１１０は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２、および集計部２５０として機能する。これらの機能は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。第１特徴抽出部２３１、および欠陥判定部２３２は、第１判定部２３０を構成し、第２特徴抽出部２４１、および詳細分類部２４２は、第２判定部２４０を構成する。

【0036】

画像取得部２１０は、通信部１２０と協働することにより、入力画像を取得する。画像取得部２１０は、例えば、検査装置１００の外部の撮像装置、または記憶装置から検査対象の画像（映像）を入力画像として取得する。

【0037】

本実施形態の検査装置１００においては、第１判定部２３０、および第２判定部２４０を有する複数の判定部の判定結果を集計部２５０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。

【0038】

下記表１に示すように、第１判定部２３０に対して分類Ａが設定され、第２判定部２４０に対して分類Ｂが設定されている。分類Ａ、および分類Ｂは、各々互いに異なる複数の属性（クラス）を含んでいる。このうち、非欠陥を表す属性は、欠陥ではないことを表す属性であり、分類Ａ、および分類Ｂに共通する共通属性である。本実施形態では、欠陥種に関する分類は、欠陥／非欠陥の分類とは独立しており、欠陥種に関する分類に非欠陥を表す属性を加えても、欠陥種に関する分類の判定には影響しないことを想定している。

【0039】

【表1】

【0040】

複数の属性は、例えば、検査対象の検査が実施される前（少なくとも、第１判定部２３０、および第２判定部２４０による判定が行われる前）に、複数の学習用画像から抽出された特徴量を用いて予め設定されうる。学習用画像は、検査装置１００の外部にある上記記憶装置に記憶され、ユーザーによって予め正解分類ラベルが付されている画像である。画像は、例えば、検査対象と同じ物体（例えば、部品）を含んでいる。あるいは、複数の属性は、検査対象と同じ物体について、過去に設定された履歴に基づいて、ユーザーによって予め設定されてもよい。

【0041】

第１判定部２３０は、入力画像の欠陥を表す属性、および非欠陥を表す属性を含む分類Ａにおいて、各々の属性と、入力画像の属性とが合致する確からしさを判定し、判定された確からしさに基づいて、判定結果を出力する。確からしさは、統計情報（例えば、尤度）によって表されうる。

【0042】

第１特徴抽出部２３１は、後述する学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）により、入力画像の特徴量を抽出し、出力する。また、ニューラルネットワークに限らず、他の方法、例えば、入力画像の輝度、エッジ、輝度勾配（ＨＯＧ：Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）等の情報を含む特徴量を生成し、出力するように構成してもよい。第１特徴抽出部２３１の特徴量は、欠陥判定部２３２に伝達される。

【0043】

欠陥判定部２３２は、第１特徴抽出部２３１によって生成された特徴量を使用して、入力画像が、予め設定された２つの属性（欠陥を表す属性、および非欠陥を表す属性）のうち、どちらの属性に属するかを分類（識別）するための識別器を有する。特徴量は、単独、または複数組み合わせて使用されうる。欠陥判定部２３２は、後述する学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）を有する識別器を用いて、入力画像の属性を分類する。欠陥判定部２３２は、入力画像を、最も確からしい（例えば、最大尤度を有する）属性に分類し、入力画像が、どちらの属性に分類されたかの判定結果と、判定結果の確からしさ（例えば、尤度）を出力する。

【0044】

第２判定部２４０は、入力画像の非欠陥、凸欠陥、凹欠陥、Ｆｌａｔ欠陥、円形欠陥、線欠陥、ムラ欠陥、大欠陥、中欠陥、小欠陥等の複数の属性を含む分類Ｂにおいて、各々の属性と、入力画像の属性とが合致する確からしさを判定し、判定された確からしさに基づいて、判定結果を出力する。確からしさは、統計情報（例えば、尤度）によって表される。

【0045】

第２特徴抽出部２４１は、第１特徴抽出部２３１と同様に、学習装置によって機械学習されたニューラルネットワーク（学習済みモデル）により、入力画像の特徴量を抽出し、出力する。また、第２特徴抽出部２４１は、ニューラルネットワークに限らず、他の方法、例えば、入力画像の輝度、エッジ、輝度勾配等の情報を含む特徴量を生成し、出力するように構成してもよい。第２特徴抽出部２４１の特徴量は、詳細分類部２４２に伝達される。

【0046】

詳細分類部２４２は、第１特徴抽出部２３１、および第２特徴抽出部２４１によって生成された特徴量を使用して、予め設定された複数の属性のうち、入力画像がどの属性に属するかを分類する複数の識別器を有する。特徴量は、単独、または複数組み合わせて使用されうる。複数の属性は、少なくとも非欠陥を表す属性を含む。非欠陥を表す属性は、第１判定部２３０の分類Ａと共通する共通属性である。また、非欠陥以外の属性としては、例えば、凸欠陥、凹欠陥、Ｆｌａｔ欠陥、円形欠陥、線欠陥、ムラ欠陥、大欠陥、中欠陥、小欠陥等が含まれうる。詳細分類部２４２は、学習装置によって機械学習されたニューラルネットワークを有する複数の識別器を使用して、入力画像の属性を分類する。詳細分類部２４２は、例えば、入力画像を、最も確からしい（例えば、最大尤度を有する）属性に分類し、入力画像が、どの属性に分類されたかの判定結果と、判定結果の確からしさ（例えば、尤度）を出力する。

【0047】

集計部２５０は、非欠陥を表す属性（共通属性）について、第１判定部２３０、および第２判定部２４０の判定（分類）結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。

【0048】

（検査方法）
図３は、第１の実施形態に係る検査装置１００の検査方法の処理手順の概要を例示するフローチャートである。同図に示すフローチャートの処理は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。

【0049】

まず、検査対象に関する入力画像を取得する（ステップＳ１０１）。画像取得部２１０は、例えば、撮像装置から検査対象が撮影された画像を入力画像として取得する。入力画像は、欠陥を含む検査対象の画像、または欠陥を含まない検査対象の画像でありうる。

【0050】

次に、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、入力画像の属性とが合致する確からしさを、分類Ａ、および分類Ｂについて同時並行的に判定する（ステップＳ１０２）。第１判定部２３０、および第２判定部２４０は、各々分類Ａ、および分類Ｂにおいて、判定結果と、判定結果の確からしさ（例えば、尤度）とを出力する。

【0051】

次に、入力画像が非欠陥を表す属性を有するか否かを判定する（ステップＳ１０３）。集計部２５０は、例えば、第１判定部２３０、および第２判定部２４０のうち、少なくともいずれかの判定結果が非欠陥を表す属性である場合は、最終的に、入力画像が非欠陥を表す属性を有すると判定しうる。また、集計部２５０は、例えば、第１判定部２３０、および第２判定部２４０の両方の判定結果が非欠陥を表す属性である場合のみ、最終的に、入力画像が非欠陥を有すると判定するように構成してもよい。このように構成することにより、欠陥の見逃しをより効果的に抑制できる。

【0052】

あるいは、第１判定部２３０、および第２判定部２４０の判定結果について、非欠陥を表す属性である判定結果の尤度の合計が所定の閾値以上である場合、最終的に、非欠陥を表す属性を有すると判定し、閾値未満である場合、非欠陥を表す属性を有しないと判定するように構成することもできる。

【0053】

集計部２５０は、判定結果をＲＡＭ１１２に保存する。制御部１１０は、集計部２５０の判定結果が欠陥を表す属性である場合、検査対象には欠陥が有る旨を操作表示部１３０のディスプレイに表示し、集計部２５０の判定結果が非欠陥を表す属性である場合、検査対象には欠陥が無い旨をディスプレイに表示する。また、制御部１１０は、集計部２５０の出力が欠陥を表す属性である場合、欠陥種を表す各属性の尤度を表示することもできる。

【0054】

また、操作表示部１３０は、判定条件入力部として機能し、判定条件としての所定の閾値を受け付け、集計部２５０に出力する。判定条件を調整可能にすることにより、分類の精度が向上する。

【0055】

このように、図３に示すフローチャートの処理では、画像取得部２１０は、検査対象に関する入力画像を取得し、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、入力画像の属性とが合致する確からしさを、分類Ａ、および分類Ｂの各々について同時並行的に判定する。分類Ａ、および分類Ｂは、検査対象に関して、互いに異なる複数の属性を有し、共通する非欠陥を表す属性が予め設定されている。続いて、集計部２５０は、非欠陥を表す属性について、分類Ａ、および分類Ｂの判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。

【0056】

（学習装置）
次に、図４を参照して、本実施形態における学習装置について説明する。図４は、学習装置の主要な機能の概略構成を例示する機能ブロック図である。

【0057】

学習装置は、予め正解分類ラベルが付されている学習用画像（教師データ）により、判定部を機械学習し、学習済みモデル（機械学習モデル）を生成する。本実施形態では、例えば、判定部における多層ニューラルネットワークを教師データにより学習するディープラーニングが用いられる。

【0058】

あるいは、機械学習には、公知の種々の手法が適用されうる。例えば、ニューラルネットワーク、ランダムフォレスト、決定木、サポートベクターマシン（ＳＶＭ：Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、ロジスティック回帰、ｋ近傍法等が適用されうる。

【0059】

学習装置による機械学習は、ＣＰＵ、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のプロセッサを用いたスタンドアロンの高性能のコンピューター、またはクラウドコンピューターを用いて行える。学習装置のハードウェア構成は、図１に示す検査装置１００のハードウェア構成と同様であるので、詳細な説明を省略する。

【0060】

図４に示すように、学習装置の制御部は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２、および学習部２６０として機能する。画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２の構成は、検査装置１００の各構成と同じであるので、詳細な説明を省略する。なお、検査装置１００の集計部２５０は、学習装置には含まれない。

【0061】

学習部２６０は、画像取得部２１０、第１特徴抽出部２３１、欠陥判定部２３２、第２特徴抽出部２４１、詳細分類部２４２を制御し、機械学習を行う。学習部２６０は、記憶装置に保存されている複数の学習用画像を用いて、第１判定部２３０および第２判定部２４０による判定結果と、正解分類ラベルとが一致するように、第１特徴抽出部２３１および第２特徴抽出部２４１における多層ニューラルネットワークの各パラメーターを調整する。

【0062】

（学習方法）
図５は、学習装置による学習方法の処理手順の概要を例示するフローチャートである。同図に示すフローチャートの処理は、学習装置のＣＰＵが学習プログラムを実行することにより実現される。学習装置による機械学習は、例えば、以下の手順で行われる。まず、画像取得部２１０は、記憶装置から学習用画像を取得する（ステップＳ２０１）。

【0063】

次に、第１判定部２３０、および第２判定部２４０は、分類Ａ、および分類Ｂにおける各々の属性と、画像取得部２１０によって取得された学習用画像の属性とが合致する尤度を、分類Ａ、および分類Ｂの各々について判定する（ステップＳ２０２）。

【0064】

次に、学習部２６０は、多層ニューラルネットワークの各パラメーターを調整する（ステップＳ２０３）。学習部２６０は、第１判定部２３０、および第２判定部２４０による判定結果と、学習用画像の正解分類ラベルとを比較し、比較結果に基づいて、第１特徴抽出部２３１、および第２特徴抽出部２４１の多層ニューラルネットワークの各パラメーターを調整する。より具体的には、学習部２６０は、例えば、バックプロパゲーション（Ｂａｃｋ－ｐｒｏｐａｇａｔｉｏｎ、誤差逆伝搬法）に基づく処理を実行することにより、比較結果の差異が小さくなるように各パラメーターを調整する。

【0065】

次に、学習部２６０は、全ての学習用画像について学習が完了したか否かを判定する（ステップＳ２０４）。全ての学習用画像について学習が完了している場合（ステップＳ２０４：ＹＥＳ）、学習部２６０は、これまでの処理で構築された学習済みモデルを記憶して終了する（エンド）。一方、全ての学習用画像について学習が完了していない場合（ステップＳ２０４：ＮＯ）、ステップＳ２０１の処理に戻り、全ての学習用画像について学習が完了するまで処理を繰り返す。

【0066】

以上で説明した第１の実施形態の検査装置１００は、下記の効果を奏する。

【0067】

検査対象に関する入力画像に対する複数の分類に共通する非欠陥を表す属性について、第１判定部２３０、および第２判定部２４０が同時並行的に分類し、集計部２５０が判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。したがって、リソースや処理時間（タクトタイム）の追加を抑制しつつ、検査対象の欠陥有無の判定精度を向上できる。

【0068】

（第２の実施形態）
第１の実施形態では、欠陥・非欠陥の分類と、非欠陥・欠陥種の分類とが設定される場合について説明した。第２の実施形態では、欠陥種の分類をさらに細かく分類する場合について説明する。以下では、説明の重複を避けるため、第１の実施形態と同じ構成については説明を省略する。

【0069】

図６は、第２の実施形態に係る検査装置の制御部の主要な機能を例示する機能ブロック図である。

【0070】

検査装置１００は、画像取得部３１０、第１特徴抽出部３３１～第４特徴抽出部３６１、第１分類部３３２～第４分類部３６２、および集計部３７０を有する。画像取得部３１０は、第１の実施形態における画像取得部２１０と同じ構成であるので、詳細な説明を省略する。

【0071】

本実施形態の検査装置１００においては、第１判定部３３０～第４判定部３６０を有する複数の判定部の判定（分類）結果を集計部３７０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。

【0072】

下記表２に示すように、第１判定部３３０～第４判定部３６０に対して、欠陥に関する第１分類～第４分類が各々設定され、第１分類～第４分類は、各々互いに異なる複数の属性（クラス）を含んでいる。このうち、非欠陥を表す属性は、第１分類～第４分類に共通する共通属性である。

【0073】

【表2】

【0074】

第１分類は、欠陥を表す属性、および非欠陥を表す属性を含む分類であり、第１の実施形態における分類Ａに相当する。また、第２分類は、非欠陥、凸欠陥、凹欠陥、およびＦｌａｔ欠陥を表す属性を含む分類である。また、第３分類は、非欠陥、円形欠陥、線欠陥、およびムラ欠陥を表す属性を含む分類である。また、第４分類は、非欠陥、大欠陥、中欠陥、および小欠陥を表す属性を含む分類である。

【0075】

すなわち、第１分類は検査対象の表面における欠陥の有無に着目した分類であり、第２分類は検査対象の表面における欠陥の凸凹に着目した分類であり、第３分類は検査対象を平面視したときの欠陥の形状に着目した分類であり、第３分類は検査対象の表面における欠陥の大きさに着目した分類である。

【0076】

検査対象の欠陥は、分類の着目点により多様に分類されうる。表２に示す例では、欠陥を表す属性、および非欠陥を表す属性を含む第１分類と、非欠陥を表す属性、および欠陥種を表す属性を含む第２分類～第４分類が設定される場合について例示したが、分類方法は、このような場合に限定されない。

【0077】

本実施形態において、表２に示すように欠陥種を細かく分類した理由は以下のとおりである。属性を離散的に分けたとしても、欠陥種は実空間上では連続的であるため、属性間は完全に独立ではなく、検査対象の欠陥が該当する欠陥種は、１つだけとは限らない。例えば、検査対象の欠陥が、凸欠陥であり、かつ円形欠陥に該当する場合もあり、この場合は単一の判定部（識別器）では扱えない。

【0078】

そこで、本実施形態では、第１判定部３３０～第４判定部３６０の複数の判定部が、各々第１分類～第４分類について、同時並行的に分類を実施するように構成されている。これにより、入力画像について、第１分類～第４分類のマルチタスク的な分類処理が実施される。また、第１特徴抽出部３３１～第４特徴抽出部３６１の各特徴抽出部によって抽出される特徴量は、分類に応じて変化すると考えられ、第１判定部３３０～第４判定部３６０は、これらの特徴量を反映させた分類を各々実施できる。

【0079】

また、第１分類～第４分類の各々に非欠陥を表す属性を組み入れることにより、集計部３７０において、非欠陥を表す属性のみアンサンブル（Ｅｎｓｅｍｂｌｅ）することができ、入力画像が非欠陥を表す属性を有するか否かを確実に判定できる。

【0080】

第１判定部３３０は、第１の実施形態における第１判定部２３０と同じ構成であるので、詳細な説明を省略する。

【0081】

第２判定部３４０は、入力画像の非欠陥、凸欠陥、凹欠陥、Ｆｌａｔ欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報（例えば、尤度）によって表される。

【0082】

第３判定部３５０は、入力画像の非欠陥、円形欠陥、線欠陥、ムラ欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報によって表される。

【0083】

第４判定部３６０は、入力画像の非欠陥、大欠陥、中欠陥、小欠陥等の複数の属性を含む分類において、各々の属性と、入力画像の属性とが合致する確からしさを判定する。確からしさは、統計情報によって表される。

【0084】

集計部３７０は、非欠陥を表す属性（共通属性）について、第１判定部３３０～第４判定部３６０の判定結果を集計し、集計結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定する。集計部３７０は、例えば、第１判定部３３０～第４判定部３６０の判定結果が非欠陥を表す属性である個数に応じて、欠陥／非欠陥の最終的な判定結果を出力しうる。集計部３７０は、例えば、判定結果が非欠陥を表す属性である個数が所定個数以上の場合、最終的に、入力画像が非欠陥を表す属性を有すると判定する。操作表示部１３０は、判定条件入力部として機能し、所定の個数（閾値）を受け付け、集計部３７０に出力する。

【0085】

また、集計部３７０は、入力画像が非欠陥を表す属性を有すると判定した場合、第１判定部３３０～第４判定部３６０のうち、入力画像が非欠陥を表す属性を有しないと判定した判定部について判定不可として出力する。あるいは、集計部３７０は、入力画像が欠陥を表す属性を有すると判定した場合、第１判定部３３０～第４判定部３６０のうち、入力画像が欠陥を表す属性を有しないと判定した判定部について判定不可として出力する。

【0086】

このように、第１判定部３３０～第４判定部３６０の間において、欠陥／非欠陥の属性について異なる判定結果が出力された場合、多数決を採り、個数が多い方の判定結果を採用し、個数が少ない方の判定結果を判定不可とすることで、ユーザーが判定結果を解釈しやすくなる。

【0087】

また、集計部３７０は、統計情報に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定することもできる。統計情報は、例えば、最大尤度、最小尤度、平均尤度等でありうる。例えば、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、最大尤度が所定の第１の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。また、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、最小尤度が少なくとも所定の第２の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。また、集計部３７０は、第１判定部３３０～第４判定部３６０の判定結果のうち、平均尤度が所定の第３の閾値以上の判定結果に基づいて、入力画像が非欠陥を表す属性を有するか否かを判定しうる。

【0088】

以上で説明した第２の実施形態の検査装置１００は、第１の実施形態の検査装置１００の効果に加えて下記の効果を奏する。

【0089】

入力画像に関して互いに異なる複数の特徴量に基づいて、欠陥・非欠陥の分類を多面的に判定するので、欠陥・非欠陥の判定精度が向上する。また、複数の判定部が、欠陥・非欠陥の分類と、欠陥種に関する複数の分類とを、同時並行的に判定するように構成されているので、従来技術のように、欠陥種の分類の前に、欠陥・非欠陥の分類を実施する必要がない。

【0090】

（第３の実施形態）
第２の実施形態では、欠陥・非欠陥の分類と、非欠陥・欠陥種に関する複数の分類とが設定される場合について説明した。第３の実施形態では、欠陥・非欠陥の分類を設定せずに、非欠陥・欠陥種に関する複数の分類のみが設定される場合について説明する。以下では、説明の重複を避けるため、第１の実施形態、または第２の実施形態と同じ構成については説明を省略する。

【0091】

図７は、第３の実施形態に係る検査装置１００の制御部１１０の主要な機能を例示する機能ブロック図である。

【0092】

検査装置１００は、画像取得部４１０、第２特徴抽出部４４１～第４特徴抽出部４６１、第２分類部４４２～第４分類部４６２、および集計部４７０を有する。画像取得部４１０は、第１の実施形態における画像取得部２１０と同じ構成である。また、第２判定部４４０～第４判定部４６０は、第２の実施形態における第２判定部３４０～第４判定部３６０と各々同じ構成である。

【0093】

本実施形態の検査装置１００においては、第２判定部４４０～第４判定部４６０を有する複数の判定部の分類（判定）結果を集計部４７０が集計し、入力画像について、最終的な欠陥／非欠陥の判定結果を出力するように構成されている。

【0094】

第３の実施形態の検査装置１００は、第１および第２の実施形態の検査装置１００の効果に加えて下記の効果を奏する。

【0095】

欠陥種の分類に非欠陥を表す属性が各々組み入れられ、第２判定部４４０～第４判定部４６０により同時並行的に判定が実施されるように構成されている。したがって、欠陥種の分類の各々に非欠陥を表す属性が加えられただけであるので、判定処理に必要なリソースや時間は、欠陥種の分類だけを実施する場合と概ね同じである。

【0096】

上述した検査装置、検査方法、および検査プログラムは、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な検査装置等が備える構成を排除するものではない。

【0097】

例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

【0098】

また、本発明は、おおまかに分類した後に、判定結果に応じて、さらに詳細に分類する装置の性能向上に好適である。例えば、上述の第１～第３の実施形態では、検査対象としての部品の欠陥・非欠陥を分類するとともに、欠陥種を分類する検査装置を例示して説明したが、本発明は、部品の欠陥検査に限定されず、例えば、入力画像の人や物体の属性を分類する場合にも適用できる。例えば、人検出において、非人間を表す属性を共通属性として設定し、入力画像について、人間・非人間を分類するとともに、人間の性別、年代、眼鏡の有無等を分類するように構成することもできる。

【0099】

また、検出された生体の属性を判定することもできる。例えば、がんタイプの正確な診断を可能にするＨＳＴＴ（Ｈｉｇｈ Ｓｅｎｓｉｔｉｖｅ Ｔｉｓｓｕｅ Ｔｅｓｔｉｎｇ）技術によって診断された画像について、特定のがんを共通属性として設定し、画像が特定のがんを表す属性を有するか否かを判定するように構成できる。

【0100】

また、上述の第１～第３の実施形態では、検査対象の画像について判定する場合について説明したが、画像以外のコンテンツについて共通属性をするか否かを判定するように構成してもよい。コンテンツとしては、例えば、テキスト、動画、音声、図形、色彩等が挙げられる。

【0101】

また、上述の第１～第３の実施形態では、共通属性が１つの場合について主に説明したが、共通属性が複数個設定されるように設定してもよい。例えば、検査対象である製品の種類に応じて、非欠陥を表す属性が切り替えられるよう、第１の非欠陥を表す属性、および第２の非欠陥を表す属性が設定されるように構成してもよい。

【0102】

また、上述の第１の実施形態において、第１特徴抽出部２３１と欠陥判定部２３２とが対応し、第２特徴抽出部２４１と詳細分類部２４２とが対応するように構成され、第２および第３の第３の実施形態においても、各々の特徴抽出部と分類部とが対応するように構成される場合について説明した。しかし、本発明は、このような場合に限定されず、各々の特徴抽出部はその特徴の一部または全てを他の特徴抽出部と共有するように構成されてもよい。例えば、第１特徴抽出部３３１と第２特徴抽出部３４１とを１つの特徴抽出部に集約し、その出力を第１分類部３３２および第２分類部３４２に分岐させ、第３特徴抽出部３５１と第４特徴抽出部３６１とを別の特徴抽出部に集約し、その出力を第３分類部３５２および第４分類部３６２に分岐させるように構成してもよい。また、第１特徴抽出部３３１～第４特徴抽出部３６１を１つの特徴抽出部に集約し、その出力を第１分類部３３２１～第４分類部３６２に分岐させるように構成してもよい。すなわち、ニューラルネットワークにおいて、様々な種類の特徴を用意しておいて、その中のどの特徴を判定に用いるかを対象タスクごとの判定部（分類部）が学習したり、一部の特徴は共通のものを用いたりできる。

【0103】

また、上述した検査装置、および学習装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検査装置、学習装置等の装置のソフトウェアに組み込まれてもよい。

【符号の説明】

【0104】

１００ 検査装置、
１１０ 制御部、
１１１ ＣＰＵ、
１１２ ＲＡＭ、
１１３ ＲＯＭ、
１１４ 補助記憶部、
１２０ 通信部、
１３０ 操作表示部、
２１０ 画像取得部、
２３１ 第１特徴抽出部、
２３２ 欠陥判定部、
２４１ 第２特徴抽出部、
２４２ 詳細分類部、
２５０ 集計部、
２６０ 学習部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】