(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024140750
(43)【公開日】2024-10-10
(54)【発明の名称】異常判定システム、異常判定方法、及びプログラム
(51)【国際特許分類】
G06V 10/771 20220101AFI20241003BHJP
G01N 21/88 20060101ALI20241003BHJP
G06T 7/00 20170101ALI20241003BHJP
G06V 10/82 20220101ALI20241003BHJP
【FI】
G06V10/771
G01N21/88 J
G06T7/00 610C
G06T7/00 300F
G06V10/82
G06T7/00 350C
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023052065
(22)【出願日】2023-03-28
(71)【出願人】
【識別番号】308028186
【氏名又は名称】セイコーフューチャークリエーション株式会社
(71)【出願人】
【識別番号】502178001
【氏名又は名称】学校法人梅村学園
(71)【出願人】
【識別番号】523113973
【氏名又は名称】合同会社YYCソリューション
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】伊藤 麻里
(72)【発明者】
【氏名】▲高▼橋 朝子
(72)【発明者】
【氏名】高橋 正美
(72)【発明者】
【氏名】青木 公也
(72)【発明者】
【氏名】輿水 大和
(72)【発明者】
【氏名】渡辺 康生
【テーマコード(参考)】
2G051
5L096
【Fターム(参考)】
2G051AA07
2G051AB01
2G051AB02
2G051EB05
5L096EA31
5L096EA39
5L096FA33
5L096FA34
5L096FA64
5L096FA65
5L096FA66
5L096FA69
5L096GA30
5L096GA51
5L096HA09
5L096HA11
5L096JA05
5L096JA11
5L096JA22
(57)【要約】
【課題】画像検査の信頼性を高めること。
【解決手段】異常判定システムは、表現学習のモデルである学習済みモデルを取得する学習済みモデル取得部と、良品である検査対象物の画像である良品画像、または検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得部と、複数の検査画像をそれぞれ学習済みモデルに入力することによって、特徴空間における検査画像から抽出される潜在的な特徴量の座標を算出する潜在的特徴量算出部と、潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて特徴空間の軸のなかから選択される軸であって、形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択部と、を備える。
【選択図】
図5
【特許請求の範囲】
【請求項1】
検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得部と、
良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得部と、
前記検査画像取得部によって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得部によって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出部と、
前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択部と、
を備える異常判定システム。
【請求項2】
前記検査画像には、前記欠陥品画像が含まれ、
前記軸選択指標は、前記特徴空間の軸が示す前記潜在的な特徴量と、前記形式知的特徴量との間に正または負の相関があることである
請求項1に記載の異常判定システム。
【請求項3】
前記複数の前記検査画像には、複数の前記良品画像が含まれ、
前記軸選択指標は、前記特徴空間において前記良品画像についての前記潜在的な特徴量の分布のばらつきが少ないことである
請求項1に記載の異常判定システム。
【請求項4】
前記軸選択部は、前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、前記軸選択指標とに基づいて、前記特徴空間の軸のなかから前記第1軸を1以上選択する
請求項1に記載の異常判定システム。
【請求項5】
前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、前記軸選択指標とに基づいて、前記特徴空間の軸のなかから前記第1軸を1以上選択するユーザからの操作を受け付ける操作受付部をさらに備え、
前記軸選択部は、前記操作受付部が受け付けた前記操作に基づいて前記特徴空間の軸のなかから前記第1軸を1以上選択する
請求項1に記載の異常判定システム。
【請求項6】
1以上の前記第1軸に基づいて判定対象の前記検査対象物について前記形式知的特徴量の程度を判定する判定部
をさらに備える請求項1に記載の異常判定システム。
【請求項7】
前記判定部は、選択された1以上の前記第1軸に基づいて閾値を設定し、設定した閾値に基づいて前記判定対象の前記検査対象物が良品または欠陥品のいずれであるかを判定する
請求項6に記載の異常判定システム。
【請求項8】
前記検査対象物の画像を前記学習済みモデルに入力して、選択された1以上の前記第1軸に基づいて前記学習済みモデルを評価する学習済みモデル評価部
をさらに備える請求項1に記載の異常判定システム。
【請求項9】
表現学習のモデルの学習に用いられる前記検査対象物の画像のセットについての前記潜在的な特徴量の分布を、選択された1以上の前記第1軸に基づいて評価する学習用画像評価部
をさらに備える請求項1に記載の異常判定システム。
【請求項10】
選択された1以上の前記第1軸に基づいて表現学習のモデルの学習のための前記検査対象物の画像を生成する学習用画像生成部
をさらに備える請求項1に記載の異常判定システム。
【請求項11】
検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得ステップと、
良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得ステップと、
前記検査画像取得ステップによって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得ステップによって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出ステップと、
前記潜在的特徴量算出ステップによって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択ステップと、
を有する異常判定方法。
【請求項12】
コンピュータに、
検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得ステップと、
良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得ステップと、
前記検査画像取得ステップによって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得ステップによって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出ステップと、
前記潜在的特徴量算出ステップによって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択ステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、異常判定システム、異常判定方法、及びプログラムに関する。
【背景技術】
【0002】
検査対象物(ワーク、素形材等)の外観の目視検査を画像検査によって自動化する画像検査システムが知られている(例えば、特許文献1、2を参照)。当該画像検査システムでは、検査対象物の表面を撮影した画像データを解析し、検査対象物の表面に存在するキズ、及び欠陥等の瑕疵を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-205163号公報
【特許文献2】特開2020-144626号公報
【特許文献3】特開2018-205123号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
目視検査を画像検査システムによって自動化するためには、大量かつ種類が豊富な欠陥の例が必要となる。しかし、産業界においては大量かつ種類が豊富な実際の欠陥品または実際の欠陥品の画像を入手することは難しいことが多い。そのため、深層学習のクラス分類、またはセグメンテーションなどの欠陥自体を判別する手法の開発は難しい。
そこで、欠陥品ではなく良品群を学習させることで欠陥を検出する手法がある。しかしながら、この手法は、良品の中に欠陥に似通ったテクスチャが含まれる場合には、良品と欠陥品とを判定することは難しい。
【0005】
良品と欠陥品との判定の精度を改善するために、特許文献1に記載の外観検査装置では、疑似欠陥画像を用いたデノイジングオートエンコーダ技術が用いられている。当該デノイジングオートエンコーダ技術では、疑似欠陥画像を予め用意してその欠陥の部分を削除して良品画像に復元するように学習させる(デノイジング)。特許文献1に記載の外観検査装置では、欠陥とみなしたい判定境界の設定は、疑似欠陥画像を用いて期待する結果が得られるように学習し直すことによって学習自体をコントロールする必要がある。しかし、疑似欠陥画像を用いた学習のコントロールは、良品の中に欠陥に似たテクスチャが混ざっている場合には実現することは困難である。
【0006】
特許文献2に記載の異常検出システムでは、生成モデルの判定の精度を高めるために、潜在空間上で次元圧縮が用いられている。当該次元圧縮では、様々な手法を用いて、学習データ自体がクラスタとしてまとまるようにクラスタの選別が行われる。しかし、外観検査の欠陥判別は単一の特徴に基づいて行うことはできず、複数の特徴が複雑に絡み合った判断基準が必要とされることが多い。特許文献2に記載の異常検出システムでは、次元圧縮の際に、良否判定に有益な情報が失われてしまう恐れがある。
【0007】
深層学習を用いた画像検査によって目視検査を自動化する場合に学習結果がブラックボックス化するため、従来の画像検査システムでは、画像検査の信頼性が十分ではなかった。画像検査の信頼性を高めることが求められている。
【0008】
本発明は上記の点に鑑みてなされたものであり、画像検査の信頼性を高めることができる異常判定システム、異常判定方法、及びプログラムを提供する。
【課題を解決するための手段】
【0009】
本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得部と、良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得部と、前記検査画像取得部によって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得部によって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出部と、前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択部と、を備える異常判定システムである。
【0010】
また、本発明の一態様は、上記の異常判定システムにおいて、前記検査画像には、前記欠陥品画像が含まれ、前記軸選択指標は、前記特徴空間の軸が示す前記潜在的な特徴量と、前記形式知的特徴量との間に正または負の相関があることである。
【0011】
また、本発明の一態様は、上記の異常判定システムにおいて、前記複数の前記検査画像には、複数の前記良品画像が含まれ、前記軸選択指標は、前記特徴空間において前記良品画像についての前記潜在的な特徴量の分布のばらつきが少ないことである。
【0012】
また、本発明の一態様は、上記の異常判定システムにおいて、前記軸選択部は、前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、前記軸選択指標とに基づいて、前記特徴空間の軸のなかから前記第1軸を1以上選択する。
【0013】
また、本発明の一態様は、上記の異常判定システムにおいて、前記潜在的特徴量算出部によって算出された前記潜在的な特徴量の座標と、前記軸選択指標とに基づいて、前記特徴空間の軸のなかから前記第1軸を1以上選択するユーザからの操作を受け付ける操作受付部をさらに備え、前記軸選択部は、前記操作受付部が受け付けた前記操作に基づいて前記特徴空間の軸のなかから前記第1軸を1以上選択する。
【0014】
また、本発明の一態様は、上記の異常判定システムにおいて、1以上の前記第1軸に基づいて判定対象の前記検査対象物について前記形式知的特徴量の程度を判定する判定部をさらに備える。
【0015】
また、本発明の一態様は、上記の異常判定システムにおいて、前記判定部は、選択された1以上の前記第1軸に基づいて閾値を設定し、設定した閾値に基づいて前記判定対象の前記検査対象物が良品または欠陥品のいずれであるかを判定する。
【0016】
また、本発明の一態様は、上記の異常判定システムにおいて、前記検査対象物の画像を前記学習済みモデルに入力して、選択された1以上の前記第1軸に基づいて前記学習済みモデルを評価する学習済みモデル評価部をさらに備える。
【0017】
また、本発明の一態様は、上記の異常判定システムにおいて、表現学習のモデルの学習に用いられる前記検査対象物の画像のセットについての前記潜在的な特徴量の分布を、選択された1以上の前記第1軸に基づいて評価する学習用画像評価部をさらに備える。
【0018】
また、本発明の一態様は、上記の異常判定システムにおいて、選択された1以上の前記第1軸に基づいて表現学習のモデルの学習のための前記検査対象物の画像を生成する学習用画像生成部をさらに備える。
【0019】
また、本発明の一態様は、検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得ステップと、良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得ステップと、前記検査画像取得ステップによって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得ステップによって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出ステップと、前記潜在的特徴量算出ステップによって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択ステップと、を有する異常判定方法である。
【0020】
また、本発明の一態様は、コンピュータに、検査対象物の画像と前記検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデルを取得する学習済みモデル取得ステップと、良品である前記検査対象物の画像である良品画像、または前記検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する検査画像取得ステップと、前記検査画像取得ステップによって取得された前記複数の前記検査画像をそれぞれ、前記学習済みモデル取得ステップによって取得された前記学習済みモデルに入力することによって、前記学習済みモデルによって画像から抽出される潜在的な特徴量の空間である特徴空間における前記検査画像から抽出される前記潜在的な特徴量の座標を算出する潜在的特徴量算出ステップと、前記潜在的特徴量算出ステップによって算出された前記潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて前記特徴空間の軸のなかから選択される軸であって、前記形式知的特徴量がより表現されている1以上の第1軸を選択する軸選択ステップと、を実行させるためのプログラムである。
【発明の効果】
【0021】
本発明によれば、画像検査の信頼性を高めることができる。
【図面の簡単な説明】
【0022】
【
図1】本発明の第1の実施形態に係る欠陥の特徴量を変化させたときの人工不良品画像を深層学習に入力し特徴分布の座標の変化を観察する模式図である。
【
図2】本発明の第1の実施形態に係る欠陥の特徴量を変化させたときの人工不良品画像を深層学習に入力し特徴分布の座標の変化を観察する模式図である。
【
図3】本発明の第1の実施形態に係る欠陥品画像の模式図の一例を示す図である。
【
図4】本発明の第1の実施形態に係る表現学習のモデルの一例を示す図である。
【
図5】本発明の第1の実施形態に係る異常判定装置の構成の一例を示す図である。
【
図6】本発明の第1の実施形態に係る異常判定処理の流れの一例を示す図である。
【
図7】本発明の第1の実施形態に係る人工検査画像の素地として選択された良品画像の一例を示す図である。
【
図8】本発明の第1の実施形態に係る人工検査画像の素地として選択された良品画像の一例を示す図である。
【
図9】本発明の第1の実施形態に係る欠陥の面積が段階的に変化させられた人工検査画像の一例を示す図である。
【
図10】本発明の第1の実施形態に係る欠陥の濃度が段階的に変化させられた人工検査画像の一例を示す図である。
【
図11】本発明の第1の実施形態に係る潜在変数のプロットの一例を示す図である。
【
図12】本発明の第1の実施形態に係る潜在変数のプロットの一例を示す図である。
【
図13】本発明の第1の実施形態に係る潜在変数のプロットの一例を示す図である。
【
図14】本発明の第1の実施形態に係る潜在変数のプロットの一例を示す図である。
【
図15】本発明の第1の実施形態に係る潜在変数のプロットに対する直線によるフィッティングの一例を示す図である。
【
図16】本発明の第1の実施形態に係る潜在変数のプロットに対する直線によるフィッティングの一例を示す図である。
【
図17】本発明の第1の実施形態に係る潜在変数のプロットに対する直線によるフィッティングの一例を示す図である。
【
図18】本発明の第1の実施形態に係る潜在変数のプロットに対する直線によるフィッティングの一例を示す図である。
【
図19】本発明の第1の実施形態に係るユーザによって選択される軸についての潜在変数のプロットの一例を示す図である。
【
図20】本発明の第1の実施形態に係る直線フィッティングの誤差を示すグラフの一例を示す図である。
【
図21】本発明の第1の実施形態に係る選択された軸を用いて表された潜在空間の模式図の一例を示す図である。
【
図22】本発明の第1の実施形態に係る特徴空間の解釈の模式図の一例を示す。
【
図23】本発明の第2の実施形態に係る異常判定システムの構成の一例を示す図である。
【発明を実施するための形態】
【0023】
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
従来、検査対象物の外観の目視検査を画像検査によって自動化する画像検査システムが知られている。そのような画像検査システムでは、例えば、深層学習(DNN:Deep Neural Network)に基づいて検査対象物の画像から当該検査対象物についての異常の検出が行われていた。本実施形態では、DNNによる出力を判定に用いる代わりに、DNNが検査対象物の画像から抽出した特徴量から構成される特徴分布の空間を判定に用いる。本実施形態では、特徴分布の空間において、欠陥の外観について定量化可能な特徴量である形式知的特徴量がより表現されている軸を選択し、選択した軸に基づいて判定を行う。
【0024】
本実施形態では、不良品とは、外観に欠陥を有する検査対象物を意味する。そのため、不良品を欠陥品ともいう。以下の説明では、良品である検査対象物の画像を良品画像という。また、欠陥品である検査対象物の画像を欠陥品画像という。なお、本実施形態では、良品画像は、実物の検査対象物の画像である。欠陥品画像は、人工的に生成された画像(人工検査画像)である場合と、実物の欠陥品の画像である場合とがある。
【0025】
産業界では、外観検査自動化を達成する手段の一つとして、DNNの適用が注目されているDNNは、高い識別精度と汎化性能が期待できることや、画像処理ロジックと比較して開発工数が少なく、システマティックに設計できる利点がある。しかし製造現場では、不良品の発生件数が極めて稀であることから特に少量多品種、小規模ライン、開発初期から中期等では学習に必要な不良データの収集が困難である。したがって外観検査自動化に用いられてきたDNN(外観検査DNN)の適用には、良品サンプルと不良品サンプルのデータ数が不均衡な条件でモデルを生成するための枠組みが求められる。さらに実利用では、生成されたDNNモデルが判断可能な欠陥種や程度を明確化することが重要な課題となる。
【0026】
本実施形態では、外観検査DNNの課題である学習データ不足課題を解決し、かつ適用限界の明確化課題を解決できるデータ拡張手法を提案する。その基本アイディアは、「実画像らしさ」という考えの導入にあり、詳細は以下のとおりである。
【0027】
次に、DNNを検査対象物の外観の検査に用いる場合の適用限界について述べる。
[学習サンプルの不均衡]
上述の通り、製造現場では収集できるデータに偏りが生じ易い。例えば教師付き学習による欠陥種分類問題を考える場合、期待する識別精度を達成するためには、少なくとも良品データと同等量の各欠陥種のデータが必要となるが、それらを確保することは難しい。また、たとえ十分なデータが入手できたとしても、各欠陥種のデータそれぞれにラベルを付与する作業の負荷が高い。一方、教師なし学習等による異常検知においては、不良データを必要とせずモデルを生成できる。しかし、教師なし学習等によるモデルでは、単一クラスの学習であるため、良否判定は可能であるが、欠陥種の分類には工夫が必要である。
【0028】
[外観検査DNNの適用限界]
画像処理ロジックによる検査では、良否判定に有効な特徴量を人為的に設計する。その際、検査に有効な特徴量を網羅的に生成できればDNNは不要である。しかし検査に有効な特徴量は、検査対象、及び検出すべき欠陥の種類により変化する。したがって、その都度人為的に設計するか、または欠陥種、及び検査対象の変化に堅牢な特徴量を新たに設計することが求められる。特徴量を新たに設計することは開発工数が嵩むことを意味し実現困難なことがある。
【0029】
画像処理ロジックに対し、DNNではタスクに応じて特徴量を自動設計する。そのため、DNNでは、検査に有効な特徴量を設計できる。しかしその特徴量から、判断可能な欠陥種及び程度など、適用範囲を説明することは困難である。教師あり学習による分類問題であれば、DNNはラベルと結果が一致するように学習する。推論では、尤度に応じて予め用意したいずれかのカテゴリーに分類する。つまり、DNNを外観検査に適用するには想定外の欠陥種が発生したときの対応を考慮し、出力カテゴリー数を適切に決定することが重要である。
【0030】
一方、異常検知では、不確実性を考慮した設計が可能であるため、予め発生し得る欠陥種が未知な条件であってもモデルを生成できる。しかし、やはり大量の不良品データを用いて検査の適用範囲を明確化することが必要となる。つまり外観検査は、モデルが識別できる欠陥の種類、及び程度等の仕様を定義することが必要不可欠である。DNNの外観検査への適用においてもその条件は変わらない。
【0031】
またDNNには、標本集団の量と質がシステムの精度に直接作用するという性質がある。そのような性質上、検査仕様を満たすDNNのモデルの生成には、予めそれらを内包するデータが必要となり、学習データが不足するという課題に帰着する。
【0032】
[説明可能AI]
DNNでは推定結果に至るプロセスを解明できること、及び抽出された特徴を解釈できることが望まれる。つまり、説明可能なAIを設計することは重要な課題である。現状では、ネットワークの勾配から活性化箇所を顕在化させるGrad-CAM、及びネットワークの解剖によって解釈する手法が提案されている。
【0033】
以上の手法を外観検査DNNに適用すればモデルの欠陥検出の有無を確認できることから、識別結果に対する信頼性が向上する可能性はある。しかし、モデルが検査に対応できる欠陥種やサイズ等の仕様まで保証することは困難である。外観検査では可能な限り欠陥の状態及び程度を規定する。したがって、従来手法では適用の阻害要因を解決する手段としては有効とは言い難い。
【0034】
次に、本実施形態において、人工検査画像、及び表現学習について説明する。
[「実画像らしさ」を考慮した人工検査画像]
前述の通り、外観検査DNNでは、学習または評価に用いる標本集団の量と質が重要である。データ不足の課題は、拡張により補間できる場合がある。例えば、学習サンプルに濃度操作、または幾何変換を施し、データを拡張する場合がある。しかし、そのような拡張手法では、良品のばらつき、または検出すべき欠陥信号の特徴を考慮することなく変換する。
したがって、そのような拡張手法では、データの質を担保できるとは必ずしも言えず、ひいては、DNNの判断根拠をより複雑化する可能性がある。翻って、データの質を担保でき得る拡張手法であれば質の高いデータを大量に用意することは可能となる。
【0035】
「質」とは、実際に発生し得る欠陥の特徴量、見え方を有し、DNNの判断根拠の解釈に有効なことと考え、それらの条件を満たし得るデータの拡張手法が提案されている(特許文献3を参照)。特許文献3に記載の拡張手法は、具体的には、実際の欠陥が有する形状、位置、濃度、及びテクスチャ等の特徴量を変換した人工欠陥を生成し、良品画像の素地に合成するものである。したがって、特許文献3に記載の拡張手法によれば、バリエーションに富んだ人工的な不良品画像の生成が可能となる。また、実際の欠陥が入手困難な場合には、欠陥の発生原理に基づき、人工的な不良品画像の生成が可能である。
【0036】
以上の手法は生成画像に含まれる欠陥の特徴量が既知である点が利点である。したがって、見た目の定性的評価でなく、実検査画像が有する特徴量の類似性について定量的評価が可能となり、再現性を担保でき得る。つまり、実検査画像の特徴に基づき、検出したい欠陥の仕様に合わせた画像の生成が可能である。実験によって、DNNによる良否判定において有効性が確認されている。
【0037】
[表現学習]
DNNが抽出した特徴量の効果を知ることは目的のタスクを達成するうえで重要な課題である。教師なし学習では、パターン認識を行う上でデータから抽出した多次元の潜在的な特徴空間を定量的に評価する枠組みが求められている。手書き数字文字(MNIST)の学習データの傾き、厚み、幅、及び高さ等の特徴を算出しテストデータの特徴量との相関を求める手法が提案されている。
以上より抽象化されたDNNの特徴量を解釈することは、モデルの判定結果の信頼性を保証することに有効であり、DNNの外観検査への適用の阻害要因の解決に貢献する効果が期待される。
【0038】
ここで外観検査DNNの適用限界を明確化し得る手法について説明する。その実現には人工画像を使用する。上述したように、学習データ不足を補間する目的で画像生成を使用し識別精度の向上を図る例が知られている。これに対して、本実施形態ではDNNが抽出した特徴量から構成される特徴分布の空間の隙間を補間する目的で人工的に画像を生成する。入力が画像であるため、どのような画像がDNNの特徴分布のどの座標に分布するかが分かる。
【0039】
ここで入力画像が変化すればDNNの特徴空間に分布する座標も変化するはずである。検査においては異常信号の有無、及び当該異常信号の程度によってDNNの特徴空間内に分布する座標は変化すると考えられる。当該異常信号は形式知である欠陥の特徴分布として表現できる。つまり欠陥の特徴量を変化させることによってDNNの特徴分布の部分を解釈できると考えられる。以下では欠陥の特徴量を変化させたときの人工不良品画像をDNNに入力し特徴分布の座標の変化を観察する場合について説明する。
【0040】
図1及び
図2に、欠陥の特徴量を変化させたときの人工不良品画像をDNNに入力し特徴分布の座標の変化を観察する模式図を示す。欠陥の特徴量F
defectが既知の人工画像を生成し、予め学習したDNNの特徴量F
dnnの特徴空間に写像することで判断根拠の解釈を試みる。
図1に示す特徴量F
defectは、生成した欠陥画像に含まれる欠陥の既知の特徴量である。一方、
図2の特徴量F
dnnは学習したDNNが抽出した特徴量である。特徴量F
defectは形式知であり、制御可能である。一方、特徴量F
dnnは暗黙知であり制御困難である。裏を返せば、DNNの特徴空間内の任意の座標に分布する画像を人工的に生成できれば、DNNが抽出した暗黙知的な特徴量の一部を解釈することが可能になると考えられる。
【0041】
具体的には、人工検査画像について、形式知である特徴量F
defectを連続的に変化させたときの、暗黙知的な特徴量F
dnnの特徴空間において変遷する座標の軌跡を観察する。これによって、特徴量F
defectと特徴量F
dnnと対応関係が解釈できる。例えば、特徴量特徴量F
defect1、及び特徴量F
defect2をそれぞれ連続的に変化させた生成画像G1と、生成画像G2をDNNの特徴分布に写像する。
図2に示すように、生成画像G1では、DNNの特徴空間との関係は不明である。一方、生成画像G2では、特徴量F
dnn3の方向と関連性がある。以上より、DNNが識別できる欠陥種の種類や程度が分かる。
【0042】
DNN特徴空間の様子を明確にできれば、実際に発生し得る特徴を有し、DNNの構築に効果的な任意の画像を生成することが可能となる。その結果、適用限界が明確化され、検査結果の信頼性の向上に繋がり得る。
【0043】
[検査対象物と撮像条件]
本実施形態では、一例として、精密金属部品の検査について説明する。当該検査では、産業用カメラで金属表面を撮像する。
図3に欠陥品画像の模式図を示す。
【0044】
本検査部品は切削加工されており、撮像された画像では加工跡が縦縞模様を形成している。本検査部品の欠陥は、凹凸欠陥と付着物による欠陥に大別される。特に凹凸欠陥では打痕が多く、付着物による欠陥ではシミが多い。
【0045】
[人工画像生成]
上述したように、既知の欠陥特徴量を有する不良品画像を人工的に生成する。不良品画像を人工的に生成するための手法としては、例えば、特許文献3に記載の不良品画像生成手法が好適に用いられる。人工不良品画像が有する既知の特徴量は、欠陥の形状、位置、濃度、及びテクスチャである。人工不良品画像は、実際の不良品画像とその検査対象に対する知見に基づいて生成される。実際の不良品画像が少量の場合は、生成時の特徴量は上述した特徴量のなかから乱数によって決定される。データと知見が蓄積されるにつれて、その振り幅は最適化される。振り幅が最適化されることで、実際に発生し得る特徴を有する人工不良品画像を生成できる。
【0046】
本実施形態では検査対象に発生する欠陥種のうちシミの検出を行う。上述した特許文献3に記載の不良品画像生成手法では、模擬欠陥を生成し良品に合成するため良品の特徴量を可能な限り欠損なく不良品画像が生成できる。さらに実際の不良品画像の取得が困難な場面を想定しまた欠陥の発生原理と見え方を考慮して、人工検査画像として不良品画像を自在に生成する。また生成時の形状、濃度、及びテクスチャは既知であり、発生し得る特徴に応じて任意に改良できる。したがって、設計者の意図通りの人工検査画像の生成が可能である。
【0047】
本実施形態では、欠陥サイズ(面積)と濃度の2つを欠陥特徴として選択する。欠陥サイズ(面積)と濃度をそれぞれ段階的(例えば100段階など)に変化させた欠陥品画像を生成した。欠陥を合成する良品画像は、学習に用いた第1の素地と、学習に用いていない第2の素地を用意する。欠陥の形状は円形、欠陥を合成する位置は画像中央とする。生成した欠陥品画像をDNNの特徴空間に写像すれば、特徴空間において分布する特徴量の座標の変遷が観察できる。
【0048】
図7及び
図8にそれぞれ、人工検査画像の素地として用いられる良品画像の一例(良品画像P1、及び良品画像P2)を示す。
図9に、欠陥の面積が段階的に変化させられた人工検査画像である欠陥品画像(欠陥品画像Q1-1、…、欠陥品画像Q1-i、…、欠陥品画像Q1-d)の一例を示す。
図10に、欠陥の濃度が段階的に変化させられた人工検査画像である欠陥品画像(欠陥品画像Q2-1、…、欠陥品画像Q2-i、…、欠陥品画像Q2-d)の一例を示す。なお、
図9及び
図10に示す欠陥品画像では、
図7に示した良品画像P1が素地として用いられている。
【0049】
[DNNの特徴空間解釈]
生成した人工不良品画像を予め学習したDNNに入力し、特徴ベクトルに変換する。生成する人工不良品画像の特徴量を連続的に変更しながら、特徴ベクトルの変化の軌跡を観察する。以上を繰り返すことで、DNNの特徴量を制御でき得る欠陥の特徴量があれば、DNNの特徴空間を解釈できると考えられる。つまり生成画像は、学習データでは網羅できないDNNの特徴空間の隙間を補填することを意味する。DNNの特徴空間の隙間を補填することができれば、学習に有効な実際に発生し得る欠陥特徴量を有する人工不良品画像の生成が可能となる。
【0050】
[表現学習のモデル]
本実施形態では、表現学習のモデルは、一例として、VAE(Variational Auto Encoder)である。
図4は、本実施形態に係る表現学習のモデルの一例を示す図である。
【0051】
ここで製造現場では良品画像の取得が比較的難易度が低く、良品のみを学習に用いる場合、不良品画像に対する知見が不要である。そのため、本実施形態では、良品のみを学習した表現学習のモデルを採用する。また、表現学習のモデルとしては、DNNの特徴空間が解釈しやすいように、特徴空間において特徴量が統計的分布に従うものが好ましい。表現学習のモデルは、画像の空間的な特徴量に基づいて設計される。そのため、本実施形態では、DNNとしてVAEを採用する。
【0052】
VAEは、エンコーダ部と、デコーダ部とを備える。VAEは、エンコーダ部によって潜在的特徴量が潜在空間において多変量の正規分布に従うように入力データを符号化する。また、VAEは、デコーダ部によって潜在空間から入力データに近いデータとなるように復号化する。
【0053】
図4に示すVAEでは、エンコーダ部は、6層の畳み込み層と、2層の全結合層とを備える。デコーダ部は、6層の逆畳み込み層と、2層の全結合層とを備える。本実施形態では、入力データである検査対象物の画像は、256×256ピクセルからなる。
図4に示すVAEでは、潜在空間の次元は32次元である。
【0054】
ここでn枚(nは自然数)の入力画像xからなる学習データセットX={x1,x2,…,xn}、再構成画像x‘、潜在変数をz、変分パラメータをθ、φとする。VAEは,事前確率分布pθ(x|z)と変分事後確率分布qφ(z|x)の誤差と、Kullback Leibler Divergence(KLD)を最小化する。さらに本実施形態では入力画像と再構成画像の誤差を可能な限り小さくし良品らしい画像特徴量からモデルを設計する。そのため、本実施形態では、式(1)によって示されるSSIMlossを目的関数に追加する。
【0055】
【0056】
ただしμx、μx´は平均値、σx、σx´は出力の分散、σxx´は、共分散、c1、c2はハイパーパラメータである。SSIMは1.0に近いほど画像の類似性が高いことを示すため1からSSIMを減算した値を使用する。したがって、本実施形態での目的関数は、式(2)によって示される。
【0057】
【0058】
本実施形態では、400枚の良品画像を用いて学習を行う。バッチサイズは、8であり、エポック数は、100である。評価には、140枚の良品画像を用いる。検証には、100枚の良品画像、156枚の不良品画像を用いる。
最適化手法としては、Adam(Adaptive moment estimation)を用いる。学習率は1e-4を初期値とする。学習率は学習が進行するほど検証誤差の傾きに応じて小さくする。また、学習率が十分小さくなった状態で検証誤差の傾きが収束した場合に、学習を終了する。
【0059】
一般的にオートエンコーダ(Autoencoder)を用いた異常検知では入力データと出力データの損失値を異常度とし異常を検知することが多い。しかしオートエンコーダは復号化されることにより異常信号の誤差が抑制される。したがって異常信号の見逃しが発生する可能性がある。
【0060】
しかし潜在空間内部では正常データと異常データの分布座標に差があることが自明である。したがって本実施形態では潜在空間内での異常検知を採用する。VAEの潜在空間はパラメトリック空間であり、学習では良品画像のみを用いている。そのため潜在空間の原点付近に分布するデータほど良品である確率が高いことを意味する。
一方、原点から離れた座標に分布するデータほど不良品である確率が高い。また事前確率分布の生起確率が低いデータほど情報量が多いことが考えられ、当該データを検出することで異常検知を行う。
【0061】
したがって、評価する画像x“の異常度aは、事前確率分布p(x“|X)の負の対数尤度とする。評価する画像x“の異常度aを、式(3)に示す。
【0062】
【0063】
ここでp(x“|X)は正規分布である。
【0064】
なお、上述したVAEのネットワーク構造、潜在空間の次元数、画像のピクセルサイズ、目的関数、最適化手法などは一例であり、これらに限らない。
【0065】
[異常判定装置1の構成]
図5は、本実施形態に係る異常判定装置1の構成の一例を示す図である。異常判定装置1は、検査対象物が良品と欠陥品とのいずれであるかを検査対象物の画像に基づいて判定する。検査対象物とは、精密金属部品、ワーク、または素形材等である。
【0066】
異常判定装置1は、一例として、パーソナルコンピュータ(Personal Computer:PC)である。異常判定装置1は、制御部10と、記憶部11と、表示部12と、操作部13とを備える。
【0067】
制御部10は、学習部100と、学習済みモデル取得部101と、人工検査画像生成部102と、検査画像取得部103と、潜在的特徴量算出部104と、軸選択部105と、判定部106と、出力部107と、操作受付部108とを備える。これらの機能部はそれぞれ、例えばCPUがROM(Read Only Memory)から読み込んだプログラムをRAM(Random Access Memory)に展開して、当該プログラムに従って処理を実行することにより実現される。当該ROM、当該RAMは、記憶部11に含まれる。
【0068】
学習部100は、表現学習に基づいて学習済み表現学習モデルA1を生成する。学習済み表現学習モデルA1は、検査対象物の画像と当該検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである。学習済み表現学習モデルA1は、
図4に示すVAEを用いて学習が行われることによって生成される。本実施形態では、学習部100は、一例として、良品画像を用いて表現学習を行うことによって学習済み表現学習モデルA1を生成する。学習部100は、生成した学習済み表現学習モデルA1を記憶部11に記憶させる。学習済み表現学習モデルA1の具体例については後述する。
なお、表現学習とは、画像から特徴量を抽出する学習である。表現学習とは、例えば、深層学習である。
【0069】
学習済みモデル取得部101は、記憶部11から学習済み表現学習モデルA1を取得する。
【0070】
人工検査画像生成部102は、人工検査画像を生成する。本実施形態では、人工検査画像は、一例として、実際の良品画像に、人工の欠陥の画像を合成することによって生成される。人工検査画像生成部102は、生成した人工検査画像を、検査画像群B1に含めて記憶部11に記憶させる。
【0071】
検査画像取得部103は、記憶部11から検査画像群B1を取得する。
【0072】
潜在的特徴量算出部104は、潜在空間における検査画像から抽出される潜在的な特徴量(潜在的特徴量という)の座標を算出する。潜在的特徴量算出部104は、検査画像取得部103によって取得された検査画像群B1に含まれる複数の検査画像をそれぞれ、学習済みモデル取得部101によって取得された学習済み表現学習モデルA1に入力することによって、潜在空間における潜在的特徴量の座標を算出する。
【0073】
潜在空間とは、学習済み表現学習モデルA1によって画像から抽出される潜在的な特徴量の空間である。ここで検査対象物の画像には、当該検査対象物の外観についての形式知的特徴量が含まれている。本実施形態において、形式知的特徴量は、欠陥の外観について定量化可能な特徴量である。検査対象物の外観についての形式知的特徴量とは、例えば、欠陥のサイズまたは濃度、シミのサイズまたは濃度、キズのサイズまたは深さ、単位面積当たりの個数、密度、点間距離、形状(複雑さ、または円形度など)などである。また、当該形式知的特徴量とは、検査対象物のサイズ、または形状についての異常であってもよい。検査対象物のサイズ、または形状についての異常とは、部品の長さ、曲がり、欠けなどである。なお、形式知的特徴量を、欠陥の外観について人間が解釈できる特徴量であるとしてもよい。
【0074】
軸選択部105は、潜在空間から1以上の軸(選択軸X1という)を選択する。本実施形態では、軸選択部105によって自動で選択軸X1が選択されてもよいし、ユーザによって選択軸X1が選択されてもよい。軸選択部105によって自動で選択される場合、軸選択部105は、軸選択指標に基づいて潜在空間から軸(選択軸X1という)を選択する。軸選択指標とは、軸選択部105が選択軸X1を選択するための所定の指標である。軸選択指標の具体例については後述する。軸選択部105は、1以上の選択軸X1を選択する。軸選択部105は、選択した1以上の選択軸X1を示す情報である選択軸情報C1を記憶部11に記憶させる。
【0075】
判定部106は、軸選択部105によって選択された1以上の選択軸X1に基づいて判定対象の検査対象物について形式知的特徴量の程度を判定する。本実施形態では、判定部106は、選択された1以上の選択軸X1に基づいて、判定対象の検査対象物について良品または欠陥品のいずれであるかの判定を行う。
【0076】
出力部107は、判定部106による判定結果を出力する。
操作受付部108は、操作部13を介して異常判定装置1のユーザから各種の操作を受け付ける。当該操作には、軸選択指標に基づいて潜在空間の軸のなかから選択軸X1を選択する操作が含まれる。
【0077】
記憶部11は、各種の情報を記憶する。記憶部11が記憶する情報には、学習済み表現学習モデルA1、検査画像群B1、及び選択軸情報C1が含まれる。記憶部11は、磁気ハードディスク装置、または半導体記憶装置等の記憶装置を用いて構成される。
【0078】
表示部12は、各種の情報を表示する。表示部12が表示する情報には、潜在空間における潜在的特徴量のプロットが含まれる。
【0079】
操作部13は、異常判定装置1のユーザから各種の操作を受け付ける。操作部13は、例えば、マウス、キーボード、タッチパネル、または操作ボタンなどを含む。
【0080】
なお、異常判定装置1は、仮想サーバとして実現されてもよい。異常判定装置1が備える各機能部は、複数のサーバに分散されて備えられてもよい。異常判定装置1は、クラウドサーバとして実現されてもよい。なお、それらの場合、異常判定装置1を異常判定システムと呼んでもよい。
【0081】
[異常判定処理]
次に
図6を参照し、異常判定装置1による処理である異常判定処理について説明する。
図6は、本実施形態に係る異常判定処理の流れの一例を示す図である。異常判定処理は、制御部10によって実行される。
【0082】
ステップS10:学習済みモデル取得部101は、学習済み表現学習モデルA1を取得する。本実施形態では、学習済み表現学習モデルA1は予め記憶部11に記憶されている。学習済みモデル取得部101は、記憶部11から学習済み表現学習モデルA1を取得する。上述したように、学習済み表現学習モデルA1は、学習部100によって表現学習のモデルによる学習が行われ生成されて記憶部11に記憶される。本実施形態では、表現学習のモデルは、VAEである。VAEの学習には、良品画像のみが用いられる。
【0083】
ステップS20:人工検査画像生成部102は、人工検査画像の素地となるN枚(Nは自然数)の良品画像サンプルを選択する。ここで人工検査画像生成部102は、学習済みモデル取得部101によって取得された学習済み表現学習モデルA1に良品画像を入力する。人工検査画像生成部102は、学習済み表現学習モデルA1の潜在空間での良品画像についての特徴の分布から、人工検査画像の素地となるN枚の良品画像サンプルを選択する。本実施形態では、一例として、2枚の良品画像サンプル(
図7及び
図8を参照)が選択される。
【0084】
なお、上述したように、VAEでは、潜在的特徴量が潜在空間において多変量の正規分布に従うように入力データが符号化される。そのため、良品画像のみが学習に用いられたVAEでは、潜在空間での良品画像についての特徴の分布は正規分布となる。
【0085】
ステップS30:人工検査画像生成部102は、人工欠陥(ダミー欠陥ともいう)の形式知的特徴量を連続的または段階的に変化させて人工欠陥画像を生成する。形式知的特徴量は、面積、幅または長さ、濃度、もしくは形状などであり、形式知的特徴量は欠陥の程度を定量的に表すことができる。人工検査画像生成部102は、これらの形式知的特徴量をそれぞれ連続的または段階的に変化させて、人工欠陥の形式知的特徴量を生成する。本実施形態では、人工検査画像生成部102は、一例として、面積、及び濃度をそれぞれd段階(dは自然数)に変化させる。
【0086】
なお、人工欠陥の形式知的特徴量は、上記のような形式知的特徴量を複数組み合わせて連続的または段階的に変化させて生成されてもよい。例えば、面積、及び濃度を同時に連続的または段階的に変化させて人工欠陥の形式知的特徴量が生成されてもよい。
【0087】
ステップS40:人工検査画像生成部102は、良品画像サンプルに人工欠陥画像をそれぞれ合成することによって人工検査画像群を生成する。良品画像サンプルは、ステップS20において選択されたN枚の良品画像サンプルである。人工欠陥画像群は、ステップS30において生成された形式知的特徴量が連続的(d段階)に変化する人工欠陥画像群である。したがって、本実施形態では、検査画像は、形式知的特徴量を連続的または段階的に変化させることによって生成された複数の欠陥品画像である。ここでN×d枚の人工検査画像が検査画像群B1として生成される。
【0088】
人工検査画像生成部102は、生成した検査画像群B1を記憶部11に記憶させる。検査画像取得部103は、記憶部11から検査画像群B1を取得する。
【0089】
ステップS50:潜在的特徴量算出部104は、検査画像群B1に含まれる検査画像を表現学習のモデル(つまり、学習済み表現学習モデルA1)に入力し、VAEの潜在空間の各軸における形式知的特徴量(つまり、欠陥の程度)の変化に対する潜在的特徴量の変化(潜在変数ともいう)、または当該潜在的特徴量の潜在空間における良品分布からの距離の推移を算出する。検査画像は、ステップS40において生成された人工検査画像としての欠陥品画像である。
【0090】
ここで潜在的特徴量算出部104は、検査画像取得部103によって記憶部11から取得された検査画像群B1に含まれる形式知的特徴量が段階的に変化する複数の検査画像をそれぞれ、学習済みモデル取得部101によって取得された学習済み表現学習モデルA1に入力することによって、潜在空間における潜在的特徴量の座標を算出する。潜在的特徴量算出部104は、形式知的特徴量の変化に対する潜在的特徴量の変化を算出する。
なお、以下の説明では、形式知的特徴量の変化に対する潜在的特徴量の変化を示すプロットを、潜在変数のプロットという場合がある。
【0091】
図11、
図12、
図13、及び
図14は、本実施形態に係る形式知的特徴量の変化に対する潜在的特徴量の変化を示すプロット(潜在変数のプロット)の一例を示す図である。
図11、
図12、
図13、及び
図14、並びに後述する
図15、
図16、
図17、
図18、及び
図19において、横軸は形式知的特徴量を示し、縦軸は潜在的特徴量の座標を示す。当該縦軸は、VAEの32次元の潜在空間のいずれかの軸に相当する。
図11、
図12、
図13、及び
図14ではそれぞれ、当該縦軸は32次元の潜在空間の1番目から8番目の軸、9番目から16番目の軸、17番目から24番目の軸、及び25番目から32番目の軸に相当する。
【0092】
図11、
図12、
図13、及び
図14ではそれぞれ、良品画像P1(
図7)、及び良品画像P2(
図8)をそれぞれ素地として欠陥の面積(
図9参照)、濃度(
図10参照)をそれぞれ段階的に変化させた場合の人工検査画像について潜在変数のプロットが、32次元の潜在空間の軸それぞれについて示されている。
なお、
図11、
図12、
図13、及び
図14、並びに後述する
図19ではそれぞれ、人工検査画像とともに、良品画像サンプルの潜在空間における座標がプロットされている。
【0093】
ステップS60:軸選択指標に基づいて潜在空間から選択軸X1が選択される。本実施形態では、軸選択部105によって自動で選択軸X1が選択されてもよいし、ユーザによって選択軸X1が選択されてもよい。選択軸X1が自動で選択されるか、または選択軸X1がユーザによって選択されるかは、操作部13を介してユーザによって指定される。選択軸X1は軸選択指標に基づいて1以上選択される。換言すれば、軸選択指標に基づいて選択軸X1の組み合わせが選択される。選択軸X1が複数選択される場合、複数の軸選択指標に基づいて複数の選択軸X1が選択される。
【0094】
選択軸X1が自動で選択される場合、軸選択部105は、軸選択指標に基づいて潜在空間から選択軸X1を選択する。ここで軸選択部105は、潜在的特徴量算出部104によって算出された潜在的特徴量の座標と、軸選択指標とに基づいて、潜在空間の軸のなかから形式知的特徴量がより表現されている選択軸X1を選択する。軸選択部105は、選択した1以上の選択軸X1を示す情報である選択軸情報C1を記憶部11に記憶させる。
【0095】
本実施形態では、軸選択指標は、一例として、潜在空間の軸が示す潜在的特徴量の形式知的特徴量の変化に対する変化が直線に近いことである。直線に近いことを、直線状ともいう。
【0096】
選択軸X1が自動で選択される場合、軸選択部105は、直線に近いか否かを、潜在変数のプロットを直線によってフィッティングに基づいて判定する。軸選択部105は、直線によるフィッティングの誤差が小さい場合に、潜在変数のプロットが直線に近いと判定する。当該誤差の評価には、いずれの手法が用いられてもよいが、例えば、ユークリッド距離、マハラノビス距離、コサイン類似度、またはk最近傍法(k-Nearest Neighbor:kNN)が用いられる。
【0097】
図15、
図16、
図17、及び
図18は、本実施形態に係る潜在変数のプロットに対する直線によるフィッティングの一例を示す図である。
図15、
図16、
図17、及び
図18では、潜在変数のプロットは、良品画像P1(
図7)、及び良品画像P2(
図8)をそれぞれ素地として欠陥の面積を段階的に変化させた人工検査画像に対する潜在変数のプロットである。
図15、
図16、
図17、及び
図18では、当該潜在変数のプロットに対して直線フィッティングが行われた結果が32次元の潜在空間の各軸について示されている。
図15、
図16、
図17、及び
図18はそれぞれ、32次元の潜在空間の1番目から8番目の軸、9番目から16番目の軸、17番目から24番目の軸、及び25番目から32番目の軸についての結果である。
【0098】
軸選択部105は、軸選択指標に基づいて1以上の選択軸X1を選択する。換言すれば、軸選択部105は、軸選択指標に基づいて選択軸X1の組み合わせを選択する。
例えば、軸選択部105は、潜在変数のプロットが直線に近いと判定される軸を、直線によるフィッティングの誤差が小さいものから順に所定数だけ選択する。所定数は、潜在空間の次元数より小さい1以上の数である。所定数は、例えば、1、2、または3などである。
【0099】
なお、軸選択部105は、誤差が相対的に小さく順位の高い軸であっても、直線によるフィッティングの誤差が所定の値未満でない軸については、選択する選択軸X1から除外してもよい。また、軸選択部105は、直線によるフィッティングの誤差が所定の値未満でない軸が1つもないと軸選択部105によって判定された場合、制御部10は異常判定処理を中止してもよい。
なお、軸選択部105は、遺伝的アルゴリズム等の組合せ最適化アルゴリズムに基づいて1以上の選択軸X1を選択してもよい。
【0100】
選択軸X1がユーザによって選択される場合、潜在的特徴量算出部104は、潜在変数のプロットを表示部12に表示させる。ユーザは、表示部12に表示された当該プロットを確認しながら、軸選択指標に基づいて潜在空間の軸のなかから形式知的特徴量がより表現されている軸を選択する。例えば、ユーザは、各軸について、潜在変数のプロットから潜在的特徴量と、形式知的特徴量との間に正または負の相関があるか否かを目視によって判定する。ユーザは、目視によって判定した軸を選択軸X1として選択する。なお、ユーザの判定を支援するために、表示部12に直線などのパターンが表示されてもよい。
【0101】
操作受付部108は、軸選択指標に基づいて選択軸X1を選択する操作をユーザから受け付ける。ここで表示部12に表示される潜在変数のプロットは、潜在的特徴量算出部104によって算出された潜在的特徴量の座標によって示される。したがって、操作受付部108は、潜在的特徴量算出部104によって算出された潜在的特徴量の座標と、軸選択指標とに基づいて、潜在空間の軸のなかから選択軸X1を選択するユーザからの操作を受け付ける。
【0102】
軸選択部105は、操作受付部108が受け付けた選択軸X1を選択する操作が示す1以上の軸をそれぞれ1以上の選択軸X1として選択する。つまり、軸選択部105は、操作受付部108が受け付けた選択軸X1を選択する操作に基づいて潜在空間の軸のなかから選択軸X1を1以上選択する。
軸選択部105は、選択した1以上の選択軸X1を示す情報である選択軸情報C1を記憶部11に記憶させる。
【0103】
ここで
図19を参照し、ユーザによって目視で選択される選択軸X1についての潜在変数のプロットについて説明する。
図19は、本実施形態に係るユーザによって選択される選択軸X1についての潜在変数のプロットの一例を示す図である。
【0104】
潜在空間の軸のうち、
図19(A)は3番目の軸、
図19(B)は21番目の軸、12(C)は23番目の軸、
図19(D)は8番目の軸、
図19(E)は27番目の軸、
図19(F)は29番目の軸にそれぞれ相当する。
【0105】
潜在空間の軸のうち、3番目の軸、21番目の軸、及び23番目の軸についての潜在変数のプロットでは、潜在的特徴量と、形式知的特徴量との間に正または負の相関がある。一方、潜在空間の軸のうち、8番目の軸、27番目の軸、29番目の軸は、潜在変数のプロットでは、潜在的特徴量と、形式知的特徴量との間に正または負の相関がない。
【0106】
したがって、ユーザは、3番目の軸、21番目の軸、及び23番目の軸を選択軸X1として選択する。ユーザは、8番目の軸、27番目の軸、29番目の軸の軸は選択軸X1として選択しない。
【0107】
ここで
図20を参照し、直線フィッティングの誤差について説明する。
図20は、本実施形態に係る直線フィッティングの誤差を示すグラフの一例を示す図である。
図20に示す各グラフでは、横軸がデータの番号、縦軸が直線フィッティングの誤差を示す。
図20では、潜在空間の32次元の軸、ユーザによって選択された選択軸X1(2、20、22番目の軸)、及び自動で選択された選択軸X1(2、9、10、11、20、22番目の軸)それぞれについての誤差(各軸についての平均値)が示されている。また、
図20では、誤差の評価方法として、ユークリッド距離、マハラノビス距離、コサイン類似度、及びk最近傍法をそれぞれ用いた場合の誤差が示されている。
【0108】
元の潜在空間の32次元の軸に比べて、ユーザによって選択された選択軸X1、及び自動で選択された選択軸X1のいずれも直線フィッティングの誤差が小さいことがわかる。
【0109】
なお、潜在的特徴量と、形式知的特徴量との間に正または負の相関があるかを判定するために直線フィッティング以外に各種の統計的手法が用いられてもよい。
【0110】
なお、選択軸X1が自動で選択される場合と選択軸X1がユーザによって選択される場合とのいずれの場合であっても、選択された複数の選択軸X1のうちいくつかを統合して新たに1以上の選択軸X1としてもよい。また、選択軸X1毎に重みづけをして選択軸X1の組合せが選択されてもよい。軸毎の重みづけとは、選択した複数の選択軸X1毎に潜在的特徴量の座標に重みづけをすることをいう。
選択された複数の選択軸X1について、カーネルによる非線形軸の再構成が行われてもよい。
【0111】
したがって、欠陥の外観について人間が解釈できる特徴量である形式知的特徴量がより表現されている軸は、潜在的特徴量算出部104によって算出された潜在的特徴量の座標と、軸選択指標とに基づいて潜在空間の軸に基づいて選択される軸(選択軸X1)である。潜在空間の軸に基づいて選択されるとは、選択軸X1が潜在空間の軸のなかから選択される場合と、選択軸X1が潜在空間の軸に基づいて生成される場合とを含む。
【0112】
図21に、選択された選択軸X1を用いて表された潜在空間の模式図の一例を示す。
図21に示す例では、3つの軸が選択軸X1として選択され、潜在空間は3次元空間として表されている。良品画像の潜在的特徴量は、潜在空間の原点付近に分布している。一方、不良品画像の潜在的特徴量は、その欠陥の種類に応じて、良品画像の分布から離れて分布している。
図21に示す潜在空間では、形式知的特徴量が、選択軸X1を選択する前の32次元の潜在空間に比べてより表現される。
【0113】
図22に、特徴空間の解釈の模式図の一例を示す。VAEの潜在空間はパラメトリック空間であるため、良品らしさを示す特徴量が原点付近に分布することが既知である。つまり、潜在空間の原点に近い不良品画像は、VAEによって識別が困難であることを意味する。異常判定装置1によれば、そのような潜在空間の原点に近い不良品画像の欠陥の特徴量を、人間が解釈できる形で理解、または可視化できる。
【0114】
潜在空間内では、欠陥の種類及び程度によって分布する座標が異なることが考えられる。ここで画像の符号化では、学習データから抽出されたDNNの各特徴量に応じて生起確率に変換される。欠陥の種類及び程度によって分布する座標が異なる理由は、生起確率が欠陥の種類及び程度によって異なるためである。つまり、不良品画像がDNNに入力されれば、欠陥信号の強度に応じて生起確率は低く推定されることが考えられる。
したがって、パラメトリックなVAEの潜在空間内では、不良品画像の特徴量は原点から離れた座標に分布することを意味する。パラメトリックなVAEの潜在空間の特性を利用することで、DNNの特徴空間の解釈が可能となる。
【0115】
ステップS70:判定部106は、選択された選択軸X1に基づいて欠陥品の判定を行う。ここで選択軸X1が自動で選択されている場合、判定部106は、軸選択部105によって選択された選択軸X1に基づいて当該判定対象の検査対象物が良品または欠陥品のいずれであるかを、当該判定対象の検査対象物の画像を学習済み表現学習モデルA1に入力して判定する。選択軸X1がユーザによって選択されている場合、判定部106は、操作受付部108が受け付けた操作によって選択された選択軸X1に基づいて判定対象の検査対象物が良品または欠陥品のいずれであるかを、当該判定対象の検査対象物の画像を学習済み表現学習モデルA1に入力して判定する。
なお、選択された選択軸X1は、選択軸情報C1によって示される。判定部106は、判定の前に記憶部11から選択軸情報C1を取得する。
【0116】
判定部106は、選択された軸に基づいて閾値を設定する。判定部106は、設定した閾値に基づいて判定対象の検査対象物が良品または欠陥品のいずれであるかを判定する。
【0117】
例えば、判定部106は、選択された選択軸X1を用いて表された潜在空間における良品画像の分布と、欠陥品画像の分布との少なくとも一方に基づいて判定のための閾値を設定する。判定部106は、例えば、良品画像の潜在的特徴量の分布と欠陥品画像の潜在的特徴量の分布との境界に対応する座標の値を閾値として設定する。当該境界は、例えば、良品画像の分布と欠陥品画像の分布とが交差する位置である。
【0118】
また、別の一例では、判定部106は、サンプルとして用いた欠陥品画像の潜在的特徴量の分布のうち最も潜在空間の原点に近い潜在的特徴量の座標を閾値として設定してもよい。また、判定部106は、サンプルとして用いた良品画像の潜在的特徴量の分布うち最も潜在空間の原点から遠い潜在的特徴量の座標を閾値として設定してもよい。判定部106は、良品画像の潜在的特徴量の分布の分散の定数倍(1倍、2倍、または3倍など)に対応する座標の値を閾値として設定してもよい。
【0119】
ステップS80:出力部107は、判定部106による判定結果を出力する。出力部107は、例えば、異常判定装置1とは別体の外部の情報処理装置(端末装置、またはサーバなど)、または表示部12などに判定結果を出力する。また、出力部107は、判定結果を記憶部11に記憶させてもよい。
以上で、異常判定装置1は、異常判定処理を終了する。
【0120】
なお、本実施形態では、軸選択指標が、潜在空間の軸が示す潜在的特徴量の形式知的特徴量の変化に対する変化が直線に近いことである場合の一例について説明したが、これに限られない。軸選択指標は、潜在空間の軸が示す潜在的特徴量と、形式知的特徴量との間に正または負の相関があることであってもよい。その場合、潜在変数のプロットは、直線によるフィッティング以外に、単調な関数によるフィッティングが行われてもよい。
【0121】
また、検査画像群B1に複数の良品画像が含まれる場合には、軸選択指標は、潜在空間において良品画像についての潜在的特徴量の分布のばらつきが少ないことであってもよい。なお、軸選択指標が潜在空間において良品画像についての潜在的特徴量の分布のばらつきが少ないことである場合には、検査画像群B1には欠陥品画像は含まれていなくてもよい。つまり、欠陥品画像は生成されなくてもよい。その場合、検査画像取得部103は、良品画像である検査画像を複数取得する。
【0122】
また、検査画像群B1に複数の良品画像と複数の欠陥品画像との両方が含まれる場合には、軸選択指標は、潜在空間の軸が示す潜在的特徴量と、形式知的特徴量との間に正または負の相関があること(例えば、本実施形態のように、潜在空間の軸が示す潜在的特徴量の形式知的特徴量の変化に対する変化が直線に近いこと)と、潜在空間において良品画像についての潜在的特徴量の分布のばらつきが少ないことの両方であってもよい。
【0123】
なお、本実施形態では、表現学習モデルがVAEであり、学習には良品画像のみが用いられる場合の一例について説明したが、これに限られない。表現学習のモデルは、特徴空間における検査画像から抽出される潜在的な特徴量の座標が算出できればVAE以外のDNNであってもよいし、DNN以外のモデルであってもよい。表現学習のモデルがVAE以外のDNNである場合、例えば、DNNの中間層から特徴空間における潜在的な特徴量の座標が算出される。
【0124】
表現学習のモデルがVAE以外のDNNである場合には、表現学習のモデルには、良品画像とともに欠陥品画像が用いられてもよく、または欠陥品画像のみが用いられてもよい。その場合、学習に用いられる欠陥品画像は、人工的に生成した欠陥品画像であってもよいし、学習に十分な数だけ用意可能であれば実際の欠陥品画像であってもよい。
【0125】
表現学習のモデルがVAE以外のDNNである場合、例えば、特徴空間の軸が示す潜在的特徴量と、形式知的特徴量との間に正または負の相関があるという軸選択指標に基づいて、特徴空間の軸のなかから形式知的特徴量がより表現されている1以上の軸が選択軸X1として選択される。
【0126】
なお、本実施形態では、判定部106は、選択された1以上の選択軸X1に基づいて閾値を設定し、判定対象の検査対象物について良品または欠陥品のいずれであるかの判定を行う場合の一例について説明したが、これに限られない。判定部106は、閾値を設定せず、選択された1以上の選択軸X1に基づいて検査対象物について形式知的特徴量の程度を判定してもよい。つまり、判定部106は、1以上の選択軸X1に基づいて、検査対象物について形式知的特徴量がどの程度、良品に近いか、または欠陥品に近いかを判定する。
【0127】
以上に説明したように、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)は、学習済みモデル取得部101と、検査画像取得部103と、潜在的特徴量算出部104と、軸選択部105と、を備える。
学習済みモデル取得部101は、検査対象物の画像と検査対象物に欠陥があるか否かの判定結果との関係が学習された表現学習のモデルである学習済みモデル(本実施形態において、学習済み表現学習モデルA1)を取得する。
検査画像取得部103は、良品である検査対象物の画像である良品画像、または検査対象物の画像であって欠陥の外観について定量化可能な特徴量である形式知的特徴量を連続的または段階的に変化させることによって生成された欠陥品画像の少なくとも一方を含む検査画像を複数取得する。
潜在的特徴量算出部104は、検査画像取得部103によって取得された複数の検査画像をそれぞれ、学習済みモデル取得部101によって取得された学習済みモデル(本実施形態において、学習済み表現学習モデルA1)に入力することによって、学習済みモデル(本実施形態において、学習済み表現学習モデルA1)によって画像から抽出される潜在的な特徴量の空間である特徴空間(本実施形態において、潜在空間)における検査画像から抽出される潜在的な特徴量の座標を算出する。
軸選択部105は、潜在的特徴量算出部104によって算出された潜在的な特徴量の座標と、所定の指標である軸選択指標とに基づいて特徴空間(潜在空間)の軸のなかから選択される軸であって、形式知的特徴量がより表現されている1以上の第1軸(本実施形態において、選択軸X1)を選択する。
【0128】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、制御したい欠陥の程度を示す軸を特徴空間において見つけることができるため、画像検査の信頼性を高めることができる。
【0129】
目視検査を画像検査によって自動化する際、ルールベース、または深層学習のいずれを用いる場合であっても、限度見本が必要である。また、欠陥の画像は、多数の枚数が必要であり、かつ汎化性のある検査を実現するためには欠陥の種類について豊富に必要である。
【0130】
しかし、実際には、実際の欠陥品、及び欠陥の実画像は入手が困難であることが多い。そのため、実画像だけを使おうとすると、大量のデータがクラスの分だけ必要な深層学習のクラス分類は実施が難しい。一方、ルールベースでは、データ数を増加させて確認しながら閾値の調整、及びアルゴリズムの組みなおしが発生する。
上述したように、実画像だけで目視検査を画像検査によって自動化することは、ルールベース、または深層学習のいずれを用いる場合であっても困難なことが多かった。
【0131】
これを解消する方法として、異常検知手法が知られている。異常検知手法では、良品画像のみを学習させた表現学習のモデルを用いて、良品と良品でないものに分類する。しかし、異常検知手法では、判定のための閾値(境界)の調整が難しい。なぜならば、不良品を良品と誤判定させないためには、良品のなかでも非常に状態のよい良品のみを用いないと、誤判定が発生し得るためである。目視では通過させてきた軽微な汚れまたはキズがあったとしても、それらを含めて学習させると、欠陥と判定したい汚れまたはキズなどの異常個所を見逃す可能性がある。
【0132】
また、表現学習のモデルでは各特徴が想定する分布に則るように学習を行うため、欠陥の特徴に応じて判別の閾値を調整することは難しい。または欠陥の特徴に応じて判別の閾値を調整する際には、学習データの分布自体を十分に調整して学習させる必要がある。
【0133】
ここで、どのレベルの欠陥画像から表現学習のモデルの判定が変化するか認識できること、または、任意の欠陥画像が希望の判定になるように制御できることが可能になれば、目視検査を画像検査によって自動化する際、より従来の目視検査に近づけることができ、画像検査の信頼性が高まる。
【0134】
どのレベルの欠陥画像から表現学習のモデルの判定が変化するか認識できることは、潜在空間での欠陥画像またはダミー欠陥画像を用いた可視化によって実現される。
一方、任意の欠陥画像が希望の判定になるように制御できることは、特徴空間において、制御したい欠陥の程度を示す軸を見つけ、選択可能にすることで判定のための閾値の調整を行うことよって実現される。
【0135】
上述したように、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、特徴空間において、制御したい欠陥の程度を示す軸を見つけ、選択可能にすることで判定のための閾値の調整を行うことができるため、任意の欠陥画像が希望の判定になるように制御できる。本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、目視検査を画像検査によって自動化する際、画像検査をより従来の目視検査に近づけることができ、画像検査の信頼性を高めることができる。
【0136】
本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、形式知的特徴量に基づいて生成した疑似欠陥画像が、目視検査で対象としている暗黙知指標においてどの程度の欠陥レベルであるかを表示(可視化)することができる。
【0137】
目視検査では異常のレベルまたは良否判定の境界を限度見本等によって設定する場合がある。しかしながら、欠陥の種類ごとに良否判定の境界は異なる。そのため、目視検査を画像検査によって自動化する際には項目ごとに良否判定の閾値の設定を追い込む必要がある。深層学習を用いて画像検査を行う場合、良否判定の閾値の調整はルールベースの画像処理よりも調整が難しい。
本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、表現学習のモデルを用いた異常検知であっても、潜在空間上で判定のための閾値を設定することが可能になる。
【0138】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、検査画像には、欠陥品画像が含まれる。軸選択指標は、特徴空間(本実施形態において、潜在空間)の軸が示す潜在的な特徴量と、形式知的特徴量との間に正または負の相関があることである。
【0139】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、形式知的特徴量との間に正または負の相関がある潜在的な特徴量を示す軸を第1軸(本実施形態において、選択軸X1)として選択できるため、当該軸について判定のための閾値を調整できる。
【0140】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)は、軸選択指標は、特徴空間(本実施形態において、潜在空間)の軸が示す潜在的な特徴量の形式知的特徴量の変化に対する変化が直線に近いことである。
【0141】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、形式知的特徴量の変化に対する変化が直線に近い潜在的な特徴量を示す軸を第1軸(本実施形態において、選択軸X1)として選択できるため、当該軸について判定のための閾値を調整できる。
【0142】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、複数の検査画像には、複数の良品画像が含まれてよく、軸選択指標は、特徴空間(本実施形態において、潜在空間)において良品画像についての潜在的な特徴量の分布のばらつきが少ないことであってよい。
【0143】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、良品画像についての潜在的な特徴量の分布のばらつきが少ない軸を選択できるため、欠陥についての形式知的特徴量がより表現されている軸を第1軸(本実施形態において、選択軸X1)として選択できる。ここで潜在空間において、欠陥についての形式知的特徴量がより表現されている軸は、良品画像の形式知的特徴量については相対的に表現されにくいと考えられる。
【0144】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、軸選択部105は、潜在的特徴量算出部104によって算出された潜在的な特徴量の座標と、軸選択指標とに基づいて、特徴空間(本実施形態において、潜在空間)の軸のなかから第1軸(本実施形態において、選択軸X1)を1以上選択する。
【0145】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、軸選択指標に基づいて自動で第1軸(本実施形態において、選択軸X1)を選択できるため、ユーザが軸を選択する手間を省くことができる。
【0146】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)は、操作受付部108をさらに備える。
操作受付部108は、潜在的特徴量算出部104によって算出された潜在的な特徴量の座標と、軸選択指標とに基づいて、特徴空間(本実施形態において、潜在空間)の軸のなかから第1軸(本実施形態において、選択軸X1)を1以上選択するユーザからの操作を受け付ける。
軸選択部105は、操作受付部108が受け付けた当該操作に基づいて特徴空間(本実施形態において、潜在空間)の軸のなかから第1軸(本実施形態において、選択軸X1)を1以上選択する。
【0147】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、ユーザが潜在的な特徴量の座標を確認できるため、特徴空間において形式知的特徴量の変化を確認しながら第1軸(本実施形態において、選択軸X1)を選択できる。
【0148】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、判定部106は、1以上の第1軸(本実施形態において、選択軸X1)に基づいて判定対象の検査対象物について形式知的特徴量の程度を判定する。
【0149】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、特徴空間において制御したい欠陥の程度を示す軸に基づいて、当該欠陥の程度を判定できるため、画像検査の信頼性を高めることができる。
【0150】
また、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、判定部106は、選択された第1軸(本実施形態において、選択軸X1)に基づいて閾値を設定し、設定した閾値に基づいて判定対象の検査対象物が良品または欠陥品のいずれであるかを判定する。
【0151】
この構成により、本実施形態に係る異常判定システム(本実施形態において、異常判定装置1)では、制御したい欠陥の程度を示す第1軸(本実施形態において、選択軸X1)について判定のための閾値の調整を自身で行うことができるため、閾値を外部から取得する必要がない。
【0152】
(第2の実施形態)
以下、図面を参照しながら本発明の第2の実施形態について詳しく説明する。
本実施形態では、特徴空間(潜在空間)の軸のうち選択された選択軸X1に基づいて、学習済み表現学習モデル、及び学習用画像の評価を行う場合、または学習用画像を生成する場合について説明をする。
なお、上述した第1の実施形態と同一の構成については同一の符号を付して、同一の構成及び動作についてはその説明を省略する場合がある。
【0153】
図23は、本実施形態に係る異常判定システム2の構成の一例を示す図である。異常判定システム2は、異常判定装置1と、評価装置3と、学習用画像生成装置4とを備える。異常判定装置1の構成は、第1の実施形態に係る異常判定装置1の構成と同様であるため、説明を省略する。評価装置3、及び学習用画像生成装置4はそれぞれ、PC、またはサーバなどである。
【0154】
評価装置3は、異常判定装置1によって選択された1以上の選択軸X1に基づいて各種の評価を行う。評価装置3は、異常判定装置1から学習済み表現学習モデルA1、及び選択軸情報C1を取得して処理に用いる。評価装置3は、学習済みモデル評価部30と、学習用画像評価部31とを備える。
【0155】
学習済みモデル評価部30は、選択軸情報C1が示す1以上の選択軸X1に基づいて学習済み表現学習モデルA1の評価(モニタリング)を行う。学習済みモデル評価部30は、例えば、検査画像群を学習済み表現学習モデルA1に入力して、選択軸情報C1が示す1以上の選択軸X1について潜在的特徴量の分布を評価する。
【0156】
ここで検査画像群には、複数の良品画像と、複数の欠陥品画像が含まれる。学習済みモデル評価部30は、例えば、複数の欠陥品画像について、選択軸情報C1が示す1以上の選択軸X1について潜在的特徴量が欠陥の程度が大きいほど原点からの距離が大きくなる場合、期待する学習が行われていると判定する。また、学習済みモデル評価部30は、例えば、選択軸情報C1が示す1以上の選択軸X1について複数の良品画像に対する潜在的特徴量の分布のばらつきが小さいほど、期待する学習が行われていると判定してもよい。
【0157】
なお、学習済みモデル評価部30は、検査画像群を学習済み表現学習モデルA1に入力して、選択軸情報C1が示す1以上の選択軸X1に基づいて学習済み表現学習モデルA1の判定精度(性能)を評価してもよい。
また、学習済みモデル評価部30は、学習済み表現学習モデルA1の学習の進度の推移、または性能を可視化してもよい。
【0158】
上述したように、学習済みモデル評価部30は、検査対象物の画像を学習済み表現学習モデルA1に入力して、異常判定装置1によって選択された1以上の選択軸X1に基づいて学習済み表現学習モデルA1を評価する。
【0159】
異常判定システム2では、学習済みモデル評価部30を備えることによって、表現学習のモデルを評価できる。また、異常判定システム2では、学習済みモデル評価部30を備えることによって、欠陥の種類及び程度が潜在空間において解釈できるように表現学習のモデルの学習進度を評価(モニタリング)できる。
【0160】
なお、上述した第1の実施形態では、異常判定システム2では、表現学習のモデル(DNN)が検査対象物の画像から抽出した特徴量から構成される特徴分布の空間を判定に用いる場合の一例について説明した。異常判定システム2は、表現学習のモデルの学習進度を評価(モニタリング)した後、または当該学習進度を評価(モニタリング)しながら、当該表現学習のモデルによる出力を判定に用いてもよい。
【0161】
学習用画像評価部31は、選択軸情報C1が示す1以上の選択軸X1に基づいて学習用画像を評価する。学習用画像は、人工検査画像であっても、実際の検査対象物の画像であってもよい。学習用画像は、良品画像であっても、欠陥品画像であってもよい。学習用画像は、予め用意される。学習用画像評価部31は、学習用画像を学習済み表現学習モデルA1に入力し、選択軸情報C1が示す1以上の選択軸X1について潜在的特徴量の分布を評価する。
【0162】
学習用画像評価部31は、例えば、複数の欠陥品画像について、潜在的特徴量が欠陥の程度が大きいほど原点からの距離が大きくなる場合、学習用画像の質が高いと判定する。また、学習用画像評価部31は、例えば、複数の良品画像に対する潜在的特徴量の分布が正規分布に近いほど、学習用画像の質が高いと判定する。ここで学習用画像の質が高いとは、当該学習用画像群を表現学習のモデルの学習に用いた場合に、表現学習のモデルの判定精度が高いことである。
【0163】
なお、学習用画像評価部31は、選択軸情報C1が示す1以上の選択軸X1について潜在的特徴量の分布を表示装置に表示させて、学習用画像が有する形式知的特徴量を潜在空間において可視化してもよい。
【0164】
上述したように、学習用画像評価部31は、表現学習のモデルの学習に用いられる検査対象物の画像のセットについての潜在的特徴量の分布を、選択された異常判定装置1によって選択された1以上の選択軸X1に基づいて評価する。
異常判定システム2では、学習用画像評価部31を備えることによって、学習用画像が所望の種類の欠陥の程度に応じて潜在的特徴量が変化するような意図した分布になっているか確認(可視化)できる。
また、異常判定システム2では、学習用画像評価部31を備えることによって、人工検査画像について、ある特徴の分布を制御したサンプルとして学習用画像群を生成できる。生成された学習用画像群は、クラス分類に好適に用いられる。
【0165】
学習用画像生成装置4は、異常判定装置1によって選択された1以上の選択軸X1に基づいて学習用画像を生成する。学習用画像生成装置4は、異常判定装置1から学習済み表現学習モデルA1、及び選択軸情報C1を取得して処理に用いる。
【0166】
例えば、学習用画像生成装置4は、予め準備した良品画像から所望の種類の欠陥の程度を連続的または段階的に変化させて複数の欠陥品画像を生成する。学習用画像生成装置4は、生成した複数の欠陥品画像をそれぞれ学習済み表現学習モデルA1に入力し、選択軸情報C1が示す選択軸X1に基づいて潜在変数のプロットを生成する。学習用画像生成装置4は、潜在変数のプロットが、形式知的特徴量である所望の種類の欠陥の程度に応じて潜在的特徴量が変化するような意図した分布となっているか否かを判定する。
【0167】
学習用画像生成装置4は、潜在変数のプロットが当該意図した分布となっている場合、生成した欠陥品画像を学習用画像とする。学習用画像生成装置4は、潜在変数のプロットが当該分布となっていない場合、例えば、良品画像または欠陥の種類を変更し、潜在変数のプロットが上述の意図した分布となるまで上述した処理を繰り返す。
【0168】
なお、学習用画像生成装置4は、選択軸情報C1が示す1以上の選択軸X1について潜在的特徴量の分布を表示装置に表示させて、生成した学習用画像が有する形式知的特徴量を潜在空間において可視化してもよい。
【0169】
なお、学習用画像生成装置4は、選択軸情報C1が示す選択軸X1に基づいて潜在変数のプロットをデコードすることによって、学習用画像を生成してもよい。
また、学習用画像生成装置4は、評価装置3に備えられる学習用画像評価部31による学習用画像の評価結果に基づいて、学習用画像を生成してもよい。
【0170】
上述したように、学習用画像生成装置4は、選択された選択軸X1に基づいて表現学習のモデルの学習のための検査対象物の画像を生成する。
異常判定システム2では、学習用画像生成装置4を備えることによって、所望の種類の欠陥の程度に応じて潜在的特徴量が変化するような意図した分布に従う学習用画像を生成できる。
【0171】
なお、本実施形態では、評価装置3、及び学習用画像生成装置4が異常判定装置1とは別体の装置として異常判定システム2において備えられる場合の一例について説明したが、これに限られない。学習済みモデル評価部30、及び学習用画像評価部31は、異常判定装置1の制御部10が有する機能部として備えられてもよい。また、学習用画像生成装置4は、学習用画像生成部として異常判定装置1の制御部10が有する機能部として備えられてもよい。学習用画像生成装置4は、学習用画像生成部の一例である。
【0172】
なお、上述した実施形態における異常判定装置1、評価装置3、及び学習用画像生成装置4の一部、例えば、学習部100、学習済みモデル取得部101、人工検査画像生成部102、検査画像取得部103、潜在的特徴量算出部104、軸選択部105、判定部106、出力部107、操作受付部108、学習済みモデル評価部30、学習用画像評価部31、学習用画像生成部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、異常判定装置1、評価装置3、または学習用画像生成装置4に内蔵されたコンピュータシステムであって、オペレーティングシステム(Operating system:OS)や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc-Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における異常判定装置1、評価装置3、及び学習用画像生成装置4の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。異常判定装置1、評価装置3、及び学習用画像生成装置4の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0173】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0174】
1…異常判定装置(異常判定システム)、101…学習済みモデル取得部、103…検査画像取得部、104…潜在的特徴量算出部、106…判定部、A1…学習済み表現学習モデル、X1…選択軸(第1軸)