特開 2022-40531 異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022040531

(43)【公開日】2022-03-11

(54)【発明の名称】異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220304BHJP

   G01N 21/88 20060101ALI20220304BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

G01N21/88 J

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2020145295

(22)【出願日】2020-08-31

(71)【出願人】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(74)【代理人】

【識別番号】100182626

【弁理士】

【氏名又は名称】八島 剛

(72)【発明者】

【氏名】中里 研一

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA01

2G051AA90

2G051AB02

2G051DA06

2G051EB05

5L096AA06

5L096BA03

5L096CA02

5L096DA01

5L096DA03

5L096EA02

5L096EA35

5L096FA06

5L096FA32

5L096GA51

5L096GA55

5L096HA08

5L096HA09

5L096HA11

5L096KA04

(57)【要約】

【課題】異常の教師画像データが少ない場合であっても、様々な種類の学習用データを新たに追加することができ、外観に現れる異常の検査の信頼性を向上可能な異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置を提供する。
【解決手段】検査対象を測定した検査画像データを入力データとして検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成方法は、検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて異常判定モデルを生成するための学習用データセット（Ｉｍｇ＿ｔｃｈ）を生成するステップと、学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて異常判定モデルを生成するステップとを含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

検査対象を測定した検査画像データを入力データとして前記検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成方法において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて前記異常判定モデルを生成するための学習用データセット（Ｉｍｇ＿ｔｃｈ）を生成するステップと、
前記学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて前記異常判定モデルを生成するステップと、
を含むことを特徴とする異常判定モデル生成方法。

【請求項2】

前記擬似データ（Ｉｍｇ＿ｆａｋ）の異常の特徴パターンは、検査対象を測定した実画像データではなく、ユーザにより作成された異常の特徴パターンであることを特徴とする請求項１に記載の異常判定モデル生成方法。

【請求項3】

前記擬似データ（Ｉｍｇ＿ｆａｋ）の異常の特徴パターンは、前記検査対象の表面に形成される異常の形状のパターンであることを特徴とする請求項１又は２に記載の異常判定モデル生成方法。

【請求項4】

検査対象を測定した検査画像データを入力データとして前記検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成装置（２０）において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて生成された学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて前記異常判定モデルを生成する学習部（３５）を含むことを特徴とする異常判定モデル生成装置。

【請求項5】

検査対象を測定した検査画像データに基づいて前記検査対象の検査を行う検査装置（２０）において、
検査対象の異常の特徴パターンを擬似した擬似データ（Ｉｍｇ＿ｆａｋ）に基づいて生成された学習用データセット（Ｉｍｇ＿ｔｃｈ）を用いて生成された異常判定モデルを記憶する記憶部（２１，２３）と、
前記検査対象を測定した検査画像データを前記異常判定モデルに入力して前記検査対象の異常の有無を判定する判定部（３７）と、
を含むことを特徴とする検査装置。

【請求項6】

前記検査対象は、前記検査画像データの検出器（１１）の測定範囲（Ｒａ，Ｒｂ）と相対移動可能に構成され、前記検出器（１１）の測定範囲（Ｒａ，Ｒｂ）を順次通過するように配置された検査対象である、ことを特徴とする請求項５に記載の検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置に関する。

【背景技術】

【0002】

近年、ディープラーニング等のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術が発達し、種々の検査にＡＩを活用することが検討されている。一般的なＡＩ技術を適用した検査の自動化手段として、教師ありの機械学習による異常検知、あるいは教師なしの機械学習による異常検知等の手法が考えられる。

【0003】

外観に現れる異常の検査を教師ありの機械学習を用いて行う場合、機械学習を実施する前に、あらかじめ多数の教師画像データを準備し、正常又は異常、あるいは、異常のレベルごとにラベリングすることが必要となる。その際に、教師画像データが不足していると、未知の異常を検知できず、効果的な学習を行うことができない。このため、実際の異常を撮影した教師画像データを画像処理することにより、新たな教師画像データを生成し、教師画像データ数を増やすことが行われている。

【0004】

例えば、特許文献１には、機械学習に用いる教師画像データの数が不足した場合に、質の良い教師画像データを生成する技術が提案されている。具体的に、特許文献１には、複数のパターンに分類された教師画像データを取得し、所定の基準に基づき、属する教師画像データの個数が少ない不足パターンを特定し、ある教師画像データを空間的に反転したり色調を変更したりすることにより、不足パターンに属する新たな教師画像データを生成する機械学習システムが開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１６９６７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、特許文献１に開示された機械学習システムは、実際の教師画像データの色調を変換することにより、教師画像データの数を増やすものである。色調の変換に限らず、実際の教師画像データを反転ないし線形変換させたりすることにより、教師画像データの数を増やすことも可能である。しかしながら、色調の変換や線形変換により教師画像データの数を増やす場合、新たに追加される教師画像データは元の教師画像データの特徴に基づいて創出されるものであるために教師画像データの内容には限界があり、機械学習による異常の検査の精度が低下する虞がある。

【0007】

本発明は、上記問題に鑑みてなされたものであり、異常の検査の精度を向上させることができる異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある観点によれば、検査対象を測定した検査画像データを入力データとして検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成方法であって、異常の特徴パターンを擬似して作成される擬似データに基づいて異常判定モデルを生成するための学習用データセットを生成するステップと、学習用データセットを用いて異常判定モデルを生成するステップとを含む異常判定モデル生成方法が提供される。

【0009】

また、上記課題を解決するために、本発明の別の観点によれば、検査対象を測定した検査画像データを入力データとして検査対象の異常を判定するための異常判定モデルを生成する異常判定モデル生成装置であって、異常の特徴パターンを擬似して作成される擬似データに基づいて生成された学習用データセットを用いて異常判定モデルを生成する学習部とを含む異常判定モデル生成装置が提供される。

【0010】

また、上記課題を解決するために、本発明のさらに別の観点によれば、検査対象を測定した検査画像データに基づいて検査対象の検査を行う検査装置であって、異常の特徴パターンを擬似して作成される擬似データに基づいて生成された学習用データセットを用いて生成された異常判定モデルを記憶する記憶部と、検査対象を測定した検査画像データを異常判定モデルに入力して検査対象の異常の有無を判定する判定部とを含む検査装置が提供される。

【発明の効果】

【0011】

以上説明したように本発明によれば、異常の教師画像データが少ない場合であっても、様々な種類の教師画像データを新たに追加することができ、外観に現れる異常の検査の信頼性を向上させることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態に係る検査装置を含む検査システムの構成例を示す模式図である。

【図2】同実施形態に係る検査装置の機能構成を示すブロック図である。

【図3】同実施形態に係る異常判定モデル生成方法の一例を示すフローチャートである。

【図4】学習用データセットの作成方法を示す説明図である。

【図5】同実施形態に係る検査装置による異常判定方法の一例を示すフローチャートである。

【図6】同実施形態に係る検査装置を含む検査システムの適用例を示す模式図である。

【図7】同実施形態に係る検査装置を含む検査システムの別の適用例を示す模式図である。

【発明を実施するための形態】

【0013】

以下、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0014】

＜１．検査装置の概要＞
まず、本発明の一実施形態に係る検査装置の概要を説明する。

【0015】

図１は、本実施形態に係る検査装置２０を含む検査システム１００の構成例を示す模式図である。検査システム１００は、検査装置２０、検出器１１、入力部１５及び表示部１３を備える。検査システム１００は、検査対象の画像データに基づき、異常判定モデルを用いて検査対象の異常判定を自動で行うシステムとして構築されている。

【0016】

検出器１１は、検査対象を測定することにより画像データを生成し、当該画像データを検査装置２０に出力する。検出器１１としては、撮像カメラ又はＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ ＲａｎｇｉｎｇあるいはＬｉｇｈｔ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）が例示される。撮像カメラは、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備え、撮影対象の画像データを生成する。また、ＬｉＤＡＲは、レーザー光を走査しながら測定対象に照射して当該レーザー光の散乱や反射光を観測することによって測定対象の外観の状態を反映した画像データを生成する。

【0017】

検出器１１は、測定対象の外観の状態を反映した画像データを生成可能な機器であればよく、撮像カメラやＬｉＤＡＲに限定されない。また、検査システム１００に備えられる検出器１１は１台に限られるものではなく、２台以上であってもよい。検出器１１は、撮像カメラ及びＬｉＤＡＲ等、複数の種類の機器を含んでいてもよい。

【0018】

入力部１５は、ユーザによる操作入力を受け付けて、検査装置２０に対して操作信号を送信する。例えば、入力部１５は、ユーザによる操作入力を受け付ける操作ボタン、操作スイッチ等のうちの少なくとも一つの入力手段を含み、例えば、キーボードやタッチパネル、タブレットコンピュータ、スマートホン等により構成される。

【0019】

表示部１３は、検査装置２０から出力される駆動信号に基づいて駆動され、検査結果等の所定の表示を行う。例えば、表示部１３は、液晶パネル等を備える表示装置により構成される。なお、入力部１５と表示部１３とが一体化され、例えば、タッチパネルにより構成されてもよい。

【0020】

検査装置２０は、制御部３０、メモリ２１及び記憶装置２３を備える。制御部３０の一部又は全部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサにより構成される。特に、制御部３０は、ＣＰＵと併せてＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。この他、検査装置２０は、検出器１１、入力部１５又は表示部１３との間でそれぞれ信号を送受信するインタフェースを備える。

【0021】

メモリ２１は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又はＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の少なくとも一つの記憶素子により構成される。記憶装置２３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）フラッシュ、ストレージ装置等の少なくとも一つの記憶媒体により構成される。メモリ２１又は記憶装置２３は、記憶部として機能し、プロセッサにより実行される演算処理のプログラムや、演算処理に用いられる種々の演算パラメータ、取得したデータ、演算結果等を記憶する。また、メモリ２１又は記憶装置２３は、検査に用いられる異常判定モデルを記憶する。

【0022】

＜２．検査装置の概略構成＞
ここまで、検査システム１００の全体構成を説明した。続いて、検査装置２０の概略構成例を具体的に説明する。

【0023】

図２は、検査装置２０の機能構成を示すブロック図である。検査装置２０の制御部３０は、画像処理部３１、演算部３３及び表示制御部３９を備える。演算部３３は、学習部３５及び判定部３７を含む。制御部３０が有する各機能は、具体的には、プロセッサによるプログラムの実行により実現されるソフトウェア機能であってもよく、一部がハードウェアの機能により実現されてもよい。

【0024】

（２－１．画像処理部）
画像処理部３１は、検出器１１から出力された画像データを加工処理し、検査に用いるための検査画像データを生成する。例えば、画像処理部３１は、検出器１１から出力された画像データに対して、膨張フィルタ、収縮フィルタ、平均化フィルタ又はメディアンフィルタのうちの少なくとも一つを用いてコントラストを調整する処理を行ってもよく、エッジ抽出フィルタ又はエッジ強調フィルタを用いてコントラストを調整したりエッジを強調したりする処理を行ってもよい。また、画像処理部３１は、検出器１１から出力された画像データから、所定の大きさ又は範囲等の画像データを抽出するトリミング処理を行ってもよい。なお、画像処理部３１の機能は、検出器１１に備えられていてもよい。

【0025】

（２－２．演算部）
演算部３３は、検査対象の異常の判定に用いる異常判定モデルを生成する学習部３５と、生成された異常判定モデルを用いて検査対象の異常の判定を行う判定部３７とを備える。

【0026】

学習部３５は、異常判定に用いるための異常判定モデルを生成する。具体的に、学習部３５は、検査対象の異常の特徴パターンを表した画像データ（学習用データ）を入力データとして、異常判定モデルの機械学習を行う。生成された異常判定モデルは、メモリ２１又は記憶装置２３に格納され、判定部３７による異常判定処理に用いられる。本実施形態において、学習部３５を含む検査装置２０が、異常判定モデル生成装置としての機能を兼ねている。

【0027】

本実施形態において、異常が生じている検査対象を実際に測定して得られた実画像データではなく、検査対象において生じ得る異常の特徴パターンを擬似して作成される擬似データが学習用データとして用いられる。擬似データは、例えば、実際に発生するキズの特徴パターンを参考にして、あるいは、ユーザの過去の知見又は経験則に基づいて、生じ得る異常の特徴パターンを人工的に描画して作成される。また、学習用データは、異常の特徴パターンを人工的に描画して作成された擬似データに基づいて、無作為に画像変換処理を行うことによって生成される擬似データを含んでもよい。これにより、新たな検査システム１００を構築する際に、あるいは、検査対象を新設した場合等において、実際に異常が生じる前に異常判定モデルを生成することができる。このような画像変換処理としては、例えば、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）に代表されるランダム画像生成アルゴリズムを用いることができる。ただし、画像生成アルゴリズムはＧＡＮに限定されない。

【0028】

また、異常の判定を行う際に、異常の有無だけでなく異常の種類を判別したい場合、異常の特徴パターンを人工的に描画して擬似データを作成する際に、異常の種類ごとに擬似データを分類してもよい。例えば、検査対象の表面にキズが発生する場合、破損が発生する場合、割れが発生する場合等、異常の種類によって現れる特徴パターンが異なる場合には、異常の種類ごとに擬似データを分類してもよい。

【0029】

学習部３５は、擬似データを学習用データとして用いて、機械学習モデルを利用して異常判定モデルを生成する。当該機械学習モデルは、既存の機械学習モデルのうち、画像データを教師データとする機械学習に利用可能な学習モデルのいずれであってもよい。例えば、機械学習モデルは、線形回帰、カルマンフィルタ等のフィルタ、サポートベクタマシン、ランダムフォレスト、近傍法、ディープラーニング等のニューラルネットワーク又はベイジアンネットワーク等を用いた計算モデルであってよい。

【0030】

さらに、学習部３５は、画像処理部３１により生成された検査画像データと、後述する判定部３７により得られる異常判定結果の情報とに基づいて、異常判定モデルを更新してもよい。これにより、異常の特徴パターンを人工的に描画して作成された擬似データを用いて生成された異常判定モデルを、実際に取得された検査画像データの正常又は異常の判定結果に基づいて自動的に修正することができる。したがって、異常判定モデルを用いた検査結果の精度を向上させることができる。

【0031】

判定部３７は、学習部３５により生成されメモリ２１又は記憶装置２３に格納された異常判定モデルを利用して、画像処理部３１により生成された検査画像データに基づき、検査対象の異常の判定を行う。具体的に、判定部３７は、検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて検査対象の異常の有無を判別する。例えば、異常判定モデルにより、学習用データとして入力された擬似データに含まれる異常の特徴パターンに該当する特徴パターンが検査画像データに含まれる確率が算出される。判定部３７は、異常判定モデルから出力された確率が所定の閾値以上の場合、異常有りと判定する。

【0032】

なお、異常判定モデルを利用した異常の判定方法は、上記の例に限られない。また、異常判定モデルにより、異常が発生している確率だけでなく、併せて異常の種類の分類が求められる場合、判定部３７は、検査対象の異常の有無を判定するだけでなく、異常の種類を判別する。

【0033】

（２－３．表示制御部）
表示制御部３９は、表示部１３に表示させる画像信号を生成し、表示部１３での表示を制御する。表示制御部３９は、少なくとも学習部３５及び判定部３７の処理結果を表示部１３に表示させる。例えば、表示制御部３９は、学習部３５による機械学習の実行時に、機械学習の条件の設定画面や進捗状況を表示部１３に表示させる。また、表示制御部３９は、判定部３７による異常判定処理の実行時に、判定結果を表示部１３に表示させる。ただし、表示部１３での表示内容は特に制限されるものではない。

【0034】

＜３．異常判定モデル生成方法＞
異常判定モデルの生成方法について説明する。

【0035】

図３は、異常判定モデル生成方法の一例を示すフローチャートである。
まず、ユーザは、検査対象に生じ得る異常の特徴パターンを人工的に描画して擬似データを作成する（ステップＳ１１）。例えば、ユーザは、検査対象に生じ得る異常として、ユーザの考え得る異常の特徴パターンを描画し擬似データを生成する。考え得る異常の特徴パターンは、例えば、経験則に基づいて描画されるものであってよい。あるいは、異常の種類によっては、無作為に描画される特徴パターンであってもよい。本実施形態に係る検査装置２０による異常判定の対象は検査対象の外観に現れる異常である。具体的に、異常判定の対象となる異常は、例えば検査対象の表面に発生するキズや擦り傷、破断、変形、汚染物の付着等の少なくとも一つを含む。ユーザは、検査対象の使用環境や使用条件、過去に生じた異常の形状のパターン等を考慮して、考え得る異常の形状のパターンを描画し擬似データを生成する。

【0036】

例えば、ユーザは、図形描画ソフトを用いて異常の特徴パターンを描画し、データ変換処理を行って擬似データを生成してもよく、手書きで作成した異常の特徴パターンをデータ作成ソフトを利用して読込むことにより擬似データを生成してもよい。その他、異常の特徴パターンを人工的に描画して擬似データを作成する方法は、特に限定されるものではない。また、生成される擬似データの特徴パターンが過度に具体的に描画されていると、機械学習時にオーバーフィッティングを生じるおそれがある。このため、生成される擬似データの描画パターンは、異常の形状を詳細に描画したものではなく、簡略化されたものであることが好ましい。

【0037】

次いで、ユーザは、ステップＳ１１で作成した擬似データに基づいて、無作為に画像変換処理を行うことにより新たな擬似データを追加して、機械学習用のデータセットを生成する（ステップＳ１３）。例えば、ユーザは、ＧＡＮ等のランダム画像生成アルゴリズムを実行可能な装置を用いて、ステップＳ１１で作成した擬似データの色調変換、線形変換等を実行し、さらに擬似データを作成する。このとき、擬似データの数が少なすぎると、オーバーフィッティングを生じて、未知の異常の特徴パターンに対応できなくなるおそれがある。このため、異常状態の検査対象を実際に測定して得られた画像データを検証用画像データとして用いて異常判定モデルの有効性を検証しながら、適切な数の学習用データを揃えることが好ましい。

【0038】

図４は、機械学習用のデータセットの作成方法を示す説明図である。
例えば、検査対象の表面に発生するキズの検査を行うための異常判定モデルを生成するにあたり、検査対象の表面に発生したキズを実際に測定したときに、図４の上段に示したような特徴パターンを有する画像データＩｍｇ＿ａｃｔが得られるとする。

【0039】

図４に示す例において、ユーザは、実際に発生するキズの特徴パターンを参考にして、あるいは、ユーザの過去の知見又は経験則に基づいて、生じ得るキズの特徴パターンを描画した擬似データＩｍｇ＿ｆａｋを作成する。さらに、ユーザは、作成した擬似データＩｍｇ＿ｆａｋに基づいて、無作為に画像変換処理を行って擬似データを追加し、所定数の擬似データからなる学習用データセットＩｍｇ＿ｔｃｈを生成する。

【0040】

なお、ステップＳ１１において作成される擬似データの数が、機会学習用のデータセットとして十分な数である場合、画像変換処理により擬似データを追加するステップＳ１３は省略されてもよい。また、生成される学習用データセットＩｍｇ＿ｔｃｈは、異常を生じている検査対象を実際に測定して得られた画像データを含んでいてもよい。

【0041】

次いで、ユーザは、生成した機械学習用のデータセットを検査装置２０に入力し、学習部３５による機械学習を実行させ、異常判定モデルを生成する（ステップＳ１５）。上述のとおり、学習部３５は、画像データを教師データとする機械学習に利用可能な既存の機械学習モデルを利用して、異常判定モデルの機械学習を実行する。

【0042】

次いで、ユーザは、検査対象に生じた異常を実際に測定した検証用画像データを用いて、生成された異常判定モデルの有効性を検証する（ステップＳ１７）。有効性の検証に用いられる検証用画像データは、異常判定モデルの機械学習に用いられていない実画像データが使用される。検証用画像データは、例えば、図４に示したような異常を生じている画像データＩｍｇ＿ａｃｔと、異常を生じていない正常な状態の画像データとを含む。検証用画像データの数は、異常判定モデルの機械学習に用いた擬似データの数よりも多くてもよい。ユーザは、検証用画像データを異常判定モデルに入力して出力された判定結果の正答率のデータを取得する。

【0043】

次いで、ユーザは、取得した正答率が、所望の要件をクリアしているか否かを判別する（ステップＳ１９）。正答率が所望の要件をクリアしていない場合（Ｓ１９／Ｎｏ）、ユーザは、ステップＳ１１に戻り、新たに擬似データＩｍｇ＿ｆａｋを作成して、異常判定モデルの生成を再実行する。ステップＳ１１に戻る代わりに、ステップＳ１３に戻って、画像変換処理により擬似データを追加してもよい。これにより、異常判定モデルによる異常判定の結果の精度が高められるように適合される。

【0044】

一方、正答率が所望の要件をクリアしている場合（Ｓ１９／Ｙｅｓ）、ユーザは、異常判定モデルを生成する作業を終了する。生成された異常判定モデルは、メモリ２１又は記憶装置２３に格納される。

【0045】

なお、異常判定モデルは、異常の有無を判定するだけでなく、異常の種類を分類して出力可能なモデルであってもよい。例えば、異常判定モデルの機械学習に用いる学習用データセットＩｍｇ＿ｔｃｈの擬似データＩｍｇ＿ｆａｋを異常の種類に関連付けて機械学習を行い、異常判定モデルを生成する。これにより、異常判定モデルに検査画像データを入力して得られる判定結果から、検査対象に生じている異常を推定することができ、異常に対する対処や緊急度を選択することができる。

【0046】

＜４．検査装置の動作＞
検査装置２０の判定部３７による異常判定処理の動作を説明する。

【0047】

図５は、主として判定部３７により実行される検査対象の異常判定処理の動作を示すフローチャートである。

【0048】

まず、画像処理部３１は、検出器１１から出力される検査対象を測定した画像データを取得し、当該画像データを画像処理することにより検査画像データを生成する（ステップＳ２１）。

【0049】

次いで、判定部３７は、生成された検査画像データを異常判定モデルに入力して、検査対象の異常の有無を判定する（ステップＳ２３）。例えば、判定部３７は、異常判定モデルから出力される判定結果として、異常の発生の確率のデータを取得し、異常の発生の確立が所定の閾値以上の場合に異常が発生していると判定する。

【0050】

次いで、表示制御部３９は、表示部１３の駆動信号を生成し、判定結果の情報を表示部１３に表示させる（ステップＳ２５）。表示制御部３９は、表示部１３への表示と合わせて、メモリ２１又は記憶装置２３へ判定結果のログを保存してもよい。また、検査対象に異常が発生している場合、表示制御部３９は、警告音等を発生させて、ユーザへの通知を行ってもよい。

【0051】

なお、異常判定モデルが異常の有無だけでなく、生じている異常の種類を分類可能なモデルである場合、表示制御部３９は、異常判定モデルから出力される判定結果のデータに基づいて、異常の種類の情報を表示部１３に表示させてもよい。その際に、表示制御部３９は、異常の種類に応じた対処法や緊急度等の情報を併せて表示させてもよい。

【0052】

検査装置２０は、例えば、定点に固定された検出器１１により検査対象を測定した検査画像データを継続的に取得し、ステップＳ２１～ステップＳ２５の処理を繰り返すことにより、検査対象の異常を監視してもよい。あるいは、ユーザが、任意のタイミングで検出器１１により検査対象を測定し、得られた検査画像データに基づいて検査装置２０がステップＳ２１～ステップＳ２５の処理を実行し、検査対象の異常の有無を判定してもよい。

【0053】

また、検査対象が、検出器１１と相対移動可能に構成され、検出器１１の測定範囲を順次通過するように配置された検査対象であり、検査装置２０は、検出器１１により検査対象を測定した検査画像データを継続的に取得し、ステップＳ２１～ステップＳ２５の処理を繰り返すことにより、検査対象の異常を監視してもよい。これにより、長尺の検査対象物であっても、同時に全体を測定することなく、異常判定モデルを用いて異常の有無を判定することができる。

【0054】

＜５．適用例＞
本実施形態に係る検査装置２０を利用した検査システム１００の適用例について説明する。

【0055】

（５－１．第１の例）
図６は、製品の製造ラインに適用した検査システム１００Ａの例を示す説明図である。図６に示す例において、２つの検出器１１ａ，１１ｂは、ベルトコンベア５５上を流れる機器に対して複数のアームロボット５１ａ～５１ｃ，５３を用いて部品を組付けて製品を生産する製造ラインを測定可能に設置されている。かかる製造ラインにおいて、例えば、アームロボット５１ａ～５１ｃやベルトコンベア５５の脚部５５ａに、他の物体との接触や摺動によってキズが発生するおそれがあるとする。

【0056】

この場合、ユーザは、あらかじめ考え得るキズの特徴パターンを人工的に描画し、さらに画像変換処理を行って、複数の擬似データＩｍｇ＿ｆａｋを含む学習用データセットＩｍｇ＿ｔｃｈを生成する。また、ユーザは、あらかじめこれらの学習用データセットＩｍｇ＿ｔｃｈを入力データとして機械学習を行って異常判定モデルを生成しておく。そして、検査装置２０は、検出器１１ａ，１１ｂから出力される画像データから生成される検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて異常の有無を判定する処理を繰り返し実行する。

【0057】

これにより、アームロボット５１ａ～５１ｃ，５５等、検査対象が可動式の部分を含む場合であっても、製造ラインにキズ等の異常が発生していないかを監視することができる。また、キズ等の異常の特徴パターンを人工的に描画して作成した擬似データを学習用データとして用いて学習した異常判定モデルを用いて異常の有無を判定するため、実際に生じた異常の画像データがない場合であっても、あらかじめ想定される異常を検知することができる。図６に示した適用例は、例えば、倉庫内を移動するコンテナ上の箱や、工場又は倉庫内の床又は壁等、様々な検査対象の外観の検査システムとして用いることができる。

【0058】

（５－２．第２の例）
図７は、ベルトコンベア６１上に載置されて搬送される検査対象品６３ａ～６３ｅの検査に適用した検査システム１００Ｂの例を示す。図７に示す例において、２つの検出器１１ｃ，１１ｄは、それぞれベルトコンベア６１の特定の測定範囲Ｒａ，Ｒｂに向けて設置されている。検査対象品６３ａ～６３ｅには、キズや擦り傷、汚れの付着、破損等が生じるおそれがあるとする。

【0059】

この場合、ユーザは、あらかじめ考え得る外観上の異常の特徴パターンや、正常な検査対象品６３ａ～６３ｅの外観には存在しない形状の特徴パターンを人工的に描画し、さらに画像変換処理を行って、複数の擬似データＩｍｇ＿ｆａｋを含む学習用データセットＩｍｇ＿ｔｃｈを生成する。また、ユーザは、あらかじめこれらの学習用データセットＩｍｇ＿ｔｃｈを入力データとして機械学習を行って異常判定モデルを生成しておく。そして、それぞれの測定範囲Ｒａ，Ｒｂを検査対象品６３ａ～６３ｅが順次通過する状態で、検査装置２０は、検出器１１ｃ，１１ｄから出力される画像データから生成される検査画像データを異常判定モデルに入力し、異常判定モデルからの出力に基づいて検査対象品６３ａ～６３ｅの異常の有無を判定する処理を繰り返し実行する。

【0060】

これにより、検出器１１ｃ，１１ｄの測定範囲Ｒａ，Ｒｂを順次通過する検査対象品６３ａ～６３ｅの検査を自動で継続的に実行することができる。また、異常の特徴パターンを人工的に描画して作成した擬似データを学習用データとして用いて学習した異常判定モデルを用いて異常の有無を判定するため、実際に生じた異常の画像データがない場合であっても、あらかじめ想定される異常や未知の異常を検知することができる。

【0061】

なお、図７に示した適用例では、検出器１１ｃ，１１ｄの測定範囲Ｒａ，Ｒｂが固定され、当該測定範囲Ｒａ，Ｒｂを通過する検査対象品６３ａ～６３ｂを測定した画像データを用いて異常判定を行っていたが、検査対象品が移動することなく、検出器の測定範囲が検査対象品に対して相対移動するように検査システムを構築することもできる。また、検査対象品がベルトコンベア上に載置されて搬送される代わりに、検査対象品自体が検出器の測定範囲に対して相対移動するものであってもよい。図７に示した適用例は、例えば、電車や自動車等の車両の外観の検査システムとしても用いることができる。

【0062】

＜６．効果＞
以上説明したように、本実施形態に係る異常判定モデル生成方法及び異常判定モデル生成装置によれば、異常判定に用いる異常判定モデルを生成するための学習用データとして、異常を生じている検査対象を実際に測定して得られた画像データではなく、異常の特徴パターンを擬似して作成される擬似データ（例えば、ユーザにより人工的に作成されたデータ等）が用いられる。したがって、異常の特徴パターンを含む学習用データを自由に生成することができるため、実際に異常を生じる前や特定の異常が生じたサンプル数が少ない場合であっても、知見又は経験則に照らしてあらかじめ想定される異常や、想定外の未知の異常を検知可能な異常判定モデルを生成することができる。また、あらかじめ異常と認識している学習用データを自由に生成することができるため、実際に測定した画像データを正常又は異常に分類したり、異常の種類ごとに分類したりする負担を軽減することができ、コストを低減することもできる。

【0063】

また、本実施形態によれば、擬似データを学習用データとして用いて機械学習により生成された異常判定モデルに対して、検査対象を実際に測定して取得した検証用画像データを用いて有効性を検証する。このため、生成された異常判定モデルの正答率が所望の正答率となるように学習用データを作成しながら、判定精度の高い異常判定モデルを生成することができる。したがって、ユーザが異常の特徴パターンを人工的に描画して作成された擬似データを用いる場合であっても、判定精度の高い異常判定モデルを生成することができる。

【0064】

また、本実施形態によれば、異常の特徴パターンをユーザが人工的に描画して作成された擬似データが学習用データとして用いられ得る。このため、様々な形状のパターンを特徴パターンとする学習用データを作成することができ、様々な異常を検知可能な異常判定モデルを生成することができる。また、異常の特徴パターンをユーザが人工的に描画して作成された擬似データが学習用データとして用いられ得るため、簡略化された形状のパターンを含む学習用データとすることができ、機械学習時にオーバーフィッティングを生じるおそれを低減することができる。

【0065】

また、本実施形態に係る検査装置によれば、上記の異常判定モデル生成方法及び異常判定モデル生成装置により生成された異常判定モデルを用いて、検査対象の外観の検査を行うことができる。したがって、実際に異常を生じる前や特定の異常が生じたサンプル数が少ない場合であっても、検査対象の外観に生じた異常が検出されやすくなって、判定精度を高めることができる。また、本実施形態に係る検査装置によれば、簡略化して描画された異常の特徴パターンを含む学習用データを用いて生成された、オーバーフィッティングが抑制された異常判定モデルを利用して異常判定が行われるため、検査対象の外観に生じた異常の判定精度を高めることができる。

【0066】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0067】

例えば、上記本発明に係る異常判定モデル生成方法及び異常判定モデル生成装置並びに検査装置が適用される検査対象は、検査対象の画像データから特徴パターンを抽出可能な検査対象であれば、本発明を適用することができる。

【0068】

また、学習用データセットＩｍｇ＿ｔｃｈは、擬似データのみによって構成されていなくてもよく、実際に検査対象を測定して取得した正常データ及び異常データの少なくとも一方を含んでいてもよい。

【0069】

また、上記実施形態では、検査装置２０が学習部３５及び判定部３７を備える例を説明したが、本発明はかかる例に限定されない。例えば、学習部３５が、別の装置に備えられて、独立した異常判定モデル生成装置として構成されてもよい。この場合、学習部３５を含む異常判定モデル生成装置を用いてあらかじめ機械学習を行うことで異常判定モデルが生成され、判定部３７を含む検査装置２０のメモリ２１又は記憶装置２３に異常判定モデルが記憶される。

【0070】

さらに、リアルタイムで検査装置２０を用いて異常判定を行うのではなく、オフラインで異常判定を行う場合には、検査装置２０が画像処理部３１を含まずに構成されていてもよい。例えば、検出器１１から出力される画像データから抽出した検査画像データを記憶媒体に記憶させ、当該記憶媒体に記憶された検査画像データを検査装置２０の判定部３７に読み込ませるようにしてもよい。このように構成した場合であっても、検査装置２０は、異常判定モデルに基づいて検査対象の異常判定を行うことができる。

【符号の説明】

【0071】

１…検査装置、３…検出器、７…表示部、１０…制御部、１１…画像処理部、１３…演算部、１５…学習部、１７…判定部、１９…表示制御部、２１…メモリ、２３…記憶装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】