特開 2022-69059 異常判定システムおよび異常判定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022069059

(43)【公開日】2022-05-11

(54)【発明の名称】異常判定システムおよび異常判定方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220428BHJP

   G06T 1/00 20060101ALI20220428BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

G06T1/00 300

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2020178009

(22)【出願日】2020-10-23

(71)【出願人】

【識別番号】599133026

【氏名又は名称】株式会社的

(74)【代理人】

【識別番号】110001771

【氏名又は名称】特許業務法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】矢農 正紀

(72)【発明者】

【氏名】大木 康寛

(72)【発明者】

【氏名】松本 良太

(72)【発明者】

【氏名】北泉 信洋

(72)【発明者】

【氏名】三田 聡

【テーマコード（参考）】

5B057

5L096

【Ｆターム（参考）】

5B057BA02

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE04

5B057DA03

5B057DB02

5B057DB09

5B057DC32

5B057DC40

5L096BA03

5L096CA02

5L096HA01

5L096KA04

(57)【要約】

【課題】検査対象の物体における異常の有無を適切に判定することができる異常判定システムおよび異常判定方法を提供する。
【解決手段】異常判定システムは、検査対象の物体が撮像された元画像Ｇ０に対して特異値分解による低ランク近似を実行して入力画像Ｇ１を生成する画像処理部と、機械学習の結果に基づいて、入力画像から低ランク近似が実行される前の画像を推定し、推定結果の画像Ｇ２を生成する画像生成部４と、検査対象の物体の異常を判定するためのデータとして、少なくとも推定結果の画像を提供するデータ提供部と、を備える。
【選択図】図３

【特許請求の範囲】

【請求項1】

検査対象の物体が撮像された元画像に対して特異値分解による低ランク近似を実行して入力画像を生成する画像処理部と、
機械学習の結果に基づいて、前記入力画像から前記低ランク近似が実行される前の画像を推定し、推定結果の画像を生成する画像生成部と、
前記検査対象の物体の異常を判定するためのデータとして、少なくとも前記推定結果の画像を提供するデータ提供部と、
を備えることを特徴とする異常判定システム。

【請求項2】

更に、前記元画像と前記推定結果の画像との差異に基づいて前記検査対象の物体における異常の有無を判定する判定部を備え、
前記データ提供部は、前記判定部に対して前記元画像および前記推定結果の画像を提供する
請求項１に記載の異常判定システム。

【請求項3】

前記画像生成部は、正常である前記検査対象の物体を撮像した第一画像を正解データとし、前記第一画像に対して前記低ランク近似を実行して生成された第二画像を入力データとした機械学習によって生成される
請求項１または２に記載の異常判定システム。

【請求項4】

検査対象の物体が撮像された元画像に対して特異値分解による低ランク近似を実行して入力画像を生成するステップと、
機械学習の結果に基づいて、前記入力画像から前記低ランク近似が実行される前の画像を推定し、推定結果の画像を生成するステップと、
前記推定結果の画像に基づいて前記検査対象の物体における異常の有無を判定するステップと、
を含むことを特徴とする異常判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、異常判定システムおよび異常判定方法に関する。

【背景技術】

【0002】

従来、異常を判定するシステムや方法がある。特許文献１には、正常か異常かが未知の第４のデータをニューラルネットワークに入力し、第４のデータが正常か異常かを判定する、ニューラルネットワークを用いた異常検知方法の技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－６１５７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検査対象の物体を撮像した画像に基づいて、適切に異常の判定を行える技術が望まれている。例えば、検査対象の物体における局所的な異常の有無を判定できることが好ましい。

【0005】

本発明の目的は、検査対象の物体における異常の有無を適切に判定することができる異常判定システムおよび異常判定方法を提供することである。

【課題を解決するための手段】

【0006】

本発明の異常判定システムは、検査対象の物体が撮像された元画像に対して特異値分解による低ランク近似を実行して入力画像を生成する画像処理部と、機械学習の結果に基づいて、前記入力画像から前記低ランク近似が実行される前の画像を推定し、推定結果の画像を生成する画像生成部と、前記検査対象の物体の異常を判定するためのデータとして、少なくとも前記推定結果の画像を提供するデータ提供部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明に係る異常判定システムは、検査対象の物体の異常を判定するためのデータとして、少なくとも推定結果の画像を提供するデータ提供部を有する。検査対象の物体が正常である場合、再現度の高い推定結果の画像が得られる。一方、検査対象の物体に異常が存在する場合、推定結果の画像における再現度が低くなる。本発明に係る異常判定システムによれば、検査対象の物体における異常の有無を適切に判定することができるという効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る異常判定システムのブロック図である。

【図2】図２は、実施形態における画像処理の流れを示す図である。

【図3】図３は、検査対象の物体に異常が存在する場合に生成される画像の一例を示す図である。

【図4】図４は、実施例の機械学習について説明する図である。

【図5】図５は、実施例の評価用データを示す図である。

【図6】図６は、実施例のテストデータおよび結果画像を示す図である。

【図7】図７は、第三テストデータについての元画像、入力画像、および推定結果の画像を示す図である。

【図8】図８は、第一テストデータおよび第三テストデータを示す図である。

【図9】図９は、第五結果画像および第六結果画像を示す図である。

【図10】図１０は、画像の分割方法の一例を示す図である。

【発明を実施するための形態】

【0009】

以下に、本発明の実施形態に係る異常判定システムおよび異常判定方法につき図面を参照しつつ詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるものあるいは実質的に同一のものが含まれる。

【0010】

［実施形態］
図１から図１０を参照して、実施形態について説明する。本実施形態は、異常判定システムおよび異常判定方法に関する。図１は、実施形態に係る異常判定システムのブロック図、図２は、実施形態における画像処理の流れを示す図、図３は、検査対象の物体に異常が存在する場合に生成される画像の一例を示す図、図４は、実施例の機械学習について説明する図、図５は、実施例の評価用データを示す図、図６は、実施例のテストデータおよび結果画像を示す図、図７は、第三テストデータについての元画像、入力画像、および推定結果の画像を示す図、図８は、第一テストデータおよび第三テストデータを示す図、図９は、第五結果画像および第六結果画像を示す図、図１０は、画像の分割方法の一例を示す図である。

【0011】

図１に示すように、本実施形態に係る異常判定システム１は、異常判定装置１０を有する。異常判定装置１０は、取得部２、画像処理部３、画像生成部４、データ提供部５、判定部６、および出力部７を有する。異常判定装置１０は、カメラ２０により撮像された画像に基づいて、検査対象の物体における異常の有無を判定する。検査対象の物体は、例えば、工業製品である。異常判定装置１０は、例えば、製品を製造する工場の検査工程に配置される。本実施形態では、検査対象の物体がワイヤハーネスＷＨである場合について異常判定システム１の説明を行なう。

【0012】

カメラ２０は、検査対象の物体を撮像して元画像Ｇ０を生成する。元画像Ｇ０は、検査対象の物体の全体または検査対象の物体の一部が撮像された画像である。カメラ２０は、例えば、ＲＧＢの三色を有するカラー画像を生成する。

【0013】

本実施形態に係る異常判定システム１の概要について、図２を参照して説明する。図２には、元画像Ｇ０、入力画像Ｇ１、および推定結果の画像Ｇ２が示されている。元画像Ｇ０は、検査対象の物体が撮像された画像であり、カメラ２０によって生成される。入力画像Ｇ１は、元画像Ｇ０に対して特異値分解による低ランク近似がなされて生成される画像である。つまり、入力画像Ｇ１は、特異値分解でぼかされた画像である。

【0014】

推定結果の画像Ｇ２は、人工知能が入力画像Ｇ１に基づいて生成する画像である。人工知能である画像生成部４は、機械学習の結果に基づいて、低ランク近似が実行される前の画像を推定し、推定結果の画像Ｇ２を生成する。言い換えると、画像生成部４は、入力画像Ｇ１に基づいて、低ランク近似が実行される前の画像を復元する。異常判定システム１では、元画像Ｇ０および推定結果の画像Ｇ２に基づいて検査対象の物体に異常が存在するか否かが判定される。

【0015】

元画像Ｇ０と推定結果の画像Ｇ２との間の差異が大きい場合、検査対象の物体に異常が存在すると判定される。一方、元画像Ｇ０と推定結果の画像Ｇ２との間の差異が小さい場合、検査対象の物体に異常が存在しないと判定される。

【0016】

図３の元画像Ｇ０では、検査対象の物体であるワイヤハーネスＷＨに異常が存在する。具体的には、電線Ｗ１の被覆の色が正常な電線Ｗ０（図２参照）の色とは異なる。つまり、コネクタ３０に対して誤った電線Ｗ１が接続されている。この場合、図３に示すように、推定結果の画像Ｇ２にノイズが生じる。例えば、推定結果の画像Ｇ２において、右下の領域Ａ４に乱れが生じている。推定結果の画像Ｇ２にノイズが生じていることで、ワイヤハーネスＷＨに異常が存在すると判定することができる。本実施形態に係る異常判定システム１によれば、検査対象の物体における異常の有無を適切に判定することができる。

【0017】

異常判定システム１の詳細について説明する。図１に示す異常判定装置１０は、例えば、メモリ、演算装置、通信インタフェース等を有するコンピュータによって構成されている。取得部２は、通信インタフェースを介してカメラ２０によって生成された元画像Ｇ０を取得する。取得部２は、カメラ２０との通信によって元画像Ｇ０を取得してもよく、サーバ等に記録された元画像Ｇ０を取得してもよい。取得部２が取得した元画像Ｇ０は、メモリ等に記憶される。

【0018】

画像処理部３は、元画像Ｇ０に対して特異値分解による低ランク近似を実行して入力画像Ｇ１を生成する。画像処理部３は、下記［数１］に示すように、元画像Ｇ０の行列Ａを三つの行列に分解する。

【数1】

【0019】

［数１］の行列Ｓは、対角成分の値が特異値σ_１、σ_２、…、σ_ｒであり、かつ対角成分以外の要素の値が０である行列である。特異値σ_ｉ（ｉ＝１，２，…，ｒ）は、σ_１≧σ_２≧…≧σ_ｒの関係を満たす。画像処理部３は、整数ｑ（但し、ｑ＜ｒ）を設定し、σ_ｑ＋１以降の特異値σ_ｉを０にする低ランク近似を行う。なお、画像処理部３は、画像の解像度を落とさずに近似を行なう。整数ｑの値は、入力画像Ｇ１を画素単位で見たときに、色や輝度のばらついている箇所が残るように定められる。後述する実施例では、ｑ＝１である。ただし、ｑの値は、１には限定されない。ｑの値は、例えば、１以上５以下の範囲から選択されてもよい。本願の発明者は、ｑの値が４または５の場合であってもｑ＝１の場合と同様に異常の有無を判定できることを確認した。

【0020】

画像生成部４は、入力画像Ｇ１から低ランク近似が実行される前の画像を推定し、推定結果の画像Ｇ２を生成する。画像生成部４は、図４を参照して説明する機械学習により生成される。図４には、第一画像Ｔ１および第二画像Ｔ２が示されている。第一画像Ｔ１は、正常であるワイヤハーネスＷＨを撮像した画像である。第二画像Ｔ２は、第一画像Ｔ１に対して低ランク近似を実行して生成された画像である。

【0021】

画像生成部４は、第二画像Ｔ２を入力データとし、第一画像Ｔ１を正解データとした機械学習によって生成される。使用される機械学習の手法は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。画像生成部４は、第二画像Ｔ２に基づいて第一画像Ｔ１を推定できるように、第一画像Ｔ１および第二画像Ｔ２の組を教師データとして機械学習を行う。

【0022】

データ提供部５は、検査対象の物体の異常を判定するためのデータを提供する。より詳しくは、データ提供部５は、少なくとも推定結果の画像Ｇ２を提供する。本実施形態のデータ提供部５は、判定部６に対して、元画像Ｇ０と推定結果の画像Ｇ２とを組み合わせたデータセットを提供する。なお、データ提供部５は、異常を判定するためのデータを外部の機器に提供してもよい。データ提供部５は、例えば、モニタ５０にデータを提供する。モニタ５０は、提供されたデータの画像を表示する。データ提供部５は、元画像Ｇ０および推定結果の画像Ｇ２の両方をモニタ５０に提供してもよく、推定結果の画像Ｇ２のみをモニタ５０に提供してもよい。作業者は、モニタ５０に表示された画像に基づいて異常判定を行なう。

【0023】

判定部６は、元画像Ｇ０と推定結果の画像Ｇ２との差異に基づいて検査対象の物体における異常の有無を判定する。本実施形態の判定部６は、ピーク信号対雑音比（ＰＳＮＲ：Peak Signal-to-Noise Ratio）を評価指標として、異常の有無を判定する。判定部６は、元画像Ｇ０を原画像とし、推定結果の画像Ｇ２を変換後の画像として、ＰＳＮＲの値を算出する。ＰＳＮＲの値は、元画像Ｇ０に対する推定結果の画像Ｇ２の再現性の高さを示す。判定部６は、例えば、ＰＳＮＲの値が閾値未満である場合に元画像Ｇ０に撮像されている検査対象の物体に異常が存在すると判定する。判定部６は、判定結果を出力部７に提供する。

【0024】

出力部７は、判定部６による判定結果を出力する。異常判定装置１０は、例えば、モニタ５０に判定結果を表示する。異常判定装置１０は、ランプや音声等によって判定結果を通知してもよい。

【0025】

［実施例］
実施例について説明する。実施例では、評価用データおよびテストデータを使用して、判定部６が異常の有無を適切に判定できるかを検証した。実施例において、各画像の解像度は、２５６画素×２５６画素である。学習用の第一画像Ｔ１および第二画像Ｔ２の解像度も同じである。実施例の画像生成部４は、１００枚の第一画像Ｔ１および１００枚の第二画像Ｔ２を教師データとして機械学習を行なって生成された。

【0026】

図５には、評価用のデータＶＤが示されている。評価用のデータＶＤは、正常であるワイヤハーネスＷＨを撮像した画像であって、かつ画像生成部４の教師データに使用されていない画像である。評価用のデータＶＤは、学習用の第一画像Ｔ１を撮像したときと同様の条件において撮像された画像である。なお、同様の条件において撮像された複数の画像から無作為に抽出した一部の画像を第一画像Ｔ１とし、他の一部の画像を評価用のデータＶＤとしてもよい。実施例では、互いに異なる２０枚の評価用データＶＤを元画像Ｇ０として２０枚の入力画像Ｇ１を生成した。画像生成部４は、２０枚の入力画像Ｇ１から２０枚の推定結果の画像Ｇ２を生成する。よって、元画像Ｇ０と推定結果の画像Ｇ２との組合せが２０個得られる。判定部６は、２０組の元画像Ｇ０および推定画像Ｇ２のそれぞれの組について、ＰＳＮＲの値を算出した。その結果、評価用データにおいて、ＰＳＮＲの最大値が２１．１５［ｄＢ］であり、最小値が１９．３０［ｄＢ］であった。

【0027】

図６に示すように、テストデータは、第一テストデータＤ１、第二テストデータＤ２、第三テストデータＤ３、および第四テストデータＤ４を有する。各テストデータＤ１，Ｄ２，Ｄ３，Ｄ４は、教師データとして撮像されたワイヤハーネスＷＨと同じワイヤハーネスＷＨを撮像して生成される。

【0028】

第一テストデータＤ１は、教師データの第一画像Ｔ１と同様にして撮像された画像である。つまり、第一テストデータＤ１は、評価用データＶＤと同様の画像データである。第二テストデータＤ２は、コネクタ３０を裏返してワイヤハーネスＷＨを撮像した画像である。言い換えると、第二テストデータＤ２は、コネクタ３０を裏面側から撮像した画像である。

【0029】

第三テストデータＤ３は、ワイヤハーネスＷＨにおけるコネクタ３０とは反対側の端部を撮像した画像である。ワイヤハーネスＷＨは、電線Ｗと、電線Ｗの一端に接続されたコネクタ３０と、電線Ｗの他端に接続されたコネクタ４０と、を有する。第二テストデータＤ２には、コネクタ４０における表側の面が撮像されている。第四テストデータＤ４は、コネクタ４０を裏返してワイヤハーネスＷＨを撮像した画像である。つまり、第四テストデータＤ４は、コネクタ４０を裏面側から撮像した画像である。

【0030】

実施例では、各テストデータＤ１，Ｄ２，Ｄ３，Ｄ４を２０枚ずつ用いて、ＰＳＮＲが算出された。例えば、２０枚の第一テストデータＤ１を元画像Ｇ０として入力画像Ｇ１が生成される。そして、２０枚の入力画像Ｇ１に基づいて、画像生成部４によって２０枚の推定結果の画像Ｇ２が生成される。図６には、第一結果画像Ｒ１、第二結果画像Ｒ２、第三結果画像Ｒ３、および第四結果画像Ｒ４が示されている。第一結果画像Ｒ１は、第一テストデータＤ１に対応する推定結果の画像Ｇ２である。同様に結果画像Ｒ２，Ｒ３，Ｒ４は、テストデータＤ２，Ｄ３，Ｄ４に対応する推定結果の画像Ｇ２である。

【0031】

判定部６は、２０組の第一テストデータＤ１および第一結果画像Ｒ１についてＰＳＮＲを算出する。同様に、テストデータＤ２，Ｄ３，Ｄ４についても、それぞれ２０個のＰＳＮＲの値が算出される。

【0032】

第一テストデータＤ１について、ＰＳＮＲの最大値が２１．０１［ｄＢ］であり、最小値が１９．３２［ｄＢ］であった。評価用データに対するＰＳＮＲの値と同様の値である。テストデータＤ２，Ｄ３，Ｄ４について、ＰＳＮＲの最大値が１９．１７［ｄＢ］であり、最小値が１７．６４［ｄＢ］であった。つまり、評価用データおよび第一テストデータＤ１に対するＰＳＮＲの値の分布範囲（１９．３０～２１．１５）と、テストデータＤ２，Ｄ３，Ｄ４に対するＰＳＮＲの値の分布範囲（１７．６４～１９．１７）とが不連続である。従って、判定部６は、正常であるワイヤハーネスＷＨが撮像された画像と、異常を有するワイヤハーネスＷＨが撮像された画像とを区別することができる。

【0033】

図７には、第三テストデータＤ３の一つについて、元画像Ｇ０、入力画像Ｇ１、および推定結果の画像Ｇ２が示されている。推定結果の画像Ｇ２では、画像全体に乱れが生じている。つまり、推定結果の画像Ｇ２には、目視によって明確に異常が判別できるほどのノイズが生じている。このデータでは、ＰＳＮＲの値が１８．２７［ｄＢ］であった。

【0034】

上記のような異常検出は、例えば、ワイヤハーネスＷＨの差し込み間違いの検出に適用可能である。例えば、コネクタ３０が裏返された状態で相手方の装置に接続された場合には、第二テストデータＤ２と同様の画像がカメラ２０によって撮像される。また、コネクタ３０が接続されるべき箇所にコネクタ４０が接続された場合、第三テストデータＤ３または第四テストデータＤ４と同様の画像がカメラ２０によって撮像される。

【0035】

テストデータＤ２，Ｄ３，Ｄ４の画像では、第一テストデータＤ１の画像と比較して、局所的な異常が各部で生じている。図８には、第一テストデータＤ１の画像および第三テストデータＤ３の画像が示されている。図８から分かるように、第三テストデータＤ３の画像において、各電線の位置や色が第一テストデータＤ１の画像における各電線の位置や色と異なっている。言い換えると、第三テストデータＤ３の画像は、複数の局所的な異常を含んだ画像である。よって、画像生成部４は第三テストデータＤ３の画像を正確に復元できず、図７に示すように推定結果の画像Ｇ２に発生するノイズが大きくなる。

【0036】

このように、本実施形態の異常判定装置１０は、局所的な異常を有する物体を撮像した画像に基づいて、異常を有する物体であることを判定することができる。第二テストデータＤ２および第四テストデータＤ４についても同様に局所的な異常を有する物体を精度よく判定することができる。従って、異常判定装置１０は、コネクタ３０，４０の誤接続を精度よく検出することができる。つまり、異常判定装置１０は、ワイヤハーネスＷＨにおける局所的な異常の有無を適切に判定することができる。

【0037】

次に、コネクタ３０の近傍における一部分の異常を判定する例について説明する。上記のように、図３の元画像Ｇ０は、電線Ｗ１の被覆の色が正常な電線Ｗ０（図２参照）の色とは異なる。電線Ｗ０の色は緑色であり、電線Ｗ１の色は黄色である。図３のワイヤハーネスＷＨにおいて、電線Ｗ１以外の電線は、正常な電線である。つまり、図３のワイヤハーネスＷＨには、一本の電線Ｗ１が本来の電線Ｗ０とは異なるという局所的な異常が存在する。この場合、図３に示すように、推定結果の画像Ｇ２には、一瞥して認識できるノイズが発生する。よって、元画像Ｇ０と推定結果の画像Ｇ２との差異に基づいて局所的な異常の判定が可能である。

【0038】

図９には、第五結果画像Ｒ５および第六結果画像Ｒ６が示されている。第五結果画像Ｒ５は、図２に示す推定結果の画像Ｇ２であり、第六結果画像Ｒ６は、図３に示す推定結果の画像Ｇ２である。第六結果画像Ｒ６では、電線の形状が乱れており、特に、右下の領域Ａ４において電線の形状の乱れが顕著である。図９に示す第六結果画像Ｒ６と、図７に示す第三結果画像Ｒ３とを比較すると、第三結果画像Ｒ３では乱れの生じている範囲が広い。第三結果画像Ｒ３では、画像の全体が乱れており、ノイズが大きいと考えられる。このため、第六結果画像Ｒ６では、第三結果画像Ｒ３と比較してＰＳＮＲの値が大きくなり、ＰＳＮＲに基づく異常検出の精度が低下する可能性がある。

【0039】

元画像Ｇ０および推定結果の画像Ｇ２に基づく異常の判定は、例えば、作業者の目視により実行されてもよい。この場合、異常判定装置１０は、作業者に対して元画像Ｇ０および推定結果の画像Ｇ２を組み合わせたデータセットを提供する。提供される元画像Ｇ０および推定結果の画像Ｇ２は、例えば、モニタ５０に並べて表示される。作業者は、元画像Ｇ０および推定結果の画像Ｇ２を見比べて異常の有無を判定する。

【0040】

異常判定装置１０は、ＰＳＮＲの値が所定の範囲である場合に、作業者による最終判定を求めてもよい。異常判定装置１０は、例えば、ＰＳＮＲの値が異常と判定する閾値よりも高く、かつ正常と判定できる基準値よりも低い場合に、作業者に対して目視による判定を求めてもよい。このようにすることで、判定作業に関する作業者の負担が軽減される。基準値は、例えば、複数の評価用データから得られたＰＳＮＲの値の分布に基づいて統計的に定められる。基準値は、評価用データから得られたＰＳＮＲの値の中間値や平均値とされてもよい。

【0041】

なお、異常判定装置１０は、画像の領域毎にＰＳＮＲを算出してもよい。例えば、図９に示す第六結果画像Ｒ６では、第四象限に当たる右下の領域Ａ４において画像の乱れが顕著である。この領域は、異常である電線Ｗ１が撮像された領域である。つまり、局所的な異常が存在する場合、その異常が撮像された領域においてノイズが大きくなると考えられる。

【0042】

異常判定装置１０は、推定結果の画像Ｇ２を複数の領域に分割して異常判定を行なってもよい。例えば、推定結果の画像Ｇ２は、図１０に示すように四つの領域Ａ１，Ａ２，Ａ３，Ａ４に分割される。分割線は、例えば、画像縦方向の中間線、および画像横方向の中間線である。元画像Ｇ０についても同様に四つの領域に分割される。判定部６は、各領域Ａ１，Ａ２，Ａ３，Ａ４について、元画像Ｇ０の対応する領域と比較してＰＳＮＲの値を算出する。判定部６は、例えば、算出される四つのＰＳＮＲの値のうち、少なくとも一つの値が閾値未満である場合に検査対象の物体に異常があると判定する。

【0043】

以上説明したように、本実施形態に係る異常判定システム１は、画像処理部３と、画像生成部４と、データ提供部５と、を有する。画像処理部３は、検査対象の物体が撮像された元画像Ｇ０に対して特異値分解による低ランク近似を実行して入力画像Ｇ１を生成する。画像生成部４は、機械学習の結果に基づいて、入力画像Ｇ１から低ランク近似が実行される前の画像を推定し、推定結果の画像Ｇ２を生成する。データ提供部５は、検査対象の物体の異常を判定するためのデータとして、少なくとも推定結果の画像Ｇ２を提供する。本実施形態の異常判定システム１によれば、推定結果の画像Ｇ２に基づいて適切に検査対象の物体の異常を判定することができる。

【0044】

本実施形態の異常判定システム１は、更に、判定部６を有する。判定部６は、元画像Ｇ０と推定結果の画像Ｇ２との差異に基づいて検査対象の物体における異常の有無を判定する。データ提供部５は、判定部６に対して元画像Ｇ０および推定結果の画像Ｇ２を提供する。元画像Ｇ０と推定結果の画像Ｇ２との差異を示す指標は、例えば、ＰＳＮＲであるが、これには限定されない。本実施形態の異常判定システム１によれば、判定部６によって自動的に異常の判定を行なうことが可能である。判定部６は、検査対象の物体における局所的な異常の有無を判定することができる。

【0045】

本実施形態の画像生成部４は、第一画像Ｔ１を正解データとし、第二画像Ｔ２を入力データとした機械学習によって生成される。第一画像Ｔ１は、正常である検査対象の物体を撮像した画像である。第二画像Ｔ２は、第一画像Ｔ１に対して低ランク近似を実行して生成された画像である。よって、画像生成部４は、正常である検査対象の物体に関して、入力画像Ｇ１から低ランク近似が実行される前の画像を精度よく推定することができる。一方、画像生成部４は、異常を有する検査対象の物体に関しては、入力画像Ｇ１から低ランク近似が実行される前の画像を精度よく推定することができない。その結果、検査対象の物体における異常の有無が容易に判定可能となる。

【0046】

本実施形態に係る異常判定方法は、入力画像Ｇ１を生成するステップと、推定結果の画像Ｇ２を生成するステップと、異常の有無を判定するステップと、を含む。入力画像Ｇ１を生成するステップでは、検査対象の物体が撮像された元画像Ｇ０に対して特異値分解による低ランク近似が実行されて入力画像Ｇ１が生成される。本実施形態では、画像処理部３が入力画像Ｇ１を生成するステップを実行する。

【0047】

推定結果の画像Ｇ２を生成するステップでは、機械学習の結果に基づいて、入力画像Ｇ１から低ランク近似が実行される前の画像が推定され、推定結果の画像Ｇ２が生成される。本実施形態では、画像生成部４が推定結果の画像Ｇ２を生成するステップを実行する。異常の有無を判定するステップでは、推定結果の画像Ｇ２に基づいて検査対象の物体における異常の有無が判定される。異常の有無を判定するステップは、例えば、判定部６によって実行される。この場合、異常の有無を判定するステップでは、元画像Ｇ０と推定結果の画像Ｇ２との差異に基づいて異常の有無が判定される。

【0048】

異常の有無を判定するステップは、作業者によって実行されてもよい。この場合、元画像Ｇ０を用いずに、推定結果の画像Ｇ２に基づいて異常の有無が判定されてもよい。作業者は、推定結果の画像Ｇ２における乱れに基づいて異常の有無を判定することが可能である。異常の有無を判定するステップにおいて、作業者は、元画像Ｇ０と推定結果の画像Ｇ２とを見比べて異常の有無を判定してもよい。

【0049】

［実施形態の変形例］
検査対象の物体は、工業製品には限定されない。本実施形態の異常判定システム１は、例えば、食品の検査に適用されてもよい。異常判定システム１は、様々な物体に関して局所的な異常の有無を判定することができる。

【0050】

カメラ２０は、検査対象の物体を撮像してモノクロ画像を生成してもよい。検査対象の物体における異常は、元画像Ｇ０における輝度分布の異常として現れる。よって、異常判定システム１は、モノクロ画像に基づいて、検査対象の物体における異常の有無を適切に判定することができる。

【0051】

上記の実施形態および変形例に開示された内容は、適宜組み合わせて実行することができる。

【符号の説明】

【0052】

１ 異常判定システム
２ 取得部
３ 画像処理部
４ 画像生成部
５ データ提供部
６ 判定部
７ 出力部
１０ 異常判定装置
２０ カメラ
３０，４０ コネクタ
５０ モニタ
ＷＨ ワイヤハーネス
Ａ１，Ａ２，Ａ３，Ａ４ 領域
Ｄ１：第一テストデータ、 Ｄ２：第二テストデータ、 Ｄ３：第三テストデータ
Ｄ４：第四テストデータ
Ｇ０：元画像、 Ｇ１：入力画像、 Ｇ２：推定結果の画像
Ｒ１：第一結果画像、 Ｒ２：第二結果画像、 Ｒ３：第三結果画像
Ｒ４：第四結果画像、 Ｒ５：第五結果画像、 Ｒ６：第六結果画像
Ｔ１：第一画像、 Ｔ２：第二画像
ＶＤ 評価用のデータ
Ｗ０，Ｗ１ 電線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】