特開 2024-169403 ニューラルネットワークトレーニング方法及び欠陥検出方法、装置並びにコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024169403

(43)【公開日】2024-12-05

(54)【発明の名称】ニューラルネットワークトレーニング方法及び欠陥検出方法、装置並びにコンピュータプログラム

(51)【国際特許分類】

   G06N 3/0895 20230101AFI20241128BHJP

   G06T 7/00 20170101ALI20241128BHJP

   G06V 10/82 20220101ALI20241128BHJP

   G06N 3/0455 20230101ALI20241128BHJP

   G11B 5/84 20060101ALI20241128BHJP

   G11B 7/004 20060101ALI20241128BHJP

   G11B 20/18 20060101ALI20241128BHJP

【ＦＩ】

G06N3/0895

G06T7/00 350C

G06V10/82

G06T7/00 610B

G06N3/0455

G11B5/84 Z

G11B7/004 A

G11B20/18 501C

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024084087

(22)【出願日】2024-05-23

(31)【優先権主張番号】202310587811.5

(32)【優先日】2023-05-23

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】イン ジャオ

【テーマコード（参考）】

5D090

5D112

5L096

【Ｆターム（参考）】

5D090FF38

5D112JJ05

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096EA03

5L096EA15

5L096EA16

5L096EA35

5L096FA69

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】ニューラルネットワークトレーニング方法及び欠陥検出方法、装置及びコンピュータ読み取り可能な記憶媒体を提供する。
【解決手段】ニューラルネットワークのトレーニング方法は、トレーニング画像を入力し、トレーニング画像の知覚マップを計算するステップと、トレーニング画像及びトレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップと、第一サブモジュールを含む再構成ネットワークによってトレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及びトレーニング再構成画像の知覚マップを取得するステップと、トレーニング画像、トレーニング再構成画像及びトレーニング再構成画像の知覚マップに基づいて欠陥検出を行い、ニューラルネットワークをトレーニングしてニューラルネットワークのパラメータを調整するステップと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

ニューラルネットワークのトレーニング装置が実行する、ニューラルネットワークのトレーニング方法であって、
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を含むことを特徴とするニューラルネットワークのトレーニング方法。

【請求項2】

前記トレーニング画像の知覚マップを計算するステップは、
前記トレーニング画像のマルチスケール知覚マップを計算することを含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。

【請求項3】

少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップは、
欠陥マスク画像を生成し、前記トレーニング画像に基づいて１つ以上の欠陥テクスチャ画像を生成することと、
欠陥制御パネル及び前記欠陥マスク画像に基づき、且つ前記トレーニング画像のマルチスケール知覚マップを利用して、前記トレーニング画像と前記１つ以上の欠陥テクスチャ画像とを融合して、トレーニング欠陥画像を生成することであって、前記欠陥制御パネルは、前記欠陥テクスチャ画像が前記トレーニング画像に占める割合を制御するために用いられる、ことと、を含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。

【請求項4】

前記第一サブモジュールは、特徴受容野を拡張するための膨張畳み込みネットワークを含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。

【請求項5】

前記再構成ネットワークはエンコーダおよびデコーダを備え、前記エンコーダおよびデコーダの各階層にそれぞれ第一サブモジュールが設置されることを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。

【請求項6】

少なくとも前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行うステップは、
第二サブモジュールを含む分割ネットワークによって、前記トレーニング画像と前記トレーニング再構成画像との間の差異、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間の差異、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差異を、それぞれ抽出して欠陥検出を行うこと、を含むことを特徴とする請求項１に記載のニューラルネットワークのトレーニング方法。

【請求項7】

前記分割ネットワークはエンコーダおよびデコーダを備え、前記エンコーダおよびデコーダの各階層にそれぞれ第一サブモジュールが設置されることを特徴とする請求項６に記載のニューラルネットワークのトレーニング方法。

【請求項8】

欠陥検出装置が実行する欠陥検出方法であって、
被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を含むことを特徴とする欠陥検出方法。

【請求項9】

トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算する入力ユニットと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成する生成ユニットであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、生成ユニットと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得する再構成ユニットであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、再構成ユニットと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するトレーニングユニットと、を含むことを特徴とするニューラルネットワークのトレーニング装置。

【請求項10】

プロセッサーと、
コンピュータプログラムコマンドが格納されるメモリと、を含み、
前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させることを特徴とするニューラルネットワークのトレーニング装置。

【請求項11】

コンピュータプログラムであって、前記コンピュータプログラムは、プロセッサーにより実行される時に、
トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、
少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、
第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、
前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理分野に関し、特にニューラルネットワークトレーニング方法、及びニューラルネットワークを利用して欠陥検出を行う方法、装置及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

欠陥検出は、製品品質管理における重要な要因である。様々な欠陥が生産中に絶えず発生するため、通常では様々な欠陥の発生状況を網羅することができず、どのようにこれらの欠陥をロバスト、自動的に検出するかは早急に解決すべき問題である。

【0003】

現在の欠陥検出方法において、通常では大量のマークデータにより欠陥検出を行うニューラルネットワークに対してトレーニングをし、且つ各タイプの製品又は物体に対してそれぞれトレーニング及び欠陥検出を行うが、しかしながら、このようなニューラルネットワークのトレーニング方式及びこのようなニューラルネットワークを用いる欠陥検出方法は異なるタイプの製品又は物体の無秩序欠陥に対する正確な生成及びロバスト検出を実現することができない。

【0004】

したがって、向上されたニューラルネットワークのトレーニング方法および画像欠陥を正確に検出する欠陥検出方法が必要である。

【発明の概要】

【0005】

上記技術的問題を解決するために、本発明の一態様によるニューラルネットワークのトレーニング方法は、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を含む。

【0006】

本発明の別の態様による欠陥検出方法は、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を含む。

【0007】

本発明の別の態様によるニューラルネットワークのトレーニング装置は、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算する入力ユニットと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成する生成ユニットであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、生成ユニットと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得する再構成ユニットであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、再構成ユニットと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するトレーニングユニットと、を含む。

【0008】

本発明の別の態様によるニューラルネットワークのトレーニング装置は、プロセッサーと、コンピュータプログラムコマンドが格納されるメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させる。

【0009】

本発明の別の態様によるコンピュータ読み取り可能な記憶媒体は、コンピュータプログラムコマンドが格納されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムコマンドはプロセッサーにより実行される時に、トレーニング画像を入力し、前記トレーニング画像の知覚マップを計算するステップと、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップに基づいてトレーニング欠陥画像を生成するステップであって、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された１つ以上の欠陥を含む、ステップと、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記トレーニング画像と、前記トレーニング再構成画像と、前記トレーニング再構成画像の知覚マップとに基づいて欠陥検出を行って、ニューラルネットワークをトレーニングして前記ニューラルネットワークのパラメータを調整するステップと、を実行させる。

【0010】

本発明の別の態様によるニューラルネットワークを用いた欠陥検出する装置は、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得する入力ユニットであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、入力ユニットと、
前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得する検出ユニットと、を含む。

【0011】

本発明の別の態様によるニューラルネットワークを用いた欠陥検出する装置は、プロセッサーと、コンピュータプログラムコマンドが格納されるメモリと、を含み、前記コンピュータプログラムコマンドが前記プロセッサーにより実行される時に、前記プロセッサーに、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を実行させる。

【0012】

本発明の別の態様によるコンピュータプログラムコマンドが格納されるコンピュータ読み取り可能な記憶媒体は、前記コンピュータプログラムコマンドがプロセッサーにより実行される時、被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得するステップであって、前記第一サブモジュールは、特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うために用いられる、ステップと、前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を取得するステップと、を実行させる。

【0013】

本発明の上記ニューラルネットワークのトレーニング方法、装置及びコンピュータ読み取り可能な記憶媒体、及びニューラルネットワークを利用して欠陥検出を行う方法、装置及びコンピュータ読み取り可能な記憶媒体に基づき、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うための第一サブモジュールを導入、又はさらに前記トレーニング画像と前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップとの間の差異を抽出するための第二サブモジュールを導入することによってニューラルネットワークのトレーニング方式を改良し且つ欠陥検出の精度を向上させることで、異なるタイプの製品又は物体に対する無秩序な欠陥の正確な生成及びロバストな検出を実現し、大量の欠陥データの収集及び手動ラベリングプロセスを回避し、ユーザ体験を改善することができる。

【図面の簡単な説明】

【0014】

図示とあわせて本願の実施例をより詳しく説明することによって、本願の上記内容および目的、特徴、そして長所がより明白になる。

【図1】本発明の実施例に係るニューラルネットワークトレーニング方法のフローチャートである。

【図2】本発明の実施例に係る欠陥マスク画像の例示である。

【図3】本発明の実施例に係る欠陥制御パネルの例示である。

【図4】本発明の実施例に係る再構成ネットワークの構造の図示である。

【図5】本発明の実施例に係る分割ネットワークの構造の図示である。

【図6】本発明の実施例に係るニューラルネットワークにより欠陥検出する方法のフローチャートである。

【図7】本発明の実施例に係るニューラルネットワークトレーニング装置のブロック図である。

【図8】本発明の実施例に係るニューラルネットワークトレーニング装置のブロック図である。

【図9】本発明の実施例に係るニューラルネットワークにより欠陥検出を行う装置のブロック図である。

【図10】本発明の実施例に係るニューラルネットワークにより欠陥検出を行う装置のブロック図である。

【発明を実施するための形態】

【0015】

以下、添付図面を参照して、本発明の実施例に係るニューラルネットワークトレーニング方法、装置及びコンピュータ読み取り可能な記憶媒体、並びにニューラルネットワークを用いた欠陥検出方法、装置及びコンピュータ読み取り可能な記憶媒体について説明する。図面には、同じ番号は同じ要素を終始に示す。ここで記述された実施例は説明のみに用いられて、本発明の範囲を制限するものではないことが自明である。

【0016】

欠陥検出用のニューラルネットワークに対してトレーニングを行う時、ニューラルネットワークのパラメータ調整を行うには、一般的に様々な欠陥を含む大量のトレーニング画像をサンプルとして導入する必要がある。しかし実際のトレーニングプロセスにおいて、往々に各タイプの製品又は物体に対して対応するモデルをトレーニングする必要があり、製品タイプの増加に伴って、モデルトレーニング時間及び記憶コストも大幅に増加する。本発明の実施例は統一されたニューラルネットワークトレーニング及び欠陥検出方法を提供し、該方法は手動でラベリングする必要がなく、1つのモデルのみにより、ニューラルネットワークのトレーニング方式を改善することができ、且つ複数種の製品又は物体の欠陥をロバストに検出することができる。なお、本発明の実施例により提供される方法および装置は、ケーブル、錠剤、木板などの製品の分析シーンに限定されず、例えば路面、チップ表面、または任意の他の物体表面の欠陥検出の、他のコンピュータビジョンタスクも含むことができる。例を挙げて本発明の適用を説明するために、読者が容易に理解できる色、形状などの一部の特徴のみを列挙する。しかし、本発明がこれらの特徴のみを抽出して依存することを意味するものではない。好ましくは、本発明の実施例は、限られた低レベルの特徴のみを抽出ではなく、畳み込みニューラルネットワーク(CNN)に基づいて実現でき、複数のセマンティックレベルにおいてより複雑な特徴を抽出することができる。

【0017】

図1は本発明の実施例に係るニューラルネットワークトレーニング方法100のフローチャートである。以下では図1を参照しながら本発明の実施例に係るニューラルネットワークトレーニング方法を説明する。

【0018】

ステップS101において、トレーニング画像を入力し、かつ前記トレーニング画像の知覚マップを計算する。

【0019】

本ステップにおいて、前記ニューラルネットワークをトレーニングするために入力されるトレーニング画像は、欠陥のない製品または物体の画像であってもよい。トレーニングサンプルをできるだけ豊富にするために、前記トレーニング画像は同じ製品又は物体が異なる角度、異なる光線状況、異なる背景において採集して得られたものであってもよく、それによりトレーニングされるニューラルネットワークの欠陥検出精度を更に向上させる。

【0020】

トレーニング画像を入力した後、入力されたトレーニング画像によりトレーニング画像の知覚（noticeable）マップ（可知マップとも称される）を計算してもよく、計算されたトレーニング画像の知覚マップは、マルチスケールの知覚マップであってもよい。そこで、トレーニング画像のマルチスケール知覚マップは、トレーニング画像における各画像特徴の強度の変化を表すことができ、すなわち、トレーニング画像における各画像特徴の視覚的顕著性の差を表す。トレーニング画像のマルチスケール知覚マップは、生成されたトレーニング欠陥画像をより自然なものにすることができ、後続の欠陥検出および位置特定プロセスをより正確にすることができる。

【0021】

一例では、入力されたトレーニング画像によりトレーニング画像のマルチスケール最小可知（Just-noticeable）像を計算でき、たとえば、最小可知差異(Just-noticeable
distortion)(JND)モデルによって前記トレーニング画像の最小知覚マップを計算することが可能である。そこで、JND値は、人間が画質に対する知覚程度を描く重要な視覚的顕著性の指標である。JND値は、人間の視覚システムが気付くことができる画像強度変化の知覚閾値を明らかにする。いかなる知覚できる歪みレベルは、JND値よりも大きくなければならない。本発明の実施例では、JNDモデルによって多様性およびマルチスケールサンプルを有するトレーニング欠陥画像サンプルセットを生成して、かつ後続の欠陥検出および位置決めプロセスに用いることが可能である。

【0022】

好ましくは、丁度可知差異モデルによりトレーニング画像のマルチスケール最小知覚マップを計算するプロセスは以下を含むことができる。まず、丁度可知差異モデルに基づいてトレーニング画像の最小知覚マップを計算し、複数の係数を用いてトレーニング画像の最小知覚マップを処理して(例えば複数の係数をトレーニング画像の最小知覚マップとそれぞれ乗算する)、トレーニング画像のマルチスケール最小知覚マップを得る。例えば、3つの係数(例えば、0.33、0.66、および1)を選択して、トレーニング画像の最小知覚マップにそれぞれ乗算して、3つの異なるスケールに対応するトレーニング画像の3つのスケールの最小知覚マップを得ることができる。別の例では、4つの係数(例えば、0.25、1、0.75、および1)を選択して、トレーニング画像の最小知覚マップにそれぞれ乗算して、4つの異なるスケールに対応するトレーニング画像の4つのスケールの最小知覚マップを得ることができる。トレーニング画像のマルチスケール最小知覚マップに対する上記の生成方式は例に過ぎず、本発明の実施例では、異なる応用シーンのニーズに応じて様々な方式で様々なスケールにおけるトレーニングパターンのマルチスケール最小知覚マップを生成することができる。上述したように、トレーニング画像のマルチスケール最小知覚マップは、トレーニング画像内の各画像特徴の範囲および強度の変化を表すことができ、人間が知覚可能である以上、その中のグレースケール値の分布および変化によって、トレーニング画像における各画像特徴の視覚的顕著性の差を表す。

【0023】

ステップS102において、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップからトレーニング欠陥画像を生成して、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された1つ以上の欠陥を含む。

【0024】

本ステップにおいて、トレーニング欠陥画像を生成するプロセスはまず欠陥マスク画像を生成し、且つ前記トレーニング画像に基づいて１つ以上の欠陥テクスチャ画像を生成することを含むことができる。続いて、欠陥制御パネル及び前記欠陥マスク画像に基づき、且つ前記トレーニング画像のマルチスケール知覚マップを利用して前記トレーニング画像を前記１つ以上の欠陥テクスチャ画像と融合して、トレーニング欠陥画像を生成することができ、ここで前記欠陥制御パネルは前記欠陥テクスチャ画像が前記トレーニング画像を占める割合を制御することに用いられる。

【0025】

好ましくは、欠陥マスク画像は、トレーニング画像からサイズおよび形状が異なる１つ以上の欠陥領域を選択して生成することができる。また、好ましくは、欠陥テクスチャ画像は、任意の画像からランダムに生成されてもよいし、トレーニング画像を処理して生成されてもよい。一例では、欠陥を模擬する現実的な効果を高めるために、トレーニング画像を増強した結果により欠陥テクスチャ画像を生成してもよく、例えば、トレーニング画像に対して、反転、スケーリング、回転、領域トリミング、色変換、輝度変化、露出変化などを含む様々なランダム処理を行うことで、様々なテクスチャを有する欠陥テクスチャ画像を取得することができる。図2は、本発明の一実施例に係る欠陥マスク画像の例示である。具体的に、図2は、トレーニング画像からサイズおよび形状が異なる１つ以上の欠陥領域を選択して生成する異なるサイズの欠陥領域をマーキングしたマルチスケールの欠陥マスク画像を示す。

【0026】

欠陥マスク画像および欠陥テクスチャ画像を取得した後、好ましくは、欠陥制御パネルと欠陥マスク画像との結合により画定された欠陥領域に従って、トレーニング画像のマルチスケール知覚マップを重み像として使用して、トレーニング画像および１つ以上の欠陥テクスチャ画像を融合することで、様々な模擬で得られた欠陥を有するトレーニング欠陥画像を生成する。知覚マップの該当原理によれば、トレーニング画像の知覚マップは、トレーニング画像における高い色コントラストおよび彩度を有する領域を明らかにすることができ、そして、当該知覚マップ内においてグレースケールが大きいほどの領域は、トレーニング欠陥画像においてより多くの欠陥成分を占めることができ、すなわち、欠陥テクスチャ画像により多くの重みを与えることができる。逆に、トレーニング画像の知覚マップにおいてグレースケールが小さいほどの領域は、入力されたトレーニング画像に対して相対的に多くの重みを与えることができる。これをもとに、トレーニング画像のマルチスケール知覚マップの適用は、様々なスケールにおいて融合されたトレーニング欠陥画像を得ることが可能であることで、得られたトレーニング欠陥画像をより現実的にし、後続の欠陥検出プロセスにさらに用いる。

【0027】

図3は、本発明の一実施例に係る様々な欠陥制御パネルの例示を示し、図3に示された欠陥制御パネルは、欠陥テクスチャ画像をトレーニング画像と融合されるときに欠陥テクスチャ画像が占める領域を制限するに用いられる。使用時に、複数の欠陥制御パネルから使用する欠陥制御パネルをランダムに選択してもよく、予め設定された順序又は基準に基づいて使用する欠陥制御パネルを選択してもよく、ここでは限定されない。好ましくは、欠陥テクスチャ画像はトレーニング画像内のある位置(例えば上方、下方、左側又は右側)の幅n%及び高さm%の領域を占めることができ、ここでm及びnは予め設定された区間からランダムに選択することができ、例えば、予め設定された区間は[50,80]であってもよい。また、欠陥制御パネルは例えばトレーニング画像全体をカバーする領域であってもよく、ここでは限定されない。当然ながら、上記欠陥制御パネルの領域設定及びサイズ選択は例示に過ぎなく、実際の応用において、応用シーンに基づいて任意の欠陥制御パネルの制御方式を選択することができ、ここでは説明を省略する。欠陥制御パネルを選択して使用することにより、トレーニング欠陥画像の生成過程において欠陥テクスチャ画像がトレーニング画像の全領域を占める割合を制御することができ、トレーニング欠陥画像の生成結果をより多様化とランダム化をして、より正確なニューラルネットワークトレーニング及び欠陥検出結果を取得することができる。

【0028】

好ましくは、トレーニング画像のマルチスケール知覚マップが生成されると、応じてマルチスケール欠陥マスク画像を生成することができることで、トレーニング画像と欠陥テクスチャ画像とを融合し、最終的にトレーニング欠陥画像を得る。具体的に、マルチスケールの欠陥マスク画像は、トレーニング画像のマルチスケール知覚マップ内の各スケールに対応する異なるサイズの欠陥領域でマークされた欠陥マスク画像であってもよい。例えば、前述のトレーニング画像のマルチスケール最小可知像知覚マップの生成プロセスを参照して、最初に生成された欠陥マスク画像も応じて複数の係数により処理して(例えば、複数の係数を欠陥マスク画像とそれぞれ乗算して)、対応するマルチスケールの欠陥マスク画像を得ることで、異なるスケールにおいて異なる欠陥領域の範囲を画定することができる。後続の欠陥生成プロセスでは、欠陥制御パネルに基づき、これらのマルチスケールの欠陥マスク画像によりトレーニング画像と欠陥テクスチャ画像を融合するプロセスにおいて、マルチスケールの欠陥マスク画像にマークされた欠陥領域に対して対応する画像処理を行うことができ、例えばガウスぼかし等の方式によりマルチスケールの各欠陥領域に対して融合プロセスにおいて処理を行うことができ、それにより融合してよりリアルで自然なトレーニング欠陥画像を得る。

【0029】

以上のトレーニング欠陥画像を生成する具体的な方式は例に過ぎず、実際の応用において、相応するシーンに基づいて様々な方式を利用してトレーニング欠陥画像の生成を行うことができ、ここでは限定しない。

【0030】

ステップS103において、第一サブモジュールを含む再構成ネットワークによって前記トレーニング欠陥画像に対して再構成を行い、再構成後の欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。

【0031】

図4は本発明の実施例に係る再構成ネットワークの構造の図示である。図4において、トレーニング欠陥画像は、エンコーダおよびデコーダを含む再構成ネットワークを経て、欠陥が除去されたトレーニング再構成画像およびトレーニング再構成画像の知覚マップ(または最小知覚マップ)を生成する。図示のように、再構成ネットワークのエンコーダおよびデコーダの各階層には、基礎サブモジュールおよび第一サブモジュールがそれぞれ設けられてもよく、基礎サブモジュールおよび第一サブモジュールは各階層において互いに接続される。好ましくは、基礎サブモジュールは、各階層の特徴を抽出するために、二つの連続する3×3畳み込み層、正規化層、およびreLUアクティブ層を含むことができる。第一サブモジュールは、チャネル注意サブブロックおよび空間注意サブブロックを含むことができ、好ましくは、チャネル注意サブブロックは、平均プーリング層および2つの連続する1×1畳み込み層によって異なる特徴チャネル間の関係を抽出でき、かつ異なる特徴チャネル間の関係をトレーニング欠陥画像に加算して戻すことによって比較的重要な特徴チャネルをスクリーニングすることができる。空間注意サブブロックはさらに各特徴チャネルの空間上の関係を抽出することができ、抽出された空間関係は平均プーリング層及び最大プーリング層を経た後一緒にカスケードされることができ、次に標準畳み込み層及び膨張畳み込み（Dilated Convolution）ネットワーク(例えば膨張付きの3×3畳み込み層)により、重要な特徴領域をスクリーニングし、ここで膨張畳み込みネットワークの存在は空間分解能を維持する前提で特徴受容野を拡大することができる。

【0032】

入力されたトレーニング欠陥画像が当該再構成ネットワークに入ると、最初にエンコーダを使用して入力された特徴を抽出することができる。好ましくは、再構成ネットワーク内のエンコーダの異なるパラメータの畳み込み、正規化、およびプーリングプロセスを使用して異なる階層の特徴を抽出することができる。まず、畳み込みカーネルを利用して入力されたトレーニング欠陥画像に対して畳み込みを行って、畳み込みマッピングを得ることができる。次に、線形補正ユニット及びバッチ正規化方法により畳み込みマッピングを正規化して、正規化畳み込みマッピングを得ることができる。その後、正規化畳み込みマッピングに対して最大又は平均プーリングプロセスを適用することができる。豊富なマルチスケール特徴を取得するために、エンコーダは関連パラメータを調整して上記過程を複数回繰り返すことで、複数回のダウンサンプリング過程によって対応するマルチスケール特徴マップを抽出することができる。再構成ネットワークのエンコーダ処理の後、デコーダを利用して畳み込み、正規化、およびアップサンプリングプロセスによりマルチスケール特徴マップの分解能を復元することができる。再構成ネットワークは、同じ解像度を有するエンコーダおよびデコーダの特徴を組み合わせ、畳み込みプロセスの複数のセットを使用する。ニューラルネットワークのトレーニング段階において、当該再構成ネットワークは、入力されたトレーニング画像およびトレーニング画像の知覚マップの監督においてニューラルネットワークの各パラメータおよび重みを学習かつ更新することで、入力されたトレーニング欠陥画像を対応するトレーニング再構成画像および対応するトレーニング再構成画像の知覚マップに変換することができる。

【0033】

ステップS104において、前記トレーニング画像、前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップに基づいて欠陥検出を行うことで、前記ニューラルネットワークをトレーニング且つ前記ニューラルネットワークのパラメータを調整する。

【0034】

好ましくは、前記トレーニング画像、前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップに基づいて欠陥検出を行うことは以下をふくむことができる。第二サブモジュールを含む分割ネットワークによって、前記トレーニング画像と前記トレーニング再構成画像との間、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差を、それぞれ抽出して欠陥検出を行う。

【0035】

図5は本発明の実施例に係る分割ネットワークの構造模式図を示す。好ましくは、図5の分割ネットワークは、第二サブモジュールと、第二サブモジュールに接続されたエンコーダおよびデコーダとを含むことができる。図5では、第二サブモジュールを使用して、トレーニング画像、トレーニング再構成画像、およびトレーニング再構成画像の知覚マップを入力することによって、マルチ階層トレーニング画像、トレーニング再構成画像、およびトレーニング再構成画像の知覚マップ間の差異特徴を抽出する。まず、第二サブモジュールによって最初に前記トレーニング画像と前記トレーニング再構成画像との間、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差異をそれぞれ抽出し、次に、上記差異を直列に結合して特徴チャネルの数がこれらの画像の特徴チャネルの合計に等しい差異特徴記述を形成し、且つそれをエンコーダ及びデコーダを含むネットワークに送り込んで欠陥分割を行って、欠陥検出の結果を取得、且つ欠陥を位置特定する。図5において、エンコーダおよびデコーダの具体的なネットワーク構成は、図4と同様であり、エンコーダおよびデコーダの各階層に、それぞれ第一サブモジュールを設置してもよく、ここでは再度説明しない。

【0036】

図5の分割ネットワークの欠陥分割及び検出により、トレーニング画像における欠陥を位置特定し、且つ欠陥が存在するか否かの判断又は確率表示を得ることができる。

【0037】

好ましくは、欠陥の位置特定を行う時に、分割ネットワークは得られた欠陥を表示するための画像における画素値に対してセグメント化して分類表示を行うことができることで、欠陥の所在位置をより直観的に示すことができる。例えば、欠陥を表示するための画像を出力する時に、そのグレースケール画像における画素をそのグレースケール値に応じて三つの部分に分けることができ、例えばそれぞれ0、0.5及び1の正規化結果で表すことで、欠陥の位置をより明確に表示する。いうまでもなく、上記欠陥をセグメント化して分類して表示するプロセスは例に過ぎず、実際の応用において、さらにニーズに応じて欠陥を表示するための画像に対して様々な画素値分類及び正規化の操作を行うことができ、ここでは限定しない。欠陥を位置特定と表示した後、分割ネットワークは、欠陥検出の結果として、例えばトレーニング画像が欠陥画像であるか否かの、トレーニング画像に欠陥があるか否かに対する判定を出力することができる。

【0038】

本発明の実施例に係る上記ニューラルネットワークトレーニング方法は、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うための第一サブモジュールを導入、又はさらに前記トレーニング画像と前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップとの間の差異を抽出するための第二サブモジュールを導入することによってニューラルネットワークのトレーニング方式を改良し且つ欠陥検出の精度を向上させることで、異なるタイプの製品又は物体に対する無秩序な欠陥の正確な生成及びロバストな検出を実現し、大量の欠陥データの収集及び手動ラベリングプロセスを回避し、ユーザ体験を改善することができる。

【0039】

また、本発明の別の実施例によれば、上記ニューラルネットワークトレーニング方法の具体的な操作プロセスによりニューラルネットワークトレーニングを行うことに限定されなくてもよく、さらに、該ニューラルネットワークのアーキテクチャ及びプロセスを介して様々な応用シーンにおける他のニーズを実現することができる。例えば、上記ニューラルネットワークのアーキテクチャにより多様化サンプル、例えば人間の顔、アニメーションイメージ等の制作を実現することができる。あるいは、他の画像欠陥又はノイズを導入する必要がある該当シーンに適用することができることで、画像に様々な比較的リアルな模擬欠陥又はノイズを導入させる。本発明の実施例による上記方法はトレーニング画像を結合して様々なノイズを導入することができることで、多様化サンプルを取得して、様々な応用シーンに適用する。

【0040】

図6は本発明の実施例に係るニューラルネットワークにより欠陥検出する方法600のフローチャートである。本実施例では、図1に示すプロセスによってトレーニング完成されたニューラルネットワークにより欠陥検出を行うことができる。以下、図6を参照して、本発明の実施例に係るニューラルネットワークを用いた欠陥検出方法について説明する。

【0041】

ステップS601において、被検出画像を入力して、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。

【0042】

本ステップでは、被検出画像を図1に示されるプロセスによってトレーニングされたニューラルネットワークにおいて第一サブモジュールを含む再構成ネットワークに入力して再構成することができる。好ましくは、被検出画像は、欠陥のない画像であってもよいし、１つ以上の欠陥を有する画像であってもよい。被検出画像を検出するプロセスでは、欠陥が除去された再構成画像を取得する同時に、再構成画像の知覚マップを取得することができ、あるいは再構成画像のマルチスケール知覚マップをさらに取得して、後続の欠陥検出および位置特定プロセスに用いることができる。再構成ネットワークの具体的な構造は図4に示され、ここでは再度の説明を省略する。

【0043】

入力された被検出画像が当該再構成ネットワークに入ると、最初にエンコーダを使用して入力された特徴を抽出することができる。好ましくは、再構成ネットワーク内のエンコーダの異なるパラメータの畳み込み、正規化、およびプーリングプロセスを使用して異なる階層の特徴を抽出することができる。まず、畳み込みカーネルを利用して入力された被検出画像に対して畳み込みを行って、畳み込みマッピングを得ることができる。次に、線形補正ユニット及びバッチ正規化方法により畳み込みマッピングを正規化して、正規化畳み込みマッピングを得ることができる。その後、正規化畳み込みマッピングに対して最大又は平均プーリングプロセスを適用することができる。豊富なマルチスケール特徴を取得するために、エンコーダは関連パラメータを調整して上記過程を複数回繰り返すことで、複数回のダウンサンプリング過程によって対応するマルチスケール特徴マップを抽出することができる。再構成ネットワークのエンコーダ処理の後、デコーダを利用して畳み込み、正規化、およびアップサンプリングプロセスによりマルチスケール特徴マップの分解能を復元することができる。再構成ネットワークは、同じ解像度を有するエンコーダおよびデコーダの特徴を組み合わせ、かつ複数のセットの畳み込みプロセスを使用して、入力された被検出画像を、欠陥が除去された対応する再構成画像および対応する再構成画像の知覚マップに変換する。

【0044】

ステップS602において、前記被検出画像、前記再構成画像及び前記再構成画像の知覚マップに基づいて欠陥分割を行い、欠陥検出結果を得る。

【0045】

好ましくは、少なくとも前記被検出画像、前記再構成画像及び前記再構成画像の知覚マップに基づいて欠陥分割を行うことは以下を含むことができる。第二サブモジュールを含む分割ネットワークによって、前記被検出画像と前記再構成画像との間、前記被検出画像と前記再構成画像の知覚マップとの間、前記被検出画像と前記再構成画像および前記再構成画像の知覚マップとの間の差異を、それぞれ抽出して欠陥検出を行う。分割ネットワークの具体的な構造は図5に示され、ここでは再度の説明を省略する。

【0046】

図5の分割ネットワークの欠陥分割及び検出により、被検出画像における欠陥を位置特定し、且つ欠陥が存在するか否かの判断又は確率表示を得ることができる。

【0047】

好ましくは、欠陥の位置特定を行う時に、分割ネットワークは得られた欠陥を表示するための画像における画素値に対してセグメント化して分類表示を行うことができることで、欠陥の所在位置をより直観的に示すことができる。例えば、欠陥を表示するための画像を出力する時に、そのグレースケール画像における画素をそのグレースケール値に応じて三つの部分に分けることができ、例えばそれぞれ0、0.5及び1の正規化結果で表すことで、欠陥の位置をより明確に表示する。いうまでもなく、上記欠陥をセグメント化して分類して表示するプロセスは例に過ぎず、実際の応用において、さらにニーズに応じて欠陥を表示するための画像に対して様々な画素値分類及び正規化の操作を行うことができ、ここでは限定しない。欠陥を位置特定と表示した後、分割ネットワークは、欠陥検出の結果として、例えば被検出画像が欠陥画像であるか否かの、被検出画像に欠陥があるか否かに対する判定を出力することができる。

【0048】

本発明の実施例に係る上記ニューラルネットワークにより欠陥検出を行う方法は、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うための第一サブモジュールを導入、又はさらに前記トレーニング画像と前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップとの間の差異を抽出するための第二サブモジュールを導入することによって欠陥検出の精度を向上させることで、異なるタイプの製品又は物体に対する無秩序な欠陥の正確な生成及びロバストな検出を実現し、大量の欠陥データの収集及び手動ラベリングプロセスを回避し、ユーザ体験を改善することができる。

【0049】

次に、図7を参照して、本発明の実施例に係るニューラルネットワークトレーニング装置を説明する。図7は本発明の実施例に係るニューラルネットワークトレーニング装置700のブロック図である。図7に示すように、ニューラルネットワークトレーニング装置700は、入力ユニット710と、生成ユニット720と、再構成ユニット730と、トレーニングユニット740とを備える。ニューラルネットワークトレーニング装置700は、これら以外にも他の部材を含んでもよいが、これらの部材は本発明実施例の内容とは無関係であるため、ここでは図示及び説明を省略する。それに、本発明の実施例に係わるニューラルネットワークトレーニング装置700によって行う下記操作の具体的な細部が上記図1に記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。

【0050】

図7のニューラルネットワークトレーニング装置700の入力ユニット710は、トレーニング画像を入力し、前記トレーニング画像の知覚マップを算出する。

【0051】

入力ユニット710は、トレーニング画像を入力し、かつ前記トレーニング画像の可知像を計算する。

【0052】

前記ニューラルネットワークをトレーニングするための入力ユニット710により入力されるトレーニング画像は、欠陥のない製品または物体の画像であってもよい。トレーニングサンプルをできるだけ豊富にするために、前記トレーニング画像は同じ製品又は物体が異なる角度、異なる光線状況、異なる背景において採集して得られたものであってもよいため、トレーニングされるニューラルネットワークの欠陥検出精度を更に向上させる。

【0053】

トレーニング画像を入力した後、入力されたトレーニング画像によりトレーニング画像の知覚可能（noticeable）マップを計算してもよく、計算されたトレーニング画像の知覚マップは、マルチスケールの知覚マップであってもよい。そこで、トレーニング画像のマルチスケール知覚マップは、トレーニング画像における各画像特徴の強度の変化を表すことができ、すなわち、トレーニング画像における各画像特徴の視覚的顕著性の差を表す。トレーニング画像のマルチスケール知覚マップは、生成されたトレーニング欠陥画像をより自然なものにすることができ、後続の欠陥検出および位置特定プロセスをより正確にすることができる。

【0054】

一例では、入力されたトレーニング画像によりトレーニング画像のマルチスケール丁度可知（Just-noticeable）像を計算でき、たとえば、丁度可知差異(Just-noticeable
distortion)(JND)モデルによって前記トレーニング画像の最小知覚マップを計算することが可能である。そこで、JND値は、人間が画質に対する知覚程度を描く重要な視覚的顕著性の指標である。JND値は、人間の視覚システムが気付くことができる画像強度変化の知覚閾値を明らかにする。いかなる知覚できる歪みレベルは、JND値よりも大きくなければならない。本発明の実施例では、JNDモデルによって多様性およびマルチスケールサンプルを有するトレーニング欠陥画像サンプルセットを生成して、かつ後続の欠陥検出および位置決めプロセスに用いることが可能である。

【0055】

好ましくは、丁度可知差異モデルによりトレーニング画像のマルチスケール最小知覚マップを計算するプロセスは以下を含むことができる。まず、丁度可知差異モデルに基づいてトレーニング画像の最小知覚マップを計算し、複数の係数を用いてトレーニング画像の最小知覚マップを処理して(例えば複数の係数をトレーニング画像の最小知覚マップとそれぞれ乗算する)、トレーニング画像のマルチスケール最小知覚マップを得る。例えば、3つの係数(例えば、0.33、0.66、および1)を選択して、トレーニング画像の最小知覚マップにそれぞれ乗算して、3つの異なるスケールに対応するトレーニング画像の3つのスケールの最小知覚マップを得ることができる。別の例では、4つの係数(例えば、0.25、1、0.75、および1)を選択して、トレーニング画像の最小知覚マップにそれぞれ乗算して、4つの異なるスケールに対応するトレーニング画像の4つのスケールの最小知覚マップを得ることができる。トレーニング画像のマルチスケール最小知覚マップに対する上記の生成方式は例に過ぎず、本発明の実施例では、異なる応用シーンのニーズに応じて様々な方式で様々なスケールにおけるトレーニングパターンのマルチスケール最小知覚マップを生成することができる。上述したように、トレーニング画像のマルチスケール最小知覚マップは、トレーニング画像内の各画像特徴の範囲および強度の変化を表すことができ、人間が知覚可能である以上、その中のグレースケール値の分布および変化によって、トレーニング画像における各画像特徴の視覚的顕著性の差を表す。

【0056】

生成ユニット720は、少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップからトレーニング欠陥画像を生成して、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された1つ以上の欠陥を含む。

【0057】

生成ユニット720がトレーニング欠陥画像を生成するプロセスはまず欠陥マスク画像を生成し、且つ前記トレーニング画像に基づいて１つ以上の欠陥テクスチャ画像を生成することを含むことができる。続いて、欠陥制御パネル及び前記欠陥マスク画像に基づき、且つ前記トレーニング画像のマルチスケール知覚マップを利用して前記トレーニング画像を前記１つ以上の欠陥テクスチャ画像と融合して、トレーニング欠陥画像を生成することができ、ここで前記欠陥制御パネルは前記欠陥テクスチャ画像が前記トレーニング画像を占める割合を制御することに用いられる。

【0058】

好ましくは、欠陥マスク画像は、トレーニング画像からサイズおよび形状が異なる１つ以上の欠陥領域を選択して生成することができる。また、好ましくは、欠陥テクスチャ画像は、任意の画像からランダムに生成されてもよいし、トレーニング画像を処理して生成されてもよい。一例では、欠陥を模擬する現実的な効果を高めるために、トレーニング画像を増強した結果により欠陥テクスチャ画像を生成してもよく、例えば、トレーニング画像に対して、反転、スケーリング、回転、領域トリミング、色変換、輝度変化、露出変化などを含む様々なランダム処理を行うことで、様々なテクスチャを有する欠陥テクスチャ画像を取得することができる。図2は、本発明の一実施例に係る欠陥マスク画像の例示である。具体的に、図2は、トレーニング画像からサイズおよび形状が異なる１つ以上の欠陥領域を選択して生成する異なるサイズの欠陥領域をマーキングしたマルチスケールの欠陥マスク画像を示す。

【0059】

欠陥マスク画像および欠陥テクスチャ画像を取得した後、好ましくは、欠陥制御パネルと欠陥マスク画像との結合により画定された欠陥領域に従って、トレーニング画像のマルチスケール知覚マップを重み像として使用して、トレーニング画像および１つ以上の欠陥テクスチャ画像を融合することで、様々な模擬で得られた欠陥を有するトレーニング欠陥画像を生成する。知覚マップの該当原理によれば、トレーニング画像の知覚マップは、トレーニング画像における高い色コントラストおよび彩度を有する領域を明らかにすることができ、そして、当該知覚マップ内においてグレースケールが大きいほどの領域は、トレーニング欠陥画像においてより多くの欠陥成分を占めることができ、すなわち、欠陥テクスチャ画像により多くの重みを与えることができる。逆に、トレーニング画像の知覚マップにおいてグレースケールが小さいほどの領域は、入力されたトレーニング画像に対して相対的に多くの重みを与えることができる。これをもとに、トレーニング画像のマルチスケール知覚マップの適用は、様々なスケールにおいて融合されたトレーニング欠陥画像を得ることが可能であることで、得られたトレーニング欠陥画像をより現実的にし、後続の欠陥検出プロセスにさらに用いる。

【0060】

図3は、本発明の一実施例に係る様々な欠陥制御パネルの例示を示し、図3に示された欠陥制御パネルは、欠陥テクスチャ画像をトレーニング画像と融合されるときに欠陥テクスチャ画像が占める領域を制限するに用いられる。使用時に、複数の欠陥制御パネルから使用する欠陥制御パネルをランダムに選択してもよく、予め設定された順序又は基準に基づいて使用する欠陥制御パネルを選択してもよく、ここでは限定されない。好ましくは、欠陥テクスチャ画像はトレーニング画像内のある位置(例えば上方、下方、左側又は右側)の幅n%及び高さm%の領域を占めることができ、ここでm及びnは予め設定された区間からランダムに選択することができ、例えば、予め設定された区間は[50,80]であってもよい。また、欠陥制御パネルは例えばトレーニング画像全体をカバーする領域であってもよく、ここでは限定されない。当然ながら、上記欠陥制御パネルの領域設定及びサイズ選択は例示に過ぎなく、実際の応用において、応用シーンに基づいて任意の欠陥制御パネルの制御方式を選択することができ、ここでは説明を省略する。欠陥制御パネルを選択して使用することにより、トレーニング欠陥画像の生成過程において欠陥テクスチャ画像がトレーニング画像の全領域を占める割合を制御することができ、トレーニング欠陥画像の生成結果をより多様化とランダム化をして、より正確なニューラルネットワークトレーニング及び欠陥検出結果を取得することができる。

【0061】

好ましくは、トレーニング画像のマルチスケール知覚マップが生成されると、応じてマルチスケール欠陥マスク画像を生成することができることで、トレーニング画像と欠陥テクスチャ画像とを融合し、最終的にトレーニング欠陥画像を得る。具体的に、マルチスケールの欠陥マスク画像は、トレーニング画像のマルチスケール知覚マップ内の各スケールに対応する異なるサイズの欠陥領域でマークされた欠陥マスク画像であってもよい。例えば、前述のトレーニング画像のマルチスケール最小知覚マップの生成プロセスを参照して、最初に生成された欠陥マスク画像も応じて複数の係数により処理して(例えば、複数の係数を欠陥マスク画像とそれぞれ乗算して)、対応するマルチスケールの欠陥マスク画像を得ることで、異なるスケールにおいて異なる欠陥領域の範囲を画定することができる。後続の欠陥生成プロセスでは、欠陥制御パネルに基づき、これらのマルチスケールの欠陥マスク画像によりトレーニング画像と欠陥テクスチャ画像を融合するプロセスにおいて、マルチスケールの欠陥マスク画像にマークされた欠陥領域に対して対応する画像処理を行うことができ、例えばガウスぼかし等の方式によりマルチスケールの各欠陥領域に対して融合プロセスにおいて処理を行うことができ、それにより融合してよりリアルで自然なトレーニング欠陥画像を得る。

【0062】

以上のトレーニング欠陥画像を生成する具体的な方式は例に過ぎず、実際の応用において、相応するシーンに基づいて様々な方式を利用してトレーニング欠陥画像の生成を行うことができ、ここでは限定しない。

【0063】

再構成ユニット730は第一サブモジュールを含む再構成ネットワークを介して前記トレーニング欠陥画像に対して再構成を行い、再構成後に欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。

【0064】

図4は本発明の実施例に係る再構成ネットワークの構造の図示である。図4において、トレーニング欠陥画像は、エンコーダおよびデコーダを含む再構成ネットワークを経て、欠陥が除去されたトレーニング再構成画像およびトレーニング再構成画像の知覚マップ(または最小知覚マップ)を生成する。図示のように、再構成ネットワークのエンコーダおよびデコーダの各階層には、基礎サブモジュールおよび第一サブモジュールがそれぞれ設けられてもよく、基礎サブモジュールおよび第一サブモジュールは各階層において互いに接続される。好ましくは、基礎サブモジュールは、各階層の特徴を抽出するために、二つの連続する3×3畳み込み層、正規化層、およびreLUアクティブ層を含むことができる。第一サブモジュールは、チャネル注意サブブロックおよび空間注意サブブロックを含むことができ、好ましくは、チャネル注意サブブロックは、平均プーリング層および2つの連続する1×1畳み込み層によって異なる特徴チャネル間の関係を抽出でき、かつ異なる特徴チャネル間の関係をトレーニング欠陥画像に加算して戻すことによって比較的重要な特徴チャネルをスクリーニングすることができる。空間注意サブブロックはさらに各特徴チャネルの空間上の関係を抽出することができ、抽出された空間関係は平均プーリング層及び最大プーリング層を経た後一緒にカスケードされることができ、次に標準畳み込み層及び膨張畳み込みネットワーク(例えば膨張付きの3×3畳み込み層)により、重要な特徴領域をスクリーニングし、ここで膨張畳み込みネットワークの存在は空間分解能を維持する前提で特徴受容野を拡大することができる。

【0065】

入力されたトレーニング欠陥画像が当該再構成ネットワークに入ると、最初にエンコーダを使用して入力された特徴を抽出することができる。好ましくは、再構成ネットワーク内のエンコーダの異なるパラメータの畳み込み、正規化、およびプーリングプロセスを使用して異なる階層の特徴を抽出することができる。まず、畳み込みカーネルを利用して入力されたトレーニング欠陥画像に対して畳み込みを行って、畳み込みマッピングを得ることができる。次に、線形補正ユニット及びバッチ正規化方法により畳み込みマッピングを正規化して、正規化畳み込みマッピングを得ることができる。その後、正規化畳み込みマッピングに対して最大又は平均プーリングプロセスを適用することができる。豊富なマルチスケール特徴を取得するために、エンコーダは関連パラメータを調整して上記過程を複数回繰り返すことで、複数回のダウンサンプリング過程によって対応するマルチスケール特徴マップを抽出することができる。再構成ネットワークのエンコーダ処理の後、デコーダを利用して畳み込み、正規化、およびアップサンプリングプロセスによりマルチスケール特徴マップの分解能を復元することができる。再構成ネットワークは、同じ解像度を有するエンコーダおよびデコーダの特徴を組み合わせ、畳み込みプロセスの複数のセットを使用する。ニューラルネットワークのトレーニング段階において、当該再構成ネットワークは、入力されたトレーニング画像およびトレーニング画像の知覚マップの監督においてニューラルネットワークの各パラメータおよび重みを学習かつ更新することで、入力されたトレーニング欠陥画像を対応するトレーニング再構成画像および対応するトレーニング再構成画像の知覚マップに変換することができる。

【0066】

トレーニングユニット740は、前記トレーニング画像、前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップに基づいて欠陥検出を行うことで、前記ニューラルネットワークをトレーニング且つ前記ニューラルネットワークのパラメータを調整する。

【0067】

好ましくは、トレーニングユニット740は、第二サブモジュールを含む分割ネットワークによって、前記トレーニング画像と前記トレーニング再構成画像との間、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差を、それぞれ抽出して欠陥検出を行う。

【0068】

図5は本発明の実施例に係る分割ネットワークの構造模式図を示す。好ましくは、図5の分割ネットワークは、第二サブモジュールと、第二サブモジュールに接続されたエンコーダおよびデコーダとを含むことができる。図5では、第二サブモジュールを使用して、トレーニング画像、トレーニング再構成画像、およびトレーニング再構成画像の知覚マップを入力することによって、マルチ階層トレーニング画像、トレーニング再構成画像、およびトレーニング再構成画像の知覚マップ間の差異特徴を抽出する。まず、第二サブモジュールによって最初に前記トレーニング画像と前記トレーニング再構成画像との間、前記トレーニング画像と前記トレーニング再構成画像の知覚マップとの間、前記トレーニング画像と前記トレーニング再構成画像および前記トレーニング再構成画像の知覚マップとの間の差異をそれぞれ抽出し、次に、上記差異を直列に結合して特徴チャネルの数がこれらの画像の特徴チャネルの合計に等しい差異特徴記述を形成し、且つそれをエンコーダ及びデコーダを含むネットワークに送り込んで欠陥分割を行って、欠陥検出の結果を取得、且つ欠陥を位置特定する。図5において、エンコーダおよびデコーダの具体的なネットワーク構成は、図4のと同様であり、エンコーダおよびデコーダの各階層に、それぞれ第一サブモジュールを設置してもよく、ここでは再度説明しない。

【0069】

図5の分割ネットワークの欠陥分割及び検出により、トレーニング画像における欠陥を位置特定し、且つ欠陥が存在するか否かの判断又は確率表示を得ることができる。

【0070】

好ましくは、欠陥の位置特定を行う時に、分割ネットワークは得られた欠陥を表示するための画像における画素値に対してセグメント化して分類表示を行うことができることで、欠陥の所在位置をより直観的に示すことができる。例えば、欠陥を表示するための画像を出力する時に、そのグレースケール画像における画素をそのグレースケール値に応じて三つの部分に分けることができ、例えばそれぞれ0、0.5及び1の正規化結果で表すことで、欠陥の位置をより明確に表示する。いうまでもなく、上記欠陥をセグメント化して分類して表示するプロセスは例に過ぎず、実際の応用において、さらにニーズに応じて欠陥を表示するための画像に対して様々な画素値分類及び正規化の操作を行うことができ、ここでは限定しない。欠陥を位置特定と表示した後、分割ネットワークは、欠陥検出の結果として、例えばトレーニング画像が欠陥画像であるか否かの、トレーニング画像に欠陥があるか否かに対する判定を出力することができる。

【0071】

本発明の実施例に係る上記ニューラルネットワークトレーニング装置は、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うための第一サブモジュールを導入、又はさらに前記トレーニング画像と前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップとの間の差異を抽出するための第二サブモジュールを導入することによってニューラルネットワークのトレーニング方式を改良し且つ欠陥検出の精度を向上させることで、異なるタイプの製品又は物体に対する無秩序な欠陥の正確な生成及びロバストな検出を実現し、大量の欠陥データの収集及び手動ラベリングプロセスを回避し、ユーザ体験を改善することができる。

【0072】

次に、図8を参照して、本発明の実施例に係るニューラルネットワークトレーニング装置を説明する。図8は本発明の実施例に係るニューラルネットワークトレーニング装置800のブロック図である。図8に示すように、当該装置800はコンピュータまたはサーバであることが可能である。

【0073】

図8に示すように、ニューラルネットワークトレーニング装置800は、1つまたは複数のプロセッサ810とメモリ820とを備えているが、これらに加えて、ニューラルネットワークトレーニング装置800は、バスシステムおよび/または他の形式の接続機構を介して相互接続することができる入力装置、出力装置(図示せず)などを含むことができる。なお、図8に示したニューラルネットワークトレーニング装置800のコンポーネントや構成は例示的のみであって、制限されるものではなく、必要に応じて、ニューラルネットワークトレーニング装置800は他のコンポーネントや構成を有することもできる。

【0074】

プロセッサー810は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ820内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、以下を含む。トレーニング画像を入力し、かつ前記トレーニング画像の知覚マップを計算する。少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップからトレーニング欠陥画像を生成して、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された1つ以上の欠陥を含む。第一サブモジュールを含む再構成ネットワークを介して前記トレーニング欠陥画像に対して再構成を行い、再構成後に欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。前記トレーニング画像、前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップに基づいて欠陥検出を行うことで、前記ニューラルネットワークをトレーニング且つ前記ニューラルネットワークのパラメータを調整する。

【0075】

メモリ820は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリと/或いは不揮発性メモリのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記コンピュータ読み出し可能な記録媒体において１つまたは複数のコンピュータプログラムコマンドをメモリーでき、プロセッサー810は前記プログラムコマンドを実行することで、上記本発明の実施例のニューラルネットワークトレーニング装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例のニューラルネットワークトレーニング方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。

【0076】

以下、本発明の実施例に係りコンピュータプログラムが格納されるコンピュータ読み取り可能な記憶媒体を説明して、前記コンピュータプログラムはプロセッサーによって以下のステップを実現できる。トレーニング画像を入力し、かつ前記トレーニング画像の知覚マップを計算する。少なくとも前記トレーニング画像及び前記トレーニング画像の知覚マップからトレーニング欠陥画像を生成して、前記トレーニング欠陥画像は、前記トレーニング画像の知覚マップに基づいて生成された1つ以上の欠陥を含む。第一サブモジュールを含む再構成ネットワークを介して前記トレーニング欠陥画像に対して再構成を行い、再構成後に欠陥が除去されたトレーニング再構成画像及び前記トレーニング再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。前記トレーニング画像、前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップに基づいて欠陥検出を行うことで、前記ニューラルネットワークをトレーニング且つ前記ニューラルネットワークのパラメータを調整する。

【0077】

以下、図9を参照して、本発明の実施例に係るニューラルネットワークを用いた欠陥検出装置について説明する。図9は本発明の実施例に係るニューラルネットワークにより欠陥検出を行う装置900のブロック図を示す。図9に示すように、ニューラルネットワークを用いた欠陥検出装置900は、入力ユニット910と、検出ユニット920とを備える。装置900は、これら以外にも他の部材を含んでもよいが、これらの部材は本発明実施例の内容とは無関係であるため、ここでは図示及び説明を省略する。それに、本発明の実施例に係わる装置900によって行う下記操作の具体的な細部が上記図6に記載された細部と同じであるため、重複を回避するために、同じ細部に対する重複した記述を省略する。

【0078】

図9におけるニューラルネットワークを利用して欠陥検出を行う装置900の入力ユニット910は被検出画像を入力し、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。

【0079】

入力ユニット910は、被検出画像を図1に示されるプロセスによってトレーニングされたニューラルネットワークにおいて第一サブモジュールを含む再構成ネットワークに入力して再構成することができる。好ましくは、被検出画像は、欠陥のない画像であってもよいし、１つ以上の欠陥を有する画像であってもよい。被検出画像を検出するプロセスでは、欠陥が除去された再構成画像を取得する同時に、再構成画像の知覚マップを取得することができ、あるいは再構成画像のマルチスケール知覚マップをさらに取得して、後続の欠陥検出および位置特定プロセスに用いることができる。再構成ネットワークの具体的な構造は図4に示され、ここでは再度の説明を省略する。

【0080】

入力された被検出画像が当該再構成ネットワークに入ると、最初にエンコーダを使用して入力された特徴を抽出することができる。好ましくは、再構成ネットワーク内のエンコーダの異なるパラメータの畳み込み、正規化、およびプーリングプロセスを使用して異なる階層の特徴を抽出することができる。まず、畳み込みカーネルを利用して入力された被検出画像に対して畳み込みを行って、畳み込みマッピングを得ることができる。次に、線形補正ユニット及びバッチ正規化方法により畳み込みマッピングを正規化して、正規化畳み込みマッピングを得ることができる。その後、正規化畳み込みマッピングに対して最大又は平均プーリングプロセスを適用することができる。豊富なマルチスケール特徴を取得するために、エンコーダは関連パラメータを調整して上記過程を複数回繰り返すことで、複数回のダウンサンプリング過程によって対応するマルチスケール特徴マップを抽出することができる。再構成ネットワークのエンコーダ処理の後、デコーダを利用して畳み込み、正規化、およびアップサンプリングプロセスによりマルチスケール特徴マップの分解能を復元することができる。再構成ネットワークは、同じ解像度を有するエンコーダおよびデコーダの特徴を組み合わせ、かつ複数のセットの畳み込みプロセスを使用して、入力された被検出画像を、欠陥が除去された対応する再構成画像および対応する再構成画像の知覚マップに変換する。

【0081】

検出ユニット920は、前記被検出画像、前記再構成画像及び前記再構成画像の知覚マップに基づいて欠陥分割を行い、欠陥検出結果を得る。

【0082】

好ましくは、検出ユニット920は、第二サブモジュールを含む分割ネットワークによって、前記被検出画像と前記再構成画像との間、前記被検出画像と前記再構成画像の知覚マップとの間、前記被検出画像と前記再構成画像および前記再構成画像の知覚マップとの間の差異を、それぞれ抽出して欠陥検出を行う。分割ネットワークの具体的な構造は図5に示され、ここでは再度の説明を省略する。

【0083】

図5の分割ネットワークの欠陥分割及び検出により、被検出画像における欠陥を位置特定し、且つ欠陥が存在するか否かの判断又は確率表示を得ることができる。

【0084】

好ましくは、欠陥の位置特定を行う時に、分割ネットワークは得られた欠陥を表示するための画像における画素値に対してセグメント化して分類表示を行うことができることで、欠陥の所在位置をより直観的に示すことができる。例えば、欠陥を表示するための画像を出力する時に、そのグレースケール画像における画素をそのグレースケール値に応じて三つの部分に分けることができ、例えばそれぞれ0、0.5及び1の正規化結果で表すことで、欠陥の位置をより明確に表示する。いうまでもなく、上記欠陥をセグメント化して分類して表示するプロセスは例に過ぎず、実際の応用において、さらにニーズに応じて欠陥を表示するための画像に対して様々な画素値分類及び正規化の操作を行うことができ、ここでは限定しない。欠陥を位置特定と表示した後、分割ネットワークは、欠陥検出の結果として、例えば被検出画像が欠陥画像であるか否かの、被検出画像に欠陥があるか否かに対する判定を出力することができる。

【0085】

本発明の実施例に係る上記ニューラルネットワークにより欠陥検出を行う装置は、特徴チャネルに対するスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うための第一サブモジュールを導入、又はさらに前記トレーニング画像と前記トレーニング再構成画像及び前記トレーニング再構成画像の知覚マップとの間の差異を抽出するための第二サブモジュールを導入することによって欠陥検出の精度を向上させることで、異なるタイプの製品又は物体に対する無秩序な欠陥の正確な生成及びロバストな検出を実現し、大量の欠陥データの収集及び手動ラベリングプロセスを回避し、ユーザ体験を改善することができる。

【0086】

以下、図10を参照して、本発明の実施例に係るニューラルネットワークを用いた欠陥検出装置について説明する。図10は本発明の実施例に係るニューラルネットワークにより欠陥検出を行う装置900のブロック図を示す。図10に示すように、当該装置1000はコンピュータまたはサーバであることが可能である。

【0087】

図10に示すように、装置1000は、１つまたは複数のプロセッサー1010とメモリ1020とを備えているが、これらに加えて、装置1000は、バスシステムおよび/または他の形式の接続機構を介して相互接続することができる入力装置、出力装置(図示せず)などを含むことができる。なお、図9に示した装置1000のコンポーネントと構造は例示的のみであり、制限されたものではない。必要に応じて、装置1000はこのコンポーネントと構造を有することもできる。

【0088】

プロセッサー1010は中央プロセスユニット（CPU）またはデータ処理能力と/またはコマンド執行能力を有するほかの形式のプロセスユニットであってもよく、かつメモリ1020内に記憶されたコンピュータプログラムコマンドを用いて所望の機能を実行できるが、以下を含む。被検出画像を入力して、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを得て、ここで前記第一サブモジュールは特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられる。前記被検出画像、前記再構成画像及び前記再構成画像の知覚マップに基づいて欠陥分割を行い、欠陥検出結果を得る。

【0089】

メモリ1020は、1つまたは複数のコンピュータプログラムプロダクトを含むことができ、前記コンピュータプログラムプロダクトは、例えば、揮発性メモリおよび/または不揮発性メモリのような各種形式のコンピュータ読み出し可能な記録媒体を含むことができる。前記コンピュータ読み出し可能な記録媒体において１つまたは複数のコンピュータプログラムコマンドをメモリーでき、プロセッサー1010は前記プログラムコマンドを実行することで、上記本発明の実施例に係るニューラルネットワークトレーニングにより欠陥検出を行う装置の機能及び／又ほかの所望の機能、かつ／または、本発明の実施例に係るニューラルネットワークトレーニングにより欠陥検出を行う方法を実行できる。前記コンピュータ読み出し可能な記録媒体において各種アプリケーションプログラムと各種データを格納することも可能である。

【0090】

以下、本発明の実施例に係りコンピュータプログラムが格納されるコンピュータ読み取り可能な記憶媒体を説明して、前記コンピュータプログラムはプロセッサーによって以下のステップを実現できる。被検出画像を入力して、第一サブモジュールを含む再構成ネットワークによって前記被検出画像に対して再構成を行い、再構成後の欠陥が除去された再構成画像及び前記再構成画像の知覚マップを取得し、前記第一サブモジュールは特徴チャネルのスクリーニング及び各チャネルの空間関係の抽出によって特徴のスクリーニング及び処理を行うことに用いられるステップと、前記被検出画像と、前記再構成画像と、前記再構成画像の知覚マップとに基づいて欠陥分割を行って、欠陥検出結果を得るステップと、を実行させる。

【0091】

勿論、上記具体的な実施例は例示のみであり、制限されたものではなく、かつ、当業者は本発明の思想に基づき上記分けて記述された各実施例から一部のステップと装置を合併および組み合わせて本発明の効果を実施できる。この種の合併と組合せによる実施例も本発明に含まれ、ここでは一々記述しない。

【0092】

本発明に言及された利点、優位性、効果などは例示的なもののみで、制限されたものではなく、これらの利点、優位性、効果は本発明の各実施例に必須であることではない。また、上記より公開発明された具体的な細部は例示の作用と理解しやすいためのみであり、制限されたものではない。上記の細部は以下を制限するものではない。つまり、本発明を実現するために、上記の具体的な細部を用いることは必須である。

【0093】

本発明に係る部材、装置、設備、システムのブロック図は例示的なものに過ぎなく、かつ必ずブロック図に示す方法で接続、レイアウト、配置するように要求または示唆しない。当業者に自明のように、任意の方法でこれらの部材、装置、設備、システムを接続、レイアウト、配置することが可能である。「包括」、「含む」、「具有」などの字句は開放的な単語であり、「含むが限定されない」を指し、かつ交換して使用することが可能である。ここで使用した単語の「或いは」と「と」は単語の「と/或いは」を指し、前後文に明確指示されないかぎり、交換して使用することが可能である。ここで使用した単語の「例えば」は、「例えが限定されない」を指し、かつ交換して使用することが可能である。

【0094】

本発明におけるステップフローチャートおよび上記説明は例示的なものに過ぎなく、かつ必ず示された順番で各実施例のステップを行うように要求または示唆を意図しない。当業者に認知されたように、上記実施例内のステップの順番を任意の順序で行うことが可能である。「その後」、「以後」、「その次」などの単語はステップの順序を意図的に限定するものではない。これらの単語は読者にこれらの方法の説明を読むことにガイドさせるもののみである。それに、冠詞の「一個」、「一」または「当該」を用いて単数の要素に対するいかなる引用は当該要素を単数に制限するものではない。

【0095】

また、本明細書の各実施例におけるステップと装置はある実施例での実行に限られず、実際では、本発明の思想に基づき本明細書の各実施例の関係する一部のステップと装置と結合して新しい実施例を構築することができ、そして、これらの新しい実施例も本発明の範囲内に含まれる。

【0096】

上記記述された方法における各操作は対応する機能を実行できるいかなる適切な手段によって実施することが可能である。当該手段は各種のハードウェアと/或いはソフトウェアコンポーネントと/或いはモジュールを含み、回路、特定用途向け集積回路（ASIC）またはプロセッサーを含むが、限られるではない。

【0097】

ここで記述された機能を行うために設計された汎用プロセッサー、デジタル信号プロセッサー（DSP）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）或いはほかのプログラマブル論理デバイス（PLD）、離散ゲートまたはトランジスタ論理、離散ハードウェアコンポーネント、または、それらの任意の組み合わせを用いて、各例示の論理ブロック、モジュール、回路などを実施または述べることができる。汎用プロセッサーはマイクロプロセッサーでもよいが、代替としては、当該プロセッサーがいかなるビジネスにおいて取得できるプロセッサー、コントローラ、マイクロコントローラまたは状態機械でもよい。プロセッサーはさらに計算装置の組合せとして実施できる。例えば、DSPとマイクロプロセッサーとの組合せ、複数のマイクロプロセッサー、DSPコアーと提携するひとつまたは複数のマイクロプロセッサー或いはいかなるこのようなほかの配置でも良い。

【0098】

本発明に記述された方法またはアルゴリズムを結合したステップは直接的にハードウェアに、プロセッサーにより実行されるソフトウェアモジュールまたはこの二種の組合せに嵌め込むことが可能である。ソフトウェアモジュールはいかなう形式の有形記録媒体に格納することができる。使用可能な記録媒体は、例えば、ランダムアクセスメモリ（RAM）、読み出し専用メモリ（ROM）、快速フラッシュメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、移動可能なディスク、CD-ROMなどを含む。記録媒体は、プロセッサーが当該記録媒体から情報と読み取り、および当該記録媒体に情報を記入するように、プロセッサーにカップリングされる。代替形態では、記録媒体がプロセッサーと一体になる。ソフトウェアモジュールはシングルコマンドまたは多数コマンドでもよく、かついくつかの異なるコードセグメント上、異なるプログラムの間および複数の記録媒体を跨って分布することが可能である。

【0099】

ここで発明された方法は述べた方法を実現するためのひとつまたは複数の動作を含む。方法と/或いは動作は請求項から離脱せずに互いに互換できる。言い換えれば、動作の具体的な順序を指定した場合を除き、請求項から離脱せずに具体的な動作の順序と/或いは実行を変更することが可能である。

【0100】

前記機能はハードウェア、ソフトウェア、ファームウェアまたはその任意の組合せによって実施できる。ソフトウェアによって実施する場合、機能はひとつ或いは複数のコマンドとしてコンピュータの読取り可能媒体に格納できる。記録媒体はコンピュータにアクセスされることのできるいかなる使用可能な媒体でも良い。以下の例は制限されたものではない。このようなコンピュータ読取り可能媒体はＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭまたはほかの光ディスク格納、磁気ディスク格納またはほかの磁気メモリあるいはコマンドまたはデータ構造形式の所望のプログラムコードを携帯または格納し、かつコンピュータにアクセスできるいかならほかの確実な媒体を含むことができる。ここで使用されたディスク（disc）は、コンパクトディスク（CD）、レーザーディスク、光ディスク、デジタル汎用ディスク（DVD）、ソフト磁気ディスクとブルーレイディスクを含む。

【0101】

このため、コンピュータプログラムプロダクトはここで記述された操作を実行できる。例えば、このようなコンピュータプログラムプロダクトはその上に有形に格納（と/或いはエンコード）されるコマンドを有するコンピュータに読み取り可能な有形媒体であり、当該コマンドはここで記述された操作を行うようにひとつまたは複数のプロセッサーによって実行される。コンピュータプログラムプロダクトはパッケージ材を含むことが可能である。

【0102】

ソフトウェアまたはコマンドは伝送媒体によって伝送されることも可能である。例えば、同軸ケーブル、光ファイバー、ツイストペアケーブル、デジタル加入者線（ＤＳＬ）または赤外、無線あるいはマイクロ波の無線技術の伝送媒体によってウェブサイト、サーバまたはほかのリモートソースからソフトウェアを伝送することが可能である。

【0103】

この他、ここで記述された方法と技術を行うためのモジュールと/或いはほかの適切な手段は適切なときに、ユーザ端末と/或いはベースステーションによりダウンロードと/或いはほかの方法で得ることが可能である。例えば、このようなデバイスはサーバにカップリングすることで記述された方法を行うための手段の伝送を促す。または、ここで記述された各種方法はユーザ端末と/或いはベースステーションが当該デバイスにカップリングされ、または当該デバイスに記憶部材を提供する時に各種方法を取得するように、記憶部材（例えば、ＲＡＭ、ＲＯＭ、ＣＤ或いはソフト磁気ディスクなどの物理記録媒体）により提供されることが可能である。この他、ここで記述された方法と技術をデバイスに提供するためのいかなるほかの適切な技術を利用することも可能である。

【0104】

ほかの例と実施方法は本発明と請求項および主旨内にある。例えば、ソフトウェアの性質により、以上記述された機能はプロセッサー、ハードウェア、ファームウェア、ハード・ワイヤードまたはこれらの任意の組合せによって実行されるソフトウェアを用いて実施できる。機能を実施する特徴も物理的に各位置に配置することが可能で、機能の部分が異なる物理的な位置において実施されるように分配されることも含む。しかも、ここで使用され、かつ請求項に使用されるのを含み、「少なくともひとつ」をはじめとした列挙に使われた「或いは」は分離の列挙を意味する。即ち、「Ａ、Ｂ或いはＣの少なくともひとつ」のような列挙はＡ或いはＢ或いはＣ、またはＡＢ或いはＡＣ或いはＢＣ、またはＡＢＣ（即ちＡとＢとＣ）を意味する。それに、「例示的」の用語は記述された例が最適またはほかの例よりも良いことを意味していない。

【0105】

請求項に教示された技術を離脱せずに、ここで記述された技術を各種変更、取替えおよび修正を行うことができる。それに、本発明の請求項は上記の処理、機器、製造、イベントの構成、手段、方法および動作の具体的な内容に限られない。ここで記述された内容とほご同じ機能を実行またはほぼ同じ結果を実施して既存または開発される処理、機器、製造、イベントの構成、手段、方法または動作を利用することができる。したがって、請求項はその範囲内にあるこのような処理、機器、製造、イベントの構成、手段、方法または動作を含む。

【0106】

提供された上記の発明内容は当業者に本発明を作成または使用させることができる。これらの方案の各種の補正は当業者にとって自明であり、かつここで定義した一般原理は本発明の範囲を逸脱せずにほかに応用されることも可能である。したがって、本発明はここで示した方案に限定されることが望ましくなく、ここで発明された原理と新規の特徴と一致する最も広い範囲に従うものである。

【0107】

上記の記述は例示および記述のためになされたものである。そして、この記述は本発明の実施例をここで発明された形式に制限することが望ましくない。上記、複数の例示と実施例を検討したが、当業者にとって、それのある変形、補正、修正、追加とサブ組合せのことが自明である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】