特開 2022-103040 画像欠陥検出方法、装置、電子機器、記憶媒体および製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022103040

(43)【公開日】2022-07-07

(54)【発明の名称】画像欠陥検出方法、装置、電子機器、記憶媒体および製品

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220630BHJP

【ＦＩ】

G06T7/00 610B

G06T7/00 610C

G06T7/00 350C

【審査請求】有

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021144390

(22)【出願日】2021-09-06

(31)【優先権主張番号】202011563435.9

(32)【優先日】2020-12-25

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】肖 慧慧

(72)【発明者】

【氏名】▲聶▼ 磊

(72)【発明者】

【氏名】▲鄒▼ 建法

(72)【発明者】

【氏名】黄 ▲鋒▼

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096CA02

5L096DA01

5L096DA05

5L096FA17

5L096GA10

5L096HA01

5L096HA11

(57)【要約】

【課題】 本開示は、画像欠陥検出方法、装置、電子機器、記憶媒体および製品を開示されており、画像処理技術分野に関し、特に、欠陥検出技術分野に関する。
【解決手段】 実現するための具体な技術案は、検出待ち画像を取得することと、検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得ることと、検出待ち画像および各修復画像に基づき、検出待ち画像に対して欠陥位置特定を行うことと、を含み、各マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、異なるマスク画像群は、異なる画像スケールを有する。本開示の技術案によれば、従来の欠陥検出方法における、人力で多量の操作を完了する必要があり、従業員の主観的要因のため、検出精度が低いという課題を解決し、画像中の欠陥に対して画素レベルの位置特定を実現でき、検出精度が比較的高く、大幅な人件費を節約できた。
【選択図】 図１

【特許請求の範囲】

【請求項1】

検出待ち画像を取得することと、
前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する少なくとも１つの修復画像を得ることと、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うことと、を含み、
各前記マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、
異なるマスク画像群は、異なる画像スケールを有する、
画像欠陥検出方法。

【請求項2】

前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得ることは、
現在処理中の目標マスク画像群を取得し、前記検出待ち画像と前記目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得ることと、
前記複数の修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、前記目標マスク画像群に対応する複数枚の修復画像を形成することと、
複数枚の前記修復画像を合併して、前記目標マスク画像群に対応する修復画像を得ることと、を含み、
前記画像補完モデルは、複数枚の前記ポジティブサンプル画像をトレーニングすることによって得られる、
請求項１に記載の画像欠陥検出方法。

【請求項3】

複数枚の前記修復画像を合併して、前記目標マスク画像群に対応する修復画像を得ることは、
各前記修復画像と、対応する目標マスク画像群における２値画像とを乗算し、各参考画像を得ることと、
各前記参考画像を加算して前記目標マスク画像群に対応する修復画像を得ることと、を含む、
請求項２に記載の画像欠陥検出方法。

【請求項4】

各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力する前に、
複数枚の２値画像をランダムに生成することと、
各前記ポジティブサンプル画像および各前記２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、前記画像補完モデルを生成することと、をさらに含む、
請求項２に記載の画像欠陥検出方法。

【請求項5】

各前記ポジティブサンプル画像および各前記２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、前記画像補完モデルを生成することは、
１枚のポジティブサンプル画像および１枚の２値画像を選択し、これら画像の各画素点を対応して乗算し、１枚の欠陥画像を得ることと、
前記欠陥画像と選択された前記２値画像とを合併して１枚の４チャネル目標画像を得ることと、
前記目標画像を前記機械学習モデルに入力し、前記機械学習モデルに対してモデルトレーニングを行うことと、
トレーニング終了条件を満たして前記画像補完モデルを得るまで、１枚のポジティブサンプル画像および１枚の２値画像を選択する動作から、前記目標画像を前記機械学習モデルに入力し、前記機械学習モデルに対してモデルトレーニングを行う動作まで繰り返して実行することと、を含む、
請求項４に記載の画像欠陥検出方法。

【請求項6】

前記少なくとも１つの修復画像に複数の修復画像が含まれ、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うことは、
各前記修復画像のそれぞれを前記検出待ち画像と差異比較し、複数枚の差異ヒートマップを得ることと、
各前記差異ヒートマップにおける各ヒートポイントのうちの最大値を選び、目標ヒートマップを構築することと、
前記目標ヒートマップに対して２値化分割を行い、前記検出待ち画像における欠陥領域を得ることと、を含む、
請求項１に記載の画像欠陥検出方法。

【請求項7】

各前記修復画像のそれぞれを前記検出待ち画像と差異比較し、複数枚の差異ヒートマップを得ることは、
各前記修復画像と前記検出待ち画像との勾配強度類似性偏差をそれぞれ確定し、類似性偏差の確定結果に基づき、複数枚の差異ヒートマップを得ることと、を含む、
請求項６に記載の画像欠陥検出方法。

【請求項8】

検出待ち画像を取得するための検出待ち画像取得モジュールと、
前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得るための修復画像生成モジュールと、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うための欠陥位置特定モジュールと、を備え、
各前記マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、
異なるマスク画像群は、異なる画像スケールを有する、
画像欠陥検出装置。

【請求項9】

前記修復画像生成モジュールは、
現在処理中の目標マスク画像群を取得し、前記検出待ち画像と前記目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得るための修復データペア生成サブモジュールと、
各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、前記目標マスク画像群に対応する複数枚の修復画像を形成するための複数枚の修復画像生成サブモジュールと、
複数枚の前記修復画像を合併して、前記目標マスク画像群に対応する修復画像を得るための修復画像生成サブモジュールとを備え、
前記画像補完モデルは、複数枚の前記ポジティブサンプル画像をトレーニングすることによって得られる、
請求項８に記載の画像欠陥検出装置。

【請求項10】

前記修復画像生成サブモジュールは、
各前記修復画像と、対応する目標マスク画像群における２値画像とを乗算し、各参考画像を得ることと、
各前記参考画像を加算して前記目標マスク画像群に対応する修復画像を得ることと、に用いられる、
請求項９に記載の画像欠陥検出装置。

【請求項11】

前記修復画像生成モジュールは、
複数枚の２値画像をランダムに生成することと、
各前記ポジティブサンプル画像および各前記２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、前記画像補完モデルを生成することと、に用いられる画像補完モデル生成サブモジュールをさらに備える、
請求項９に記載の画像欠陥検出装置。

【請求項12】

前記画像補完モデル生成サブモジュールは、
１枚のポジティブサンプル画像および１枚の２値画像を選択し、これら画像の各画素点を対応して乗算し、１枚の欠陥画像を得ることと、
前記欠陥画像と選択された２値画像とを合併して、１枚の４チャネルの目標画像を得ることと、
前記目標画像を前記機械学習モデルに入力し、前記機械学習モデルに対してモデルトレーニングを行うことと、
トレーニング終了条件を満たして前記画像補完モデルを得るまで、１枚のポジティブサンプル画像および１枚の２値画像を選択する動作に戻って実行することと、に用いられる、
請求項１１に記載の画像欠陥検出装置。

【請求項13】

前記欠陥位置特定モジュールは、
各前記修復画像のそれぞれを前記検出待ち画像と差異比較し、複数枚の差異ヒートマップを得るための複数枚の差異ヒートマップ生成サブモジュールと、
各前記差異ヒートマップにおける各ヒートポイントのうちの最大値を選び、目標ヒートマップを構築するための目標ヒートマップ構築モジュールと、
前記目標ヒートマップに対して２値化分割を行い、前記検出待ち画像における欠陥領域を得るための欠陥領域確定サブモジュールと、を備える、
請求項８に記載の画像欠陥検出装置。

【請求項14】

前記複数枚の差異ヒートマップ生成サブモジュールは、
各前記修復画像と前記検出待ち画像との勾配強度類似性偏差をそれぞれ確定し、類似性偏差の確定結果に基づき、複数枚の差異ヒートマップを得ることに用いられる、
請求項１３に記載の画像欠陥検出装置。

【請求項15】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続される記憶装置とを備え、
前記記憶装置に前記少なくとも１つのプロセッサにより実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれか１項に記載の画像欠陥検出方法を実現可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器。

【請求項16】

請求項１～７のいずれか１項に記載の画像欠陥検出方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、プログラム非一時的コンピュータ可読記憶媒体。

【請求項17】

請求項１～７のいずれか１項に記載の画像欠陥検出方法をコンピュータに実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は画像処理技術分野に関し、特に、限定するものではないが、欠陥検出技術分野へのアプリケーションに関し、具体的には、画像欠陥検出方法、装置、電子機器、記憶媒体および製品に関するものである。

【背景技術】

【0002】

従来の工業製造業生産シナリオ、例えば、コンピュータ、通信および消費類電子製品の部品製造、鉄鋼生産、自動車製造、電池製造、ソーラーパネル製造などの分野において、製品の外観欠陥検出は、生産工程における重要な一環である。

【0003】

収集された製品画像中の欠陥をどのように検出するか、これは業界で注目される重要な課題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、画像欠陥検出方法、装置、電子機器、記憶媒体および製品を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、
検出待ち画像を取得することと、
前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得ることと、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うことと、を含み、
各マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、
異なるマスク画像群は、異なる画像スケールを有する、
画像欠陥検出方法を提供する。

【0006】

本開示の別の態様によれば、
検出待ち画像を取得するための検出待ち画像取得モジュールと、
前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得るための修復画像生成モジュールと、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うための欠陥位置特定モジュールとを備え、
各マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、
異なるマスク画像群は、異なる画像スケールを有する、
画像欠陥検出装置を提供する。

【0007】

本開示の別の態様によれば、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続される記憶装置とを備え、
前記記憶装置に前記少なくとも１つのプロセッサにより実行可能な命令が記憶され、
前記命令は、前記少なくとも１つのプロセッサが本開示のいずれかの実施例に記載の画像欠陥検出方法を実現可能であるように、前記少なくとも１つのプロセッサにより実行される、
電子機器を提供する。

【0008】

本開示の別の態様によれば、本開示のいずれかの実施例に記載の画像欠陥検出方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、
非一時的コンピュータ可読記憶媒体を提供する。

【0009】

本開示の別の態様によれば、
プロセッサに実行されることによって本開示のいずれかの実施例に記載の画像欠陥検出方法を実行させるコンピュータプログラムを提供する。

【0010】

本開示の技術案は、画像内の欠陥領域に対する位置特定の精度を向上できる。

【0011】

なお、この部分の説明内容は本開示の実施例の鍵又は重要な構成を明示することを意図するものではなく、本開示の範囲を限定することを意図するものでもないことを理解すべきである。本開示の別の構成については、以下の明細書を通して容易に理解されるであろう。

【図面の簡単な説明】

【0012】

図面は本技術案をよりよく理解するために提供され、本開示を限定するものではない。

【0013】

【図1】本開示の実施例に係る画像欠陥検出方法の概略図である。

【図2】本開示の実施例に係る別の画像欠陥検出方法の概略図である。

【図3】本開示の実施例に係るさらなる画像欠陥検出方法の概略図である。

【図4】本開示の実施例に係るまた別の画像欠陥検出方法の概略図である。

【図5】本開示の実施例に係る画像欠陥検出方法のフロー図である。

【図6】本開示の実施例に係る画像補完モデルのネットワーク構造の概略図である。

【図7】本開示の実施例に係る検出待ち画像に対して欠陥位置特定を行うアーキテクチャ図である。

【図8】本開示の実施例に係る画像欠陥検出装置の構造概略図である。

【図9】本開示の実施例における画像欠陥検出方法を実現する電子機器のブロック図である。

【発明を実施するための形態】

【0014】

以下は、図面を参照しながら、本開示の例示的な実施例について説明する。この内容には、理解を助けるための本開示の実施例の様々な詳細が含まれているが、単なる例示的なものと見なされるべきである。したがって、当業者は、本開示の範囲および精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更および修正を行うことができることを認識すべきである。同様に、はっきりとよくわかるように、以下の説明では公知の機能と構造についての説明を省略した。

【0015】

図１は、本開示の実施例に係る画像欠陥検出方法の概略図であり、本実施例は、検出待ち画像中の欠陥について検出および位置特定を行う状況に適用され、当該方法は画像欠陥検出装置によって実行可能であり、当該装置はソフトウェア及び／又はハードウェアの形態で実現可能であり、電子機器に集積可能である。本実施例に係る電子機器は、サーバ、コンピュータ、スマートフォン又はタブレットＰＣなどであってもよい。具体的に、図１を参照すると、当該方法は具体的に以下のことを含む。

【0016】

Ｓ１１０において、検出待ち画像を取得する。
ここで、検出待ち画像は、例えば、車体（Ｂｏｄｙ－ｉｎ－Ｗｈｉｔｅ）画像、洗濯機の外観の画像、歯車の外面の画像、又は電子製品の包装の画像などの工業製造業生産シナリオにおいて収集されるいずれかの製品の画像であってもよく、本実施例ではこれを限定するものではない。

【0017】

なお、本実施例に係る検出待ち画像には、欠陥が含まれてもよく、含まれなくてもよく、本実施例ではこれを限定するものではない。ここで、検出待ち画像に含まれる欠陥は、傷、汚れ、ペンキの塗りむらなどであってもよく、本実施例ではこれを限定するものではない。

【0018】

本実施例の好ましい実現形態において、画像収集デバイスによって検出待ち画像をリアルタイムに収集してもよく、画像データベースから検出待ち画像を取得してもよく、本実施例ではこれを限定するものではない。，

【0019】

例示的に、本実施例では、カメラによってリアルタイムに自動車用車体画像を収集し、リアルタイムに収集された車体画像に対して後続の欠陥検出を行うことで、収集された車体に欠陥が含まれているか否かを確定し、さらに、もし収集された車体画像に欠陥が含まれていると、画像における欠陥領域に対して位置特定を行うことができる。

【0020】

Ｓ１２０において、検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得る。

【0021】

ここで、各マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、異なるマスク画像群は、異なる画像スケールを有する。

【0022】

例示的に、本実施例における１つのマスク画像群に、相補的な関係を有する４枚の２値画像が含まれてもよく、なお、本実施例において、相補的な関係を有する４枚の２値画像に対応する画素を加算し、得られる画像のいずれかの画素の階調値は２５５であってもよく、１２８又は９６などの数値であってもよく、本実施例ではこれを限定するものではない。なお、本実施例において、相補的な関係を有する複数枚の２値画像に対応する画素を加算し、得られる画像のいずれかの画素の階調値は、２値画像における１つの階調値と同じであり、例示的に、もし２値画像における階調値がそれぞれ、０および２５５であれば、相補的な関係を有する複数枚の２値画像に対応する画素を加算して得られる画像のいずれかの画素の階調値は２５５である。

【0023】

なお、本実施例において、異なるマスク画像群は、異なる画像スケールを有する。すなわち、異なるマスク画像群における２値画像に含まれるマスクブロックの大きさが異なり、ここで、マスクブロックは、２値画像における階調値が２５５である１つ又は複数の画素から構成され、例示的に、第１マスク画像群における各マスクブロックは階調値が２５５である４*４=１６個の画素から構成され、第２マスク画像群における各マスクブロックは階調値が２５５である３*３=９個の画素から構成され、第３マスク画像群における各マスクブロックは２*２=４個の階調値が２５５である画素から構成される。

【0024】

ここで、マスク画像群の数量は、３、４又は１０個などであってもよく、本実施例ではこれを限定するものではない。

【0025】

本実施例の好ましい実現形態において、検出待ち画像が取得されると、さらに、検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得ることができ、ここで、ポジティブサンプル画像は、取得された検出待ち画像と相関し、且つ、欠陥が含まれていない画像であり、例示的に、もし検出待ち画像が傷欠陥が含まれている車体画像（欠陥が含まれていない車体画像であってもよい）であれば、ポジティブサンプル画像は欠陥が含まれていない良品の車体画像となる。

【0026】

本実施例の好ましい実現形態において、複数枚の無欠陥なポジティブサンプルに対して教師なしトレーニングを行うことで、トレーニングした画像補完モデルを得ることができ、さらに、検出待ち画像とマスク画像群における２値画像を順次に画像補完モデルに入力することで、検出待ち画像に対応する修復画像が得ることができる。

【0027】

例示的に、本実施例において、１００枚の無欠陥なポジティブサンプル画像に対して教師なしトレーニングを行うことで、検出待ち画像に相関する画像補完モデルを得ることができ、さらに、検出待ち画像とマスク画像群における各２値画像を順次に画像補完モデルに入力することで、検出待ち画像に対応する修復画像を得ることができる。

【0028】

なお、本実施例において、検出待ち画像に対応する修復画像は、検出待ち画像に対応する欠陥が含まれていない良品画像であり、例示的に、もし検出待ち画像が傷が含まれている洗濯機の外観画像であれば、検出待ち画像に対応する修復画像は傷が含まれていない洗濯機の外観画像であり、もし検出待ち画像が傷が含まれていない洗濯機の外観画像であれば、検出待ち画像に対応する修復画像は検出待ち画像と同じである。

【0029】

Ｓ１３０において、検出待ち画像および各修復画像に基づき、検出待ち画像に対して欠陥位置特定を行う。

【0030】

本実施例の好ましい実現形態において、検出待ち画像に対応する修復画像が得られると、さらに、検出待ち画像および検出待ち画像に対応する修復画像に基づき、検出待ち画像に対して欠陥位置特定を行うことで、検出待ち画像中の欠陥位置情報を取得することができる。

【0031】

本実施例の好ましい実現形態において、検出待ち画像に対応する修復画像が得られると、さらに、検出待ち欠陥画像と修復画像との差値を算出し、算出結果に基づき検出待ち画像中の欠陥に対して位置特定を行うことができる。

【0032】

例示的に、もし、検出待ち画像が画像Ａであり、画像Ａに対応する修復画像が画像Ｂであれば、画像Ａから画像Ｂを差し引くことで画像Ｃを得、ここで、画像Ｃには画像Ａにある欠陥（例えば、傷欠陥）のみ含まれており、さらに、画像Ｃに対して２値化分割（例えば、先ず画像Ｃに対して２値化を行い、２値化された画像Ｃに対して分割を行うことができる）を行うことで、画像Ｃに含まれている欠陥の位置が測定でき、すなわち、画像Ａにおける欠陥に対して位置特定を実現できる。なお、もし画像Ａに欠陥が含まれていないと、画像Ｃは真っ黒の画像となる（各画素の階調値はいずれも０である）。

【0033】

本実施例の技術案は、検出待ち画像を取得し、検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得、ここで、各マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、異なるマスク画像群は、異なる画像スケールを有し、検出待ち画像および修復画像に基づき、検出待ち画像に対して欠陥位置特定を行うことにより、従来の欠陥検出方法における、人力で多量の操作を完了する必要があり、従業員の主観的な要因のため、検出精度が低くなる課題を解決し、画像中の欠陥に対して画素レベルの位置特定を実現でき、検出精度が比較的高く、大幅な人件費を節約できた。

【0034】

図２は本開示の実施例に係る別の画像欠陥検出方法の概略図であり、本実施例は上述した技術案をさらに細分化したものであり、本実施例における技術案は、上述した１つ又は複数の実施例における各好ましい技術案と組み合わせることができる。図２に示すように、画像欠陥検出方法は以下のことを含む。

【0035】

Ｓ２１０において、検出待ち画像を取得する。

【0036】

Ｓ２２０において、現在処理中の目標マスク画像群を取得し、検出待ち画像と目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得る。

【0037】

ここで、目標マスク画像群は少なくとも１つのマスク画像群におけるいずれかのマスク画像群であり、本実施例ではこれを限定するものではない。

【0038】

本実施例の好ましい実現形態において、現在処理中の目標マスク画像群を取得し、検出待ち画像と目標マスク画像における各２値画像のそれぞれとを組み合わせることで、複数の修復データペアを得ることができる。

【0039】

例示的に、もし目標マスク画像群に相補的な関係を有する４枚の２値画像、例えば、相補的な関係を有する２値画像Ａ、２値画像Ｂ、２値画像Ｃおよび２値画像Ｄが含まれていると、検出待ち画像と２値画像Ａとを組み合わせて第１修復データペアを得、検出待ち画像と２値画像Ｂとを組み合わせて第２修復データペアを得、検出待ち画像と２値画像Ｃとを組み合わせて第３修復データペアを得、および検出待ち画像と２値画像Ｄを組み合わせて第４修復データペアを得ることができる。

【0040】

Ｓ２３０において、各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、目標マスク画像群に対応する複数枚の修復画像を形成する。

【0041】

ここで、画像補完モデルは、複数枚のポジティブサンプル画像をトレーニングすることによって得られる。

【0042】

本実施例の好ましい実現形態において、複数枚のポジティブサンプル画像に対して教師なしトレーニングを行うことで、画像補完モデルを得る。

【0043】

本実施例の好ましい実現形態において、検出待ち画像と目標マスク画像群における各２値画像のそれぞれとを組み合わせて複数の修復データペアが得られると、さらに、組み合わせて得られた複数のデータペアのそれぞれを事前トレーニングした画像補完モデルに入力することで、目標マスク画像に対応する複数枚の修復画像を生成することができる。

【0044】

例示的に、上述した例において、第１修復データペア、第２修復データペア、第３修復データペアおよび第４修復データペアが得られると、４つの修復データペアのそれぞれを複数枚のポジティブサンプル画像に基づき事前トレーニングして得られた画像補完モデルに入力することで、第１修復データペアに対応する第１修復画像と、第２修復データペアに対応する第２修復画像と、第３修復データペアに対応する第３修復画像と、および第４修復データペアに対応する第４修復画像と、を生成することができる。

【0045】

Ｓ２４０において、複数枚の修復画像を合併し、目標マスク画像群に対応する修復画像を得る。

【0046】

本実施例の好ましい実現形態において、目標マスク画像群に対応する複数枚の修復画像が得られると、さらに、得られた複数枚の修復画像を合併することで、目標マスク画像群に対応する修復画像を得ることができる。

【0047】

例示的に、上述した例において、第１修復画像、第２修復画像、第３修復画像および第４修復画像が得られると、さらに、４枚の修復画像に対して合併処理を行うことで、目標マスク画像群に対応する修復画像を得ることができる。

【0048】

本実施例の好ましい実現形態において、複数枚の修復画像を合併し、目標マスク画像群に対応する修復画像を得ることは、各修復画像と、対応する目標マスク画像群における２値画像とをそれぞれ乗算して各参考画像を得ることと、各参考画像を加算して目標マスク画像群に対応する修復画像を得ることと、を含んでもよい。

【0049】

例示的に、上述した例において、それぞれに、第１修復画像と２値画像Ａとを乗算して参考画像Ａを得、第２修復画像と２値画像Ｂとを乗算して参考画像Ｂを得、第３修復画像と２値画像Ｃとを乗算して参考画像Ｃを得、また第４修復画像と２値画像Ｄとを乗算して参考画像Ｄを得ることができる。

【0050】

さらに、参考画像Ａ、参考画像Ｂ、参考画像Ｃおよび参考画像Ｄに対して加算処理を行うことで、目標マスク画像群に対応する修復画像を得ることができる。

【0051】

なお、目標マスク画像群における少なくとも２枚の２値画像が相補的な関係を有する、すなわち、各２値画像を加算して得られた画像のいずれかの画素の階調値がいずれも２５５であれば、本実施例において、各修復画像のそれぞれを２値画像と乗算した後、加算して得られた画像はさらに検出待ち画像に対応する修復画像となることを理解すべきである。

【0052】

このように設定する利点は、修復画像の精細度を向上でき、後で検出待ち画像における欠陥領域に対して正確に位置特定を行うために根拠を提供することができる。

【0053】

Ｓ２５０において、検出待ち画像および各修復画像に基づき、検出待ち画像に対して欠陥位置特定を行う。

【0054】

本実施例の好ましい実現形態において、各マスク画像群に対応する修復画像が得られると、各修復画像と検出待ち画像との偏差をそれぞれ算出し、得られたいずれかの偏差に基づき、検出待ち画像における欠陥領域に対して正確に位置特定を行うことができる。

【0055】

本実施例の技術案は、現在処理中の目標マスク画像群を取得し、検出待ち画像と目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得、各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、目標マスク画像群に対応する複数枚の修復画像を形成し、複数枚の修復画像を合併し、目標マスク画像群に対応する修復画像を得、さらに、検出待ち画像および各修復画像に基づき、検出待ち画像に対して欠陥位置特定を行い、検出待ち画像における欠陥領域に対する位置特定の精度を向上させるように、従業員による操作が必要ないことを前提とした。

【0056】

図３は本開示の実施例に係るさらなる画像欠陥検出方法の概略図であり、本実施例は上述した技術案をさらに細分化したものであり、本実施例における技術案は上述した１つ又は複数の実施例における各好ましい技術案と組み合わせることができる。図３に示すように、画像欠陥検出方法は以下のことを含む。

【0057】

Ｓ３１０において、検出待ち画像を取得する。

【0058】

Ｓ３２０において、複数枚の２値画像をランダムに生成し、各ポジティブサンプル画像および各２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、画像補完モデルを生成する。

【0059】

本実施例の好ましい実現形態において、各データペアのそれぞれを事前トレーニングした画像補完モデルに入力する前に、複数枚の２値画像をランダムに生成することもでき、ここで、２値画像の数量はポジティブサンプル画像の数量と等しくてもよく、ポジティブサンプル画像より多くてもよい。なお、本実施例では、各２値画像のサイズは各ポジティブサンプル画像のサイズと等しい。例示的に、もし各ポジティブサンプル画像のサイズが５１２*５１２であれば、ランダムに生成する各２値画像のサイズは５１２*５１２となり、このように設定する利点は、後続の画像補完モデルを生成することが容易になることである。

【0060】

さらに、各ポジティブサンプル画像および各２値画像に基づき、所定の機械学習モデルに対して教師なしトレーニングを行うことで、画像補完モデルを生成することができる。ここで、所定の機械学習モデルは符号化器／復号器（Ｅｎｃｏｄｅｒ-Ｄｅｃｏｄｅｒ）モデルでもよく、他の機械学習モデルでもよく、本実施例ではこれを限定するものではない。

【0061】

本実施例の好ましい実現形態において、各ポジティブサンプル画像および各２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、画像補完モデルを生成することは、１枚のポジティブサンプル画像および１枚の２値画像を選択し、これら画像の各画素点をそれぞれ乗算して１枚の欠陥画像を得ることと、欠陥画像と選択された２値画像との合併して１枚の４チャネルの目標画像を得ることと、目標画像を機械学習モデルに入力し、機械学習モデルに対してモデルトレーニングを行うことと、トレーニング終了条件を満たして画像補完モデルを得るまで、１枚のポジティブサンプル画像および１枚の２値画像を選択する動作に戻って実行することと、を含んでもよい。

【0062】

このように設定する利点は、画像補完モデルの精度を向上でき、後で検出待ち画像に対応する高精細な修復画像を生成するために根拠を提供することができる。

【0063】

本実施例の好ましい実現形態において、複数枚のポジティブサンプル画像からランダムに１枚のポジティブサンプル画像を選択し、ランダムに生成する複数枚の２値画像からランダムに１枚の２値画像を選択することができ、さらに、選択されたポジティブサンプル画像と選択された２値画像とを乗算、すなわち、選択されたポジティブサンプル画像と選択された２値画像の各画素点とを対応して乗算することで、１枚の欠陥画像を得ることができる。なお、２値画像の階調値はただ０又は１であり、ポジティブサンプル画像と２値画像とを乗算して得られる欠陥画像において、ポジティブサンプル画像のうち、および２値画像における階調値が１である画素点に対応する画素点のみ残ることを理解すべきである。

【0064】

さらに、生成した欠陥画像と選択された２値画像とを１つの４チャネルの目標画像に合併することができ、例示的に、欠陥画像における位置が（１２８，１２８）である画素点に対してＲＧＢの３チャネルがそれぞれ（１２８，２５１，９６）であると、選択された２値画像と合併して得られた目標画像において、位置が（１２８，１２８）である画素点の４チャネルは（１２８，２５１，９６，０）となる。

【0065】

さらに、生成した目標画像を機械学習モデルに入力することで、機械学習モデルに対してトレーニングを行うことができ、続けてトレーニング終了条件を満たして画像補完モデルを得るまで、１枚のポジティブサンプル画像および１枚の２値画像を選択する動作に戻って実行することができ、ここで、トレーニング終了条件は、損失関数の値が所定閾値より小さいこと、又は繰り返し回数が所定閾値に満たすことにしてもよく、本実施例ではこれを限定するものではない。

【0066】

本実施例の別の好ましい実現形態において、１枚のポジティブサンプル画像および１枚の２値画像を選択し、これら画像の各画素点をそれぞれ乗算して１枚の欠陥画像を得た後、目標画像を生成することなく、欠陥画像および選択された２値画像をそのまま機械学習モデルに入力し、機械学習モデルに対してトレーニングしてもよい。

【0067】

Ｓ３３０において、現在処理中の目標マスク画像群を取得し、検出待ち画像と目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得る。

【0068】

Ｓ３４０において、各修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、目標マスク画像群に対応する複数枚の修復画像を形成する。

【0069】

ここで、画像補完モデルはステップＳ３２０を通じて得られる。

【0070】

Ｓ３５０において、複数枚の修復画像を合併し、目標マスク画像群に対応する修復画像を得る。

【0071】

Ｓ３６０において、検出待ち画像および各修復画像に基づき、検出待ち画像に対して欠陥位置特定を行う。

【0072】

本実施例の技術案は、各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力する前に、複数枚の２値画像をランダムに生成することと、各ポジティブサンプル画像および各２値画像を使用して、所定の機械学習モデルに対して教師なしトレーニングを行い、画像補完モデルを生成し、欠陥画像に対してマーキングすることなく、ポジティブサンプル画像およびランダムに生成する２値画像を通じて画像補完モデルを生成すればよく、後で検出待ち画像における欠陥領域に対して位置特定を行うために根拠を提供するので、大幅な人件費を節約できた。

【0073】

図４は本開示の実施例に係るまた別の画像欠陥検出方法の概略図であり、本実施例は上述した技術案をさらに細分化したものであり、本実施例中的技術案は上述した１つ又は複数の実施例における各好ましい技術案と組み合わせることができる。図４に示すように、画像欠陥検出方法は以下のことを含む。

【0074】

Ｓ４１０において、検出待ち画像を取得する。

【0075】

Ｓ４２０において、検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得る。

【0076】

Ｓ４３０において、各修復画像のそれぞれを検出待ち画像と差異比較し、複数枚の差異ヒートマップを得る。

【0077】

本実施例の好ましい実現形態において、検出待ち画像に対し、各マスク画像群に対応する複数枚の修復画像が得られると、さらに、各修復画像を検出待ち画像と差異比較することで、複数枚の差異ヒートマップを得ることができる。

【0078】

例示的に、もし、検出待ち画像に対し、３つのマスク画像群のそれぞれに対応する３つの修復画像（修復画像Ａ、修復画像Ｂおよび修復画像Ｃ）が得られると、修復画像Ａを検出待ち画像と差異比較することで、差異ヒートマップＡを得、修復画像Ｂを検出待ち画像と差異比較することで、差異ヒートマップＢを得、修復画像Ｃを検出待ち画像と差異比較することで、差異ヒートマップＣを得ることができる。

【0079】

本実施例の好ましい実現形態において、各修復画像と検出待ち画像との勾配強度類似性偏差（ＧＭＳＤ：Ｇｒａｄｉｅｎｔ Ｍａｇｎｉｔｕｄｅ Ｓｉｍｉｌａｒｉｔｙ Ｄｅｖｉａｔｉｏｎ）をそれぞれ確定し、類似性偏差の確定結果に基づき、複数枚の差異ヒートマップを得ることができる。

【0080】

例示的に、修復画像Ａと検出待ち画像との勾配強度類似性偏差を確定することで、算出結果より差異ヒートマップＡを得ることができ、修復画像Ｂと検出待ち画像との勾配強度類似性偏差を確定することで、算出結果より差異ヒートマップＢを得ることができ、修復画像Ｃと検出待ち画像との勾配強度類似性偏差を確定することで、算出結果より差異ヒートマップＣを得ることもできる。

【0081】

このように設定する利点は、各修復画像と検出待ち画像との差異比較を速やかに実行することができ、後続の検出待ち画像における欠陥領域に対して位置特定を行うために根拠を提供することができる。

【0082】

なお、本実施例の別の好ましい実現形態において、別の差異計量アルゴリズム（例えば、Ｌ１差異計量アルゴリズム）によって各修復画像と検出待ち画像との差異を確定することで、複数枚の差異ヒートマップを得ることもできる。

【0083】

Ｓ４４０において、各差異ヒートマップにおける各ヒートポイントのうちの最大値を選択し、目標ヒートマップを構築する。

【0084】

本実施例の好ましい実現形態において、複数枚の差異ヒートマップが得られると、さらに、各差異ヒートマップにおける各ヒートポイントの最大値を選択し、目標ヒートマップを構築することができる。

【0085】

例示的に、もし、ステップＳ４３０を通じて３枚の差異ヒートマップが得られると、この３枚の差異ヒートマップのうちの各ヒートポイントの最大値を順次に確定することができ、例えば、３枚の差異ヒートマップのうちの第１ヒートポイントに対して、３枚の差異ヒートマップのうちの第１ヒートポイントの最大値を確定し、確定した最大値を目標ヒートマップのうちの第１ヒートポイントのヒート値とすることができる。

【0086】

Ｓ４５０において、目標ヒートマップに対して２値化分割を行い、検出待ち画像における欠陥領域を得る。

【0087】

本実施例の好ましい実現形態において、構築して目標ヒートマップが得られると、さらに、目標ヒートマップに対して２値化分割を行うことで、検出待ち画像における欠陥領域を得ることができる。

【0088】

本実施例の技術案は、異なるマスク画像群に基づき、検出待ち画像に対応する複数枚の修復画像が得られると、各修復画像のそれぞれを検出待ち画像と差異比較し、複数枚の差異ヒートマップを得ることと、各差異ヒートマップにおける各ヒートポイントのうちの最大値を選択し、目標ヒートマップを構築することと、目標ヒートマップに対して２値化分割を行い、検出待ち画像における欠陥領域を得ることにより、検出待ち画像における欠陥領域に対して正確に位置特定を行うことができる。

【0089】

本開示に係る画像欠陥検出方法を当業者がよく理解できるように、図５は本開示の実施例に係る画像欠陥検出方法のフロー図である。図５に示すように、当該方法は主に以下のステップを含む。

【0090】

Ｓ５１０において、生産ラインより複数枚の良品画像を収集し、良品画像データベースを構築する。

【0091】

ここで、良品画像は本開示実施例中に係るポジティブサンプル画像となる。

【0092】

Ｓ５２０において、複数枚の２値画像をランダムに生成し、マスク（ｍａｓｋ）ベースを構築する。

【0093】

Ｓ５３０において、良品画像データベースおよびマスクベースを使用してトレーニングし、画像補完モデルを得る。

【0094】

ここで、トレーニングして得られた画像補完モデルは、マスク画像における未知領域に対して自動的に画像補完を行うことができる。なお、本実施例では、トレーニング画像のデータセットはいずれも良品画像であることから、画像補完モデルで補完済みの結果画像もすべて良品画像となる。

【0095】

図６は本開示の実施例に係る画像補完モデルのネットワーク構造の概略図である。図６に示すように、画像補完モデルのネットワーク構造は、Ｅｎｃｏｄｅｒ-Ｄｅｃｏｄｅｒネットワーク６１０、および判別機６２０を備え、ここで、Ｅｎｃｏｄｅｒ-Ｄｅｃｏｄｅｒネットワーク６１０は画像の再構築に用いられ、判別機６２０は再構築された結果画像の精細度を向上するために用いられる。

【0096】

好ましくは、トレーニング過程で、良品画像データベースから１枚の良品画像をランダムに選択し、マスクベースから１枚のマスク画像をランダム選択してから、これら画像を乗算して１枚のマスク欠陥画像を得ることができ、さらに、得られた欠陥画像と選択されたマスク画像を１つの４チャネルの目標画像に合成してネットワークモデルとして入力し、ここで、本実施例において、良品画像をモデルの真値（ｇｒｏｕｎｄ ｔｒｕｔｈ）としてもよい。

【0097】

Ｓ５４０において、検出待ち画像に対して、複数組の相補的なマスク画像を生成し、さらに画像補完モデルを通じて各組のマスク画像に対して複数組の欠陥修復済みの良品画像を生成し、欠陥修復済みの良品画像および検出待ち画像に基づき、検出待ち画像における欠陥領域に対して位置特定を行う。

【0098】

図７は本開示の実施例に係る検出待ち画像に対して欠陥位置特定を行うアーキテクチャ図であり、図７に示すように、７１０は検出待ち画像であり、７２０はランダムに生成する３つのマスク画像群であって、各マスク画像群に相補的な関係を有する４枚の２値画像が含まれ、且つ各マスク画像群における２値画像は異なる画像スケールを有し、７３０は各マスク画像群における複数枚のマスク画像と検出待ち画像を上述したトレーニングした画像補完モデルに入力し予測を行うことで得られた複数枚の補完結果画像である。

【0099】

さらに、各組の再構築された修復画像と原始テスト画像とを比較して、これら画像の差異を評価することができ、例えば、これら画像の勾配強度類似性偏差を算出して複数枚の異常なヒートマップを得（図７に示していない）、複数枚の異常なヒートマップの各位置に対して最大値を算出し、最終的に、異常なヒートマップ７４０を得、異常なヒートマップ７４０に対して２値化を行い、そして分割して欠陥領域を得ることができる。

【0100】

従来の品質検査システムでは、用途に従い主に３つの欠陥発見方法がある。第１の方法は、方法の全部が人による品質検査方法であり、すなわち、業界の専門家が目視で生産環境内の写真を観察してから下した判断に依存するものであり、第２の方法は、マシン支援と人による品質検査方法であり、主に特定の判断力のある品質検査システムにより無欠陥な写真をフィルタ・アウトしてから、業界の専門家により疑似欠陥の写真に対して検出し判断する。ここで、第２の方法は、ほとんどがエキスパートシステム（Ｅｘｐｅｒｔ Ｓｙｓｔｅｍ）と素性設計（Ｆｅａｔｕｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ）システムから発展してきたものであり、品質検査システムには専門家の経験が組み込まれ、ある程度の自動化機能を有している。第３の方法は、深層学習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）に基づいた欠陥発見技術であり、すなわち、大量の欠陥データの収集、マーキング、モデルトレーニング、予測などによって欠陥検出を行う技術であり、あるシナリオにおいて、検出効率を効果的に向上させ、検出品質を保証できる。

【0101】

上述した第１の方法では、人による品質検査の場合、業務上の専門家が生産現場で検査を行う必要があり、欠陥発見後、手動で記録してから後続の処理を行う必要がある。このような方法は効率が低く、見落としや誤判断しやすく、データの二次利用のためのマイニングが難しいだけではなく、工業生産環境は比較的ひどい場合が多く、人の健康と安全に悪影響を及ぼす恐れがある。上述した第２の方法では、素性設計と判定の規則は両方ともマシンに組み込んだ経験に依存するものであり、業務の発展に伴って繰り返すことが困難であるため、生産工程の発展に伴って、システムの検出精度が低くなり、はては使用もできない状態まで低下する。上述した第３の方法は、現在、工業製造のインテリジェントアップグレードの主な方法であり、当該方法は大量の欠陥データの収集、データマーキング、モデルトレーニング、予測などのプロセスによって実行され、モデル効果はほとんどが欠陥データのオーダ（Ｏｒｄｅｒ）マーキング作業員がマーキングした品質に依存する。さらに、新しい形態の未知の欠陥が際限なく出現しており、プロジェクト開始時に欠陥データの收集が困難であるため、モデル効果がすぐにボトルネックに達する場合が多い。深層学習（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）は大量の欠陥データが必要であるが、実際の生産ラインに十分な欠陥例がない可能性があり、人によりマーキングした欠陥データは、人の目視検査又は半自動式光学機器の支援により品質検査を行うが、高強度のマーキングリズムは品質検査員の疲労をきたし、誤判断を招きやすく、異なる品質検査員の判別標準が完全に一致することはあり得ないため、マーキングのコストが高く、マーキングの品質を保証することが困難である。

【0102】

本開示は、画像収集デバイスで生産ラインから収集した製品の正常例画像によってモデリングして製品の表面品質に対して検出し判断することができ、もし現在画像収集デバイスを通過している製品に品質問題が存在すると、画素レベルで欠陥位置に対して位置特定を行う。本開示は、任意シナリオの画像に対する欠陥検出シナリオに適用し、従来の欠陥検出方法における、人力で多量の操作を完了する必要があり、従業員の主観的要因のため、検出精度が低いという課題を解決し、画像中の欠陥に対して画素レベルの位置特定を実現でき、検出精度が比較的高く、大幅な人件費を節約できた。

【0103】

図８は、本開示の実施例に係る画像欠陥検出装置の構造概略図であり、当該装置は可以実行本開示のいずれかの実施例に係る画像欠陥検出方法を実行可能であり、図８を参照すると、画像欠陥検出装置８００は、
検出待ち画像を取得するための検出待ち画像取得モジュール８１０と、
前記検出待ち画像、少なくとも１つのマスク画像群および複数枚の無欠陥なポジティブサンプル画像に基づき、検出待ち画像に対応する修復画像を得るための修復画像生成モジュール８２０と、
前記検出待ち画像および各前記修復画像に基づき、前記検出待ち画像に対して欠陥位置特定を行うための欠陥位置特定モジュール８３０と、を含む。
ここで、各前記マスク画像群に少なくとも２枚の相補的な関係を有する２値画像が含まれ、異なるマスク画像群は、異なる画像スケールを有する。

【0104】

本実施例の技術案による画像欠陥検出装置は、検出待ち画像取得モジュールによって検出待ち画像を取得することと、修復画像生成モジュールによって検出待ち画像に対応する修復画像を得ることと、欠陥位置特定モジュールによって前記検出待ち画像に対して欠陥位置特定を行うこととにより、従来の欠陥検出方法における、人力で多量の操作を完了する必要があり、従業員の主観的要因のため、検出精度が低いという課題を解決し、画像中の欠陥に対して画素レベルの位置特定を実現でき、検出精度が比較的向上し、大幅な人件費を節約できた。

【0105】

本実施例の好ましい実現形態において、前記修復画像生成モジュール８２０は、
現在処理中の目標マスク画像群を取得し、前記検出待ち画像と前記目標マスク画像群における各２値画像のそれぞれとを組み合わせ、複数の修復データペアを得るための修復データペア生成サブモジュールと、
各前記修復データペアのそれぞれを事前トレーニングした画像補完モデルに入力し、前記目標マスク画像群に対応する複数枚の修復画像を形成するための複数枚の修復画像生成サブモジュールと、
複数枚の前記修復画像を合併して、前記目標マスク画像群に対応する修復画像を得るための修復画像生成サブモジュールと、を含む。
ここで、前記画像補完モデルは、複数枚の前記ポジティブサンプル画像をトレーニングすることによって得られる。

【0106】

本実施例の好ましい実現形態において、前記修復画像生成サブモジュールは、具体的に、
各前記修復画像と、対応する目標マスク画像群における２値画像とを乗算し、各参考画像を得ることと、
各前記参考画像を加算して前記目標マスク画像群に対応する修復画像を得ることと、に用いられる。

【0107】

本実施例の好ましい実現形態において、前記修復画像生成モジュール８２０は、
複数枚の２値画像をランダムに生成することと、
各前記ポジティブサンプル画像および各前記２値画像を使用して所定の機械学習モデルに対して教師なしトレーニングを行い、前記画像補完モデルを生成することと、に用いられる画像補完モデル生成サブモジュールをさらに備える。

【0108】

本実施例の好ましい実現形態において、前記画像補完モデル生成サブモジュールは、具体的に、
１枚のポジティブサンプル画像および１枚の２値画像を選択し、これら画像の各画素点を対応して乗算し、１枚の欠陥画像を得ることと、
前記欠陥画像と選択された２値画像とを合併し、１枚の４チャネルの目標画像を得ることと、
前記目標画像を前記機械学習モデルに入力し、前記機械学習モデルに対してモデルトレーニングを行うことと、
トレーニング終了条件を満たして前記画像補完モデルを得るまで、１枚のポジティブサンプル画像および１枚の２値画像を選択する動作に戻って実行することと、に用いられる。

【0109】

本実施例の好ましい実現形態において、前記欠陥位置特定モジュール８３０は、
各前記修復画像のそれぞれを前記検出待ち画像と差異比較し、複数枚の差異ヒートマップを得るための複数枚の差異ヒートマップ生成サブモジュールと、
各前記差異ヒートマップにおける各ヒートポイントのうちの最大値を選び、目標ヒートマップを構築するための目標ヒートマップ構築モジュールと、
前記目標ヒートマップに対して２値化分割を行い、前記検出待ち画像における欠陥領域を得るための欠陥領域確定サブモジュールと、を備える。

【0110】

本実施例の好ましい実現形態において、前記複数枚の差異ヒートマップ生成サブモジュールは、具体的に、
各前記修復画像と前記検出待ち画像との勾配強度類似性偏差をそれぞれ確定し、類似性偏差の確定結果に基づき、複数枚の差異ヒートマップを得ることに用いられる。

【0111】

上述した画像欠陥検出装置は、本開示のいずれかの実施例に提供される画像欠陥検出方法を実行可能であり、方法を実行するためのそれぞれの機能モジュールと有利な効果を有している。技術詳細については、本実施例では詳しく説明しておらず、本開示のいずれかの実施例に提供される画像欠陥検出方法を参照すればよい。

【0112】

本開示の実施例によれば、本開示は、電子機器、コンピュータ可読記憶媒体、コンピュータプログラムをさらに提供する。

【0113】

図９は、本開示の実施例を実施するための例示的電子機器９００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータおよびその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及びその他の類似的なコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書に記載の構成要素、それらの接続及び関係、ならびにそれらの機能は、単に例示的なものであり、本明細書に記載及び／又は要求される本開示の実現を制限することを意図するものではない。

【0114】

図９に示すように、機器９００は、コンピューティングユニット９０１を含み、それは読取専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）９０２に記憶されるコンピュータプログラム又は記憶ユニット９０８からランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）９０３にアップロードされるコンピュータプログラムに基づき、様々な適切な動作及び処理を行うことができる。ＲＡＭ ９０３には、機器９００の動作に必要な様々なプログラムおよびデータが記憶されてもよい。コンピューティングユニット９０１、ＲＯＭ ９０２およびＲＡＭ ９０３は、バス９０４を通じて互いに接続する。入力／出力（Ｉ／Ｏ）インターフェース９０５もバス９０４に接続する。

【0115】

機器９００内の複数の構成要素は、Ｉ／Ｏインターフェース９０５に接続され、例えば、キーボード、マウスなどの入力ユニット９０６と、例えば、様々なタイプのディスプレイ、スピーカなどの出力ユニット９０７と、例えば、磁気ディスク、光ディスクなどの記憶ユニット９０９と、および、例えば、ネットワークカード、モデム、無線通信送受信機などの通信ユニット９０９と、を含む。通信ユニット９０９は、機器９００がインターネットなどのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して別の機器と情報およびデータを交換することを可能にする。

【0116】

コンピューティングユニット９０１は様々な処理およびコンピューティング機能を有する汎用及び／又は特定用途向け処理コンポーネントであってもよい。コンピューティングユニット９０１のいくつかの例には、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）、グラフィックスプロセッサ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＧＰＵ）、様々な特定用途向けの人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）コンピューティングチップ、機械学習モデルアルゴリズムを実行する様々なコンピューティングユニット、デジタル信号処理（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、および任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されない。コンピューティングユニット９０１は、上述した様々な方法および処理、例えば、画像欠陥の検出を行う。例えば、いくつかの実施例において、画像欠陥の検出は、例えば、記憶ユニット９０９などの機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムによって実現可能である。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ ９０２及び／又は通信ユニット９０９を介して機器９００にアップロード及び／又はインストールされ得る。コンピュータプログラムがＲＡＭ ９０３にアップロードし、コンピューティングユニット９０１によって実行される場合、上述した画像欠陥の検出の１つ又は複数のステップを実行可能である。代替的に、別の実施例において、コンピューティングユニット９０１は、他の任意の適切な方法で（例えば、ファームウェアによって）画像欠陥の検出を行うように構成される。

【0117】

本明細書に記載の上記システムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、特定用途向け標準製品（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｓｔａｎｄａｒｄ Ｐｒｏｄｕｃｔ、ＡＳＳＰ）、組み込みシステムオンチップ（Ｓｙｓｔｅｍ－Ｏｎ－ａ－Ｃｈｉｐ、ＳＯＣ）、複雑なプログラマブル・ロジック・デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ、ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせによって実現可能である。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈可能であり、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサでもよく、記憶システム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび命令を受信し、データおよび命令を当該記憶システム、当該少なくとも１つの入力装置、および当該少なくとも１つの出力装置に伝送することができる。

【0118】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせでプログラミングできる。これらのプログラムコードは、汎用コンピュータ、特定用途向けコンピュータ又はその他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されることで、プログラムコードがプロセッサ又はコントローラによって実行される場合、フロー図及び／又はブロック図に規定される機能／動作が実施される。プログラムコードは、全部マシンで実施されてもよく、一部がマシンで実施されてもよく、独立したパッケージソフトウェアとして部分的にマシンで実行および部分的にリモートマシンで実行、又は、全部リモートマシン又はサーバで実行されてもよい。

【0119】

本開示の文脈において、機械可読媒体は、命令実行システム、装置又は機器に使用され、又は、命令実行システム、装置又は機器と組み合わせて使用されるプログラムが含まれまたは記憶される有形媒体でもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体でもよい。機械可読媒体は、電子、磁気、光学、電磁気、赤外線、又は半導体システム、装置又は機器、又は上述した内容の任意の適切な組み合わせを含んでもよいが、これに限定されない。機械可読記憶媒体のより具体的な例には、１つ又は複数のケーブルに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能プログラマブル読取専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクによる読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上述した内容の任意の適切な組み合わせが含まれる。

【0120】

本明細書に記載のシステム及び技術は、ユーザとの相互作用を提供するために、ユーザに情報を表示するための表示装置、例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ、ＣＲＴ）又は液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ、ＬＣＤ）モニタと、キーボードおよびポインティングデバイス、例えば、マウス又はトラックボールと、を有するコンピュータで実施されてもよく、ユーザは、当該キーボード及び当該ポインティングデバイスを介してコンピュータに入力を提供してもよい。ユーザとの相互作用を提供するために、その他のタイプの装置を使用してもよく、例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックの任意の形態の感覚フィードバックであってもよく、音声入力又は触覚入力を含む任意の形態で接收来自ユーザからの入力を受信してもよい。

【0121】

本明細書に記載のシステムおよび技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとして）、又は、ミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又は、フロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィックスユーザインターフェース又はネットワークブラウザを有するユーザコンピュータ、ユーザは当該グラフィックスユーザインターフェース又は当該ネットワークブラウザを介して本明細書に記載のシステムおよび技術の実施形態と相互作用してもよい）、又は、これらのバックエンド構成要素、ミドルウェア構成要素、又はフロントエンド構成要素の任意の組み合わせを含むコンピューティングシステムで実施されてもよい。システムの構成要素は、任意の形態又は媒体によるデジタルデータ通信（例えば、通信ネットワーク）によって相互接続されてもよい。通信ネットワークの例には、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、ＷＡＮ）、ブロックチェーンネットワーク（Ｂｌｏｃｋｃｈａｉｎ Ｎｅｔｗｏｒｋ）およびインターネットが含まれる。

【0122】

コンピュータシステムは、クライアントおよびサーバを含んでもよい。クライアントとサーバは通常、互いに遠く離れており、通常として通信ネットワークを介して相互作用を行う。それぞれのコンピュータで運転され、互いにクライアント‐サーバ関係を有するコンピュータプログラムによってクライアントとサーバの関係を生成する。サーバは、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれるクラウドサーバでもよく、これはクラウドコンピューティングサービスシステムにおける１つのホスト製品として、従来の物理ホストとＶＰＳサービスに存在する、管理の難易度が高く、業務の拡張性が弱いという欠点を解決した。

【0123】

なお、上記の様々な形態のプロセスを使用して、ステップを並べ替え、追加又は削除できる。例えば、本開示の開示に記載の各ステップは、並行的に実行してもよく、順次的に実行してもよく、異なる順序で実行してもよく、本開示に開示の技術案で要望される結果が達成できる限り、本明細書において、これらに限定されるものではないことを理解すべきである。

【0124】

本開示は、上述した特定の実施形態によって保護範囲が限定されるものではない。当業者なら、設計要件およびその他の要因に従って様々な修正、組み合わせ、下位組み合わせ及び代替を実行できることを認識すべきである。

【0125】

本開示の精神と原則の範囲内で行われるいわゆる修正、同等置換および改良等はすべて本開示の保護範囲に含まれるものである。

【符号の説明】

【0126】

６１０ Ｅｎｃｏｄｅｒ-Ｄｅｃｏｄｅｒネットワーク
６２０ 判別機
７１０ 検出待ち画像
７２０ マスク画像群
７３０ 補完結果画像
７４０ 異常なヒートマップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【外国語明細書】