特表 2024-541329 実際の欠陥イメージの種類と分布を考慮した人工知能ベースの材料欠陥検出システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-08

(54)【発明の名称】実際の欠陥イメージの種類と分布を考慮した人工知能ベースの材料欠陥検出システム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241031BHJP

【ＦＩ】

G06T7/00 610Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024527457

(86)(22)【出願日】2021-11-16

(85)【翻訳文提出日】2024-05-09

(86)【国際出願番号】 KR2021016761

(87)【国際公開番号】W WO2023085479

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】10-2021-0156579

(32)【優先日】2021-11-15

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

(71)【出願人】

【識別番号】521550998

【氏名又は名称】ライトビジョン インク．

(74)【代理人】

【識別番号】110000051

【氏名又は名称】弁理士法人共生国際特許事務所

(72)【発明者】

【氏名】ジョン，ジン ハ

(72)【発明者】

【氏名】ラ，ムン ス

(72)【発明者】

【氏名】イ，ヘ ヨン

(72)【発明者】

【氏名】イ，ヒョン ジ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA03

5L096DA02

5L096FA64

5L096FA69

5L096HA09

5L096HA11

5L096JA11

5L096JA18

5L096KA04

5L096KA15

(57)【要約】

移動体の追跡が可能な多重センサハンドオーバシステム及びこれにおける駐車サービス提供方法が開示される。ハンドオーバシステムに使用されるコンピューティング装置は、第１のハンドオーバ領域を監視する第１のセンサと第２のハンドオーバ領域を監視する第２のセンサとの通信連結通路である通信部と、第１のセンサから第１のイメージを獲得し、第２のセンサから第２のイメージを獲得し、獲得された第１のイメージを介して第１のハンドオーバ領域からの移動体の退場を検出し、獲得された第２のイメージを介して第２のハンドオーバ領域への移動体の入場を検出し、検出された移動体の退場と検出された移動体の入場を通じて第２のハンドオーバ領域へ入場された移動体が第１のハンドオーバ領域から退場した移動体と同一の移動体であるか否かを判断するハンドオーバ部を含む。ここで、前記第２のハンドオーバ領域は、前記第１のハンドオーバ領域とマッチングされる領域である。
【選択図】図１

【特許請求の範囲】

【請求項1】

欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成する学習データ生成部と、
前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させる学習部と、
前記学習されたモデルを利用して入力映像の欠陥の有無を検出する欠陥検出部と、を含み、
前記学習データ生成部は、前記欠陥映像の種類または分布を分析して欠陥形態または背景形態を検出し、前記検出された欠陥形態または背景形態に応じて前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を異なるように生成することを特徴とする欠陥検出システム。

【請求項2】

前記学習データ生成部は、前記欠陥映像においてＨａａｒ－ｌｉｋｅ特徴またはＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔのようなｈａｎｄ－ｃｒａｆｔｅｄ特徴を抽出した後、群集分類（ｃｌｕｓｔｅｒｉｎｇ）を活用して前記欠陥形態または前記背景形態を検出することを特徴とする請求項１に記載の欠陥検出システム。

【請求項3】

前記学習データ生成部は、
前記欠陥映像の種類及び分布を分析して前記欠陥形態または前記背景形態を検出する映像種類及び分布分析部と、
前記検出された欠陥形態または前記検出された背景形態に応じて前記仮想良品映像を生成する良品映像生成部と、
前記検出された欠陥形態または前記検出された背景形態に応じて前記仮想欠陥映像を生成する欠陥映像生成部と、を含むことを特徴とする請求項１に記載の欠陥検出システム。

【請求項4】

ユーザーが前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を指定した場合、前記映像種類及び分布分析部によって人工知能により決定された種類、数または解像度に関係なく前記指定された種類、数または解像度の仮想良品映像または仮想欠陥映像を生成するように前記良品映像生成部または前記欠陥映像生成部を動作させることを特徴とする請求項３に記載の欠陥検出システム。

【請求項5】

前記良品映像生成部は、前記欠陥映像において欠陥領域を除去した後、該当の領域を適切な背景で埋めて前記仮想良品映像を生成することを特徴とする請求項３に記載の欠陥検出システム。

【請求項6】

前記欠陥映像生成部は、前記欠陥映像において欠陥領域を変形して多数の前記仮想欠陥映像を生成するか、または前記欠陥映像の解像度を基準解像度に変換して多数の前記仮想欠陥映像を生成し、
前記仮想欠陥映像の欠陥の位置、大きさまたは形態のうち少なくとも一つは、前記欠陥映像の欠陥の位置、大きさまたは形態と異なることを特徴とする請求項３に記載の欠陥検出システム。

【請求項7】

前記欠陥検出部は、前記モデルを利用して前記入力映像において欠陥が除去された比較映像を生成し、前記生成された比較映像と前記入力映像を比較して欠陥を検出することを特徴とする請求項１に記載の欠陥検出システム。

【請求項8】

欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成する学習データ生成部と、
前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させる学習部と、
前記学習されたモデルを利用して入力映像の欠陥の有無を検出する欠陥検出部と、を含み、
前記学習データ生成部は、前記欠陥映像の種類または分布を人工知能により分析して生成される前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を決定するが、ユーザーの要請時には生成された前記仮想良品映像または前記仮想欠陥映像の種類、数、解像度を異なるように決定することを特徴とする欠陥検出方法。

【請求項9】

前記学習データ生成部は、前記欠陥映像の種類または分布を分析して欠陥形態または背景形態を検出し、前記検出された欠陥形態または背景形態に応じて前記仮想良品映像または前記仮想欠陥映像の種類、数、または解像度を異なるように生成することを特徴とする請求項８に記載の欠陥検出方法。

【請求項10】

良品映像生成部は、前記欠陥映像において欠陥領域を除去した後、該当の領域を適切な背景で埋めて前記仮想良品映像を生成することを特徴とする請求項８に記載の欠陥検出方法。

【請求項11】

欠陥映像生成部は、前記欠陥映像において欠陥領域を変形して多数の前記仮想欠陥映像を生成するか、または前記欠陥映像の解像度を基準解像度に変換して多数の前記仮想欠陥映像を生成し、
前記仮想欠陥映像の欠陥の位置、大きさまたは形態のうち少なくとも一つは、前記欠陥映像の欠陥の位置、大きさまたは形態と異なることを特徴とする請求項８に記載の欠陥検出方法。

【請求項12】

欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成するステップと、
前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させるステップと、
前記学習されたモデルを利用して入力映像の欠陥の有無を検出するステップと、を含み、
前記欠陥映像の種類または分布を分析して欠陥形態または背景形態を検出し、前記検出された欠陥形態または背景形態に応じて前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を異なるように生成することを特徴とする欠陥検出方法。

【請求項13】

学習データ生成部は、前記欠陥映像においてＨａａｒ－ｌｉｋｅ特徴またはＨｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔのようなｈａｎｄ－ｃｒａｆｔｅｄ特徴を抽出した後、群集分類（ｃｌｕｓｔｅｒｉｎｇ）を活用して前記欠陥形態または前記背景形態を検出することを特徴とする請求項１２に記載の欠陥検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、実際の欠陥イメージの種類と分布を考慮した人工知能ベースの材料欠陥検出システム及び方法に関する。

【背景技術】

【0002】

最近、人工知能技術の発展に伴い、自動欠陥検出分野においても人工知能が適用される事例が急増している。例えば、Ｓ． Ｍａｒｉｎｏ， Ａ． Ｓｍｏｌａｒｚ， ａｎｄ Ｐ． Ｂｅａｕｓｅｒｏｙ， “Ｐｏｔａｔｏ ｄｅｆｅｃｔｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ ｌｏｃａｌｉｚａｔｉｏｎ ｗｉｔｈ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ，” ｉｎ Ｆｏｕｒｔｅｅｎｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｑｕａｌｉｔｙ Ｃｏｎｔｒｏｌ ｂｙ Ａｒｔｉｆｉｃｉａｌ Ｖｉｓｉｏｎ， ｖｏｌ． １１４７２、２０１９、ｐｐ． １１０－１１７． と Ｈ． Ｌｉｎ， Ｂ． Ｌｉ， Ｘ． Ｗａｎｇ， Ｙ． Ｓｈｕ， ａｎｄ Ｓ． Ｎｉｕ， “Ａｕｔｏｍａｔｅｄ ｄｅｆｅｃｔ ｉｎｓｐｅｃｔｉｏｎ ｏｆ ＬＥＤ ｃｈｉｐ ｕｓｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，” Ｊｏｕｒｎａｌ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｍａｎｕｆａｃｔｕｒｉｎｇ， ｖｏｌ． ３０、ｐｐ． ２５２５－２５３４、２０１９．には、それぞれジャガイモとＬＥＤ基板の欠陥を自動的に検出するために、Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ（ＣＡＭ）と呼ばれるディープラーニング技法が使用されている。ＣＡＭは、分類器で学習された人工ニューラルネットワークが入力映像のどの領域を観察して分類結果を導出したのかを可視化する技法である。前記の例示においては、良品／欠陥を分類する人工ニューラルネットワークを学習し、ＣＡＭを欠陥の位置を把握するツールとして使用している。

【0003】

従来の自動欠陥検出のための人工ニューラルネットワークを学習するためには、多数の良品／欠陥映像が必要であるが、欠陥の特性上欠陥映像を獲得することが難しく（例えば、半導体の場合はｐｐｍ単位で欠陥発生）、相対的に獲得が容易な良品映像とのデータ不均衡の問題も発生する。また、良品／欠陥に関する情報は企業秘密であるため、公開が難しく、データセットを構築する難易度が高い問題点がある。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、人工知能ベースの材料欠陥イメージ生成方法及び欠陥検出システムを提供する。

【0005】

また、本発明は、少数の欠陥映像から多数の仮想良品及び欠陥映像を生成して訓練データセットを構築できる人工知能ベースの材料欠陥イメージ生成方法及び欠陥検出システムを提供する。

【0006】

また、本発明は、仮想の訓練データセットを撮影して欠陥映像が入力された場合、欠陥映像と正確に対応する良品映像を生成して人工ニューラルネットワーク学習が可能な人工知能ベースの材料欠陥イメージ生成方法及び欠陥検出システムを提供する。

【0007】

さらに、本発明の欠陥検出システムは、実際の欠陥イメージの種類と分布を考慮して生成される仮想欠陥イメージ／仮想良品イメージができるだけ多様な種類と均一な分布を有するようにする。前記仮想欠陥／良品イメージを活用して学習されたモデルは、欠陥イメージの種類に応じたデータ不均衡の問題が解消され、実際の使用において遭遇可能な様々な状況で均一な性能を発揮する。

【課題を解決するための手段】

【0008】

前述した目的を達成するために、本発明の一実施形態に係る欠陥検出システムは、欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成する学習データ生成部と、前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させる学習部と、前記学習されたモデルを利用して入力映像の欠陥の有無を検出する欠陥検出部と、を含む。ここで、前記学習データ生成部は、前記欠陥映像の種類または分布を分析して欠陥形態または背景形態を検出し、前記検出された欠陥形態または背景形態に応じて前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を異なるように生成する。

【0009】

本発明の他の実施形態に係る欠陥検出システムは、欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成する学習データ生成部と、前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させる学習部と、前記学習されたモデルを利用して入力映像の欠陥の有無を検出する欠陥検出部と、を含む。ここで、前記学習データ生成部は、前記欠陥映像の種類または分布を人工知能により分析して生成される前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を決定するが、ユーザーの要請時には生成された前記仮想良品映像または前記仮想欠陥映像の種類、数、解像度を異なるように決定する。

【0010】

本発明の一実施形態に係る欠陥検出方法は、欠陥映像を利用して多数の仮想良品映像または多数の仮想欠陥映像を生成するステップと、前記生成された仮想良品映像または前記生成された仮想欠陥映像を利用して欠陥検出のためのモデルを学習させるステップと、前記学習されたモデルを利用して入力映像の欠陥の有無を検出するステップと、を含む。ここで、前記欠陥映像の種類または分布を分析して欠陥形態または背景形態を検出し、前記検出された欠陥形態または背景形態に応じて前記仮想良品映像または前記仮想欠陥映像の種類、数または解像度を異なるように生成する。

【発明の効果】

【0011】

本発明の一実施形態に係る実際の欠陥イメージの種類と分布を考慮した人工知能ベースの材料欠陥検出システム及び方法を提供することにより、入力された欠陥映像と正確に対応する良品映像を生成して予測できなかった欠陥領域も効果的に検出できる。

【0012】

また、本発明は、注釈情報なしで学習を遂行できる非指導学習に属するため、注釈情報を生成する過程において発生する労働力を減らすことができる利点がある。

【0013】

さらに、本発明は、少数の欠陥映像から多数の仮想良品／欠陥映像を生成するため、データ不均衡及びデータの数の不足により発生する問題を減らすことができる利点もある。

【0014】

さらに、本発明は、実際の欠陥イメージの種類と分布を考慮して仮想欠陥イメージ／仮想良品イメージができるだけ多様な種類と均一な分布を有するように仮想イメージを生成するので、該当の仮想イメージで学習されたモデルは実際の使用において遭遇可能な様々な状況で均一な性能を発揮できる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る欠陥検出システムを概略的に図示したブロック図である。

【図2】欠陥映像の種類と分布の一例を図示した図面である。

【図3】本発明の一実施形態に係る欠陥映像を利用した仮想良品映像生成過程を図示した図面である。

【図4】本発明の一実施形態に係る良品映像を利用した仮想良品映像生成過程を図示した図面である。

【図5】本発明の一実施形態に係る欠陥映像を利用した仮想欠陥映像生成過程を図示した図面である。

【図6】無作為に生成された仮想の低解像度欠陥映像を高解像度欠陥映像に変換する過程を図示した図面である。

【図7】本発明の一実施形態に係る欠陥領域検出過程を図示した図面である。

【図8】本発明の他の実施形態に係る原本欠陥映像において欠陥の種類と位置が変形されて生成された欠陥映像を図示した図面である。

【図9】本発明の一実施形態に係るモデルの学習過程を示したフローチャートである。

【図10】本発明の一実施形態に係る欠陥検出方法を示したフローチャートである。

【発明を実施するための形態】

【0016】

本明細書において使用される単数の表現は、文脈上明らかに異なるように意味しない限り、複数の表現を含む。本明細書において、「構成される」または「含む」などの用語は、明細書上に記載された複数の構成要素、または複数のステップを必ずしもすべて含むものと解釈されてはならず、その中の一部構成要素または一部ステップは含まれないこともでき、または追加的な構成要素またはステップをさらに含むと解釈されるべきである。また、明細書に記載された「．．．部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これはハードウェアまたはソフトウェアで具現されるか、またはハードウェアとソフトウェアの結合で具現される。

【0017】

以下では、添付の図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明の一実施形態に係る欠陥検出システムを概略的に図示したブロック図であり、図２は、欠陥映像の種類と分布の一例を図示した図面であり、図３は、本発明の一実施形態に係る欠陥映像を利用した仮想良品映像生成過程を図示した図面である。図４は、本発明の一実施形態に係る良品映像を利用した仮想良品映像生成過程を図示した図面であり、図５は、本発明の一実施形態に係る欠陥映像を利用した仮想欠陥映像生成過程を図示した図面であり、図６は、無作為に生成された仮想の低解像度欠陥映像を高解像度欠陥映像に変換する過程を図示した図面である。図７は、本発明の一実施形態に係る欠陥領域検出過程を図示した図面であり、図８は、本発明の他の実施形態に係る原本欠陥映像において欠陥の種類と位置が変形されて生成された欠陥映像を図示した図面である。

【0018】

図１を参照すると、本発明の一実施形態に係る欠陥検出システム１００は、学習データ生成部１１０、学習部１１５、映像生成モデル１２０、欠陥検出部１２５、メモリ１３０及びプロセッサ１３５を含む。

【0019】

学習データ生成部１１０は、保有した少数の欠陥映像の種類と分布を分析し、前記分析結果に基づいて多数の仮想欠陥映像または多数の仮想良品映像を生成する。

【0020】

学習データ生成部１１０は、映像種類及び分布分析部１１２、良品映像生成部１１４及び欠陥映像生成部１１６を含む。

【0021】

映像種類及び分布分析部１１２は、入力された欠陥映像の種類と分布を分析して必要な仮想欠陥映像のまたは仮想良品映像の種類、数、解像度などを決定する。

【0022】

例えば、図２に図示されたように、入力映像として欠陥映像が入力されたと仮定する。映像種類及び分布分析部１１２は、入力された欠陥映像において欠陥の形態と背景の形態をそれぞれ区分して、二種類の欠陥と三種類の背景が存在すると分析する。欠陥の形態と背景の形態を分析する時、映像種類及び分布分析部１１２は、前記入力映像においてＨａａｒ－ｌｉｋｅ特徴、Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔのようなｈａｎｄ－ｃｒａｆｔｅｄ特徴を抽出した後、群集分類（ｃｌｕｓｔｅｒｉｎｇ）を活用する。欠陥の形態と背景の形態を分析するアルゴリズムは、ｈａｎｄ－ｃｒａｆｔｅｄ特徴と群集分類を活用する方法に限定されない。

【0023】

一方、映像種類及び分布分析部１１２は、一つの入力映像の欠陥形態及び背景の形態を分析することもでき、複数の入力映像の欠陥形態及び背景の形態を全体的に分析することもできる。ここで、前記入力映像は、仮想の映像ではなく実際の映像である。また、前記入力映像は、本発明の仮想良品映像または仮想欠陥映像を利用して不良として検出された実際の映像も含む概念である。

【0024】

良品映像生成部１１４は、入力された欠陥映像を利用して映像種類及び分布分析部１１２で決定された数だけの仮想良品映像を生成する。この場合、良品映像生成部１１４は、前記分析された欠陥の形態を基準に異なる数の仮想良品映像を生成することもでき、前記分析された背景の形態を基準に異なる数の仮想良品映像を生成することもでき、前記分析された欠陥の形態と前記分析された背景の形態を基準に異なる数の仮想良品映像を生成することもできる。

【0025】

例えば、良品映像生成部１１４は、前記欠陥映像において欠陥領域を除去した後、パッチマッチング技法を介して仮想良品映像を生成する。

【0026】

これについてより詳細に説明する。
例えば、図３に図示されたように、欠陥映像がそれぞれ入力されたと仮定する。良品映像生成部１１４は、入力されたそれぞれの欠陥映像において欠陥領域を除去して仮想の良品映像を生成する。

【0027】

例えば、良品映像生成部１１４は、パッチマッチング技法を利用して欠陥映像に基づいて良品映像を生成する。具体的に、良品映像生成部１１４は、欠陥映像において欠陥領域を除去し、欠陥領域周辺情報を使用して該当の欠陥領域を復元することによって良品映像を生成する。図３に図示されたように、欠陥映像は同じ欠陥領域を含むのではなく、多様な形態の欠陥を含む。

【0028】

したがって、良品映像生成部１１４は、欠陥のパターンに応じて異なる映像技法を適用して欠陥領域を除去した後、良品映像を生成する。

【0029】

他の例として、良品映像生成部１１４は、入力された良品映像を利用して多数の仮想良品映像を生成することもできる。

【0030】

他の実施形態によれば、良品映像生成部１１４は、欠陥映像と良品映像の両方を利用して仮想良品映像を生成することもできる。例えば、前記欠陥映像において欠陥領域を除去した後、前記除去された欠陥領域を前記良品映像において前記除去された欠陥領域に該当する領域で代替させることによって、仮想良品映像を生成することもできる。

【0031】

さらに他の実施形態によれば、良品映像生成部１１４は、欠陥領域の状態に応じて欠陥映像の欠陥領域周辺情報または良品映像の領域情報を利用して仮想良品映像を生成することもできる。例えば、前記欠陥領域のサイズが大きい場合、または周辺領域まで毀損した場合には、前記除去された欠陥領域を良品映像の領域で代替させて仮想良品映像を生成し、前記欠陥領域のサイズが小さい場合には、前記欠陥領域周辺情報を利用して仮想良品映像を生成する。

【0032】

これについて図４を参照して説明する。
例えば、良品映像生成部１１４は、入力された良品映像の解像度が基準解像度以上の良品映像を生成した後、無作為に映像を切り取って多数の仮想良品映像を生成する。

【0033】

例えば、良品映像生成部１１４は、ＰＳＧＡＮを利用して基準解像度以上の良品映像を生成した後、図４に図示されたように無作為に切り取って仮想良品映像を生成する。

【0034】

また、他の例として、良品映像生成部１１４は、欠陥映像から生成された仮想良品映像を拡大した後、無作為に切り取って多数の良品映像を生成することもできる。

【0035】

整理すると、良品映像生成部１１４は、少数の欠陥映像を利用して多数の仮想良品映像を生成する。
欠陥映像生成部１１６は、少数の欠陥映像を利用して多数の仮想欠陥映像を生成する。

【0036】

例えば、図５に図示されたように欠陥映像が入力されたと仮定する。欠陥映像生成部１１６は、ＤＣＧＡＮを利用して多数の仮想欠陥映像を生成する。ここで、ＤＣＧＡＮは、潜在変数（ｌａｔｅｎｔ ｖａｒｉａｂｌｅ）から無作為に映像を生成する。ＤＣＧＡＮの結果は６４ ｘ ６４に限定されているため、より高い解像度の欠陥映像を作成するために超解像度（ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ）機能を遂行できる人工ニューラルネットワークであるＣｙｃｌｅＧＡＮを利用して超解像度欠陥映像を生成する。ＣｙｃｌｅＧＡＮは、ｕｎｐａｉｒｅｄ ｉｍａｇｅ－ｔｏ－ｉｍａｇｅ ｔｒａｎｓｌａｔｉｏｎを遂行する人工ニューラルネットワークであって、一方のドメインを低解像度映像、もう一方のドメインを高解像度映像で学習すれば、超解像度（ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎ）機能を遂行する人工ニューラルネットワークを得る（図６参照）。

【0037】

すなわち、欠陥映像生成部１１６は、ＤＣＧＡＮとＣｙｃｌｅＧＡＮを利用して入力された低解像度の欠陥映像を高品質の高解像度欠陥映像に変換した後、無作為映像変換過程を通じて多数の仮想欠陥映像を生成する。もちろん、仮想欠陥映像を生成する限り、アルゴリズムはＤＣＧＡＮ及びＣｙｃｌｅＧＡＮに限定されない。

【0038】

図５においては、入力映像（欠陥映像）における欠陥位置と生成された仮想欠陥映像における欠陥位置が同一または類似していた。しかし、前記仮想欠陥映像における欠陥位置は前記入力映像の欠陥位置と異なり得る（図８参照）。また、前記仮想欠陥映像における欠陥の大きさまたは形態は、前記入力映像における欠陥の大きさまたは形態と異なり得る。

【0039】

例えば、半導体工程のうち蒸着工程において基板のエッジ領域に汚染物質が付く可能性があると仮定すると、欠陥映像生成部１１６は、基板の一辺のエッジ領域中央に汚染物質が付いた欠陥を有する入力映像を利用して他の辺のエッジ領域中央または中央ではないエッジ側面などに汚染物質が付いた欠陥を有する多様な仮想欠陥映像を生成する。この場合、前記汚染物質が工程中にエッジのいろんな箇所に付く可能性があるという前提が予め設定されている。

【0040】

他の例として、工程中に基板に加えられる衝撃及びこれによるクラックの発生の大きさまたは範囲が予め設定されていれば、欠陥映像生成部１１６は、クラックを有する基板に対する入力映像からクラックの深さ、長さまたは位置の異なる多数の欠陥映像を生成する。

【0041】

すなわち、本発明の欠陥映像生成部１１６は、入力映像の欠陥と同じ位置、形態または大きさを有する仮想欠陥映像を生成するだけでなく、入力映像の欠陥と異なる位置、形態または大きさを有する仮想欠陥映像を生成できる。

【0042】

また、欠陥映像生成部１１６は、欠陥が汚染物質である場合、入力映像の汚染物質と異なる汚染物質を有する欠陥映像を生成することもできる。この場合、汚染物質が異なることに応じて汚染物質が基板に付く形態またはサイズなども異なる。

【0043】

前記においては、一つの欠陥に対して仮想欠陥映像を生成するものとして言及したが、複数の異なる形態の欠陥を結合して仮想欠陥映像を生成することもできる。例えば、汚染物質が付いた欠陥映像とクラックを有する欠陥映像の入力を受けて多様な位置に汚染物質またはクラックが形成された仮想欠陥映像を生成する。

【0044】

他の実施形態によれば、欠陥映像生成部１１６は、欠陥映像だけでなく良品映像も利用して仮想欠陥映像を生成することもできる。例えば、欠陥映像において欠陥を抽出し、前記抽出された欠陥を良品映像の多様な位置に表示して多様な仮想欠陥映像を生成することもできる。

【0045】

整理すると、学習データ生成部１１０は、少数の欠陥映像を利用してモデルの学習のための多数の仮想学習データセットを生成する。また、多数の仮想学習データセットは、多数の仮想良品映像及び仮想欠陥映像のうちの少なくとも一つである。

【0046】

一方、学習データ生成部１１０は、前記欠陥映像の欠陥形態または背景形態に応じて自動的に良品映像生成部１１４と欠陥映像生成部１１６を選択的にまたは両方動作させることもでき、ユーザーの要請に応じて良品映像生成部１１４と欠陥映像生成部１１６を選択的にまたは両方動作させることもできる。例えば、学習データ生成部１１０は、人工知能により決定された数の仮想良品映像または仮想欠陥映像を生成することもできるが、ユーザーが人工知能により決定された数に関係なく、任意に仮想良品映像または仮想欠陥映像の数を決定することもできる。

【0047】

このように、学習データ生成部１１０によって学習データセットが生成されると、これを利用してモデルを学習する。
学習部１１５は、複数の仮想良品映像及び仮想欠陥映像のうち少なくとも一つを利用して映像生成モデル１２０を学習する。

【0048】

学習部１１５が多数の仮想良品映像及び仮想欠陥映像のうち少なくとも一つを利用してモデルを学習することにより、映像生成モデル１２０は、欠陥映像を利用して良品映像を生成するように学習される。

【0049】

映像生成モデル１２０は、学習部１１５によって学習データセット（多数の仮想良品映像及び仮想欠陥映像のうち少なくとも一つ）を利用して学習された後、欠陥検出過程において入力映像に対応する比較映像（良品映像または欠陥映像）を生成する。

【0050】

例えば、映像生成モデル１２０は、多数の仮想良品映像及び仮想欠陥映像を利用して学習されているので、欠陥映像が入力される場合、これに対応する良品映像を生成できる。

【0051】

欠陥検出部１２５は、入力映像と比較映像を利用して欠陥の有無を検出するための手段である。
例えば、入力映像が欠陥映像である場合、比較映像は欠陥映像に対応する仮想良品映像である。したがって、欠陥検出部１２５は、入力映像と比較映像の差映像を導出して欠陥領域を検出する。

【0052】

欠陥領域検出過程について図７を参照してより詳細に説明する。
例えば、入力映像が欠陥映像６１０であると仮定すると、学習された映像生成モデル１２０を介して図７の６２０のように仮想良品映像が生成される。これにより、欠陥検出部１２５は、６１０の欠陥映像と６２０の仮想良品映像の差映像を導出した後、ヒステリシス閾値（Ｈｙｓｔｅｒｅｓｉｓ ｔｈｒｅｓｈｏｌｄ）及びモルフォロジー演算（ｍｏｒｐｈｏｌｏｇｙ ｏｐｅｒａｔｉｏｎ）を介して欠陥領域を検出する。

【0053】

ただし、映像生成モデル１２０は、欠陥映像６１０の欠陥形態または背景形態を考慮して適切な数の仮想良品映像を生成する。例えば、映像生成モデル１２０は、欠陥映像６１０の欠陥と同一または類似した欠陥を有するが多様な背景を有する１００００個の仮想良品映像と、欠陥映像６１０の背景と同一または類似した背景を有するが多様な欠陥を有する５０００個の仮想良品映像を生成する。他の例として、映像生成モデル１２０は、Ａ欠陥である場合には１００００個の仮想良品映像を生成し、Ｂ欠陥である場合には３０００個の仮想良品映像を生成することもできる。すなわち、映像生成モデル１２０は、欠陥映像６１０の欠陥の形態、種類または数などに応じて異なる数の仮想良品映像を生成し、欠陥映像６１０の背景の形態、種類などに応じて異なる数の仮想良品映像を生成することもできる。

【0054】

メモリ１３０は、本発明の一実施形態に係る欠陥検出方法を遂行するために必要な命令語（プログラムコード）を格納するための手段である。
プロセッサ１３５は、本発明の一実施形態に係る欠陥検出システム１００の内部構成要素（例えば、学習データ生成部１１０、学習部１１５、映像生成モデル１２０、欠陥検出部１２５、メモリ１３０など）を制御するための手段である。

【0055】

また、欠陥検出部１２５によって検出された欠陥映像に対する映像または映像生成モデル１２０によって生成される仮想良品映像及び仮想欠陥映像のうち少なくとも一つは、映像生成モデル１２０の学習のために再利用される。

【0056】

他の実施形態によれば、入力映像が欠陥映像である場合に、学習された映像生成モデル１２０を介して仮想良品映像と仮想欠陥映像が生成される。この場合、前記欠陥映像と前記仮想良品映像との比較を通じて欠陥領域を検出し、前記欠陥映像と前記仮想欠陥映像との比較を通じて欠陥の種類、パターンなどを検出する。

【0057】

図９は、本発明の一実施形態に係るモデルの学習過程を示したフローチャートである。
ステップＳ９００において、欠陥検出システム１００は、少数の欠陥映像を利用して多数の仮想良品映像及び仮想欠陥映像のうち少なくとも一つを生成する。

【0058】

一実施形態によれば、欠陥検出システム１００は、少数の欠陥映像を利用して多数の仮想良品映像を生成する。

【0059】

他の例として、欠陥検出システム１００は、少数の欠陥映像を利用して多数の仮想欠陥映像を生成する。

【0060】

さらに他の例として、欠陥検出システム１００は、少数の良品映像を利用して多数の良品映像を生成する。

【0061】

さらに他の例として、欠陥検出システム１００は、少数の欠陥映像を利用して多数の仮想良品映像と仮想欠陥映像の両方を生成することもできる。

【0062】

このように、欠陥検出システム１００は、少数の入力映像を利用して映像生成モデル１２０の学習のための学習データセットを生成する。これについては、図１～図５を参照して説明したものと同様であるため、重複する説明は省略する。

【0063】

ステップＳ９０２において、欠陥検出システム１００は、多数の仮想良品映像及び仮想欠陥映像のうち少なくとも一つを利用して映像生成モデル１２０を学習させる。

【0064】

映像生成モデル１２０は、人工知能を利用する映像生成モデルであって、入力映像に対応する比較映像を生成する。

【0065】

例えば、入力映像が欠陥映像である場合、映像生成モデル１２０は欠陥映像に対応する良品映像を生成する。

【0066】

このために、映像生成モデル１２０は、仮想欠陥映像と仮想良品映像で構成された学習データセットを利用して事前学習され得る。人工知能モデルの学習過程は当業者に自明な事項であるため、これに関する別途の説明は省略する。

【0067】

一般的に人工知能モデルの場合、モデル学習のための十分な学習データセットを得るのが難しい問題がある。これにより、実際のモデルに十分な学習が行われず、適用に多くの困難を伴う。
本発明の一実施形態においては、少数の欠陥映像を利用してモデル学習に必要な多数の仮想良品映像と仮想欠陥映像をそれぞれ生成し、これを利用してモデルを学習させる。

【0068】

多くの学習データセットを利用したモデル学習により、モデルの精度をより向上できる利点がある。

【0069】

このように、学習が完了したモデルを利用して実際の欠陥を検出する方法については、図１０を参照して説明する。
図１０は、本発明の一実施形態に係る欠陥検出方法を示したフローチャートである。以下では、図１０において説明したように、映像生成モデル１２０が学習データセットを利用して学習されていると仮定して、以降の動作について説明する。

【0070】

ステップＳ１０００において、欠陥検出システム１００は入力映像を獲得する。
ステップＳ１００２において、欠陥検出システム１００は、学習された映像生成モデル１２０に入力映像を適用して比較映像を生成する。

【0071】

例えば、入力映像が欠陥映像である場合、比較映像は欠陥映像において欠陥領域が除去された良品映像である。

【0072】

学習された映像生成モデル１２０に入力映像を適用する場合、学習された映像生成モデル１２０は、入力映像である欠陥映像において欠陥領域が除去された仮想良品映像を比較映像として生成して出力する。

【0073】

ステップＳ１００４において、欠陥検出システム１００は、入力映像と比較映像の差映像を導出し、差映像を利用して欠陥領域を検出する。

【0074】

例えば、欠陥検出システム１００は、比較映像として欠陥映像を設定することもでき、良品映像を設定することもでき、良品映像と欠陥映像の両方を設定することもできる。

【0075】

欠陥検出システム１００は、入力映像と比較映像として設定された欠陥映像の間の差映像を導出した後、欠陥の有無を決定することもできる。

【0076】

他の例として、欠陥検出システム１００は、入力映像と比較映像として設定された良品映像の間の差映像を導出した後、欠陥領域を検出することもできる。
もちろん、実現方法によって欠陥検出システム１００は、比較映像として欠陥映像と良品映像の両方を設定でき、入力映像との比較を通じて欠陥の有無を決定することもできる。

【0077】

また、欠陥検出システム１００は、比較映像を図７において説明したモデル学習に利用することもできる。

【0078】

前述したように、本発明の一実施形態によれば、少数の入力映像（欠陥映像、良品映像）を利用して多数の仮想学習データセットを生成し、これを利用してモデルを学習して精度を高めた後、欠陥検査に利用することによって欠陥検出性能を向上できる利点がある。

【0079】

一方、前記においては学習データセットが不足して仮想欠陥映像及び仮想良品映像を生成して学習データセットとして利用したが、反復欠陥検出過程を通じて実際の欠陥映像及び良品映像が多数確保されれば、仮想欠陥映像／仮想良品映像の数を減らして学習に利用できる。

【0080】

したがって、前記欠陥検出システムは、実際の欠陥映像／良品映像の数をチェックし、前記チェックされた実際の欠陥映像／良品映像の数に応じて仮想欠陥映像／仮想良品映像を適切に生成して学習に利用する。例えば、実際の欠陥映像／良品映像の数が１０００個以下である場合、仮想欠陥映像／仮想良品映像を２００００個生成してモデルを学習させ、反復欠陥検出過程を通じて実際の欠陥映像及び良品映像が５０００個まで確保されれば、仮想欠陥映像／仮想良品映像を１５０００個生成する。

【0081】

すなわち、人工知能は単に仮想欠陥映像／仮想良品映像を生成してモデルを学習させて欠陥を検出するだけでなく、確保された実際の欠陥映像／良品映像の数まで考慮して仮想欠陥映像／仮想良品映像を生成し、モデルを学習させることもできる。その結果、欠陥検出過程が反復されるほど仮想欠陥映像／仮想良品映像の数が減少し、実際の欠陥映像／良品映像がより多く利用されることになるため、映像生成モデルの精度を高めることができる。このとき、実際の欠陥映像／良品映像の数の増加率と前記仮想欠陥映像／仮想良品映像の減少率が同一の場合もあるが、異なることが効率的である。

【0082】

一方、前述した実施形態の構成要素は、プロセス的な観点から容易に把握される。すなわち、各構成要素はそれぞれのプロセスとして把握される。また、前述した実施形態のプロセスは、装置の構成要素の観点から容易に把握される。

【0083】

また、前述した技術的内容は、様々なコンピュータ手段を介して遂行されるプログラム命令の形態で具現されてコンピュータ読み取り可能な媒体に記録される。前記コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独で、または組み合わせて含む。前記媒体に記録されるプログラム命令は、実施形態のために特別に設計されて構成されたものであるか、またはコンピュータソフトウェア当業者に公知されて使用可能なものである。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉａ）及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例としては、コンパイラによって作成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、実施形態の動作を遂行するために一つ以上のソフトウェアモジュールとして動作するように構成され、その逆も同様である。

【0084】

前述した本発明の実施形態は例示の目的のために開示されたものであり、本発明についての通常の知識を有する当業者であれば、本発明の思想と範囲内で種々の修正、変更、付加が可能であり、このような修正、変更及び付加は下記の特許請求の範囲に属するものとみなすべきである。

【符号の説明】

【0085】

１００ 欠陥検出システム
１１０ 学習データ生成部
１１２ 映像種類及び分布分析部
１１４ 良品映像生成部
１１５ 学習部
１１６ 欠陥映像生成部
１２０ 映像生成モデル
１２５ 欠陥検出部
１３０ メモリ
１３５ プロセッサ
６１０ 欠陥映像
６２０ 仮想良品映像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【国際調査報告】