特許 7443033 ノイズラベルに対する敵対的学習システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-26

(45)【発行日】2024-03-05

(54)【発明の名称】ノイズラベルに対する敵対的学習システムおよび方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240227BHJP

   G06T 7/00 20170101ALI20240227BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350B

【請求項の数】 20

(21)【出願番号】P 2019216098

(22)【出願日】2019-11-29

(65)【公開番号】P2020102204

(43)【公開日】2020-07-02

【審査請求日】2022-11-01

(31)【優先権主張番号】62/783,150

(32)【優先日】2018-12-20

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/365,485

(32)【優先日】2019-03-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】512187343

【氏名又は名称】三星ディスプレイ株式會社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】１， Ｓａｍｓｕｎｇ－ｒｏ， Ｇｉｈｅｕｎｇ－ｇｕ， Ｙｏｎｇｉｎ－ｓｉ， Ｇｙｅｏｎｇｇｉ－ｄｏ， Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ

(74)【代理人】

【識別番号】110002619

【氏名又は名称】弁理士法人ＰＯＲＴ

(72)【発明者】

【氏名】リ， ジャンファン

【審査官】牛丸 太希

(56)【参考文献】

【文献】特開２０１３－１９６６８０（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２５０６１（ＷＯ，Ａ１）

【文献】特開２０１８－１６９９７２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０５３２１１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１５／１５４３５３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

メモリと、
前記メモリに格納された命令を実行するプロセッサとを含み、
前記プロセッサは、前記命令により、
第１データセットラベリングを含む第１データセットを受信し、
第２データセットラベリングを含む第２データセットを受信し、
前記第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、
前記第２データセットを前記学習させた第１マシン学習モデルに提供して、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成された、更新の第２データセットラベリングを含む更新の第２データセットを生成し、
前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断し、
前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記第１データセットを前記学習させた第２マシン学習モデルに提供して、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成された、更新の第１データセットラベリングを含む更新の第１データセットを生成し、
前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断し、
前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる敵対的学習システム。

【請求項2】

前記プロセッサは、前記命令により、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１に記載の敵対的学習システム。

【請求項3】

前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる、請求項２に記載の敵対的学習システム。

【請求項4】

前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１に記載の敵対的学習システム。

【請求項5】

前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１に記載の敵対的学習システム。

【請求項6】

前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なる、請求項１に記載の敵対的学習システム。

【請求項7】

前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成する、請求項６に記載の敵対的学習システム。

【請求項8】

前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムである、請求項１に記載の敵対的学習システム。

【請求項9】

前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１に記載の敵対的学習システム。

【請求項10】

前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされる、請求項１に記載の敵対的学習システム。

【請求項11】

メモリと、
前記メモリに格納された命令を実行するプロセッサと、を含み、
前記プロセッサは、前記命令により、
第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、
第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成し、
前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成し、
前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させ、
前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、
前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる敵対的学習システム。

【請求項12】

前記プロセッサは、前記命令により、
前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１１に記載の敵対的学習システム。

【請求項13】

前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる、請求項１２に記載の敵対的学習システム。

【請求項14】

前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成する、請求項１１に記載の敵対的学習システム。

【請求項15】

前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる、請求項１１に記載の敵対的学習システム。

【請求項16】

前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成され、
前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なり、
前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成する、請求項１１に記載の敵対的学習システム。

【請求項17】

前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであり、
前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされ、
前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される、請求項１６に記載の敵対的学習システム。

【請求項18】

プロセッサによって、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させる段階と、
前記プロセッサによって、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成する段階と、
前記プロセッサによって、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成する段階と、
前記プロセッサによって、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、
前記プロセッサによって、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階とを含む敵対的学習方法。

【請求項19】

前記プロセッサによって、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる段階をさらに含む、請求項１８に記載の敵対的学習方法。

【請求項20】

前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なり、
前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成する、請求項１９に記載の敵対的学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ノイズラベルに対する敵対的学習システムおよび方法に関する。

【0002】

本出願は、２０１８年１２月２０日付で米国特許庁に出願した米国特許出願番号第６２／７８３，１５０号を優先権主張し、これを引用することによりこの出願の全体内容を本願に含む。

【背景技術】

【0003】

最近、表示装置産業は、市場に新しい表示装置技術が導入されることによって急激に発展している。モバイル装置、テレビ、仮想現実（ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ：ＶＲ）ヘッドセットおよび他の表示装置は、表示装置がより高い解像度を有し、より正確な色再現を実現するように発展している。新しい類型の表示パネルモジュールおよび生産方法が使用されるにつれ、従来の方法では表面欠陥を見つけられにくくなった。

【0004】

前述した内容は本発明の実施形態の背景を理解するための説明であり、従来の技術をなす情報を含むことができる。

【先行技術文献】

【特許文献】

【0005】

【文献】米国特許５１６０３５１号明細書

【文献】米国特許９８４６９３２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、ノイズラベルに対する敵対的学習システムおよび方法を提供することである。

【課題を解決するための手段】

【0007】

以下、本発明の実施形態に対する特徴と概念を選択的に記載したもので、詳しい内容については発明を実施するための具体的な内容で説明する。この項目は、請求する発明の核心または本質的な特徴を定義しようとするわけではなく、請求する発明の範囲を限定するのに使用しようとするわけでもない。記載した１つ以上の特徴を、他の１つ以上の特徴と結合して動作可能な装置を作ることができる。

【0008】

本発明の実施形態は、ノイズラベルに対する敵対的学習方法に関する。

【0009】

本発明の一実施形態によるシステムは、メモリと、前記メモリに格納された命令を実行するプロセッサとを含み、前記プロセッサは、前記命令により、第１データセットラベリングを含む第１データセットを受信し、第２データセットラベリングを含む第２データセットを受信し、前記第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、前記第２データセットを前記学習させた第１マシン学習モデルに提供して、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成された、更新の第２データセットラベリングを含む更新の第２データセットを生成し、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断し、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記第１データセットを前記学習させた第２マシン学習モデルに提供して、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成された、更新の第１データセットラベリングを含む更新の第１データセットを生成し、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断し、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる。

【0010】

本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる。本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。

【0011】

本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成される。本発明の一実施形態によれば、前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なる。本発明の一実施形態によれば、前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成することができる。本発明の一実施形態によれば、前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであってもよい。本発明の一実施形態によれば、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される。本発明の一実施形態によれば、前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされる。

【0012】

本発明の一実施形態によるシステムは、メモリと、前記メモリに格納された命令を実行するプロセッサとを含み、前記プロセッサは、前記命令により、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させ、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成し、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成し、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる。

【0013】

本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させ、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させ、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なる。

【0014】

本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成することができる。本発明の一実施形態によれば、前記プロセッサは、前記命令により、前記第１マシン学習モデルと前記第２マシン学習モデルを前記更新の第２データセットおよび前記更新の第１データセットに適用した時、同一のデータセットラベリング結果を生成するまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させることができる。

【0015】

本発明の一実施形態によれば、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを前記第１データセットに適用した後に、新しいクラスに移動した前記第１データセットからのデータに対するデータサンプルラベルを更新することによって生成され、前記更新の第１データセットラベリングは、前記第１データセットラベリングとは異なり、前記第１データセットは、生きている人間のインスペクターによって、前記更新の第２データセットラベリングにより再びラベリングされて前記更新の第１データセットを生成することができる。本発明の一実施形態によれば、前記第１マシン学習モデルおよび前記第２マシン学習モデルは、分類アルゴリズムであり、前記第１データセットは、生きている人間のインスペクターによって分類またはラベリングされ、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを前記第２データセットに適用した後に、新しいクラスに移動した前記第２データセットからのデータに対するデータサンプルラベルを更新することによって生成される。

【0016】

本発明の一実施形態による方法は、プロセッサによって、第１データセットの第１データセットラベリングに基づいて第１マシン学習モデルを学習させる段階と、前記プロセッサによって、第２データセットラベリングを含む第２データセットを前記学習させた第１マシン学習モデルに提供して更新の第２データセットラベリングを含む更新の第２データセットを生成する段階と、前記プロセッサによって、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、前記プロセッサによって、前記第１データセットを前記学習させた第２マシン学習モデルに提供して更新の第１データセットラベリングを含む更新の第１データセットを生成する段階と、前記プロセッサによって、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階とを含む。

【0017】

本発明の一実施形態による方法は、前記プロセッサによって、前記更新の第２データセットラベリングと前記第２データセットラベリングとの間の第１差を判断して、前記第１差が第１閾値より大きければ、前記更新の第２データセットラベリングに基づいて第２マシン学習モデルを学習させる段階と、前記プロセッサによって、前記更新の第１データセットラベリングと前記第１データセットラベリングとの間の第２差を判断して、前記第２差が第２閾値より大きければ、前記更新の第１データセットラベリングに基づいて前記第１マシン学習モデルを学習させる段階と、前記プロセッサによって、前記第１差が前記第１閾値の下になり、前記第２差が前記第２閾値の下になるまで前記第１マシン学習モデルおよび前記第２マシン学習モデルを学習させる段階とをさらに含んでもよい。

【0018】

本発明の一実施形態によれば、前記第１閾値および前記第２閾値のうちの１つは、０であり、前記第１閾値は、前記第２閾値とは異なり、前記更新の第１データセットは、前記学習させた第２マシン学習モデルを用いて前記第１データセットを分類することによって生成し、前記更新の第２データセットは、前記学習させた第１マシン学習モデルを用いて前記第２データセットを分類することによって生成することができる。

【発明の効果】

【0019】

ノイズラベルに対する効果的な敵対的学習システムおよび方法を実現することができる。

【図面の簡単な説明】

【0020】

【図1A】本発明の一実施形態によるシステム概略図である。

【図1B】本発明の一実施形態による分類器の学習システムの概略図である。

【図2】本発明の一実施形態による敵対的（ａｄｖｅｒｓａｒｉａｌ）学習方法のブロック図である。

【図3】図２に示した敵対的学習方法を説明するフローチャートである。

【図4】本発明の他の実施形態による敵対的学習方法のブロック図である。

【図5】本発明のさらに他の実施形態による敵対的学習方法のブロック図である。

【発明を実施するための形態】

【0021】

添付した図面を参照しながら以下に説明する具体的な内容は、本発明に係るノイズラベルに対する敵対的学習方法の実施形態に関する説明であり、本発明が実現または使用される唯一の形態を示すものではない。ここでは、本発明の特徴を実施形態と関連づけて提示する。しかし、他の実施形態によっても同一の、または等価の機能と構造を実現することができ、これも本発明の範囲内に含まれる。ここで特別な言及がなく、同一または類似の部分または特性については同一または類似の図面符号を使用する。

【0022】

最近、モバイル表示装置産業が急激に成長している。新たな類型の表示パネルと製造方法を用いるにつれ、表示装置の解像度と画素密度が大きくなり、従来の方法では表面欠陥［例：表示パネルにおける有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ：ＯＬＥＤ）の欠陥］を見つけられにくくなった。手動欠陥検知は、現状の製造装備に適用するには時間が多くかかり、自動検査技術は非効率的な側面がある。例えば、表面自動検査をする時、局所異常点が規則的な周辺と明確な対比をなすと、均一な（テクスチャのない）表面の欠陥を容易に識別することができる。しかし、欠陥と周辺との境界が明確でなく、背景の明るさが均一でない場合には、低解像度イメージの欠陥を検知することが困難である。

【0023】

表示欠陥の通常の類型は、「ムラ（Ｍｕｒａ）」である。ムラは、ＯＬＥＤの製造時に発見される欠陥の主要因の１つである。ムラは、人間の視覚に不快感を与える局所的な明るさの不均一である。ムラの類型は、大体、大きさおよび形状により、線（ｌｉｎｅ）ムラ、点（ｓｐｏｔ）ムラ、領域（ｒｅｇｉｏｎ）ムラに区分することができる。各類型のムラは、明確な境界がなく、イメージで明瞭に現れないことがある。そのため、ムラ欠陥を識別する新たな方法が必要である。また、ムラを識別する新たな方法またはアルゴリズムの処理時間がＯＬＥＤの生産効率に直接的な影響を及ぼすことから、これを考慮しなければならない。また、完全自動化表面検査プロセスを実現するために、表示パネル（例：ＯＬＥＤ表示パネル）の欠陥（例：ムラ）類型を分類する必要があり、これは、生産効率を改善し、人間の視覚検査を低減することができる。

【0024】

図１Ａは、本発明の一実施形態によるシステムの概略図である。図１Ｂは、本発明の一実施形態による分類器の学習システムの概略図である。

【0025】

図１Ａおよび図１Ｂを参照すれば、本発明の一実施形態によるムラ（Ｍｕｒａ）検知システム１０１は、前処理器１００で入力映像を受信する。入力映像は、例えば、検査映像を表示している表示装置の映像を含むことができる。検査映像を表示しているＯＬＥＤ表示装置の画面をカメラで撮影することによって、検査映像を生成することができる。本発明の一実施形態によれば、検査映像は、表示装置がムラ［例えば、白点ムラ（ｗｈｉｔｅ ｓｐｏｔ Ｍｕｒａ）］の例を示すようにする映像を含むことができる。例えば、検査映像は、低解像度の均一な映像であってもよい。入力映像の解像度が高くて、欠陥（例：白点ムラ）が検知される表示装置の各画素が見えることもある。本発明の実施形態では、前処理器１００が入力映像を受信し、映像内のノイズを低減する平滑化を行うことができる。入力映像のノイズを低減した後に、前処理器１００は、映像を複数の映像パッチに分割することができ、それぞれの映像パッチは、特性抽出器１１０に提供される。

【0026】

本発明の一実施形態によれば、特性抽出器１１０は、提供された映像パッチに対して多様な統計的な特性を計算する。例えば、統計的な特性は、１つ以上の映像モーメント（例：画素密度の加重平均）および１つ以上のテクスチャ測定［例：グレーレベル共存マトリクス（ＧＬＣＭ：Ｇｒａｙ－Ｌｅｖｅｌ Ｃｏ－Ｏｃｃｕｒｒｅｎｃｅ Ｍａｔｒｉｘ）を用いたテクスチャ分析］を含むことができる。本発明の一実施形態では、例えば、多様な映像モーメントとＧＬＣＭテクスチャ特性を含む３７の統計的な特性が特性抽出器１１０によって抽出される。本発明の一実施形態によれば、特性抽出器１１０は、それぞれの映像パッチに対してミュー３０モーメント（ｍｕ ３０ ｍｏｍｅｎｔ）［３次重心モーメント（３ｒｄ ｏｒｄｅｒ ｃｅｎｔｒｏｉｄ ｍｏｍｅｎｔ）、対比（ｃｏｎｔｒａｓｔ）（ＧＬＣＭ）ヒュー５モーメント（ｈｕ ５ ｍｏｍｅｎｔ）、ヒュー１モーメント（ｈｕ １ ｍｏｍｅｎｔ）［１次ヒュー不変モーメント（１ｓｔ Ｈｕ ｉｎｖａｒｉａｎｔ ｍｏｍｅｎｔ）および相関／不同（ｃｏｒｒｅｌａｔｉｏｎ／ｄｉｓｓｉｍｉｌａｒｉｔｙ）（ＧＬＣＭ）を計算することができる。

【0027】

本発明の一実施形態によれば、抽出された映像パッチそれぞれの統計的特性は、分類器１２０に入力で供給される。本発明の一実施形態において、分類器１２０は、抽出された特性（例：特性ベクトル）およびラベルクラス情報を用いて欠陥（例：ムラ）の例を識別するマシン学習分類器であってもよい。本発明の一実施形態によれば、分類器１２０に用いられるマシン学習分類アルゴリズムは、欠陥の位置を特定し、欠陥の種類を分類する。本発明の一実施形態において、クラス情報は、分類器を学習させることによって提供される。

【0028】

マシン学習において、分類は、データセット（ｄａｔａｓｅｔ）内の与えられたデータポイントクラスを予測する過程と定義する。マシン学習における分類の概念は、データを別個のクラスに分離するモデルを作ることを含むことができる。本発明の一実施形態によれば、クラスは、目標（ｔａｒｇｅｔｓ）、ラベル（ｌａｂｅｌｓ）またはカテゴリー（ｃａｔｅｇｏｒｉｅｓ）といえる。分類予測モデリング（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｐｒｅｄｉｃｔｉｖｅ ｍｏｄｅｌｉｎｇ）は、入力変数からデータセット内の別個の出力変数への写像関数（ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）の近似値を求めるものであってもよい。分類モデルは、アルゴリズムが習うためにクラスが予めラベルのついた（ｐｒｅ－ｌａｂｌｅｄ）学習データ集合を入力することによって作られる。そのモデルは、クラスが知られていない他のデータセット（例えば、検査データセット）を入力することによって、モデルが学習データセットから学習したものに基づいてクラスメンバーシップを予測するように用いられてもよい。分類アルゴリズム［例えば、決定木（ｄｅｃｉｓｉｏｎ ｔｒｅｅｓ）、単純ベイズ（ｎａｉｖｅ Ｂａｙｅｓ）、人工神経網（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ：ＡＮＮ）、ｋ－最近接ネイバー（ｋ－Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ：ＫＮＮ）］が明らかなクラスラベリング（ｅｘｐｌｉｃｉｔ ｃｌａｓｓ ｌａｂｅｌｉｎｇ）を要求するので、分類は監督学習の形態である。

【0029】

様々な分類アルゴリズム（例えば、決定木、単純ベイズ、ＡＮＮ、ＫＮＮ）が可能であるが、ある分類アルゴリズムが他の分類アルゴリズムより良いかを決定するには容易でない。分類アルゴリズムは、使用可能なデータセットの特性と適用に基づいて選択される。例えば、クラスまたはラベルが線形分離可能であれば、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ ｒｅｇｒｅｓｓｉｏｎ）、フィッシャー線形判別（Ｆｉｓｈｅｒ’ｓ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ）などの線形分類器が複雑なモデルより良いことがあり、そうでなければその逆である。

【0030】

分類器１２０は、監督学習モデルを使用できるため、分類器１２０は機能化される前に学習される。発明の実施形態において、分類器１２０に用いられた監督学習モデルは、支援ベクトルマシンである。監督学習モデル（例：支援ベクトルマシン）は、学習期間で分類器１２０に人的入力（または人的検査）１３０を提供することによって学習される。例えば、それぞれのイメージパッチに対して人間がパッチを視覚的に検査し、白点ムラのあるケースと表示することができる。このイメージパッチを特性抽出器１１０にも提供可能である。イメージパッチに対して抽出された特性ベクトルと人間が検査し、表示した対応パッチ（例えば、学習データセット）すべてを分類器１２０に提供することができる。分類器１２０は、このようなパッチ（例えば、学習データセット）を用いて、後で分類に用いられるクラス情報（例：モデル形成）を生成することができる。

【0031】

本発明の一実施形態によれば、監督学習モデル（例：支援ベクトルマシン）の性能は、学習データセット内にあるラベルつきの前記量に（臨界的に）依存し、ラベルは明らかで正確なものと仮定される。しかし、このような仮定は、実際のデータセットで維持されない場合が多いが、例えば、学習データセット内の流失ラベル（ｍｉｓｓｉｎｇ ｌａｂｅｌｓ）、主観的なラベリングまたは不完全注釈つきの映像（ｉｎｅｘｈａｕｓｔｉｖｅｌｙ－ａｎｎｏｔａｔｅｄ ｉｍａｇｅｓ）などがある学習または検査データセットの場合にそうである。例えば、監督学習モデルの学習データセットで、クラスラベルが無くなることがあり、その映像のオブジェクト（ｏｂｊｅｃｔｓ）がすべて局所化されてはいなかったり、生きている人間の専門家（ｌｉｖｅ ｈｕｍａｎ ｅｘｐｅｒｔｓ）（例：１３０）がクラスラベルに対して同意しないこともある。監督学習モデルに用いられる分類アルゴリズムの学習データセットが大きくなるほど、検査データセットで流失ラベルおよびノイズラベル問題がより激しくなる。ソースにもかかわらず、ノイズラベルに起因するノイズは、マシン学習モデルの学習性能を急激に低下させることがある。

【0032】

本発明の一実施形態によれば、実際のデータを有するデータセットの分類にマシン学習モデルを用いるためには、データセットにあるノイズラベル問題を解決することが好ましい。例えば、主観的なラベリングまたは不完全注釈つきの検査データセットは、マシン学習モデルの性能を評価しにくくするが、これは、ノイズラベルが誤検知（ｍｉｓｄｅｔｅｃｔｉｏｎ）または誤分類（ｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎ）として検知されうるからである。

【0033】

本発明の一実施形態によれば、複数の生きている人間のインスペクター（ｌｉｖｅ ｈｕｍａｎ ｉｎｓｐｅｃｔｏｒ）からラベルのついたデータセットは、主観的なラベリング問題がありうるが、これは、そのようなラベリングが個別インスペクターの検査結果に依存するからである。本発明の一実施形態によれば、検査データセットは、実際の問題に対する主観的なラベリング問題を有しうるが、例えば、実際の問題（例：ムラ検知をはじめとする欠陥検知）に対する明確な判断を困難にしかねない。本発明の一実施形態によれば、実際のデータセットの場合、通常生じることであるが、学習データセットと検査データセットとの間に衝突がある場合、マシン学習モデル（例：分類アルゴリズム）の開発を困難にしかねない。

【0034】

本発明の一実施形態によれば、データセットの全体内容は、すべての型類の欠陥に対して完璧にラベリングされるわけにはいかない。データセットの主要欠陥の一部に対してのみ人間のインスペクターをラベリングまたは分類するのに用いることができる。しかし、このように不完全ラベルつきのデータセットは、学習データセットに問題を起こしうるが、このように不完全ラベルつきの［例えば、過小適合した（ｕｎｄｅｒｆｉｔｔｅｄ）］学習データセットは、流失ラベルおよび一貫性のないラベリングを有しうるからである。本発明の一実施形態によれば、ノイズラベルが誤検知（ｍｉｓｄｅｔｅｃｔｉｏｎ）または誤分類（ｍｉｓｃｌａｓｓｉｆｉｃａｔｉｏｎ）として検知されうるので、不完全ラベルつきのデータセットは、検査データセットを用いてマシン学習モデルを評価しにくくしかねない。例えば、すべての欠陥位置にわたって同一の検知基準を維持するには、すべてのデータが完全に表示される必要がある。これは、主観的なラベリング問題を起こさない。しかし、完全注釈つきのデータセットと不完全注釈つきのデータセットとの混合データセットに対して、不完全注釈問題と主観的ラベリング問題とを区別しにくいことがある。

【0035】

前述したように、分類アルゴリズムが明確なクラスラベリングを必要とするため、分類は監督学習の形態である。バイアス分散トレードオフ（ｂｉａｓ－ｖａｒｉａｎｃｅ ｔｒａｄｅｏｆｆ）は、監督学習における中心問題である。バイアス分散トレードオフは、予測モデル集合の性質であり得、母数推定（ｐａｒａｍｅｔｅｒ ｅｓｔｉｍａｔｉｏｎ）で低いバイアスを有するモデルは、サンプルに対する母数推定値の分散が高くなり、その逆もそうである。バイアスは、学習アルゴリズムの誤った仮定からくるエラーであり得る。本発明の一実施形態によれば、高いバイアスは、アルゴリズムが特性（ｆｅａｔｕｒｅｓ）と標的出力（ｔａｒｇｅｔ ｏｕｔｐｕｔｓ）との相関関係を抜かすように（例：過小適合）することができる。分散は、学習セットの小さい変動に対する敏感度から来るエラーであり得る。本発明の一実施形態によれば、高い分散は、アルゴリズムが意図した出力（ｉｎｔｅｎｄｅｄ ｏｕｔｐｕｔｓ）よりは、学習データの任意ノイズをモデリングするように［例：過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）］することができる。本発明の一実施形態によれば、バイアス分散分解（ｂｉａｓ－ｖａｒｉａｎｃｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）は、特定の問題に対して、学習アルゴリズムの予測一般化エラーを、問題自体にある低減できないエラー（ｉｒｒｅｄｕｃｉｂｌｅ ｅｒｒｏｒ）、分散およびバイアス、この３つの項目の和として分析する方法である。本発明の一実施形態によれば、バイアス分散問題は、監督学習アルゴリズムが学習セットを超えて一般化するのを防止する２つのエラー源（例：バイアスおよび分散）を同時に最小化するのと相反することがある。バイアス分散トレードオフは、すべての形態の監督学習、例えば、分類（ｃｌａｓｓｉｆｉｃａｔｉｏｎ）、回帰（ｒｅｇｒｅｓｓｉｏｎ）、構造化された出力学習（ｓｔｒｕｃｔｕｒｅｄ ｏｕｔｐｕｔ ｌｅａｒｎｉｎｇ）などに適用できる。

【0036】

本発明の一実施形態によれば、学習データの規則性（ｒｅｇｕｌａｒｉｔｙ）を正確に把握すると同時に、見えないデータにうまく一般化するモデルを選択することが理想的である。しかし、この２つを同時に行うことは容易でない。高分散学習方法（ｈｉｇｈ－ｖａｒｉａｎｃｅ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄ）は学習セットをよく表現することができるが、ノイズまたは代表性のない（ｕｎｒｅｐｒｅｓｅｎｔａｔｉｖｅ）学習データに過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）する恐れがある。これとは逆に、高バイアス性アルゴリズムは、過剰適合しない簡単なモデルを生成できるが、学習データを過小適合して重要な規則性を見過ごすことがある。様々な分類アルゴリズムがあるが、ＯＬＥＤ表示装置に表示される映像の不均一な性質のため、ＯＬＥＤの欠陥を示すデータセットを高い信頼度で分類することは容易でない。また、実際のデータセットの場合、通常生じることであるが、学習データセットと検査データセットとが相反する場合、マシン学習モデル（例：分類アルゴリズム）の開発が困難になりうる。

【0037】

従来の監督学習アルゴリズムの大部分は、サンプルに対して実際（ｇｒｏｕｎｄ ｔｒｕｔｈ）のラベルを定義してモデルを開発し、性能を点検すると期待するが、主観的なラベリング問題があるデータセットの場合にはそうではない。ムラ検知のような欠陥検知の場合、学習および検査データセットに対する主観的なラベリングおよび不完全ラベリングを見つけることは難しくない。しかし、再検査によりデータセット（例：検査データセット）に再び正しいラベルをつけることは容易ではない。そのため、正確度（ａｃｃｕｒａｃｙ）、精密度（ｐｒｅｃｉｓｉｏｎ）または再現性（ｒｅｃａｌｌ）などのような適切な性能尺度でデータセットのラベルを再付与することによって、有効なマシン学習モデルを作る方法（またはアルゴリズム）が好ましい。

【0038】

本発明の他の実施形態は、マシン学習モデルが学習および／または検査データセットでのノイズラベルに関連する問題点（例：過剰適合または過小適合学習データ）を克服する学習方法を提示することができ、実際のデータセット（例：学習または検査データセットの欠陥検知）の高い正確度を達成する均衡モデル（ｂａｌａｎｃｅｄ ｍｏｄｅｌ）を作り出すことができる。本発明の他の実施形態はまた、学習データセットと検査データセットとの間の分類と関連する不一致を次第に低減する学習方法を提示することができ、マシン学習モデルを意味あるように評価する計数可能な学習および検査用データセットを作り出すことができる。本発明のある実施形態は、互いに異なる、生きている人間のインスペクターからの主観的なラベリング問題を解決するレビューの量を低減することができ、不完全ラベルつきのデータセットから発生する主要欠陥を解決するレビューの量を低減することができ、データサンプル（例：学習および／または検査データセット）を再びラベリングすることを補助して、複数のインスペクターがそれぞれのデータサンプルに対して１つの明確な概念を有するようにするツール（ｔｏｏｌ）または構造（ａｒｃｈｉｔｅｃｔｕｒｅ）（例：マシン学習モデルまたは分類アルゴリズム）を提示することができる。

【0039】

本発明の一実施形態は、ノイズラベル（例：主観的なラベリングおよび不完全ラベリング問題）を有するデータセットでマシン学習モデルを学習させる方法を提示することができる。本発明の一実施形態によれば、２つの互いに異なるデータセット［例：ゴールデン（ｇｏｌｄｅｎ）データセットまたは学習データセットおよび新しいデータセットまたは検査データセット］を用いて２つの互いに異なるマシン学習モデル（例：分類アルゴリズム）を学習させることができ、互いに異なるデータセットの結果を比較（例：現在周期の更新されたゴールデンデータセットのデータセットラベリングを前の周期のゴールデンデータセットのデータセットラベリングと比較、例えば、１データセットの更新データセットラベリングをそのデータセットの前のデータセットラベリングと比較）し、正確度（ａｃｃｕｒａｃｙ）、精密度（ｐｒｅｃｉｓｉｏｎ）または再現性（ｒｅｃａｌｌ）などの目標性能尺度を達成するまで結果を繰り返し収斂することができる。本発明の一実施形態は、それぞれ（学習または検査）だけからの不一致を表示し、２つの互いに異なるデータセット間の間隔を低減する方法を提示するだけでなく、２つのマシン学習モデルの分類または検知結果を比較することによって繰り返しを終える方法を提示することができる。本発明の一実施形態によれば、この方法はまた、データセットのうちの１つ（例：学習データセット）が十分な大きさのデータを有し得ず、他のデータセット（例：検査データセット）に対する正しい分類が行われない場合に解法を提示することもできる。

【0040】

図２は、本発明の一実施形態による敵対的（ａｄｖｅｒｓａｒｉａｌ）学習方法２００のブロック図である。図３は、図２に示した敵対的学習方法２００を説明するフローチャート３００である。図２の敵対的学習方法は、互いに異なるデータ分布（例：データセットラベリング）を有する２つのデータセットを更新し、中間地点（ｍｉｄｄｌｅ ｇｒｏｕｎｄ）で合意する方法を提示する。図２の敵対的学習方法は、２つのマシン学習モデル２１０、２１８（または２つの分類アルゴリズム）を繰り返すが、２つのマシン学習モデル２１０、２１８が更新のゴールデンデータセット２１６と更新の新しいデータセット２０６に対して同一の結果（例：同一のデータセットラベリング結果）を示すまで繰り返す。２つのデータセットの不一致を繰り返し低減することによって、敵対的学習方法２００は、２つのマシン学習モデル２１０、２１８が２つのデータセットに対して同一の結果を生成する地点に達するようになる。

【0041】

図３の敵対的学習方法３００は、図２のブロック図に関連して以下の段落で説明する。図３の敵対的学習方法３００は、メモリを含むシステムのプロセッサによって行われ、プロセッサは、メモリに格納された命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行する。

【0042】

敵対的学習方法３００は、段階３０２から始まる。

【0043】

段階３０４で、新しいデータセット２０２およびゴールデンデータセット２１２を受信する。

【0044】

本発明の一実施形態によれば、ゴールデンデータセット２１２は、生きている人間の専門家がラベリングしたデータセットを指す。したがって、ゴールデンデータセット２１２は、ＯＬＥＤ欠陥検知（例：ムラ検知）用マシン学習アルゴリズムの学習データセットとして使用される信頼可能なデータソースである。ゴールデンデータセット２１２は、新しいデータセット２０２とは異なるデータセットラベリングを有している。例えば、ゴールデンデータセット２１２は、第１データセットラベリングを含むことができ、新しいデータセット２０２は、第２データセットラベリングを含むことができる。

【0045】

選択的に、段階３０６で、第１マシン学習モデル２１８は、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）に基づいて学習させる。

【0046】

段階３０８で、新しいデータセット２０２は、学習させた第１マシン学習モデル２１８に提供され、再びラベリングされる。本発明の一実施形態によれば、第１分布調節モジュール２０４は、学習させた第１マシン学習モデル２１８を新しいデータセット２０２に適用することができる。

【0047】

段階３１０で、学習させた第１マシン学習モデル２１８に基づいて更新の新しいデータセット２０６を生成する。例えば、更新の新しいデータセット２０６は、学習させた第１マシン学習モデル２１８を用いて新しいデータセット２０２を分類することによって生成される。更新の新しいデータセット２０６は、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）とは異なる更新データセットラベリング（例：更新の第２データセットラベリング）または新しい基準（ｎｅｗ ｓｔａｎｄａｒｄ）２０８を有することができる。例えば、更新の新しいデータセット２０６は、更新の第２データセットラベリングを含むことができる。本発明の一実施形態によれば、新しいデータセット２０２と更新の新しいデータセット２０６は、ラベリングが異なる同一のデータを含むことができるが、例えば、新しいデータセット２０２は、第２データセットラベリングを含み、更新の新しいデータセット２０６は、更新の第２データセットラベリングを含むことができる。更新の新しいデータセット２０６は、第１マシン学習モデル２１８が新しいデータセット２０２に適用された後に、新しいクラスに移動した［新しいデータセット２０２の］データに対するデータサンプルラベルを更新する。

【0048】

段階３１２で、更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）と新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）との間の第１差（Δ_１）を判断する。

【0049】

Δ_１＝（更新の第２データセットラベリング－第２データセットラベリング）。

【0050】

段階３１４で、第１差（Δ_１）を第１閾値と比較する。段階３１４で、第１差（Δ_１）が第１閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、段階３１５で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）に基づいて第２マシン学習モデル２１０を学習させる。段階３１５から、アルゴリズム３００は、段階３１８へ進む。

【0051】

しかし、段階３１４で、第１差（Δ_１）が第１閾値より大きいと判断されると、段階３１６で新しい基準２０８または更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に基づいて第２マシン学習モデル２１０を学習させる。

【0052】

段階３１７で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）を更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に更新する。

【0053】

段階３１８で、ゴールデンデータセット２１２を学習させた第２マシン学習モデル２１０に提供する。本発明の一実施形態によれば、第２分布調節モジュール２１４は、学習させた第２マシン学習モデル２１０をゴールデンデータセット２１２に適用することができる。

【0054】

段階３２０で、学習させた第２マシン学習モデル２１０に基づいて更新のゴールデンデータセット２１６を生成する。例えば、更新のゴールデンデータセット２１６は、学習させた第２マシン学習モデル２１０を用いてゴールデンデータセット２１２を分類することによって生成される。更新のゴールデンデータセット２１６は、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）とは異なる更新データセットラベリング（例：更新の第１データセットラベリング）を有することができる。本発明の一実施形態によれば、ゴールデンデータセット２１２と更新のゴールデンデータセット２１６は、ラベリングが異なる同一のデータを含むことができるが、例えば、ゴールデンデータセット２１２は、第１データセットラベリングを含み、更新のゴールデンデータセット２１６は、更新の第１データセットラベリングを含むことができる。更新のゴールデンデータセット２１６は、第２マシン学習モデル２１０がゴールデンデータセット２１２に適用された後に、新しいクラスに移動した［ゴールデンデータセット２１２の］データに対するデータサンプルラベルを更新する。

【0055】

段階３２２で、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）とゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）との間の第２差（Δ_２）を判断する。

【0056】

Δ_２＝（更新の第１データセットラベリング－第１データセットラベリング）。

【0057】

本発明の一実施形態によれば、段階３２２で、現在周期での更新のゴールデンデータセット２１６のデータセットラベリングを前の周期での同一のデータセットのデータセットラベリングと比較して、第２差（Δ_２）を決定する。本発明の一実施形態によれば、第２分布調節モジュール２１４は、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）をゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ_２）を決定する。

【0058】

段階３２４で、第２差（Δ_２）を第２閾値と比較する。段階３２４で、第２差（Δ_２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、段階３２５で、プロセッサは、第１差（Δ_１）が第１閾値以下であるかを判断する。

【0059】

段階３２５で、第２差（Δ_２）が第２閾値以下の時、第１差（Δ_１）が第１閾値以下であると判断されると、段階３２６で、敵対的学習方法３００を終了する。

【0060】

しかし、段階３２５で、第２差（Δ_２）が第２閾値以下の時、第１差（Δ_１）が第１閾値以下でないと判断されると、段階３２７で、新しいデータセット２０２のデータセットラベリング（例：第２データセットラベリング）に基づいて第１マシン学習モデル２１８を学習させる。段階３２７から、アルゴリズム３００は段階３０８に戻る。

【0061】

段階３２４で、第２差（Δ_２）が第２閾値より大きいと判断されると、段階３２８で、更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）に基づいて第１マシン学習モデル２１８を学習させる。

【0062】

段階３２９で、ゴールデンデータセット２１２のデータセットラベリング（例：第１データセットラベリング）を更新のゴールデンデータセット２１６のデータセットラベリング（例：更新の第１データセットラベリング）に更新する。

【0063】

段階３２９から、アルゴリズム３００は段階３０８に戻り、方法３００は引き続き進む。

【0064】

マシン学習モデル２１０、２１８に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ_１およびΔ_２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。２つのマシン学習モデル２１０、２１８の２つのデータセット［例：更新のゴールデンデータセット２１６と更新の新しいデータセット２０６］に対して同一の結果を算出すれば、敵対的学習方法３００を終える。

【0065】

本発明の一実施形態によれば、更新の新しいデータセット２０６または更新のゴールデンデータセット２１６が生成されると、第１分布調節モジュール２０４および第２分布調節モジュール２１４は、データサンプルを選択して決定をフリップ（ｆｌｉｐ）する（例：決定に対する確信がなければ、当該サンプルを次のラウンドのためにそのまま置く）。

【0066】

本発明の一実施形態によれば、ゴールデンデータセット２１２または新しいデータセット２０２のノイズラベルまたはエラーラベル（ｍｉｓｌａｂｅｌ）は、生きている人間のインスペクターによって識別可能であり、更新のゴールデンデータセット２１６および更新の新しいデータセット２０６が生成される。同一のインスペクターを用いてゴールデンデータセット２１２および新しいデータセット２０２をレビューすることによって、主観的なラベリング問題を低減することを推薦する。データセット内の不一致を低減することによって、インスペクターは、実際の決定境界（ｒｅａｌ ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）をおおまかに推察することができる。更新のゴールデンデータセット２１６と更新の新しいデータセット２０６の両者からの結果（例：データセットラベリング）に対してすべてのインスペクターが同意するまで、新しい基準２０８と学習マシン学習モデル２１０、２１８の更新のために［敵対的学習方法３００の］引き続き繰り返すことができる。

【0067】

本発明の一実施形態によれば、生きている人間のインスペクターは、全体ゴールデンデータセット２１２をレビューし、更新の新しいデータセット２０６のデータセットラベリング（例：更新の第２データセットラベリング）に対する新しい基準２０８により、ラベルを再びつけて更新のゴールデンデータセット２１６を生成することができる。しかし、新しい基準２０８（例：更新の第２データセットラベリング）により、生きている人間のインスペクターがゴールデンデータセット２１２を再びラベリングすることによって生成された更新のゴールデンデータセット２１６は、主観的なラベリング問題がありうる。そのため、マシンまたはマシン学習モデル（例：２１０）が新しい基準２０８（例：更新の第２データセットラベリング）により、ゴールデンデータセット２１２を再びラベリングすることが好ましい。

【0068】

敵対的学習方法３００は、２つの検査データセット（例：２０２）を新しいゴールデンデータセットに混合することによって、新しい評価データセット（ｎｅｗ ｅｖａｌｕａｔｉｏｎ ｄａｔａｓｅｔ）に拡張できる。新しいデータセットとして用いられる新しい評価データセットを受信して敵対的学習方法３００を適用することができる。

【0069】

本発明の一実施形態によれば、データセットラベリングの目的で他のサンプルと大きく相違しない特別なサンプルが２つのデータセット［例：新しいデータセット２０２およびゴールデンデータセット２１２］に含まれる。これは、細部事項をすべて学習するには小さすぎるデータセットの場合にそうである。この場合には、大きいデータセットの１つで類似するものを見つけたりサンプリングして他のデータセットに加えるカバリング（ｃｏｖｅｒｉｎｇ）のための合成データセットを生成することができる。

【0070】

本発明の一実施形態によれば、マシン学習モデル２１０、２１８を学習することは、ローカライザ（ｌｏｃａｌｉｚｅｒ）、特性抽出器（ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｏｒ）（例：１１０）および／または分類器（ｃｌａｓｓｉｆｉｅｒ）（例：１２０）のうちの１つ以上を学習することを意味することができる。本発明の一実施形態によれば、分類器（例：１２０）は、分類過程をデータセットに適用して分布調節過程（例：３００）に用いられる差を見つけることができる。本発明の一実施形態によれば、分類器（例：１２０）および特性抽出器（例：１１０）は、特性セット（ｆｅａｔｕｒｅ ｓｅｔ）を更新することもでき、これは、差を見つけるのと類似している。本発明の一実施形態によれば、ローカライザ、特性抽出器（例：１１０）および分類器（例：１２０）は、新しい検知位置を生成することができる。そのため、分類候補位置も更新される。

【0071】

図４は、本発明の他の実施形態による敵対的学習方法４００のブロック図である。図４の敵対的学習方法４００は、メモリを含むシステム内のプロセッサによって行われ、プロセッサは、メモリに格納された命令を実行する。

【0072】

敵対的学習方法４００で、学習データセット４０１および検査データセット４０２を受信する。学習データセット４０１は、第１データセットラベリングを含み、検査データセット４０２は、第２データセットラベリングを含むことができる。本発明の一実施形態によれば、マシン学習モデル４１０は、学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）を用いて学習される。

【0073】

検査データセット４０２は、学習させたマシン学習モデル４１０に提供され、再びラベリングされる。学習させたマシン学習モデル４１０に基づいて更新検査データセット４１５が生成される。例えば、更新検査データセット４１５は、学習させたマシン学習モデル４１０を用いて検査データセット４０２を分類することによって生成される。更新検査データセット４１５は、データセットラベリングに対する更新基準または検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）とは異なる更新の第２データセットラベリングを有することができる。更新検査データセット４１５は保持される（例：メモリに格納される）。

【0074】

次に、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）を検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）と比較して、更新の第２データセットラベリングと第２データセットラベリングとの間の第１差（Δ_１）を決定する。

【0075】

Δ_１＝（更新の第２データセットラベリング－第２データセットラベリング）。

【0076】

第１差（Δ_１）が第１閾値以下であると判断されると（ほぼ０であれば）、検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）に基づいてマシン学習モデル４２０を学習させる。

【0077】

しかし、第１差（Δ_１）が第１閾値より大きいと判断されると、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）に基づいてマシン学習モデル４２０を学習させる。検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）は、更新検査データセット４１５のデータセットラベリング（例：更新の第２データセットラベリング）に更新される。

【0078】

次に、学習データセット４０１が学習させたマシン学習モデル４２０に提供され、再びラベリングされる。学習させたマシン学習モデル４２０に基づいて更新学習データセット４２５を生成する。例えば、更新学習データセット４２５は、学習させたマシン学習モデル４２０を用いて学習データセット４０１を分類することによって生成される。更新学習データセット４２５は、原本データセットラベリングまたは学習データセット４０１の第１データセットラベリングとは異なる第１データセットラベリングを有することができる。更新学習データセット４２５は保持される。

【0079】

次に、更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）を学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）と比較し、更新の第１データセットラベリングと第１データセットラベリングとの間の第２差（Δ_２）を決定する。

【0080】

Δ_２＝（更新の第１データセットラベリング－第１データセットラベリング）。

【0081】

本発明の一実施形態によれば、現在周期の更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）を同一のデータセットの前の周期データセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ_２）を決定する。

【0082】

第２差（Δ_２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、プロセッサは、第１差（Δ_１）が第１閾値以下であるかを判断する。

【0083】

第１差（Δ_１）が第１閾値以下であり、第２差（Δ_２）が第２閾値以下であると判断されると、敵対的学習方法４００を終了する。

【0084】

しかし、第１差（Δ_１）が第１閾値以下でなく、第２差（Δ_２）は第２閾値以下であると判断されると、検査データセット４０２のデータセットラベリング（例：第２データセットラベリング）に基づいてマシン学習モデル４１０を学習させる。

【0085】

第２差（Δ_２）が第２閾値より大きいと決定されれば、更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）に基づいてマシン学習モデル４１０を更新または学習（または調節）させる。

【0086】

学習データセット４０１のデータセットラベリング（例：第１データセットラベリング）更新学習データセット４２５のデータセットラベリング（例：更新の第１データセットラベリング）に更新され、方法４００は引き続き進む。敵対的学習方法４００は、２つのマシン学習モデル４１０、４２０が２つのデータセット［例：更新学習データセット４２５と更新検査データセット４１５］に対して同一の結果を生成すれば完了できる。

【0087】

マシン学習モデル４１０、４２０に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ_１およびΔ_２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。

【0088】

図５は、本発明のさらに他の実施形態による敵対的学習方法５００のブロック図である。図５の敵対的学習方法５００は、メモリを含むシステム内のプロセッサによって行われ、プロセッサは、メモリに格納された命令を実行する。

【0089】

敵対的学習方法５００で、ゴールデンデータセット５０２を受信する。ゴールデンデータセット５０２は、第１データセットラベリングを含むことができる。結果データセット５１４も受信可能である。結果データセット５１４は、第２データセットラベリングを含むことができる。

【0090】

選択的に、マシン学習モデル５１２は、ゴールデンデータセット５０２のデータセットラベリング（例：第１データセットラベリング）を用いて学習される。

【0091】

結果データセット５１４は、学習させたマシン学習モデル５１２に提供され、再びラベリングされる。学習させたマシン学習モデル５１２に基づいて新しいデータセット５０４が生成される。例えば、新しいデータセット５０４は、学習させたマシン学習モデル５１２を用いて結果データセット５１４を分類することによって生成される。新しいデータセット５０４は、結果データセット５１４のデータセットラベリング（例：第２データセットラベリング）とは異なる更新データセットラベリング（例：更新の第２データセットラベリング）を有することができる。例えば、新しいデータセット５０４は、更新の第２データセットラベリングを含むことができる。本発明の一実施形態によれば、結果データセット５１４および新しいデータセット５０４は、ラベリングが異なる同一のデータを含むことができるが、例えば、結果データセット５１４は、第２データセットラベリングを含み、新しいデータセット５０４は、更新の第２データセットラベリングを含むことができる。新しいデータセット５０４は、マシン学習モデル５１２が結果データセット５１４に適用された後に、新しいクラスに移動した［結果データセット５１４の］データに対するデータサンプルラベルを更新する。

【0092】

第１差（Δ_１）は、更新の第２データセットラベリングと第２データセットラベリングとの間で決定される。

【0093】

Δ_１＝（更新の第２データセットラベリング－第２データセットラベリング）。

【0094】

第１差（Δ_１）を第１閾値と比較する。第１差（Δ_１）が第１閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、ゴールデンデータセット５０２が分布調節モジュール５０６に提供され、新しい基準５０８または新しいデータセット５０４のデータセットラベリング（例：第２データセットラベリング）に基づいて更新のゴールデンデータセット５１０を生成する。更新のゴールデンデータセット５１０は、原本データセットラベリングまたはゴールデンデータセット５０２の第１データセットラベリングとは異なる更新データセットラベリングを有することができる。
次に、更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）をゴールデンデータセット５０２のデータセットラベリング（例：第１データセットラベリング）と比較し、更新の第１データセットラベリングと第１データセットラベリングとの間の第２差（Δ_２）を決定する。

【0095】

Δ_２＝（更新の第１データセットラベリング－第１データセットラベリング）。

【0096】

本発明の一実施形態によれば、現在周期の更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）を同一のデータセットの前の周期データセットラベリング（例：第１データセットラベリング）と比較して、第２差（Δ_２）を決定する。

【0097】

第２差（Δ_２）が第２閾値より小さいまたは等しいと判断されると（ほぼ０であれば）、敵対的学習方法５００を終了する。そうでなければ、更新のゴールデンデータセット５１０のデータセットラベリング（例：更新の第１データセットラベリング）に基づいてマシン学習モデル５１２を学習させ、方法５００を継続する。敵対的学習方法５００は、マシン学習モデル５１２が２つのデータセット［例：更新のゴールデンデータセット５１０と新しいデータセット５０４］に対して同一の結果を生成すれば完了できる。

【0098】

マシン学習モデル５１２に対する学習過程を繰り返し実行することによって、繰り返すたびに小さくなる差または小さくなるΔ_２を得ることができ、これにより、インスペクターが決定境界（ｄｅｃｉｓｉｏｎ ｂｏｕｎｄａｒｙ）のデータだけをレビューすれば良いので、境界に対するビュー（ｖｉｅｗ）がより明確になり得る。

【0099】

「第１」、「第２」、「第３」などの用語を様々なエレメント、成分、領域、層、部分などに使用するが、これらはこのような修飾語によって限定されない。このような用語は、あるエレメント、成分、領域、層、部分を、他のエレメント、成分、領域、層、部分と区別するために使用するものであり、本発明の趣旨と範囲を逸脱しない。

【0100】

説明の便宜のために、図面に示したある部分または特性に対する他の部分または特性の関係を示すために、「下」、「下部」、「上」などの空間関係の用語を使用することができる。このような空間関係の用語は、図面に示した使用または動作する装置の互いに異なる位置および／または方向を示すためのものである。例えば、図面において、ある部分の「下」または「下部」にあると示した部分は、装置がひっくり返されると、逆に「上」にあるものになる。そのため、例えば、「下」および「下部」は、上と下をすべて示すことができる。装置が、例えば、９０度回転したり他の方向に向かうことができ、この場合、空間関係の用語はこれに合わせて解釈されなければならない。また、ある層が他の２つの層の「間」にあると表現した時、２つの層の間に当該層だけあってもよいが、１つ以上の他の層がさらにあってもよい。

【0101】

ここで使用された用語は、特定の実施形態を説明する目的で使用するだけであり、本発明を制限しようとするものではない。ここで、「実質的に」、「約」、「おおよそ」およびこれと類似する表現は、近似を示す表現に過ぎず、「程度」を示すものではなく、当業者が知っている測定値または計算値の固有の誤差を示すのに使用する。

【0102】

ここで、数を特に言及しなければ、単数または複数の場合をすべて含む。ある特徴、段階、動作、部分、成分などを「含む」という表現は、該当する部分以外に、他の特徴、段階、動作、部分、成分なども包含できることを意味する。「および／または」という表現は、挙げられたものの１つまたは２以上のすべての組み合わせを含む。挙げられたリストの前に記載した「少なくとも１つ」などの表現は、リスト全体を修飾するものであり、リスト内のそれぞれのものを修飾するものではない。また、本発明の実施形態を説明する時に使用する「できる」という表現は、「本発明の１つ以上の実施形態」に適用可能であることを意味する。「例示的な」という用語は、例または図面を示す。「使用」、「利用」などは、これと類似する他の表現と共に似た意味で使用できる。

【0103】

部分、層、領域、成分などが、他の部分、層、領域、成分の「上に」あったり、「連結されて」いると記載する場合、「直」上にあったり、または「直接」連結されている場合のみならず、中間に他の部分、層、領域、成分などがさらに介在している場合も含む。しかし、「真上に」あったり、「直接連結」されていると記載すれば、中間に他の部分がないことを意味する。

【0104】

ここに記載した数値範囲は、該当範囲内に含まれる同一の正確度のすべての部分範囲（ｓｕｂ－ｒａｎｇｅ）を含む。例えば、「１．０～１０．０」の範囲は、最小値１．０と最大値１０．０およびその間にあるすべての部分範囲、つまり、１．０以上の最小値と１０．０以下の最大値を有する部分範囲、例えば、２．４～７．６を含む。ここで言及した最大値はその中に含まれ、それより小さいすべての数値限界を含み、本明細書に記載した最小値はその中に含まれ、それより大きいすべての数値限界を含む。

【0105】

本発明の実施形態によれば、本発明の方法およびシステムの互いに異なる実施形態の１つ以上の出力は、本発明の方法およびシステムの互いに異なる実施形態の１つ以上の出力に関する１つ以上の出力または情報を表示する表示装置と連結されていたり、これを含む電子装置に伝送される。

【0106】

本発明の実施形態により説明した電子、電気装置および／または他の関連装置または部分は、適切なハードウェア、ファームウェア（例：応用注文型集積回路）、ソフトウェアまたはこれらの組み合わせを用いて実現することができる。例えば、これら装置の多様な構成要素を１つの集積回路チップに形成されてもよく、互いに異なる集積回路チップに実現することもできる。また、これら装置の多様な構成要素を可撓性印刷回路フィルム、テープキャリアパッケージ（ＴＣＰ：ｔａｐｅ ｃａｒｒｉｅｒ ｐａｃｋａｇｅ）、印刷回路基板などに実現したり、１つの基板上に形成することができる。また、これら装置の多様な構成要素をここで説明した多様な機能を行うためにコンピュータプログラム命令を実行し、他のシステム要素と相互作用する１つ以上のコンピュータ装置内にある１つ以上のプロセッサで実行できるプロセスまたはスレッド（ｔｈｒｅａｄ）であってもよい。コンピュータプログラム命令は、ラム（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などの標準メモリ装置を用いるコンピュータ装置に実現されたメモリに格納される。それだけでなく、当業者は、本発明の実施形態の概念と範囲を逸脱することなく多様なコンピュータ装置の機能を１つのコンピュータ装置に結合または統合したり、特定のコンピュータ装置の機能を１つ以上の他のコンピュータ装置に分散することもできる。

【0107】

以上、ノイズラベルに対する敵対的学習方法の実施形態について説明および図示したが、当業者であればこのような実施形態を変更および修正することもできる。したがって、ここで提示した原理により構成された他のノイズラベルに対する敵対的学習方法も本発明に含まれる。本発明は、以下の特許請求の範囲およびその等価物によって定義される。

【符号の説明】

【0108】

１００：前処理器
１０１：ムラ検知システム
１１０：特性抽出器
１２０：分類器
１３０：人的検査
２００、４００、５００：敵対的学習方法
２０２、５０４：新しいデータセット
２０４、２１４、５０６：分布調節モジュール
２０６：更新の新しいデータセット
２０８、５０８：新しい基準
２１０、２１８、４２０、５１２：マシン学習モデル
２１２、５０２：ゴールデンデータセット
２１６、５１０：更新のゴールデンデータセット
４０１：学習データセット
４０２：検査データセット
４２５：更新学習データセット
５１４：結果データセット

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】