(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024068120
(43)【公開日】2024-05-17
(54)【発明の名称】オートラベリング方法及び装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20240510BHJP
【ＦＩ】
G06N20/00 130
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2023173960
(22)【出願日】2023-10-06
(31)【優先権主張番号】10-2022-0145743
(32)【優先日】2022-11-04
(33)【優先権主張国・地域又は機関】KR
(71)【出願人】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】金 熙元
(72)【発明者】
【氏名】張 現盛
(72)【発明者】
【氏名】李 載允
(72)【発明者】
【氏名】▲ちょ▼ 基豪
(57)【要約】
【課題】 トレーニングデータセットのオートラベリングを提供する。
【解決手段】 一実施形態によれば、プロセッサによって実現される方法は、第１モデルによって検出された対応する信頼度及び第２モデルによって生成されて推定された修正ラベルに基づいて誤答ラベルを補正して取得された補正データサンプルを使用することを含み、トレーニングデータセットのデータサンプルに対するラベルの信頼度を予測するための第１モデルをトレーニングし、誤答ラベルに対して第１モデルによって生成された対応する信頼度に基づいて検出された誤答ラベルに対応する正解ラベルを推定することを含み、データサンプルに対する正解ラベルを推定するように第２モデルをトレーニングし、推定した他の正解ラベルによって誤答ラベルを自動補正する。
【選択図】図３
【解決手段】 一実施形態によれば、プロセッサによって実現される方法は、第１モデルによって検出された対応する信頼度及び第２モデルによって生成されて推定された修正ラベルに基づいて誤答ラベルを補正して取得された補正データサンプルを使用することを含み、トレーニングデータセットのデータサンプルに対するラベルの信頼度を予測するための第１モデルをトレーニングし、誤答ラベルに対して第１モデルによって生成された対応する信頼度に基づいて検出された誤答ラベルに対応する正解ラベルを推定することを含み、データサンプルに対する正解ラベルを推定するように第２モデルをトレーニングし、推定した他の正解ラベルによって誤答ラベルを自動補正する。
【選択図】図３
【特許請求の範囲】
【請求項1】
プロセッサによって実現される方法であって、
第１モデルによって検出された対応する信頼度及び第２モデルによって生成されて推定された修正ラベルに基づいて誤答ラベルを補正して取得された補正データサンプルを使用することを含み、トレーニングデータセットのデータサンプルに対するラベルの信頼度を予測するための第１モデルをトレーニングするステップと、
他の誤答ラベルに対して、前記第１モデルによって生成された前記対応する信頼度に基づいて検出された他の誤答ラベルに対応する更なる正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングするステップと、
前記推定した他の正解ラベルによって前記他の誤答ラベルを自動補正するステップと、
を含む、方法。
第１モデルによって検出された対応する信頼度及び第２モデルによって生成されて推定された修正ラベルに基づいて誤答ラベルを補正して取得された補正データサンプルを使用することを含み、トレーニングデータセットのデータサンプルに対するラベルの信頼度を予測するための第１モデルをトレーニングするステップと、
他の誤答ラベルに対して、前記第１モデルによって生成された前記対応する信頼度に基づいて検出された他の誤答ラベルに対応する更なる正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングするステップと、
前記推定した他の正解ラベルによって前記他の誤答ラベルを自動補正するステップと、
を含む、方法。
【請求項2】
前記第１モデル及び前記第２モデルそれぞれのトレーニングは、前記トレーニングデータセットのラベルに対する信頼度に基づいて、誤答ラベルを検出するように前記第１モデルを繰り返しトレーニングし、正解ラベルを推定するように前記第２モデルを繰り返しトレーニングさせる繰り返しトレーニングであり、
前記繰り返しトレーニングは、
前記ラベルのそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定するステップと、
第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングするステップと、
を含む、請求項１に記載の方法。
前記繰り返しトレーニングは、
前記ラベルのそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定するステップと、
第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングするステップと、
を含む、請求項１に記載の方法。
【請求項3】
ベルヌーイ分布に基づいて、前記正解ラベルを含む第２データサンプルをサンプリングすることによって前記トレーニングデータセットを前記誤答ラベルを含む第１データサンプルと前記正解ラベルを含む第２データサンプルとに分類するステップを含む、請求項２に記載の方法。
【請求項4】
前記第１パラメータを更新するステップは、前記補正したデータサンプルに対応する最大尤度に基づいて、前記第１モデルの第１パラメータを更新するステップを含む、請求項２に記載の方法。
【請求項5】
前記第１モデルをトレーニングするステップは、前記更新した第１パラメータに前記信頼度に対する正規化ペナルティのそれぞれを適用することによって前記第１モデルをトレーニングするステップを含む、請求項２に記載の方法。
【請求項6】
前記第１モデルをトレーニングするステップは、算出された交差エントロピーのロスに基づいて、前記第１モデルのパラメータ初期値を決定するステップをさらに含む、請求項１に記載の方法。
【請求項7】
前記第２モデルをトレーニングするステップは、
第１データサンプルの他の誤答ラベルに対応する他の正解ラベルの確率を推定するステップと、
前記他の正解ラベルの推定された確率を含む前記第１データサンプルを用いて、前記他の正解ラベルを推定するために前記第２モデルの第２パラメータを更新することにより前記第２モデルをトレーニングするステップと、
を含む、請求項１に記載の方法。
第１データサンプルの他の誤答ラベルに対応する他の正解ラベルの確率を推定するステップと、
前記他の正解ラベルの推定された確率を含む前記第１データサンプルを用いて、前記他の正解ラベルを推定するために前記第２モデルの第２パラメータを更新することにより前記第２モデルをトレーニングするステップと、
を含む、請求項１に記載の方法。
【請求項8】
前記トレーニングデータセットのデータサンプルを前記誤答ラベルを含む第１データサンプル及び前記信頼度の分布に基づいた前記正解ラベルを含む第２データサンプルに分類するステップをさらに含み、
前記データサンプルは、前記第１データサンプルがトレーニングデータ及び前記トレーニングデータに対応する前記誤答ラベルを含み、前記第２データサンプルがトレーニングデータ及び前記トレーニングデータに対応する正解ラベルを含むように混合されている、請求項１に記載の方法。
前記データサンプルは、前記第１データサンプルがトレーニングデータ及び前記トレーニングデータに対応する前記誤答ラベルを含み、前記第２データサンプルがトレーニングデータ及び前記トレーニングデータに対応する正解ラベルを含むように混合されている、請求項１に記載の方法。
【請求項9】
前記トレーニングデータは、イメージセンサによって取得された半導体の映像データを含む、請求項８に記載の方法。
【請求項10】
前記第１モデル及び前記第２モデルそれぞれは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｕｍ）アルゴリズムを基盤にトレーニングされる、請求項１に記載の方法。
【請求項11】
データサンプルを第１モデルに印加することによって前記データサンプルに対するラベルが誤答ラベルであるか否かを検出するステップを含み、
前記第１モデルは、前記ラベルに対する信頼度に基づいて、前記データサンプルに含まれた誤答ラベルを検出するようにトレーニングされた第１神経網を含む、オートラベリング方法。
前記第１モデルは、前記ラベルに対する信頼度に基づいて、前記データサンプルに含まれた誤答ラベルを検出するようにトレーニングされた第１神経網を含む、オートラベリング方法。
【請求項12】
前記データサンプルは、入力データ及び前記入力データに対応する前記ラベルを含み、
前記オートラベリング方法は、前記ラベルが前記誤答ラベルであるという決定により、前記入力データを第２モデルに印加することによって前記誤答ラベルに対応する正解ラベルを生成するステップをさらに含み、
前記第２モデルは、前記誤答ラベルを含むデータサンプルに対応する前記正解ラベルを推定するようにトレーニングされた第２神経網を含む、請求項１１に記載のオートラベリング方法。
前記オートラベリング方法は、前記ラベルが前記誤答ラベルであるという決定により、前記入力データを第２モデルに印加することによって前記誤答ラベルに対応する正解ラベルを生成するステップをさらに含み、
前記第２モデルは、前記誤答ラベルを含むデータサンプルに対応する前記正解ラベルを推定するようにトレーニングされた第２神経網を含む、請求項１１に記載のオートラベリング方法。
【請求項13】
入力データは、イメージセンサによって取得された半導体の映像データを含む、請求項１１に記載のオートラベリング方法。
【請求項14】
ハードウェアと結合して請求項１乃至１３のうちいずれか１項に記載の方法を実行させるためにコンピュータで読み出し可能な格納媒体に格納されたコンピュータプログラム。
【請求項15】
オートラベリングのための電子装置であって、
通信システムと、
前記通信システムによって受信されたトレーニングデータセットのデータサンプルに対応するラベルに対する信頼度に基づいて、前記トレーニングデータセットに含まれた誤答ラベルを検出する第１モデル、及び前記ラベルの正解ラベルを推定する第２モデルを繰り返しトレーニングし、前記第１モデル及び前記第２モデルのうち少なくとも１つを用いて前記誤答ラベルを補正したデータサンプルを生成するプロセッサと、
を含み、
前記プロセッサは、
前記第１モデルによって検出された対応する信頼度及び前記第２モデルによって生成されて推定された補正ラベルに基づいて前記誤答ラベルを補正することにより生成された前記補正されたデータサンプルを使用することを含み、前記信頼度を予測するように前記第１モデルをトレーニングし、
他の誤答ラベルに対して、第１モデルによって生成された対応する信頼度に基づいて検出された更なる誤答ラベルに対応する他の正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングし、
前記推定された他の正解ラベルによって前記他の誤答ラベルを自動補正する、電子装置。
通信システムと、
前記通信システムによって受信されたトレーニングデータセットのデータサンプルに対応するラベルに対する信頼度に基づいて、前記トレーニングデータセットに含まれた誤答ラベルを検出する第１モデル、及び前記ラベルの正解ラベルを推定する第２モデルを繰り返しトレーニングし、前記第１モデル及び前記第２モデルのうち少なくとも１つを用いて前記誤答ラベルを補正したデータサンプルを生成するプロセッサと、
を含み、
前記プロセッサは、
前記第１モデルによって検出された対応する信頼度及び前記第２モデルによって生成されて推定された補正ラベルに基づいて前記誤答ラベルを補正することにより生成された前記補正されたデータサンプルを使用することを含み、前記信頼度を予測するように前記第１モデルをトレーニングし、
他の誤答ラベルに対して、第１モデルによって生成された対応する信頼度に基づいて検出された更なる誤答ラベルに対応する他の正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングし、
前記推定された他の正解ラベルによって前記他の誤答ラベルを自動補正する、電子装置。
【請求項16】
前記プロセッサは、
前記ラベルそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定し、
前記信頼度の分布に基づいて、前記トレーニングデータセットのデータサンプルを前記誤答ラベルを含む第１データサンプルと前記正解ラベルを含む第２データサンプルとに分類し、
前記第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングする、請求項１５に記載の電子装置。
前記ラベルそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定し、
前記信頼度の分布に基づいて、前記トレーニングデータセットのデータサンプルを前記誤答ラベルを含む第１データサンプルと前記正解ラベルを含む第２データサンプルとに分類し、
前記第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングする、請求項１５に記載の電子装置。
【請求項17】
前記プロセッサは、前記補正したデータサンプルに対応する最大尤度に基づいて前記第１モデルの第１パラメータを更新する、請求項１６に記載の電子装置。
【請求項18】
前記プロセッサは、前記更新した第１パラメータに前記信頼度に対する正規化ペナルティのそれぞれをさらに適用して前記第１モデルをトレーニングする、請求項１６に記載の電子装置。
【請求項19】
前記プロセッサは、算出された交差エントロピーのロスに基づいて前記第１モデルの初期パラメータ値をさらに決定する、請求項１５に記載の電子装置。
【請求項20】
前記プロセッサは、第１データサンプルの他の誤答ラベルに対応する他の正解ラベルの確率を推定し、前記他の正解ラベルを推定するために、前記他の正解ラベルの推定確率を含む第１データサンプルを用いて前記第２モデルの第２パラメータを更新することで前記第２モデルをトレーニングする、請求項１５に記載の電子装置。
【発明の詳細な説明】
【技術分野】
【0001】
以下の開示は、オートラベリング方法及び装置に関する。
【背景技術】
【0002】
ディープラーニングモデル（Ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ）は、ラベルが表示された大量のデータを用いてトレーニングされることができる。例えば、トレーニングデータに誤ったラベルがラベリングされたデータが含まれている場合、トレーニングされたディープラーニングモデルが誤ったラベルを正解として誤認してトレーニングされることから、ディープラーニングモデルの正確度の性能が低下することがある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
一実施形態によれば、混合モデリング及び誤答ラベルを含むデータサンプルの分類を行う第１モデルと、リサンプリングを行う第２モデルのような役割が対称でない２つの神経網を用いてオートラベリングを行うことにある。
【0004】
一実施形態によれば、単に正規化された第１モデルを監督する教師のように動作し、及び／又はリサンプリングを行うために他の期待最大化（ＥＭ）周期で実行する第２モデルを用いてナチュラルに推論にとって優れる神経網モデルを提供することにある。
【0005】
一実施形態によれば、トレーニング装置は、トレーニングデータセットに誤答ラベルが含まれているため、データサンプルを完全に信頼できない状況でも第１モデルの検出モデルが誤答ラベルを検出し、誤答ラベルに対応する正解ラベルを推定するようにトレーニングすることにある。
【0006】
一実施形態によれば、トレーニング装置は、第２モデルのラベリングモデルが誤答ラベルに対する新しいラベルを自動付与するようトレーニングすることにある。
【0007】
一実施形態によれば、半導体エラー検査装置が半導体設備のエラー検査過程中に半導体欠陥の分類システムのトレーニングに使用されるデータの構成時、ノイズに該当する誤答ラベルを検出して自動補正することにある。
【0008】
一実施形態によれば、半導体エラー検査装置がラベラー（ｌａｂｅｌｅｒ）に持続的なフィードバックを受けて誤答ラベルを直し、トレーニングする方法を使用しなくても自動に誤答ラベルを検出及び補正することにある。
【課題を解決するための手段】
【0009】
一実施形態によれば、プロセッサによって実現される方法は、第１モデルによって検出された対応する信頼度及び第２モデルによって生成されて推定された修正ラベルに基づいて誤答ラベルを補正して取得された補正データサンプルを使用することを含み、トレーニングデータセットのデータサンプルに対するラベルの信頼度を予測するための第１モデルをトレーニングするステップと、他の誤答ラベルに対して、前記第１モデルによって生成された前記対応する信頼度に基づいて検出された他の誤答ラベルに対応する更なる正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングするステップと、前記推定した他の正解ラベルによって前記他の誤答ラベルを自動補正するステップとを含む。
【0010】
前記第１モデル及び前記第２モデルそれぞれのトレーニングは、前記トレーニングデータセットのラベルに対する信頼度に基づいて、誤答ラベルを検出するように前記第１モデルを繰り返しトレーニングし、正解ラベルを推定するように前記第２モデルを繰り返しトレーニングさせる繰り返しトレーニングであり、前記繰り返しトレーニングは、前記ラベルのそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定するステップと、前記第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングするステップとを含むことができる。
【0011】
前記方法は、ベルヌーイ分布に基づいて、前記正解ラベルを含む第２データサンプルをサンプリングすることによって前記データセットを前記誤答ラベルを含む第１データサンプルと前記正解ラベルを含む第２データサンプルとに分類するステップを含むことができる。
【0012】
前記第１パラメータを更新するステップは、前記補正したデータサンプルに対応する最大尤度に基づいて、前記第１モデルの第１パラメータを更新するステップを含むことができる。
【0013】
前記第１モデルをトレーニングするステップは、前記更新した第１パラメータに前記信頼度に対する正規化ペナルティのそれぞれを適用することによって前記第１モデルをトレーニングするステップを含むことができる。
【0014】
前記第１モデルをトレーニングするステップは、算出された交差エントロピーのロスに基づいて、前記第１モデルのパラメータ初期値を決定するステップをさらに含むことができる。
【0015】
前記第２モデルをトレーニングするステップは、前記第１データサンプルの他の誤答ラベルに対応する他の正解ラベルの確率を推定するステップと、前記他の正解ラベルの推定された確率を含む前記第１データサンプルを用いて、前記他の正解ラベルを推定するために前記第２モデルの第２パラメータを更新することにより前記第２モデルをトレーニングするステップとを含むことができる。
【0016】
前記方法は、前記トレーニングデータセットのデータサンプルを前記誤答ラベルを含む第１データサンプル及び前記信頼度の分布に基づいた前記正解ラベルを含む第２データサンプルに分類するステップをさらに含み、前記データサンプルは、前記第１データサンプルが前記トレーニングデータ及び前記トレーニングデータに対応する前記誤答ラベルを含み、前記第２データサンプルが前記トレーニングデータ及び前記トレーニングデータに対応する正解ラベルを含むように混合されることができる。
【0017】
前記トレーニングデータは、イメージセンサによって取得された半導体の映像データを含むことができる。
【0018】
前記第１モデル及び前記第２モデルそれぞれは、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｕｍ）アルゴリズムを基盤にトレーニングされることができる。
【0019】
一実施形態に係るオートラベリング方法は、データサンプルを第１モデルに印加することによって前記データサンプルに対するラベルが誤答ラベルであるか否かを検出するステップを含み、前記第１モデルは、前記ラベルに対する信頼度に基づいて、前記データサンプルに含まれた誤答ラベルを検出するようにトレーニングされた第１神経網を含む。
【0020】
前記データサンプルは、入力データ及び前記入力データに対応する前記ラベルを含み、前記オートラベリング方法は、前記ラベルが前記誤答ラベルであるという決定により、前記入力データを第２モデルに印加することによって前記誤答ラベルに対応する正解ラベルを生成するステップをさらに含み、前記第２モデルは、前記誤答ラベルを含むデータサンプルに対応する前記正解ラベルを推定するようにトレーニングされた第２神経網を含むことができる。
【0021】
前記入力データは、イメージセンサによって取得された半導体の映像データを含むことができる。
【0022】
一実施形態によると、オートラベリングのための電子装置は、通信システムと、前記通信システムによって受信されたトレーニングデータセットのデータサンプルに対応するラベルに対する信頼度に基づいて、前記トレーニングデータセットに含まれた誤答ラベルを検出する第１モデル、及び前記ラベルの正解ラベルを推定する第２モデルを繰り返しトレーニングし、前記第１モデル及び前記第２モデルのうち少なくとも１つを用いて前記誤答ラベルを補正したデータサンプルを生成するプロセッサとを含み、前記プロセッサは、前記第１モデルによって検出された対応する信頼度及び前記第２モデルによって生成されて推定された補正ラベルに基づいて前記誤答ラベルを補正することにより生成された前記補正されたデータサンプルを使用することを含み、前記信頼度を予測するように前記第１モデルをトレーニングし、他の誤答ラベルに対して、第１モデルによって生成された対応する信頼度に基づいて検出された更なる誤答ラベルに対応する他の正解ラベルを推定することを含み、前記データサンプルに対する正解ラベルを推定するように前記第２モデルをトレーニングし、前記推定された他の正解ラベルによって前記他の誤答ラベルを自動補正する。
【0023】
前記プロセッサは、前記ラベルそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む前記信頼度を決定し、前記信頼度の分布に基づいて、前記トレーニングデータセットのデータサンプルを前記誤答ラベルを含む第１データサンプルと前記正解ラベルを含む第２データサンプルとに分類し、前記第１データサンプルで前記誤答ラベルを補正して取得した補正データサンプルを用いて前記信頼度を予測するために、前記第１モデルの第１パラメータを更新して前記第１モデルをトレーニングすることができる。
【0024】
前記プロセッサは、前記補正したデータサンプルに対応する最大尤度に基づいて前記第１モデルの第１パラメータを更新することができる。
【0025】
前記プロセッサは、前記更新した第１パラメータに前記信頼度に対する正規化ペナルティのそれぞれをさらに適用して前記第１モデルをトレーニングすることができる。
【0026】
前記プロセッサは、算出された交差エントロピーのロスに基づいて前記第１モデルの初期パラメータ値をさらに決定することができる。
【0027】
前記プロセッサは、前記第１データサンプルの他の誤答ラベルに対応する他の正解ラベルの確率を推定し、前記他の正解ラベルを推定するために、前記他の正解ラベルの推定確率を含む第１データサンプルを用いて前記第２モデルの第２パラメータを更新することで前記第２モデルをトレーニングすることができる。
【発明の効果】
【0028】
本発明によると、混合モデリング及び誤答ラベルを含むデータサンプルの分類を行う第１モデルと、リサンプリングを行う第２モデルのような役割が対称でない２つの神経網を用いてオートラベリングを行うことができる。
【0029】
本発明によると、単に正規化された第１モデルを監督する教師のように動作し、及び／又はリサンプリングを行うために他の期待最大化（ＥＭ）周期で実行する第２モデルを用いてナチュラルに推論にとって優れる神経網モデルを提供することができる。
【0030】
本発明によると、トレーニング装置は、トレーニングデータセットに誤答ラベルが含まれているため、データサンプルを完全に信頼できない状況でも第１モデルの検出モデルが誤答ラベルを検出し、誤答ラベルに対応する正解ラベルを推定するようにトレーニングすることができる。
【0031】
本発明によると、トレーニング装置は、第２モデルのラベリングモデルが誤答ラベルに対する新しいラベルを自動付与するようにトレーニングすることができる。
【0032】
本発明によると、半導体エラー検査装置が半導体設備のエラー検査過程中に半導体欠陥の分類システムのトレーニングに使用されるデータの構成時、ノイズに該当する誤答ラベルを検出して自動補正することができる。
【0033】
本発明によると、半導体エラー検査装置がラベラーに持続的なフィードバックを受けて誤答ラベルを直し、トレーニングする方法を使用しなくても自動的に誤答ラベルを検出及び補正することで、費用及び時間の側面における効率性を高めることができる。
【図面の簡単な説明】
【0034】
【図1】一実施形態に係るオートラベリングのためのモデルをトレーニングする装置を示す図である。
【図2】一実施形態に係るオートラベリングのためのトレーニング方法を示したフローチャートである。
【図3】一実施形態に係る第１モデルをトレーニングする方法を示したフローチャートである。
【図4】一実施形態に係る第２モデルをトレーニングする方法を示したフローチャートである。
【図5】一実施形態に係る第１モデルと第２モデルを繰り返しトレーニングする方法を説明するための図である。
【図6】一実施形態に係るオートラベリングのためのトレーニング装置の動作を表現した図である。
【図7】一実施形態に係るオートラベリング方法を示したフローチャートである。
【図8】一実施形態によりトレーニングされた検出モデル及びオートラベリングモデルを利用した半導体エラー検査装置の動作を説明するための図である。
【図9】一実施形態によりトレーニングされた検出モデルを利用した誤答ラベル検出装置の動作を説明するための図である。
【図10】一実施形態によりトレーニングされたオートラベリングモデルを利用したオートラベリング装置の動作を説明するための図である。
【図11】一実施形態に係るオートラベリングのためのトレーニング装置のブロック図である。
【図12】一実施形態に係るオートラベリングを行う電子装置のブロック図である。
【発明を実施するための形態】
【0035】
実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものであって、様々な形態に変更されることができる。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。
【0036】
第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素は第１構成要素にも命名することができる。
【0037】
いずれかの構成要素が他の構成要素に「連結」されているか「接続」されていると言及されたときには、その他の構成要素に直接的に連結されているか又は接続されているが、中間に他の構成要素が存在し得るものと理解されなければならない。
【0038】
単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は、明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0039】
異なるように定義されない限り、技術的又は科学的な用語を含んで、ここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈されなければならず、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0040】
以下、添付する図面を参照しながら実施形態を詳細に説明する。図面を参照して説明する際に、図面符号に拘わらず同じ構成要素は同じ参照符号を付与し、これに対する重複する説明は省略する。
【0041】
図１は、一実施形態に係るオートラベリングのためのモデルをトレーニングする装置を示した図である。図１を参照すると、一実施形態に係るニューラルネットワークのトレーニングデータセットに含まれるラベルのうち誤答ラベルが含まれている場合、誤答ラベルに強くニューラルネットワークをトレーニングするトレーニング装置１００の構造が図示される。ここで、ニューラルネットワークを一例として説明するが、必ずこれに限定されることはない。
【0042】
トレーニング装置１００は、神経網（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ニューラルネットワーク））をトレーニングするためのトレーニングデータセットに誤ったラベル、言い換えれば、誤答ラベルが含まれているとき、誤答ラベルに神経網モデルを強靭にトレーニングし得る。トレーニング装置１００は、誤答ラベルを判別する第１モデル１１０とオートリラベリング（ｒｅ－ｌａｂｅｌｉｎｇ）を行う第２モデル１３０を含んでもよい。
【0043】
第１モデル１１０は、トレーニングデータセットに含まれる誤答ラベルを検出する。第１モデル１１０は、第１ニューラルネットワークを含むディープラーニングモデルに該当する。
【0044】
第１モデル１１０は、データセットに含まれたデータサンプルのうち当該データに対応するラベルが正解であるデータサンプルと、当該データに対応するラベルがノイズ（ｎｏｉｓｅ）又は誤ったラベルに該当するデータサンプルを分類することができる。又は、第１モデル１１０は、データセットに含まれたラベルのうち誤答ラベルがラベリングされたデータサンプルと正解ラベルがラベリングされたデータサンプルとを判別し、トレーニングデータセットを２つのセットに分類することができる。
【0045】
第２モデル１３０は、全体データセットのラベルを再び付与することができる。又は、第２モデル１３０は、第１モデル１１０によって検出された誤答ラベルを含むデータサンプルに対するリラベリングを行うことができる。第２モデル１３０は、第２神経網を含むディープラーニングモデルに当該する。第２モデル１３０は、誤答ラベルでデータサンプルを修正し、誤答ラベルが修正されたリラベリングされたデータサンプルを出力してもよい。また、第２モデル１３０は、ラベルのないデータが入力された場合、当該データに対応するラベルを自動的にラベリングしてもよい。
【0046】
本明細書において、当該データに対応するラベルが正解であるラベルを「正解ラベル」と呼び、当該データに対応するラベルがノイズ、又は、間違ってラベリングされたラベルに該当する場合、「誤答ラベル」又は「ノイズラベル」と呼ぶ。また、本明細書で誤答ラベルを含む、言い換えれば、誤答ラベルがラベリングされたデータサンプルを「第１データサンプル」と呼ぶ。第１データサンプルは、ノイズ又はエラーによって損傷された点で「損傷したデータサンプル（ｃｏｒｒｕｐｔｅｄ ｄａｔａ ｓａｍｐｌｅ）」とも呼ぶ。用語「第１データサンプル」と「損傷したデータサンプル」は互いに混用されてもよい。
【0047】
正解ラベルを含む、言い換えれば、正解ラベルがラベリングされたデータサンプルを「第２データサンプル」と呼ぶ。第２データサンプルは、ノイズ又はエラーがないという点で「クリーンデータサンプル（ｃｌｅａｎ ｄａｔａ ｓａｍｐｌｅ）」とも呼ぶ。用語「第２データサンプル」と「クリーンデータサンプル」は互いに混用されてもよい。トレーニングデータセットは、１つ以上の第１データサンプル及び１つ以上の第２データサンプルと混合されてもよい。
【0048】
トレーニング装置１００は、第１モデル１１０と第２モデル１３０を繰り返しトレーニングしてもよい。トレーニング装置１００は、繰り返し学習（ｉｔｅｒａｔｉｖｅ ｌｅａｒｎｉｎｇ）を介して第１モデル１１０及び第２モデル１３０の繰り返し学習を行ってもよい。繰り返し学習は、第１モデル１１０で算出された結果を第２モデル１３０に適用して第２モデル１３０をトレーニングし、トレーニングされた第２モデル１３０によって算出された結果を適用し、第１モデル１１０をトレーニングし得る。
【0049】
第１モデル１１０は、データセットに含まれた全体データサンプルのうち、誤答ラベルを含む第１データサンプルの比率を予測できる。第１モデル１１０は、予測した第１データサンプルの比率によりデータサンプルを第１データサンプルと第２データサンプルとに分類する。第１モデル１１０は、第２モデル１３０で予測された結果を用いて、各データサンプルが正解に該当する第１確率（例えば、ｑｎ）を算出する。第１モデル１１０は、第１確率に対するベルヌーイ分布（Ｂｅｒｎｏｕｌｌｉ ｄｉｓｔｒｉｂｕｔｉｏｎ）によって正解ラベルを含む第２データサンプルをそれぞれサンプリングすることができる。
【0050】
第２モデル１３０のパラメータは、正解ラベルを含む第２データサンプルによって更新され得る。更新された第２モデル１３０は、誤答ラベルを補正する。第２モデル１３０は、補正した誤答ラベルを含むデータサンプルを用いて第１モデル１１０のパラメータを更新する。本明細書で、第１モデル１１０のパラメータは「第１パラメータ」と呼び、第２モデル１３０のパラメータは「第２パラメータ」と呼ぶことにする。
【0051】
第１モデル１１０と第２モデル１３０は、前述した繰り返しの構造を介して繰り返し学習され得る。
【0052】
図２は、一実施形態に係るオートラベリングのための繰り返しトレーニング方法を示したフローチャートである。以下、実施形態で各ステップは順に実行されてもよいが、必ず順に実行されなくてもよい。例えば、各ステップの順が変更されてもよく、少なくとも２つのステップが並列的に実行されてもよく、又は、トレーニング方法を最適化するための付加的なステップが追加されてもよい。
【0053】
図２を参照すると、一実施形態に係る繰り返しトレーニング装置（例えば、トレーニング装置１００）によって生成されたデータサンプルの誤答ラベルを補正するために、例示的な動作（ステップＳ２１０～ステップＳ２３０）が実行される。
【0054】
ステップＳ２１０において、トレーニング装置は、トレーニングデータセットに含まれたラベルに対する信頼度に基づいて、トレーニングデータセットに含まれたラベルのうち誤答ラベルを検出する第１モデル、及びラベルの正解ラベルを推定する第２モデルを繰り返しトレーニングする。トレーニングデータセットには、トレーニングデータとトレーニングデータに対応する誤答ラベルを含む第１データサンプル、及びトレーニングデータ及びトレーニングデータに対応する正解ラベルを含む第２データサンプルが混合し得る。ここで、「トレーニングデータに対応する（誤答又は正解）ラベル」は、当該トレーニングデータにラベリングされた（誤答又は正解）ラベルを指すものと理解される。トレーニングデータセットは入力データ、例えば、半導体、あるいは３次元空間を撮影するために構成されてもよく、イメージセンサによって取得された映像データであってもよいが、必ずこれに限定されることはない。例えば、イメージセンサは、トレーニング装置又はトレーニング装置の外観に含まれてもよい。イメージデータは、外部のイメージセンサからトレーニング装置の通信システムによって取得されてもよい。
【0055】
第１モデル及び第２モデルのそれぞれは、例えば、以下の図５を参照して後述する期待最大化（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｕｍ；ＥＭ）アルゴリズムを基盤にトレーニングされてもよい。
【0056】
ステップＳ２１１において、繰り返しトレーニング装置は、誤答ラベルを補正したデータサンプルを用いて、ラベルに対する信頼度を予測するように第１モデルをトレーニングする。繰り返しトレーニング装置が第１モデルをトレーニングする方法は、以下の図３を参照して後述する。
【0057】
ステップＳ２１３において、繰り返しトレーニング装置は、第１モデルのより予測した信頼度に基づいて分類された、誤答ラベルを含む第１データサンプルに対応する正解ラベルを推定するように第２モデルをトレーニングする。繰り返しトレーニング装置が第２モデルをトレーニングする方法は、以下の図４を参照して後述する。
【0058】
ステップＳ２１５において、繰り返しトレーニング装置は、第２モデルによって推定した正解ラベル（又は、新しい補正されたラベル）により誤答ラベルを補正又はリラベリングする。
【0059】
ステップＳ２３０において、繰り返しトレーニング装置は、ステップＳ２１０で繰り返しトレーニングされた第１モデル及び第２モデルのうち少なくとも１つを用いて、誤答ラベルを補正したデータサンプルを生成する。
【0060】
図３は、一実施形態に係る第１モデルをトレーニングする方法を示したフローチャートである。以下、実施形態で各ステップは順に実行されてもよいが、必ず順に実行されなくてもよい。例えば、各ステップの順が変更されてもよく、少なくとも２つのステップが並列的に実行されてもよく、又は、トレーニング方法を最適化するための付加的なステップが追加されてもよい。図３を参照すると、一実施形態に係るトレーニング装置（例えば、トレーニング装置１００）は、ステップＳ３１０～ステップＳ３４０をさらに含んでもよく、ステップＳ２１１を介して第１モデルをトレーニングしてもよい。
【0061】
ステップＳ３１０において、トレーニング装置は、ラベルそれぞれが正解に該当する第１確率及び誤答に該当する第２確率を含む信頼度を決定する。
【0062】
ステップＳ３２０において、トレーニング装置は、ステップＳ３１０で決定した信頼度の分布に基づいて、データセットを誤答ラベルを含む第１データサンプルと正解ラベルを含む第２データサンプルとに分類する。トレーニング装置は、例えば、ベルヌーイ分布（Ｂｅｒｎｏｕｌｌｉ Ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づいて、正解ラベルを含む第２データサンプルをサンプリングしてもよい。
【0063】
ステップＳ３３０において、トレーニング装置は、ステップＳ３２０で分類した第１データサンプルで誤答ラベルを補正したデータサンプルを用いて、第１モデルの第１パラメータを更新する。トレーニング装置は、例えば、第１データサンプルで誤答ラベルを補正したデータサンプルに対応する最大尤度（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ）に基づいて、第１モデルの第１パラメータを更新し得る。
【0064】
ステップＳ３４０において、トレーニング装置は、ステップＳ３３０で更新した第１パラメータに基づいて、信頼度を予測するように第１モデルをトレーニングする。トレーニング装置は、例えば、交差エントロピーに基づいて、第１モデルのパラメータ初期値を決定してもよい。トレーニング装置は、ステップＳ３３０で更新した第１パラメータに信頼度に対する正規化ペナルティをさらに考慮して第１モデルをトレーニングしてもよい。正規化ペナルティについては、図５を参照して後述する。
【0065】
図４は、一実施形態に係る第２モデルをトレーニングする方法を示したフローチャートである。以下、実施形態で各ステップは順に実行されてもよいが、必ず順に実行されなくてもよい。例えば、各ステップの順が変更されてもよく、少なくとも２つのステップが並列的に実行されてもよく、又は、トレーニング方法を最適化するための付加的なステップが追加されてもよい。
【0066】
図４を参照すると、一実施形態に係るトレーニング装置は、ステップＳ４１０～ステップＳ４３０をさらに含んでもよく、ステップＳ２１３を介して第２モデルをトレーニングしてもよい。
【0067】
ステップＳ４１０において、トレーニング装置は、第１データサンプルの誤答ラベルに対応する正解ラベルの確率を推定する。
【0068】
ステップＳ４２０において、トレーニング装置は、ステップＳ４１０で推定した正解ラベルの確率を含む第１データサンプルを用いて第２モデルの第２パラメータを更新する。
【0069】
ステップＳ４３０において、トレーニング装置は、ステップＳ４２０で更新した第２パラメータに基づいて、誤答ラベルに対応する正解ラベルを推定するように第２モデルをトレーニングする。
【0070】
図５は、一実施形態に係る第１モデルと第２モデルを繰り返しトレーニングする方法を説明するための図である。図５を参照すると、一実施形態に係る第１モデル１１０と第２モデル１３０が期待最大化（ＥＭ）アルゴリズムを基盤にトレーニングされる過程を示す図５００が示されている。一実施形態では、第１モデル１１０及び第２モデル１３０のいずれか１つ又は両方は、神経網（例えば、別個の神経網又は同じ神経網の異なる位置）である。
【0071】
第１モデル１１０は、混合物モデリング及びノイズデータのフィッティングを行う。混合物モデリングは、誤答ラベルを含む第１データサンプル、及び正解ラベルを含む第２データサンプルを混合してデータセットを生成する過程に当該する。
【0072】
第２モデル１３０は、ラベル改修（ｌａｂｅｌ ｒｅｆｕｒｂｉｓｈｍｅｎｔ）、言い換えれば、ラベル補正を行ってもよい。一実施形態において、トレーニング装置は、期待最大化（ＥＭ）アルゴリズムを用いて第１モデル１１０と第２モデル１３０の２つの神経網を最適化することができる。第１モデル１１０と第２モデル１３０は、各作業を解決するために固有な期待最大化（ＥＭ）アルゴリズムを実行してもよい。
【0073】
期待最大化（ＥＭ）アルゴリズムは、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）で主に使用されるアルゴリズムであって、Ｅ（Ｅｘｐｅｃｔａｔｉｏｎ；期待）－ｓｔｅｐと、Ｍ（Ｍａｘｉｍｕｍ；最大化）－ｓｔｅｐの２つのステップに分類される。期待最大化（ＥＭ）アルゴリズムは、Ｅ－ＳｔｅｐとＭ－Ｓｔｅｐを繰り返して最適なパラメータ値を探すことができる。
【0074】
Ｅ－ｓｔｅｐでは、与えられた任意のパラメータ初期値で尤度と最大に近似の尤度値を算出し得る。
【0075】
Ｍ－Ｓｔｅｐでは、Ｅ－Ｓｔｅｐで算出された尤度値を最大化（ｍａｘｉｍｉｚｅ）する新しいパラメータ値を取得することができる。
【0076】
期待最大化（ＥＭ）アルゴリズムは、Ｍ－ＳｔｅｐとＥ－Ｓｔｅｐを継続的に繰り返して最適なパラメータに近似の値を探していく過程をいう。期待最大化（ＥＭ）アルゴリズムは、求めようとするパラメータの関数（例えば、確率分布）に対して確率変数を定義し、これに対する最適化を行うことにより最適なパラメータを得ることができる。
【0077】
第１モデル１１０は、「メインネットワーク（Ｍａｉｎ ｎｅｔｗｏｒｋ）」又は「区分子（Ｄｉｓｔｉｎｇｕｉｓｈｅｒ）」と呼ばれ、誤答ラベルを検出する主な動作を行ってもよい。また、第２モデル１３０は「補助ネットワーク（Ａｕｘｉｌｉａｒｙ ｎｅｔｗｏｒｋ）」又は「改修子（Ｒｅｆｕｒｂｉｓｈｅｒ）」と呼ばれ、データの正解ラベルを推定して誤答ラベルを補正する補助的な動作を行ってもよい。
【0078】
例えば、誤答ラベルがラベリングされた第１データサンプルと正解ラベルがラベリングされた第２データサンプルの混合物に該当するトレーニングデータセット
を仮定する。ここで、ｘｋはｋ番目の映像データを示し、
はＫ個の映像データに対応するラベルを示す。ここで、Ｋはクラスの数を示す。
【数1】
を仮定する。ここで、ｘｋはｋ番目の映像データを示し、
【数2】
はＫ個の映像データに対応するラベルを示す。ここで、Ｋはクラスの数を示す。
【0079】
第１モデル１１０は、トレーニングデータセットでクリーンデータサンプルである第２データサンプルＤｌと損傷したデータサンプルである第１データサンプルＤｕが何であるかを区別することができる。ここで、ラベリングは、映像データｘが与えられたとき、（ｘ、ｙ）が多様体（ｍａｎｉｆｏｌｄ）に置かれるようにするラベルｙを探す過程といえる。
【0080】
一実施形態において、焦点は、誤答ラベルをラベリングするものであってもよく、したがって、混合モデルとしてトレーニングデータセットを下記の数式（１）のように条件付き形式に定義することができる。
［数式（１）］
ｘは映像データを示し、
は当該映像データにラベリングされた誤答ラベルを示す。
は神経網を介して実現しようとする分類器モデルに当該する。
はトレーニングデータセットに含まれた映像データに誤答ラベルがラベリングされる確率を示す。εは、損傷したデータサンプルの分布を示す。πは、全体トレーニングデータセットに含まれているクリーンデータサンプル（第２データサンプル）の比率を示す。
［数式（１）］
【数3】
ｘは映像データを示し、
【数4】
は当該映像データにラベリングされた誤答ラベルを示す。
【数5】
は神経網を介して実現しようとする分類器モデルに当該する。
【数6】
はトレーニングデータセットに含まれた映像データに誤答ラベルがラベリングされる確率を示す。εは、損傷したデータサンプルの分布を示す。πは、全体トレーニングデータセットに含まれているクリーンデータサンプル（第２データサンプル）の比率を示す。
【0081】
ここで、
であってもよい。
【数7】
であってもよい。
【0082】
一実施形態において、確率ｐ（ｘ）を媒介変数化しない代わりに、必要な時ごとにデータ分布ｐｄａｔａ（ｘ）を使用してもよい。
【0083】
第１モデル１１０は、分類ネットワーク（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｎｅｔｗｏｒｋ）ｇによってｐｍａｎｉｆｏｌｄ（｜ｘ）をモデリングしてもよい。ここで、分類ネットワークｇの入力に該当する映像データｘに対する応答として、分類ネットワークｇのソフトマックス（ｓｏｆｔｍａｘ）出力を
に表示してもよい。
【数8】
に表示してもよい。
【0084】
数式（１）において、
を
のように定数として扱って誤答ラベルを処理するための第１モデル１１０を仮定する。εが定数であるという仮定を緩和したモデルについては後述する。
【数9】
を
【数10】
のように定数として扱って誤答ラベルを処理するための第１モデル１１０を仮定する。εが定数であるという仮定を緩和したモデルについては後述する。
【0085】
トレーニングデータセットに含まれる映像データに誤答ラベルがラベリングされる確率は、以下記の数式（２）のように示す。
［数式（２）］
数式（２）は、下記の数式（３）を解いた結果を数式（２）に代入することによって解決される。
［数式（３）］
ここで、θｇは、第１モデル１１０に含まれた第１神経網ｇのパラメータを示す。しかし、数式（３）だけでは、第１データサンプルと第２データサンプルを分離することに失敗することがある。
［数式（２）］
【数11】
数式（２）は、下記の数式（３）を解いた結果を数式（２）に代入することによって解決される。
［数式（３）］
【数12】
ここで、θｇは、第１モデル１１０に含まれた第１神経網ｇのパラメータを示す。しかし、数式（３）だけでは、第１データサンプルと第２データサンプルを分離することに失敗することがある。
【0086】
第１モデル１１０の神経網が任意の機能を実現するのに十分な容量がある場合、より具体的には、データセットの全ての
に対して
を作るθｇが存在する場合、数式（３）のログ尤度は
によって最大化され得る。
【数13】
に対して
【数14】
を作るθｇが存在する場合、数式（３）のログ尤度は
【数15】
によって最大化され得る。
【0087】
神経網は、損傷したデータサンプルより先にクリーンデータサンプルにフィッティングする傾向を示す。これは、トレーニングデータセットで比較的に多い数のクリーンデータサンプルの傾きによると、ネットワークが整合しないときにも損失減少に有利であるためである。複雑な神経網モデルも初期トレーニング段階では、単純なモデルのように動作する。このような理由で神経網のトレーニング時には一般にウォーミングアップ期間が所要され、ウォーミングアップ期間の間に第１モデル１１０は、トレーニングデータセットに含まれたデータサンプルをクリーンデータサンプルグループと損傷したデータサンプルグループとの２つのグループに分離し、その後、２つのグループ間のフィッティングスコアの差を保持したり広げることができる。しかし、傾きが続けて進行されるにつれて一般にモデルの複雑性による不利益を与えるη（ｇ）というペナルティ項（ｐｅｎａｌｔｙ ｔｅｒｍ）が必要なこともある。ペナルティ項η（ｇ）によって修正された目的関数は、下記の数式（４）のように示される。ペナルティ項については、下記の図５の過程５７５で後述する。
［数式（４）］
トレーニング装置は、第１モデル１１０でＥ－Ｓｔｅｐ５１０を繰り返して各データセットに含まれているラベルに対する信頼度を推定することができる。言い換えれば、トレーニング装置は、Ｅ－Ｓｔｅｐ５１０で当該データサンプルのラベルが誤答ラベル
である確率を示す隠れ変数（ｓｉ）を推定することができる。一実施形態では、第１モデル１１０は、当該ラベルが正解ラベルを含むクリーンデータサンプルからのものであれば、例えば、隠れ変数ｓｉ＝１で示す。他の実施形態において、当該ラベルが誤答ラベルを含む損傷したデータサンプルからのものであれば、例えば、隠れ変数ｓｉ＝０で示す。
［数式（４）］
【数16】
トレーニング装置は、第１モデル１１０でＥ－Ｓｔｅｐ５１０を繰り返して各データセットに含まれているラベルに対する信頼度を推定することができる。言い換えれば、トレーニング装置は、Ｅ－Ｓｔｅｐ５１０で当該データサンプルのラベルが誤答ラベル
【数17】
である確率を示す隠れ変数（ｓｉ）を推定することができる。一実施形態では、第１モデル１１０は、当該ラベルが正解ラベルを含むクリーンデータサンプルからのものであれば、例えば、隠れ変数ｓｉ＝１で示す。他の実施形態において、当該ラベルが誤答ラベルを含む損傷したデータサンプルからのものであれば、例えば、隠れ変数ｓｉ＝０で示す。
【0088】
前述した過程はベイズ（Ｂａｙｅｓ）の規則により全ての周期ｔに対して下記の数式（５）のように示される。
［数式（５）］
数式（５）は、各データサンプルがクリーンデータサンプルである確率を示す。
［数式（５）］
【数18】
数式（５）は、各データサンプルがクリーンデータサンプルである確率を示す。
【0089】
第１モデル１１０は、隠れ変数ｓｉの推定結果に応じて、データセットを誤答ラベルを含む第１データサンプルと正解ラベルを含む第２データサンプルとに円満に分類する過程５２０を行うことができる。ここで、「円満に分類する」という意味は、クリーンデータサンプルと損傷したデータサンプルそれぞれの確率分布に応じて分類する意味として理解され得る。
【0090】
第１モデル１１０において、過程５２０で円満に分類された第１データサンプルを第２モデル１３０に順方向（ｆｏｒｗａｒｄ ｐｒｏｐａｇａｔｉｏｎ）に伝播できる。
【0091】
第１モデル１１０において円満に分類５２０された第１データサンプルを受信した第２モデル１３０は、Ｅ－ステップ５３０を介して第１データサンプルそれぞれに対応する真のクラス（ｔｒｕｅ ｃｌａｓｓ）の確率、言い換えれば、第１データサンプルの誤答ラベルに対応する正解ラベルの確率を推定することができる。
【0092】
トレーニング装置は、Ｅ－ステップ５３０において、推定した正解ラベルの確率を含む第１データサンプルを用いて第２モデル１３０の第２パラメータを更新し、ステップ５４０において、更新した第２パラメータに基づいて、誤答ラベルに対応する正解ラベルを推定するように第２モデル１３０をトレーニングする。
【0093】
ステップ５６０において、トレーニング装置は、トレーニングが完了した第２モデル５５０によって推定された、誤答ラベルに対応する正解ラベルを第１モデル１１０に逆方向伝播（ｂａｃｋ－ｐｒｏｐａｇａｔｅ）して第１データサンプルで誤答ラベルを補正する。このように、誤答ラベルを正解ラベルに補正する過程を「リサンプリング（Ｒｅ－ｓａｍｐｌｉｎｇ）」と呼ぶ。
【0094】
トレーニング装置は、第１データサンプルで誤答ラベルを補正したデータサンプルを用いて、第１モデル１１０をトレーニングするＭ－Ｓｔｅｐ５７０を行う。Ｍ－Ｓｔｅｐ５７０でトレーニング装置は、誤答ラベルを補正したデータサンプルを用いて第１モデル１１０の第１パラメータを更新し、更新した第１パラメータに基づいて第１モデル１１０をトレーニングする。
【0095】
一実施形態において、第１モデル１１０により実行される混合分布モデリングによる過剰適合（ｏｖｅｒｆｉｔｔｉｎｇ）を防止するために、トレーニング装置は、更新した第１パラメータに信頼度に対する正規化ペナルティをさらに適用することで第１モデル１１０をトレーニングする。ここで、信頼度に対する正規化ペナルティは、「モデル複雑度ペナルティ（Ｍｏｄｅｌ ｃｏｍｐｌｅｘｉｔｙ ｐｅｎａｌｔｙ）」と呼んでもよい。
【0096】
トレーニング装置は、トレーニングが完了した第１モデル５８０によってＥ－Ｓｔｅｐ５１０を再び繰り返して各データセットに含まれているラベルに対する信頼度を推定することができる。
【0097】
より具体的に、第１モデル１１０の期待最大化の過程を説明すれば、次の通りである。
【0098】
第１モデル１１０は、各データサンプルに対してｓ＝１又はｓ＝０であるか否かに応じて、混合モデルで適切な分布
又は（１－π）εを選択し、選択された分布を基盤にログ尤度を算出してもよい。データサンプルの分離は、確率的な意味で可能であるため、最終評価は期待確率の形態を有してもよい。したがって、Ｍ－Ｓｔｅｐ５７０は下記の数式（６）を解決する過程に当該する。
［数式（６）］
実際にπとθｇは数式（６）で互いに素（ｄｉｓｊｏｉｎｔ）に該当するため、最大化はπとθｇそれぞれに対して実行される。
【数19】
又は（１－π）εを選択し、選択された分布を基盤にログ尤度を算出してもよい。データサンプルの分離は、確率的な意味で可能であるため、最終評価は期待確率の形態を有してもよい。したがって、Ｍ－Ｓｔｅｐ５７０は下記の数式（６）を解決する過程に当該する。
［数式（６）］
【数20】
実際にπとθｇは数式（６）で互いに素（ｄｉｓｊｏｉｎｔ）に該当するため、最大化はπとθｇそれぞれに対して実行される。
【0099】
全体トレーニングデータセットに含まれたクリーンデータサンプルの比率πは、下記の数式（７）によって近接した形態の解を取得できる。
［数式（７）］
また、第１モデル１１０に含まれている第１神経網ｇのパラメータθｇは、下記の数式（８）のような損失関数Ｌｔ ｍａｉｎ，ｇによるトレーニングを介して求められる。
［数式（８）］
数式（８）の最初の項
は、過程５６０で再加重サンプル（ｒｅｗｅｉｇｈｔｅｄ ｓａｍｐｌｅｓ）によって評価された交差エントロピー（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）ロスに当該する。
［数式（７）］
【数21】
また、第１モデル１１０に含まれている第１神経網ｇのパラメータθｇは、下記の数式（８）のような損失関数Ｌｔ ｍａｉｎ，ｇによるトレーニングを介して求められる。
［数式（８）］
【数22】
数式（８）の最初の項
【数23】
は、過程５６０で再加重サンプル（ｒｅｗｅｉｇｈｔｅｄ ｓａｍｐｌｅｓ）によって評価された交差エントロピー（ｃｒｏｓｓ－ｅｎｔｒｏｐｙ）ロスに当該する。
【0100】
前述した数式（４）の究極的な目的関数は、期待最大化（ＥＭ）アルゴリズムの繰り返しの間に減少しないように保障される。したがって、期待最大化（ＥＭ）アルゴリズムは、原則的な方式で崩壊又は自己確認偏向（ｓｅｌｆ－ｃｏｎｆｉｒｍｉｎｇ ｂｉａｓｅｓ）の危険を避けながら最小の局所最適（ｌｏｃａｌ ｏｐｔｉｍｕｍ）を探すことができる。しかし、加重値が再指定されたデータサンプルを用いて神経網をトレーニングすることは、最上の戦略ではない。特に、誤答ラベルの指定比率が高い場合、加重値が再指定されたデータサンプルを用いて神経網をトレーニングすることが最上の戦略ではないこともある。
【0101】
これを明確に説明するために、例えば、トレーニングデータセットに含まれたデータサンプルがクリーンデータサンプルである確率
が２進法で１又は０であると一時的に仮定することができる。
【数24】
が２進法で１又は０であると一時的に仮定することができる。
【0102】
過程５２０において、データセットをクリーンデータサンプルと損傷したデータサンプルとに分類した後、損傷したデータサンプルに含まれている誤答ラベルを捨ててラベルのないものと思ってもよい。このような場合、第１モデル１１０のトレーニングのために、数式（８）は、損傷したデータサンプルを利用せずクリーンデータサンプルに依存してもよい。
【0103】
トレーニングデータセットで損傷したデータサンプル除外することが合理的であるものの、効果的なトレーニングデータセットの大きさが小さくなったり、分布が移動され得る。それを防止するために、トレーニング装置は、第２モデル１３０の半教師あり学習（ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）を介して、クリーンデータサンプルによってトレーニングしたクラス／データ構造を基盤に損傷したデータサンプルに対する適切なラベルを生成することで損傷したデータサンプルも活用できるようにする。
【0104】
実際に、クリーンデータサンプルの確率が０及び１の２進法形態に示されないため、データサンプルがクリーンデータサンプル及び損傷したデータサンプルのいずれか１つに明確に分類されないことがある。
【0105】
それにもかかわらず、数式（８）のように各データサンプルの同点加重値（ｔｉｅ ｗｅｉｇｈｔ）をｑ（ｓｉ＝０）に減らす代わりに、第２モデル１３０はｓｉ＝０である場合にも適切にラベルを生成して第１モデル１１０で全体加重値と共に使用できるようにする。前述した過程は、新しくラベリングされたデータサンプルを生成する過程に該当するという点で「リサンプリング（ｒｅｓａｍｐｌｉｎｇ）」過程５６０と呼ぶ。
【0106】
過程５６０で、リサンプリングされたデータサンプル、言い換えれば、ラベルが補正されたデータサンプルを
に表示すると、数式（８）の第１モデル１１０に含まれた第１神経網ｇの損失関数Ｌｔ ｍａｉｎ，ｇは下記の数式（９）のように修正される。
［数式（９）］
第１モデル１１０は、過程５６０を介してリサンプリングされたデータセットを基盤に、過程５７５でモデルペナルティ付与項（ｍｏｄｅｌ ｐｅｎａｌｉｚｉｎｇ ｔｅｒｍ）が適切にη（ｇ）→η０（ｇ）に調整されるようする。
【数25】
に表示すると、数式（８）の第１モデル１１０に含まれた第１神経網ｇの損失関数Ｌｔ ｍａｉｎ，ｇは下記の数式（９）のように修正される。
［数式（９）］
【数26】
第１モデル１１０は、過程５６０を介してリサンプリングされたデータセットを基盤に、過程５７５でモデルペナルティ付与項（ｍｏｄｅｌ ｐｅｎａｌｉｚｉｎｇ ｔｅｒｍ）が適切にη（ｇ）→η０（ｇ）に調整されるようする。
【0107】
リサンプリングされたデータサンプルは依然としてノイズがあるので、分布を
に表示し、混同がなければ時間インデックスｔを省略してもよい。この場合、信頼度正規化器（ｃｏｎｆｉｄｅｎｃｅ ｒｅｇｕｌａｒｉｚｅｒ）が
のように、ペナルティ付与器（ｐｅｎａｌｉｚｅｒ）の役割を行うと見ることができる。
【数27】
に表示し、混同がなければ時間インデックスｔを省略してもよい。この場合、信頼度正規化器（ｃｏｎｆｉｄｅｎｃｅ ｒｅｇｕｌａｒｉｚｅｒ）が
【数28】
のように、ペナルティ付与器（ｐｅｎａｌｉｚｅｒ）の役割を行うと見ることができる。
【0108】
第１モデル１１０の第１神経網のトレーニングのための損失関数Ｌは、下記の数式（１０）のように正規化され得る。
［数式（１０）］
ネットワーク容量が任意の機能を実現するのに十分に大きいと仮定すれば、ノンパラメトリック限界（ｎｏｎ－ｐａｒａｍｅｔｒｉｃ ｌｉｍｉｔ）で、
であってもよい。ここで、（・）＋＝ｍａｘ（・、０）であり、Ｚｘは
を作る正規化定数（ｎｏｒｍａｌｉｚｉｎｇ ｃｏｎｓｔａｎｔ）に当該する。
［数式（１０）］
【数29】
ネットワーク容量が任意の機能を実現するのに十分に大きいと仮定すれば、ノンパラメトリック限界（ｎｏｎ－ｐａｒａｍｅｔｒｉｃ ｌｉｍｉｔ）で、
【数30】
であってもよい。ここで、（・）＋＝ｍａｘ（・、０）であり、Ｚｘは
【数31】
を作る正規化定数（ｎｏｒｍａｌｉｚｉｎｇ ｃｏｎｓｔａｎｔ）に当該する。
【0109】
任意の関数を表現できる十分な容量を有して信頼度によって正規化された損失関数Ｌを用いてトレーニングされた分類器を仮定する。混合データセットの分布が、例えば、π’∈（０，１）の一部に対して
である場合、及びデータのラベルが例えば、
のように均一に分布した場合、ノンパラメトリック限界でソフトマックス出力
が
に接近するようにするλが存在する。
【数32】
である場合、及びデータのラベルが例えば、
【数33】
のように均一に分布した場合、ノンパラメトリック限界でソフトマックス出力
【数34】
が
【数35】
に接近するようにするλが存在する。
【0110】
上記の結論によれば、信頼度正規化器には混合データセットの多様体を描写する属性があるため、過程５７５のモデル複雑度のペナルティ付与器（ｐｅｎａｌｉｚｅｒ）に適することが分かる。
【0111】
また、第２モデル１３０の期待最大化の過程を説明すれば次の通りである。
【0112】
第２モデル１３０は、第１モデル１１０と他の期待最大化（ＥＭ）の周期で実行されてもよい。第２モデル１３０は、Ｅ－Ｓｔｅｐ５３０で下記の数式（１１）のように与えられたデータの実際のクラスに対する確率の推定を試みることができる。
［数式（１１）］
例えば、当該データサンプルのラベルが誤答ラベル
である確率を示す隠れ変数（ｓｉ）＝１であれば、誤答ラベル
は実際のクラスでなければならないため、
であってもよい。ここで、ｅｃはｃ番目の項目に１があるワンホットベクトル（ｏｎｅ－ｈｏｔ ｖｅｃｔｏｒ）を示す。
［数式（１１）］
【数36】
例えば、当該データサンプルのラベルが誤答ラベル
【数37】
である確率を示す隠れ変数（ｓｉ）＝１であれば、誤答ラベル
【数38】
は実際のクラスでなければならないため、
【数39】
であってもよい。ここで、ｅｃはｃ番目の項目に１があるワンホットベクトル（ｏｎｅ－ｈｏｔ ｖｅｃｔｏｒ）を示す。
【0113】
隠れ変数（ｓｉ）＝０であれば、第２モデル１３０は損傷したデータサンプルに含まれた誤答ラベルを捨て、入力ｘｉに基づいて実際のクラスを推定するため
をモデリングできる。ここで、
は第２モデル１３０のソフトマックス出力に該当する。
【数40】
をモデリングできる。ここで、
【数41】
は第２モデル１３０のソフトマックス出力に該当する。
【0114】
ここで、第１モデル１１０の側面では、例えば、前述した数式（５）のように、混合したデータセットの各データサンプルがクリーンデータサンプルに該当する確率（ｓｉ＝１）を算出してもよい。数式（５）を再び使用して数式（１１）を下記の数式（１２）のように単純化してもよい。
［数式（１２）］
Ｍ－Ｓｔｅｐ５４０で推定された確率ｑｔ ｉ（ｙ）は、クラスｙに関するパラメータを探すとき、各データサンプルに加重値を与えることができる。したがって、第２モデル１３０の最大化目標は、下記の数式（１３）のように示す。
［数式（１３）］
数式（１３）の
に連鎖法則（ｃｈａｉｎ ｒｕｌｅ）を適用すると、下記の数式（１４）を得ることができる。
［数式（１４）］
ここで、モデル
は、ラベル損傷確率（ｌａｂｅｌ ｃｏｒｒｕｐｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）、言い換えれば、データセットに含まれた正解ラベルが誤答ラベルに損傷する確率を示す。
は、全ての入力データｘｉに対して一定に保持されると仮定する。ここで、２つのモデルｆとＴは、互いにパラメータを共有できないことがある。モデルｆは第２モデル１３０によって具現され、モデルＴはＫ×Ｋマトリックスによって実現されてもよい。
［数式（１２）］
【数42】
Ｍ－Ｓｔｅｐ５４０で推定された確率ｑｔ ｉ（ｙ）は、クラスｙに関するパラメータを探すとき、各データサンプルに加重値を与えることができる。したがって、第２モデル１３０の最大化目標は、下記の数式（１３）のように示す。
［数式（１３）］
【数43】
数式（１３）の
【数44】
に連鎖法則（ｃｈａｉｎ ｒｕｌｅ）を適用すると、下記の数式（１４）を得ることができる。
［数式（１４）］
【数45】
ここで、モデル
【数46】
は、ラベル損傷確率（ｌａｂｅｌ ｃｏｒｒｕｐｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ）、言い換えれば、データセットに含まれた正解ラベルが誤答ラベルに損傷する確率を示す。
【数47】
は、全ての入力データｘｉに対して一定に保持されると仮定する。ここで、２つのモデルｆとＴは、互いにパラメータを共有できないことがある。モデルｆは第２モデル１３０によって具現され、モデルＴはＫ×Ｋマトリックスによって実現されてもよい。
【0115】
したがって、第２モデル１３０の損失関数Ｌｔ
ａｕｘはモデルｆとＴのそれぞれに対して個別的に最大化される。先ず、モデルｆに対して損失関数Ｌｔ
ａｕｘを最大化してもよい。これは、下記の数式（１５）のように損失Ｌｔ
ａｕｘ，ｆのある第２モデル１３０をトレーニングするものと同一である。
［数式（１５）］
Ｌｔ ａｕｘ，ｆはｑｔ ｉ（ｙ）をトレーニング対象にする交差エントロピーロスに当該する。数式（１２）のトレーニング目標ｑｔ ｉ（ｙ）は半教師あり学習で実行されるラベル推測及びラベル平滑化に接続されてもよい。
［数式（１５）］
【数48】
Ｌｔ ａｕｘ，ｆはｑｔ ｉ（ｙ）をトレーニング対象にする交差エントロピーロスに当該する。数式（１２）のトレーニング目標ｑｔ ｉ（ｙ）は半教師あり学習で実行されるラベル推測及びラベル平滑化に接続されてもよい。
【0116】
次に、モデルＴに対して損失関数Ｌｔ
ａｕｘを最大化してもよい。
【0117】
モデルＴは、転移確率マトリックス（ｔｒａｎｓｉｔｉｏｎ ｐｒｏｂａｂｉｌｉｔｙ ｍａｔｒｉｘ）として、ラベル損傷確率を示すマトリックスに該当する。
及び
に有効でなければならないという制約から最大化問題を解決し、
を得ることができる。
【数49】
及び
【数50】
に有効でなければならないという制約から最大化問題を解決し、
【数51】
を得ることができる。
【0118】
上述したように、オートラベリングのためのトレーニング方法は、第１モデル１１０と第２モデル１３０それぞれにおける期待最大化（ＥＭ）過程を介して実行されることができる。
例えば、誤答ラベルの分布を説明するために、第１モデル１１０でεから始まることができる。前述したように、εを定数（例えば、ε＝１／Ｋ）に固定すれば、転移確率マトリックスＴを捨てることができる。しかし、転移確率マトリックスＴを使用し得るため、次の繰り返しでεを修正できる。
例えば、Ｔとεとの間の接続を設定するために転移確率マトリックスＴを修正し、修正されたＴをＴｃに表示する場合、損傷したサンプルデータに基づき転移確率マトリックスを以下の数式（１６）のように求めることができる。
［数式（１６）］
その後、定義によってεｉは下記の数式（１７）のように算出され、前述した数式（５）でεの代わりに使用するために第１モデル１１０に伝達され得る。
［数式（１７）］
例えば、誤答ラベルの分布を説明するために、第１モデル１１０でεから始まることができる。前述したように、εを定数（例えば、ε＝１／Ｋ）に固定すれば、転移確率マトリックスＴを捨てることができる。しかし、転移確率マトリックスＴを使用し得るため、次の繰り返しでεを修正できる。
例えば、Ｔとεとの間の接続を設定するために転移確率マトリックスＴを修正し、修正されたＴをＴｃに表示する場合、損傷したサンプルデータに基づき転移確率マトリックスを以下の数式（１６）のように求めることができる。
［数式（１６）］
【数52】
その後、定義によってεｉは下記の数式（１７）のように算出され、前述した数式（５）でεの代わりに使用するために第１モデル１１０に伝達され得る。
［数式（１７）］
【数53】
【0119】
まとめると、オートラベリングのためのトレーニング方法は、役割が対称でない第１モデル１１０及び第２モデル１３０の２つの神経網を用いてもよい。第１モデル１１０は、混合モデリング及び誤答ラベルを含むデータサンプルの分類を行い、第２モデル１３０はリサンプリングを行う。また、第２モデル１３０は、単に正規化された第１モデル１１０を監督する教師のように動作するため、第２モデル１３０はナチュラルに推論により良好なモデルになる。第２モデル１３０は、リサンプリングを行うために他の期待最大化（ＥＭ）周期で実行されてもよい。このように第１モデル１１０と第２モデル１３０は、誤答ラベルの解決のために互いに相互作用し得る。
【0120】
図６は、一実施形態に係るオートラベリングのためのトレーニング装置の動作を具体的な数式に表現した図である。図６を参照すると、一実施形態に係るトレーニング装置６００は、検出モデル６１０を介して誤答ラベルを含むデータサンプルの分類を行い、ラベリングモデル６３０を介してオートラベリングを行う。検出モデル６１０は、前述した第１モデル１１０と第２モデル１３０を用いて誤答ラベルを検出してもよい。ラベリングモデル６３０は、前述した第２モデル１３０を用いて誤答ラベルを自動補正及びリラベリングしてもよい。例えば、検出モデル６１０及びラベリングモデル６３０のそれぞれは、１つ以上の神経網を含んでもよい。
【0121】
一実施形態において、トレーニングデータセットに誤答ラベルが含まれており、データサンプルを完全に信頼できない場合、トレーニング装置６００は、第１モデル１１０の検出モデル６１０が誤答ラベルを検出し、誤答ラベルに対応する正解ラベルを推定するようにトレーニングしてもよい。また、トレーニング装置６００は、第２モデル１３０のラベリングモデル６３０が誤答ラベルに対する新しいラベルを自動付与するようにトレーニングしてもよい。
【0122】
例えば、トレーニングデータセットは、データの集合ｘとデータの集合ｘに対するラベルの集合ｙを含むことができる。したがって、トレーニングデータセットにはｘ×ｙになるが、これは、正解ラベルがラベリングされたデータのあるクリーンデータサンプルと誤答ラベルがラベリングされたデータのある損傷したデータサンプルが混合された混合データセットであってもよい。
【0123】
クリーンデータサンプルは、多様体（ｍａｎｉｆｏｌｄ）上に分布してもよい。その理由は、人が手作業でラベリングできることも多様体を認知するためである。したがって、混合データセットは、前述した数式（１）と類似に下記の数式（１８）にモデリングされてもよい。
［数式（１８）］
ここで、ｐｍａｎｉｆｏｌｄ（ｙ｜ｘ）は、神経網を介して実現しようとする分類器モデルに当該する。例えば、
であり、ｆθ ｘ［ｙ］は神経網モデルのソフトマックスの出力に当該する。また、εは、損傷したデータサンプルの分布に当該する。
［数式（１８）］
【数54】
ここで、ｐｍａｎｉｆｏｌｄ（ｙ｜ｘ）は、神経網を介して実現しようとする分類器モデルに当該する。例えば、
【数55】
であり、ｆθ ｘ［ｙ］は神経網モデルのソフトマックスの出力に当該する。また、εは、損傷したデータサンプルの分布に当該する。
【0124】
与えられたデータ分布ｐｄａｔａ（ｙ｜ｘ）を
にフィッティングしてもよい。
【数56】
にフィッティングしてもよい。
【0125】
この場合、第１モデル１１０は、検出モデル６１０を介して窮極的に最大尤度推定（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ（ＭＬ）ｅｓｔｉｍａｔｉｏｎ）を試みることができる。混合データセットの場合、局所勾配に基づく方法（ｌｏｃａｌ ｇｒａｄｉｅｎｔ－ｂａｓｅｄ ｍｅｔｈｏｄ）の代わりに、指示子（ｉｎｄｉｃａｔｏｒ）を隠れ変数（ｈｉｄｄｅｎ ｖａｒｉａｂｌｅ）ｓにして期待最大化（ＥＭ）を行うことが普遍的である。このとき、ｓ＝０は、当該データサンプルがクリーンデータサンプルである場合を示し、ｓ＝１は、当該データサンプルが破損したデータサンプルである場合を示す。
【0126】
また、期待最大化（ＥＭ）アルゴリズムは、各データサンプルに対して隠れ変数ｓを判別するための推定過程を含むため、クリーンデータサンプルと損傷したデータサンプルとのグループ分離がナチュラルに行われることができる。
【0127】
したがって、最大尤度（ＭＬ）は、前述した数式（３）
のような形態に公式化できる。
【数57】
のような形態に公式化できる。
【0128】
一般に、神経網は、任意の関数を実現可能にするため最大尤度の解（ｓｏｌｕｔｉｏｎ）はｐ（ｘ，ｙ）→ｐｄａｔａ（ｘ，ｙ）になる。そのため、π＝１、ｇｘ＝ｐｄａｔａ（・｜ｙ）になる。
【0129】
最大尤度の解がｐ（ｘ，ｙ）→ｐｄａｔａ（ｘ，ｙ）になることは、モデル複雑度（ｍｏｄｅｌ ｃｏｍｐｌｅｘｉｔｙ）に対する制限がなければ、誤答ラベルを含む損傷したデータサンプルにオーバーフィッティングされることを意味する。
【0130】
モデルトレーニングの初期段階では、モデルが複数のクリーンデータサンプルに優先的にフィットされることができる。そのため、トレーニングが進行されながらモデル複雑度に対する適切なペナルティ付与項（ｐｅｎａｌｉｚｉｎｇ ｔｅｒｍ）が必要なこともある。
【0131】
したがって、数式（３）に表現された最大尤度でモデル複雑度に対するペナルティ付与項（正規化器（ｒｅｇｕｌａｒｉｚｅｒ））ηを導入して前述の数式（４）
のような最終目的関数を定義できる。
【数58】
のような最終目的関数を定義できる。
【0132】
トレーニング装置６００は、信頼度正規化器を使用してもよく、最適化問題は期待最大化（ＥＭ）アルゴリズムを介して繰り返し解決してもよい。
【0133】
期待最大化（ＥＭ）アルゴリズムは、例えば、崩壊や自己確認偏向（ｓｅｌｆ－ｃｏｎｆｉｒｍｉｎｇ ｂｉａｓ）などが関与されない原則的な方法であるため、データサンプルにノイズに該当する誤答ラベルが含まれた場合にも安定的に動作することを保障する。
【0134】
検出モデル６１０の動作は次の通りである。
【0135】
ステップＳ６１１において、検出モデル６１０は、以前の繰り返し過程でラベリングモデル６３０からデータセットに含まれている正解ラベルが誤答ラベルに損傷されるラベル損傷確率を示すマトリックスＴ、全体データセットに含まれたクリーンデータサンプルの比率π、及び損傷したデータサンプルの分布εを取得できる。
【0136】
ここで、ラベル損傷確率を示すマトリックスＴは、前述した数式（１６）のような
の形態に示される。
また、全体データセットに含まれたクリーンデータサンプルの比率πは
のように示され、損傷したデータサンプルの分布εは
のように示される。
【数59】
の形態に示される。
また、全体データセットに含まれたクリーンデータサンプルの比率πは
【数60】
のように示され、損傷したデータサンプルの分布εは
【数61】
のように示される。
【0137】
ステップＳ６１３において、検出モデル６１０は、各データサンプルごとに隠れ変数ｓを判別し、各データサンプルがクリーンデータサンプルである確率ｑｎを下記の数式（１９）のように算出できる。
［数式（１９）］
ステップＳ６１３は、図５を参照して前述した第１モデル１１０のＥ－Ｓｔｅｐ５１０に当該する。
［数式（１９）］
【数62】
ステップＳ６１３は、図５を参照して前述した第１モデル１１０のＥ－Ｓｔｅｐ５１０に当該する。
【0138】
ステップＳ６１５において、検出モデル６１０は、確率ｑｎに対するベルヌーイ分布（Ｂｅｒｎｏｕｌｌｉ Ｄｉｓｔｒｉｂｕｔｉｏｎ）に基づいて、正解ラベルを含む第２データサンプルをサンプリングする。
【0139】
ステップＳ６１７において、検出モデル６１０は、ステップＳ６１５におけるサンプリングによってデータセットを誤答ラベルを含む第１データサンプルｕと正解ラベルを含む第２データサンプルｘに分類してもよい。ステップＳ６１７は、図５を参照して前述した分類過程５２０に当該する。
【0140】
ここで、ラベリングモデル６３０は、分類された各データサンプルを用いて第２モデル１３０のパラメータθｔを数式（２０）のように最適化できる。
［数式（２０）］
ここで、第２モデル１３０のパラメータに対する最適化は、最終的にニューラルネットワークのトレーニングに該当する。
［数式（２０）］
【数63】
ここで、第２モデル１３０のパラメータに対する最適化は、最終的にニューラルネットワークのトレーニングに該当する。
【0141】
その後、ラベリングモデル６３０は、データサンプルごとの再加重化（ｒｅ－ｗｅｉｇｈｔｉｎｇ）の代わりにリサンプリング（ｒｅｓａｍｐｌｉｎｇ）を行ってもよい。データサンプルごとの再加重化は、窮極的に損傷したデータサンプルを除去することに当該する。一実施形態では、データサンプルごとの再加重化は、データサンプルの個数が制限されたりデータサンプルがすべてクリーンデータサンプルである理想的なデータセットに比べて、分布移動（ｄｉｓｔｒｉｂｕｔｉｏｎ ｓｈｉｆｔ）を発生させ得るため、ラベリングモデル６３０は、データサンプルの個数を保持するために再加重化の代わりにリサンプリングを行うことができる。
【0142】
ラベリングモデル６３０は、第２モデル１３０を利用したデータのラベルを
のようにリラベリングしてもよい。
【数64】
のようにリラベリングしてもよい。
【0143】
第１モデル１１０は、トレーニングデータｘｎがラベリングモデル６３０を経てリラベリングされたデータサンプル
を用いて第１モデル１１０のパラメータφｔを更新できる。
【数65】
を用いて第１モデル１１０のパラメータφｔを更新できる。
【0144】
検出モデル６１０は、各データサンプルごとに確率ｑｎを加重して第１モデル１１０のパラメータφｔを下記の数式（２１）のように最適化できる。
［数式（２１）］
ここで、第１モデル１１０のパラメータφｔに対する最適化は、結局、第１モデル１１０のトレーニングに当該する。
［数式（２１）］
【数66】
ここで、第１モデル１１０のパラメータφｔに対する最適化は、結局、第１モデル１１０のトレーニングに当該する。
【0145】
一実施形態では、信頼度正規化器にη０を使用する場合、数式（２１）は下記の数式（２２）のように示される。
［数式（２２）］
検出モデル６１０は、前述した過程を介して更新された第１モデル１１０のパラメータφｔによって第１モデルがトレーニングされれば、トレーニングされた第１モデル１１０を参照して前述したステップＳ６１３のように全体トレーニングデータセットのうち正解ラベルを含むクリーンデータサンプルの比率を予測することができる。検出モデル６１０は、クリーンデータサンプルを検出し、検出されていないデータを損傷したデータサンプルに表示してもよい。
［数式（２２）］
【数67】
検出モデル６１０は、前述した過程を介して更新された第１モデル１１０のパラメータφｔによって第１モデルがトレーニングされれば、トレーニングされた第１モデル１１０を参照して前述したステップＳ６１３のように全体トレーニングデータセットのうち正解ラベルを含むクリーンデータサンプルの比率を予測することができる。検出モデル６１０は、クリーンデータサンプルを検出し、検出されていないデータを損傷したデータサンプルに表示してもよい。
【0146】
図７は、一実施形態に係るオートラベリング方法を示したフローチャートである。ステップＳ７１０～ステップＳ７５０は、順に実行されてもよいが、必ず順に実行されなくてもよい。例えば、各ステップの順が変更されてもよく、少なくとも２つのステップが並列的に実行されてもよく、又は、トレーニング方法を最適化するための付加的なステップが追加されてもよい。
【0147】
図７を参照すると、一実施形態に係るオートラベリング装置は、ステップＳ７１０～ステップＳ７５０を介してラベリングされたデータサンプルを出力してもよい。
【0148】
ステップＳ７１０において、オートラベリング装置は、入力データ及び入力データに対応するラベルを含むデータサンプルを受信する。入力データは、例えば、半導体、道路、又は３次元空間の映像を撮影するためのイメージセンサによって取得された映像データを含むが、イメージデータの例示が必ずこれに限定されることはない。
【0149】
ステップＳ７２０において、オートラベリング装置は、ステップＳ７１０で受信したデータサンプルを第１モデルに印加することによってラベルが誤答ラベルであるか否かを検出する。ここで、第１モデルは、ラベルに対する信頼度に基づいて、データサンプルに含まれた誤答ラベルを検出するようにトレーニングされた第１神経網を含んでもよい。
【0150】
ステップＳ７３０において、オートラベリング装置は、ラベルが誤答ラベルであるか否かを決定する。
【0151】
ステップＳ７３０でラベルが誤答ラベルであるという決定に応じて、ステップＳ７４０において、オートラベリング装置は、入力データを第２モデルに印加することによって誤答ラベルに対応する正解ラベルを出力する。第２モデルは、誤答ラベルを含むデータサンプルに対応する正解ラベルを推定するようにトレーニングされた第２神経網を含んでもよい。オートラベリング装置は、生成されたデータサンプルを補正されたラベルと共に表示するディスプレイを含んでもよい。
【0152】
これとは相違に、ステップＳ７３０でラベルが誤答ラベルでないという決定に応じて、ステップＳ７５０において、オートラベリング装置は、入力データに対応するラベルを保持したデータサンプルを出力してもよい。このような状況でディスプレイは、ラベルが保持された状態で生成されたデータサンプルを表示してもよい。
【0153】
図８は、一実施形態によりトレーニングされた検出モデル及びオートラベリングモデルを利用した半導体エラー検査装置の動作を説明するための図である。図８を参照すると、一実施形態によりトレーニングされた検出モデル８１０及びオートラベリングモデル８３０を含む半導体エラー検査装置８００の動作過程が示されている。検出モデル８１０は、例えば、前述した第１モデル１１０又は検出モデル６１０に当該し、オートラベリングモデル８３０は、前述した第２モデル１３０又はラベリングモデル６３０に当該する。一例として、検出モデル８１０及びオートラベリングモデル８３０の全てが１つ以上の神経網を含んでもよい。
【0154】
データサンプル（ｘｎ，ｙｎ）８０１が検出モデル８１０に入力されれば、検出モデル８１０は、入力データであるデータサンプル（ｘｎ，ｙｎ）８０１に含まれたラベルｙｎの信頼度を推定し、推定結果に応じてラベルｙｎが誤答ラベルであるか否かを検出する。ここで、データサンプル（ｘｎ，ｙｎ）８０１のうち、入力データｘｎは半導体映像（ＳＥＭ Ｉｍａｇｅ）に当該し、ラベルｙｎは半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応するエラーコード（例えば、「Ｄｅｆｅｃｔ ｃｏｄｅ １３１」）に当該する。
【0155】
検出モデル８１０は、ラベルｙｎに対する信頼度に基づいて、データサンプル（ｘｎ，ｙｎ）８０１に含まれた誤答ラベルを検出するようにトレーニングされた神経網を含んでもよい。ラベルｙｎの信頼度は、ラベルｙｎが正解に該当する第１確率及び誤答に該当する第２確率を含んでもよい。ラベルｙｎが誤答に該当する第２確率がラベルｙｎが正解に該当する第１確率よりも高い場合、検出モデル８１０は、ラベルｙｎが誤答ラベルであることを検出することができる。
【0156】
ラベルｙｎが誤答ラベルであることが検出されれば、誤答ラベルに該当するラベルｙｎはラベリングモデル８３０に入力されてもよい。
【0157】
オートラベリングモデル８３０は、誤答ラベルとして検出されたラベルｙｎに対応する入力データｘｎが入力されれば、誤答ラベルに対応する正解ラベル
を推定し、推定された正解ラベル
によって補正及びリラベリングされたデータサンプル
８０３を出力してもよい。補正されたデータサンプル
８０３に含まれた推定された正解ラベル
は、入力データｘｎである半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応する正解ラベルであって、例えば、「ＤＯＩ ｃｏｄｅ １３８」であってもよい。
【数68】
を推定し、推定された正解ラベル
【数69】
によって補正及びリラベリングされたデータサンプル
【数70】
８０３を出力してもよい。補正されたデータサンプル
【数71】
８０３に含まれた推定された正解ラベル
【数72】
は、入力データｘｎである半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応する正解ラベルであって、例えば、「ＤＯＩ ｃｏｄｅ １３８」であってもよい。
【0158】
オートラベリングモデル８３０は、誤答ラベルｙｎを含むデータサンプル（ｘｎ，ｙｎ）８０１に対応する正解ラベル
を推定するよう、トレーニングされた神経網を含んでもよい。
【数73】
を推定するよう、トレーニングされた神経網を含んでもよい。
【0159】
オートラベリングモデル８３０は、入力データ分類モデルとして使用されてもよい。オートラベリングモデル８３０は、ラベリングされていない入力データに自動にラベルを付与してトレーニングデータサンプルとして活用してもよい。オートラベリングモデル８３０が入力データに自動にラベルを付与する過程は、下記の図１０を参照して後述する。
【0160】
半導体エラー検査装置８００は、半導体設備のエラー検査過程のうち半導体欠陥分類システムのトレーニングに使用されるデータ構成時のノイズに該当する誤答ラベルを検出して自動補正することができる。半導体欠陥（Ｄｅｆｅｃｔ）データは、設備の交換、エンジニアの経験、生産製品の種類などに応じて多様に発生し得るため、全体トレーニングデータセットに２０％内外の誤答ラベルが含まれることがある。
【0161】
半導体エラー検査装置８００は、ラベラー（ｌａｂｅｌｅｒ）に持続的なフィードバックを受けて誤答ラベルを直し、トレーニングする方法を使用しなくても自動的に誤答ラベルを検出及び補正することで、費用及び時間の側面で効率性を高めることができる。
【0162】
一実施形態において、トレーニングされた検出モデル及びトレーニングされたオートラベリングモデルを半導体検査に使用する場合について一例に挙げて説明したが、必ずこれに限定されることはない。例えば、様々な映像処理及び認識分野（例えば、オブジェクト検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）、セマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）、顔認識（ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ）、及びビデオキャプショニング（ｖｉｄｅｏ ｃａｐｔｉｏｎｉｎｇ）など）でトレーニングされた検出モデル及びトレーニングされたオートラベリングモデルが使用されてもよい。
【0163】
図９は、一実施形態によりトレーニングされた検出モデルを利用した誤答ラベル検出装置の動作を説明するための図である。図９を参照すると、一実施形態に係る誤答ラベル検出装置９００は、誤答ラベルを検出するようにトレーニングされた検出モデル８１０を含んでもよい。検出モデル８１０は、例えば、前述した第１モデル１１０又は検出モデル６１０に当該する。
【0164】
データサンプル（ｘｎ，ｙｎ）９０１が検出モデル８１０に入力されれば、検出モデル８１０は、入力データであるデータサンプル（ｘｎ，ｙｎ）９０１に含まれるラベルｙｎの信頼度を推定し、推定結果によってラベルｙｎが誤答ラベルであるか否かを検出する。このとき、データサンプル（ｘｎ，ｙｎ）９０１のうち入力データｘｎは、半導体映像（ＳＥＭ Ｉｍａｇｅ）に該当し、ラベルｙｎは半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応するエラーコード（例えば、「Ｄｅｆｅｃｔ ｃｏｄｅ １３１」）に該当する。
【0165】
図１０は、一実施形態によりトレーニングされたオートラベリングモデルを利用したオートラベリング装置の動作を説明するための図である。図１０を参照すると、一実施形態に係るオートラベリング装置１０００は、オートラベリング動作を行うようにトレーニングされたオートラベリングモデル８３０を含んでもよい。オートラベリングモデル８３０は、前述した第２モデル１３０又はラベリングモデル６３０に当該する。
【0166】
オートラベリングモデル８３０は、入力データｘｎ１００１が入力されれば、入力データｘｎ１００１に対応する正解ラベル
を推定し、推定された正解ラベル
を含むデータサンプル
１００５を出力してもよい。ここで、データサンプル
１００５に含まれた推定された正解ラベル
は、入力データｘｎ１００１である半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応する正解ラベルであって、例えば、「ＤＯＩ ｃｏｄｅ １３８」のようなエラーコードであってもよい。
【数74】
を推定し、推定された正解ラベル
【数75】
を含むデータサンプル
【数76】
１００５を出力してもよい。ここで、データサンプル
【数77】
１００５に含まれた推定された正解ラベル
【数78】
は、入力データｘｎ１００１である半導体映像（ＳＥＭ Ｉｍａｇｅ）に対応する正解ラベルであって、例えば、「ＤＯＩ ｃｏｄｅ １３８」のようなエラーコードであってもよい。
【0167】
オートラベリング装置１０００は、ＳＥＭイメージをキャプチャーするイメージセンサを含んでもよい。
【0168】
図１１は、一実施形態に係るオートラベリングのためのトレーニング装置のブロック図である。図１１を参照すると、一実施形態に係るトレーニング装置１１００は、通信システム１１１０、プロセッサ１１３０、メモリ１１５０、及びイメージセンサ１１７０を含む。通信システム１１１０、プロセッサ１１３０、メモリ１１５０及びイメージセンサ１１７０は、通信バス１１０５を介して接続されたり、又は、無線に互いに接続されてもよい。
【0169】
通信システム１１１０は、例えば、有線又は無線トランシーバー又は他の受信ハードウェアインターフェースのようなハードウェアインターフェースを介してトレーニングのためのデータセットを受信してもよい。トレーニングデータセットは、入力データ及び入力データに対応するラベルを含むデータサンプルであってもよい。入力データは、例えば、半導体、道路又は３次元空間をイメージで撮影するためのイメージセンサ１１７０によって取得されたイメージデータを含んでもよく、イメージデータの例が、必ずこれに限定されることはない。
【0170】
プロセッサ１１３０は、データセットに含まれたラベルに対する信頼度に基づいて、データセットに含まれた誤答ラベルを検出する第１モデル、及びラベルの正解ラベルを推定する第２モデルを繰り返しトレーニングする。ここで、プロセッサ１１３０は、誤答ラベルを補正したデータサンプルを用いて、信頼度を予測するように第１モデルをトレーニングする。プロセッサ１１３０は、信頼度に基づいて分類された、誤答ラベルを含む第１データサンプルに対応する正解ラベルを推定するように第２モデルをトレーニングする。プロセッサ１１３０は、推定した正解ラベルによって誤答ラベルを補正及びリラベリングする。プロセッサ１１３０は、第１モデル及び第２モデルのうち少なくとも１つを用いて、誤答ラベルを補正したデータサンプルを生成する。
【0171】
プロセッサ１１３０は、プログラムを実行し、トレーニング装置１１００を制御してもよい。プロセッサ１１３０によって実行されるプログラムコード（又は命令）はメモリ１１５０に格納されてもよい。
【0172】
また、プロセッサ１１３０は、図１～図６を参照して前述した少なくとも１つの方法又は少なくとも１つの方法に対応する方式を行ってもよい。プロセッサ１１３０は、目的とする動作（ｄｅｓｉｒｅｄ ｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたトレーニング装置であってもよい。例えば、目的とする動作は、プログラムに含まれたコード（ｃｏｄｅ）又は命令（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含んでもよい。例えば、ハードウェアで具現されたトレーニング装置１１００は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理適応的スーパーサンプリング装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（中央処理装置）；ＣＰＵ）、グラフィック処理適応的スーパーサンプリング装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（グラフィック処理装置）；ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチ－コアプロセッサ（ｍｕｌｔｉ－ｃｏｒｅ ｐｒｏｃｅｓｓｏｒ）、マルチプロセッサ（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路））、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（フィールドプログラマブルゲートアレイ））、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ニューラル処理ユニット））などを含んでもよい。
【0173】
メモリ１１５０は、少なくとも１つのプログラムを格納する。また、メモリ１１５０は、プロセッサ１１３０の処理過程で生成される様々な情報を格納してもよい。メモリ１１５０は、トレーニングデータセットを格納してもよい。メモリ１１５０は、プロセッサ１１３０が推定した正解ラベルによって補正された誤答ラベル及び補正された誤答ラベルを含むデータサンプルを格納してもよい。また、メモリ１１５０は、データセットに含まれた誤答ラベルを検出する第１モデル、及びラベルの正解ラベルを推定する第２モデルを格納してもよい。その他にも、メモリ１１５０は、各種のデータとプログラムなどを格納してもよい。メモリ１１５０は、揮発性メモリ又は不揮発性メモリを含んでもよい。メモリ１１５０は、ハードディスク又はそれに類似の大容量格納媒体を備えて各種のデータを格納してもよい。
【0174】
非制限的な例として、イメージセンサ１１７０は、入力イメージをキャプチャーするように構成されてもよい。
【0175】
図１２は、一実施形態に係るオートラベリング装置のブロック図である。図１２を参照すると、一実施形態に係るオートラベリング装置１２００は、通信システム１２１０、プロセッサ１２３０、メモリ１２５０、及びイメージセンサ１２７０を含む。通信システム１２１０、プロセッサ１２３０、メモリ１２５０、及びイメージセンサ１２７０は通信バス１２０５を介して接続されたり、又は、無線に互いに接続されてもよい。
【0176】
通信システム１２１０は、入力データ及び入力データに対応するラベルを含むデータサンプルを受信する。入力データは、例えば、半導体、道路、又は３次元空間を撮影した映像データを含むが、映像データは必ずこれに限定されることはない。
【0177】
プロセッサ１２３０は、データサンプルを第１モデルに印加することによってラベルが誤答ラベルであるか否かを検出する。第１モデルはラベルに対する信頼度に基づいて、データサンプルに含まれた誤答ラベルを検出するようにトレーニングされた第１神経網を含む。
【0178】
また、プロセッサ１２３０は、ラベルが誤答ラベルであるという決定に応じて、入力データを第２モデルに印加することによって誤答ラベルに対応する正解ラベルを出力することができる。第２モデルは、誤答ラベルを含むデータサンプルに対応する正解ラベルを推定するようにトレーニングされた第２神経網を含んでもよい。
【0179】
プロセッサ１２３０はプログラムを実行し、オートラベリング装置１２００を制御してもよい。プロセッサ１２３０によって実行されるプログラムコード（又は、命令）は、メモリ１２５０に格納されてもよい。
【0180】
また、プロセッサ１２３０は、図７ないし図１０を参照して後述する少なくとも１つの方法又は少なくとも１つの方法に対応する技法を行うプロセッサ１２３０で、目的とする動作（ｄｅｓｉｒｅｄｏｐｅｒａｔｉｏｎｓ）を実行させるための物理的な構造を有する回路を有するハードウェアで具現されたオートラベリング装置であってもよい。例えば、目的とする動作は、プログラムに含まれるコード又は命令を含んでもよい。例えば、ハードウェアで具現されたオートラベリング装置１２００は、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ）、中央処理適応スーパーサンプリング装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ；ＣＰＵ）、グラフィック処理適応スーパーサンプリング装置（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ； ＧＰＵ）、プロセッサコア（ｐｒｏｃｅｓｓｏｒ ｃｏｒｅ）、マルチコアプロセッサー（ｍｕｌｔｉｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｅＰｒｏｇｒａｍｍａｂｌｅ）、ＮＰＵ（Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含んでもよい。
【0181】
メモリ１２５０は、少なくとも１つのプログラムを格納する。また、メモリ１２５０は、プロセッサ１２３０の処理過程で生成される様々な情報を格納してもよい。メモリ１２５０は、第１モデル及び／又は第２モデルを格納してもよい。その他にも、メモリ１２５０は、各種のデータとプログラムなどを格納してもよい。メモリ１２５０は、揮発性メモリ又は不揮発性メモリを含んでもよい。メモリ１２５０は、ハードディスクなどのような大容量格納媒体を備えて各種のデータを格納してもよい。
【0182】
非制限的な例として、イメージセンサ１２７０は、入力イメージをキャプチャーするように構成されてもよい。
【0183】
プロセッサ、メモリ、電子装置、装置、装置１００、５００、６００、８００、９００、１０００、１１００及び１２００、第１及び第２モデル１１０及び１３０、検出及びオートラベリングモデル６１０、６３０、８１０、及び８３０、通信システム１１１０及び１２１０、プロセッサ１１３０及び１２３０、メモリ１１５０及び１２５０、及びイメージセンサ１１７０及び１２７０は、図１～図１２に関連して本明細書に開示されている。図１～図１２は、ハードウェア構成要素によって具現されたりハードウェア構成要素を示す。
【0184】
以上で説明した実施形態は、ハードウェアコンポーネント、ソフトウェアコンポーネント、及び／又はハードウェアコンポーネント及びソフトウェアコンポーネントの組み合わせで具現されることができる。例えば、実施形態で説明する適応スーパーサンプリング装置、方法及びコンポーネントは、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＰＬＵ（Ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサ又はコマンドを実行して応答できる他の適応型スーパーサンプリング装置のように汎用コンピュータ又は特殊目的のコンピュータを使用して具現することができる。処理適応的スーパーサンプリング装置は、オペレーティングシステム（ＯＳ）及び上記オペレーティングシステム上で実行されるソフトウェアアプリケーションを実行することができる。また、処理適応的スーパーサンプリング装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成してもよい。理解の便宜のために、処理適応的スーパーサンプリング装置は１つが使用されるものと説明された場合もあるが、当該の技術分野で通常の知識を有する者は、処理適応的スーパーサンプリング装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数タイプの処理要素を含み得ることが分かる。例えば、処理適応スーパーサンプリング装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成（ｐｒｏｃｅｓｓｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）も可能である。
【0185】
ソフトウェアは、コンピュータプログラム（ｃｏｍｐｕｔｅｒ ｐｒｏｇｒａｍ）、コード（ｃｏｄｅ）、命令（ｉｎｓｔｒｕｃｔｉｏｎ）、又はそのいずれかの組み合わせを含んでもよく、希望のように処理適応的スーパーサンプリング装置を構成したり独立的又は結合的に（ｃｏｌｌｅｃｔｉｖｅｌｙ）処理適応的スーパーサンプリング装置を命令することができる。ソフトウェア及び／又はデータは、処理適応スーパーサンプリング装置によって解釈されるか、処理適応スーパーサンプリング装置に命令又はデータを提供するために、いずれかのタイプの機械、コンポーネント、物理適応スーパーサンプリング装置、仮想適応スーパーサンプリング装置、コンピュータ記憶媒体、又は適応スーパーサンプリング装置、又は送信される信号波に永久的に具体化することができる。ソフトウェアは、ネットワーク接続されたコンピュータシステム上に分散され、分散された方法で格納又は実行されてもよい。ソフトウェア及びデータは、コンピュータ読み取り可能な記録媒体に格納することができる。
【0186】
ソフトウェアは、コンピュータプログラム、コード、命令、又はそのうちの一つ以上の組合せを含み、希望の通りに動作するよう処理装置を構成したり、独立的又は結合的に処理装置を命令することができる。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令又はデータを提供するために、いずれかの類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、又は送信される信号波に永久的又は一時的に具体化することができる。ソフトウェアはネットワークに連結されたコンピュータシステム上に分散され、分散した方法で格納されたり実行され得る。ソフトウェア及びデータは一つ以上のコンピュータで読出し可能な記録媒体に格納され得る。
【0187】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組み合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例として、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。
【0188】
上記で説明したハードウェア適応的スーパーサンプリング装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモデルとして作動するように構成してもよく、その逆も同様である。
【0189】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、上記の説明に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法とは異なる形態に結合又は組み合わせられてもよく、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0190】
したがって、他の具現、他の実施形態及び特許請求の範囲と均等なものも後述する特許請求範囲の範囲に属する。
【符号の説明】
【0191】
１１０：第１モデル
１３０：第２モデル
１３０：第２モデル
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】