7496567 処理システム、学習処理システム、処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-30

(45)【発行日】2024-06-07

(54)【発明の名称】処理システム、学習処理システム、処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240531BHJP

   G01N 21/88 20060101ALI20240531BHJP

   G06N 20/00 20190101ALI20240531BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610C

G01N21/88 J

G06N20/00 130

【請求項の数】 16

(21)【出願番号】P 2022568080

(86)(22)【出願日】2021-10-14

(86)【国際出願番号】 JP2021038140

(87)【国際公開番号】W WO2022123905

(87)【国際公開日】2022-06-16

【審査請求日】2023-05-24

(31)【優先権主張番号】P 2020202864

(32)【優先日】2020-12-07

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002527

【氏名又は名称】弁理士法人北斗特許事務所

(72)【発明者】

【氏名】ナインゴラン ジェッフリー

(72)【発明者】

【氏名】菅澤 裕也

(72)【発明者】

【氏名】村田 久治

(72)【発明者】

【氏名】佐藤 吉宣

(72)【発明者】

【氏名】相川 恒

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０２０－０３０６９２（ＪＰ，Ａ）

【文献】特開２００９－２８２６８６（ＪＰ，Ａ）

【文献】特開２０１８－１０６６６２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

ラベルが付与された複数の学習データを取得する第１取得部と、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得部と、
ラベルが付与された識別データを取得する第３取得部と、
前記学習済みモデルを用いて前記識別データを識別する識別部と、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する１以上の学習データを抽出する抽出部と、
前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無、及び、前記識別データと前記１以上の学習データとのいずれに前記誤ラベルが付与されているかを判断する判断部と、
を備える、
処理システム。

【請求項2】

前記判断部による判断結果に関する情報を外部に提示する提示部を更に備える、
請求項１に記載の処理システム。

【請求項3】

前記判断結果が前記誤ラベルの有ることを示す場合、前記提示部は、前記識別データと、前記１以上の学習データとのいずれに前記誤ラベルが有るかを示す情報を提示する、
請求項２に記載の処理システム。

【請求項4】

前記判断結果が前記誤ラベルの無いことを示す場合、前記提示部は、前記識別データと、前記１以上の学習データとの両方を提示する、
請求項２又は３に記載の処理システム。

【請求項5】

前記判断部は、前記識別部による前記識別データの識別結果と、前記識別データに付与された前記ラベルとが不一致の場合に、前記誤ラベルの有無の判断を実行する、
請求項１～４のいずれか１項に記載の処理システム。

【請求項6】

前記判断部は、前記識別データに付与された前記ラベルと前記１以上の学習データに付与された前記ラベル、及び、前記識別データと前記１以上の学習データとの前記類似度に関する指標、の少なくとも一方に基づき、前記誤ラベルの有無を判断する、
請求項１～５のいずれか１項に記載の処理システム。

【請求項7】

前記判断部は、前記識別データに付与された前記ラベルと前記１以上の学習データに付与された前記ラベルとが不一致な割合に基づき、前記誤ラベルの有無を判断する、
請求項６に記載の処理システム。

【請求項8】

前記判断部は、前記識別データに付与された前記ラベルと前記１以上の学習データに付与された前記ラベル、及び、前記１以上の学習データの前記類似度に関する指標の両方に基づき、前記誤ラベルの有無を判断する、
請求項６に記載の処理システム。

【請求項9】

ラベルが付与された複数の学習データを取得する第１取得部と、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得部と、
ラベルが付与された識別データを取得する第３取得部と、
前記学習済みモデルを用いて前記識別データを識別する識別部と、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する抽出部と、
前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する判断部と、
を備え、
前記判断部は、
前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、
前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと一致する場合、前記識別データよりも前記特定の学習データの方に前記誤ラベルが有る可能性が高いと判断する、
処理システム。

【請求項10】

ラベルが付与された複数の学習データを取得する第１取得部と、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得部と、
ラベルが付与された識別データを取得する第３取得部と、
前記学習済みモデルを用いて前記識別データを識別する識別部と、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する抽出部と、
前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する判断部と、
を備え、
前記判断部は、
前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、
前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記特定の学習データに付与された前記ラベルと一致する場合、前記特定の学習データよりも前記識別データの方に前記誤ラベルが有る可能性が高いと判断する、
処理システム。

【請求項11】

前記学習済みモデルは、深層学習を適用して前記複数の学習データに基づき生成されたモデルである、
請求項１～１０のいずれか１項に記載の処理システム。

【請求項12】

請求項１～１１のいずれか１項に記載の処理システムと、
前記学習済みモデルを生成する学習システムと、
を備える、
学習処理システム。

【請求項13】

ラベルが付与された複数の学習データを取得する第１取得ステップと、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得ステップと、
ラベルが付与された識別データを取得する第３取得ステップと、
前記学習済みモデルを用いて前記識別データを識別する識別ステップと、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する１以上の学習データを抽出する抽出ステップと、
前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無、及び、前記識別データと前記１以上の学習データとのいずれに前記誤ラベルが付与されているかを判断する判断ステップと、
を含む、
処理方法。

【請求項14】

ラベルが付与された複数の学習データを取得する第１取得ステップと、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得ステップと、
ラベルが付与された識別データを取得する第３取得ステップと、
前記学習済みモデルを用いて前記識別データを識別する識別ステップと、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する抽出ステップと、
前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する判断ステップと、
を含み、
前記判断ステップでは、
前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、
前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと一致する場合、前記識別データよりも前記特定の学習データの方に前記誤ラベルが有る可能性が高いと判断する、
処理方法。

【請求項15】

ラベルが付与された複数の学習データを取得する第１取得ステップと、
前記複数の学習データに基づき生成された学習済みモデルを取得する第２取得ステップと、
ラベルが付与された識別データを取得する第３取得ステップと、
前記学習済みモデルを用いて前記識別データを識別する識別ステップと、
前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する抽出ステップと、
前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する判断ステップと、
を含み、
前記判断ステップでは、
前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、
前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記特定の学習データに付与された前記ラベルと一致する場合、前記特定の学習データよりも前記識別データの方に前記誤ラベルが有る可能性が高いと判断する、
処理方法。

【請求項16】

１以上のプロセッサに、請求項１３～１５のいずれか１項に記載の処理方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、処理システム、学習処理システム、処理方法、及びプログラムに関する。より詳細には本開示は、ラベルが付与されたデータに関する処理システム、当該処理システムを備える学習処理システム、処理方法、及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、データ解析装置が開示されている。データ解析装置は、ラベル付き教師データをモデル構築用データとモデル検証用データとに分割し、モデル構築用データを用いて機械学習モデルを構築し、機械学習モデルをモデル検証用データに適用してサンプルを識別するという一連の処理を規定回数繰り返す。データ解析装置は、その識別結果であるラベルと元々データに付されていたラベルとが不一致であった誤識別の回数をサンプル毎に求め、その誤識別回数又はその誤識別の確率に基づいてサンプルがミスラベル状態であるか否かを判定する。これにより、教師データに含まれる、ミスラベル状態である可能性が高いサンプルを高い確度で検出することができる。

【0003】

特許文献１のデータ解析装置では、上記の一連の処理を規定回数繰り返す必要があり、ミスラベル（誤ラベル）の特定に長時間を要する可能性がある。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－１５５５２２号公報

【発明の概要】

【0005】

本開示は上記事由に鑑みてなされ、誤ラベルの特定に要する時間の削減を図ることができる、処理システム、学習処理システム、処理方法、及びプログラムを提供することを目的とする。

【0006】

本開示の一態様の処理システムは、第１取得部と、第２取得部と、第３取得部と、識別部と、抽出部と、判断部と、を備える。前記第１取得部は、ラベルが付与された複数の学習データを取得する。前記第２取得部は、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得部は、ラベルが付与された識別データを取得する。前記識別部は、前記学習済みモデルを用いて前記識別データを識別する。前記抽出部は、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する１以上の学習データを抽出する。前記判断部は、前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無、及び、前記識別データと前記１以上の学習データとのいずれに前記誤ラベルが付与されているかを判断する。
本開示の一態様の処理システムは、第１取得部と、第２取得部と、第３取得部と、識別部と、抽出部と、判断部と、を備える。前記第１取得部は、ラベルが付与された複数の学習データを取得する。前記第２取得部は、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得部は、ラベルが付与された識別データを取得する。前記識別部は、前記学習済みモデルを用いて前記識別データを識別する。前記抽出部は、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する。前記判断部は、前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無を判断する。前記判断部は、前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと一致する場合、前記識別データよりも前記特定の学習データの方に前記誤ラベルが有る可能性が高いと判断する。
本開示の一態様の処理システムは、第１取得部と、第２取得部と、第３取得部と、識別部と、抽出部と、判断部と、を備える。前記第１取得部は、ラベルが付与された複数の学習データを取得する。前記第２取得部は、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得部は、ラベルが付与された識別データを取得する。前記識別部は、前記学習済みモデルを用いて前記識別データを識別する。前記抽出部は、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する。前記判断部は、前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無を判断する。前記判断部は、前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記特定の学習データに付与された前記ラベルと一致する場合、前記特定の学習データよりも前記識別データの方に前記誤ラベルが有る可能性が高いと判断する。

【0007】

本開示の一態様の学習処理システムは、上記の処理システムと、前記学習済みモデルを生成する学習システムと、を備える。

【0008】

本開示の一態様の処理方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、識別ステップと、抽出ステップと、判断ステップと、を含む。前記第１取得ステップでは、ラベルが付与された複数の学習データを取得する。前記第２取得ステップでは、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得ステップでは、ラベルが付与された識別データを取得する。前記識別ステップでは、前記学習済みモデルを用いて前記識別データを識別する。前記抽出ステップでは、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する１以上の学習データを抽出する。前記判断ステップは、前記識別データ、及び前記１以上の学習データに基づいて、誤ラベルの有無、及び、前記識別データと前記１以上の学習データとのいずれに前記誤ラベルが付与されているかを判断する。
本開示の一態様の処理方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、識別ステップと、抽出ステップと、判断ステップと、を含む。前記第１取得ステップでは、ラベルが付与された複数の学習データを取得する。前記第２取得ステップでは、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得ステップでは、ラベルが付与された識別データを取得する。前記識別ステップでは、前記学習済みモデルを用いて前記識別データを識別する。前記抽出ステップでは、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する。前記判断ステップでは、前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する。前記判断ステップでは、前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと一致する場合、前記識別データよりも前記特定の学習データの方に前記誤ラベルが有る可能性が高いと判断する。
本開示の一態様の処理方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、識別ステップと、抽出ステップと、判断ステップと、を含む。前記第１取得ステップでは、ラベルが付与された複数の学習データを取得する。前記第２取得ステップでは、前記複数の学習データに基づき生成された学習済みモデルを取得する。前記第３取得ステップでは、ラベルが付与された識別データを取得する。前記識別ステップでは、前記学習済みモデルを用いて前記識別データを識別する。前記抽出ステップでは、前記学習済みモデルで適用される前記識別データと前記複数の学習データの各々との類似度に関する指標に基づき、前記複数の学習データから、前記識別データと類似する２以上の学習データを抽出する。前記判断ステップでは、前記識別データ、及び前記２以上の学習データに基づいて、誤ラベルの有無を判断する。前記判断ステップでは、前記２以上の学習データから、前記類似度に関する指標が所定条件を満たすほどに前記識別データに類似する特定の学習データを特定し、前記特定の学習データに付与された前記ラベルが前記識別データに付与された前記ラベルと不一致であり、かつ、前記２以上の学習データにおける前記特定の学習データ以外の学習データに付与された前記ラベルが前記特定の学習データに付与された前記ラベルと一致する場合、前記特定の学習データよりも前記識別データの方に前記誤ラベルが有る可能性が高いと判断する。

【0009】

本開示の一態様のプログラムは、１以上のプロセッサに、上記の処理方法を実行させるためのプログラムである。

【図面の簡単な説明】

【0010】

【図1】図１は、一実施形態に係る処理システムを備える学習処理システム全体の概略ブロック構成図である。

【図2】図２Ａ及び図２Ｂは、同上の処理システムにおける動作例１及び動作例２を説明するための説明図である。

【図3】図３は、同上の学習処理システムの動作を説明するためのフローチャートである。

【図4】図４は、同上の処理システムにおける動作例３を説明するための説明図である。

【図5】図５は、同上の処理システムにおける動作例４を説明するための説明図である。

【図6】図６は、同上の処理システムにおける動作例５を説明するための説明図である。

【発明を実施するための形態】

【0011】

（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。

【0012】

本実施形態に係る処理システム１は、図１に示すように、第１取得部１１と、第２取得部１２と、第３取得部１３と、識別部１４と、抽出部１５とを備える。

【0013】

第１取得部１１は、ラベルが付与された複数の学習データＤ２を取得する。第２取得部１２は、複数の学習データＤ２に基づき生成された学習済みモデルＭ１を取得する。

【0014】

ここでいう学習データＤ２は、一例として画像データである。学習データＤ２は、例えば撮像装置４（図１参照）で撮像された画像データである。しかし、画像データは、ＣＧ等の加工されたデータでもよい。またここでは画像データは、静止画であることを想定するが、動画又はコマ送りの１コマ１コマのデータでもよい。学習データＤ２は、その画像データ内に写るオブジェクト５（図２Ａ及び図２Ｂ参照：被写体）に関する学習済みモデルＭ１を生成するためのデータである。つまり、学習データＤ２は、モデルを機械学習するために用いられる学習用データである。本開示でいう「モデル」は、識別対象（オブジェクト５）に関する入力データが入力されると、識別対象がどのような状態にあるかを推定し、推定結果（識別結果）を出力するプログラムである。「学習済みモデル」は、学習用データを用いた機械学習が完了したモデルをいう。また「学習データ（セット）」は、モデルに入力される入力データ（画像データ）と、入力データに付与されたラベルと、を組み合わせたデータセットであり、いわゆる教師データである。つまり、本実施形態では、学習済みモデルＭ１は、教師あり学習による機械学習が完了したモデルである。

【0015】

なお、本開示において、「画像データ内に写るオブジェクト５」とは、「画像データによって表される画像内に写るオブジェクト５」という意味を含む。

【0016】

本実施形態では一例として、学習済みモデルＭ１は、深層学習（ディープラーニング）を適用して複数の学習データＤ２に基づき生成されたモデルである。

【0017】

本実施形態では一例として、識別対象であるオブジェクト５は、図２Ａ及び図２Ｂに示すように、電池である。つまり、学習データＤ２は、電池の画像（画像データ）である。したがって、学習済みモデルＭ１は、電池の外観の様子を推定し、推定結果を出力する。具体的には、学習済みモデルＭ１は、推定結果として、電池の外観が、良（ＯＫ）であるか不良（ＮＧ）であるかを出力する、言い換えれば、電池の外観検査のために用いられる。以下では、説明を分かりやすくするために、複数の学習データＤ２の各々に付与されるラベルは、「ＯＫ」又は「ＮＧ」の二種類だけである場合を想定する。しかし、本開示でいう「ラベル」の種類は、「ＯＫ」、「ＮＧ」の二種類に限定されない。例えば「ＮＧ」について、より詳細な内容（不良の種類等）を示すラベルが付与されてよい。

【0018】

上記の内容を言い換えると、処理システム１は、学習済みモデルＭ１を用いて、電池の外観の様子を推定し、推定結果を出力する。具体的には、処理システム１は、学習済みモデルＭ１を用いて、推定結果として、電池の外観が、良（ＯＫ）であるか不良（ＮＧ）であるかを出力する。

【0019】

本実施形態の第３取得部１３は、ラベルが付与された識別データＤ１を取得する。本実施形態では、識別データＤ１は、学習データＤ２と同様に、一例として画像データであり、その画像データ内に写るオブジェクト５は電池である。識別データＤ１は、例えば機械学習が完了した学習済みモデルＭ１を更新する際に、再学習するために新たに入手された教師データである。より具体的には、識別データＤ１は、現存の学習データとは別に新しく追加する学習データ、又は現存の学習データを更新するために用いられる学習データとなる予定のデータである。識別データＤ１には、複数の学習データＤ２と同様に、「ＯＫ」又は「ＮＧ」が付与され得る。

【0020】

ところで、モデルの機械学習を行うためには、教師データ（識別データＤ１及び学習データＤ２）に対して、人がラベルを付ける作業（ラベリング）が発生する。しかし、人がラベルを付ける際には、単純な作業ミス、又は人による基準の曖昧さが発生し得る。その結果、ラベル付きの教師データには、適切ではないラベル（誤ラベル）が付与されたデータが含まれている可能性がある。誤ラベルは、新たに入手された識別データＤ１にも、学習済みモデルＭ１の生成に用いた学習データＤ２にも存在し得る。

【0021】

本開示において、誤ラベルとは、データに付与されたラベルであって、適切ではないラベルをいう。誤ラベルは、例えば、ＯＫラベルが付与されるべきデータに実際に付与されたＮＧラベル、ＮＧラベルが付与されるべきデータに実際に付与されたＯＫラベルをいう。

【0022】

本実施形態の処理システム１では、識別部１４は、学習済みモデルＭ１を用いて識別データＤ１を識別する。抽出部１５は、学習済みモデルＭ１で適用される識別データＤ１と複数の学習データＤ２との類似度に関する指標に基づき、複数の学習データＤ２から、識別データＤ１と類似する１以上の学習データＤ２を抽出する。ここでいう「学習済みモデルＭ１で適用される類似度に関する指標」は、例えば、深層学習における出力層の直前の全結合層における指標であり、本実施形態では、ユークリッド距離を用いている。つまり、比較する２つの画像から得られる画素値等の特徴量から「距離」が求められ、２つの画像の近さが推定される。類似度の指標となる「距離」は、類似度とは反比例となる。類似度の指標となる「距離」は、ユークリッド距離以外にも、マハラノビス距離、マンハッタン距離、チェビシェフ距離、又はミンコフスキー距離でもよい。また指標は、距離に限定されず、類似度、又は（相関）係数等でもよく、例えばｎ次元ベクトルの類似度、コサイン類似度、ピアソンの相関係数、偏差パターン類似度、ジャッカード係数、ダイス係数、又はシンプソン係数でもよい。

【0023】

要するに、類似する１以上の学習データＤ２は、学習済みモデルＭ１が入力データ（識別データＤ１）を分類する際に用いられる類似度の指標に基づき抽出される。抽出部１５は、識別データＤ１と類似度が高い複数（例えば上位３個）の学習データＤ２を抽出する。

【0024】

このように類似する１以上の学習データＤ２が抽出されるので、識別データＤ１と類似する１以上の学習データＤ２とを１回でも確認するだけで、誤ラベルの有無を特定し得る。結果的に、誤ラベルの特定に要する時間の削減を図ることができる。

【0025】

また本実施形態に係る学習処理システム１００は、図１に示すように、処理システム１と、学習済みモデルＭ１を生成する学習システム２とを備える。したがって、誤ラベルの特定に要する時間の削減を図ることが可能な学習処理システム１００を提供できる。

【0026】

また本実施形態に係る処理方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、識別ステップと、抽出ステップと、を含む。第１取得ステップでは、ラベルが付与された複数の学習データＤ２を取得する。第２取得ステップでは、複数の学習データＤ２に基づき生成された学習済みモデルＭ１を取得する。第３取得ステップでは、ラベルが付与された識別データＤ１を取得する。識別ステップでは、学習済みモデルＭ１を用いて識別データＤ１を識別する。抽出ステップでは、学習済みモデルＭ１で適用される識別データＤ１と複数の学習データＤ２の各々との類似度に関する指標に基づき、複数の学習データＤ２から、識別データＤ１と類似する１以上の学習データＤ２を抽出する。この構成によれば、誤ラベルの特定に要する時間の削減を図ることが可能な処理方法を提供できる。この処理方法は、コンピュータシステム（処理システム１）上で用いられる。つまり、この処理方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係る処理方法を、１以上のプロセッサに実行させるためのプログラムである。

【0027】

（２）詳細
以下、本実施形態に係る処理システム１を備えた学習処理システム１００、及びその周辺構成を含んだ全体のシステムについて、図１を参照しながら詳しく説明する。なお、周辺構成の少なくとも一部が、学習処理システム１００の構成に含まれてもよい。

【0028】

（２．１）全体構成
学習処理システム１００は、図１に示すように、処理システム１と、学習システム２とを備える。また学習処理システム１００の周辺構成として、推定システム３と、１又は複数台の撮像装置４（図１では１台のみ図示）とが設けられている。

【0029】

処理システム１、学習システム２、及び推定システム３は、サーバ等から構築されることを想定する。ここでいう「サーバ」は、１台のサーバ装置から構成されることを想定する。つまり、処理システム１、学習システム２、及び推定システム３の主な機能が、１台のサーバ装置に設けられていることを想定する。

【0030】

ただし、「サーバ」は、複数台のサーバ装置から構成されてもよい。具体的には、処理システム１、学習システム２、及び推定システム３の機能が、それぞれ個別のサーバ装置に設けられてもよいし、これらのうちの２つのシステムが１台のサーバ装置に設けられてもよい。またそのようなサーバ装置が、例えばクラウド（クラウドコンピューティング）を構築してもよい。

【0031】

またサーバ装置は、電池の外観検査を実施する工場内に設置されてもよいし、工場の外部（例えば事業本部）に設置されてもよい。処理システム１、学習システム２、及び推定システム３の機能がそれぞれ個別のサーバ装置に設けられている場合、各サーバ装置は、他のサーバ装置と通信可能に接続されていることが望ましい。

【0032】

学習システム２は、オブジェクト５に関する学習済みモデルＭ１を生成するように構成される。学習システム２は、ラベル付きの複数の学習データＤ２（画像データ）に基づき学習済みモデルＭ１を生成する。ここでいう学習済みモデルＭ１は、例えばニューラルネットワークを用いたモデル、又は多層ニューラルネットワークを用いた深層学習（ディープラーニング）により生成されるモデルを含むことを想定する。ニューラルネットワークは、例えばＣＮＮ（Convolutional Neural Network：畳み込みニューラルネットワーク）、又はＢＮＮ（Bayesian Neural Network：ベイズニューラルネットワーク）等を含み得る。学習済みモデルＭ１は、ＡＳＩＣ（Application Specific Integrated Circuit）又はＦＰＧＡ（Field-Programmable Gate Array）等の集積回路に、学習済みのニューラルネットワークを実装することで実現されている。学習済みモデルＭ１は、ディープラーニングにより生成されるモデルに限定されない。学習済みモデルＭ１は、サポートベクターマシン、又は決定木等により生成されるモデルでもよい。

【0033】

複数の学習データＤ２の各々は、画像データに対して「ＯＫ（良品）」又は「ＮＧ（不良品）」を示すラベルを付与することで生成される。ラベルの付与に関する作業（ラベリング）は、ユーザによって操作部１９等のユーザインタフェースを介して学習処理システム１００に対して行われる。学習システム２は、ラベル付きの複数の学習データＤ２を用いて、電池の良品、及び不良品を機械学習することにより、学習済みモデルＭ１を生成する。

【0034】

また学習システム２は、新たに取得したラベル付きの学習データを識別データＤ１として用いて再学習を行うことで、学習済みモデルＭ１の性能の向上を図ることができる。例えばオブジェクト５に新しい種類の不良が見つかれば、学習システム２に、新しい不良に関する再学習を行わせることが可能である。

【0035】

学習システム２で生成された学習済みモデルＭ１は、格納部に格納（記憶）される。学習済みモデルＭ１を格納する格納部は、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能な不揮発性メモリを含む。

【0036】

処理システム１は、識別データＤ１と類似する学習データＤ２を抽出する抽出処理を実行して、教師データ（識別データＤ１及び学習データＤ２）に誤ラベルが存在するか否かの確認を行いやすくする機能を有している。以下では、処理システム１を備えた学習処理システム１００を利用する者を単に「ユーザ」と呼ぶことがある。ユーザは、例えば、工場内で電池（オブジェクト５）の製造工程を監視するオペレータ、又は管理責任者等に相当し得る。

【0037】

処理システム１は、図１に示すように、処理部１０と、提示部１７と、通信部１８と、操作部１９とを備える。処理システム１は、記憶部を更に備える。

【0038】

処理システム１の一部の機能は、サーバと通信可能な情報端末に分散的に設けられてもよい。本開示でいう「情報端末」は、パーソナルコンピュータ（ノートパソコン又は据置型のパソコン）、スマートフォンやタブレット端末等の携帯型の端末等を含み得る。ここでは、提示部１７及び操作部１９の機能が、ユーザが使用する情報端末に設けられている。情報端末には、サーバと通信するための専用のアプリケーションソフトが予めインストールされる。

【0039】

処理部１０は、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１０として機能する。プログラムは、ここでは処理部１０のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。

【0040】

処理部１０は、提示部１７、通信部１８、及び操作部１９等に関する制御処理を実行する。処理部１０の機能はサーバにあることを想定する。また処理部１０は、識別処理、抽出処理、及び判断処理を実行する機能を有しており、図１に示すように、第１取得部１１、第２取得部１２、第３取得部１３、識別部１４、抽出部１５、及び判断部１６を有する。第１取得部１１、第２取得部１２、第３取得部１３、識別部１４、抽出部１５、及び判断部１６の詳細については、次の欄で説明する。

【0041】

提示部１７は、液晶ディスプレイ又は有機ＥＬ（Electro-Luminescence）ディスプレイを構成する。提示部１７は、上述の通り、情報端末に設けられている。提示部１７は、タッチパネル式のディスプレイでもよい。提示部１７は、後述する判断部１６による判断結果に関する情報（提示情報Ｄ４）を外部に提示する。提示部１７は、提示情報Ｄ４以外にも、推定システム３の推定結果等の種々の情報を表示し得る。

【0042】

通信部１８は、１又は複数台の撮像装置４と直接的に、或いはユーザの情報端末又は生産管理システムの機能を有した別サーバ等を介して間接的に通信するための通信インタフェースである。通信部１８の機能は、処理部１０と同じサーバにあることを想定するが、例えば情報端末に設けられてもよい。通信部１８は、撮像装置４又は別サーバ等から、識別データＤ１及び学習データＤ２を受信する。

【0043】

識別データＤ１及び学習データＤ２はいずれも、一例として撮像装置４で撮像された画像データにラベル（ここでは「ＯＫ」又は「ＮＧ」）が付与されたデータであり、画像データは、オブジェクト５を示す画素領域を含む。またオブジェクト５は、上述の通り電池であり、識別データＤ１及び学習データＤ２はいずれも電池の外観を示す画素領域を含むデータである。撮像装置４は、例えばラインセンサカメラを含む。

【0044】

撮像装置４で撮像されたオブジェクト５に関する大量の画像データの中からの、教師データ（学習データＤ２）に適用する画像データの選別は、例えば、ユーザからの指示に応じて行われる。画像データの選別作業、及び画像データへのラベリングを支援する機能が、学習処理システム１００に設けられている。例えば、学習処理システム１００は、選別及びラベリングに関する指示を受け付けるユーザインタフェース（例えば操作部１９）を備える。

【0045】

操作部１９は、マウス、キーボード、及びポインティングデバイス等を含む。操作部１９は、上述の通り、例えばユーザが使用する情報端末に設けられている。提示部１７が、情報端末のタッチパネル式のディスプレイである場合、操作部１９の機能を兼ねてもよい。

【0046】

推定システム３は、学習システム２で生成された学習済みモデルＭ１を用いて、入力される対象画像データＤ３に関する推定を行う（推論フェーズ）。推定システム３は、１又は複数台の撮像装置４と直接的に、或いはユーザの情報端末又は生産管理システムの機能を有した別サーバ等を介して間接的に通信可能に構成される。推定システム３は、実際に製造工程を経た電池（製品又は半製品）が撮像装置４で撮像された対象画像データＤ３を受信して、電池の外観検査を実行する。

【0047】

推定システム３は、学習済みモデルＭ１を用いて、対象画像データＤ３に写るオブジェクト５が「良品」又は「不良品」のどちらであるかを推定する。推定システム３は、対象画像データＤ３に対する識別結果（推定結果）を、ユーザが利用する情報端末、又は生産管理システム等に出力する。ユーザは、情報端末を通じて、推定結果を確認できる。また生産管理システムが、推定結果を取得して、「不良品」と推定された電池については、次の工程に搬送される前に、破棄するように設備を制御してもよい。

【0048】

後述する処理システム１の識別部１４の機能は、推定システム３の機能と実質的に同等である。

【0049】

（２．２）誤ラベル検知
処理部１０は、識別処理、抽出処理、及び判断処理を実行して誤ラベルを検知する機能を有する。具体的には、処理部１０は、図１に示すように、第１取得部１１、第２取得部１２、第３取得部１３、識別部１４、抽出部１５、及び判断部１６を有する。

【0050】

第１取得部１１は、ラベル付きの複数の学習データＤ２を取得するように構成される。第１取得部１１は、ユーザにより操作部１９を介して実行された操作入力に応じて、学習済みモデルＭ１の生成に用いられた全てのラベル付きの複数の学習データＤ２を、例えばこれらを格納する格納部から取得する。提示部１７は、第１取得部１１が取得したラベル付きの学習データＤ２をユーザが閲覧できるように、画面表示可能である。

【0051】

第２取得部１２は、複数の学習データＤ２に基づき学習システム２で生成された学習済みモデルＭ１を取得するように構成される。第２取得部１２は、ユーザにより操作部１９を介して実行された操作入力に応じて、学習済みモデルＭ１を、例えばこれを格納する格納部から取得する。

【0052】

第３取得部１３は、ラベル付きの識別データＤ１を取得するように構成される。第３取得部１３は、ユーザにより操作部１９を介して実行された操作入力に応じて、新たに用意されたラベル付きの識別データＤ１を、例えばこれを格納する格納部から取得する。提示部１７は、第３取得部１３が取得したラベル付きの識別データＤ１をユーザが閲覧できるように、画面表示可能である。

【0053】

識別部１４は、学習済みモデルＭ１を用いて識別データＤ１を識別するように構成される（識別処理）。識別部１４は、第２取得部１２が取得した学習済みモデルＭ１を用いて、識別データＤ１内に写るオブジェクト５（電池）が、ＯＫ又はＮＧのいずれであるかの識別を行わせる。つまり、識別部１４は、推定システム３で言えば対象画像データＤ３（入力データ）のように、学習済みモデルＭ１に、識別データＤ１がＯＫかＮＧかを分類（識別）させる。後述の通り、識別処理による結果は、識別データＤ１に実際付与されていたラベルと比較される。

【0054】

抽出部１５は、学習済みモデルＭ１で適用される識別データＤ１と複数の学習データＤ２との類似度に関する指標に基づき、複数の学習データＤ２から、識別データＤ１と類似する１以上の学習データＤ２を抽出するように構成される（抽出処理）。以下では、抽出した１以上の学習データＤ２を、「類似データＤ２１」と呼ぶことがある。ここでは、抽出部１５は、深層学習における出力層の直前の全結合層の情報に基づき、類似データＤ２１（学習データＤ２）を抽出する。抽出部１５は、識別データＤ１の画像から得られる画素値等に関する特徴量と、各学習データＤ２の画像から得られる画素値等に関する特徴量とから、類似度の指標（一例としてユークリッド距離）を求め、これにより画像同士の近さを推定する。以下では、類似度の指標を、単に「距離」と呼ぶ。抽出部１５は、上記指標を求めて、識別データＤ１と各学習データＤ２との類似度を推定する。

【0055】

識別データＤ１に対する類似データＤ２１の距離が小さいほど、その類似データＤ２１が識別データＤ１に近い画像であることを意味する。言い換えると、学習済みモデルＭ１は、全結合層において、入力データから得られる特徴量と各学習データＤ２から得られる特徴量との距離を比較する。つまり、抽出部１５は、学習済みモデルＭ１を用いて、学習済みモデルＭ１の全結合層において、入力データから得られる特徴量と各学習データＤ２から得られる特徴量との距離を比較する。その結果、入力データは、学習済みモデルＭ１により、入力データと距離の小さい学習データＤ２のラベルに基づき、良品（ＯＫ）である可能性が高い、又は不良品（ＮＧ）である可能性が高いという結果に分類され、その分類結果が出力層より出力される。

【0056】

このように、抽出部１５は、識別データＤ１と各学習データＤ２との距離に基づき、複数の学習データＤ２から、識別データＤ１と類似性の高い類似データＤ２１を抽出する。例えば、抽出部１５は、上記距離が、予め定められた特定の閾値以下である学習データＤ２を、類似データＤ２１として抽出する。或いは、抽出部１５は、複数の学習データＤ２から、類似度の高い（距離が小さい）上位のＮ個（Ｎは自然数）の学習データＤ２を、類似データＤ２１として抽出してもよい。特定の閾値やＮ個（個数）は、ユーザにより任意に設定可能である。本実施形態では、処理システム１は、特定の閾値やＮ個（個数）に関する設定情報を、ユーザにより操作部１９を介して受け付け可能に構成される。設定情報は、処理部１０のメモリ等に保存される。以下では、識別データＤ１に対する距離が小さい上位３個の類似データＤ２１が抽出されるものとする。

【0057】

判断部１６は、識別データＤ１、及び１以上の学習データＤ２に基づいて、誤ラベルの有無を判断するように構成される（判断処理）。本実施形態では、処理部１０は、特定の条件を満たしたときに、判断部１６に判断処理を実行させる。特定の条件は、識別処理による識別結果と識別データＤ１のラベルとが不一致であること、である。言い換えると、判断部１６は、識別部１４による識別データＤ１の識別結果と、識別データＤ１に付与されたラベルとが不一致の場合に、誤ラベルの有無の判断を実行する。このように特定の条件を満たす場合だけ、判断処理が実施されるため、無用に判断処理が実施される可能性が低減され、処理負荷の低減を図れる。また結果的に、誤ラベルのデータ特定に要する時間を更に削減できる。ここでは、上述した抽出処理も、上記特定の条件が満たされた場合に実行されるため、処理負荷をより低減できる。

【0058】

要するに、判断部１６は、識別データＤ１、及び１以上の類似データＤ２１（学習データＤ２）に基づいて、識別データＤ１に付与されたラベル及び１以上の類似データＤ２１に付与されたラベルについて誤ラベルの有無を判断する。なお、本開示において、「識別データＤ１のラベル」とは、識別データＤ１に付与されたラベルといい、「学習データＤ２のラベル」とは、学習データＤ２に付与されたラベルをいう。

【0059】

なお、判断部１６は、識別部１４による識別データＤ１の識別結果と、識別データＤ１に付与されたラベルとが一致の場合、誤ラベルの有無の判断を実行しない。

【0060】

また本実施形態では、判断部１６は、識別データＤ１のラベルと１以上の類似データＤ２１（学習データＤ２）のラベル、及び、識別データＤ１に対する１以上の類似データＤ２１（学習データＤ２）の類似度に関する指標の、少なくとも一方に基づき、誤ラベルの有無を判断する。次の欄の「（２．３）動作」では、動作例１で「ラベル」に基づき誤ラベルの有無を判断するケースを説明し、動作例２で「ラベル」と「類似度の指標」の両方に基づき誤ラベルの有無を判断するケースを説明する。動作例１及び２ではいずれも、誤ラベルが識別データＤ１に有る場合の例である。また本実施形態では、判断部１６は、学習データＤ２に誤ラベルが有ることを特定するための機能を更に有し、次の欄の「（２．３）動作」の動作例３で説明する。

【0061】

要するに、判断部１６は、識別データＤ１に付与されたラベルと１以上の類似データＤ２１（学習データＤ２）に付与されたラベル、及び、識別データＤ１と１以上の類似データＤ２１（学習データＤ２）との類似度に関する指標、の少なくとも一方に基づき、誤ラベルの有無を判断する。

【0062】

処理システム１の記憶部は、種々の情報を記憶する。より詳細には、記憶部は、第１取得部１１で取得された複数の学習データＤ２と、第２取得部１２で取得された学習済みモデルＭ１と、第３取得部１３で取得された識別データＤ１とを記憶する。また、記憶部は、抽出部１５で抽出された１以上の類似データＤ２１を記憶する。さらに、記憶部は、判断部１６による判断結果を記憶する。

【0063】

（２．３）動作
以下、処理システム１に関する動作について、動作例１～５にて説明する。各動作例における動作の順序は単なる一例であり、特に限定されない。

【0064】

＜動作例１：識別データに誤ラベル有り＞
以下、動作例１について、図２Ａ、図２Ｂ、及び図３を参照して説明する。

【0065】

処理システム１の処理部１０は、第１取得部１１～第３取得部１３にて、それぞれ、ラベル付きの複数の学習データＤ２、学習済みモデルＭ１、及びラベル付きの識別データＤ１を取得する（図３：Ｓ１～Ｓ３、第１～第３取得ステップ）。これらのデータの取得順に決まりはない。本動作例（動作例１）では、識別データＤ１には、「ＮＧ」のラベルが付与されていたとする（図２Ａ参照）。

【0066】

次に、処理部１０は、識別部１４にて、学習済みモデルＭ１を用いて識別データＤ１を識別する（図３：Ｓ４、識別ステップ）。ここでは、識別結果が「ＯＫ」だったとする（図２Ａ参照）。処理部１０は、識別結果と識別データＤ１のラベルとを比較し、不一致であれば（図３：Ｓ５のＹｅｓ）、抽出処理及び判断処理に進む。一方、識別結果と識別データＤ１のラベルとが一致すれば（図３：Ｓ５のＮｏ）、処理部１０は、抽出処理及び判断処理に進まずに、提示部１７から、例えば「エラーなし」といったメッセージを提示させて、処理を終える。本動作例では、識別結果が「ＯＫ」で、ラベルが「ＮＧ」のため、抽出処理及び判断処理に進む。

【0067】

処理部１０は、抽出部１５にて、複数の学習データＤ２から類似データＤ２１を抽出する（図３：Ｓ７、抽出ステップ）。この例では、距離の小さい上位３個の類似データＤ２１が抽出されている（図２Ａ及び図２Ｂ参照）。またこの例では、３個の類似データＤ２１の距離（識別データＤ１と類似データＤ２１との間の距離）は、左から順に、０．７９、０．８１、０．８３であり、距離が０（ゼロ）に近いほど識別データＤ１に近い画像であると、学習済みモデルＭ１により識別される。またこの例では、３個の類似データＤ２１のラベルは、全て「ＯＫ」である。

【0068】

次に処理部１０は、判断部１６にて、識別データＤ１と３個の類似データＤ２１とに基づいて、誤ラベルの有無を判断する（図３：Ｓ８）。本開示では、判断部１６は、誤ラベル度合いを計算し、誤ラベル度合いが高ければ（例えば９０％以上であれば）、識別データＤ１に誤ラベルが有る可能性が高いと判断する。具体的には、本動作例では、判断部１６が、識別データＤ１のラベルと１以上の類似データＤ２１（学習データＤ２）のラベルとが不一致な割合（誤ラベル度合い）に基づき、誤ラベルの有無を判断するように構成される。図２Ａの例では、識別データＤ１のラベルが「ＮＧ」に対して、３個の類似データＤ２１の全てのラベルが「ＯＫ」である。その結果、不一致割合は、１００％である。したがって、本動作例では、判断部１６は、教師データに誤ラベルが有ると判断し、特に、識別データＤ１に誤ラベルが有る可能性が高いと判断する。なお、不一致割合が９０％未満のケースについては、後述する動作例５で説明する。

【0069】

処理部１０は、提示部１７から、判断部１６の判断結果を含む提示情報Ｄ４を提示する（図３：Ｓ９）。本動作例では、図２Ｂに示すように、誤ラベルが有る可能性が高いと判断された識別データＤ１は、その画像上に「誤ラベル」という文字データを重ね、その画像の周囲を枠で囲むように提示される。つまり、判断結果が誤ラベルの有ることを示す場合、提示部１７は、識別データＤ１と、１以上の類似データＤ２１（学習データＤ２）とのどちらに誤ラベルが有るかを示す情報を提示する。ここでは提示部１７の同じ画面上に、識別データＤ１の画像とセットで、３個の類似データＤ２１も参考用に提示される（図２Ｂ参照）。また識別データＤ１のラベルの情報と識別結果、類似データＤ２１のラベルの情報と距離の情報も、画像と共に提示される。したがって、ユーザは、提示部１７に提示された情報を確認すれば、識別データＤ１に付与されていた「ＮＧ」ラベルは誤りで、正しいラベルは「ＯＫ」であることを容易に理解できる。

【0070】

＜動作例２：識別データに誤ラベル有り＞
以下、動作例２について、動作例１の図２Ｂを参照しながら説明する。上述した動作例１と実質的に共通する動作については、詳細な説明を省略する場合がある。

【0071】

動作例１では、図３のＳ８の判断処理にて、ラベルに基づき、つまり誤ラベル度合いとしてラベルの不一致割合に基づき、誤ラベルの有無が判断される。本動作例（動作例２）では、判断部１６は、識別データＤ１のラベルと１以上の類似データＤ２１（学習データＤ２）のラベル、及び、１以上の類似データＤ２１（学習データＤ２）の類似度に関する指標の両方に基づき、誤ラベルの有無を判断する。つまり、本動作例の判断方法は、動作例１で例示した判断方法と異なる。

【0072】

具体的には、判断部１６は、誤ラベル度合いをＦとすると、以下の式（１）から、誤ラベル度合いＦを計算する。

【0073】

【数1】

【0074】

式（１）中のＮは、類似データＤ２１の個数（ここではＮ＝３）である。Ｐiは、類似データiのラベルと識別データＤ１のラベルとが一致する場合、０（ゼロ）とし、不一致の場合、以下の式（２）から計算される。ここではＫ＝０．００１とする。

【0075】

【数2】

【0076】

式（２）のＰiは、距離i（Ｌi）が小さいほど、１に近づく値となる。式（２）のＰiが１に近い値ということは、類似データiと識別データＤ１は、ラベルが互いに不一致にも関わらず、それらの画像の類似度が高いことを意味する。したがって、誤ラベル度合いＦ×１００（確率）は、１００％に近くなるほど、判断部１６は、誤ラベルが有り、特に、識別データＤ１に誤ラベルが有る可能性が高いと判断する。

【0077】

図２Ｂの例で言えば、３個の類似データＤ２１の距離は、左から順に、０．７９、０．８１、０．８３であり、これらのラベルは全て識別データＤ１のラベルと不一致であるため、式（２）から、類似データiのＰiが計算される。実際に各距離を式（２）代入してＦ×１００を求めると、識別データＤ１に誤ラベルが有る確率は、｛（０．９９９２１＋０．９９９１９＋０．９９９１７）／３｝×１００≒９９．９％となる。

【0078】

処理システム１は、ユーザからの操作部１９等への操作入力によって、動作例１の「ラベルの割合」による判断方法、及び本動作例の「ラベルと類似度の指標の両方」による判断方法のいずれかを選択できるように構成されてもよい。

【0079】

本動作例で説明したように、ラベル及び類似度の指標の両方に基づき、誤ラベルの有無を判断することで、動作例１のように不一致割合により誤ラベルの有無を判断する場合に比べて、誤ラベルの判断に関する信頼性が容易に向上する。特に、抽出された類似データＤ２１間で距離のばらつきが大きい場合に、動作例１の不一致割合に比べて、精度がより高くなり得る。

【0080】

＜動作例３：学習データに誤ラベル有り＞
以下、動作例３について、図３及び図４を参照しながら説明する。上述した動作例１と実質的に共通する動作については、詳細な説明を省略する場合がある。

【0081】

動作例１及び２の説明で参照した図２Ｂでは、識別データＤ１に誤ラベルが有る一例を示していた。本動作例（動作例３）では、学習データＤ２に誤ラベルが有る一例について説明する。

【0082】

処理システム１の処理部１０は、ラベル付きの複数の学習データＤ２、学習済みモデルＭ１、及びラベル付きの識別データＤ１を取得する（図３：Ｓ１～Ｓ３）。本動作例では、識別データＤ１には、「ＯＫ」のラベルが付与されている（図４参照）。

【0083】

次に、処理部１０は、学習済みモデルＭ１を用いて識別データＤ１を識別する（図３：Ｓ４）。ここでは、識別結果が「ＮＧ」だったとする（図４参照）。処理部１０は、識別結果と識別データＤ１のラベルとを比較する（図３：Ｓ５）。本動作例では、識別結果が「ＮＧ」で、ラベルが「ＯＫ」のため、抽出処理及び判断処理に進む。

【0084】

処理部１０は、複数の学習データＤ２から類似データＤ２１を抽出する（図３：Ｓ７）。この例では、３個の類似データＤ２１の距離は、左から順に、０（ゼロ）、１．８２、１．９５である。またこの例では、３個の類似データＤ２１のラベルは、左から順に、「ＮＧ」、「ＯＫ」、「ＯＫ」である。

【0085】

次に処理部１０は、識別データＤ１と３個の類似データＤ２１とに基づいて、誤ラベルの有無を判断する（図３：Ｓ８）。

【0086】

ここで本実施形態の判断部１６は、上述の通り、学習データＤ２に誤ラベルが有ることを特定するための機能を更に有している。具体的には、判断部１６は、１以上の類似データＤ２１（学習データＤ２）から、類似度に関する指標が所定条件を満たすほどに（満たす程度に）識別データＤ１に類似する特定の学習データＤ２２を特定する。判断部１６は、特定の学習データＤ２２のラベルが識別データＤ１のラベルと不一致であり、かつ、１以上の類似データＤ２１における特定の学習データＤ２２以外の学習データＤ２３のラベルが識別データＤ１のラベルと一致する場合、識別データＤ１よりも特定の学習データＤ２２の方に誤ラベルが有る可能性が高いと判断する。

【0087】

本実施形態では、類似度に関する指標が「距離」であるため、判断部１６は、「距離が所定の距離（閾値）以下」という所定条件を満たす特定の学習データＤ２２を特定する。ここでは一例として、所定の距離（閾値）を０．００１とするが、所定の距離は特に限定されない。類似度に関する指標が、ｎ次元ベクトルの類似度、又はコサイン類似度等の「類似度」である場合、判断部１６は、「類似度が所定の類似度（閾値）以上」という所定条件を満たす特定の学習データＤ２２を特定する。所定の距離（閾値）や所定の類似度（閾値）は、ユーザにより任意に設定可能である。処理システム１は、所定の距離（閾値）や所定の類似度（閾値）に関する設定情報を、ユーザにより操作部１９を介して受け付け可能に構成される。設定情報は、処理部１０のメモリ等に保存される。

【0088】

図４の例では、３個の類似データＤ２１のうち左端の類似データＤ２１の「距離」が所定の距離（０．００１）以下であることから、判断部１６は、左端の類似データＤ２１が、識別データＤ１に非常に似ている特定の学習データＤ２２に該当すると判定する。この特定の学習データＤ２２のラベル（ＮＧ）は、識別データＤ１のラベル（ＯＫ）と不一致であり、また特定の学習データＤ２２以外の２個の学習データＤ２３のラベル（ＯＫ）は、識別データＤ１のラベル（ＯＫ）と一致する。そのため、判断部１６は、識別データＤ１よりも、この特定の学習データＤ２２の方に誤ラベルが有る可能性が高いと判断する。

【0089】

ここでは特定の学習データＤ２２の数が、特定の学習データＤ２２以外の、識別データＤ１のラベルと一致する学習データＤ２３の数の１／２以下である場合に、判断部１６は、この特定の学習データＤ２２の方に誤ラベルが有る可能性が高いと判断する。図４の例では、特定の学習データＤ２２の数が１個で、学習データＤ２３の数（２個）の１／２＝１個であるため、特定の学習データＤ２２に誤ラベルが有る可能性が高いと判断される。

【0090】

処理部１０は、提示部１７から、判断部１６の判断結果を含む提示情報Ｄ４を提示する（図３：Ｓ９）。本動作例では、図４に示すように、誤ラベルが有る可能性が高いと判断された特定の学習データＤ２２は、その画像上に「誤ラベル」という文字データを重ね、その画像の周囲を枠で囲むように提示される。また識別データＤ１のラベルの情報と識別結果、類似データＤ２１のラベルの情報と距離の情報も、画像と共に提示される。したがって、ユーザは、提示部１７に提示された情報を確認すれば、特定の学習データＤ２２に付与されていた「ＮＧ」ラベルは誤りで、正しいラベルは「ＯＫ」であることを容易に理解できる。

【0091】

特定の学習データＤ２２の数が学習データＤ２３の数の１／２より大きい場合、判断部１６は、誤ラベルは無いと判断する。処理部１０は、例えば「目視確認してください。」といったメッセージと共に、識別データＤ１の画像と３個の類似データＤ２１の画像を、提示部１７に提示させる。言い換えると、判断結果が誤ラベルの無いことを示す場合、提示部１７は、識別データＤ１と、１以上の類似データＤ２１（学習データＤ２）の両方を提示する。つまり、誤ラベルの有無について処理システム１で自動判断しにくい場合には、ユーザの目視確認を促す。

【0092】

＜動作例４：動作例３の派生＞
以下、動作例４について、図５を参照しながら説明する。上述した動作例１と実質的に共通する動作については、詳細な説明を省略する場合がある。

【0093】

本動作例（動作例４）では、上述した動作例３の派生であり、動作例３と同様に識別データＤ１に非常に似ている特定の学習データＤ２２が存在する一方で、識別データＤ１に誤ラベルが有る点で動作例３と相違する。

【0094】

図５の例では、識別データＤ１について、識別結果が「ＯＫ」で、ラベルが「ＮＧ」である。図５の例では、図４と同様に、３個の類似データＤ２１の距離は、左から順に、０（ゼロ）、１．８２、１．９５である。ただし、図５の例では、図４と異なり、３個の類似データＤ２１のラベルは全て「ＯＫ」である。

【0095】

本変形例でも、判断部１６は、１以上の類似データＤ２１（学習データＤ２）から、類似度に関する指標が所定条件（ここでは距離が所定の距離（閾値）以下）を満たすほどに識別データＤ１に類似する特定の学習データＤ２２を特定する。ここで、判断部１６は、特定の学習データＤ２２のラベルが識別データＤ１のラベルと不一致であり、かつ、１以上の類似データＤ２１における特定の学習データＤ２２以外の学習データＤ２３のラベルが特定の学習データＤ２２のラベルと一致する場合、特定の学習データＤ２２よりも識別データＤ１の方に誤ラベルが有る可能性が高いと判断する。

【0096】

図５の例では、３個の類似データＤ２１のうち左端の類似データＤ２１の「距離」が所定の距離（０．００１）以下であることから、判断部１６は、左端の類似データＤ２１が、識別データＤ１に非常に似ている特定の学習データＤ２２に該当すると判定する。この特定の学習データＤ２２のラベル（ＯＫ）は、識別データＤ１のラベル（ＮＧ）と不一致であり、また特定の学習データＤ２２以外の２個の学習データＤ２３のラベル（ＯＫ）は、特定の学習データＤ２２のラベル（ＯＫ）と一致する。そのため、判断部１６は、この特定の学習データＤ２２よりも、識別データＤ１の方に誤ラベルが有る可能性が高いと判断する。

【0097】

ここでは特定の学習データＤ２２のラベルと一致する学習データＤ２３の数が、特定の学習データＤ２２のラベルと不一致の学習データＤ２３の数より大きい場合に、判断部１６は、識別データＤ１の方に誤ラベルが有る可能性が高いと判断する。図５の例では、特定の学習データＤ２２のラベルと一致する学習データＤ２３が２個で、特定の学習データＤ２２のラベルと不一致の学習データＤ２３の数（０個）より大きいため、識別データＤ１に誤ラベルが有る可能性が高いと判断される。

【0098】

本動作例では、図５に示すように、誤ラベルが有る可能性が高いと判断された識別データＤ１は、その画像上に「誤ラベル」という文字データを重ね、その画像の周囲を枠で囲むように提示される。また識別データＤ１のラベルの情報と識別結果、各類似データＤ２１のラベルの情報と距離の情報も、画像と共に提示される。したがって、ユーザは、提示部１７に提示された情報を確認すれば、識別データＤ１に付与されていた「ＮＧ」ラベルは誤りで、正しいラベルは「ＯＫ」であることを容易に理解できる。

【0099】

特定の学習データＤ２２のラベルと一致する学習データＤ２３の数が、特定の学習データＤ２２のラベルと不一致の学習データＤ２３の数以下の場合、判断部１６は、誤ラベルは無いと判断する。処理部１０は、例えば「目視確認してください。」といったメッセージと共に、識別データＤ１の画像と３個の類似データＤ２１の画像を、提示部１７に提示させる。言い換えると、判断結果が誤ラベルの無いことを示す場合、提示部１７は、識別データＤ１と、１以上の類似データＤ２１（学習データＤ２）の両方を提示する。つまり、誤ラベルの有無について処理システム１で自動判断しにくい場合には、ユーザの目視確認を促す。

【0100】

＜動作例５：類似データにＯＫ、ＮＧ混在＞
以下、動作例５について、図６を参照しながら説明する。上述した動作例１と実質的に共通する動作については、詳細な説明を省略する場合がある。

【0101】

動作例１及び２の説明で参照した図２Ｂでは、抽出された３個の類似データＤ２１のラベルが全てＯＫである。本動作例（動作例５）では、動作例３の説明で参照した図４と同様に、抽出された３個の類似データＤ２１のラベルに、ＯＫとＮＧが混在した一例を示す図６を用いて説明する。ただし、動作例３の説明で参照した図４とは違って、図６では、距離が所定の距離（０．００１）以下の、識別データＤ１に非常に似た類似データＤ２１は無い。

【0102】

処理システム１の処理部１０は、ラベル付きの複数の学習データＤ２、学習済みモデルＭ１、及びラベル付きの識別データＤ１を取得する（図３：Ｓ１～Ｓ３）。本動作例では、識別データＤ１には、「ＮＧ」のラベルが付与されている（図６参照）。

【0103】

次に、処理部１０は、学習済みモデルＭ１を用いて識別データＤ１を識別する（図３：Ｓ４）。ここでは、識別結果が「ＯＫ」だったとする（図６参照）。処理部１０は、識別結果と識別データＤ１のラベルとを比較する（図３：Ｓ５）。本動作例では、識別結果が「ＯＫ」で、ラベルが「ＮＧ」のため、抽出処理及び判断処理に進む。

【0104】

処理部１０は、複数の学習データＤ２から類似データＤ２１を抽出する（図３：Ｓ７）。この例では、３個の類似データＤ２１の距離は、左から順に、１．８６、１．９３、２．０１である。またこの例では、３個の類似データＤ２１のラベルは、左から順に、「ＯＫ」、「ＯＫ」、「ＮＧ」である。要するに、図６の３個の類似データＤ２１では、識別データＤ１に対する距離が互いに概ね同じにも関わらず、ＯＫとＮＧのラベルが混在している。

【0105】

次に処理部１０は、識別データＤ１と３個の類似データＤ２１とに基づいて、誤ラベルの有無を判断する（図３：Ｓ８）。

【0106】

本動作例では、動作例１と同様に、例えば、判断部１６が、識別データＤ１のラベルと３個の類似データＤ２１のラベルとが不一致な割合（誤ラベル度合い）に基づき、誤ラベルの有無を判断するように構成される。図６の例では、識別データＤ１のラベルが「ＮＧ」に対して、３個の類似データＤ２１のラベル中、不一致のラベルは２個である。その結果、不一致割合（誤ラベル度合い）は、約６７％である。したがって、本動作例では、判断部１６は、誤ラベル度合いが閾値（例えば９０％）未満であるため、誤ラベルは無いと判断する。

【0107】

この場合、処理部１０は、例えば「類似データにＯＫの画像とＮＧの画像とが混在。目視確認してください。」といったメッセージと共に、識別データＤ１の画像と３個の類似データＤ２１の画像とを、提示部１７に提示させる。言い換えると、判断結果が誤ラベルの無いことを示す場合、提示部１７は、識別データＤ１と、１以上の類似データＤ２１（学習データＤ２）との両方を提示する。つまり、動作例３と同様に、誤ラベルの有無について処理システム１で自動判断しにくい場合には、ユーザの目視確認を促す。

【0108】

＜利点＞
モデルの機械学習を行うためには、教師データ（識別データＤ１及び学習データＤ２）に対して、人によるラベリングが発生する。しかし、人がラベルを付ける際には、単純な作業ミス、又は人による基準の曖昧さが発生し得る。特にオブジェクト５の種類によっては、ＯＫラベルを付けるべき画像とＮＧラベルを付けるべき画像とで、熟練度が低い人が一見するだけだと同じような画像に見える可能性がある。その結果、ラベル付きの教師データには、誤ラベルのデータが含まれている可能性がある。例えば、ＯＫラベルを付けるべき画像にＮＧラベルが誤ラベルとして付けられたり、ＮＧラベルを付けるべき画像にＯＫラベルが誤ラベルとして付けられたりする。誤ラベルは、新たに入手された識別データＤ１にも、学習済みモデルＭ１の生成に用いた多数の学習データＤ２にも存在し得る。

【0109】

動作例１～５で説明したように、本実施形態に係る処理システム１では、識別データＤ１と類似する１以上の類似データＤ２１が（自動的に）抽出される。識別データＤ１と類似データＤ２１とを、ユーザが提示部１７を通じて１回でも目視確認するだけで、誤ラベルの有無を特定しやすい。したがって、処理システム１は、誤ラベルの特定に関する作業を支援できる。結果的に、誤ラベルの特定に要する時間の削減を図ることができる。また誤ラベルが解消された教師データを用いて学習を行うので、学習済みモデルＭ１を用いた推論フェーズの精度も向上する。

【0110】

処理システム１には、誤ラベルを自動的に検知する機能、つまり誤ラベルの有無を判断する判断部１６が設けられているが、判断部１６は、処理システム１の必須の構成要素ではない。ただし、本実施形態のように、判断部１６が設けられていることで、誤ラベルの特定に要する時間を更に削減できる。

【0111】

また処理システム１には、判断部１６による判断結果に関する情報（提示情報Ｄ４）を外部に提示する提示部１７が設けられているため、ユーザによる目視確認がより容易となる。

【0112】

さらに判断部１６による判断結果が誤ラベルの有ることを示す場合、提示部１７は、識別データＤ１と、類似データＤ２１とのどちらに誤ラベルが有るかを示す情報を提示する。そのため、ユーザは、どちらのデータに誤ラベルが有るかを容易に目視確認できる。

【0113】

特に、判断結果が誤ラベルの無いことを示す場合、提示部１７は、識別データＤ１と、類似データＤ２１の両方を提示する。そのため、ユーザが、識別データＤ１と類似データＤ２１の両方の目視確認を行いやすくなり、結果的に、実際にはどちらかのデータに誤ラベルが有る場合にその誤ラベルを見つけやすくなる。また誤ラベルとは別の不具合（例えば、学習不足又は過学習等）が有る場合も見つけやすくなる。

【0114】

例えばユーザが提示部１７を確認すると、類似度が高い（距離が小さい）上位の類似データＤ２１が、識別データＤ１とあまり類似していない場合には、ユーザは、学習済みモデルＭ１の学習不足の可能性が高いと判断できる。

【0115】

なお、処理システム１の処理部１０が、抽出した上位の類似データＤ２１の距離から、学習不足か否かを自動的に判断してもよい。図３で言えば、例えば抽出処理（Ｓ７）の後に、抽出した各類似データＤ２１の距離をチェックし、距離が一定値以上であれば、学習不足と判断し、次の判断処理（Ｓ８）に進まずに、「学習不足」のメッセージを提示部１７から提示して処理を終えてもよい。

【0116】

（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る処理システム１と同様の機能は、処理方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。

【0117】

以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。

【0118】

本開示における処理システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における処理システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１ないし複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１ないし複数の電子回路で構成される。

【0119】

また、処理システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、処理システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。

【0120】

反対に、処理システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、処理システム１の少なくとも一部の機能、例えば、処理システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

【0121】

基本例では、識別データＤ１は、再学習するために新たに入手された教師データである。しかし、識別データＤ１は、学習済みモデルＭ１の生成に使用した学習データＤ２でもよい。例えば学習済みモデルＭ１を生成した後に、学習済みモデルＭ１の精度が１００％とは言えない場合がある。そのような場合には、学習済みモデルＭ１の正確性を確認、評価するために、学習済みモデルＭ１の生成に用いた学習データＤ２の一部、又は全部を、識別データＤ１として、処理システム１に入力してもよい。

【0122】

識別データＤ１は、モデルの機械学習を行う際に用意される複数の教師データの一部であってもよい。つまり、モデルを学習する際に用意される複数の教師データは、複数の学習データＤ２と識別データＤ１とに分割される。この場合、処理システム１は、複数の教師データを分割して学習済みモデルＭ１を評価する交差検証を行うと共に、識別データＤ１に付与されたラベル、及び複数の学習データＤ２の各々に付与されたラベルについて誤ラベルの有無を検知することが可能である。

【0123】

また、処理システム１は、複数の教師データに対して学習データＤ２と識別データＤ１との分割を複数回行い、ｋ－分割交差検証を行い、さらに、識別データＤ１に付与されたラベル、及び複数の学習データＤ２の各々に付与されたラベルについて誤ラベルの有無を検知してもよい。

【0124】

基本例では、誤ラベルが識別データＤ１（又は類似データＤ２１）に有ると判断された場合であっても、提示部１７は、識別データＤ１と類似データＤ２１との両方を提示する。しかし、提示部１７は、誤ラベルが有ると判断されたデータのみを提示してもよい。

【0125】

撮像装置４は、ラインセンサカメラに限定されず、エリアセンサカメラを含んでもよい。

【0126】

基本例では、教師データ（識別データＤ１及び学習データＤ２）は、画像データにラベルが付与されたデータである。しかし、教師データは、画像データに限定されず、テキストデータ、又は音声データにラベルが付与されたデータでもよい。つまり、学習済みモデルＭ１は、画像の識別（画像認識）に限定されず、例えばテキストの識別（テキスト認識）、又は音声の識別（音声認識）に適用されてもよい。

【0127】

基本例では、学習システム２で生成される学習済みモデルＭ１は、ディープラーニングにより生成されるモデルである。ただし、学習済みモデルＭ１は、ディープラーニングに限定されない。学習済みモデルＭ１は、いかなるタイプの人工知能又はシステムとして実装されてもよい。

【0128】

基本例では、機械学習のアルゴリズムは、ニューラルネットワーク（ディープラーニングを含む）である。ただし、機械学習のアルゴリズムは、ニューラルネットワークに限定されず、他の教師あり学習のアルゴリズムであってもよい。機械学習のアルゴリズムは、例えば、線形回帰（Linear Regression）、ロジスティック回帰（Logistic Regression）、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、決定木（Decision Tree）、ランダムフォレスト（Random Forest）、勾配ブースティング（Gradient Boosting）、ナイーブベイズ（Naive Bayes）分類器、又はｋ近傍法（k-Nearest Neighbors：ｋ－ＮＮ）であってもよい。

【0129】

（４）まとめ
以上説明したように、第１の態様に係る処理システム（１）は、第１取得部（１１）と、第２取得部（１２）と、第３取得部（１３）と、識別部（１４）と、抽出部（１５）と、を備える。第１取得部（１１）は、ラベルが付与された複数の学習データ（Ｄ２）を取得する。第２取得部（１２）は、複数の学習データ（Ｄ２）に基づき生成された学習済みモデル（Ｍ１）を取得する。第３取得部（１３）は、ラベルが付与された識別データ（Ｄ１）を取得する。識別部（１４）は、学習済みモデル（Ｍ１）を用いて識別データ（Ｄ１）を識別する。抽出部（１５）は、識別データ（Ｄ１）と複数の学習データ（Ｄ２）の各々との類似度に関する指標に基づき、複数の学習データ（Ｄ２）から、識別データ（Ｄ１）と類似する１以上の学習データ（類似データＤ２１）を抽出する。上記指標は、学習済みモデル（Ｍ１）で適用される指標である。

【0130】

この態様によれば、識別データ（Ｄ１）と類似する１以上の学習データ（Ｄ２）が抽出されるので、識別データ（Ｄ１）と、識別データ（Ｄ１）と類似する１以上の学習データ（類似データＤ２１）とを（例えば１回）確認するだけで、誤ラベルの有無を特定し得る。結果的に、誤ラベルの特定に要する時間の削減を図ることができる。

【0131】

第２の態様に係る処理システム（１）は、第１の態様において、識別データ（Ｄ１）、及び１以上の学習データ（類似データＤ２１）に基づいて、誤ラベルの有無を判断する判断部（１６）を更に備える。

【0132】

この態様によれば、誤ラベルの有無が自動的に判断されるので、誤ラベルの特定に要する時間を更に削減できる。

【0133】

第３の態様に係る処理システム（１）は、第２の態様において、判断部（１６）による判断結果に関する情報を外部に提示する提示部（１７）を更に備える。

【0134】

この態様によれば、判断部（１６）による判断結果に関する情報が提示されるので、ユーザによる目視確認が容易となる。

【0135】

第４の態様に係る処理システム（１）に関して、第３の態様において、判断結果が誤ラベルの有ることを示す場合、提示部（１７）は、識別データ（Ｄ１）と、１以上の学習データ（類似データＤ２１）とのいずれに誤ラベルが有るかを示す情報を提示する。

【0136】

この態様によれば、識別データ（Ｄ１）と１以上の学習データ（類似データＤ２１）とのどちらに誤ラベルが有るかを容易に目視確認できる。

【0137】

第５の態様に係る処理システム（１）に関して、第３又は第４の態様において、判断結果が誤ラベルの無いことを示す場合、提示部（１７）は、識別データ（Ｄ１）と、１以上の学習データ（類似データＤ２１）との両方を提示する。

【0138】

この態様によれば、ユーザが識別データ（Ｄ１）と１以上の学習データ（類似データＤ２１）との両方の目視確認を行いやすくなり、結果的に、実際にはどちらかのデータに誤ラベルが有る場合にその誤ラベルを見つけやすくなる。また誤ラベルとは別の不具合が有る場合も見つけやすくなる。

【0139】

第６の態様に係る処理システム（１）に関して、第２～第５の態様のいずれか１つにおいて、判断部（１６）は、識別部（１４）による識別データ（Ｄ１）の識別結果と識別データ（Ｄ１）に付与されたラベルとが不一致の場合に、誤ラベルの有無の判断を実行する。

【0140】

この態様によれば、処理負荷の低減を図れる。また誤ラベルの特定に要する時間を更に削減できる。

【0141】

第７の態様に係る処理システム（１）に関して、第２～第６の態様のいずれか１つにおいて、判断部（１６）は、識別データ（Ｄ１）に付与されたラベルと１以上の学習データ（類似データＤ２１）に付与されたラベル、及び、識別データ（Ｄ１）と１以上の学習データ（類似データＤ２１）との類似度に関する指標、の少なくとも一方に基づき、誤ラベルの有無を判断する。

【0142】

この態様によれば、誤ラベルの判断に関する信頼性が向上する。

【0143】

第８の態様に係る処理システム（１）に関して、第７の態様において、判断部（１６）は、識別データ（Ｄ１）に付与されたラベルと１以上の学習データ（類似データＤ２１）に付与されたラベルとが不一致な割合に基づき、誤ラベルの有無を判断する。

【0144】

この態様によれば、誤ラベルの判断に関する信頼性が容易に向上する。

【0145】

第９の態様に係る処理システム（１）に関して、第７の態様において、判断部（１６）は、識別データ（Ｄ１）に付与されたラベルと１以上の学習データ（類似データＤ２１）に付与されたラベル、及び、１以上の学習データ（類似データＤ２１）の類似度に関する指標の両方に基づき、誤ラベルの有無を判断する。

【0146】

この態様によれば、誤ラベルの判断に関する信頼性が更に向上する。

【0147】

第１０の態様に係る処理システム（１）に関して、第９の態様において、抽出部（１５）は、複数の学習データ（Ｄ２）から、１以上の学習データ（類似データＤ２１）として、２以上の学習データ（類似データＤ２１）を抽出する。判断部（１６）は、２以上の学習データ（類似データＤ２１）から、類似度に関する指標が所定条件を満たすほどに識別データ（Ｄ１）に類似する特定の学習データ（Ｄ２２）を特定する。判断部（１６）は、特定の学習データ（Ｄ２２）に付与されたラベルが識別データ（Ｄ１）に付与されたラベルと不一致であり、かつ、２以上の学習データ（類似データＤ２１）における特定の学習データ（Ｄ２２）以外の学習データ（Ｄ２３）に付与されたラベルが識別データ（Ｄ１）に付与されたラベルと一致する場合、識別データ（Ｄ１）よりも特定の学習データ（Ｄ２２）の方に誤ラベルが有る可能性が高いと判断する。

【0148】

この態様によれば、誤ラベルの判断に関する信頼性が更に向上する。

【0149】

第１１の態様に係る処理システム（１）に関して、第９の態様において、抽出部（１５）は、複数の学習データ（Ｄ２）から、１以上の学習データ（類似データＤ２１）として、２以上の学習データ（類似データＤ２１）を抽出する。判断部（１６）は、２以上の学習データ（類似データＤ２１）から、類似度に関する指標が所定条件を満たすほどに識別データ（Ｄ１）に類似する特定の学習データ（Ｄ２２）を特定する。判断部（１６）は、特定の学習データ（Ｄ２２）に付与されたラベルが識別データ（Ｄ１）に付与されたラベルと不一致であり、かつ、２以上の学習データ（類似データＤ２１）における特定の学習データ（Ｄ２２）以外の学習データ（Ｄ２３）に付与されたラベルが特定の学習データ（Ｄ２２）に付与されたラベルと一致する場合、特定の学習データ（Ｄ２２）よりも識別データ（Ｄ１）の方に誤ラベルが有る可能性が高いと判断する。

【0150】

この態様によれば、誤ラベルの判断に関する信頼性が更に向上する。

【0151】

第１２の態様に係る処理システム（１）に関して、第１～第１１の態様のいずれか１つにおいて、学習済みモデル（Ｍ１）は、深層学習を適用して複数の学習データ（Ｄ２）に基づき生成されたモデルである。

【0152】

この態様によれば、学習済みモデル（Ｍ１）の信頼性、及び誤ラベルの判断に関する信頼性が更に向上する。

【0153】

第１３の態様に係る学習処理システム（１００）は、第１～第１２の態様のいずれか１つにおける処理システム（１）と、学習済みモデル（Ｍ１）を生成する学習システム（２）と、を備える。

【0154】

この態様によれば、誤ラベルの特定に要する時間の削減を図ることが可能な学習処理システム（１００）を提供できる。

【0155】

第１４の態様に係る処理方法は、第１取得ステップと、第２取得ステップと、第３取得ステップと、識別ステップと、抽出ステップと、を含む。第１取得ステップでは、ラベルが付与された複数の学習データ（Ｄ２）を取得する。第２取得ステップでは、複数の学習データ（Ｄ２）に基づき生成された学習済みモデル（Ｍ１）を取得する。第３取得ステップでは、ラベルが付与された識別データ（Ｄ１）を取得する。識別ステップでは、学習済みモデル（Ｍ１）を用いて識別データ（Ｄ１）を識別する。抽出ステップでは、学習済みモデル（Ｍ１）で適用される識別データ（Ｄ１）と複数の学習データ（Ｄ２）の各々との類似度に関する指標に基づき、複数の学習データ（Ｄ２）から、識別データ（Ｄ１）と類似する１以上の学習データ（類似データＤ２１）を抽出する。

【0156】

この態様によれば、誤ラベルの特定に要する時間の削減を図ることが可能な処理方法を提供できる。

【0157】

第１５の態様に係るプログラムは、１以上のプロセッサに、第１４の態様における処理方法を実行させるためのプログラムである。

【0158】

この態様によれば、誤ラベルの特定に要する時間の削減を図ることが可能な機能を提供できる。

【0159】

第１６の態様に係る処理システム（１）に関して、第１～第１２の態様のいずれか１つにおいて、抽出部（１５）は、識別部（１４）による識別データ（Ｄ１）の識別結果と、識別データ（Ｄ１）に付与されたラベルとが不一致の場合に、複数の学習データ（Ｄ２）から１以上の学習データ（類似データＤ２１）を抽出する。

【0160】

第２～１２の態様に係る構成については、処理システム（１）に必須の構成ではなく、適宜省略可能である。同様に、第１６の態様に係る構成についても、処理システム（１）に必須の構成ではなく、適宜省略可能である。

【符号の説明】

【0161】

１００ 学習処理システム
１ 処理システム
１１ 第１取得部
１２ 第２取得部
１３ 第３取得部
１４ 識別部
１５ 抽出部
１６ 判断部
１７ 提示部
２ 学習システム
Ｄ１ 識別データ
Ｄ２ 学習データ
Ｄ２１ １以上の類似データ（１以上の学習データ）
Ｄ２２ 特定の学習データ
Ｍ１ 学習済みモデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】