知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-08-16
(45)【発行日】2023-08-24
(54)【発明の名称】評価方法、評価プログラム、および情報処理装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230817BHJP
G06F 21/57 20130101ALI20230817BHJP
【ＦＩ】
G06N20/00
G06F21/57
【請求項の数】
7
(21)【出願番号】P 2021562247
(86)(22)【出願日】2019-12-04
(86)【国際出願番号】 JP2019047358
(87)【国際公開番号】W WO2021111540
(87)【国際公開日】2021-06-10
【審査請求日】2021-12-23
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】清水 俊也
【審査官】三坂 敏夫
(56)【参考文献】
【文献】特開２０１８－１５５５２２（ＪＰ，Ａ）
【文献】BIGGIO, Battista et al.，Poisoning Attacks against Support Vector Machines，Proceedings of the 29th International Conference on Machine Learning，v3，米国，arXiv.org，2013年03月25日，p. 1-8，[retrieved on 2020.2.26],Retrieved from the Internet:＜ＵＲＬ：https://arxiv.org/pdf/1206.6389.pdf＞
【文献】先崎 佑弥 他，深層学習におけるAdversarial Trainingによる副作用とその緩和策，コンピュータセキュリティシンポジウム2017 論文集，日本，一般社団法人情報処理学会，2017年10月16日，第2017巻 第2号，第385頁-第392頁，ISSN:1882-0840
【文献】吉岡 信和，機械学習応用システムのセキュリティとプライバシ，情報処理，日本，一般社団法人情報処理学会，2018年12月15日，第60巻 第1号，p. 34-39，ISSN:0447-8053
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－ ３／１２
１０／００－２０／２０
Ｇ０６Ｆ ２１／５７
(57)【特許請求の範囲】
【請求項1】
コンピュータが、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合を分割することで、１以上の訓練データを含む部分集合を複数生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う、
評価方法。
【請求項2】
前記評価では、前記部分集合に基づいて生成された前記訓練済みモデルの推定精度が低いほど、前記部分集合に含まれる訓練データの機械学習への攻撃性を高く評価する、請求項１記載の評価方法。
【請求項3】
コンピュータが、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合に基づいて、１以上の訓練データを含む部分集合を複数生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行い、
前記評価に示される攻撃性が高い方から所定数の前記部分集合に含まれる訓練データの集合に基づく他の部分集合の生成、前記訓練済みモデルの生成、前記評価を繰り返す、
評価方法。
【請求項4】
コンピュータが、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合に基づいて、訓練データ間の類似性に基づいて訓練データを複数のクラスタのいずれかに分類するクラスタリングを行い、属する訓練データ数が少ない方から所定数のクラスタそれぞれに分類された訓練データについて、属するクラスタが同じ訓練データ同士を共通の部分集合に含めることで、１以上の訓練データを含む前記部分集合を複数生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う、
評価方法。
【請求項5】
コンピュータが、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合に基づいて、１以上の訓練データを含む部分集合を複数生成する処理と、前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成する処理と、前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う処理と、を繰り返し実行し、
前記評価を行う処理を実行するごとに、前記評価に示される攻撃性が高い方から所定数の前記部分集合に含まれる訓練データに対して汚染候補点を加点し、前記汚染候補点が高い方から所定数の訓練データを汚染データとして検出する、
評価方法。
【請求項6】
コンピュータに、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合を分割することで、１以上の訓練データを含む部分集合を複数生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成し、
前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う、
処理を実行させる評価プログラム。
【請求項7】
機械学習用の入力データとラベルとの組を含む複数の訓練データの集合を分割することで、１以上の訓練データを含む部分集合を複数生成し、前記部分集合ごとに、前記部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成し、前記部分集合ごとに、前記部分集合に含まれる訓練データを用いて生成した前記訓練済みモデルによる推定精度に基づいて、前記部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う処理部、を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、評価方法、評価プログラム、および情報処理装置に関する。
【背景技術】
【0002】
コンピュータシステムには、収集した情報に基づいて機械学習を行う機械学習システムがある。機械学習システムは、機械学習により、例えば情報を分析するための訓練済みモデルを生成する。そして機械学習システムは、生成した訓練済みモデルを用いて情報分析などのサービスを提供することができる。
【0003】
なお、機械学習システムに対して悪意のある第三者から攻撃が仕掛けられることがある。機械学習に対する攻撃の１つに、ポイズニングと呼ばれる攻撃がある。ポイズニングは、訓練データに通常と違ったデータ（汚染データ）を混入させることで、訓練済みモデルを意図的に改変する攻撃である。
【0004】
ポイズニング攻撃に対抗する技術としては、例えば、教師付き機械学習によって申請書類の審査や査定を行う処理において、悪意で作成された偽合格のデータを高精度で検出することができる情報識別方法が提案されている。この情報識別方法では、時刻を含む学習データと時刻を含むテストデータとを用いて計算した統計的データの値が所定の閾値を超えることに応答して、不正なデータによる攻撃の可能性が警報される。この方法は、学習データが時刻を含む場合にしか適用できず汎用性が低い。
【0005】
時刻を含まないデータのポイズニング攻撃に対向可能な技術としては、正常なデータが明確にわかっている場合に、正常なデータの分布を用いて汚染データを検知する手法も提案されている。この手法では、例えば、所定の指標でのデータの分布において、正常なデータの中心点から一定の距離以上離れているデータが汚染データとみなして検知される。
【先行技術文献】
【特許文献】
【0006】
【文献】国際公開第２０１３／０１４９８７号
【非特許文献】
【0007】
【文献】Jacob Steinhardt, Pang Wei W. Koh, Percy S. Liang, "Certified Defenses for Data Poisoning Attacks", Advances in Neural Information Processing Systems 30 (NIPS 2017), 2017年12月
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかし、正常なデータの分布を用いて汚染データを検知する技術では、正常なデータが不明な場合には適用できず、正常であるものとして取り扱ったデータに汚染データが混入していれば、汚染データを正しく検出することはできない。しかも、この技術では、正常なデータと近い範囲に分布するような汚染データの検知は困難である。このように従来は汚染データの検出が困難な場合があり、汚染データの検出精度が十分ではない。すなわち訓練データ内に機械学習への攻撃を目的とした汚染データが混入していても、その汚染データの検知が難しく、訓練データが機械学習に対して攻撃性を有しているのかどうかを適切に判断するのが困難となっている。
【0009】
１つの側面では、本発明は、訓練データの機械学習への攻撃性を適切に評価できるようにすることを目的とする。
【課題を解決するための手段】
【0010】
１つの案では、コンピュータが以下の処理を実行する評価方法が提供される。
コンピュータは、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合に基づいて、１以上の訓練データを含む部分集合を複数生成する。次にコンピュータは、部分集合ごとに、部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成する。そしてコンピュータは、部分集合ごとに、部分集合に含まれる訓練データを用いて生成した訓練済みモデルによる推定精度に基づいて、部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う。
コンピュータは、機械学習用の入力データとラベルとの組を含む複数の訓練データの集合に基づいて、１以上の訓練データを含む部分集合を複数生成する。次にコンピュータは、部分集合ごとに、部分集合に含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデルを生成する。そしてコンピュータは、部分集合ごとに、部分集合に含まれる訓練データを用いて生成した訓練済みモデルによる推定精度に基づいて、部分集合に含まれる訓練データの機械学習への攻撃性に関する評価を行う。
【発明の効果】
【0011】
１態様によれば、訓練データの機械学習への攻撃性を適切に評価できる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【0012】
【図1】第１の実施の形態に係る評価方法の一例を示す図である。
【図2】機械学習システムを含むコンピュータシステムの一例を示す図である。
【図3】機械学習システムのハードウェアの一例を示す図である。
【図4】機械学習を模式的に示す図である。
【図5】ポイズニングの攻撃を説明する図である。
【図6】機械学習システムにおいて汚染データの検知に用いられる機能を示すブロック図である。
【図7】記憶部に格納されるデータの一例を示す図である。
【図8】汚染データ検知処理の一例を示す図である。
【図9】精度の評価処理の一例を示す図である。
【図10】汚染データ検知処理の手順の一例を示すフローチャートである。
【図11】汚染データ候補リストの一例を示す図である。
【図12】クラスタリングを用いた訓練データセットの分割例を示す図である。
【図13】分割後の部分データセットごとの訓練済みモデルの生成例を示す図である。
【図14】第３の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。
【図15】クラスタリングを利用した訓練データセット分割処理の手順の一例を示すフローチャートである。
【図16】汚染候補点の第１の加点例を示す図である。
【図17】汚染候補点の第２の加点例を示す図である。
【図18】第４の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。
【図19】第５の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、機械学習に用いる訓練データの集合から生成した部分集合ごとに、その部分集合に含まれる訓練データによる機械学習への攻撃性を評価する評価方法である。部分集合ごとに攻撃性を適正に評価することができれば、ポイズニング攻撃などの機械学習への攻撃用に生成された訓練データ（汚染データ）の検知精度を向上させることができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、機械学習に用いる訓練データの集合から生成した部分集合ごとに、その部分集合に含まれる訓練データによる機械学習への攻撃性を評価する評価方法である。部分集合ごとに攻撃性を適正に評価することができれば、ポイズニング攻撃などの機械学習への攻撃用に生成された訓練データ（汚染データ）の検知精度を向上させることができる。
【0014】
図１は、第１の実施の形態に係る評価方法の一例を示す図である。図１には、訓練データによる機械学習への攻撃性を評価する評価方法を、情報処理装置１０を用いて実施した場合の例を示している。情報処理装置１０は、例えば所定の処理手順が記述された評価プログラムを実行することにより、評価方法を実施することができる。
【0015】
情報処理装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば情報処理装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば情報処理装置１０が有するプロセッサ、または演算回路である。
【0016】
記憶部１１は、機械学習に用いる複数の訓練データ１ａ，１ｂ，・・・を記憶する。訓練データ１ａ，１ｂ，・・・それぞれは、機械学習用の入力データとラベルとの組を含む。ラベルは、入力データを分類した場合の正解を示す情報（正解データ）である。例えば入力データが電子メールであり、機械学習によってスパムメールか否かを推定する場合、入力データがスパムメールか否かがラベルに示されている。
【0017】
処理部１２は、記憶部１１に格納された訓練データ１ａ，１ｂ，・・・の中から、機械学習への攻撃性を有する可能性が高い訓練データを検出する。例えば処理部１２は、ポイズニング攻撃用に生成された訓練データを検出する。具体的には、処理部１２は、以下の処理を行う。
【0018】
処理部１２は、訓練データ１ａ，１ｂ，・・・の集合１に基づいて、１以上の訓練データを含む部分集合３ａ，３ｂを複数生成する。次に処理部１２は、部分集合３ａ，３ｂごとに、部分集合３ａ，３ｂに含まれる訓練データを用いた機械学習を行うことで、入力データからラベルを推定するための訓練済みモデル４ａ，４ｂを生成する。そして処理部１２は、部分集合３ａ，３ｂごとに、部分集合３ａ，３ｂに含まれる訓練データを用いて生成した訓練済みモデル４ａ，４ｂによる推定精度に基づいて、部分集合３ａ，３ｂに含まれる訓練データの機械学習への攻撃性に関する評価を行う。例えば処理部１２は、部分集合３ａ，３ｂに基づいて生成された複数の訓練済みモデル４ａ，４ｂの推定精度が低いほど、部分集合３ａ，３ｂに含まれる訓練データの機械学習への攻撃性を高く評価する。
【0019】
例えば訓練データ１ａ，１ｂ，・・・内に汚染データ２が混入していた場合、生成された部分集合３ａ，３ｂのうちの一方に汚染データ２が含まれる。汚染データ２を含む部分集合３ａの訓練データを用いて生成した訓練済みモデル４ａは、汚染データ２を含まない部分集合３ｂの訓練データを用いて生成した訓練済みモデル４ｂよりも、ラベルの推定精度が低くなる。これは汚染データ２が、訓練済みモデルの精度劣化を目的として作成されているためである。
【0020】
処理部１２は、訓練済みモデル４ａ，４ｂの精度比較結果に基づいて、訓練済みモデル４ｂの生成に使用した訓練データよりも訓練済みモデル４ａの生成に使用した訓練データの方を、機械学習への攻撃性を高く評価する。これにより、部分集合３ａ内に汚染データ２が混入していることを正しく推定することができる。すなわち訓練データの機械学習への攻撃性が適切に評価される。
【0021】
なお部分集合３ａ内にまだ大量の訓練データが含まれている場合、それらの訓練データから汚染データ２を特定するのは困難である。その場合、処理部１２は、例えば、評価に示される攻撃性が高い方から所定数の部分集合３ａに含まれる訓練データの集合に基づいて、部分集合３ａ，３ｂの生成、訓練済みモデル４ａ，４ｂの生成、評価を繰り返す。これらの一連の処理を繰り返し実行することにより、汚染データを含む部分集合の訓練データ数も少なくなる。処理部１２は、汚染データを含む部分集合の訓練データ数が所定数以下になったら、一連の処理の繰り返しを終了する。そして処理部１２は、例えば最後の評価で攻撃性が最も高い部分集合に含まれる訓練データのリストを、汚染データ候補として出力する。
【0022】
繰り返し処理により汚染データ候補が絞り込まれているため、汚染データ候補の内容を人手で確認し、汚染データ２を特定することが容易となる。また処理部１２は、汚染データ候補の数が少なければ、該当する訓練データを記憶部１１から削除し、汚染データ２が機械学習に用いられることを抑止することもできる。
【0023】
また処理部１２は、部分集合３ａ，３ｂの生成において、訓練データ１ａ，１ｂ，・・・間の類似性に基づいて訓練データを複数のクラスタのいずれかに分類するクラスタリングを利用して部分集合を生成することもできる。例えば処理部１２は、訓練データ１ａ，１ｂ，・・・についてクラスタリングを行い、属する訓練データ数が少ない方から所定数のクラスタそれぞれに分類された訓練データについて、属するクラスタが同じ訓練データ同士を共通の部分集合に含める。
【0024】
これにより、訓練データ１ａ，１ｂ，・・・内に汚染データ２が複数混入している場合、複数の汚染データ２を同じ部分集合に含めることができる。すなわち複数の汚染データ２は共通の特徴を有していることが多く、クラスタリングにおいて同じクラスタに分類される。また攻撃者は、攻撃をしていることを機械学習システムの管理者に気づかれないようにするため、訓練データ１ａ，１ｂ，・・・に混入させる汚染データ２の量は、多すぎない量にするものと考えられる。そのため汚染データ２を含むクラスタは、他のクラスタに比べて、属する訓練データの数が少なくなる。すなわち、属する訓練データ数が少ない方から所定数のクラスタそれぞれに分類された訓練データについて、属するクラスタが同じ訓練データ同士を共通の部分集合に含めることにより、複数の汚染データ２が共通の部分集合に含められる。
【0025】
複数の汚染データ２が共通の部分集合に含められることで、複数の汚染データ２が複数の部分集合３ａ，３ｂに分散されることにより部分集合３ａ，３ｂ間の精度の差がなくなることが抑止される。すなわち複数の汚染データ２を含む部分集合に基づいて生成された訓練済みモデルのラベル推定の精度が低くなり、処理部１２は、その部分集合内に汚染データ２が含まれることを正しく判定できる。
【0026】
さらに、処理部１２は、部分集合３ａ，３ｂの生成、訓練済みモデル４ａ，４ｂの生成、訓練済みモデル４ａ，４ｂの評価を繰り返し行ってもよい。この場合、処理部１２は、評価を行うごとに、評価に示される攻撃性が高い方から所定数の部分集合（例えば攻撃性が最も高い部分集合３ａ）に含まれる訓練データに対して汚染候補点を加点する。そして処理部１２は、汚染候補点が高い方から所定数の訓練データを出力する。
【0027】
このように攻撃性が高いと評価された部分集合に含まれる訓練データに対して汚染候補点を加点していくことで、例えば汚染データ２が複数存在し、それらの汚染データ２が複数の部分集合３ａ，３ｂに分散することがあっても、汚染データ２の検知が可能となる。すなわち、部分集合３ａ，３ｂの生成、訓練、評価、および攻撃性が高いと評価された部分集合内の訓練データへの汚染候補点の加点を繰り返すことで、汚染データ２の汚染候補点が大きくなる。その結果、処理部１２は、汚染候補点が高い方から所定数の訓練データを汚染データ２として検出することができる。
【0028】
〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、訓練データセットの中から、ポイズニング攻撃に用いられた汚染データを含む可能性がある１以上の訓練データを検出し、管理者に通知する機械学習システムである。
次に第２の実施の形態について説明する。第２の実施の形態は、訓練データセットの中から、ポイズニング攻撃に用いられた汚染データを含む可能性がある１以上の訓練データを検出し、管理者に通知する機械学習システムである。
【0029】
図２は、機械学習システムを含むコンピュータシステムの一例を示す図である。機械学習システム１００は、例えばネットワーク２０を介して複数の利用者端末３１，３２，・・・に接続されている。機械学習システム１００は、例えば利用者端末３１，３２，・・・から送られたクエリについて訓練済みのモデルを用いて解析し、解析結果を利用者端末３１，３２，・・・に送信する。利用者端末３１，３２，・・・は、機械学習によって生成されたモデルを用いたサービスの提供を受けるユーザが使用するコンピュータである。
【0030】
図３は、機械学習システムのハードウェアの一例を示す図である。機械学習システム１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０９を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。
【0031】
メモリ１０２は、機械学習システム１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。
【0032】
バス１０９に接続されている周辺機器としては、ストレージ装置１０３、グラフィック処理装置１０４、入力インタフェース１０５、光学ドライブ装置１０６、機器接続インタフェース１０７およびネットワークインタフェース１０８がある。
【0033】
ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。
【0034】
グラフィック処理装置１０４には、モニタ２１が接続されている。グラフィック処理装置１０４は、プロセッサ１０１からの命令に従って、画像をモニタ２１の画面に表示させる。モニタ２１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。
【0035】
入力インタフェース１０５には、キーボード２２とマウス２３とが接続されている。入力インタフェース１０５は、キーボード２２やマウス２３から送られてくる信号をプロセッサ１０１に送信する。なお、マウス２３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0036】
光学ドライブ装置１０６は、レーザ光などを利用して、光ディスク２４に記録されたデータの読み取りを行う。光ディスク２４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク２４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。
【0037】
機器接続インタフェース１０７は、機械学習システム１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０７には、メモリ装置２５やメモリリーダライタ２６を接続することができる。メモリ装置２５は、機器接続インタフェース１０７との通信機能を搭載した記録媒体である。メモリリーダライタ２６は、メモリカード２７へのデータの書き込み、またはメモリカード２７からのデータの読み出しを行う装置である。メモリカード２７は、カード型の記録媒体である。
【0038】
ネットワークインタフェース１０８は、ネットワーク２０に接続されている。ネットワークインタフェース１０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。
【0039】
機械学習システム１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した装置も、図３に示した機械学習システム１００と同様のハードウェアにより実現することができる。
【0040】
機械学習システム１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。機械学習システム１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、機械学習システム１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。また機械学習システム１００に実行させるプログラムを、光ディスク２４、メモリ装置２５、メモリカード２７などの可搬型記録媒体に記録しておくこともできる。可搬型記録媒体に格納されたプログラムは、例えばプロセッサ１０１からの制御により、ストレージ装置１０３にインストールされた後、実行可能となる。またプロセッサ１０１が、可搬型記録媒体から直接プログラムを読み出して実行することもできる。
【0041】
このような機械学習システム１００に対する攻撃は、機械学習の特性を利用して行われる。以下、図４を参照して、機械学習について説明する。
図４は、機械学習を模式的に示す図である。図４に示すように、機械学習システム１００で行う機械学習は、訓練フェイズ４０と推論フェイズ５０とに分かれる。機械学習システム１００は、訓練フェイズ４０において、空のモデル４１に訓練データセット４２を適用することによって、空のモデル４１に対する訓練を行う。空のモデル４１は、転移学習のように、ある訓練データで訓練されたパラメータをすべて、あるいは部分的に反映したモデルであってもよい。
図４は、機械学習を模式的に示す図である。図４に示すように、機械学習システム１００で行う機械学習は、訓練フェイズ４０と推論フェイズ５０とに分かれる。機械学習システム１００は、訓練フェイズ４０において、空のモデル４１に訓練データセット４２を適用することによって、空のモデル４１に対する訓練を行う。空のモデル４１は、転移学習のように、ある訓練データで訓練されたパラメータをすべて、あるいは部分的に反映したモデルであってもよい。
【0042】
訓練データセット４２には、例えば入力データ４２ａと正解の出力データ（教師データ）を示すラベル４２ｂとの組からなる複数のデータが含まれる。入力データ４２ａとラベル４２ｂとは、いずれも数値列で表現される。例えば画像を用いた機械学習の場合、入力データ４２ａとして、該当画像の特徴を表す数値列が用いられる。
【0043】
機械学習システム１００は、訓練データセット４２内の入力データ４２ａを空のモデル４１に適用して解析を行い、出力データを得る。機械学習システム１００は、出力データとラベル４２ｂとを比較し、不一致であれば、空のモデル４１を修正する。空のモデル４１の修正とは、例えば空のモデル４１を用いた解析に用いるパラメータ（ニューラルネットワークであればユニットへの入力データの重みパラメータ及びバイアス）を、出力データが正解に近づくように修正することである。
【0044】
機械学習システム１００は、大量の訓練データセット４２を用いて訓練を行うことで、多くの入力データ４２ａに対してラベル４２ｂと同じ出力データが得られる訓練済みモデル４３を生成することができる。訓練済みモデル４３は、例えば空のモデル４１と、訓練によって適切な値が設定されたモデルのパラメータ４４で表される。
【0045】
このように生成される訓練済みモデルは、「ｙ＝ｆ（ｘ）」の形の関数と捉えることができる（ｘ、ｙは、それぞれベクトル、あるいはテンソルなどの構造つきの数値データ）。すなわち機械学習における訓練は、大量のｘとｙの組から、それに合った関数ｆを決める作業である。
【0046】
機械学習システム１００は、訓練済みモデル４３を生成後、その訓練済みモデル４３を用いて推論フェイズ５０を実施する。例えば機械学習システム１００は、クエリ５１の入力を受け付け、訓練済みモデル４３を用いて、クエリ５１に応じた出力データ５２を得る。例えばクエリ５１がメールの文章であるとき、機械学習システム１００は、そのメールがスパムか否かの推定結果を出力データとして出力する。また入力データが画像のとき、機械学習システム１００は、例えばその画像に写っている動物の種類を出力データとして出力する。
【0047】
機械学習システム１００に対する攻撃は、訓練フェイズまたは推論フェイズが攻撃対象となる。ポイズニングは、訓練フェイズが攻撃対象である。
図５は、ポイズニングの攻撃を説明する図である。例えば機械学習システム１００は、訓練フェイズ４０において、訓練データセット４２を用いて、決定境界４５によってデータを３つのグループに分類する訓練済みモデル４３を生成したものとする。攻撃者６０は、利用者端末３１を用い、ポイズニング用に操作した訓練データセット６１を用いて、機械学習システム１００に訓練を実施させる。ポイズニング用に操作した訓練データセット６１には、正しい訓練済みモデル４３では、正しく推定されないような汚染データ６２が含まれる。汚染データ６２は、入力データに対して誤ったラベルが設定されている。機械学習システム１００は、汚染データ６２に応じて、決定境界４５を変更する。
図５は、ポイズニングの攻撃を説明する図である。例えば機械学習システム１００は、訓練フェイズ４０において、訓練データセット４２を用いて、決定境界４５によってデータを３つのグループに分類する訓練済みモデル４３を生成したものとする。攻撃者６０は、利用者端末３１を用い、ポイズニング用に操作した訓練データセット６１を用いて、機械学習システム１００に訓練を実施させる。ポイズニング用に操作した訓練データセット６１には、正しい訓練済みモデル４３では、正しく推定されないような汚染データ６２が含まれる。汚染データ６２は、入力データに対して誤ったラベルが設定されている。機械学習システム１００は、汚染データ６２に応じて、決定境界４５を変更する。
【0048】
変更された決定境界４５ａは、汚染データ６２に適応させるために、誤った方向への変更が行われている。その結果、ポイズニングの攻撃を受けた後の訓練済みモデル４３ａを推論フェイズ５０で用いると、誤った出力データを出力する。
【0049】
攻撃者６０は、機械学習システム１００に対してポイズニングの攻撃を行うことで、推論での推定精度を劣化させることができる。例えば機械学習システム１００が訓練済みモデル４３ａを用いて、サーバに入力されるファイルのフィルタリングを行っている場合、推定精度が劣化することで、ウィルスなどの危険性を有するファイルの入力がフィルタリングされずに許可される可能性がある。
【0050】
例えば機械学習システム１００が、スパムメールか否かの分類を行うための訓練済みモデルを生成する場合を想定する。この場合、訓練データには、メールとラベルとが含まれる。メールは、社内における電子メールに含まれるテキストデータ、および添付ファイルである。ラベルは、教師データであり、メールがスパムか否かを二値で表している。例えばメールが非スパムの場合にはラベルの値は「０」であり、スパムの場合にはラベルの値は「１」である。
【0051】
なおメールにラベル付けをする際には、スパムか否かがルールベース、人手、または他の機械学習の結果によって推定される。例えば機械学習システム１００は、ルールベースのフィルタリングによって、メールがスパムである可能性の有無を推定する。機械学習システム１００は、スパムである可能性があるメールをモニタに表示し、管理者によるスパムか否かの推定を促す。管理者は、表示されたメールの内容を確認し、該当メールがスパムか否かを判断して、判断結果を機械学習システム１００に入力する。機械学習システム１００は、入力されたラベルを、推定対象のメールに付与し、ラベルとメールとの組を訓練データとする。
【0052】
このような訓練データに対するポイズニング攻撃としては、例えば一般のメールデータに、特定の言葉を入れるなどのポイズニングが考えられる。このポイズニングが行われた汚染データは、その特定の言葉がラベリングを行う人に違和感を与えない限り、通常のラベリング（非スパムのラベル「０」の付与）がなされる。その一方で、機械学習システム１００では、推定フェイズにおいて、推論時に、スパムメールに混入された特定の言葉を含むメールについて誤った推論をしてしまうおそれがある。
【0053】
そこで機械学習システム１００は、訓練データセットを複数の部分データセットに分割し、部分データセットごとに機械学習のモデルの訓練を行う。なお部分データセットは、第１の実施の形態に示す部分集合３ａ，３ｂの一例である。そして機械学習システム１００は、部分データセットごとの訓練済みモデルによる推論の精度を比較し、精度が悪い訓練済みモデルが生成された部分データセットに汚染データが含まれていると推定する。このように、訓練済みモデルの精度への汚染データの影響を考慮して、汚染データの検知を行うことで、訓練精度に影響を及ぼす汚染データの検出が可能となる。
【0054】
図６は、機械学習システムにおいて汚染データの検知に用いられる機能を示すブロック図である。機械学習システム１００は、訓練データ取得部１１０、記憶部１２０、分割部１３０、訓練部１４０、評価部１５０、および絞り込み部１６０を有する。
【0055】
訓練データ取得部１１０は、訓練データを取得する。例えば訓練データ取得部１１０は、メールがスパムか否かを推定するためのモデルを訓練する場合、メールサーバから電子メールを取得する。そして訓練データ取得部１１０は、取得した電子メールがスパムか否かを示すラベルの値の入力を受け付ける。例えば機械学習システム１００の管理者がラベルの値を入力すると、訓練データ取得部１１０は、電子メールとラベルとの組を、記憶部１２０に格納する。
【0056】
記憶部１２０は、訓練データセット１２１と評価データセット１２２とを記憶する。訓練データは、モデルに入力する入力データと、出力結果の正解値を示すラベルとを含む。評価データセット１２２は、訓練済みモデルの評価に使用する評価データの集合である。評価データは、モデルに入力する入力データと、出力結果の正解値を示すラベルとを含む。記憶部１２０としては、例えばメモリ１０２またはストレージ装置１０３の記憶領域の一部が使用される。
【0057】
分割部１３０は、訓練データセット１２１を複数の部分データセットに分割する。分割部１３０は、例えば訓練データセット１２１に含まれる訓練データのラベルの値の比率と、分割後の各部分データセットに含まれる訓練データのラベルの値の比率とが同程度になるように、各部分データセットに含まれる訓練データを決定する。
【0058】
訓練部１４０は、分割によって生成された部分データセットごとに、その部分データセットに含まれる訓練データを用いた機械学習を行う。これにより、部分データセットごとの訓練済みモデルが生成される。
【0059】
評価部１５０は、部分データセットごとに生成された訓練済みモデルそれぞれによるラベル推定の精度を、評価データセット１２２を用いて評価する。例えば評価部１５０は、訓練済みモデルを用いて評価データセット１２２に含まれる評価データの入力データを訓練済みモデルに入力して得られる出力データが、その評価データのラベルと一致する割合を計算する。評価部１５０は、出力データがラベルと一致する割合が高い訓練済みモデルほど、ラベル推定の精度が高いと評価する。なお評価部１５０は、評価データセット１２２として、分割によって生成された部分データセットを用いてもよい。
【0060】
絞り込み部１６０は、評価結果に基づいて、汚染データを含む可能性が高い訓練データの評価データセットを特定し、該当する評価データセットに含まれる訓練データのリストを表示する。例えば絞り込み部１６０は、評価結果が最も低い訓練済みモデルの生成に使用された評価データセットを、汚染データを含む可能性が高い訓練データの集合として特定する。
【0061】
なお、図６に示した各要素間を接続する線は通信経路の一部を示すものであり、図示した通信経路以外の通信経路も設定可能である。また、図６に示した各要素の機能は、例えば、その要素に対応するプログラムモジュールをコンピュータに実行させることで実現することができる。
【0062】
次に、記憶部１２０に格納される訓練データセット１２１と評価データセット１２２とについて詳細に説明する。
図７は、記憶部に格納されるデータの一例を示す図である。訓練データセット１２１には、訓練データごとのレコードが含まれている。各訓練データは、訓練データを識別するためのデータ番号と入力データとラベルとを有する。入力データは、機械学習におけるラベルの推定対象となるデータである。例えば電子メールからスパムを検出するための機械学習を行う場合、電子メールに記述された内容が入力データとなる。ラベルは、入力データについての教師データ（正解データ）である。例えば電子メールからスパムを検出するための機械学習を行う場合、対応する電子メールがスパムか否かを示す値が、ラベルとして設定される。
図７は、記憶部に格納されるデータの一例を示す図である。訓練データセット１２１には、訓練データごとのレコードが含まれている。各訓練データは、訓練データを識別するためのデータ番号と入力データとラベルとを有する。入力データは、機械学習におけるラベルの推定対象となるデータである。例えば電子メールからスパムを検出するための機械学習を行う場合、電子メールに記述された内容が入力データとなる。ラベルは、入力データについての教師データ（正解データ）である。例えば電子メールからスパムを検出するための機械学習を行う場合、対応する電子メールがスパムか否かを示す値が、ラベルとして設定される。
【0063】
評価データセット１２２には、評価データごとのレコードが含まれている。各評価データは、訓練データと同様に、評価データを識別するためのデータ番号と入力データとラベルとを有する。
【0064】
図７に示す訓練データセット１２１に含まれる訓練データに汚染データが混在すると、正確な機械学習が困難となる。そこで機械学習システム１００は、訓練データセット１２１に含まれる訓練データから汚染データの検知処理を行う。
【0065】
図８は、汚染データ検知処理の一例を示す図である。図８では、訓練データセット１２１に含まれる複数の訓練データ１２１ａ，１２１ｂ，・・・を丸印で示している。複数の訓練データ１２１ａ，１２１ｂ，・・・には、攻撃者６０により生成された汚染データ１２１ｘが含まれている。
【0066】
機械学習システム１００は、訓練データセット１２１を、１以上の訓練データを含む部分データセット７１～７３に分割する。汚染データ１２１ｘは、いずれかの評価データセットに含まれる。図８の例では、部分データセット７１に汚染データ１２１ｘが含まれている。
【0067】
機械学習システム１００は、部分データセット７１～７３ごとに、該当する集合に含まれる訓練データを用いて空のモデル４１の訓練（機械学習の訓練フェイズ）を行う。これにより部分データセット７１～７３ごとに訓練済みモデル４３ａ，４３ｂ，４３ｃが生成される。
【0068】
機械学習システム１００は、生成された訓練済みモデル４３ａ，４３ｂ，４３ｃによるラベル推定の精度を、評価データセット１２２を用いて評価する。
図９は、精度の評価処理の一例を示す図である。機械学習システム１００は、例えば訓練済みモデル４３ａを用いて、評価データセット１２２の入力データのラベルの推論を行う。推論の結果が出力データ５３として出力される。機械学習システム１００は、評価データセット１２２内の評価データごとに、その評価データに教師データとして含まれるラベルの値と出力データの値とを比較し、一致するか否かを判定する。機械学習システム１００は、例えば評価データのラベルの一致率を、訓練済みモデル４３ａの精度の評価結果とする。一致率は、教師データであるラベルと出力データで示されたラベルとが一致した評価データの数を、評価データセット１２２内の評価データ数で除算した値である。この場合、一致率が高いほど、訓練済みモデル４３ａの精度がよいことを示す。
図９は、精度の評価処理の一例を示す図である。機械学習システム１００は、例えば訓練済みモデル４３ａを用いて、評価データセット１２２の入力データのラベルの推論を行う。推論の結果が出力データ５３として出力される。機械学習システム１００は、評価データセット１２２内の評価データごとに、その評価データに教師データとして含まれるラベルの値と出力データの値とを比較し、一致するか否かを判定する。機械学習システム１００は、例えば評価データのラベルの一致率を、訓練済みモデル４３ａの精度の評価結果とする。一致率は、教師データであるラベルと出力データで示されたラベルとが一致した評価データの数を、評価データセット１２２内の評価データ数で除算した値である。この場合、一致率が高いほど、訓練済みモデル４３ａの精度がよいことを示す。
【0069】
訓練済みモデル４３ａの精度がよいほど、その訓練済みモデル４３ａの生成に用いた部分データセット７１の攻撃性は低く評価できる。換言すると、訓練済みモデル４３ａの精度が悪いほど、その訓練済みモデル４３ａの生成に用いた部分データセット７１の攻撃性は高い。攻撃性が高いことは、汚染データ１２１ｘを含む可能性が高いことを意味する。
【0070】
機械学習システム１００は、他の訓練済みモデル４３ｂ，４３ｃについても同様に、評価データセット１２２を用いた評価を実施する。以下、図８の説明に戻る。
訓練データセット１２１に含まれる汚染データ１２１ｘは、生成される訓練済みモデルの精度を劣化させるものである。すると汚染データ１２１ｘを含む部分データセット７１を用いた訓練で得られた訓練済みモデル４３ａは、他の訓練済みモデル４３ｂ，４３ｃよりもラベル推定精度が劣る。すなわち訓練済みモデル４３ａの精度の評価結果が低くなる。
訓練データセット１２１に含まれる汚染データ１２１ｘは、生成される訓練済みモデルの精度を劣化させるものである。すると汚染データ１２１ｘを含む部分データセット７１を用いた訓練で得られた訓練済みモデル４３ａは、他の訓練済みモデル４３ｂ，４３ｃよりもラベル推定精度が劣る。すなわち訓練済みモデル４３ａの精度の評価結果が低くなる。
【0071】
機械学習システム１００は、精度の評価結果が最も低い訓練済みモデル４３ａの訓練に用いられた部分データセット７１を取得し、訓練データセット１２１を部分データセット７１に置き換えて、分割、訓練、精度評価を行う。機械学習システム１００は、以後同様に、精度の評価が最も低い訓練済みモデルの生成に用いられた集合に対する、分割、訓練、精度評価を繰り返す。
【0072】
機械学習システム１００は、精度評価後に所定の終了条件が満たされたとき、その精度評価において評価が最も低い訓練済みモデルの生成に用いられた集合に含まれる訓練データの中に汚染データが含まれると判定する。例えば機械学習システム１００は、精度の評価が最も低い訓練済みモデルの生成に用いられた集合に含まれる訓練データの数が所定数以下になった場合、終了条件が満たされたと判定する。また機械学習システム１００は、分割、訓練、精度評価の繰り返し回数が所定の回数に達した場合に、終了条件が満たされたと判定してもよい。
【0073】
なお評価データセット１２２が汚染データを含んでいても、汚染データが少量である限り、評価データセット１２２を用いて適切な評価が可能である。すなわち評価データセット１２２に少量の汚染データが含まれていても、その汚染データの影響は複数の訓練済みモデル４３ａ，４３ｂ，４３ｃそれぞれに等しく作用する。そのため評価データセット１２２に少量の汚染データが含まれていても、複数の訓練済みモデル４３ａ，４３ｂ，４３ｃ間で評価結果を相対的に比較することで、精度が最も悪い訓練済みモデルを正しく特定できる。従って評価データセット１２２として、完全に汚染されていない正常なデータを用意せずに済む。
【0074】
【0075】
［ステップＳ１０１］分割部１３０は、記憶部１２０から訓練データセット１２１と評価データセット１２２とを取得する。そして分割部１３０は、取得した訓練データセット１２１内の訓練データを、訓練対象とするデータセット（訓練データセットＸt）に設定する。また分割部１３０は、取得した評価データセット１２２を、訓練済みモデルの評価に用いるデータセット（評価データセットＸv）に設定する。また分割部１３０は、予め指定されている値を、汚染データ検知処理の終了条件を示すデータ数の閾値Ｔに設定する。
【0076】
［ステップＳ１０２］分割部１３０は、訓練データセットＸtを複数の部分データセットに分割し、部分データセットＸ1，・・・，Ｘnを生成する。例えば分割部１３０は、訓練データセットＸt＝［（ｘ1，ｙ1），（ｘ2，ｙ2），・・・，（ｘm，ｙm）］（ｍは１以上の整数）が与えられているものとする。ここでｘi，ｙi（ｉ＝１，・・・，ｍ）は、それぞれ入力データとラベルである。この場合、分割部１３０は、訓練データセットＸtを、例えばＸt＝Ｘ1∪Ｘ2∪Ｘ3のように複数の部分データセットに分割する。分割により生成する部分データセットの数が予め決められている場合、分割部１３０は、訓練データそれぞれについて、複数の部分データセットのいずれかにランダムに振り分ける。分割して得られた部分データセットそれぞれが、個別の訓練データセットＸi（ｉ＝１，・・・，ｎ）となる（ｎは１以上の整数）。
【0077】
なお分割部１３０は、訓練データセットＸtに含まれる訓練データそれぞれが、少なくとも１つの部分データセットに含まれるようにする。なお、各訓練データは、複数の部分データセットに含まれていてもよい。
【0078】
［ステップＳ１０３］訓練部１４０は、訓練データセットＸi（ｉ＝１，・・・，ｎ）それぞれにより機械学習を行い、ｎ個の訓練済みモデルＭiを生成する。
［ステップＳ１０４］評価部１５０は、評価データセットＸvを用いて、訓練済みモデルＭiそれぞれの精度を評価する。
［ステップＳ１０４］評価部１５０は、評価データセットＸvを用いて、訓練済みモデルＭiそれぞれの精度を評価する。
【0079】
［ステップＳ１０５］絞り込み部１６０は、最も精度が悪い訓練済みモデルＭj（ｊは１以上ｎ以下の整数）の訓練に用いた訓練データセットＸjに含まれる訓練データ数Ｎ（Ｎは１以上の整数）を求める。
【0080】
［ステップＳ１０６］絞り込み部１６０は、訓練データ数Ｎが閾値Ｔ以下か否かを判断する。絞り込み部１６０は、訓練データ数Ｎが閾値Ｔ以下であれば、処理をステップＳ１０８に進める。また絞り込み部１６０は、訓練データ数Ｎが閾値Ｔを超えていれば、処理をステップＳ１０７に進める。
【0081】
［ステップＳ１０７］絞り込み部１６０は、訓練データセットＸjを、訓練対象とする訓練データセットＸtに新たに設定する。そして絞り込み部１６０は、処理をステップＳ１０２に進める。以後、分割部１３０、訓練部１４０、評価部１５０、および絞り込み部１６０により、更新後の訓練データセットＸtを用いてステップＳ１０２～Ｓ１０６の処理が繰り返される。
【0082】
［ステップＳ１０８］絞り込み部１６０は、訓練データセットＸjを、汚染データを含む可能性が高い訓練データの集合として出力する。例えば絞り込み部１６０は、訓練データセットＸjに含まれる訓練データのリストを、汚染データ候補リストとしてモニタ２１に表示する。
【0083】
このようにして、汚染データの可能性が高い訓練データを適確に検出できる。例えば正常な訓練データの近くに汚染データがある場合であっても、その汚染データは訓練済みモデルに悪影響を及ぼす。なお正常な訓練データの近くの汚染データとは、正常な訓練データとの類似度が高い汚染データである。訓練データの入力データが電子メールであれば、例えば、一般の人には汚染データとは気づかれないような特定の語句が意図的に挿入された電子メールが、汚染データとして訓練データセットに混入している場合がある。この汚染データは、特定の語句が含まれていること以外は、スパムではない正常な電子メールと区別が付かず、ラベルも非スパムを示す値「０」が設定されている。
【0084】
このような汚染データを用いて訓練された訓練済みモデルは、意図的に挿入された特定の語句があることで、正常な訓練データで訓練された訓練済みモデルよりも精度が悪くなる。すなわち、汚染データを用いて訓練された訓練済みモデルを用いて、特定の語句を有する電子メールがスパムか否かの推論を行うと、その電子メールがスパムであっても、スパムではないと推定する確率が高くなる。その結果、その訓練済みモデルの推定精度は、他の訓練済みモデルよりも低くなる。そのため、機械学習システム１００は、精度が悪い訓練済みモデルの訓練に使用した訓練データセットには汚染データが含まれる可能性が高いと判断することができる。そして機械学習システム１００が汚染データを含む訓練データセットの絞り込みを繰り返すことで、正常な訓練データの近くの汚染データであっても、その汚染データの検知が可能となる。
【0085】
絞り込み部１６０は、汚染データを含む可能性が高い訓練データの絞り込みが完了すると、汚染データ候補リストをモニタ２１に表示する。機械学習システム１００の管理者は、その汚染データ候補リストに基づいて、例えば汚染データの調査または訓練データセット１２１からの汚染データの除去を行う。
【0086】
図１１は、汚染データ候補リストの一例を示す図である。汚染データ候補リスト７７には、絞り込み部１６０による絞り込み後の訓練データセットに含まれる訓練データのリストが表示される。機械学習システム１００の管理者は、汚染データ候補リスト７７を参照し、ポイズニングの攻撃に用いられている訓練データ（汚染データ）を特定する。例えば管理者は、汚染データ候補リスト７７に含まれる訓練データの内容を詳細に確認し、不自然な情報の有無などにより汚染データを特定する。管理者は、例えば特定した汚染データを記憶部１２０から削除する。また管理者は、汚染データ候補リスト７７に含まれているすべての訓練データについて、汚染データである可能性が高いとして、記憶部１２０から削除することもできる。汚染データであることが確認できた訓練データ、または汚染データの可能性が高い訓練データを記憶部１２０から削除することで、記憶部１２０内の訓練データセット１２１を用いて、高精度の訓練済みモデルの生成が可能となる。
【0087】
このようにして、汚染データを容易に検知することが可能となる。すなわち機械学習システム１００が、汚染データが訓練済みモデルに与える影響を考慮に入れて汚染データを検知するようにしたことにより、従来のポイズニング検知では検出が困難な汚染データも検知することができる。
【0088】
〔第３の実施の形態〕
次に第３の実施の形態について説明する。第３の実施の形態は、訓練データセット１２１を複数の部分データセットに分割する際に、クラスタリング技術を利用する点が第２の実施の形態と異なる。以下、第３の実施の形態における第２の実施の形態との相違点について説明する。
次に第３の実施の形態について説明する。第３の実施の形態は、訓練データセット１２１を複数の部分データセットに分割する際に、クラスタリング技術を利用する点が第２の実施の形態と異なる。以下、第３の実施の形態における第２の実施の形態との相違点について説明する。
【0089】
第２の実施の形態では、分割部１３０は、訓練データを含む部分データセットをランダムに決定している。汚染データが１つの場合、訓練データの部分データセットへの振り分けをランダムにすれば、汚染データを含む１つの部分データセットと汚染データを含まない他の部分データセットとが生成される。その結果、各部分データセットの訓練データを用いて生成された部分データセットごとの訓練済みモデルの間には、汚染データの有無に基づいて、推定精度の優劣が生じる。その結果、汚染データを含む部分データセットを特定できる。
【0090】
それに対して、訓練データセット内に複数の汚染データが混入した場合、訓練データを複数の部分データセットのいずれかにランダムに割り当てると、複数の部分データセットそれぞれに均等に汚染データが割り当てられてしまう。各部分データセットが同程度の数の汚染データを含んでいると、各部分データセットの訓練データを用いて生成された部分データセットごとの訓練済みモデルの間に、推定精度の優劣が生じない。この場合、汚染データを含む可能性がある部分データセットをいずれか１つに決定してしまうと、それ以外の部分データセットに含まれた汚染データが検出できなくなる。
【0091】
そこで第３の実施の形態では、機械学習システム１００は、訓練データセットに含まれる訓練データのクラスタリングを行い、類似する訓練データを１つのクラスタに纏める。クラスタリングにより、汚染データが汚染データではないデータと異なったクラスタに纏められる。機械学習システム１００が汚染データを含むクラスタ内の訓練データを同じ部分データセットに含めることで、汚染データの多くが１つの部分データセット内に纏められる。
【0092】
図１２は、クラスタリングを用いた訓練データセットの分割例を示す図である。図１２では、訓練データセット８０に含まれる複数の訓練データ８１ａ，８１ｂ，・・・を、ラベルの値別に表記している。ラベルが「０」の訓練データは白丸で表され、ラベルが「１」の訓練データは黒丸で表されている。複数の訓練データ８１ａ，８１ｂ，・・・の中には汚染データ８２，８３が混入している。
【0093】
機械学習システム１００は、このような訓練データセット８０内の訓練データをクラスタリングにより複数のクラスタ８４ａ～８４ｅに分類する。この場合、汚染データ８２，８３は、同じクラスタ８４ａに分類される。その後、機械学習システム１００は、複数のクラスタ８４ａ～８４ｅそれぞれの訓練データを、複数の部分データセット８４，８５のいずれかに振り分ける。
【0094】
例えば機械学習システム１００は、複数のクラスタ８４ａ～８４ｅのうち、訓練データ数が最も少ないクラスタに属する訓練データは、同じ部分データセットに振り分ける。図１２の例では、クラスタ８４ａ，８４ｂ，８４ｃは、共に訓練データ数が２つであり、訓練データ数が最も少ない。そこで機械学習システム１００は、クラスタ８４ａ内の訓練データを同じ部分データセット８４に振り分ける。同様に機械学習システム１００は、クラスタ８４ｂ内の訓練データを同じ部分データセット８４に振り分け、クラスタ８４ｃ内の訓練データを同じ部分データセット８５に振り分ける。
【0095】
その後、機械学習システム１００は、残ったクラスタ８４ｄ，８４ｅ内の訓練データを、部分データセット８４，８５のいずれかに振り分ける。この際、機械学習システム１００は、元の訓練データセット８０における訓練データのラベルの比率と、分割後に生成される部分データセットにおける訓練データのラベルの比率とが同程度になるように、クラスタ８４ｄ，８４ｅ内の訓練データを振り分ける。
【0096】
図１２の例では、訓練データセット８０において、ラベル「０」の訓練データが１２個であり、ラベル「１」の訓練データが１０個である。すると訓練データセット８０におけるラベル「０」の訓練データとラベル「１」の訓練データとの比は６対５である。そこで機械学習システム１００は、部分データセット８４，８５のそれぞれにおいて、ラベル「０」の訓練データとラベル「１」の訓練データとの比が６対５となるように、クラスタ８４ｄ，８４ｅ内の訓練データを部分データセット８４，８５に振り分ける。
【0097】
このようにして、訓練データセット８０を複数の部分データセット８４，８５に分割することができる。クラスタリングを用いて分割したことで、訓練データのうちの汚染データ８２，８３は、１つの部分データセット８４に集約される。分割処理により部分データセット８４，８５を生成後、機械学習システム１００は、第２の実施の形態と同様に、部分データセット８４，８５ごとに訓練済みモデルを生成し、精度を評価する。
【0098】
図１３は、分割後の部分データセットごとの訓練済みモデルの生成例を示す図である。機械学習システム１００は、部分データセット８４に含まれる訓練データに基づいてモデルの訓練を行い、訓練済みモデル４３ｄを生成する。同様に機械学習システム１００は、部分データセット８５に含まれる訓練データに基づいてモデルの訓練を行い、訓練済みモデル４３ｅを生成する。そして機械学習システム１００は、訓練済みモデル４３ｄ，４３ｅそれぞれの精度を評価する。
【0099】
汚染データ８２，８３は部分データセット８４にのみ含まれているため、部分データセット８４内の訓練データを用いて生成した訓練済みモデル４３ｄは、部分データセット８５内の訓練データを用いて生成した訓練済みモデル４３ｅよりも、推定の精度が悪くなる。すなわち、部分データセット８４内に汚染データ８２，８３が含まれていると正しく判断できる。
【0100】
そこで機械学習システム１００は、部分データセット８４に含まれる訓練データを新たな訓練データセットとして、クラスタリングを用いた訓練データセットの分割処理などの処理を繰り返す。その結果、複数の汚染データ８２，８３が存在する場合であっても、それらの汚染データ８２，８３を含む部分データセットを、汚染データ候補リストとして出力することが可能となる。
【0101】
また訓練データのラベルの出現比率が分割後も保たれることで、分割後の部分データセット８４，８５を用いた訓練を正しく行うことができる。しかも分割後の部分データセット８４，８５同士でラベルの出現比率が同じであれば、ラベルの出現比率の違いにより生成される訓練済みモデルの精度に違いが出ることを抑止できる。すなわち、ラベルの出現比率の違いが訓練済みモデルの精度に影響を及ぼすと、汚染データを含む部分データセットよりも、汚染データを含まない部分データセットの方が、生成される訓練済みモデルの精度が低くなるおそれがある。そこで機械学習システム１００は、分割後の部分データセット８４，８５同士でラベルの出現比率を同じにすることで、ラベルの出現比率の違いが訓練済みモデルの精度に影響を及ぼすことを抑止する。
【0102】
図１４は、第３の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。なお図１４に示すステップＳ２０１，Ｓ２０３～Ｓ２０８の処理は、図１０に示す第２の実施の形態におけるステップＳ１０１，Ｓ１０３～Ｓ１０８の処理と同様である。従って、第２の実施の形態と異なるのは以下のステップＳ２０２の処理のみである。
【0103】
［ステップＳ２０２］分割部１３０は、クラスタリングを利用した訓練データセット分割処理を行う。
図１５は、クラスタリングを利用した訓練データセット分割処理の手順の一例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
図１５は、クラスタリングを利用した訓練データセット分割処理の手順の一例を示すフローチャートである。以下、図１５に示す処理をステップ番号に沿って説明する。
【0104】
［ステップＳ２１１］分割部１３０は、訓練データセットＸtに対して非教師型、もしくは半教師型のクラスタリングを行い、訓練データセットＸtの含まれる訓練データを含む複数のクラスタを生成する。なお分割部１３０は、クラスタリングのアルゴリズムとしては、例えばｋ平均法（ｋ－ｍｅａｎｓ）、ｋｄ木（ｋ－ｄ ｔｒｅｅ）などを用いることができる。これらのクラスタリングアルゴリズムは、予めクラスタ数を決めておき、決められた数のクラスタにクラスタリングする際に有用である。生成するクラスタ数を不定とする場合には、分割部１３０は、例えばｘ－ｍｅａｎｓまたはＤＢＳＣＡＮをクラスタリングアルゴリズムとして用いることができる。
【0105】
また、データの次元が大きい場合には、分割部１３０は、次元削減（もしくは特徴量抽出）を行ってからクラスタリングを行うこともできる。このようなアルゴリズムとして、ＰＣＡ（主成分分析）、自己符号化器（Ａｕｔｏｅｎｃｏｄｅｒ）を用いた潜在変数抽出、ＬＤＡ（ＬａｔｅｎｔＤｉｒｉｃｈｌｅｔ Ａｌｌｏｃａｔｉｏｎ）などがある。
【0106】
［ステップＳ２１２］分割部１３０は、生成されたクラスタを、属する訓練データ数が少ない順に、部分データセットＸ1，・・・，Ｘnとする。例えば分割部１３０は、生成されたクラスタそれぞれについて、属する訓練データ数を計数する。次に分割部１３０は、生成されたクラスタを訓練データ数が少ない順に並べる。そして分割部１３０は、ｉ番目のクラスタに属する訓練データの集合を、部分データセットＸiとする。
【0107】
［ステップＳ２１３］分割部１３０は、部分データセットＸ1からＸkまでの訓練データの合計が訓練データの総数に占める割合が、予め設定された閾値ｔ（０＜ｔ＜１）を超えない最大のｋを求める（ｋは１以上ｎ以下の整数）。例えば分割部１３０は、部分データセットＸ1の訓練データ数に対して、添字の値が小さい部分データセットから順に、訓練データ数を加算する。分割部１３０は、加算する毎に、加算結果を訓練データの総数で除算し、除算結果と閾値ｔとを比較する。分割部１３０は、除算結果が閾値ｔより大きい場合、最後に加算した部分データセットの添字の数字から１を減算した値をｋとする。
【0108】
［ステップＳ２１４］分割部１３０は、クラスタＣ1からクラスタＣkまでの各クラスタについて、そのクラスタに属する訓練データを同じ部分データセットに振り分ける。例えば分割部１３０は、複数の部分データセットＸi（ｉ＝１，・・・，ｎ）を生成し、クラスタＣ1からクラスタＣkまでのクラスタごとに、振り分け先の部分データセットをランダムに決定する。そして分割部１３０は、各クラスタに属する訓練データを、そのクラスタの振り分け先として決定された部分データセットに振り分ける。例えば訓練データセットＸtを２つの部分データセットＸ1，Ｘ2に分割する場合、Ｘ1＝Ｃ1∪Ｃ3∪Ｃ5・・・、Ｘ2＝Ｃ2∪Ｃ4∪Ｃ6・・・となる。
【0109】
［ステップＳ２１５］分割部１３０は、クラスタＣk+1からクラスタＣnまでの各クラスタそれぞれに属する訓練データについて、その訓練データを部分データセットに振り分ける。この際、分割部１３０は、訓練データセットＸtにおける訓練データのラベルの比率と、分割後に生成される部分データセットにおける訓練データのラベルの比率とが同程度になるように訓練データを振り分ける。
【0110】
このようにして、クラスタリングを用いた訓練データセットの分割を行うことができる。以下、訓練データセットの分割の一例を示す。
１０００個の訓練データを有する訓練データセットＸt｛（ｘi，ｙi）｝（ｉ＝１，・・・，１０００）を分割する場合を想定する。閾値ｔ＝０．１が設定されているものとする。すなわち、訓練データの総数「１０００」の１０％「１００」が、閾値で指定されている。また、５００個の訓練データのラベル「ｙi」（ｉ＝１，・・・，５００）は「０」であり、残りの５００個の訓練データのラベル「ｙi」（ｉ＝５０１，・・・，１０００）は「１」である。
１０００個の訓練データを有する訓練データセットＸt｛（ｘi，ｙi）｝（ｉ＝１，・・・，１０００）を分割する場合を想定する。閾値ｔ＝０．１が設定されているものとする。すなわち、訓練データの総数「１０００」の１０％「１００」が、閾値で指定されている。また、５００個の訓練データのラベル「ｙi」（ｉ＝１，・・・，５００）は「０」であり、残りの５００個の訓練データのラベル「ｙi」（ｉ＝５０１，・・・，１０００）は「１」である。
【0111】
クラスタリングした結果、次のように５つのクラスタに分割されたものとする。
Ｃ1＝｛（ｘi，ｙi）｝（ｉ＝１，・・・，１０），訓練データ数「１０」
Ｃ2＝｛（ｘi，ｙi）｝（ｉ＝１１，・・・，３０），訓練データ数「２０」
Ｃ3＝｛（ｘi，ｙi）｝（ｉ＝３１，・・・，５００），訓練データ数「４７０」
Ｃ4＝｛（ｘi，ｙi）｝（ｉ＝５０１，・・・，５１０），訓練データ数「１０」
Ｃ5＝｛（ｘi，ｙi）｝（ｉ＝５１１，・・・，１０００），訓練データ数「４９０」
クラスタを訓練データ数の少ない順番に並べるとＣ1，Ｃ4，Ｃ2，Ｃ3，Ｃ5となる。クラスタに属する訓練データ数を、訓練データ数が少ないクラスタから順に加算していくと、クラスタＣ1，Ｃ4，Ｃ2の訓練データの合計は４０であるが、クラスタＣ1，Ｃ4，Ｃ2，Ｃ3の訓練データの合計は５１０となる。すなわち訓練データの合計が全体の１０％（ｔ＝０．１）を超えないクラスタはＣ1，Ｃ4，Ｃ2までである。
Ｃ1＝｛（ｘi，ｙi）｝（ｉ＝１，・・・，１０），訓練データ数「１０」
Ｃ2＝｛（ｘi，ｙi）｝（ｉ＝１１，・・・，３０），訓練データ数「２０」
Ｃ3＝｛（ｘi，ｙi）｝（ｉ＝３１，・・・，５００），訓練データ数「４７０」
Ｃ4＝｛（ｘi，ｙi）｝（ｉ＝５０１，・・・，５１０），訓練データ数「１０」
Ｃ5＝｛（ｘi，ｙi）｝（ｉ＝５１１，・・・，１０００），訓練データ数「４９０」
クラスタを訓練データ数の少ない順番に並べるとＣ1，Ｃ4，Ｃ2，Ｃ3，Ｃ5となる。クラスタに属する訓練データ数を、訓練データ数が少ないクラスタから順に加算していくと、クラスタＣ1，Ｃ4，Ｃ2の訓練データの合計は４０であるが、クラスタＣ1，Ｃ4，Ｃ2，Ｃ3の訓練データの合計は５１０となる。すなわち訓練データの合計が全体の１０％（ｔ＝０．１）を超えないクラスタはＣ1，Ｃ4，Ｃ2までである。
【0112】
そこで分割部１３０は、クラスタＣ1，Ｃ4，Ｃ2については、クラスタ単位で、属する訓練データの振り分け先の部分データセットを決定する。例えば分割部１３０は、Ｃ1とＣ4の訓練データセットの振り分け先を部分データセットＸ1とし、Ｃ2の訓練データの振り分け先を別の部分データセットＸ2とする。
【0113】
さらに、訓練データセットＸtのラベルの比率は１：１なので、分割部１３０は、分割先の部分データセットでもラベルの比率は１：１となるように、クラスタＣ3とクラスタＣ5の訓練データの振り分け先を決定する。例えば分割部１３０は、クラスタＣ3を以下のようにクラスタＣ31とクラスタＣ32とに分割する。
Ｃ31＝｛（ｘi，ｙi）｝（ｉ＝３１，・・・，２６５）
Ｃ32＝Ｃ3－Ｃ31＝｛（ｘi，ｙi）｝（ｉ＝２６６，・・・，５００）
クラスタＣ31とＣ32との訓練データ数は共に「２３５」である。また分割部１３０は、クラスタＣ5を、以下のようにクラスタＣ51とＣ52とに分割する。
Ｃ51＝｛（ｘi，ｙi）｝ （ｉ＝５１１，・・・，７４５）
Ｃ52＝Ｃ5－Ｃ51＝｛（ｘi，ｙi）｝（ｉ＝７４６，・・・，１０００）
クラスタＣ51の訓練データ数は「２３５」であり、クラスタＣ52の訓練データ数は「２５５」である。そして分割部１３０は、以下のような部分データセットＸ1，Ｘ2を生成する。
Ｘ1＝Ｃ1∪Ｃ4∪Ｃ31∪Ｃ51
Ｘ2＝Ｃ2∪Ｃ32∪Ｃ52
部分データセットＸ1は、ラベル「０」の訓練データ数が「２４５」（Ｃ1∪Ｃ31）となり、ラベル「１」の訓練データ数が「２４５」（Ｃ4∪Ｃ51）となる。従って、部分データセットＸ1におけるラベルの比率は１：１である。同様に、部分データセットＸ2におけるラベルの比率も１：１となる。
Ｃ31＝｛（ｘi，ｙi）｝（ｉ＝３１，・・・，２６５）
Ｃ32＝Ｃ3－Ｃ31＝｛（ｘi，ｙi）｝（ｉ＝２６６，・・・，５００）
クラスタＣ31とＣ32との訓練データ数は共に「２３５」である。また分割部１３０は、クラスタＣ5を、以下のようにクラスタＣ51とＣ52とに分割する。
Ｃ51＝｛（ｘi，ｙi）｝ （ｉ＝５１１，・・・，７４５）
Ｃ52＝Ｃ5－Ｃ51＝｛（ｘi，ｙi）｝（ｉ＝７４６，・・・，１０００）
クラスタＣ51の訓練データ数は「２３５」であり、クラスタＣ52の訓練データ数は「２５５」である。そして分割部１３０は、以下のような部分データセットＸ1，Ｘ2を生成する。
Ｘ1＝Ｃ1∪Ｃ4∪Ｃ31∪Ｃ51
Ｘ2＝Ｃ2∪Ｃ32∪Ｃ52
部分データセットＸ1は、ラベル「０」の訓練データ数が「２４５」（Ｃ1∪Ｃ31）となり、ラベル「１」の訓練データ数が「２４５」（Ｃ4∪Ｃ51）となる。従って、部分データセットＸ1におけるラベルの比率は１：１である。同様に、部分データセットＸ2におけるラベルの比率も１：１となる。
【0114】
このように第３の実施の形態では、クラスタリングにより、複数の汚染データを同じクラスタに纏めることができる。そして汚染データを含むクラスタ内の訓練データを同じ部分データセットに振り分けることで、複数の汚染データが１つの部分データセットに纏められる。その結果、複数の汚染データが複数の部分データセットに均等に分散してしまうことが抑止され、複数の汚染データが存在する場合であってもそれらの汚染データの検出が可能となる。
【0115】
〔第４の実施の形態〕
次に第４の実施の形態について説明する。第４の実施の形態では、機械学習システム１００は、訓練データセットを異なる分割パターンで繰り返し分割する。そして機械学習システム１００は、分割するごとに、機械学習による訓練済みモデルの生成と精度の評価とを行い、精度が悪い訓練済みモデルの生成に使用した訓練データに汚染候補点を加算する。汚染データを用いて生成された訓練済みモデルは精度が悪いため、分割、訓練済みモデルの生成、評価、汚染候補点の加算を繰り返すと、汚染データの汚染候補点が他よりも大きくなる。そこで機械学習システム１００は、汚染候補点が高い訓練データを汚染データ候補として出力する。
次に第４の実施の形態について説明する。第４の実施の形態では、機械学習システム１００は、訓練データセットを異なる分割パターンで繰り返し分割する。そして機械学習システム１００は、分割するごとに、機械学習による訓練済みモデルの生成と精度の評価とを行い、精度が悪い訓練済みモデルの生成に使用した訓練データに汚染候補点を加算する。汚染データを用いて生成された訓練済みモデルは精度が悪いため、分割、訓練済みモデルの生成、評価、汚染候補点の加算を繰り返すと、汚染データの汚染候補点が他よりも大きくなる。そこで機械学習システム１００は、汚染候補点が高い訓練データを汚染データ候補として出力する。
【0116】
図１６は、汚染候補点の第１の加点例を示す図である。図１６の例では、訓練データセット１２１内の訓練データ１２１ａ，１２１ｂ，・・・に、左から順に昇順のデータ番号が付与されている。機械学習システム１００は、訓練データセット１２１を複数の部分データセット７１～７３に分割し、部分データセットごとの訓練済みモデル４３ａ，４３ｂ，４３ｃを生成する。そして機械学習システム１００は、訓練済みモデル４３ａ，４３ｂ，４３ｃそれぞれの精度を評価する。
【0117】
図１６の例では、部分データセット７１に汚染データ１２１ｘが含まれており、部分データセット７１を用いた訓練済みモデル４３ａの精度は、他の訓練済みモデル４３ｂ，４３ｃの精度よりも低い。そこで機械学習システム１００は、部分データセット７１に含まれる訓練データそれぞれについて、汚染候補点を１点ずつ加点する。
【0118】
例えば機械学習システム１００は、汚染候補点管理テーブル９１を有している。汚染候補点管理テーブル９１は、訓練データごとの汚染候補点を管理するためのデータテーブルである。汚染候補点管理テーブル９１には、訓練データのデータ番号に対応付けて、その訓練データの汚染候補点が設定されている。
【0119】
図１６の例では、部分データセット７１には、データ番号「１」から「８」の訓練データが含まれている。従って機械学習システム１００は、汚染候補点管理テーブル９１におけるデータ番号「１」～「８」のそれぞれに対して、汚染候補点を「１」点ずつ加点する。
【0120】
図１７は、汚染候補点の第２の加点例を示す図である。機械学習システム１００は、図１６とは別の分割パターンで訓練データセット１２１を複数の部分データセット７４～７６に分割し、部分データセットごとの訓練済みモデル４３ｆ，４３ｇ，４３ｈを生成する。そして機械学習システム１００は、訓練済みモデル４３ｆ，４３ｇ，４３ｈそれぞれの精度を評価する。
【0121】
図１７の例では、部分データセット７４に汚染データ１２１ｘが含まれており、部分データセット７４を用いた訓練済みモデル４３ｆの精度は、他の訓練済みモデル４３ｇ，４３ｈの精度よりも低い。そこで機械学習システム１００は、部分データセット７４に含まれる訓練データそれぞれについて、汚染候補点を１点ずつ加算する。すなわち機械学習システム１００は、汚染候補点管理テーブル９１における部分データセット７４に含まれる訓練データのデータ番号に対応する汚染候補点を、１点ずつ加点する。
【0122】
このような処理を繰り返すことで、汚染データ１２１ｘ（データ番号「４」）の汚染候補点が他の訓練データの汚染候補点よりも高くなっていく。機械学習システム１００は、汚染候補点の加算を所定回数繰り返したときに汚染候補点が大きい方から所定数の訓練データを、汚染データ候補として出力する。
【0123】
図１８は、第４の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。以下、図１８に示す処理をステップ番号に沿って説明する。
［ステップＳ３０１］分割部１３０は、記憶部１２０から訓練データセット１２１と評価データセット１２２とを取得する。そして分割部１３０は、取得した訓練データセット１２１内の訓練データを、訓練対象とするデータセット（訓練データセットＸt）に設定する。また分割部１３０は、取得した評価データセット１２２を、訓練済みモデルの評価に用いるデータセット（評価データセットＸv）に設定する。また分割部１３０は、予め指定されている値を、繰り返し回数Ｉ（Ｉは１以上の整数）に設定する。
［ステップＳ３０１］分割部１３０は、記憶部１２０から訓練データセット１２１と評価データセット１２２とを取得する。そして分割部１３０は、取得した訓練データセット１２１内の訓練データを、訓練対象とするデータセット（訓練データセットＸt）に設定する。また分割部１３０は、取得した評価データセット１２２を、訓練済みモデルの評価に用いるデータセット（評価データセットＸv）に設定する。また分割部１３０は、予め指定されている値を、繰り返し回数Ｉ（Ｉは１以上の整数）に設定する。
【0124】
［ステップＳ３０２］分割部１３０は、何回目の繰り返し処理なのかを示す変数ｐに１を設定する（ｐ＝１）。
［ステップＳ３０３］分割部１３０は、訓練データセットＸtを複数の部分データセットに分割し、部分データセットＸ1，・・・，Ｘnを生成する。この際、分割部１３０は、分割するごとに異なる部分データセットが生成されるような分割処理を行う。例えば分割部１３０は、複数の訓練データそれぞれの振り分け先となる部分データセットをランダムに決定する。
［ステップＳ３０３］分割部１３０は、訓練データセットＸtを複数の部分データセットに分割し、部分データセットＸ1，・・・，Ｘnを生成する。この際、分割部１３０は、分割するごとに異なる部分データセットが生成されるような分割処理を行う。例えば分割部１３０は、複数の訓練データそれぞれの振り分け先となる部分データセットをランダムに決定する。
【0125】
［ステップＳ３０４］訓練部１４０は、訓練データセットＸi（ｉ＝１，・・・，ｎ）それぞれにより機械学習を行い、ｎ個の訓練済みモデルＭiを生成する。
［ステップＳ３０５］評価部１５０は、評価データセットＸvを用いて、訓練済みモデルＭiそれぞれの精度を評価する。
［ステップＳ３０５］評価部１５０は、評価データセットＸvを用いて、訓練済みモデルＭiそれぞれの精度を評価する。
【0126】
［ステップＳ３０６］絞り込み部１６０は、最も精度が悪い訓練済みモデルＭj（ｊは１以上ｎ以下の整数）の訓練に用いた訓練データセットＸjに含まれる訓練データに対して、汚染候補点を１点ずつ加点する。
【0127】
［ステップＳ３０７］絞り込み部１６０は、変数ｐの値が繰り返し回数Ｉに達したか否かを判断する（ｐ＝Ｉ？）。絞り込み部１６０は、繰り返し回数Ｉに達していなければ、処理をステップＳ３０８に進める。また絞り込み部１６０は、繰り返し回数Ｉに達した場合、処理をステップＳ３０９に進める。
【0128】
［ステップＳ３０８］絞り込み部１６０は変数ｐに１を加算（ｐ＝ｐ＋１）し、処理をステップＳ３０３に進める。
［ステップＳ３０９］絞り込み部１６０は、汚染候補点が高い方から所定数の訓練データのデータ番号を出力する。
［ステップＳ３０９］絞り込み部１６０は、汚染候補点が高い方から所定数の訓練データのデータ番号を出力する。
【0129】
このように第４の実施の形態では、訓練候補点に基づいて汚染データ候補を検出するため、複数の汚染データが混入した場合でも、それらの汚染データを検出できる。また最初の訓練データセットの分割において、複数の汚染データが異なる部分データセットに分散された場合であっても各汚染データを検出することができ、検出精度が向上する。
【0130】
以下、第４の実施の形態による汚染データの検出例について説明する。
手書きの「０」と「１」を識別するための訓練済みモデルを生成する機械学習において、訓練データセットに混入した汚染データを検出する場合を想定する。この場合、正常な訓練データとして、手書きで「０」または「１」が書かれた画像データを合わせて約２０００個用意した。また１００個の汚染データを用意した。この場合、汚染データは、全体の約５％となる。分割部１３０は、訓練データセットの分割は、ランダムに２分割する。訓練部１４０は、訓練済みモデルとして、ロジスティック回帰による２値分類モデルを生成する。処理の繰り返し回数Ｉは「１００」とする。
手書きの「０」と「１」を識別するための訓練済みモデルを生成する機械学習において、訓練データセットに混入した汚染データを検出する場合を想定する。この場合、正常な訓練データとして、手書きで「０」または「１」が書かれた画像データを合わせて約２０００個用意した。また１００個の汚染データを用意した。この場合、汚染データは、全体の約５％となる。分割部１３０は、訓練データセットの分割は、ランダムに２分割する。訓練部１４０は、訓練済みモデルとして、ロジスティック回帰による２値分類モデルを生成する。処理の繰り返し回数Ｉは「１００」とする。
【0131】
以上の条件で機械学習システム１００が図１８に示した処理手順を実行し、汚染候補点が高い１００個の訓練データを汚染データとして抽出したところ、汚染データと推定された上位１００個の訓練データに、２７個の汚染データが含まれていた。すなわち、混入率５％の汚染データを２７％の検知精度で検知できている。
【0132】
〔第５の実施の形態〕
次に第５の実施の形態について説明する。第５の実施の形態は、第３の実施の形態と第４の実施の形態とを組み合わせたものである。
次に第５の実施の形態について説明する。第５の実施の形態は、第３の実施の形態と第４の実施の形態とを組み合わせたものである。
【0133】
図１９は、第５の実施の形態における汚染データ検知処理の手順の一例を示すフローチャートである。図１９に示す処理のうち、ステップＳ４０１，Ｓ４０２，Ｓ４０４～Ｓ４０９の処理は、それぞれ図１８に示した第４の実施の形態のステップＳ３０１，Ｓ３０２，Ｓ３０４～Ｓ３０９の処理と同様である。またステップＳ４０３の処理は、図１４に示した第３の実施の形態のステップＳ２０２の処理と同様である。
【0134】
なお第５の実施の形態では、分割部１３０は、クラスタリングごとに異なるクラスタが生成されるようなクラスタリングのアルゴリズムを採用する。例えば分割部１３０は、クラスタリングを行うごとに、クラスタリングで使用するパラメータを変更する。例えば分割部１３０は、特徴量抽出を行ってから特徴量の類似度に基づくクラスタリングを行う。この際、分割部１３０は、クラスタリングを行うごとに抽出する特徴量を変更する。これにより、同じ訓練データセットに対してクラスタリングを利用した分割を繰り返し行っても、分割処理ごとに、異なる部分データセットが生成される。
【0135】
このようにクラスタリングを利用した訓練データセットの分割処理と、訓練データへの汚染候補点の加点による汚染データの抽出とを組み合わせることで、汚染データの抽出精度が向上する。
【0136】
例えば第３の実施の形態のようにクラスタリングを利用した訓練データセットの分割処理のみだと、複数種の汚染データが混入していた場合、汚染データが複数のクラスタに分散され、汚染データが異なる部分データセットに分散するおそれがある。すると、一部の汚染データが検出できないことがあり得る。それに対して、第５の実施の形態では、機械学習システム１００は、繰り返しクラスタリングを利用した分割処理を行い、その都度、精度が低い訓練済みモデルの生成に利用された訓練データに汚染候補点を加点する。これにより、クラスタリングにおいて異なるクラスタに属するような複数種の汚染データが混入していても、それらの汚染データの汚染候補点は他の訓練データよりも高くなる。その結果、汚染データの検出漏れを抑止することができる。
【0137】
しかもクラスタリングによって汚染データが１つの部分データセットに纏まるようにしているため、精度評価の際に、汚染データを含む部分データセットから生成した訓練済みモデルとそれ以外の訓練済みモデルとの精度の差が際立つ。その結果、汚染データを含む部分データセットを適確に判断することができる。
【0138】
〔その他の実施の形態〕
第２～第５の実施の形態では、機械学習システム１００は、訓練データセット１２１と評価データセット１２２とを分けているが、例えば訓練データセット１２１の少なくとも一部を評価データセット１２２として用いることもできる。
第２～第５の実施の形態では、機械学習システム１００は、訓練データセット１２１と評価データセット１２２とを分けているが、例えば訓練データセット１２１の少なくとも一部を評価データセット１２２として用いることもできる。
【0139】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【0140】
１ 集合
１ａ，１ｂ，・・・ 訓練データ
２ 汚染データ
３ａ，３ｂ 部分集合
４ａ，４ｂ 訓練済みモデル
１０ 情報処理装置
１１ 記憶部
１２ 処理部
１ａ，１ｂ，・・・ 訓練データ
２ 汚染データ
３ａ，３ｂ 部分集合
４ａ，４ｂ 訓練済みモデル
１０ 情報処理装置
１１ 記憶部
１２ 処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】