知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024090784
(43)【公開日】2024-07-04
(54)【発明の名称】学習装置、学習方法、プログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240627BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022206890
(22)【出願日】2022-12-23
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】森 隼基
(57)【要約】
【課題】学習に用いた情報が漏洩してしまうこと。
【解決手段】本開示の学習装置１００は、ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部１２１と、第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部１２２と、第１学習データと第２学習データとを用いた機械学習により推論器を生成する学習部１２３と、を備える。
【選択図】図６
【解決手段】本開示の学習装置１００は、ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部１２１と、第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部１２２と、第１学習データと第２学習データとを用いた機械学習により推論器を生成する学習部１２３と、を備える。
【選択図】図６
【特許請求の範囲】
【請求項1】
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部と、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
【請求項2】
請求項１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、予め設定された基準により他の要素と比較して大きな値の少なくとも１つの要素と他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、予め設定された基準により他の要素と比較して大きな値の少なくとも１つの要素と他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
【請求項3】
請求項１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値が最も大きくなり、他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値が最も大きくなり、他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
【請求項4】
請求項１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値を０より大きい値に設定し、その他の要素の値を０に設定することで前記第２学習データを生成する、
学習装置。
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値を０より大きい値に設定し、その他の要素の値を０に設定することで前記第２学習データを生成する、
学習装置。
【請求項5】
請求項１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データ生成部による前記第１学習データの目的変数であるベクトルを生成する際に用いるソフトマックス関数の温度パラメータの値を１より小さく設定することで、前記第２学習データを生成する、
学習装置。
前記第２学習データ生成部は、前記第１学習データ生成部による前記第１学習データの目的変数であるベクトルを生成する際に用いるソフトマックス関数の温度パラメータの値を１より小さく設定することで、前記第２学習データを生成する、
学習装置。
【請求項6】
請求項１に記載の学習装置であって、
前記学習部は、前記第１学習データに対して予め設定された割合の前記第２学習データを用いた機械学習により前記推論器を生成する、
学習装置。
前記学習部は、前記第１学習データに対して予め設定された割合の前記第２学習データを用いた機械学習により前記推論器を生成する、
学習装置。
【請求項7】
請求項６に記載の学習装置であって、
前記第１学習データに対する前記第２学習データの前記割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ0とし、
前記第２学習データでの機械学習での損失関数をＬ1とした場合、
Ｌα＝（１－α）Ｌ0＋αＬ1
にて損失関数Ｌαを算出し、
前記損失関数Ｌαに基づいて、前記推論器を生成する、
学習装置。
前記第１学習データに対する前記第２学習データの前記割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ0とし、
前記第２学習データでの機械学習での損失関数をＬ1とした場合、
Ｌα＝（１－α）Ｌ0＋αＬ1
にて損失関数Ｌαを算出し、
前記損失関数Ｌαに基づいて、前記推論器を生成する、
学習装置。
【請求項8】
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
学習方法。
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
学習方法。
【請求項9】
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させるためのプログラム。
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習装置、学習方法、プログラムに関する。
【背景技術】
【0002】
機械学習の分野において、蒸留と呼ばれる技術が知られている。蒸留は、一度学習した推論器の出力を目的変数として再度新たな推論器を学習し直すことであり、推論器を圧縮する技術である。蒸留には推論器を圧縮するだけでなく、機械学習の過学習を防ぐ効果もあることが特許文献１に記載されている。このため、蒸留を利用することで、過学習に対して機械学習の学習済みパラメータから学習に用いた秘密情報（例：顧客情報、企業秘密など）を抜き取るＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）を防ぐことが可能である。ＭＩ攻撃は、あるデータが対象となる機械学習モデルの学習に用いられたものなのかそうでないのかを推測する攻撃である。
【先行技術文献】
【非特許文献】
【0003】
【特許文献1】特開２０２２－１３１６０１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、蒸留によって学習を行った最終的な推論器は、ＭＩ攻撃に対して十分な耐性を持つが、学習途中の推論器は過学習してしまい、ＭＩ攻撃に対して脆弱であるという問題点がある。これは、蒸留前の推論器にデータを入力して得た出力を蒸留時の目的変数としても、十分に学習しきれていない学習中は、誤って元来の学習データにおける目的変数の方向に学習が進んでしまうためである。すると、学習途中のモデルを適宜アップロードしていくような状況や、学習中に外部からアクセスされる可能性のある状況では、学習中の推論器にＭＩ攻撃を行われることで学習に用いた情報が漏洩してしまうおそれがある。
【0005】
このため、本開示の目的は、学習に用いた情報が漏洩してしまうという問題を解決することができる学習装置、学習方法、プログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一形態である学習装置は、
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部と、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた、
という構成をとる。
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部と、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた、
という構成をとる。
【0007】
また、本開示の一形態である学習方法は、
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
という構成をとる。
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
という構成をとる。
【0008】
また、本開示の一形態であるプログラムは、
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させる、
という構成をとる。
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させる、
という構成をとる。
【発明の効果】
【0009】
本開示は、以上のように構成されることにより、学習に用いた情報の漏洩を抑制することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の実施形態１における学習システムの構成を示すブロック図である。
【図5】本開示の実施形態２における学習装置のハードウェア構成を示すブロック図である。
【図6】本開示の実施形態２における学習装置の構成を示すブロック図である。
【発明を実施するための形態】
【0011】
【0012】
［構成］
本実施形態における学習システムは、学習データを用いて機械学習を行い、推論器を生成するものである。本実施形態では、例えば、学習システムは、入力されたデータを予め設定された分類に分類する推論器を生成するものである。但し、学習システムは、入力されたデータに対していかなる推論を行う推論器を生成してもよい。
本実施形態における学習システムは、学習データを用いて機械学習を行い、推論器を生成するものである。本実施形態では、例えば、学習システムは、入力されたデータを予め設定された分類に分類する推論器を生成するものである。但し、学習システムは、入力されたデータに対していかなる推論を行う推論器を生成してもよい。
【0013】
図１は、学習装置１０を備えた機械学習システムの構成を示すブロック図である。学習装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、学習装置１０は、図１に示すように、事前学習済み推論器記憶部１１と、第１学習データ生成部１２と、第２学習データ生成部１３と、学習部１４と、を備えている。事前学習済み推論器記憶部１１は記憶装置により構成されており、第１学習データ生成部１２と第２学習データ生成部１３と学習部１４とは、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、学習装置１０には、推論器の機械学習に用いる予め用意されたラベル無し学習データを記憶する記憶部３０が接続されている。以下、各構成について説明する。
【0014】
事前学習済み推論器記憶部１１は、事前にある機械学習方法により学習された推論器として、学習済み推論器を記憶している。ここで、推論器とは、入力データに対して推論を行う機械学習モデルである。つまり、推論器は、入力データに基づいて推論を行った時の推論結果を出力する。例えば、推論器は、画像分類を行う分類器とすることができる。この場合、推論器は、各クラスに該当する確率を示すスコアベクトルを出力する。一例として、推論器を関数Ｆとすると、入力データｘに対するスコアベクトルは、Ｆ（ｘ）＝（Ｆ（ｘ）１，Ｆ（ｘ）２，・・・，Ｆ（ｘ）ｎ）、となる。なお、ｎは分類問題のクラス数である。
【0015】
図２に、推論器による推論の一例を示す。この図では、画像による動物の分類問題を例示しており、推論器によって推論されたスコアベクトルの概念図を示している。具体的には、動物の画像ｘを入力データとし、動物の種類を分類として、入力された動物の画像ｘに対応する各動物の種類に分類される確率をスコアベクトルとして推論している。例えば、図２におけるＦ（ｘ）１は、画像ｘが「犬」の画像である確率を表している。
【0016】
事前学習済み推論器記憶部１１に記憶されている学習済み推論器の学習方法は任意であり、学習済み推論器は複数記憶されていてもよい。なお、学習済み推論器の学習に使用する学習データを事前学習データと呼ぶことにする。事前学習データは、複数のデータを含むデータ群であり、ラベル有り学習データあるいはラベル無し学習データが用いられる。ラベル有り学習データは、教師有り学習を行う場合に用いられる正解ラベル（教師データ）付きのデータ集合であり、複数の入力データ（説明変数）と、それぞれに対応付けられた正解ラベル（目的変数）と、からなる。ラベル無し学習データは、説明変数のみからなるデータである。なお、事前学習データがラベル有り学習データである場合には、学習装置１０に接続されている記憶部３０に記憶されているラベル無し学習データとは別のデータを用いたものであってもよく、あるいは、記憶部３０に記憶されているラベル無し学習データに正解ラベルが付与されたデータであってもよい。
【0017】
そして、学習済み推論器に対して、上述したようにＭｅｍｂｅｒｓｈｉｐ Ｉｎｆｅｒｅｎｃｅ攻撃（ＭＩ攻撃）が行われうるという問題がある。ＭＩ攻撃とは、学習に使用されたデータと、学習に使用されていないデータと、に対するスコアベクトルの違いを利用することで、標的のデータが学習に使用されたか否かを推測する攻撃である。これによって学習データの情報が漏洩する恐れがある。例えば、ある企業が自身の顧客データを使ってある推論器を学習したとする。攻撃者がその推論器にアクセスし、自身の持つ個人のデータがその推論器の学習に使用されたことが推論できれば、その個人は企業の顧客であることが判明してしまう。また、ＭＩ攻撃はこのような例に限定されず、さらに別の攻撃が行われる可能性もある。
【0018】
本開示における学習装置１０は、学習済みの推論器に対する上述したような攻撃に対応すべく、蒸留という技術を用いてさらなる推論器を生成することとしている。このため、学習装置１０は、さらに以下の構成を備えている。
【0019】
第１学習データ生成部１２は、予め用意されたラベル無し学習データに基づいて、蒸留に使用するための学習データである第１学習データを生成する。なお、ここで使用するラベル無し学習データは、学習装置１０に接続された記憶部に予め記憶されていることとする。ラベル無し学習データは、事前学習データとは異なるデータであってもよく、事前学習データのうち目的変数が取り除かれた説明変数だけのデータであってもよい。このように第１学習データに基づいて機械学習を行うことで、ＭＩ攻撃に耐性があり、かつ推論精度の高い推論器が生成されることが知られている。
【0020】
例えば、第１学習データ生成部１２は、事前学習データを使用して学習された１つの学習済み推論器に、事前学習データとは別のラベル無し学習データを説明変数として入力し、その際に出力される複数の要素の値からなるスコアベクトルを、入力したラベル無し学習データの目的変数として付加することで、目的変数が付加された第１学習データを生成する。つまり、第１学習データ生成部１２は、（ラベル無し学習データ（説明変数），スコアベクトル（目的変数））といった第１学習データを生成する。
【0021】
また、第１学習データ生成部１２は、複数の学習済み推論器を使用して第１学習データを生成することもできる。例えば、事前学習データをｋ個（ｋは２以上の整数）分割することで、ｋセットの分割データを生成し、事前学習データから１セットの分割データを除いたデータを用いた機械学習によりｋ個の学習済み推論器を生成し、事前学習済み推論器記憶部１１に事前に記憶しておく。そして、第１学習データ生成部１２は、ラベル無し学習データとして、事前学習データの目的変数を除いたものを利用し、事前学習済み推論器ｉの学習に使用されていないデータを説明変数とし、かかる説明変数に対して、事前学習済み推論器ｉによる出力であるスコアベクトルをラベル（目的変数）として付加する。こうして得られたｋセットのデータを統合することで第１学習データを生成する。
【0022】
第２学習データ生成部１３は、学習の推論器のＭＩ攻撃に対する耐性を向上させるために、第１学習データと合わせて推論器の機械学習に用いられる第２学習データを生成する。第２学習データ生成部１３は、第１学習データ生成部１２で生成された第１学習データの目的変数であるスコアベクトルの要素の値を変更することで、第２学習データを生成する。ここで、第１学習データの目的変数は、学習済み推論器の出力ベクトルをそのまま利用しているため、ベクトルのある要素に局在しておらず、学習が収束していない学習途中には誤って正解ラベルの方向へ学習が進んでしまう。これを解消するために、第２学習データ生成部１３では、第１学習データの目的変数を、ある要素の値が突出したベクトルに変更する。この際、第２学習データ生成部１３は、第１学習データの目的変数の全ての要素の値を変換しても良いし、第１学習データの目的変数の一部のみの要素の値を変換しても良い。
【0023】
例えば、第２学習データ生成部１３は、第１学習データの目的変数ｙ＝（ｙ１，・・・，ｙｎ）を、下記数１式のように、最も値の大きい要素を「１」に、その他の要素を「０」に置き換えることで、目的変数ｙ’＝（ｙ１’，・・・，ｙｎ’）を生成する。ただし、ｎは２以上の整数であり、現在考えている分類問題のクラス数を表している。
【数1】
【0024】
なお、第２学習データ生成部１３は、第１学習データの目的変数のうち、最も大きい要素のみだけでなく、値の大きい上位ｍ個（ｍは２以上の整数）の要素のみ有限の値（「０」より大きい値）にし、その他の要素を「０」に置き換えても良い。例えば、ｍ＝２の場合、２つの要素のみそれぞれ「０．５」に置き換え、その他の要素を「０」に置き換える。
【0025】
また、第１学習データの説明変数ｘに対する目的変数ｙ＝（ｙ１，・・・，ｙｎ）は、ある推論器Ｆの出力として、ｙ＝（Ｆ（ｘ）１，・・・，Ｆ（ｘ）ｎ）、と表されている。推論器Ｆは、最後にソフトマックス関数を適用するが、ソフトマックス関数を適用する前の入力ｘに対する推論器Ｆの出力をｚとすると、温度パラメータＴを導入することで、推論器Ｆの最終的な出力は、Ｆ（ｘ）＝ｓｏｆｔｍａｘ（ｚ／Ｔ）、となる。第１学習データ生成部１２では、通常Ｔ＝１と設定する。第２学習データ生成部１３は、この温度パラメータを１より小さくすることで、目的変数が最大の要素の値により局在したベクトルとなる第２学習データを生成することが出来る。この際、最も値の大きな要素以外の要素も、０ではない正の値を取る。
【0026】
ここで、上述した２種類の第２学習データ生成方法の概念図を図３に示す。図３の符号Ｄ１は、第１学習データの目的変数を示しており、符号Ｄ２－Ａ，Ｄ２－Ｂは、第一学習データの目的変数から生成した第２学習データの目的変数の一例を示している。符号Ｄ２－Ａは、第一学習データの目的変数のうち最も値の大きい要素を「１」に、その他の要素を「０」に置き換えて第２学習データを生成した例であり、符号Ｄ２－Ｂは、第一学習データの目的変数のうち最も値の大きい要素を最大値とし、その他の要素を０ではない正の値に置き換えて第２学習データを生成した例である。
【0027】
このように、第２学習データ生成部１３は、第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定した第２学習データを生成する。また、換言すると、第２学習データ生成部１３は、第１学習データの目的変数であるベクトルの各要素の値を、予め設定された基準（例えば上位ｍ個）に従い、他の要素と比較して大きな値の少なくとも１つの要素と他の要素との値の差がより大きくなるよう設定した第２学習データを生成する。特に、第２学習データ生成部１３は、望ましくは、第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値が最も大きくなり、他の要素との値の差がより大きくなるよう設定した第２学習データを生成する。一例として、第２学習データ生成部１３は、第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値を０より大きい値、例えば、１に設定し、その他の要素の値を０あるいは０に近い値に設定することで、第２学習データを生成する。但し、第２学習データ生成部１３の第２学習データ生成方法は、上述したような方法に限られない。
【0028】
学習部１４は、第１学習データと第２学習データに基づいた機械学習により推論器を生成する。機械学習では、例えば、ディープラーニングモデルにおける各層のパラメータの最適化を行う。これにより、推論器が生成される。本実施形態では、第１学習データのみならず、上述した第２学習データも用いることで、学習中であってもＭＩ攻撃に耐性のある推論器が生成される。
【0029】
例えば、学習部１４は、第１学習データに対して第２学習データを使用する割合を表すパラメータαをあらかじめ設定する。αは、０以上１以下の実数である。第１学習データを使って学習する際の損失関数をＬ0とする。また、第２学習データを使って学習させる際の損失関数をＬ１とする。例えば、学習部１４は以下の数２式に基づいて損失関数Ｌαを算出する。
【数2】
【0030】
学習部１４は、損失関数Ｌαに基づいて、機械学習を行う。すなわち、学習部１４は損失関数Ｌαを小さくするように機械学習を行う。学習中の安全性を高めたい場合には、αを大きくする。逆に、αが０の場合は第２学習データを使用しないこととなるため、αは０より大きいことが望ましい。
【0031】
このように、本実施形態では、第２学習データ学習部１３が、第１学習データ生成部１２において、事前学習済み推論器記憶部１１に記憶された推論器のスコアベクトルを利用することで生成された第１学習データの目的変数を、値が最大の要素により突出したベクトルに変換することで第２学習データを生成している。学習部１４が、第１学習データの加えて第２学習データにも基づいて機械学習を行うことで、学習中にもＭＩ攻撃に耐性のある方向へ学習を進めることが出来る。
【0032】
【0033】
まず、第１学習データ生成部１２が、ラベル無し学習データに対して、事前学習済み推論器記憶部１１に記憶された推論器のスコアベクトルをラベルとして付加することで、第１学習データを生成する（ステップＳ１）。
【0034】
次に、第２学習データ生成部１３が、第１学習データの目的変数を、値が最大の要素により突出したベクトルに変換することで第２学習データを生成する（ステップＳ２）。具体的に、第２学習データ生成部１３が、例えば、上述した数１式に基づいて、第１学習データの目的変数のうち、値が最大の要素を「１」に、それ以外の要素を「０」に設定した第２学習データを生成する。また、ソフトマックス関数の温度パラメータを１よりも低温に変更することで第２学習データを生成することもできる。
【0035】
最後に、学習部１４が、第１学習データと第２学習データに基づいた機械学習により推論器を生成する。例えば、上述した数２式に基づいて算出された損失関数Ｌαを小さくするように機械学習を行う。
【0036】
このように、本実施形態では、第２学習データ生成部１３が、第１学習データ生成部１２において学習済み推論器のスコアベクトルを利用することで生成された第１学習データの目的変数を、少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定して、例えば、値が最大の要素が他の要素に対してより突出したベクトルに変換することで第２学習データを生成している。そして、学習部１４が、第１学習データの加えて第２学習データにも基づいて機械学習を行うことで、学習中にもＭＩ攻撃に耐性のある方向へ学習を進めることが出来る。
【0037】
＜実施形態２＞
次に、本開示の第２の実施形態を、図５乃至図６を参照して説明する。図５乃至図６は、実施形態２における学習装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した学習装置の構成の概略を示している。
次に、本開示の第２の実施形態を、図５乃至図６を参照して説明する。図５乃至図６は、実施形態２における学習装置の構成を示すブロック図である。なお、本実施形態では、上述した実施形態で説明した学習装置の構成の概略を示している。
【0038】
まず、図５を参照して、本実施形態における学習装置１００のハードウェア構成を説明する。学習装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
【0039】
なお、図５は、学習装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。また、情報処理装置は、上述したＣＰＵの代わりに、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＵ（Ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｎｕｍｂｅｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＰＰＵ（Ｐｈｙｓｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（ＴｅｎｓｏｒＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。
【0040】
そして、学習装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図６に示す第１学習データ生成部１２１と第２学習データ生成部１２２と学習部１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した第１学習データ生成部１２１と第２学習データ生成部１２２と学習部１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0041】
上記第１学習データ生成部１２１は、ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する。上記第２学習データ生成部１２２は、第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定した第２学習データを生成する。上記学習部１２３は、第１学習データと第２学習データとを用いた機械学習により推論器を生成する。
【0042】
本開示は、以上のように構成されることにより、学習済み推論器の出力であるベクトルを目的変数とした第１学習データから、その目的変数を少なくとも一部の要素間の値の相対的な大きさの差がより大きくなるよう設定して、例えば、値が最大の要素が他の要素に対してより突出したベクトルに変換することで第２学習データを生成している。そして、第１学習データの加えて第２学習データにも基づいて機械学習を行うことで、学習中にもＭＩ攻撃に耐性のある推論器を生成することができ、情報の漏洩を抑制することができる。
【0043】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0044】
以上、上記実施形態等を参照して本開示を説明したが、本開示は、上述した実施形態に限定されるものではない。本開示の構成や詳細には、本開示の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した第１学習データ生成部１２１と第２学習データ生成部１２２と学習部１２３との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0045】
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における学習装置、学習方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部と、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
（付記２）
付記１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、予め設定された基準により他の要素と比較して大きな値の少なくとも１つの要素と他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
（付記３）
付記１又は２に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値が最も大きくなり、他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
（付記４）
付記１乃至３のいずれかに記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値を０より大きい値に設定し、その他の要素の値を０に設定することで前記第２学習データを生成する、
学習装置。
（付記５）
付記１乃至４のいずれかに記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データ生成部による前記第１学習データの目的変数であるベクトルを生成する際に用いるソフトマックス関数の温度パラメータの値を１より小さく設定することで、前記第２学習データを生成する、
学習装置。
（付記６）
付記１乃至５のいずれかに記載の学習装置であって、
前記学習部は、前記第１学習データに対して予め設定された割合の前記第２学習データを用いた機械学習により前記推論器を生成する、
学習装置。
（付記７）
付記６に記載の学習装置であって、
前記第１学習データに対する前記第２学習データの前記割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ0とし、
前記第２学習データでの機械学習での損失関数をＬ1とした場合、
Ｌα＝（１－α）Ｌ0＋αＬ1
にて損失関数Ｌαを算出し、
前記損失関数Ｌαに基づいて、前記推論器を生成する、
学習装置。
（付記８）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
学習方法。
（付記９）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させるためのプログラム。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本開示における学習装置、学習方法、プログラムの構成の概略を説明する。但し、本開示は、以下の構成に限定されない。
（付記１）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成する第１学習データ生成部と、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成する第２学習データ生成部と、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する学習部と、を備えた学習装置。
（付記２）
付記１に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、予め設定された基準により他の要素と比較して大きな値の少なくとも１つの要素と他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
（付記３）
付記１又は２に記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値が最も大きくなり、他の要素との値の差がより大きくなるよう設定した前記第２学習データを生成する、
学習装置。
（付記４）
付記１乃至３のいずれかに記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データの目的変数であるベクトルの各要素の値を、最も値の大きい要素の値を０より大きい値に設定し、その他の要素の値を０に設定することで前記第２学習データを生成する、
学習装置。
（付記５）
付記１乃至４のいずれかに記載の学習装置であって、
前記第２学習データ生成部は、前記第１学習データ生成部による前記第１学習データの目的変数であるベクトルを生成する際に用いるソフトマックス関数の温度パラメータの値を１より小さく設定することで、前記第２学習データを生成する、
学習装置。
（付記６）
付記１乃至５のいずれかに記載の学習装置であって、
前記学習部は、前記第１学習データに対して予め設定された割合の前記第２学習データを用いた機械学習により前記推論器を生成する、
学習装置。
（付記７）
付記６に記載の学習装置であって、
前記第１学習データに対する前記第２学習データの前記割合を示すパラメータをαとし、
前記第１学習データでの機械学習での損失関数をＬ0とし、
前記第２学習データでの機械学習での損失関数をＬ1とした場合、
Ｌα＝（１－α）Ｌ0＋αＬ1
にて損失関数Ｌαを算出し、
前記損失関数Ｌαに基づいて、前記推論器を生成する、
学習装置。
（付記８）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
学習方法。
（付記９）
ラベル無し学習データを学習済み推論器に入力することにより出力された複数の要素の値からなるベクトルを目的変数とした第１学習データを生成し、
前記第１学習データの目的変数であるベクトルの各要素の値を、少なくとも一部の要素間の値の大きさの差がより大きくなるよう設定した第２学習データを生成し、
前記第１学習データと前記第２学習データとを用いた機械学習により推論器を生成する、
処理をコンピュータに実行させるためのプログラム。
【符号の説明】
【0046】
１０ 学習装置
１１ 事前学習済み推論器記憶部
１２ 第１学習データ生成部
１３ 第２学習データ生成部
１４ 学習部
１００ 学習装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 第１学習データ生成部
１２２ 第２学習データ生成部
１２３ 学習部
１１ 事前学習済み推論器記憶部
１２ 第１学習データ生成部
１３ 第２学習データ生成部
１４ 学習部
１００ 学習装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 第１学習データ生成部
１２２ 第２学習データ生成部
１２３ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
