知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-01
(45)【発行日】2024-04-09
(54)【発明の名称】機械学習装置、機械学習方法、及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20240402BHJP
G06F 21/60 20130101ALI20240402BHJP
【ＦＩ】
G06N20/00
G06F21/60
【請求項の数】
10
(21)【出願番号】P 2022580884
(86)(22)【出願日】2020-07-03
(65)【公表番号】
(43)【公表日】2023-07-20
(86)【国際出願番号】 JP2020026187
(87)【国際公開番号】W WO2022003949
(87)【国際公開日】2022-01-06
【審査請求日】2022-12-27
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】寺西 勇
【審査官】福西 章人
(56)【参考文献】
【文献】米国特許第１０２２５２７７（ＵＳ，Ｂ１）
【文献】SHEJWALKAR, Virat et al.，Reconciling Utility and Membership Privacy via Knowledge Distillation，arXiv [online]，2019年06月15日，pp.1-15，インターネット:<URL:https://arxiv.org/pdf/1906.06589v1.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ ２１／００－２１／８８
(57)【特許請求の範囲】
【請求項1】
訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、入力データを分類して、出力データを出力する分類器と、を備え、
前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、
前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われている機械学習装置。
【請求項2】
前記分類器が前記入力データに関して確定的(deterministic)な出力データを出力する請求項１に記載の機械学習装置。
【請求項3】
前記分類器が入力データをｎ個に分類する分類器で有り、前記ｎ個の分類結果がほぼ同じ確率で出現する請求項１、又は２に記載の機械学習装置。
【請求項4】
前記推論器が、前記複数の推論器の間で共通のパラメータを有する共通モデルを有しており、前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記共通モデルが訓練されている請求項１～３のいずれか１項に記載の機械学習装置。
【請求項5】
訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、入力データを分類して、出力データを出力する分類器と、を備えた機械学習装置における機械学習方法であって、
前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、
前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われている機械学習方法。
【請求項6】
前記分類器が前記入力データに関して確定的(deterministic)な出力データを出力する請求項５に記載の機械学習方法。
【請求項7】
前記分類器が入力データをｎ個に分類する分類器で有り、前記ｎ個の分類結果がほぼ同じ確率で出現する請求項５、又は６に記載の機械学習方法。
【請求項8】
コンピュータに対して機械学習方法を実行させるためのプログラムであって、前記コンピュータは、
訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、
入力データを分類して、出力データを出力する分類器と、を備え
前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、
前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われているプログラム。
【請求項9】
前記分類器が前記入力データに関して確定的(deterministic)な出力データを出力する請求項８に記載のプログラム。
【請求項10】
前記分類器が入力データをｎ個に分類する分類器で有り、前記ｎ個の分類結果がほぼ同じ確率で出現する請求項８、又は９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習に関する。
【背景技術】
【0002】
非特許文献１には、メンバシップ推論（Membership inference）攻撃（以下、ＭＩ攻撃ともいう）に対する耐性を有する機械学習方法が開示されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】Machine Learning with Membership Privacy using Adversarial Regularization. Milad Nasr, Reza Shokri, Amir Houmansadr https://arxiv.org/pdf/1807.05852.pdf
【発明の概要】
【発明が解決しようとする課題】
【0004】
機械学習では、学習に用いられるデータ（訓練データともいう）が顧客情報や企業秘密などの秘密情報を含んでいる場合がある。ＭＩ攻撃により、機械学習の学習済みパラメータから学習に用いた秘密情報が漏洩してしまうおそれがある。例えば、学習済みパラメータを不正に入手した攻撃者が、学習データを推測してしまうおそれがある。あるいは、学習済みパラメータが漏洩していない場合でも、攻撃者が推論アルゴリズムに何度もアクセスすることで、学習済みパラメータが予想できてしまう。そして、予想された学習済みパラメータから学習要データが予測されてしまうことがある。
【0005】
非特許文献１では、精度と攻撃耐性がトレードオフとなっている。具体的には、精度と攻撃耐性のトレードオフ度合いを決めるパラメータが設定されている。したがって、精度と攻撃耐性の両方を向上することが困難であるという問題点がある。
【0006】
本開示の目的は、ＭＩ攻撃に対する耐性が高く、かつ推論精度の高い機械学習装置、機械学習方法、及び記録媒体を提供することである。
【課題を解決するための手段】
【0007】
本開示にかかる機械学習装置は、訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、入力データを分類して、出力データを出力する分類器と、を備え、前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われている。
【0008】
本開示にかかる機械学習方法は、訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、入力データを分類して、出力データを出力する分類器と、を備えた機械学習装置における機械学習方法であって、前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われている。
【0009】
本開示にかかるコンピュータ可読媒体は、コンピュータに対して機械学習方法を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体であって、前記コンピュータは、訓練データを用いて訓練された機械学習モデルであるｎ（ｎは２以上の整数）個の推論器と、入力データを分類して、出力データを出力する分類器と、を備え、前記分類器の出力データが第１の値である場合の入力データに基づいて、前記ｎ個の推論器のうちの第１の推論器が推論を行い、前記分類器の出力データが第１の値である場合の入力データを前記訓練データとして用いて、前記第１の推論器とは異なる前記推論器に対して訓練が行われている。
【発明の効果】
【0010】
本開示によれば、ＭＩ攻撃に対する耐性が高く、かつ推論精度が高い機械学習システム、機械学習方法、及びプログラムを提供できる。
【図面の簡単な説明】
【0011】
【図1】本開示にかかる機械学習装置を示すブロック図である。
【図2】本実施の形態１にかかる機械学習方法の訓練時のフローを説明するための図である。
【図3】本実施の形態１にかかる機械学習方法の推論時のフローを説明するための図である。
【図4】本実施の形態２にかかる機械学習方法の訓練時のフローを説明するための図である。
【図5】本実施の形態２にかかる機械学習方法の推論時のフローを説明するための図である。
【図6】本実施の形態３にかかる機械学習装置を示すブロック図である。
【図7】機械学習装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0012】
本実施の形態にかかる機械学習装置について、図１を参照して説明する。図１は機械学習装置１００の構成を示すブロック図である。機械学習装置１００は、ｎ（ｎは２以上の整数）個の推論器１０１と、分類器１０２とを備えている。
【0013】
ｎ個の推論器１０１は、訓練データを用いて訓練された機械学習モデルである。分類器１０２は、入力データを分類して、出力データを出力する。分類器の出力データが第１の値である場合の入力データに基づいて、ｎ個の推論器１０１のうちの第１の推論器１０１が推論を行う。分類器の出力データが第１の値である場合の入力データを訓練データとして用いて、第１の推論器１０１とは異なる推論器１０１に対して訓練が行われている。
【0014】
この構成によれば、ＭＩ攻撃に対する耐性が高く、かつ推論精度の高い機械学習装置を実現することができる。
【0015】
実施の形態１
本実施の形態にかかる機械学習装置、及び機械学習方法について、図２、図３を用いて説明する。図２、図３は、本実施の形態にかかる機械学習方法の処理を説明するための図である。図２は、訓練時のフローを示し、図３は、推論時のフローを示している。本実施の形態では、図１に示す推論器１０１の数が２個となっている。
本実施の形態にかかる機械学習装置、及び機械学習方法について、図２、図３を用いて説明する。図２、図３は、本実施の形態にかかる機械学習方法の処理を説明するための図である。図２は、訓練時のフローを示し、図３は、推論時のフローを示している。本実施の形態では、図１に示す推論器１０１の数が２個となっている。
【0016】
ここで、２つの推論器を推論器Ｆ１，推論器Ｆ２とする。推論器Ｆ１と推論器Ｆ２は、機械学習モデルである。推論器Ｆ１と推論器Ｆ２は、同じモデルであってもよく異なるモデルであってもよい。例えば、推論器Ｆ１と推論器Ｆ２がＤＮＮ等のニューラルネットワークモデルである場合、層数、各層のノード数が同じであってもよい。推論器Ｆ１，推論器Ｆ２は、畳み込みニューラルネットワーク(CNN)などを用いた推論アルゴリズムである。推論器Ｆ１，推論器Ｆ２のパラメータは、ＣＮＮの畳み込み層、プーリング層、及び全結合層の重み又はバイアス値に対応している。
【0017】
まず、図２を用いて、訓練時のフローを説明する。機械学習により、推論器Ｆ１，Ｆ２のパラメータがチューニングされる。ここでは、推論器Ｆ１，Ｆ２に対して教師有り学習が行われている。訓練データである入力データｘに対する正解ラベル（教師信号、教師データともいう）をラベルｙとする。訓練データとなる入力データｘに対して、ラベルｙが対応付けられている。
【0018】
分類器Ｗは入力データを２つの訓練データＭ１、及び訓練データＭ２に分類する。具体的には、分類器Ｗは、入力データｘを分類して、１又は２を出力する。分類器Ｗは乱数を用いない出力装置であることが好ましい。つまり、分類器Ｗは入力データｘについて確定的な出力データを出力する。従って、分類器Ｗに同一の入力データが入力された場合、出力データは必ず一致する。入力データｘに対する出力データが確定的となる。
【0019】
訓練時において、機械学習装置は、訓練データ集合Ｔを入力として受け取る。訓練データ集合Ｔは、複数の入力データｘを含んでいる。それぞれの入力データｘが訓練データとなる。また、教師有り学習の場合、それぞれの入力データにラベルｙが対応付けられている。
【0020】
まず、分類器Ｗに入力データｘが入力される（Ｓ２０１）。そして、機械学習装置は、Ｗの値が１であるか否かを判定する（Ｓ２０２）。
【0021】
機械学習装置は、Ｗ＝２となる場合の入力データｘを推論器Ｆ１の訓練データＭ１とする（Ｓ２０３）。機械学習装置は、Ｗ＝１となる場合の入力データｘを推論器Ｆ２の訓練データＭ２とする（Ｓ２０４）。ｉ＝１、２に対して、分類器Ｗは、訓練データ集合Ｔを式（１）のように分類する。
【0022】
【数1】
【0023】
そして、推論器Ｆｉを訓練データＭｉで訓練する。つまり、推論器Ｆ１が訓練データＭ１で訓練される（Ｓ２０５）。推論器Ｆ２が訓練データＭ２で訓練される（Ｓ２０６）。つまり、訓練データＭ１を用いて、推論器Ｆ１に対して機械学習が施される。訓練データＭ２を用いて、推論器Ｆ１に対して機械学習が施される。換言すると、訓練データＭ１は推論器Ｆ２の訓練には用いられない。同様に、訓練データＭ２は推論器Ｆ１の訓練には用いられない。
【0024】
訓練時においては、ラベルｙを用いて、推論器Ｆ１、Ｆ２に教師有り学習が施される。推論器Ｆ１，Ｆ２の推論結果がラベルｙに一致するように、パラメータが最適化されていく。
【0025】
次に、推論時のフローについて説明する。図２に示すフローに沿って訓練された推論器Ｆ１，又は推論器Ｆ２が推論に用いられる。
【0026】
まず、分類器Ｗに入力データｘが入力される（Ｓ３０１）。そして、機械学習装置は、Ｗの値が１であるか否かを判定する（Ｓ３０２）。Ｗ＝１となる場合、推論器Ｆ１が推論を行う（Ｓ３０３）。つまり、推論器Ｆ１が推論結果を出力するために、入力データｘが推論器Ｆ１に入力される。Ｗ＝２となる場合、推論器Ｆ２が推論を行う（Ｓ３０４）。推論器Ｆ２が推論結果を出力するために、入力データｘが推論器Ｆ２に入力される。
【0027】
推論器Ｆ２はＷ＝１となる場合の入力データｘに基づいて、推論を行わない。推論器Ｆ１はＷ＝２となる場合の入力データｘに基づいて、推論を行わない。このように、推論時には、機械学習装置が入力データｘを受け取り、Ｆｗ（ｘ）（ｘ）を返す。すなわち、Ｗ（ｘ）＝ｉであるなら、機械学習装置がＦｉ（ｘ）を推論結果として出力する。
【0028】
以下、本実施の形態にかかる機械学習装置の効果について説明する。機械学習装置では、訓練に使用したデータと使用していないデータとで、推論器の出力の傾向が異なる。攻撃者は、この推論器の出力の傾向の違いを利用して、機械学習モデルに対して攻撃を行っている。例えば、訓練に使用された入力データについては、訓練に使用されていない入力データと比較して、推論器の推論精度が非常に高くなることが想定される。よって、攻撃者は、推論精度を比較することで、訓練データを推測することが可能となる。
【0029】
これに対して、本実施の形態では、訓練時と推論時とで使用される推論器が異なっている。つまり、推論器Ｆ１の訓練に使った入力データｘに関して、推論時にＦ１（ｘ）が出力されることはない。また、推論器Ｆ２の訓練に使った入力データｘに関し、推論時にＦ２（ｘ）が出力されることはない。
【0030】
よって、ＭＩ攻撃に対する耐性を向上することができる。つまり、攻撃者が学習済みパラメータを不正に入手した場合でも、訓練データを推測することができない。また、非特許文献１のように、ＭＩ攻撃耐性と、推論精度がトレードオフの関係となっていないため、推論精度を向上することができる。
【0031】
また、分類器Ｗは、訓練データ集合Ｔに対して、１と２とをほぼ同じ確率で出力することが好ましい。つまり、分類器Ｗは、５０％の確率で１又は２を均等に出力する。このようにすることで、推論器Ｆ１，及び推論器Ｆ２の訓練データの数をほぼ同数とすることができる。よって、いずれの推論器においても、高い推論精度を実現することができる。
【0032】
実施の形態２
本実施の形態では、図１の推論器１０１の数がｎ（ｎは２以上の整数）個となっている。つまり、実施の形態２では、推論器の数がｎ個に一般化されている。ここでは、ｎを３以上として説明する。推論器の数以外の基本的な構成及び処理は、実施の形態１と同様であるため、説明を省略する。
本実施の形態では、図１の推論器１０１の数がｎ（ｎは２以上の整数）個となっている。つまり、実施の形態２では、推論器の数がｎ個に一般化されている。ここでは、ｎを３以上として説明する。推論器の数以外の基本的な構成及び処理は、実施の形態１と同様であるため、説明を省略する。
【0033】
本実施の形態にかかる機械学習装置における処理について説明する。図４、及び図５は、本実施の形態にかかる機械学習方法を説明するための図である。図４は、訓練時のフローを示し、図５は、推論時のフローを示している。
【0034】
上記の通り、本実施の形態では、機械学習装置が、ｎ個の推論器を有している。推論器をＦ１、・・・Ｆｎとして示す。なお、本実施の形態において、ｉは１以上、ｎ以下の任意の整数と定義される。
【0035】
まず、図４を用いて、訓練時のフローを説明する。機械学習により、推論器Ｆ１～Ｆｎのパラメータがチューニングされる。ここでは、推論器Ｆ１～Ｆｎに対して教師有り学習が行われている。訓練データである入力データｘに対する正解ラベル（教師信号、教師データともいう）をラベルｙとする。訓練データとなる入力データｘに対して、ラベルｙが対応付けられている。
【0036】
分類器Ｗは入力データｘを訓練データＭ１～訓練データＭｎに分類する。訓練データＭｉは推論器Ｆｉの訓練に利用され、訓練データＭｎは推論器Ｆｎの訓練に利用される。具体的には、分類器Ｗは、入力データｘを分類して、１～ｎの内の任意の整数を出力する。つまり、分類器Ｗは、入力データｘに応じて、ｎ以下の整数を出力する。
【0037】
分類器Ｗは乱数を用いない出力装置であることが好ましい。つまり、分類器Ｗは入力データｘについて確定的な出力データを出力する。分類器Ｗは、１～ｎのうちの整数を均等に出力することが好ましい。分類器Ｗｎにおいて、ｎ個の分類結果がほぼ同じ確率で出現する。
【0038】
訓練時において、機械学習装置は、訓練データ集合Ｔを入力として受け取る。訓練データ集合Ｔは、複数の入力データｘを含んでいる。まず、分類器Ｗに入力データｘが入力される（Ｓ４０１）。そして、機械学習装置は、Ｗの値がｉであるか否かを判定する（Ｓ４０２）。ここで、ｉは１以上ｎ以下の任意の整数である。つまり、機械学習装置は、Ｗの出力データを求める。
【0039】
機械学習装置は、Ｗの出力データに基づいて、入力データｘを訓練データＭ１～Ｍｎに分類する。機械学習装置は、Ｗ＝１となる場合の入力データｘを推論器Ｆ２～Ｆｎの訓練データＭ２～Ｍｎとする（Ｓ４０３）。機械学習装置は、Ｗ＝ｎとなる場合の入力データｘを推論器Ｆ１～Ｆｎ－１の訓練データＭ１～Ｍｎ－１とする（Ｓ４０４）。ｉ＝１～ｎに対して、分類器Ｗは、訓練データ集合Ｔを式（２）のように分類する。
【0040】
【数2】
【0041】
そして、推論器ＦｉをＭｉで訓練する。つまり、Ｗ＝１の場合、推論器Ｆ２～Ｆｎが訓練データＭ２～Ｍｎで訓練される（Ｓ４０５）。Ｗ＝ｎの場合、推論器Ｆ１～Ｆｎ－１が訓練データＭ1～Ｍｎ-1で訓練される（Ｓ４０６）。一般化すると、Ｗ＝ｉの場合の入力データｘは、推論器Ｆｉの訓練には用いられない。
【0042】
次に、推論時のフローについて説明する。図５に示すフローに沿って訓練された推論器Ｆ１～推論器Ｆｎが推論に用いられる。
【0043】
まず、分類器Ｗに入力データｘが入力される（Ｓ５０１）。そして、機械学習装置は、Ｗの値がｉであるか否かを判定する（Ｓ５０２）。Ｗ＝１となる場合、推論器Ｆ１が推論を行う（Ｓ５０３）。つまり、推論器Ｆ１が推論結果を出力するために、入力データｘが推論器Ｆ１に入力される。Ｗ＝ｎとなる場合、推論器Ｆｎが推論を行う（Ｓ３０４）。推論器Ｆｎが推論結果を出力するために、入力データｘが推論器Ｆｎに入力される。
【0044】
一般化すると、Ｗ＝ｉの場合、推論器Ｆｉが推論を行う。換言すると、推論器ＦｉはＷ＝ｉとならない場合の入力データｘに基づいて、推論を行わない。このように、推論時には、機械学習装置が入力データｘを受け取り、Ｆｗ（ｘ）（ｘ）を返す。すなわち、Ｗ（ｘ）＝ｉであるなら、機械学習装置がＦｉ（ｘ）を推論結果として出力する。分類器Ｗの出力データがｉである場合の入力データに基づいて、ｎ個の推論器Ｆ１～Ｆｎのうち推論器Ｆｉが推論を行う。分類器Ｗの出力データがｉである場合の入力データｘを訓練データとして用いて、推論器Ｆｉとは異なる推論器に対して訓練が行われている。
【0045】
よって、実施の形態１と同様に、ＭＩ攻撃に対する耐性を向上することができる。さらに、本実施の形態では、推論器の訓練データを増やすことができる。つまり、訓練データ集合Ｔの元の数をｍ(ｍは２以上の整数)とすると、（ｍ×（ｎ―１）／ｎ）個の訓練データを用いて推論器Ｆｉを訓練することができる。
【0046】
一般に訓練データの数が多いほど、推論器の推論精度は改善されていく。よって、実施の形態１に比べて推論精度を向上することができる。また、分類器Ｗは、１～ｎの整数をほぼ同じ確率で出力することが好ましい。つまり、分類器Ｗは１～ｎの整数をそれぞれ確率（１/ｎ）で出力する。このようにすることで、訓練データの偏りを抑制することができるため、全ての推論器の推論精度を向上することができる。
【0047】
実施の形態３
実施の形態３にかかる機械学習装置１００について、図６を用いて説明する。図６は、機械学習装置１００の構成を示すブロック図である。図６では、複数の推論器１０１を、推論器Ｆ１.Ｇ、Ｆ２.Ｇ，…, Ｆｎ.Ｇとして示している。なお、ｎは２以上の整数である。
実施の形態３にかかる機械学習装置１００について、図６を用いて説明する。図６は、機械学習装置１００の構成を示すブロック図である。図６では、複数の推論器１０１を、推論器Ｆ１.Ｇ、Ｆ２.Ｇ，…, Ｆｎ.Ｇとして示している。なお、ｎは２以上の整数である。
【0048】
本実施の形態では、推論器１０１は、複数の推論器１０１の間で共通のパラメータを有する共通モデルＧを有している。さらに、推論器１０１は、複数の推論器１０１の間で非共通のパラメータを有する非共通モデルＦ１、Ｆ２，…, Ｆｎを有している。１番目の推論器１０１は、共通モデルＧと非共通モデルＦ１から構成されている。ｎ番目の推論器１０１は、共通モデルＧと非共通モデルＦｎから構成されている。
【0049】
推論器１０１が複数のレイヤーを有するニューラルネットモデルである場合、共通モデルＧは、ニューラルネットの一部のレイヤーを含んでいる。例えば、共通モデルＧは、ニューラルネットの最初の１又は２以上のレイヤーであり、共通モデルＧの後段に非共通モデルＦ１、Ｆ２，…, Ｆｎが配置される。複数の推論器１０１において、共通モデルＧは、互いにレイヤー構造が同じで有り、同じパラメータを有している。非共通モデルＦ１、Ｆ２，…, Ｆｎは互いに異なるパラメータを有している。共通モデルＧ以外の内容については、実施の形態１、２と同様であるため説明を省略する。例えば、分類器Ｗは、実施の形態２と同様である。
【0050】
共通モデルＧは訓練時において同じパラメータを有するように学習される。非共通モデルＦ１、Ｆ２，…, Ｆｎは訓練時において異なるパラメータを有するように学習される。訓練時において、ｉ＝１～ｎに対して、分類器Ｗは、訓練データ集合Ｔを上記の式（２）のように分類する。
【0051】
訓練データＭ１を用いて、推論器Ｆ１.Ｇが訓練される。ここでは、Ｆ１のパラメータと共通モデルＧのパラメータが最適化される。つぎに、訓練データＭ２を用いて、推論器Ｆ１.Ｇが訓練される。ここでは、Ｆ１のパラメータのパラメータのみが最適化される。つまり、共通モデルＧのパラメータは、訓練データＭ１を用いた訓練時に決定されるので、共通モデルＧのパラメータは変化しない。
【0052】
一般化すると、ｉ＝２，・・・ｎに対して、推論器Ｆｉ．Ｇを訓練データＭｉで訓練する。ここでは、共通モデルＧのパラメータは固定して、非共通モデルＦｉのパラメータのみを訓練する。
【0053】
なお、共通モデルＧの訓練は、推論器Ｆ１・Ｇの訓練時に限定されるものではない。任意の一つの推論器１０１の訓練時に、共通モデルＧを訓練されていればよい。共通モデルＧは、訓練データＭｉを用いて訓練される。例えば、推論器Ｆｉ.Ｇが最初に訓練される場合、推論器Ｆｉ.Ｇの訓練時に、共通モデルＧのパラメータが決定する。
【0054】
推論時は、機械学習装置１００が入力データｘを受け取り、Ｆｗ（ｘ） (Ｇ（ｘ）)を返す。つまり、Ｗ＝ｉの場合、機械学習装置１００は、Ｆｉ（Ｇ（ｘ））を出力する。このようにすることで、複数の推論器１０１の一部のパラメータを共通化することができる。これにより、効率良く訓練することが可能となる。
【0055】
上記の実施形態において、機械学習装置はそれぞれコンピュータプログラムで実現可能である。つまり、推論器、及び分類器はそれぞれコンピュータプログラムで実現可能である。また、ｎ個の推論器、及び分類器は、物理的に単一な装置となっていなくてもよく、複数のコンピュータに分散されていてもよい。
【0056】
次に、機械学習装置のハードウェア構成について説明する。図７は、機械学習装置６００のハードウェア構成の一例を示すブロック図である。図７に示すように、機械学習装置６００は例えば、少なくとも一つのメモリ６０１、少なくとも一つのプロセッサ６０２，及びネットワークインタフェース６０３を含む。
【0057】
ネットワークインタフェース６０３は、有線又は無線のネットワークを介して他の装置と通信するために使用される。ネットワークインタフェース６０３は、例えば、ネットワークインタフェースカード（ＮＩＣ）を含んでもよい。機械学習装置６００は、ネットワークインタフェース６０３を介して、データの送受信を行う。機械学習装置６００は、ネットワークインタフェースを介して、入力データｘを取得してもよい。
【0058】
メモリ６０１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ６０１は、プロセッサ６０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ６０２は、図示されていない入出力インタフェースを介してメモリ６０１にアクセスしてもよい。
【0059】
メモリ６０１は、プロセッサ６０２により実行される、１以上の命令を含むソフトウェア（コンピュータプログラム）などを格納するために使用される。メモリ６０１は、機械学習モデルである推論器Ｆ１～Ｆｎを格納していてもよい。メモリ６０１は、分類器Ｗを格納していてもよい。
【0060】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0061】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【符号の説明】
【0062】
１００ 機械学習装置
１０１ 推論器
１０２ 分類器
６００ 機械学習装置
６０１ メモリ
６０２ プロセッサ
６０３ ネットワークインタフェース
１０１ 推論器
１０２ 分類器
６００ 機械学習装置
６０１ メモリ
６０２ プロセッサ
６０３ ネットワークインタフェース
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】