特開 2024-51536 学習システム、学習方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024051536

(43)【公開日】2024-04-11

(54)【発明の名称】学習システム、学習方法、およびプログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240404BHJP

【ＦＩ】

G06N3/08

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022157754

(22)【出願日】2022-09-30

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】鹿島 大河

(72)【発明者】

【氏名】中山 英樹

(72)【発明者】

【氏名】安間 絢子

(57)【要約】

【課題】機械学習に使用したデータの漏洩を防止できる学習システム、学習方法、およびプログラムを実現する。
【解決手段】本開示の一形態に係る学習システム１００は、複数のクライアント端末１１０とサーバ１２０を備える。各クライアント端末１１０は、モデルの重み係数を学習し、重み係数からなるベクトルとキーベクトルの内積をサーバ１２０に送信する。サーバ１２０は、複数のクライアント端末１１０からそれぞれ受信した内積に基づいて、機械学習モデルの重み係数を最適化する。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数のクライアント端末とサーバを備える学習システムであって、
各クライアント端末が、
機械学習モデルの重み係数を学習し、前記重み係数からなるベクトルとキーベクトルの内積を前記サーバに送信し、
前記サーバが、
前記複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重み係数を最適化する、
学習システム。

【請求項2】

前記サーバは、
前記キーベクトルを独立変数とし、前記内積を従属変数とする線形回帰を行うことで、前記機械学習モデルの重み係数を最適化する、
請求項１に記載の学習システム。

【請求項3】

前記サーバは、ロバスト回帰またはラッソ回帰を行う、
請求項２に記載の学習システム。

【請求項4】

各クライアント端末が、機械学習モデルの重み係数を学習し、前記重み係数からなるベクトルとキーベクトルの内積をサーバに送信するステップと、
前記サーバが、複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重み係数を最適化するステップと、
を含む学習方法。

【請求項5】

コンピュータに、
機械学習モデルの重み係数からなるベクトルとキーベクトルの内積を各クライアント端末から受信する処理と、
複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重み係数を最適化する処理と、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習システム、学習方法、およびプログラムに関する。

【背景技術】

【0002】

サーバと複数のクライアント端末が協力して学習を行う連合学習システムが提案されている（例えば、特許文献１参照）。連合学習システムでは、各クライアント端末が機械学習モデルの重み係数を学習してサーバに送信する。サーバは、複数のクライアント端末からそれぞれ受け取った重み係数に基づいて、機械学習モデルの重み係数を更新する。サーバは、更新した重み係数を複数のクライアント端末に配布する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－０２８６５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本出願人は、以下の課題を見出した。重み係数に基づいて、学習に用いた画像（例えば、家庭内の画像）を復元される可能性が指摘されている。したがって、重み係数をそのまま送信することは、プライバシー保護の観点で問題がある。また、性能のよい構成の大きなモデルの場合、重み係数の送信の負荷が高いという問題がある。さらに、悪意のあるユーザがモデルの性能を低下させる可能性が指摘されている。

【0005】

本開示は、このような問題点に鑑みてなされたものであり、機械学習に使用したデータの漏洩を防止できる学習システム、学習方法、およびプログラムを実現する。

【課題を解決するための手段】

【0006】

本開示の一態様の学習システムは、複数のクライアント端末とサーバを備える学習システムであって、
各クライアント端末が、
機械学習モデルの重み係数を学習し、前記重み係数からなるベクトルとキーベクトルの内積を前記サーバに送信し、
前記サーバが、
前記複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重み係数を最適化する。

【0007】

本開示の一態様の学習方法は、
各クライアント端末が、機械学習モデルの重み係数を学習し、前記重み係数からなるベクトルとキーベクトルの内積をサーバに送信するステップと、
前記サーバが、複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重みを最適化するステップと
を含む。

【0008】

本開示の一態様のプログラムは、
コンピュータに、
機械学習モデルの重み係数からなるベクトルとキーベクトルの内積を各クライアント端末から受信する処理と、
複数のクライアント端末からそれぞれ受信した前記内積に基づいて、前記機械学習モデルの重み係数を最適化する処理と、
を実行させる。

【発明の効果】

【0009】

本開示によれば、機械学習に使用したデータの漏洩を防止できる学習システム、学習方法、およびプログラムを実現できる。

【図面の簡単な説明】

【0010】

【図1】実施形態１にかかる学習システムの構成を説明する図である。

【図2】実施形態１にかかる学習システムの動作の検証結果を説明する図である。

【図3】実施形態１にかかる学習システムの動作の検証結果を説明する図である。

【図4】実施形態１にかかる学習システムでロバスト回帰を用いた場合の検証結果を説明する図である。

【図5】実施形態１にかかる学習システムでロバスト回帰を用いた場合の検証結果を説明する図である。

【図6】実施形態１にかかる学習システムでラッソ回帰を用いた場合の検証結果を説明する図である。

【発明を実施するための形態】

【0011】

以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0012】

本開示に至る経緯
まず、図１を参照して、一般的な連合学習方法の流れについて説明する。図１に示す学習システム１００は、クライアント端末１１０＿１、クライアント端末１１０＿２、クライアント端末１１０＿３、およびサーバ１２０を備える。クライアント端末１１０＿１、クライアント端末１１０＿２、クライアント端末１１０＿３、およびサーバ１２０は、ネットワークＮを介して相互に通信可能に接続されている。

【0013】

クライアント端末１１０＿１は家屋１０＿１に配置され、クライアント端末１１０＿２は家屋１０＿２に配置され、クライアント端末１１０＿３は家屋１０＿３に配置される。家屋１０＿１、家屋１０＿２、および家屋１０＿３を互いに区別しない場合、家屋１０と言う。クライアント端末１１０＿１、１１０＿２、および１１０＿３を互いに区別しない場合には、クライアント端末１１０と言う。

【0014】

まず、サーバ１２０は、Ｗｅｂから収集した画像や、３次元モデル（シミュレータとも言う）から生成した画像を用いて機械学習モデル（例えば、物体認識用のモデル）をトレーニングする。そして、サーバ１２０は、機械学習モデルの重み係数の初期値を、クライアント端末１１０＿１、１１０＿２、および１１０＿３に配布する。

【0015】

次に、クライアント端末１１０＿１は家屋１０＿１で学習データ２０＿１を収集し、クライアント端末１１０＿２は家屋１０＿２で学習データ２０＿２を収集し、クライアント端末１１０＿３は家屋１０＿３で学習データ２０＿３を収集する。学習データ２０＿１、２０＿２、および２０＿３を互いに区別しない場合、学習データ２０と言う。

【0016】

次に、クライアント端末１１０＿１が学習データ２０＿１で機械学習モデルの重み係数を更新し、クライアント端末１１０＿２が学習データ２０＿２で機械学習モデルの重み係数を更新し、クライアント端末１１０＿３が学習データ２０＿３で機械学習モデルの重み係数を更新する。次に、各クライアント端末１１０は、学習した機械学習モデルの重み係数をサーバ１２０に送信する。

【0017】

次に、サーバ１２０は、クライアント端末１１０＿１から受け取った重み係数、クライアント端末１１０＿２から受け取った重み係数、およびクライアント端末１１０＿３から受け取った重み係数に基づいて、機械学習モデルの重み係数を更新する。サーバ１２０は、受け取った重み係数の平均値を計算し、新たな重み係数としてもよい。

【0018】

次に、サーバ１２０は、更新した機械学習モデルの重み係数をクライアント端末１１０＿１、クライアント端末１１０＿２、およびクライアント端末１１０＿３に配布する。そして、クライアント端末１１０が学習データ２０を収集する工程に戻る。

【0019】

一般的な連合学習方法では、クライアント端末１１０は、学習データ２０ではなく、機械学習モデルの重み係数を送信する。これにより、学習データ２０が漏洩するリスクを低減できる。しかし、学習に用いた画像を、重み係数から復元される可能性があることが知られている。また、性能のよいモデルの場合、重み係数の送信の負荷が高いという問題がある。さらに、悪意のあるユーザが連合学習に参加している場合、機械学習モデルの性能が低下する恐れがある。本願の発明者は、以上の経緯から実施形態１にかかる学習システムに想到した。

【0020】

実施形態１
以下、図面を参照して実施形態１にかかる学習システムについて説明する。まず、図１を参照して、実施形態１にかかる学習システム１００の概要について説明する。

【0021】

図１ではクライアント端末１１０の数が３台の場合を示しているが、クライアント端末１１０の数は２台であってもよく、４台以上であってもよい。クライアント端末１１０は、カメラとＰＣの組み合わせであってもよく、ロボットであってもよい。

【0022】

クライアント端末１１０およびサーバ１２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算部と、各種制御プログラムやデータ等が格納されたＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶部とを備える。すなわち、クライアント端末１１０およびサーバ１２０は、コンピュータとしての機能を有しており、上記各種制御プログラム等に基づいて処理を行う。

【0023】

次に、学習システム１００の動作について説明する。学習システム１００では、まず、クライアント端末１１０＿１、１１０＿２、および１１０＿３が、収集した学習データ２０＿１、２０＿２、および２０＿３を用いて機械学習モデルの重み係数を表す行列Ｗ１、Ｗ２、およびＷ３を学習する。行列Ｗ１、Ｗ２、およびＷ３を互いに区別しない場合、行列Ｗと言う。行列Ｗ１に含まれる各列ベクトルをベクトルｗ１と言い、行列Ｗ２に含まれる各列ベクトルをベクトルｗ２と言い、行列Ｗ３に含まれる各列ベクトルをベクトルｗ３と言う。ベクトルｗ１、ｗ２、およびｗ３を互いに区別しない場合、ベクトルｗと言う。ベクトルｗは、機械学習モデルの重み係数からなる。

【0024】

学習データ２０は、例えば、機械学習に有用な画像と、その画像に写った物体を示すアノテーションとを含む。クライアント端末１１０は、画像をユーザに提示し、ユーザの回答に応じてアノテーションを定めてもよい。また、アノテーションは、ユーザの動作や反応に応じて定められてもよい。画像は、家屋１０内に設置されたカメラやロボットによって撮影されてもよい。なお、機械学習モデルは物体認識用のモデルには限られない。

【0025】

次に、クライアント端末１１０＿１がキーベクトルｖ１を生成し、クライアント端末１１０＿２がキーベクトルｖ２を生成し、クライアント端末１１０＿３がキーベクトルｖ３を生成する。ベクトルｖ１、ｖ２、およびｖ３を互いに区別しない場合、キーベクトルｖと言う。キーベクトルｖの成分の数は、ベクトルｗの成分の数と一致しているものとする。例えば、ｖがｎ次元ベクトルである場合、ｖ＝［ｖ_１，ｖ_２，・・・，ｖ_ｎ］と表される。

【0026】

クライアント端末１１０＿１はベクトルｗ１とキーベクトルｖ１の内積ｙ１を計算する。クライアント端末１１０＿２はベクトルｗ２とキーベクトルｖ２の内積ｙ２を計算する。クライアント端末１１０＿３はベクトルｗ３とキーベクトルｖ３の内積ｙ３を計算する。内積ｙ１、ｙ２、およびｙ３を互いに区別しない場合、内積ｙと言う。

【0027】

ベクトルｗは行列Ｗの列数だけ存在するため、内積ｙは行列Ｗの列数だけ存在する。複数の内積ｙを並べたベクトルを、内積ベクトルＹと言う。行列Ｗのｌ番目（ｌはアルファベットのエルを表す）の列ベクトルをＷ_ｌとし、ｌ番目の内積の計算結果をＹ_ｌと表すと、Ｙ_ｌ＝＜Ｗ_ｌ，ｖ＞＝Ｗ_ｌ１・ｖ_１＋Ｗ_ｌ２・ｖ_２＋・・・である。なお、Ｗ_ｌｊは、Ｗ_ｌのｊ番目の要素を表す。

【0028】

ところで、ａおよびｂがｎ次元ベクトルである場合、内積ｃは、ｃ＝＜ａ，ｂ＞＝ａ_１・ｂ_１＋ａ_２・ｂ_２＋・・・＋ａ_ｎ・ｂ_ｎで与えられる。ａ_ｊはベクトルａのｊ番目の要素を表し、ｂ_ｊはベクトルｂのｊ番目の要素を表す。内積ｃとベクトルａが与えられても、ベクトルｂは一意に定まらないという特徴がある。例えば、ａ＝［１，１，１，１，１］、ｃ＝［１］とした場合、ｃ＝＜ａ，ｂ＞を満たすベクトルｂは一意に定めらない。さらに、内積ｃの次元は、ベクトルａの次元やベクトルｂの次元よりも小さいという特徴がある。

【0029】

したがって、内積ｙは、ベクトルｗをキーベクトルｖで圧縮したデータであると考えることもできる。クライアント端末１１０は、行列Ｗに含まれる複数の列ベクトルをキーベクトルｖで圧縮する。

【0030】

次に、クライアント端末１１０＿１が、キーベクトルｖ１および内積ベクトルＹ１をサーバ１２０に送信する。クライアント端末１１０＿２が、キーベクトルｖ２および内積ベクトルＹ２をサーバ１２０に送信する。クライアント端末１１０＿３が、キーベクトルｖ３および内積ベクトルＹ３をサーバ１２０に送信する。

【0031】

クライアント端末１１０は、行列Ｗに含まれる複数の列ベクトルを圧縮する。通常、キーベクトルｖのデータ量と内積ベクトルＹのデータ量の和は、行列Ｗのデータ量よりも小さい。

【0032】

次に、サーバ１２０は、内積ベクトルＹ１～Ｙ３およびキーベクトルｖ１～ｖ３に基づいて、機械学習モデルの重み係数を最適化する。具体的には、サーバ１２０は、内積ベクトルＹをキーベクトルｖで説明するモデルをＹ＝Ｗ^Ｔｖと表し、最適な行列Ｗを推定する。行列Ｗ^Ｔは、行列Ｗの転置行列を表す。

【0033】

学習システム１００は、キーベクトルｖを独立変数とし、内積ベクトルＹを従属変数とする線形回帰を行うことで機械学習モデルの重み係数を最適化する。回帰分析を行うときには、最小二乗法を用いてもよく、ロバスト回帰を用いてもよく、ラッソ回帰を用いてもよい。最小二乗法を用いる場合、サーバ１２０は、式（１）に示す損失関数Ｌを最小化するように重み係数を算出する。行列Ｗ^～は、重み係数を表す行列Ｗを最適化した行列を表す。Ｙは、内積ベクトルＹ１、Ｙ２、およびＹ３を並べた行列を表す。Ｖは、キーベクトルｖ１、ｖ２、およびｖ３を並べた行列を表す。

【数1】

【0034】

また、サーバ１２０がロバスト回帰を用いる場合、悪意のあるユーザからの攻撃によって機械学習モデルの性能が低下することを抑制できる。サーバ１２０がラッソ回帰を用いた場合、不要な重み係数を低減できるため、通信負荷を特に低減できる。

【0035】

クライアント端末１１０の数が１台であり、クライアント端末１１０＿１のみが存在した場合、内積ベクトルＹ１のｌ番目の要素であるＹ１_ｌとキーベクトルｖ１から、Ｙ１_ｌ＝Ｗ_ｌ１・ｖ１_１＋Ｗ_ｌ２・ｖ１_２＋・・・を満たすＷを推定しなければならない。しかし、内積の性質から、内積Ｙ１_ｌとキーベクトルｖ１のみからＷを一意に定めることはできない。学習システム１００は、複数のクライアント端末１１０が存在することを前提としている。サーバ１２０は、複数のクライアント端末１１０で計算した内積から、一つのＷを復号すればよい。

【0036】

学習システム１００は、上記処理を１ラウンド（Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｒｏｕｎｄと言う）とし、ラウンドを繰り返すことで学習を進める。

【0037】

学習システム１００では、各クライアント端末１１０は、機械学習モデルの重み係数ではなく、内積とキーベクトルを送信する。内積とキーベクトルが傍受されたとしても、機械学習モデルの重み係数を一意に定めることはできないため、連合学習に参加するユーザのプライバシーの保護を強化できる。

【0038】

さらに、内積のデータ量とキーベクトルのデータ量の和は、重み係数を表す行列のデータ量よりも小さい。したがって、学習システム１００により、通信負荷を低減できる。

【0039】

図１では、クライアント端末１１０がキーベクトルの生成を行う場合を説明したが、サーバ１２０が、キーベクトルｖを生成し、キーベクトルｖをクライアント端末１１０に配布してもよい。この場合、クライアント端末１１０は、内積を送信するときにキーベクトルを送信しなくてもよい。

【0040】

次に、図２および図３を参照して、学習システム１００の動作の検証結果を説明する。図２では、機械学習モデルとしてＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた。データセットとして、ＣＩＦＡＲ（Ｃａｎａｄｉａｎ Ｉｎｓｔｉｔｕｔｅ ｆｏｒ Ａｄｖａｎｃｅｄ Ｒｅｓｅａｒｃｈ）-１０を用いた。機械学習モデルの重み係数は、最小二乗法により推定した。横軸はラウンド数を示しており、縦軸は正解率（Ａｃｃｕｒａｃｙ）を示す。

【0041】

実施形態１を用いた場合の正解率は点線で示されている。グラフ３１、グラフ３２、グラフ３３、およびグラフ３４は、クライアント端末１１０の数が１台、３０台、５０台、および１００台である場合の正解率を示す。

【0042】

従来技術を用いた場合の正解率は実線で示されている。従来技術では、重み係数の平均値を新たな重み係数とした。グラフ４１、グラフ４２、グラフ４３、およびグラフ４４は、クライアント端末１１０の数が１台、３０台、５０台、および１００台である場合の正解率を示す。グラフ４２、４３、および４４は、ほぼ重なっている。

【0043】

図２を参照すると、クライアント端末１１０の数が少ない場合には正解率が低いが、クライアント端末１１０の数が多い場合には正解率が高い。クライアント端末１１０の数が多い場合、高い精度の機械学習モデルを得られる。クライアント端末１１０の数が増加するにつれて、実施形態１における正解率は従来技術における正解率（ベースライン）に近づく。

【0044】

また、図３は、機械学習モデルとして多層パーセプトロン（ＭＬＰ：ＭｕｌｔｉＬａｙｅｒ Ｐｅｒｃｅｐｔｒｏｎ）を用いた場合の検証結果を示す。データセットとして、ＭＮＩＳＴ（Ｍｏｄｉｆｉｅｄ Ｎａｔｉｏｎａｌ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ）を用いた。

【0045】

実施形態１を用いた場合の正解率は点線で示されている。グラフ５１、グラフ５２、グラフ５３、およびグラフ５４は、クライアント端末１１０の数が１台、３０台、５０台、および１００台である場合の正解率を示す。

【0046】

従来技術を用いた場合の正解率は実線で示されている。グラフ６１、グラフ６２、グラフ６３、およびグラフ６４は、従来技術を用いた場合の正解率を示す。グラフ６１、グラフ６２、グラフ６３、およびグラフ６４は、クライアント端末１１０の数が１台、３０台、５０台、１００台である場合の正解率を示す。グラフ６２、６３、および６４は、ほぼ重なっている。

【0047】

図２と同様に、クライアント端末１１０の数が増加すると高い精度の機械学習モデルを得られることがわかる。実施形態１は、機械学習モデルが多層パーセプトロンである場合にも効果を奏する。

【0048】

次に、図４および図５を参照して、ロバスト回帰を用いる場合について説明する。ロバスト回帰は、機械学習モデルの性能を低下させる攻撃に対して頑健である。ロバスト回帰では、Ｈｕｂｅｒ損失が用いられる。

【0049】

図４は、データセットとしてＣＩＦＡＲを用いた場合の検証結果を示す。グラフ７１～７３は、悪意のあるクライアントの数が１である場合の正解率を示す。グラフ７１～７３は、従来技術を用いた場合、損失としてＬ２損失を用いた場合、損失としてＨｕｂｅｒ損失を用いた場合の正解率を示す。

【0050】

グラフ７４～７６は、悪意のあるクライアントの数が５である場合の正解率を示す。グラフ７４～７６は、従来技術を用いた場合、損失としてＬ２損失を用いた場合、損失としてＨｕｂｅｒ損失を用いた場合の正解率を示す。

【0051】

図５は、データセットとして、ＭＮＩＳＴを用いた場合の検証結果を示す。グラフ８１～８３は、悪意のあるクライアントの数が１である場合の正解率を示す。グラフ８１～８３は、従来技術を用いた場合、損失としてＬ２損失を用いた場合、損失としてＨｕｂｅｒ損失を用いた場合の正解率を示す。

【0052】

グラフ８４～８６は、悪意のあるクライアントの数が５である場合の正解率を示す。グラフ８４～８６は、従来技術を用いた場合、損失としてＬ２損失を用いた場合、損失としてＨｕｂｅｒ損失を用いた場合の正解率を示す。

【0053】

図４および図５を参照すると、従来技術やＬ１損失を用いた場合、攻撃によって機械学習モデルの性能が低下している。Ｈｕｂｅｒ損失を用いる場合、つまりロバスト回帰を用いる場合、機械学習モデルは、悪意のあるクライアントからの攻撃に対して頑健になっている。

【0054】

次に、図６を参照して、ラッソ回帰を用いる場合について説明する。表９０の一列目は、従来技術を用いるか実施形態１を用いるかを表す。二列目は、クライアント側およびサーバ側でラッソ回帰を行うか否かを表す。「Ｙｅｓ」はラッソ回帰を行うことを表し、「Ｎｏ」はラッソ回帰を行わないことを表す。ラッソ回帰では、損失としてＬ１損失が用いられる。三列目および四列目は、誤答率およびスパーシティを表す。

【0055】

一行目および二行目は、従来技術を用いた場合の誤答率およびスパーシティを示す。一行目はクライアント端末１１０でラッソ回帰を行わない場合を表し、二行目はクライアント端末１１０でラッソ回帰を行う場合を表す。なお、従来技術ではサーバ側で重み係数の推定を行わないため、サーバ側は「Ｎｏ」になっている。

【0056】

三行目、四行目、五行目、および六行目は、実施形態１を用いた場合の検証結果を示す。三行目は、クライアント端末１１０およびサーバ１２０の両方がラッソ回帰を行わない場合を表す。四行目は、クライアント端末１１０がラッソ回帰を行い、サーバ１２０がラッソ回帰を行わない場合を表す。五行目は、クライアント端末１１０がラッソ回帰を行わず、サーバ１２０がラッソ回帰を行う場合を表す。六行目は、クライアント端末１１０がラッソ回帰を行い、サーバ１２０がラッソ回帰を行う場合を示す。

【0057】

図６を参照すると、サーバ１２０がラッソ回帰を用いた場合のスパーシティが高く、機械学習モデルをスパースにできることがわかる。

【0058】

上述したプログラムは、コンピュータに読み込まれた場合に、１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0059】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0060】

１００ 学習システム
１１０、１１０＿１、１１０＿２、１１０＿３ クライアント端末
１２０ サーバ
１０、１０＿１、１０＿２、１０＿３ 家屋
２０、２０＿１、２０＿２、２０＿３ 学習データ
３１～３４、４１～４４、５１～５４、６１～６４、７１～７６、８１～８６ グラフ
９０ 表

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】