特開 2024-76190 学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024076190

(43)【公開日】2024-06-05

(54)【発明の名称】学習システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240529BHJP

   G06F 18/213 20230101ALI20240529BHJP

【ＦＩ】

G06N20/00

G06F18/213

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2022187629

(22)【出願日】2022-11-24

(71)【出願人】

【識別番号】504137912

【氏名又は名称】国立大学法人 東京大学

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】中山 英樹

(72)【発明者】

【氏名】岸田 一輝

(72)【発明者】

【氏名】安間 絢子

(57)【要約】

【課題】画像送信によるコストの増大や、画像の流出リスクを低減できる学習システムを実現する。
【解決手段】本開示の一形態に係る学習システム１は、複数のクライアント端末１１とサーバ１２を備える。各クライアント端末１１は、特徴量抽出器によってクライアント画像から抽出される第１の特徴量の分布と、クライアント画像に所定の処理を行った第１のプロキシ画像から抽出される第２の特徴量の分布とを識別する第１の識別器を学習してサーバ１２に送信する。サーバ１２は、サーバ画像から特徴量抽出器によって抽出される第３の特徴量の分布が第１の特徴量の分布に近づくように、第１の識別器に基づいて特徴量抽出器を学習し、かつ、第３の特徴量を用いた機械学習により第１の分類器を学習する。
【選択図】図２

【特許請求の範囲】

【請求項1】

複数のクライアント端末とサーバを備えた学習システムであって、
各クライアント端末は、特徴量抽出器によってクライアント画像から抽出される第１の特徴量の分布と、前記クライアント画像に所定の処理を行った第１のプロキシ画像から抽出される第２の特徴量の分布とを識別する第１の識別器を学習し、前記第１の識別器をサーバに送信し、
前記サーバは、サーバ画像から前記特徴量抽出器によって抽出される第３の特徴量の分布が前記第１の特徴量の分布に近づくように、前記第１の識別器に基づいて前記特徴量抽出器を学習し、かつ、前記第３の特徴量を用いた機械学習により第１の分類器を学習する
学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習システムに関する。

【背景技術】

【0002】

特許文献１は、複数のクライアント端末のそれぞれが学習を開始する前に、各クライアント端末側の学習モデルと統合サーバのマスターモデルとを同期させる技術を開示している。各クライアント端末は医療機関に保存されているデータを用いて学習モデルの機械学習を実行し、学習結果を統合サーバに送信する。統合サーバは複数のクライアント端末を複数のクライアントクラスタに分けてクライアントクラスタごとに学習結果を統合してマスターモデル候補を作成する。統合サーバは各マスターモデル候補の推論精度を評価し、精度悪化要因となっているクライアント端末を抽出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２１／０５９６０７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、医療機関に保存されているデータをクライアント端末に送信したり、保存したりするコストを要する。また、画像流出のおそれがあるという問題がある。

【0005】

本開示は、このような問題点に鑑みてなされたものであり、画像送信によるコストの増大や、画像の流出リスクを低減できる学習システムを実現する。

【課題を解決するための手段】

【0006】

本開示の一態様の学習システムは、複数のクライアント端末とサーバを備えた学習システムであって、各クライアント端末は、特徴量抽出器によってクライアント画像から抽出される第１の特徴量の分布と、前記クライアント画像に所定の処理を行った第１のプロキシ画像から抽出される第２の特徴量の分布とを識別する第１の識別器を学習し、前記第１の識別器をサーバに送信し、前記サーバは、サーバ画像から前記特徴量抽出器によって抽出される第３の特徴量の分布が前記第１の特徴量の分布に近づくように、前記第１の識別器に基づいて前記特徴量抽出器を学習し、かつ、前記第３の特徴量を用いた機械学習により第１の分類器を学習する。

【発明の効果】

【0007】

本開示によれば、画像送信によるコストの増大や、画像の流出リスクを低減できる学習システムを実現できる。

【図面の簡単な説明】

【0008】

【図1】ドメイン適応を行う学習システムを説明する図である。

【図2】実施形態１にかかる学習システムの構成を説明する図である。

【図3】実施形態１にかかる特徴量抽出器の学習方法を説明する図である。

【発明を実施するための形態】

【0009】

以下、本開示を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本開示が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

【0010】

本開示に至る経緯
まず、一般的な連合学習方法について説明する。連合学習では、サーバが、Ｗｅｂから収集した画像や３次元モデル（シミュレータとも言う）から生成した画像を用いて機械学習モデル（例えば、物体認識用のモデル）を学習し、機械学習モデルの重み係数の初期値を複数のクライアント端末に配布する。学習用画像（サーバ画像と言う）は、ソース画像とも言う。

【0011】

各クライアント端末は家屋内等でクライアント画像（ターゲット画像とも言う）を収集し、クライアント画像で機械学習モデルの重み係数を更新し、機械学習モデルの重み係数をサーバに送信する。次に、サーバは、複数のクライアント端末から受け取った重み係数を統合（更新）し、更新した機械学習モデルの重み係数を複数のクライアント端末に配布する。

【0012】

一般的な連合学習では、サーバ画像のドメインとクライアント画像のドメインが異なっており、機械学習モデルの精度が低下するという問題があった。従ってドメイン適応を行う必要があるが、クライアント画像をサーバに送信することはプライバシーの観点から問題があるので、サーバ画像をクライアント端末に送信する必要がある。

【0013】

図１は、ドメイン適応を行う学習システム２を説明する図である。クライアント端末１１は、クライアント画像ｘ_ｔ ^ｎとサーバ画像ｘ_ｓから特徴量抽出器Ｆ_ｇで特徴量を抽出し、クライアント画像ｘ_ｔ ^ｎを識別する識別器Ｄ_ｎを学習し、識別器Ｄ_ｎをサーバ１２に送信する。ｎは１～Ｎまでの整数のいずれかであり、Ｎはクライアント端末１１の数を表す。サーバ１２は、サーバ画像ｘ_ｓの特徴量の分布がクライアント画像ｘ_ｎ（ｎ＝１～Ｎ）の特徴量の分布に近づくように特徴量抽出器Ｆ_ｇを学習するとともに分類器Ｃ_ｇ（クラス分類器とも言われ、上記機械学習モデルに対応する）を学習し、特徴量抽出器Ｆ_ｇおよび分類器Ｃ_ｇをクライアント端末１１に送信する。

【0014】

学習システム２では、サーバ画像ｘ_ｓの特徴量の分布がクライアント画像ｘ_ｔ ^ｎの特徴量の分布に近づくように特徴量抽出器Ｆ_ｇを学習することでドメイン適応を行っている。このため、サーバ画像ｘ_ｓをクライアント端末１１に送信し、識別器Ｄ_ｎを学習する必要がある。この場合、サーバ画像ｘ_ｓを全てのクライアント端末１１に送信する必要があるが、ライセンスやデータ管理の観点で問題があった。本願の発明者は、以上の経緯から実施形態１にかかる学習システムに想到した。

【0015】

実施形態１
以下、図面を参照して実施形態１にかかる学習システムについて説明する。図２は、実施形態１にかかる学習システム１の構成を説明する図である。学習システム１は、サーバ画像ｘ_ｓの代わりとなるプロキシ画像を用いてドメイン適応を行う。

【0016】

クライアント端末１１は、クライアント画像ｘ_ｔ ^ｎに所定の処理を行ったプロキシ画像Ｔ_ｐｓ（ｘ_ｔ ^ｎ）（第１のプロキシ画像とも言う）を生成する。Ｔ_ｐｓは所定の処理を表している。所定の処理の内容は任意であり、例えば、ランダムなノイズ画像を生成する処理、アドバーサリアルノイズを付加する処理、ＲＧＢ画像をＢＧＲ画像に変換する処理、ドロップアウトと言われる処理、フラクタル化する処理、グレー画像に変換する処理、回転処理、ガウスノイズを付加する処理、パッチに分割して入れ替える処理、他の画像と重ね合わせる処理（ミックスアップと言う）とすることができる。

【0017】

クライアント端末１１は、特徴量抽出器Ｆ_ｇによってクライアント画像ｘ_ｔ ^ｎから特徴量（第１の特徴量と言う）を抽出し、プロキシ画像Ｔ_ｐｓ（ｘ_ｔ ^ｎ）から特徴量（第２の特徴量と言う）を抽出する。ｎは１からＮまでのいずれかの整数であり、Ｎはクライアント端末１１の数を表す。クライアント画像ｘ_ｔ ^ｎに関する処理を実線で表し、プロキシ画像Ｔ_ｐｓ（ｘ_ｔ ^ｎ）に関する処理を点線で表している。クライアント端末１１は、式（１）に従って第１の特徴量の分布と第２の特徴量の分布を識別する識別器Ｄ_ｎ ^ｋ（第１の識別器とも言う）を学習し、識別器Ｄ_ｎ ^ｋをサーバ１２に送信する。識別器Ｄ_ｎ ^ｋの数は複数であってよい。また、以下で説明する知識の蒸留に用いるため、識別器Ｄ_ｎ ^ｋを他のクライアント端末１１に送信してもよい。

【数1】

【0018】

また、クライアント端末１１は、後述する分類器Ｃ_ｇ（第１の分類器とも言う）を用いた知識の蒸留により、教師なし学習で分類器Ｃ_ｎ（第２の分類器とも言う）を学習する。クライアント端末１１は、具体的には式（２）に従って分類器Ｃ_ｎを学習する。Ｄ_ｓは後述する識別器Ｄ_ｓ（第２の識別器とも言う）を表す。ｐはハイパーパラメータである。ＫＬはカルバックライブラー情報量を表す。Ｖは特徴量抽出器Ｆ_ｇで抽出した特徴量を表す。ｍは１～Ｎのうちｎ以外の整数を表す。Ｋは識別器Ｄ_ｍ ^ｋの数を表している。上述の通り、識別器Ｄ_ｍ ^ｋの数は複数であってよい。

【数2】

【0019】

分類器Ｃ_ｎは、識別器Ｄ_ｓおよび識別器Ｄ_ｍ ^ｋにより特徴量分布の近さを考慮しつつ、他の分類器Ｃ_ｇおよびＣ_ｍと分類結果が近くなるように学習される。分類器Ｃ_ｎはクライアント端末１１毎に最適化した分類器であるが、分類器Ｃ_ｎを学習せず、図１に示した関連技術のように分類器Ｃ_ｇを用いてもよい。分類器Ｃ_ｎは、他のクライアント端末１１に送信される。

【0020】

サーバ１２は、サーバ画像ｘ_ｓから特徴量抽出器Ｆ_ｇによって特徴量（第３の特徴量と言う）を抽出する。サーバ１２は、第３の特徴量の分布が第１の特徴量の分布に近づくように、識別器Ｄ_ｎ ^ｋに基づいて特徴量抽出器Ｆ_ｇを学習し、かつ、第３の特徴量を用いた機械学習により分類器Ｃ_ｇを学習する。サーバ１２は、特徴量抽出器Ｆ_ｇおよび分類器Ｃ_ｇをクライアント端末１１に送信する。

【0021】

サーバ１２は、具体的には式（３）に従って特徴量抽出器Ｆ_ｇおよび分類器Ｃ_ｇを学習する。Ｌ_ｃｅはクロスエントロピーを用いた損失関数を表しており、ｙ_ｓはサーバ画像ｘ_ｓに付与されるラベルを表している。λ_ｓはハイパーパラメータである。式（３）の第１項は通常の教師あり学習を表しており、第２項は特徴量分布（空間）のアライメントを表している。

【数3】

【0022】

図３は、サーバ１２が特徴量抽出器Ｆ_ｇを学習する方法を説明する図である。実線で囲まれた分布Ｃ１は、クライアント画像ｘ_ｔ ^ｎから抽出される特徴量（第１の特徴量）の分布を表す。点線で囲まれた分布Ｃ２は、プロキシ画像Ｔ_ｐｓ（ｘ_ｔ ^ｎ）から抽出される特徴量（第２の特徴量）の分布を表す。符号Ｌは分布Ｃ１と分布Ｃ２を分類する分類線を表し、識別器Ｄ_ｎ ^ｋに対応している。一点鎖線で囲まれた分布Ｓは、サーバ画像ｘ_ｓから抽出される特徴量（第３の特徴量）の分布を表す。特徴量抽出器Ｆ_ｇは、分布Ｓが分布Ｃ１に近づくように学習を行う。関連技術を示す図１では分布Ｃ１と分布Ｓを分類する分類線（識別器）を学習し、分布Ｓを分布Ｃ１に近づけるように特徴量抽出器Ｆ_ｇを学習したが、実施形態１では分布Ｃ１と分布Ｃ２を分類する分類線を学習し、分布Ｓを分布Ｃ１に近づけるように特徴量抽出器Ｆ_ｇを学習する。したがって、実施形態１では、クライアント端末１１にサーバ画像ｘ_ｓを送信する必要がない。

【0023】

図２に戻り、サーバ１２は、また、サーバ画像ｘ_ｓに上記所定の処理を行ったプロキシ画像Ｔ_ｐｓ（ｘ_ｓ）（第２のプロキシ画像と言う）を生成する。サーバ画像ｘ_ｓに関する処理は実線で表され、プロキシ画像Ｔ_ｐｓ（ｘ_ｓ）に関する処理は点線で表されている。サーバ１２は、プロキシ画像Ｔ_ｐｓ（ｘ_ｓ）から特徴量（第４の特徴量と言う）を抽出する。サーバ１２は、式（４）に従って第３の特徴量の分布と第４の特徴量の分布とを識別する識別器Ｄ_ｓを学習し、クライアント端末１１に送信する。識別器Ｄ_ｓは、上述した知識の蒸留で用いられる。

【数4】

【0024】

式（１）で表される処理、式（２）で表される処理、式（３）で表される処理、および式（４）を繰り返すことで、分類器Ｃ_ｎや分類器Ｃ_ｇの性能を向上できる。

【0025】

従来技術では、クライアント端末１１がサーバ画像ｘ_ｓを受信してドメイン適応を行う必要があった。一方、実施形態１では、サーバ画像ｘ_ｓの代わりにプロキシ画像Ｔ_ｐｓ（ｘ_ｔ ^ｎ）を用いるため、サーバ画像ｘ_ｓをクライアント端末１１に送信する必要がない。したがって、サーバ画像ｘ_ｓの流出を防ぎつつ、ドメインの違いによる分類器Ｃ_ｇの性能の劣化を低減できる。また、サーバ画像ｘ_ｓを送信および保存するコストを削減し、サーバ画像ｘ_ｓをユーザが流出させるリスクを低減できる。

【0026】

上述したプログラムは、コンピュータに読み込まれた場合に、１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

【0027】

なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

【符号の説明】

【0028】

１、２ 学習システム、１１ クライアント端末、１２ サーバ、ｘ_ｔ ^ｎ クライアント画像、ｘ_ｓ サーバ画像、Ｔ_ｐｓ（ｘ_ｔ ^ｎ）、Ｔ_ｐｓ（ｘ_ｓ） プロキシ画像、Ｆ_ｇ 特徴量抽出器、Ｄ_ｎ ^ｋ、Ｄ_ｓ 識別器、Ｃ_ｎ、Ｃ_ｇ 分類器

【図1】

【図2】

【図3】