特許 7279368 学習方法、学習プログラムおよび学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-05-15

(45)【発行日】2023-05-23

(54)【発明の名称】学習方法、学習プログラムおよび学習装置

(51)【国際特許分類】

   G06F 18/214 20230101AFI20230516BHJP

   G06F 18/213 20230101ALI20230516BHJP

   G06N 20/00 20190101ALI20230516BHJP

   G06F 21/62 20130101ALI20230516BHJP

【ＦＩ】

G06F18/214

G06F18/213

G06N20/00 130

G06F21/62 354

【請求項の数】 6

(21)【出願番号】P 2019006134

(22)【出願日】2019-01-17

(65)【公開番号】P2020115257

(43)【公開日】2020-07-30

【審査請求日】2021-10-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】河東 孝

(72)【発明者】

【氏名】上村 健人

(72)【発明者】

【氏名】安富 優

【審査官】渡辺 一帆

(56)【参考文献】

【文献】特開２０１７－１７４２９８（ＪＰ，Ａ）

【文献】国際公開第２０１５／１５５８９６（ＷＯ，Ａ１）

【文献】特開２０１６－０３１７４６（ＪＰ，Ａ）

【文献】国際公開第２０１８／１６７９００（ＷＯ，Ａ１）

【文献】特開２００７－０１８０２８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０２１１１６４（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １８／２１４

Ｇ０６Ｆ １８／２１３－１８／２１３７

Ｇ０６Ｎ ２０／００ －２０／２０

Ｇ０６Ｎ ３／０２ － ３／１０

Ｇ０６Ｆ ２１／６２

(57)【特許請求の範囲】

【請求項1】

コンピュータが実行する学習方法であって、
元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成し、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成し、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が、非保存対象が除かれた特徴量となる参照特徴量に類似するように、前記学習モデルのパラメータを学習する
処理を実行することを特徴とする学習方法。

【請求項2】

前記拡張教師データを生成する処理は、前記非保存対象情報を基にしたダミー情報を生成し、生成したダミー情報を前記元教師データに追加することで、前記拡張教師データを生成することを特徴とする請求項１に記載の学習方法。

【請求項3】

前記非保存対象情報は、個人を特定可能な情報であり、前記拡張教師データを生成する処理は、前記個人を特定可能な情報に類似する情報を、前記ダミー情報として生成することを特徴とする請求項２に記載の学習方法。

【請求項4】

前記学習モデルから出力される複数の中間特徴量との誤差が小さくなるように更新された参照特徴量と、元教師データに対応する正解情報とを対応付けて保存する処理を更に実行することを特徴とする請求項１、２または３に記載の学習方法。

【請求項5】

コンピュータに、
元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成し、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成し、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が、非保存対象が除かれた特徴量となる参照特徴量に類似するように、前記学習モデルのパラメータを学習する
処理を実行させることを特徴とする学習プログラム。

【請求項6】

元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成する拡張部と、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成する特徴量生成部と、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が、非保存対象が除かれた特徴量となる参照特徴量に類似するように、前記学習モデルのパラメータを学習する学習部と
を有することを特徴とする学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習方法等に関する。

【背景技術】

【0002】

深層学習モデルを学習する場合、訓練データ（学習データ）の量は性能に大きく寄与する要因であり、訓練データの量は多いほど好ましい。訓練データが不足し、訓練データにないタイプの適用データを、訓練データで学習した深層学習モデルに適用すると、適切な出力結果を得られず、失敗する可能性が高くなる。

【0003】

また、顧客データを用いるビジネスの場では、契約や情報漏洩のリスクに鑑みると、ある顧客データをいつまでも保持したり、別の顧客のタスクなどに使いまわしたりすることが難しいため、訓練データが不足する場合がある。

【0004】

訓練データが不足する場合、データ拡張（data augmentation）を行うことが一般的である。データ拡張は、オリジナルの訓練データに対して、ノイズを付加、平行移動、欠損等の加工を行うものであり、訓練データの範囲を適用データの範囲に広げることができる。

【0005】

ここで、オリジナルの訓練データを、深層学習モデルに入力することで得られる中間特徴量を保持することで、オリジナルの訓練データを保持することなく、新規に深層学習モデルを学習する際に使用可能なデータ量を増加させる従来技術がある。

【0006】

図１２は、従来技術を説明するための図である。図１２において、深層学習モデル１０は、第１ＮＮ（Neural Network）１０ａと、第２ＮＮ１０ｂとを有する。第１ＮＮ１０ａは、訓練データが入力された場合、中間特徴量を算出するＮＮである。第２ＮＮ１０ｂは、中間特徴量が入力された場合、出力ラベルを算出するＮＮである。第１ＮＮ１０ａおよび第２ＮＮ１０ｂのパラメータは、データベース１０Ｐに格納された顧客Ｐの複数の訓練データを用いて学習済みとする。学習が終了すると、データベース１０Ｐの情報は、顧客Ｐに返却される（または、破棄される）。

【0007】

たとえば、訓練データｘＰ１を、第１ＮＮ１０ａに入力すると、中間特徴量ｚＰ１が算出される。中間特徴量ｚＰ１を、第２ＮＮ１０ｂに入力すると、出力ラベルｙＰ１’が算出される。従来技術では、データベース１０Ｐの情報を返却する前に、訓練データｘＰ１から算出される、中間特徴量ｚＰ１をデータベース１３に保存する。従来技術は、データベース１０Ｐに格納された他の訓練データから算出される中間特徴量も、データベース１３に保存する。

【0008】

続いて、従来技術は、顧客Ｑの複数の訓練データを保存したデータベース１１Ｑと、データベース１３とを用いて、新規の深層学習モデル１１を学習（逐次学習）する。深層学習モデル１１は、第１ＮＮ１１ａと、第２ＮＮ１１ｂとを有する。従来技術は、第１ＮＮ１１ａのパラメータとして、第１ＮＮ１０ａの学習済みのパラメータを設定する。従来技術は、第２ＮＮ１１ｂのパラメータとして、第２ＮＮ１０ｂの学習済みのパラメータを設定する。

【0009】

たとえば、データベース１１Ｑの訓練データｘＱ１を、第１ＮＮ１１ａに入力すると、中間特徴量ｚＱ１が算出される。中間特徴量ｚＱ１を、第２ＮＮ１１ｂに入力すると、出力ラベルｙＱ１’が算出される。従来技術は、出力ラベルｙＱ１’が正解ラベル（図示略）に近づくように、第２ＮＮ１１ｂのパラメータを学習する。

【0010】

また、データベース１３の中間特徴量ｚＰ１を、第２ＮＮ１１ｂに入力すると、出力ラベルｙＰ１’が算出される。従来技術は、出力ラベルｙＰ１’が正解ラベル（図示略）に近づくように、第２ＮＮ１１ｂのパラメータを学習する。

【0011】

上記のように、従来技術では、第２ＮＮ１１ｂのパラメータを学習する場合、データベース１１Ｑの訓練データから算出される中間特徴量に加えて、データベース１３の中間特徴量を用いて、学習を行う。このため、データベース１０Ｐを顧客Ｐに返却（破棄）しても、新規の深層学習モデルの学習時に使用可能なデータ量を増加させることができる。

【先行技術文献】

【非特許文献】

【0012】

【文献】Utako Yamamoto et al."Deformation estimation of an elastic object by partial observation using a neural network"

【発明の概要】

【発明が解決しようとする課題】

【0013】

オリジナルの訓練データから生成される中間特徴量には、訓練データに含まれる本来の目的とは無関係な残したくない情報が含まれてしまう場合がある。たとえば、本来の目的とは無関係な残したくない情報には、個人情報が含まれ、情報漏洩のリスクに鑑みて、かかる個人情報を削除することが求められる。

【0014】

個人情報には、顔写真、ナンバープレート、ユーザが閲覧中の画面等、様々なのもが該当するため、コンピュータが自動的に判定を行って、複数の中間特徴量から個人情報を削除することは難しい。また、ユーザが、削除対象となる個人情報を定義したガイドラインを参照して、複数の中間特徴量から個人情報を削除することも考えられる。しかし、中間特徴量のデータ量が多い場合、ユーザが複数の中間特徴量を一つ一つ確認することは、ユーザに係る負担が大きい。

【0015】

一方、中間特徴量をデータベース１３に保存しないで、学習を行うと、訓練データが不足する場合があり、深層学習モデルの学習精度が劣化してしまう。

【0016】

１つの側面では、本発明は、次の学習に引き継いで使用する情報に不適切な情報が残ることを抑止することができる学習方法、学習プログラムおよび学習装置を提供することを目的とする。

【課題を解決するための手段】

【0017】

第１の案では、コンピュータが以下の処理を実行する。コンピュータは、元教師データに含まれる非保存対象情報を基にして、元教師データをデータ拡張した複数の拡張教師データを生成する。コンピュータは、複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成する。コンピュータは、複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が参照特徴量に類似するように、学習モデルのパラメータを学習する。

【発明の効果】

【0018】

次の学習に引き継いで使用する情報に不適切な情報が残ることを抑止することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、本実施例に係る学習装置の処理を説明するための図である。

【図2】図２は、本実施例に係る拡張部の処理を説明するための図である。

【図3】図３は、本実施例に係る学習装置の構成を示す機能ブロック図である。

【図4】図４は、本実施例に係る学習データベースのデータ構造の一例を示す図である。

【図5】図５は、本実施例に係る拡張訓練データテーブルのデータ構造の一例を示す図である。

【図6】図６は、本実施例に係るパラメータテーブルのデータ構造の一例を示す図である。

【図7】図７は、本実施例に係る参照特徴量データベースのデータ構造の一例を示す図である。

【図8】図８は、本実施例に係る学習部の処理を説明するための図である。

【図9】図９は、本実施例に係る学習装置の処理手順を示すフローチャートである。

【図10】図１０は、本実施例に係る学習装置の効果を説明するための図である。

【図11】図１１は、本実施例に係る学習装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【図12】図１２は、従来技術を説明するための図である。

【発明を実施するための形態】

【0020】

以下に、本願の開示する学習方法、学習プログラムおよび学習装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。

【実施例】

【0021】

図１は、本実施例に係る学習装置の処理を説明するための図である。図１に示すように、学習装置は、拡張部１５０ｂを有する。拡張部１５０ｂは、オリジナルの訓練データｘ１をデータ拡張することで、訓練データｘ１．１，ｘ１．２，ｘ１．３を生成する。学習装置は、深層学習モデル５０に、訓練データｘ１．１～ｘ１．３を入力する。

【0022】

深層学習モデル５０は、第１ＮＮ５０ａと第２ＮＮ５０ｂとを有する。第１ＮＮ５０ａは、訓練データが入力された場合、中間特徴量を算出するＮＮである。第２ＮＮ５０ｂは、中間特徴量が入力された場合、出力ラベルを算出するＮＮである。

【0023】

たとえば、学習装置は、訓練データｘ１．１，ｘ１．２，ｘ１．３を第１ＮＮ５０ａに入力し、中間特徴量ｚ１．１，ｚ１．２，ｚ１．３を算出する。学習装置は、中間特徴量ｚ１．１，ｚ１．２，ｚ１．３を第２ＮＮ５０ｂに入力し、出力ラベルｙ１．１，ｙ１．２，ｙ１．３を算出する。

【0024】

学習装置は、出力ラベルｙ１．１と、訓練データｘ１の正解ラベルｙ１との誤差を算出する。学習装置は、出力ラベルｙ１．２と、正解ラベルｙ１との誤差を算出する。学習装置は、出力ラベルｙ１．３と、正解ラベルｙ１との誤差を算出する。学習装置は、誤差逆伝播法を用いて、誤差が小さくなるように、第１ＮＮ５０ａのパラメータおよび第２ＮＮ５０ｂのパラメータを学習する。

【0025】

また、学習装置は、中間特徴量ｚ１．１と、訓練データｘ１の参照特徴量ｚ１との類似度を算出する。学習装置は、中間特徴量ｚ１．２と、参照特徴量ｚ１との類似度を算出する。学習装置は、中間特徴量ｚ１．３と、参照特徴量ｚ１との類似度を算出する。学習装置は、誤差逆伝播法を用いて、類似度が大きくなるように、第１ＮＮ５０ａのパラメータおよび参照特徴量ｚ１を学習する。

【0026】

図２は、本実施例に係る拡張部の処理を説明するための図である。拡張部１５０ｂは、オリジナルの訓練データに含まれる非保存対象情報を基にして、データ拡張を行い、複数の訓練データを生成する。非保存対象情報は、個人を特定可能な情報である。図２では、非保存対象情報として、車の「ナンバープレート」を用いて説明を行う。なお、非保存対象情報は、ナンバープレートに限定されるものではなく、顔画像、端末画面等であってもよい。

【0027】

図２に示す例では、オリジナルの訓練データｘ１に、非保存対象情報２０が含まれている。拡張部１５０ｂは、非保存対象情報２０を基にして、複数のダミー情報を生成する。拡張部１５０ｂは、ダミー情報を、訓練データｘ１に追加することで、複数の訓練データｘ１．１，ｘ１．２，ｘ１．３を生成する。図２に示す各ダミー情報は、非保存対象情報２０のナンバープレートの数字の一部または全部を他の数字に置き換えた情報となる。

【0028】

たとえば、拡張部１５０ｂは、訓練データｘ１に、ダミー情報２０ａを追加（データ拡張）することで、訓練データｘ１．１を生成する。拡張部１５０ｂは、訓練データｘ１に、ダミー情報２０ｂを追加（データ拡張）することで、訓練データｘ１．２を生成する。拡張部１５０ｂは、訓練データｘ１に、ダミー情報２０ｃを追加（データ拡張）することで、訓練データｘ１．３を生成する。

【0029】

図２で説明した拡張部１５０ｂの処理によりデータ拡張した訓練データｘ１．１～ｘ１．３を、深層学習モデル５０に入力すると、図１で説明したように、中間特徴量ｚ１．１～ｚ１．３が、参照特徴量ｚ１に類似するような学習が行われる。そうすると、データ拡張したダミー情報および非保存対象情報を打ち消すような学習が行われるため、非保存対象情報を含まない参照特徴量ｚ１が学習される。学習された参照特徴量ｚ１の一例を、図２に示す。かかる参照特徴量ｚ１には、非保存対象情報２０が含まれない。

【0030】

上記のように、学習装置は、非保存対象情報に類似するダミー情報をオリジナルの訓練データに追加するデータ拡張を行って、複数の訓練データを生成する。学習装置は、複数の訓練データの中間特徴量が参照特徴量と類似し、かつ、出力ラベルが正解ラベルに近づくように、深層学習モデルのパラメータおよび参照特徴量を学習する。学習される参照特徴量には、非保存対象情報が含まれない。これによって、参照特徴量を次の逐次学習に引き継いで使用する場合に、不適切な情報が残ることを抑止することができる。

【0031】

次に、本実施例に係る学習装置の構成の一例について説明する。図３は、本実施例に係る学習装置の構成を示す機能ブロック図である。図３に示すように、この学習装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。

【0032】

通信部１１０は、ネットワーク等を介して外部装置（図示略）とデータ通信を実行する処理部である。通信部１１０は、通信装置に対応する。たとえば、通信部１１０は、後述する学習データベース１４１の情報を、各顧客の外部装置等から受信する。後述する制御部１５０は、通信部１１０を介して、外部装置とデータをやり取りする。

【0033】

入力部１２０は、各種の情報を学習装置１００に入力するための入力装置である。たとえば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。

【0034】

表示部１３０は、制御部１５０から出力される各種の情報を表示する表示装置である。たとえば、表示部１３０は、液晶ディスプレイ、タッチパネル等に対応する。

【0035】

記憶部１４０は、学習データベース１４１と、拡張訓練データテーブル１４２と、パラメータテーブル１４３と、参照特徴量データベース１４４とを有する。記憶部１４０は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子や、ＨＤＤ（Hard Disk Drive）などの記憶装置に対応する。

【0036】

学習データベース１４１は、顧客から通知される訓練データの情報を保存する。図４は、本実施例に係る学習データベースのデータ構造の一例を示す図である。図４に示すように、この学習データベース１４１は、データ番号と、訓練データと、正解ラベルと、非保存対象種別とを有する。データ番号は、オリジナルの訓練データを一意に識別する番号である。たとえば、訓練データ「ｘ１」に対応する正解ラベルは「ｙ１」であり、訓練データ「ｘ１」のデータ番号は「ｐ００１」である。非保存対象種別は、非保存対象情報となる個人情報の種別を示すものである。

【0037】

たとえば、訓練データに含まれる非保存対象情報が車両のナンバープレートの情報である場合には、非保存対象種別は「ナンバープレート」となる。訓練データに含まれる非保存対象情報が、個人の顔画像の情報である場合には、非保存対象種別は「顔画像」となる。訓練データに含まれる非保存対象情報が、個人のパソコン、スマートフォン等の端末画面の情報である場合には、非保存対象種別は「端末画面」となる。

【0038】

拡張訓練データテーブル１４２は、オリジナルの訓練データを元にデータ拡張された訓練データを保持するテーブルである。図５は、本実施例に係る拡張訓練データテーブルのデータ構造の一例を示す図である。図５に示すように、この拡張訓練データテーブル１４２は、データ番号と、データ拡張された訓練データと、正解ラベルとを対応付ける。データ番号は、データ拡張の元となるオリジナルの訓練データを一意に識別する番号である。データ拡張された訓練データに対応する正解ラベルは、データ番号に対応するオリジナルの訓練データに対応付けられた正解ラベルとなる。

【0039】

パラメータテーブル１４３は、第１ＮＮ５０ａのパラメータ、第２ＮＮ５０ｂのパラメータを保存するテーブルである。図６は、本実施例に係るパラメータテーブルのデータ構造の一例を示す図である。図６に示すように、パラメータテーブル１４３は、識別情報と、パラメータとを対応付ける。識別情報は、各ＮＮを識別する情報である。パラメータは、各ＮＮに設定されるパラメータである。ＮＮは複数の層を有し、各層には複数のノードが含まれ、各ノードがエッジで結ばれる構造となっている。各層は、活性化関数と呼ばれる関数とバイアス値とを持ち、エッジは、重みを持つ。デコーダもＮＮと同様にして、複数の層を有し、各層には複数のノードが含まれ、各ノードがエッジで結ばれる構造となっている。本実施例では、ＮＮに設定されるバイアス値、重み等をまとめて「パラメータ」と表記する。

【0040】

参照特徴量データベース１４４は、オリジナルの各訓練データに対してそれぞれ設定される参照特徴量を保存するデータベースである。図７は、本実施例に係る参照特徴量データベースのデータ構造の一例を示す図である。図７に示すように、参照特徴量データベース１４４は、データ番号と、参照特徴量と、正解ラベルとを対応付ける。データ番号は、オリジナルの訓練データを一意に識別する番号である。参照特徴量の初期値は予め設定されているものとする。正解ラベルは、データ番号に対応するオリジナルの訓練データの正解ラベルとなる。

【0041】

図３の説明に戻る。制御部１５０は、取得部１５０ａと、拡張部１５０ｂと、特徴量生成部１５０ｃと、学習部１５０ｄとを有する。制御部１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。

【0042】

取得部１５０ａは、各顧客の外部装置等から、学習データベース１４１の情報を取得する処理部である。取得部１５０ａは、取得した学習データベース１４１の情報を、学習データベース１４１に格納する。

【0043】

拡張部１５０ｂは、学習データベース１４１に保存されたオリジナルの訓練データに対してデータ拡張（data augmentation）を行うことで、複数の訓練データを生成する処理部である。

【0044】

拡張部１５０ｂは、学習データベース１４１からオリジナルの訓練データを取得する場合、訓練データに対応付けられた非保存対象種別を参照し、非保存対象種別に対応する複数のダミー情報を生成する。拡張部１５０ｂは、訓練データにダミー情報を追加する処理を行うことで、複数の訓練データを生成する。

【0045】

拡張部１５０ｂは、非保存対象種別が「ナンバープレート」である場合、ナンバープレートの雛形データ（図示略）を取得し、雛形データに数字をランダムに設定することで、複数のダミー情報を生成する。たとえば、雛形データは、記憶部１４０に予め保存されているものとする。または、拡張部１５０ｂは、訓練データと、ナンバープレートの形状を定義したテンプレートとのマッチングを行い、訓練データからナンバープレートを検出する。拡張部１５０ｂは、検出したナンバープレートの数字の一部または全部を他の数字に置き換えることで、ダミー情報を生成してもよい。

【0046】

拡張部１５０ｂは、非保存対象種別が「顔画像」である場合、顔画像テーブル（図示略）を取得し、顔画像テーブル（図示略）に設定された複数の顔画像をダミー情報として利用する。たとえば、顔画像テーブルは、記憶部１４０に予め保存されているものとする。または、拡張部１５０ｂは、訓練データと、顔の特徴を定義したテンプレートとのマッチングを行い、訓練データから顔画像を検出してもよい。拡張部１５０ｂは、検出した顔画像の一部または全部を他の顔画像に置き換えて、ダミー情報を生成してもよい。拡張部１５０ｂは、他の顔画像を、顔画像テーブルから取得してもよい。

【0047】

拡張部１５０ｂは、非保存対象種別が「端末画面」である場合、画面テーブル（図示略）を取得し、画面テーブル（図示略）に設定された複数の端末画面をダミー情報として利用する。たとえば、画面テーブルは、記憶部１４０に予め保存されているものとする。または、拡張部１５０ｂは、訓練データと、端末画面の特徴を定義したテンプレートとのマッチングを行い、訓練データから端末画面を検出してもよい。拡張部１５０ｂは、検出した端末画面の一部または全部を他の端末画面に置き換えて、ダミー情報を生成してもよい。拡張部１５０ｂは、他の端末画面を、画面テーブルから取得してもよい。

【0048】

拡張部１５０ｂは、オリジナルの訓練データのデータ番号と、データ拡張した訓練データと、オリジナルの訓練データに対応する正解ラベルとを対応付けて、拡張訓練データテーブル１４２に保存する。拡張部１５０ｂは、学習データベース１４１に保存される各訓練データに対して、上記処理を繰り返し実行する。

【0049】

特徴量生成部１５０ｃは、データ拡張された複数の訓練データを、第１ＮＮ５０ａに入力し、訓練データ毎に、中間特徴量を生成する処理部である。以下において、特徴量生成部１５０ｃの処理の一例について説明する。

【0050】

特徴量生成部１５０ｃは、第１ＮＮ５０ａを実行し、パラメータテーブル１４３に格納されたパラメータθ１を第１ＮＮ５０ａのパラメータとして設定する。特徴量生成部１５０ｃは、拡張訓練データテーブル１４２から、データ番号と、データ番号に紐付く複数の訓練データを取得し、取得した複数の訓練データを、順に第１ＮＮ５０ａに入力する。特徴量生成部１５０ｃは、第１ＮＮ５０ａに設定されたパラメータθ１を用いて、複数の訓練データの中間特徴量をそれぞれ算出する。

【0051】

特徴量生成部１５０ｃは、参照特徴量を参照特徴量データベース１４４から取得し、訓練データに対応する中間特徴量と、参照特徴量との２乗誤差を算出する。中間特徴量と比較される参照特徴量は、データ拡張の元となるオリジナルの訓練データに対応する参照特徴量である。図１を用いて説明すると、中間特徴量ｚ１．１～ｚ１．３と比較される参照特徴量は、訓練データｘ１に対応する参照特徴量ｚ１となる。特徴量生成部１５０ｃは、中間特徴量と、データ番号と、２乗誤差の情報とを、学習部１５０ｄに出力する。

【0052】

特徴量生成部１５０ｃは、拡張訓練データテーブル１４０ｂから、データ拡張された訓練データを取得して、中間特徴量を算出する処理、２乗誤差の情報を算出する処理、中間特徴量と、データ番号と、２乗誤差の情報とを、学習部１５０ｄに出力する処理を繰り返し実行する。

【0053】

学習部１５０ｄは、第１ＮＮ５０ａおよび第２ＮＮ５０ｂのパラメータを学習する処理部である。以下において、学習部１５０ｄの処理を説明する。学習部１５０ｄは、第１ＮＮ５０ａを実行し、パラメータテーブル１４３に格納されたパラメータθ１を第１ＮＮ５０ａのパラメータとして設定する。また、学習部１５０ｄは、第２ＮＮ５０ｂを実行し、パラメータテーブル１４３に格納されたパラメータθ２を第２ＮＮ５０ｂのパラメータとして設定する。

【0054】

学習部１５０ｄは、特徴量生成部１５０ｃから取得する中間特徴量を、第２ＮＮ５０ｂに入力する。学習部１５０ｄは、第２ＮＮに設定されたパラメータθ２を用いて、出力ラベルを算出する。

【0055】

図８は、本実施例に係る学習部の処理を説明するための図である。たとえば、学習部１５０ｄは、中間特徴量ｚ１．１を第２ＮＮ５０ｂに入力し、出力ラベルｙ１．１を算出する。学習部１５０ｄは、誤差逆伝搬法に基づいて、出力ラベルｙ１．１と、正解ラベルｙ１とが近づくように、第１ＮＮのパラメータθ１および第２ＮＮのパラメータθ２を学習する。また、学習部１５０ｄは、中間特徴量ｚ１．１と、参照特徴量ｚ１との２乗誤差が小さくなるように、第１ＮＮのパラメータθ１および参照特徴量ｚ１を学習する。学習部１５０ｄは、特徴量生成部２５０ｃから、中間特徴量と、データ番号と、２乗誤差の情報とを取得する度に、上記処理を繰り返し実行する。

【0056】

学習部１５０ｄは、学習したパラメータθ１、θ２によって、パラメータテーブル１４３のパラメータθ１、θ２を更新する。また、学習部１５０ｄは、学習した参照特徴量によって、参照特徴量テーブル１４０ｄの参照特徴量を更新する。更新対象の参照特徴量は、特徴量生成部１５０ｃから取得するデータ番号に対応付けられた参照特徴量となる。

【0057】

すなわち、学習部１５０ｄは、出力ラベルと正解ラベルとの誤差を下げつつ、また、中間特徴量と参照特徴量との類似度が上がるように、第１ＮＮおよび第２ＮＮのパラメータθ１、θ２、参照特徴量を学習する。中間特徴量と参照特徴量との２乗誤差が小さくなるほど、中間特徴量と参照特徴量との類似度が上がることを意味する。

【0058】

次に、本実施例に係る学習装置１００の処理手順の一例について説明する。図９は、本実施例に係る学習装置の処理手順を示すフローチャートである。図９に示すように、学習装置１００の拡張部１５０ｂは、学習データベース１４１から、訓練データを取得する（ステップＳ１０１）。

【0059】

拡張部１５０ｂは、訓練データに対応する非保存対象種別を特定する（ステップＳ１０２）。拡張部１５０ｂは、非保存対象種別に応じたダミー情報を、訓練データに加えてデータ拡張を行う（ステップＳ１０３）。

【0060】

学習装置１００の特徴量生成部１５０ｃは、第１ＮＮ５０ａに訓練データを入力して、中間特徴量を生成する（ステップＳ１０４）。学習装置１００の学習部１５０ｄは、中間特徴量を第２ＮＮ５０ｂに入力し、第２ＮＮ５０ｂから出力される出力ラベルと正解ラベルとの誤差が小さくなるように、パラメータθ１，θ２を学習する（ステップＳ１０５）。

【0061】

特徴量生成部１５０ｃは、中間特徴量と参照特徴量との２乗誤差（類似度）を算出する（ステップＳ１０６）。学習部１５０ｄは、中間特徴量と参照特徴量との類似度が上がるように、パラメータθ１、参照特徴量を学習する（ステップＳ１０７）。

【0062】

学習装置１００は、学習を終了しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０１に移行する。一方、学習装置１００は、学習を終了する場合には（ステップＳ１０８，Ｙｅｓ）、学習したパラメータθ１、θ２を、パラメータテーブル１４３に格納する（ステップＳ１０９）。学習装置１００は、学習した参照特徴量を、参照特徴量テーブル２４０ｄに格納する（ステップＳ１１０）。

【0063】

なお、学習装置１００は、パラメータテーブル１４３に格納された学習済みのパラメータθ１、θ２を、表示部１３０に表示してもよいし、パラメータθ１、θ２を用いて、各種の判定を行う判定装置に、パラメータθ１、θ２の情報を通知してもよい。

【0064】

学習装置１００は、学習データベース１４１に新たな顧客の訓練データの情報が格納された場合には、学習データベース１４１の新たな訓練データと正解ラベルとを基にして、第２ＮＮのパラメータθ２を学習する。また、学習装置１００は、参照特徴量データベース１４４に保存された参照特徴量と正解ラベルとを基にして、第２ＮＮのパラメータθ２を学習する。

【0065】

次に、本実施例に係る学習装置１００の効果について説明する。図１０は、本実施例に係る学習装置の効果を説明するための図である。学習装置１００は、非保存対象情報に類似するダミー情報をオリジナルの訓練データに追加するデータ拡張を行って、複数の訓練データを生成する。学習装置は、複数の訓練データの中間特徴量が参照特徴量と類似し、かつ、出力ラベルが正解ラベルに近づくように、深層学習モデルのパラメータおよび参照特徴量を学習する。この学習により、データ拡張の効果を打ち消すような学習が行われ、学習の進行に応じて、非保存対象情報が、参照特徴量から減少する。これによって、参照特徴量を次の逐次学習に引き継いで使用する場合に、不適切な情報が残ることを抑止することができる。

【0066】

学習装置１００は、個人を特定可能な非保存対象情報を基にしたダミー情報を生成し、ダミー情報をオリジナルの訓練データに追加してデータ拡張を行うため、ダミー情報の効果を打ち消すような学習を容易に実行することができる。また、情報漏洩リスクを低減することができる。

【0067】

学習装置１００は、参照特徴量データベース１４４に含まれる参照特徴量と、正解ラベルとの組を用いて、逐次学習を繰り返し実行する。参照特徴量には、非保存対象情報が含まれないように学習されているため、逐次学習を繰り返し行っても、参照特徴量に、各顧客の非保存対象情報が残ることを抑止することができる。

【0068】

次に、本実施例に示した学習装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図１１は、本実施例に係る学習装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。

【0069】

図１１に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、ユーザからのデータの入力を受け付ける入力装置３０２と、ディスプレイ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る読み取り装置３０４と、有線または無線ネットワークを介して、外部装置等との間でデータの授受を行うインタフェース装置３０５とを有する。コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０６と、ハードディスク装置３０７とを有する。そして、各装置３０１～３０７は、バス３０８に接続される。

【0070】

ハードディスク装置３０７は、取得プログラム３０７ａ、拡張プログラム３０７ｂ、特徴量生成プログラム３０７ｃ、学習プログラム３０７ｄを有する。ＣＰＵ３０１は、取得プログラム３０７ａ、拡張プログラム３０７ｂ、特徴量生成プログラム３０７ｃ、学習プログラム３０７ｄを読み出してＲＡＭ３０６に展開する。

【0071】

取得プログラム３０７ａは、取得プロセス３０６ａとして機能する。拡張プログラム３０７ｂは、拡張プロセス３０６ｂとして機能する。特徴量生成プログラム３０７ｃは、特徴量生成プロセス３０６ｃとして機能する。学習プログラム３０７ｄは、学習プロセス３０６ｄとして機能する。

【0072】

取得プロセス３０６ａの処理は、取得部１５０ａの処理に対応する。拡張プロセス３０６ｂの処理は、拡張部１５０ｂの処理に対応する。特徴量生成プロセス３０６ｃの処理は、特徴量生成部１５０ｃの処理に対応する。学習プロセス３０６ｄの処理は、学習部１５０ｄの処理に対応する。

【0073】

なお、各プログラム３０７ａ～３０７ｄについては、必ずしも最初からハードディスク装置３０７に記憶させておかなくてもよい。例えば、コンピュータ３００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ３００が各プログラム３０７ａ～３０７ｄを読み出して実行するようにしてもよい。

【0074】

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。

【0075】

（付記１）コンピュータが実行する学習方法であって、
元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成し、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成し、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が参照特徴量に類似するように、前記学習モデルのパラメータを学習する
処理を実行することを特徴とする学習方法。

【0076】

（付記２）前記拡張教師データを生成する処理は、前記非保存対象情報を基にしたダミー情報を生成し、生成したダミー情報を前記元教師データに追加することで、前記拡張教師データを生成することを特徴とする付記１に記載の学習方法。

【0077】

（付記３）前記非保存対象情報は、個人を特定可能な情報であり、前記拡張教師データを生成する処理は、前記個人を特定可能な情報に類似する情報を、前記ダミー情報として生成することを特徴とする付記２に記載の学習方法。

【0078】

（付記４）学習した参照特徴量と、元教師データに対応する正解情報とを対応付けて保存する処理を更に実行することを特徴とする付記１、２または３に記載の学習方法。

【0079】

（付記５）コンピュータに、
元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成し、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成し、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が参照特徴量に類似するように、前記学習モデルのパラメータを学習する
処理を実行させることを特徴とする学習プログラム。

【0080】

（付記６）前記拡張教師データを生成する処理は、前記非保存対象情報を基にしたダミー情報を生成し、生成したダミー情報を前記元教師データに追加することで、前記拡張教師データを生成することを特徴とする付記５に記載の学習プログラム。

【0081】

（付記７）前記非保存対象情報は、個人を特定可能な情報であり、前記拡張教師データを生成する処理は、前記個人を特定可能な情報に類似する情報を、前記ダミー情報として生成することを特徴とする付記６に記載の学習プログラム。

【0082】

（付記８）学習した参照特徴量と、元教師データに対応する正解情報とを対応付けて保存する処理を更に実行することを特徴とする付記５、６または７に記載の学習プログラム。

【0083】

（付記９）元教師データに含まれる非保存対象情報を基にして、前記元教師データをデータ拡張した複数の拡張教師データを生成する拡張部と、
前記複数の拡張教師データを学習モデルに入力して、複数の中間特徴量を生成する特徴量生成部と、
前記複数の中間特徴量に関して、同一の元教師データからデータ拡張された複数の拡張教師データから生成される各中間特徴量が参照特徴量に類似するように、前記学習モデルのパラメータを学習する学習部と
を有することを特徴とする学習装置。

【0084】

（付記１０）前記拡張部は、前記非保存対象情報を基にしたダミー情報を生成し、生成したダミー情報を前記元教師データに追加することで、前記拡張教師データを生成することを特徴とする付記９に記載の学習装置。

【0085】

（付記１１）前記非保存対象情報は、個人を特定可能な情報であり、前記拡張部は、前記個人を特定可能な情報に類似する情報を、前記ダミー情報として生成することを特徴とする付記１０に記載の学習装置。

【0086】

（付記１２）前記学習部は、学習した参照特徴量と、元教師データに対応する正解情報とを対応付けて保存する処理を更に実行することを特徴とする付記９、１０または１１に記載の学習装置。

【符号の説明】

【0087】

１００ 学習装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 学習データベース
１４２ 拡張訓練データテーブル
１４３ パラメータテーブル
１４４ 参照特徴量データベース
１５０ 制御部
１５０ａ 取得部
１５０ｂ 拡張部
１５０ｃ 特徴量生成部
１５０ｄ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】