知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社東芝の特許一覧 ▶ 東芝ソリューション株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-28
(45)【発行日】2025-03-10
(54)【発明の名称】学習装置、学習方法、及び学習済みモデル
(51)【国際特許分類】
G06N 3/09 20230101AFI20250303BHJP
G06N 20/00 20190101ALI20250303BHJP
【ＦＩ】
G06N3/09
G06N20/00 130
【請求項の数】
7
(21)【出願番号】P 2019231681
(22)【出願日】2019-12-23
(65)【公開番号】P2021099702
(43)【公開日】2021-07-01
【審査請求日】2022-11-25
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(73)【特許権者】
【識別番号】301063496
【氏名又は名称】東芝デジタルソリューションズ株式会社
(74)【代理人】
【識別番号】110001634
【氏名又は名称】弁理士法人志賀国際特許事務所
(72)【発明者】
【氏名】伊藤 秀将
(72)【発明者】
【氏名】水谷 博之
(72)【発明者】
【氏名】湯浅 真由美
(72)【発明者】
【氏名】馬場 邦雄
(72)【発明者】
【氏名】入本 勇宇次
【審査官】円子 英紀
(56)【参考文献】
【文献】国際公開第２０１９／１６００９０（ＷＯ，Ａ１）
【文献】国際公開第２０１９／０３１３０５（ＷＯ，Ａ１）
【文献】特開２０１３－０５８０９５（ＪＰ，Ａ）
【文献】特開２０１０－２５７１４０（ＪＰ，Ａ）
【文献】特開２００９－１８６２４３（ＪＰ，Ａ）
【文献】特開２０１９－１７４８７０（ＪＰ，Ａ）
【文献】久保 久彦，機械学習を用いた地震動予測において偏ったデータセットが与える影響を軽減するための試み，人工知能学会全国大会論文集 第３３回全国大会（２０１９），一般社団法人 人工知能学会，2019年06月，pp.1-3
【文献】進藤 智則，Sexy Technology，日経Ｒｏｂｏｔｉｃｓ，日経ＢＰ社，2018年03月10日，第33号，pp.4-11
【文献】識名 朝彬，ルールベースガイドによるドメイン知識活用型機械学習システムの実現，信学技報 IEICE Technical Report CPSY2019-44，一般社団法人 電子情報通信学会，2019年11月06日，pp.23-28
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８－３／０９８５
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
第１入力データに対して、前記第１入力データに応じて出力すべき正解の第１出力データが対応付けられた複数の第１データセットを取得する取得部と、第２入力データに対して、前記第２入力データに応じて出力すべき正解の第２出力データが対応付けられた複数の第２データセットに基づいて学習されたモデルを、前記取得部によって取得された前記複数の第１データセットに基づいて再学習する学習部と、を備え、
前記学習部は、
前記モデルを再学習する際に、前記第２入力データに対して係数１の重みを付与し、前記第１入力データに対して、前記第２入力データに付与される前記係数１よりも大きな重みを付与し、
前記第１入力データが入力された前記モデルが正解の前記第１出力データを出力することを制約条件とし、前記第２入力データが入力された前記モデルによって正解の前記第２出力データが出力される程度に関する目的関数を最適化する二次計画問題を解くことで、前記重みを決定する、
学習装置。
【請求項2】
前記モデルは、入力層と、一つ以上の中間層と、出力層とを含むニューラルネットワークであり、前記目的関数は、
前記第１入力データを前記ニューラルネットワークに入力したときに前記第１入力データが前記ニューラルネットワークに影響を与える度合いを表す第１影響度と、
前記第１入力データを前記ニューラルネットワークに入力したときに前記中間層から前記出力層へと出力された第１特徴量と、
前記第２入力データを前記ニューラルネットワークに入力したときに前記中間層から前記出力層へと出力された第２特徴量と、を変数として含む、
請求項１に記載の学習装置。
【請求項3】
前記学習部は、前記決定した重みに基づいて、前記モデルを再学習する、請求項２に記載の学習装置。
【請求項4】
前記学習部は、前記決定した重み、前記第１影響度、及び前記第１特徴量の積と、前記第２入力データを前記ニューラルネットワークに入力したときに前記第２入力データが前記ニューラルネットワークに影響を与える度合いを表す第２影響度、及び前記第２特徴量の積とに基づいて、前記モデルのパラメータを更新する、請求項３に記載の学習装置。
【請求項5】
前記学習部は、前記再学習の前後で前記モデルのパラメータの変化が小さくなるように、メタ学習によって前記再学習が行われる前の前記モデルを学習する、請求項１から４のうちいずれか一項に記載の学習装置。
【請求項6】
コンピュータが、第１入力データに対して、前記第１入力データに応じて出力すべき正解の第１出力データが対応付けられた複数の第１データセットを取得し、
第２入力データに対して、前記第２入力データに応じて出力すべき正解の第２出力データが対応付けられた複数の第２データセットに基づいて学習されたモデルを、前記取得した複数の第１データセットに基づいて再学習し、
前記モデルを再学習する際に、前記第２入力データに対して係数１の重みを付与し、前記第１入力データに対して、前記第２入力データに付与される前記係数１よりも大きな重みを付与し、
前記第１入力データが入力された前記モデルが正解の前記第１出力データを出力することを制約条件とし、前記第２入力データが入力された前記モデルによって正解の前記第２出力データが出力される程度に関する目的関数を最適化する二次計画問題を解くことで、前記重みを決定する、
学習方法。
【請求項7】
第２入力データが入力されると、前記第２入力データに応じて出力すべき正解の第２出力データを出力させるようにコンピュータを機能させるための学習済みモデルであって、 第１入力データに対して、前記第１入力データに応じて出力すべき正解の第１出力データが対応付けられた複数の第１データセットに基づいて再学習され、前記再学習の際に、前記第２入力データに対して係数１の重みが付与され、前記第１入力データに対して、前記第２入力データに付与される前記係数１よりも大きな重みが付与され、
前記第１入力データが入力された前記モデルが正解の前記第１出力データを出力することを制約条件とし、前記第２入力データが入力された前記モデルによって正解の前記第２出力データが出力される程度に関する目的関数を最適化する二次計画問題を解くことで、前記重みが決定される、
学習済みモデル。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、学習装置、学習方法、及び学習済みモデルに関する。
【背景技術】
【0002】
近年、人工知能を産業領域に活用する試みが進められている。人工知能技術としては、おもに、ディープラーニングやその関連技術が多く、画像認識、故障解析、特性予測など適用範囲が広がっている。ディープラーニングを実問題に適用した場合、注意すべき特定のデータ（以下、要注意データと称する）の集合に対して、ニューラルネットワークなどのモデルが正しい答えを出力することをユーザが強く要求する場合がある。
【0003】
要注意データの集合はユーザの要件によって与えられるものであり、実際のデータの発生確率からサンプリングされるものではない。例えば、実験やシミュレーションを行うことで得られた故障データや、その他の特定の故障データのみをユーザが重点的に保存していた場合、これら故障データが要注意データとなる。要注意データの集合について、全て正答するようにモデルをファインチューニングした場合、要注意データに対する過学習が発生し得る。これは要注意データの分布が実際のデータの発生確率とは異なるにも関わらず、一律の重み付けを行うことから起きる問題である。全ての要注意データを正解するような重み付けをすると、モデルが本来の分布から離れた分布を想定して学習し、汎化性を失う可能性がある。そのため、本来のデータ分布に対して汎化性を保ちつつ、要注意データを精度よく正解するように学習可能な技術が求められる。
【0004】
これに関連し、システムに追加データが与えられたとき、元のモデルの重みを可能な限り維持しながら追加データを学習する技術が知られている。しかしながら、従来の技術では、要注意データのようにユーザが指定した特定のデータを精度よく正解しつつ、汎化性を十分に向上させることができていなかった。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１６－３３８０６号公報
【非特許文献】
【0006】
【文献】Chih-Kuan Yeh, Joon Sik Kim, Ian E.H. Yen, Pradeep Ravikumar, “Representer Point Selection for Explaining Deep Neural Networks”, 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), Montreal, Canada.
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明が解決しようとする課題は、特定のデータを精度よく正解しつつ、汎化性を向上させることができる学習装置、学習方法、及び学習済みモデルを提供することである。
【課題を解決するための手段】
【0008】
実施形態の学習装置は、取得部と、学習部とを持つ。前記取得部は、第１入力データに対して、前記第１入力データに応じて出力すべき正解の第１出力データが対応付けられた複数の第１データセットを取得する。前記学習部は、第２入力データに対して、前記第２入力データに応じて出力すべき正解の第２出力データが対応付けられた複数の第２データセットに基づいて学習されたモデルを、前記取得部によって取得された前記複数の第１データセットに基づいて再学習し、前記モデルを再学習する際に、前記第１入力データに対して、前記第２入力データよりも大きな重みを付与する。
【図面の簡単な説明】
【0009】
【図1】第１実施形態に係る学習装置の構成の一例を示す図。
【図2】第１実施形態に係る制御部のメインルーチンの処理の流れの一例を示すフローチャート。
【図3】学習済みモデルを模式的に示す図。
【図4】第１実施形態に係る制御部のサブルーチンの処理の流れの一例を示すフローチャート。
【図5】第２実施形態に係る制御部のサブルーチンの処理の流れの一例を示すフローチャート。
【図6】第３実施形態に係る制御部のメタ学習の処理の流れの一例を示すフローチャート。
【図7】ソースデータの分割について説明するための図。
【図8】メタ学習の方法を模式的に示す図。
【図9】実施形態に係る学習装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【0010】
以下、実施形態の学習装置、学習方法、及び学習済みモデルを、図面を参照して説明する。実施形態における学習装置は、一つ又は複数の特定の教師データ（訓練データともいう）に基づいて、既に学習されたモデル（以下、学習済みモデルと称する）を再学習する。教師データとは、ある入力データに対して、モデルが正解として出力すべき出力データが教師ラベル（ターゲットともいう）として対応付けられたデータセットである。特定の教師データとは、ユーザが入力データを要注意データに指定した教師データである。要注意データは、他の入力データよりも高い精度でモデルに正解を出力させてほしいとユーザが所望した入力データである。具体的には、要注意データは、製品の故障データや、人や動物の疾患データなどであってよい。
【0011】
（第１実施形態）
以下、第１実施形態に係る学習装置１００について説明する。第１実施形態に係る学習装置１００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。ネットワークＮＷには、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などが含まれてよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
以下、第１実施形態に係る学習装置１００について説明する。第１実施形態に係る学習装置１００は、単一の装置であってもよいし、ネットワークＮＷを介して接続された複数の装置が互いに協働して動作するシステムであってもよい。ネットワークＮＷには、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）などが含まれてよい。すなわち、学習装置２００は、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータ（プロセッサ）によって実現されてもよい。
【0012】
［学習装置の構成］
図１は、第１実施形態に係る学習装置１００の構成の一例を示す図である。第１実施形態の学習装置１００は、例えば、通信部１０２と、入力部１０４と、表示部１０６と、制御部１１０と、記憶部１３０とを備える。
図１は、第１実施形態に係る学習装置１００の構成の一例を示す図である。第１実施形態の学習装置１００は、例えば、通信部１０２と、入力部１０４と、表示部１０６と、制御部１１０と、記憶部１３０とを備える。
【0013】
通信部１０２は、例えば、ＮＩＣ（Network Interface Card）等の通信インターフェースや、ＤＭＡ（Direct Memory Access）コントローラなどを含む。通信部１０２は、ネットワークＮＷを介して外部装置と通信する。外部装置は、例えば、要注意データを含む教師データを提供した提供者が利用可能なコンピュータやサーバである。
【0014】
入力部１０４は、ユーザから各種の入力操作を受け付けるユーザインターフェースである。入力部１０４は、入力操作を受け付けると、その受け付けた入力操作を電気信号に変換して制御部１１０に出力する。例えば、入力部１０４は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルである。
【0015】
表示部１０６は、各種の情報を表示するユーザインターフェースである。例えば、表示部１０６は、制御部１１０によって生成された画像を表示したり、学習装置１００のユーザから各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）などを表示したりする。例えば、表示部１０６は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどである。入力部１０４がタッチパネルである場合、表示部１０６は入力部１０４と一体として構成されてよい。
【0016】
制御部１１０は、例えば、取得部１１２と、学習部１１４と、出力制御部１１６とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などのプロセッサが記憶部１３０に格納されたプログラムを実行することにより実現される。また、制御部１１０の構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【0017】
記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラムなどの各種プログラムの他に、モデルデータ１３２などを格納する。
【0018】
モデルデータ１３２は、学習済みモデルＭＤＬを定義した情報（プログラムまたはデータ構造）である。例えば、学習済みモデルＭＤＬは、ある対象の性質を分類する分類器や、対象の状態を判定する判定器、画像を生成する生成器、画像から特徴量を抽出する抽出器といった種々のモデルであってよい。
【0019】
学習済みモデルＭＤＬは、任意の入力データに対して、モデルＭＤＬが正解として出力すべき出力データが教師ラベルとして対応付けられた複数の教師データに基づいて教師あり学習されたモデルである。学習済みモデルＭＤＬは、例えば、入力層と、少なくとも一つの中間層（隠れ層）と、出力層とを含むディープニューラルネットワーク（以下、ＤＮＮと称する）によって構成される。
【0020】
モデルデータ１３２には、例えば、ＤＮＮを構成する複数の層のそれぞれに含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数などの各種情報が含まれる。結合情報とは、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。ユニットを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、その他の関数などであってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、例えば、ＤＮＮの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
【0021】
［再学習（再訓練）のメインルーチンの処理フロー］
以下、フローチャートに即して制御部１１０の一連の処理の流れを説明する。図２は、第１実施形態に係る制御部１１０のメインルーチンの処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。また、学習装置１００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
以下、フローチャートに即して制御部１１０の一連の処理の流れを説明する。図２は、第１実施形態に係る制御部１１０のメインルーチンの処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、所定の周期で繰り返し行われてよい。また、学習装置１００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
【0022】
まず、取得部１１２は、通信部１０２を介して、外部装置から、学習済みモデルＭＤＬを再学習するための複数の新規教師データを取得する（ステップＳ１００）。新規教師データは、上述した特定の教師データに相当する。すなわち、新規教師データは、要注意データが入力データとして含まれる教師データである。新規教師データは「第１データセット」の一例であり、要注意データは「第１入力データ」の一例であり、その要注意データに教師ラベルとして対応付けられた出力データは「第１出力データ」の一例である。
【0023】
また、学習装置１００のドライブ装置（例えばＵＳＢ（Universal Serial Bus）フラッシュドライブ）に記憶媒体が装着された場合、取得部１１２は、その記憶媒体から複数の新規教師データを取得してもよい。
【0024】
次に、学習部１１４は、取得部１１２によって取得された複数の新規教師データのそれぞれに含まれる要注意データを個別に重み付けて、学習済みモデルＭＤＬを再学習する（ステップＳ１０２）。
【0025】
次に、出力制御部１１６は、学習部１１４によって再学習された学習済みモデルＭＤＬ（以下、再学習済みモデルＭＤＬ＃）を再定義したモデルデータ１３２を出力する（ステップＳ１０４）。例えば、出力制御部１１６は、通信部１０２を介して、新規教師データを提供した外部装置に、再学習済みモデルＭＤＬ＃を再定義したモデルデータ１３２を送信してもよいし、表示部１０６に再学習済みモデルＭＤＬ＃を表示させてもよい。これによって本フローチャートの処理が終了する。
【0026】
［再学習の具体的手法］
以下、学習済みモデルＭＤＬを再学習する具体的な方法について説明する。図３は、学習済みモデルＭＤＬを模式的に示す図である。非特許文献１に記載されるように、出力層にＬ２正則化が与えられたＤＮＮでは、数式（１）の関係式が成り立つことが知られている。
以下、学習済みモデルＭＤＬを再学習する具体的な方法について説明する。図３は、学習済みモデルＭＤＬを模式的に示す図である。非特許文献１に記載されるように、出力層にＬ２正則化が与えられたＤＮＮでは、数式（１）の関係式が成り立つことが知られている。
【0027】
【数1】
【0028】
式中のｘｔは、学習済みのＤＮＮをテストするために任意に選定された入力データを表している。この入力データには教師ラベルが対応付けられていてもよいし、対応付けられていてなくてもよい。以下、任意に選定された入力データのことを「テストデータ」と称して説明する。
【0029】
ｆｔ（→）は、テストデータｘｔをＤＮＮに入力したときの出力層前の特徴量を表している。括弧付き矢印（→）が付いたアルファベットやギリシャ文字は、ベクトル、テンソル、或いは行列を表すものとする。
【0030】
出力層前の特徴量とは、最も出力層に近い中間層（以下、直前の中間層と称する）から出力層に対して出力された特徴量である。具体的には、出力層前の特徴量は、直前の中間層において活性化関数によって返された値が出力層に出力される際に、その活性化関数の出力値に対して重み係数が乗算された値である。この際、活性化関数の出力値には、更にバイアス成分が加算されてもよい。
【0031】
ｆｉ（→）は、過去にＤＮＮを学習させた際に利用されたｎ個の教師データのそれぞれに含まれる入力データのうち、ある着目する一つの入力データｘｉをＤＮＮに入力したときの出力層前の特徴量を表している。ｎは任意の自然数である。また、Ｔは転置を表している。ｎ個の入力データの中には、上述した要注意データが含まれていてもよいし、含まれていなくてもよい。以下、過去にＤＮＮを学習させた際に利用された入力データのことを「学習データ」と称して説明する。ｎ個の教師データは「第２データセット」の一例である。学習データは「第２入力データ」の一例であり、その学習データに教師ラベルとして対応付けられた出力データは「第２出力データ」の一例である。
【0032】
αｉは、ある学習データｘｉをＤＮＮに入力したときに、その学習データｘｉがＤＮＮに影響を与える度合い（以下、影響度と称する）を表している。影響度αｉの詳細については後述する。
【0033】
Θ＊（→）は、ＤＮＮに含まれる全ての層のパラメータ（重み係数やバイアス成分といったＤＮＮに関するあらゆるパラメータを含む）を表している。
【0034】
Φ（ｘｔ，Θ＊）（→）は、パラメータがΘ＊であるＤＮＮにテストデータｘｔを入力したときの出力層の出力値であり、出力層の活性化関数（例えばソフトマックス関数など）には未だ入力されていない特徴量を表している。
【0035】
数式（１）は、ＤＮＮに学習データｘｉを入力したときの出力層前の特徴量ｆｉ（→）と、ＤＮＮにテストデータｘｔを入力したときの出力層前の特徴量ｆｔ（→）との内積に対して影響度αｉという重み係数を乗算した値（＝αｉｆｉ（→）Ｔｆｔ（→））を、ｎ個の学習データのそれぞれについて導出し、更に、その導出したｎ個の値の和（つまり重み付き和）が、出力層の出力値Φ（ｘｔ，Θ＊）（→）に等しいことを表している。そのため、ｆｉ（→）とｆｔ（→）との内積が大きかったり、或いは影響度αｉが大きかったりするほど、出力層の出力値Φ（ｘｔ，Θ＊）（→）が大きくなる傾向にある。言い換えれば、学習データｘｉとテストデータｘｔとの特徴が互いに類似していたり、影響度αｉが大きかったりするほど、出力層の出力値Φ（ｘｔ，Θ＊）（→）が大きくなる傾向にある。
【0036】
上述した影響度αｉは、数式（２）によって表すことができる。
【0037】
【数2】
【0038】
式中のΘ１（→）は、ＤＮＮの出力層のパラメータである重み行列を表している。Ｌ（ｘｔ，ｙｔ，Θ１（→））は、出力層のパラメータがΘ１（→）であるＤＮＮに学習データｘｉを入力したときの損失関数を表している。λは、ＤＮＮのハイパーパラメータ（正の定数）を表している。数式（２）に示すように、影響度αｉは、損失関数Ｌ（ｘｔ，ｙｔ，Θ１（→））を、出力層の出力値Φ（ｘｉ，Θ１（→））（→）で偏微分した値に依存する。
【0039】
上述した数式（１）が成り立つ場合、ＤＮＮの出力層の重み行列Θ１（→）は、数式（３）によって表すことができる。
【0040】
【数3】
【0041】
ここで、複数の新規教師データのそれぞれに含まれる要注意データをＤＮＮに入力したときの出力層の重み行列について考える。例えば、要注意データの数をｍ個とした場合、ｍ個の要注意データのそれぞれを、ある重みβｉで再学習（追加学習）した際のＤＮＮの出力層の重み行列Θ１´（→）は、数式（４）によって表すことができる。ｍは任意の自然数であり、ｎよりも十分小さい数である。
【0042】
【数4】
【0043】
数式（４）において、ダッシュ記号（´）が付いたパラメータは、ｍ個の要注意データを学習済みＤＮＮに入力したときの各種パラメータを表している。具体的には、数式（４）は、ｎ個の学習データのうち、あるｊ番目の学習データｘｊを学習済みＤＮＮに入力したときの出力層前の特徴量ｆｊ（→）と、その学習データｘｊの影響度αｊとの重み付き和（＝Σαｊｆｊ（→）Ｔ）と、ｍ個の要注意データのうち、あるｉ番目の要注意データｘｉを学習済みＤＮＮに入力したときの出力層前の特徴量ｆｉ´（→）と、その要注意データｘｉの影響度αｉ´と、重みβｉとの重み付き和（＝Σβｉαｊ´ｆｊ´（→）Ｔ）とを足し合わせたものに、重み行列Θ１´（→）が等しいことを表している。
【0044】
学習データｘｊを学習済みＤＮＮに入力したときの出力層前の特徴量ｆｊ（→）は、「第２特徴量」の一例であり、要注意データｘｉを学習済みＤＮＮに入力したときの出力層前の特徴量ｆｉ´（→）は、「第１特徴量」の一例である。学習データｘｊの影響度αｊは、「第２影響度」の一例であり、要注意データｘｉの影響度αｉ´は、「第１影響度」の一例である。
【0045】
要注意データの数ｍは、元の学習データの数ｎに比べて十分に少ないため、数式（５）が成り立つ。このとき、ｍ個の要注意データを用いて学習済みＤＮＮを再学習した場合（重み行列Θ１´（→）を適用した場合）、そのＤＮＮの出力精度（例えば分類精度や識別精度など）への影響は、数式（６）によって表すことができる。
【0046】
【数5】
【0047】
【数6】
【0048】
次に、要注意データの制約条件について考える。ここでは二値分類を例に挙げる。ｍ個の要注意データを任意の定数Ｍのマージンをもって正解するような重みβｉについては、数式（７）が成り立つ。式中のｙｋ（→）は、正解ラベルを１とし、不正解ラベルを－１とした二次元のベクトルである。また、ｋは、１からｍの集合に含まれる何れか一つの値である。
【0049】
【数7】
【0050】
ｍ個の要注意データを全て正解しつつ、ｎ個の学習データへの影響を最小限に留めるように、再学習する際の要注意データの重みβｉを決定する問題は、数式（９）に示す制約条件を満たしつつ、数式（８）に示す目的関数を最小化することで解くことができる。数式（９）に示す制約条件は、ｍ個の要注意データのそれぞれに応じて変動する制約条件（各要注意データ個別の制約条件）を表しており、ｍ個の要注意データが学習済みＤＮＮに入力されると、その学習済みＤＮＮが、ｍ個の要注意データのそれぞれについて正解となるデータを出力することを条件としている。数式（８）に示す目的関数は、ｎ個の学習データが入力された学習済みＤＮＮによって正解となるデータがどの程度出力されるのかを表した関数である。このような目的関数を解く問題は、不等式制約付きの二次計画問題と呼ばれる。
【0051】
【数8】
【0052】
【数9】
【0053】
学習部１１４は、例えば、上述した理論に基づく二次計画問題を、ラグランジュの未定乗数法や内点法、外点法などの手法を用いて解くことで最適な重みβｉを導出する。そして、学習部１１４は、導出した重みβｉに基づいて、ｍ個の要注意データを用いて学習済みモデルＭＤＬを再学習する。
【0054】
［再学習のサブルーチンの処理フロー］
以下、学習済みモデルＭＤＬを再学習する具体的な処理の流れについて、サブルーチンのフロチャートを用いて説明する。図４は、第１実施形態に係る制御部１１０のサブルーチンの処理の流れの一例を示すフローチャートである。本フローチャートの処理は、上述したＳ１０２の処理に相当する。
以下、学習済みモデルＭＤＬを再学習する具体的な処理の流れについて、サブルーチンのフロチャートを用いて説明する。図４は、第１実施形態に係る制御部１１０のサブルーチンの処理の流れの一例を示すフローチャートである。本フローチャートの処理は、上述したＳ１０２の処理に相当する。
【0055】
まず、学習部１１４は、ｍ個の要注意データを用いて学習済みモデルＭＤＬを再学習する際に、数式（９）に示す制約条件を満たすか否かを判定する（ステップＳ２００）。言い換えれば、学習部１１４は、ｍ個の要注意データを学習済みモデルＭＤＬに入力したときに、その学習済みモデルＭＤＬがマージンＭの範囲内で正解となるデータを出力するか否かを判定する。初回の処理において、要注意データの重みβｉは、任意の初期値であってよい。
【0056】
学習部１１４は、制約条件を満たすと判定した場合（学習済みモデルＭＤＬが正解となるデータを出力すると判定した場合）、更なる再学習が必要でないため、本フローチャートの処理を終了する。
【0057】
一方、学習部１１４は、制約条件を満たさないと判定した場合（学習済みモデルＭＤＬが正解となるデータを出力しないと判定した場合）、要注意データの数ｍがｋ未満であるか否かを判定する（ステップＳ２０２）。
【0058】
学習部１１４は、要注意データの数ｍがｋ以上である場合、要注意データの数ｍがｋ未満となるまでＳ２００の判定処理を繰り返しながら待機する。この際、出力制御部１１６は、要注意データの数ｍをｋ未満に調整するようにユーザに促す情報を、通信部１０２を介して、外部装置に対して送信してよい。外部装置は、上述したように、要注意データを含む教師データを学習装置１００に提供した装置であってよい。
【0059】
一方、学習部１１４は、要注意データの数ｍがｋ未満である場合、要注意データｘｉを学習済みモデルＭＤＬに入力し、その要注意データｘｉを入力した学習済みモデルＭＤＬから、出力層前の特徴量ｆｉ´（→）を抽出する（ステップＳ２０４）。
【0060】
次に、学習部１１４は、抽出した出力層前の特徴量ｆｉ´（→）を基に、数式（８）に示す二次計画問題を解くことで、要注意データの重みβｉを算出する（ステップＳ２０６）。
【0061】
次に、学習部１１４は、二次計画問題の解が存在するか否かを判定する（ステップＳ２０８）。
【0062】
学習部１１４は、二次計画問題の解が存在しない場合、ｍ個の要注意データのそれぞれの重みβｉを一律に増加させる（ステップＳ２１０）。そして、学習部１１４は、Ｓ２００の処理に戻り、増加させた重みβｉを基に、制約条件を満たすか否かを再度判定する。
【0063】
一方、学習部１１４は、二次計画問題の解が存在する場合、その解に対応した（その解に相当した）重みβｉを基に、学習済みモデルＭＤＬの出力層のパラメータである重み行列Θ１´（→）を計算する（ステップＳ２１２）。具体的には、学習部１１４は、数式（４）に重みβｉを代入することで、重み行列Θ１´（→）を求める。
【0064】
次に、学習部１１４は、学習済みモデルＭＤＬの出力層のパラメータを、計算によって得られた重み行列Θ１´（→）に更新する（ステップＳ２１４）。この結果、記憶部１３０に記憶されたモデルデータ１３２が、再学習済みモデルＭＤＬ＃を定義したデータに更新される。これによって本フローチャートの処理が終了する。
【0065】
以上説明した第１実施形態によれば、学習済みモデルＭＤＬを再学習する際に、新規教師データの中に入力データとして含まれる要注意データに対して重みβｉを付与する。重みβｉは、数式（４）に示すように、学習データｘｊに重みとして付与される係数１よりも大きい。そのため、過去の学習で用いられた教師データよりも、再学習で用いられる新規教師データの比重を大きくすることができ、学習済みモデルＭＤＬの汎化性を維持しながら、要注意データを精度よく正解することができる。
【0066】
（第２実施形態）
以下、第２実施形態について説明する。上述した第１実施形態では、学習済みモデルＭＤＬの再学習として、出力層のパラメータである重み行列Θ１´（→）のみを更新するものとして説明した。これに対して、第２実施形態では、学習済みモデルＭＤＬの出力層だけでなく、学習済みモデルＭＤＬ全体を再学習する点で上述した第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
以下、第２実施形態について説明する。上述した第１実施形態では、学習済みモデルＭＤＬの再学習として、出力層のパラメータである重み行列Θ１´（→）のみを更新するものとして説明した。これに対して、第２実施形態では、学習済みモデルＭＤＬの出力層だけでなく、学習済みモデルＭＤＬ全体を再学習する点で上述した第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
【0067】
図５は、第２実施形態に係る制御部１１０のサブルーチンの処理の流れの一例を示すフローチャートである。以下、上述した第１実施形態のフローチャートとの相違点について主に説明する。
【0068】
学習部１１４は、Ｓ２０２の処理において、要注意データの数ｍがｋ以上であると判定した場合、或いは、Ｓ２０８の処理において、二次計画問題の解が存在しないと判定した場合、学習済みモデルＭＤＬ全体を再学習する（ステップＳ２１６）。
【0069】
例えば、学習部１１４は、初回の処理時に、要注意データの数ｍがｋ以上であったり、二次計画問題の解が存在しなかったりした場合、初期値の重みβｉに基づいて、学習済みモデルＭＤＬ全体を再学習する。そして、学習部１１４は、Ｓ２００の処理に戻り、再度制約条件を満たすか否かを判定する。このように、学習部１１４は、制約条件を満たすまで、この一連の処理を繰り返す。
【0070】
以上説明した第２実施形態によれば、要注意データの数ｍがｋ以上であったり、二次計画問題の解が存在しなかったりした場合に、学習済みモデルＭＤＬ全体を再学習するため、要注意データの重みβｉを増加させずとも二次計画問題の解が得られやすくなる。この結果、過去の学習で用いられた教師データに対して、再学習で用いられる新規教師データの比重が大きくなることを抑制することができ、学習済みモデルＭＤＬの汎化性を更に向上させることができる。
【0071】
（第３実施形態）
以下、第３実施形態について説明する。上述した第１実施形態又は第２実施形態では、事前に要注意データが与えられるものとして説明した。一般的に、教師データとして膨大なデータが与えられたときに、再学習前の学習時点では、その膨大なデータの中のいずれの教師データが要注意データに指定されるのかわからない場合がある。
以下、第３実施形態について説明する。上述した第１実施形態又は第２実施形態では、事前に要注意データが与えられるものとして説明した。一般的に、教師データとして膨大なデータが与えられたときに、再学習前の学習時点では、その膨大なデータの中のいずれの教師データが要注意データに指定されるのかわからない場合がある。
【0072】
そのため、第３実施形態では、再学習前の学習時点で与えられた膨大なデータを基にモデルを学習した後に、いずれかのデータが要注意データに指定されたとしても、その要注意データに対して高い精度で正答するようなモデルをメタ学習によって得る点で上述した第１実施形態又は第２実施形態と相違する。メタ学習とは、学習方法を学習する（learning to learn）手法であり、ＭＡＭＬ（Model Agnostic Meta-Learning for Fast Adaption）などのアルゴリズムが含まれる。以下、第１実施形態又は第２実施形態との相違点を中心に説明し、第１実施形態又は第２実施形態と共通する点については説明を省略する。第３実施形態の説明において、第１実施形態又は第２実施形態と同じ部分については同一符号を付して説明する。
【0073】
［メタ学習の処理フロー］
以下、フローチャートに即してメタ学習の一連の処理の流れを説明する。図６は、第３実施形態に係る制御部１１０のメタ学習の処理の流れの一例を示すフローチャートである。学習装置１００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
以下、フローチャートに即してメタ学習の一連の処理の流れを説明する。図６は、第３実施形態に係る制御部１１０のメタ学習の処理の流れの一例を示すフローチャートである。学習装置１００が、分散コンピューティングやクラウドコンピューティングを利用したシステムに含まれる複数のコンピュータによって実現される場合、本フローチャートの処理の一部または全部は、複数のコンピュータによって並列処理されてよい。
【0074】
まず、取得部１１２は、通信部１０２を介して、外部装置から、メタ学習の対象であるモデル（以下、メタモデルＭＤＬＭＴと称する）を学習するためのソースデータを取得する（ステップＳ３００）。ソースデータには、複数の教師データが含まれる。
【0075】
また、学習装置１００のドライブ装置に記憶媒体が装着された場合、取得部１１２は、その記憶媒体からソースデータを取得してもよい。
【0076】
次に、学習部１１４は、取得部１１２によって取得されたソースデータを、ガウシアン分布などの確率分布に従って３つのデータセットに分割する（ステップＳ３０２）。
【0077】
図７は、ソースデータの分割について説明するための図である。図示のように、ソースデータを分割して得られた３つのデータセットのうち、１つ目のデータセットＤ１と２つ目のデータセットＤ２は、メタモデルＭＤＬＭＴを再学習するために利用されるデータセットであり、２つ目のデータセットＤ２と３つ目のデータセットＤ３は、再学習したメタモデルＭＤＬＭＴの精度を検証し、その検証結果に応じてメタモデルＭＤＬＭＴをメタ学習するために利用されるデータセットである。以下、１つ目のデータセットＤ１を「学習用データセット」と称し、２つ目のデータセットＤ２を「要注意データセット」と称し、３つ目のデータセットＤ３を「検証用データセット」と称して説明する。要注意データセットは、現時点において要注意データに指定されていないものの、将来の時点において要注意データに指定され得るデータが含まれる。つまり、将来の可能性（蓋然性）を考慮すれば、学習用データセットとした１つ目のデータセットＤ１や検証用データセットとした３つ目のデータセットＤ３についても要注意データセットとなり得るが、ここでは暫定的に２つ目のデータセットＤ２のみを要注意データセットとする。
【0078】
次に、学習部１１４は、３つに分割したデータセットのうち、要注意データセットＤ２に対してオーグメンテーションを行う（ステップＳ３０４）。例えば、要注意データセットＤ２の入力データが画像データである場合、学習部１１４は、その画像データに対して、アフィン変換や、色変換、ノイズの付加、といった識別結果を変えずにデータの性質を変化させる画像処理をオーグメンテーションとして行ってよい。これによって、未知の要注意データに対するロバスト性を高めることができる。
【0079】
次に、学習部１１４は、学習用データセットＤ１と、オーグメンテーションを行った要注意データセットＤ２とを用いて、仮想空間上でメタモデルＭＤＬＭＴを再学習する（ステップＳ３０６）。具体的には、学習部１１４は、再学習によってメタモデルＭＤＬＭＴのパラメータを実際に更新（調整）するのではなく、仮想空間上でメタモデルＭＤＬＭＴのパラメータを更新し、更に、その再学習の過程で得られる各種演算結果（具体的には損失関数の勾配など）を記憶部１３０に記憶させる。
【0080】
例えば、学習部１１４は、上述した第１実施形態や第２実施形態で説明したように、メタモデルＭＤＬＭＴを再学習する。具体的には、学習部１１４は、学習用データセットＤ１に含まれる入力データを未学習のメタモデルＭＤＬＭＴに入力し、その入力データを入力したメタモデルＭＤＬＭＴによって出力された出力データと、入力データに教師ラベルとして対応付けられていた出力データとの誤差（差分）に基づく誤差関数の勾配が小さくなるように、確率的勾配降下法などを用いてメタモデルＭＤＬＭＴのパラメータを更新（調整）する。
【0081】
そして、学習部１１４は、要注意データセットＤ２に含まれる入力データ（すなわち要注意データ）に重みβｉを付与して、学習用データセットＤ１を基に学習したメタモデルＭＤＬＭＴの出力層のパラメータである重み行列Θ１´（→）を再学習する。この際、学習部１１４は、重み行列Θ１´（→）の勾配である重み付き和（＝Σβｉαｊ´ｆｊ´（→）Ｔ）を記憶部１３０に記憶させる。
【0082】
次に、学習部１１４は、要注意データセットＤ２と検証用データセットＤ３を用いて、再学習したメタモデルＭＤＬＭＴの精度を検証する（ステップＳ３０８）。
【0083】
例えば、学習部１１４は、要注意データセットＤ２に含まれる入力データを、再学習したメタモデルＭＤＬＭＴに入力し、その入力データを入力したメタモデルＭＤＬＭＴによって出力された出力データと、入力データに教師ラベルとして対応付けられていた出力データとの誤差（差分）を求め、更に、その誤差に基づく誤差関数の勾配を算出する。また、学習部１１４は、検証用データセットＤ３に含まれる入力データを、再学習したメタモデルＭＤＬＭＴに入力し、その入力データを入力したメタモデルＭＤＬＭＴによって出力された出力データと、入力データに教師ラベルとして対応付けられていた出力データとの誤差（差分）を求め、更に、その誤差に基づく誤差関数の勾配を算出する。
【0084】
次に、学習部１１４は、要注意データセットＤ２を用いたときの誤差関数の勾配と、検証用データセットＤ３を用いたときの誤差関数の勾配とに基づいて、メタモデルＭＤＬＭＴのパラメータΘ＊（→）を更新する（ステップＳ３１０）。
【0085】
次に、学習部１１４は、メタ学習用の検証データを用いて、パラメータΘ＊（→）を更新したメタモデルＭＤＬＭＴの精度を検証する（ステップＳ３１２）。メタ学習用の検証データとは、パラメータΘ＊（→）が更新されたメタモデルＭＤＬＭＴの過学習を検証するためのデータである。メタ学習用の検証データは、学習用データセットＤ１、要注意データセットＤ２、及び検証用データセットＤ３の分割元のソースデータとは異なるデータであり、入力データと教師ラベルが対応付けられた出力データとを組み合わせた教師データである。
【0086】
例えば、学習部１１４は、メタ学習用の検証データに含まれる入力データを、パラメータΘ＊（→）が更新されたメタモデルＭＤＬＭＴに入力し、その入力データを入力したメタモデルＭＤＬＭＴによって出力された出力データと、入力データに教師ラベルとして対応付けられていた出力データとの誤差（差分）を求め、更に、その誤差に基づく誤差関数の勾配を、メタモデルＭＤＬＭＴの精度として導出する。
【0087】
次に、学習部１１４は、メタモデルＭＤＬＭＴの精度（すなわち誤差関数の勾配）が閾値以上か否かを判定する（ステップＳ３１４）。学習部１１４は、メタモデルＭＤＬＭＴの精度が閾値未満である場合、Ｓ３０２の処理に戻り、再学習を繰り返す。
【0088】
一方、出力制御部１１６は、メタモデルＭＤＬＭＴの精度が閾値以上である場合、メタモデルＭＤＬＭＴを定義したモデルデータ１３２を出力する（ステップＳ３１６）。例えば、出力制御部１１６は、通信部１０２を介して、ソースデータを提供した外部装置に、モデルデータ１３２を送信してもよいし、表示部１０６にメタモデルＭＤＬＭＴを表示させてもよい。これによって本フローチャートの処理が終了する。
【0089】
図８は、メタ学習の方法を模式的に示す図である。図中Ｖは、各学習における損失関数の勾配の向きを表している。例えば、メタモデルＭＤＬＭＴのパラメータが初期値Θ０である場合に、学習部１１４は、再学習（メタ学習においてインナーアップデートともいう）により求まる勾配と、検証用データセットを用いた学習（メタ学習においてメタアップデートともいう）により求まる勾配との双方に基づいて、メタモデルＭＤＬＭＴのパラメータを、初期値Θ０から更新する。再学習が繰り返されることで、メタモデルＭＤＬＭＴのパラメータは、Θ１、Θ２、…、Θ６のように順に変化していく。この場合、学習部１１４は、メタアップデート時において、例えば、各再学習の勾配Ｖ１、Ｖ２、…、Ｖ６を合成した勾配Ｖｘに基づいて、メタモデルＭＤＬＭＴのパラメータを初期値Θ０からΘｘに更新してよい。
【0090】
また、学習部１１４は、検証用データセットを用いた学習により求まる勾配のみに基づいて、メタモデルＭＤＬＭＴのパラメータを、初期値Θ０から更新してもよい。
【0091】
以上説明した第３実施形態によれば、メタ学習によってモデルのパラメータを更新するため、再学習前のモデルのパラメータに、再学習により変動し得るパラメータの変化を事前に反映させておくことができる。この結果、再学習時において要注意データの重みβｉを大きくせずともモデルの精度をより向上させることができる。
【0092】
【0093】
学習装置１００は、ＮＩＣ１００－１、ＣＰＵ１００－２、ＲＡＭ１００－３、ＲＯＭ１００－４、フラッシュメモリやＨＤＤなどの二次記憶装置１００－５、およびドライブ装置１００－６が、内部バスあるいは専用通信線によって相互に接続された構成となっている。ドライブ装置１００－６には、光ディスクなどの可搬型記憶媒体が装着される。二次記憶装置１００－５、またはドライブ装置１００－６に装着された可搬型記憶媒体に格納されたプログラムがＤＭＡコントローラ（不図示）などによってＲＡＭ１００－３に展開され、ＣＰＵ１００－２によって実行されることで、制御部１１０が実現される。制御部１１０が参照するプログラムは、ネットワークＮＷを介して他の装置からダウンロードされてもよい。
【0094】
以上説明した少なくとも一つの実施形態によれば、学習済みモデルＭＤＬを再学習する際に、新規教師データの中に入力データとして含まれる要注意データに対して重みβｉを付与するため、過去の学習で用いられた教師データよりも、再学習で用いられる新規教師データの比重を大きくすることができる。この結果、学習済みモデルＭＤＬの汎化性を維持しながら、要注意データを精度よく正解することができる。
【0095】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0096】
１００…学習装置、１０２…通信部、１０４…入力部、１０６…表示部、１１０…制御部、１１２…取得部、１１４…学習部、１１６…出力制御部、１３０…記憶部、１３２…モデルデータ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】