▶ 日新電機株式会社の特許一覧 ▶ 国立大学法人京都工芸繊維大学の特許一覧
特開2023-132904学習モデル生成装置、学習モデル生成方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132904
(43)【公開日】2023-09-22
(54)【発明の名称】学習モデル生成装置、学習モデル生成方法およびプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20230914BHJP
【ＦＩ】
G06N20/00
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022038483
(22)【出願日】2022-03-11
(71)【出願人】
【識別番号】000003942
【氏名又は名称】日新電機株式会社
(71)【出願人】
【識別番号】504255685
【氏名又は名称】国立大学法人京都工芸繊維大学
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】安井 達哉
(72)【発明者】
【氏名】森本 充
(72)【発明者】
【氏名】竹原 輝巳
(72)【発明者】
【氏名】寶珍 輝尚
(57)【要約】
【課題】元タスクと追加タスクとの双方において、正解率が高い学習モデルを作成することが可能な技術を提供する。
【解決手段】学習部（１２）は、元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する。転移学習部（１５）は、元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
【選択図】図８
【解決手段】学習部（１２）は、元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する。転移学習部（１５）は、元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
【選択図】図８
【特許請求の範囲】
【請求項1】
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する学習部と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する転移学習部と、を備える学習モデル生成装置。
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する転移学習部と、を備える学習モデル生成装置。
【請求項2】
前記転移学習部は、
前記元タスクの学習モデルに対して、前記追加タスクのラベルに対応するノードを出力層に追加し、
最終中間層と前記追加したノードとの間の接続を追加した前記モデル構造を生成する、請求項１に記載の学習モデル生成装置。
前記元タスクの学習モデルに対して、前記追加タスクのラベルに対応するノードを出力層に追加し、
最終中間層と前記追加したノードとの間の接続を追加した前記モデル構造を生成する、請求項１に記載の学習モデル生成装置。
【請求項3】
前記転移学習部は、
前記元タスクに含まれる接続の重みパラメータを固定し、前記追加した接続の重みパラメータを更新しながら、前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する、請求項２に記載の学習モデル生成装置。
前記元タスクに含まれる接続の重みパラメータを固定し、前記追加した接続の重みパラメータを更新しながら、前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する、請求項２に記載の学習モデル生成装置。
【請求項4】
前記学習モデル生成装置はさらに、前記元タスクの学習モデルと前記追加タスクの学習モデルとを含んだ目標タスクの学習モデルを評価する評価部を備える、請求項１～３のいずれか１項に記載の学習モデル生成装置。
【請求項5】
前記評価部は、
前記目標タスクの学習モデルに基づいて前記元タスクの評価データを識別する元タスクデータ識別部と、
前記目標タスクの学習モデルに基づいて前記追加タスクの評価データを識別する追加タスクデータ識別部と、
前記元タスクデータ識別部による識別結果と、前記追加タスクデータ識別部による識別結果とに基づいて、前記目標タスクの学習モデルが判定基準を満たしているか否かを判定する識別結果判定部とを含む、請求項４に記載の学習モデル生成装置。
前記目標タスクの学習モデルに基づいて前記元タスクの評価データを識別する元タスクデータ識別部と、
前記目標タスクの学習モデルに基づいて前記追加タスクの評価データを識別する追加タスクデータ識別部と、
前記元タスクデータ識別部による識別結果と、前記追加タスクデータ識別部による識別結果とに基づいて、前記目標タスクの学習モデルが判定基準を満たしているか否かを判定する識別結果判定部とを含む、請求項４に記載の学習モデル生成装置。
【請求項6】
前記識別結果判定部は、
前記元タスクデータ識別部による識別結果が第１の閾値以上であり、
前記追加タスクデータ識別部による識別結果が第２の閾値以上であるとき、前記目標タスクの学習モデルが判定基準を満たしていると判定する、請求項５に記載の学習モデル生成装置。
前記元タスクデータ識別部による識別結果が第１の閾値以上であり、
前記追加タスクデータ識別部による識別結果が第２の閾値以上であるとき、前記目標タスクの学習モデルが判定基準を満たしていると判定する、請求項５に記載の学習モデル生成装置。
【請求項7】
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成し、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する、学習モデル生成方法。
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する、学習モデル生成方法。
【請求項8】
コンピュータに、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する処理と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成する処理と、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する処理と、を実行させるプログラム。
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する処理と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成する処理と、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する処理と、を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習モデル生成装置、学習モデル生成方法およびプログラムに関する。
【背景技術】
【0002】
従来から、転移学習を用いて学習モデルを生成する技術が開発されている。例えば、下記の特許文献１に開示された発明がある。
【0003】
特許文献１に記載の情報処理装置は、目標とするタスクである第１のタスクにおいて、第１のカテゴリに属する複数の学習データを、目標タスク学習データとして取得し、第２のタスクにおいて、第１のカテゴリに属する学習データと第２のカテゴリに属する学習データとを含む複数の学習データを、元タスク学習データとして取得する。
【0004】
そして、情報処理装置は、目標タスク学習データの第１のカテゴリに属する複数の学習データに係る第１の分布と、元タスク学習データの第１のカテゴリに属する複数の学習データに係る第２の分布との差異に基づいて、元タスク学習データを変換するための変換パラメータを調整する。
【0005】
そして、情報処理装置は、調整ステップで調整された変換パラメータに基づいて、元タスク学習データを変換し、変換された元タスク学習データと、目標タスク学習データとに基づいて、第１のタスクに係る識別器を生成する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１７－２２４１５６号（２０１７年１２月２１日公開）
【発明の概要】
【発明が解決しようとする課題】
【0007】
上述の特許文献１に記載の情報処理装置は、転移学習においてタスク間でデータ変換を行うことで、精度のよい学習モデルの生成を可能としている。
【0008】
しかしながら、特許文献１に記載の情報処理装置は、転移学習において元タスクで識別可能なラベルに対して、別のラベルを追加した新たなタスクを目標タスクとして学習モデルを生成する場合、開発環境を超えたデータの移動ができないため、目標タスクの学習モデル生成を行う開発環境に元タスクの学習モデルの生成に用いたデータを移動させることができない。したがって、特許文献１に記載の情報処理装置では、そのような状況下において、学習モデルの生成ができない可能性がある。
【0009】
本発明の一態様は、元タスクと追加タスクとの双方において、正解率が高い学習モデルを作成することが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記の課題を解決するために、本発明の一態様に係る学習モデル生成装置は、元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する学習部と、前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する転移学習部と、を備える。
【0011】
また、上記の課題を解決するために、本発明の一態様に係る学習モデル生成方法は、元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成し、前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
【0012】
また、上記の課題を解決するために、本発明の一態様に係るプログラムは、コンピュータに、元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する処理と、前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成する処理と、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する処理と、を実行させる。
【発明の効果】
【0013】
本発明の一態様によれば、元タスクと追加タスクとの双方において、正解率が高い学習モデルを作成することが可能となる。
【図面の簡単な説明】
【0014】
【図1】転移学習のための一般的な学習モデル生成装置（学習部分）の構成例を示すブロック図である。
【図2】転移学習のための一般的な学習モデル生成装置（評価部分）の構成例を示すブロック図である。
【図8】本発明の一実施形態に係る学習モデル生成装置（学習部分）の構成例を示すブロック図である。
【図9】本発明の一実施形態に係る学習モデル生成装置（評価部分）の構成例を示すブロック図である。
【図15】元タスクの識別結果と追加タスクの識別結果との関係を示すグラフである。
【発明を実施するための形態】
【0015】
まず、本発明の一実施形態に係る学習モデル生成装置の構成例を説明する前に、転移学習で用いられる用語の定義、および転移学習のための一般的な学習モデル生成装置の構成例について説明する。
【0016】
（転移学習のための一般的な学習モデル生成装置）
＜用語の定義＞
機械学習において実際に解くべき問題をタスク（Ｔ）と呼ぶ。タスクは、ラベル空間（γ）と、条件付確率（Ｐ（Ｙ│Ｘ））とのペア（Ｔ=｛γ，Ｐ（Ｙ│Ｘ）｝）で定義することができる。ただし、Ｘ，Ｙは、それぞれ、データ空間（χ）のデータＸ＝｛ｘ１，ｘ２，…｝∈χ、およびラベル空間（γ）のラベルＹ=｛ｙ１，ｙ２，…）∈γである。
＜用語の定義＞
機械学習において実際に解くべき問題をタスク（Ｔ）と呼ぶ。タスクは、ラベル空間（γ）と、条件付確率（Ｐ（Ｙ│Ｘ））とのペア（Ｔ=｛γ，Ｐ（Ｙ│Ｘ）｝）で定義することができる。ただし、Ｘ，Ｙは、それぞれ、データ空間（χ）のデータＸ＝｛ｘ１，ｘ２，…｝∈χ、およびラベル空間（γ）のラベルＹ=｛ｙ１，ｙ２，…）∈γである。
【0017】
識別問題のタスクの場合、タスクは、あらかじめ定められた有限個のラベルに基づいてラベル付けされている既知のデータを用いて学習を行い、ラベル付けされていない未知のデータがどのラベルに帰属するかを推論することを指す。
【0018】
転移学習を行う場合、あるタスクのために生成された学習モデルを用いて、別のタスクのための学習モデルを生成する。この時、転移元となる学習モデルのタスクを元タスク（Ｔｓ=｛γｓ，Ｐ（Ｙｓ│Ｘｓ）｝）、転移先となる学習モデルのタスクを目標タスク（Ｔｔ=｛γｔ，Ｐ（Ｙｔ│Ｘｔ）｝）と呼ぶことにする。
【0019】
学習モデルは、モデル構造とその重みパラメータとで構成されている。
【0020】
＜転移学習のための一般的な学習モデル生成装置の構成例＞
図１は、転移学習のための一般的な学習モデル生成装置（学習部分）１００の構成例を示すブロック図である。学習モデル生成装置１００は、元タスク学習データ格納部１１０と、学習部１２０と、元タスク学習モデル格納部１３０と、目標タスク学習データ格納部１４０と、転移学習部１５０と、目標タスク学習モデル格納部１６０と、を備えている。
図１は、転移学習のための一般的な学習モデル生成装置（学習部分）１００の構成例を示すブロック図である。学習モデル生成装置１００は、元タスク学習データ格納部１１０と、学習部１２０と、元タスク学習モデル格納部１３０と、目標タスク学習データ格納部１４０と、転移学習部１５０と、目標タスク学習モデル格納部１６０と、を備えている。
【0021】
元タスク学習データ格納部１１０、元タスク学習モデル格納部１３０、目標タスク学習データ格納部１４０、および目標タスク学習モデル格納部１６０は、データベースとして、図示しないＲＡＭ（Random Access Memory）、不揮発性メモリ、ハードディスク等の記憶装置に設けられる。
【0022】
元タスク学習データ格納部１１０は、元タスクの学習データとその学習データに対するラベルとを格納する。元タスク学習モデル格納部１３０は、転移学習のための元タスクの学習モデルを格納する。
【0023】
目標タスク学習データ格納部１４０は、目標タスクの学習データとその学習データに対するラベルとを格納する。目標タスク学習モデル格納部１６０は、転移学習によって生成された目標タスクの学習モデルを格納する。
【0024】
学習部１２０は、元タスク学習データ入力部１２１と、元タスクモデル学習部１２２と、元タスク学習モデル出力部１２３とを含む。元タスク学習データ入力部１２１は、元タスク学習データ格納部１１０から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２２へ出力する。
【0025】
元タスクモデル学習部１２２は、機械学習を用いて、元タスクの学習データとラベルとの関係を学習し、元タスクの学習モデルを一時保存する。元タスク学習モデル出力部１２３は、元タスクモデル学習部１２２に一時保存されている元タスクの学習モデルを取り出して、元タスク学習モデル格納部１３０に格納する。
【0026】
転移学習部１５０は、元タスク学習モデル入力部１５１と、目標タスク学習データ入力部１５２と、目標タスクモデル転移学習部１５３と、目標タスク学習モデル出力部１５４とを含む。
【0027】
元タスク学習モデル入力部１５１は、元タスク学習モデル格納部１３０から元タスクの学習モデルを取り出して、目標タスクモデル転移学習部１５３へ出力する。また、目標タスク学習データ入力部１５２は、目標タスク学習データ格納部１４０から目標タスクの学習データおよびラベルを取り出して、目標タスクモデル転移学習部１５３へ出力する。
【0028】
目標タスクモデル転移学習部１５３は、転移学習を用いて、目標タスクの学習データとラベルとの関係を学習し、目標タスクの学習モデルを一時保存する。目標タスク学習モデル出力部１５４は、目標タスクモデル転移学習部１５３に一時保存された目標タスクの学習モデルを取り出して、目標タスク学習モデル格納部１６０に格納する。
【0029】
図２は、転移学習のための一般的な学習モデル生成装置（評価部分）１００の構成例を示すブロック図である。学習モデル生成装置１００はさらに、目標タスク評価データ格納部１７０と、評価部１８０と、目標タスク識別結果格納部１９０と、を備えている。
【0030】
目標タスク評価データ格納部１７０、および目標タスク識別結果格納部１９０は、データベースとして、図示しないＲＡＭ、不揮発性メモリ、ハードディスク等の記憶装置に設けられる。
【0031】
目標タスク評価データ格納部１７０は、目標タスクの評価データとその評価データに対するラベルとを格納する。また、目標タスク識別結果格納部１９０は、目標タスクの識別結果を格納する。
【0032】
また、評価部１８０は、目標タスク学習モデル入力部１８１と、目標タスク評価データ入力部１８２と、目標タスクデータ識別部１８３と、目標タスク識別結果出力部１８４とを含む。
【0033】
目標タスク学習モデル入力部１８１は、目標タスク学習モデル格納部１６０から目標タスクの学習モデルを取り出して、目標タスクデータ識別部１８３へ出力する。目標タスク評価データ入力部１８２は、目標タスク評価データ格納部１７０から目標タスクの評価データを取り出して、目標タスクデータ識別部１８３へ出力する。
【0034】
目標タスクデータ識別部１８３は、目標タスクの学習モデルに基づいて評価データを識別し、識別結果を一時保存する。目標タスク識別結果出力部１８４は、目標タスクデータ識別部１８３に一時保存された識別結果を取り出して、目標タスク識別結果格納部１９０に格納する。
【0035】
＜転移学習のための一般的な学習モデル生成装置の処理フロー＞
図３は、図１に示す学習部１２０の処理手順を説明するためのフローチャートである。まず、元タスク学習データ入力部１２１は、元タスク学習データ格納部１１０から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２２へ出力する（Ｓ１０１）。
図３は、図１に示す学習部１２０の処理手順を説明するためのフローチャートである。まず、元タスク学習データ入力部１２１は、元タスク学習データ格納部１１０から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２２へ出力する（Ｓ１０１）。
【0036】
次に、元タスクモデル学習部１２２は、機械学習を用いて、元タスクの学習データとラベルとの関係を学習し、生成した元タスクの学習モデルを一時保存する（Ｓ１０２）。そして、元タスク学習モデル出力部１２３は、元タスクモデル学習部１２２に一時保存された元タスクの学習モデルを取り出して、元タスク学習モデル格納部１３０に格納し（Ｓ１０３）、処理を終了する。
【0037】
図４は、図１に示す転移学習部１５０の処理手順を説明するためのフローチャートである。まず、元タスク学習モデル入力部１５１は、元タスク学習モデル格納部１３０から元タスクの学習モデルを取り出して、目標タスクモデル転移学習部１５３へ出力する（Ｓ１１１）。
【0038】
また、目標タスク学習データ入力部１５２は、目標タスク学習データ格納部１４０から目標タスクの学習データおよびラベルを取り出して、目標タスクモデル転移学習部１５３へ出力する（Ｓ１１２）。
【0039】
次に、目標タスクモデル転移学習部１５３は、元タスクで学習した学習モデルをベースに、目標タスクの学習データとラベルとの関係を学習し、生成した目標タスクの学習モデルを一時保存する（Ｓ１１３）。この処理の詳細は、後述する。
【0040】
そして、目標タスク学習モデル出力部１５４は、目標タスクモデル転移学習部１５３に一時保存された目標タスクの学習モデルを取り出して、目標タスク学習モデル格納部１６０に格納し（Ｓ１１４）、処理を終了する。
【0041】
図５は、図４に示す目標タスクモデルの転移学習処理（Ｓ１１３）の詳細を説明するためのフローチャートである。まず、目標タスクモデル転移学習部１５３は、転移学習用初期化処理を行う（Ｓ１２１）。この処理の詳細は、後述する。
【0042】
次に、目標タスクモデル転移学習部１５３は、機械学習で、目標タスクの学習モデルを生成する（Ｓ１２２）。そして、目標タスクモデル転移学習部１５３は、生成した目標タスクの学習モデルを一時保存して（Ｓ１２３）、処理を終了する。
【0043】
図６は、図５に示す転移学習用初期化処理（Ｓ１２１）の詳細を説明するためのフローチャートである。まず、目標タスクモデル転移学習部１５３は、学習部１２０によって生成された元タスクの学習モデルから重みを抽出する層を選択する（Ｓ１３１）。
【0044】
次に、目標タスクモデル転移学習部１５３は、元タスクの学習モデルから選択した層に対して、目標タスクの学習モデルとして新たに追加する層を決定し、追加した層に対応する重みパラメータを乱数で初期化する（Ｓ１３２）。
【0045】
次に、目標タスクモデル転移学習部１５３は、元タスクの学習モデルから選択した層に対して、新たに追加する層を接続して目標タスクの学習モデルの構造とする（Ｓ１３３）。そして、目標タスクモデル転移学習部１５３は、目標タスクの学習モデルの重みパラメータの中で、学習による重み更新を行わない範囲を指定し、現在の値に固定して（Ｓ１３４）、処理を終了する。
【0046】
図７は、図２に示す評価部１８０の処理手順を説明するためのフローチャートである。まず、目標タスク学習モデル入力部１８１は、目標タスク学習モデル格納部１６０から目標タスクの学習モデルを取り出して、目標タスクデータ識別部１８３へ出力する（Ｓ１４１）。また、目標タスク評価データ入力部１８２は、目標タスク評価データ格納部１７０から目標タスクの評価データを取り出して、目標タスクデータ識別部１８３へ出力する（Ｓ１４２）。
【0047】
次に、目標タスクデータ識別部１８３は、目標タスクの学習モデルに基づいて評価データを識別し、識別結果を一時保存する。そして、目標タスク識別結果出力部１８４は、目標タスクデータ識別部１８３に一時保存された識別結果を取り出して、目標タスク識別結果格納部１９０に格納し（Ｓ１４４）、処理を終了する。
【0048】
（本発明の一実施形態に係る学習モデル生成装置）
＜前提条件＞
学習モデルの生成とその評価を行うための開発環境は、学習や評価に必要なデータがデータベースに蓄積され、データベースに蓄積されたデータから学習モデルの生成、または学習モデルの評価を行うための機能を備えており、異なる開発環境のデータベース間でデータの移動はできない。ただし、生成された学習モデルと開発環境下で評価を行った評価結果とのやりとりは可能である。
＜前提条件＞
学習モデルの生成とその評価を行うための開発環境は、学習や評価に必要なデータがデータベースに蓄積され、データベースに蓄積されたデータから学習モデルの生成、または学習モデルの評価を行うための機能を備えており、異なる開発環境のデータベース間でデータの移動はできない。ただし、生成された学習モデルと開発環境下で評価を行った評価結果とのやりとりは可能である。
【0049】
＜用語の定義＞
機械学習において実際に解くべき問題をタスク（Ｔ）と呼ぶ。タスクは、ラベル空間（γ）と、条件付確率（Ｐ（Ｙ│Ｘ））とのペア（Ｔ=｛γ，Ｐ（Ｙ│Ｘ）｝）で定義することができる。ただし、Ｘ，Ｙは、それぞれ、データ空間（χ）のデータＸ＝｛ｘ１，ｘ２，…｝∈χ、およびラベル空間（γ）のラベルＹ=｛ｙ１，ｙ２，…）∈γである。
機械学習において実際に解くべき問題をタスク（Ｔ）と呼ぶ。タスクは、ラベル空間（γ）と、条件付確率（Ｐ（Ｙ│Ｘ））とのペア（Ｔ=｛γ，Ｐ（Ｙ│Ｘ）｝）で定義することができる。ただし、Ｘ，Ｙは、それぞれ、データ空間（χ）のデータＸ＝｛ｘ１，ｘ２，…｝∈χ、およびラベル空間（γ）のラベルＹ=｛ｙ１，ｙ２，…）∈γである。
【0050】
識別問題のタスクの場合、タスクは、あらかじめ定められた有限個のラベルに基づいてラベル付けされている既知のデータを用いて学習を行い、ラベル付けされていない未知のデータがどのラベルに帰属するかを推論することを指す。
【0051】
転移学習を行う場合、あるタスクのために生成された学習モデルを用いて、別のタスクのための学習モデルを生成する。この時、転移元となる学習モデルのタスクを元タスク（Ｔｓ=｛γｓ，Ｐ（Ｙｓ│Ｘｓ）｝）、転移先となる学習モデルのタスクを目標タスク（Ｔｔ=｛γｔ，Ｐ（Ｙｔ│Ｘｔ）｝）と呼ぶことにする。
【0052】
学習モデルは、モデル構造とその重みパラメータとで構成されている。
【0053】
本実施形態においては、目標タスクのラベル空間が元タスクのラベル空間を包含している学習モデル（γs⊂γt）を、データのやりとりが行えない異なる開発環境で転移学習を用いて生成する場合の手法である。このとき、目標タスクと元タスクとの差分である、追加するラベルに関するタスクを追加タスク（Ｔａ＝｛γａ，Ｐ（Ｙａ│Ｘａ）｝）と呼ぶことにする。
【0054】
＜本発明の一実施形態に係る学習モデル生成装置１の構成例＞
図８は、本発明の一実施形態に係る学習モデル生成装置（学習部分）１の構成例を示すブロック図である。学習モデル生成装置１は、元タスク学習データ格納部１１と、学習部１２と、元タスク学習モデル格納部１３と、追加タスク学習データ格納部１４と、転移学習部１５と、目標タスク学習モデル格納部１６と、を備えている。
図８は、本発明の一実施形態に係る学習モデル生成装置（学習部分）１の構成例を示すブロック図である。学習モデル生成装置１は、元タスク学習データ格納部１１と、学習部１２と、元タスク学習モデル格納部１３と、追加タスク学習データ格納部１４と、転移学習部１５と、目標タスク学習モデル格納部１６と、を備えている。
【0055】
元タスク学習データ格納部１１、元タスク学習モデル格納部１３、追加タスク学習データ格納部１４、および目標タスク学習モデル格納部１６は、データベースとして、図示しないＲＡＭ、不揮発性メモリ、ハードディスク等の記憶装置に設けられる。
【0056】
元タスク学習データ格納部１１は、元タスクの学習データとその学習データに対するラベルとを格納する。元タスク学習モデル格納部１３は、転移学習のための元タスクの学習モデルを格納する。
【0057】
追加タスク学習データ格納部１４は、追加タスクの学習データとその学習データに対するラベルとを格納する。目標タスク学習モデル格納部１６は、転移学習によって生成された目標タスクの学習モデルを格納する。
【0058】
学習部１２は、元タスク学習データ入力部１２－１と、元タスクモデル学習部１２－２と、元タスク学習モデル出力部１２－３とを含む。元タスク学習データ入力部１２－１は、元タスク学習データ格納部１１から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２－２へ出力する。
【0059】
元タスクモデル学習部１２－２は、機械学習を用いて、元タスクの学習データとラベルとの関係を学習し、元タスクの学習モデルを一時保存する。元タスク学習モデル出力部１２－３は、元タスクモデル学習部１２－２に一時保存されている元タスクの学習モデルを取り出して、元タスク学習モデル格納部１３に格納する。
【0060】
転移学習部１５は、元タスク学習モデル入力部１５－１と、追加タスク学習データ入力部１５－２と、追加タスクモデル転移学習部１５－３と、追加タスク学習モデル出力部１５－４とを含む。
【0061】
元タスク学習モデル入力部１５－１は、元タスク学習モデル格納部１３から元タスクの学習モデルを取り出して、追加タスクモデル転移学習部１５－３へ出力する。また、追加タスク学習データ入力部１５－２は、追加タスク学習データ格納部１４から追加タスクの学習データおよびラベルを取り出して、追加タスクモデル転移学習部１５－３へ出力する。
【0062】
追加タスクモデル転移学習部１５－３は、転移学習を用いて、追加タスクの学習データとラベルとの関係を学習し、追加タスクの学習モデルを一時保存する。追加タスク学習モデル出力部１５－４は、追加タスクモデル転移学習部１５－３に一時保存された追加タスクの学習モデルを取り出して、目標タスク学習モデル格納部１６に格納する。
【0063】
図９は、本発明の一実施形態に係る学習モデル生成装置（評価部分）１の構成例を示すブロック図である。学習モデル生成装置１はさらに、元タスク評価データ格納部１７と、追加タスク評価データ格納部１８と、評価部１９と、判定結果格納部２０と、を備えている。
【0064】
元タスク評価データ格納部１７、追加タスク評価データ格納部１８、および判定結果格納部２０は、データベースとして、図示しないＲＡＭ、不揮発性メモリ、ハードディスク等の記憶装置に設けられる。
【0065】
元タスク評価データ格納部１７は、元タスクの評価データとその評価データに対するラベルとを格納する。追加タスク評価データ格納部１８は、追加タスクの評価データとその評価データに対するラベルとを格納する。また、判定結果格納部２０は、評価部１９による判定結果を格納する。
【0066】
評価部１９は、元タスク評価データ入力部１９－１と、元タスクデータ識別部１９－２と、元タスク識別結果出力部１９－３と、元タスク識別結果格納部１９－４と、目標タスク学習モデル入力部１９－５と、追加タスク評価データ入力部１９－６と、追加タスクデータ識別部１９－７と、追加タスク識別結果出力部１９－８と、追加タスク識別結果格納部１９－９と、識別結果入力部１９－１０と、識別結果判定部１９－１１と、判定結果出力部１９－１２とを含む。
【0067】
元タスク識別結果格納部１９－４、および追加タスク識別結果格納部１９－９は、データベースとして、図示しないＲＡＭ、不揮発性メモリ、ハードディスク等の記憶装置に設けられる。
【0068】
元タスク評価データ入力部１９－１は、元タスク評価データ格納部１７から元タスクの評価データを取り出して、元タスクデータ識別部１９－２へ出力する。目標タスク学習モデル入力部１９－５は、目標タスク学習モデル格納部１６から目標タスクの学習モデルを取り出して、元タスクデータ識別部１９－２および追加タスクデータ識別部１９－７へ出力する。
【0069】
元タスクデータ識別部１９－２は、目標タスクの学習モデルに基づいて元タスクの評価データを識別し、識別結果を一時保存する。元タスク識別結果出力部１９－３は、元タスクデータ識別部１９－２に一時保存された元タスクの識別結果を取り出して、元タスク識別結果格納部１９－４に格納する。
【0070】
追加タスク評価データ入力部１９－６は、追加タスク評価データ格納部１８から追加タスクの評価データを取り出して、追加タスクデータ識別部１９－７へ出力する。
【0071】
追加タスクデータ識別部１９－７は、目標タスクの学習モデルに基づいて追加タスクの評価データを識別し、識別結果を一時保存する。追加タスク識別結果出力部１９－８は、追加タスクデータ識別部１９－７に一時保存された追加タスクの識別結果を取り出して、追加タスク識別結果格納部１９－９に格納する。
【0072】
識別結果入力部１９－１０は、元タスク識別結果格納部１９－４および追加タスク識別結果格納部１９－９から、元タスクの識別結果および追加タスクの識別結果を取り出して、識別結果判定部１９－１１へ出力する。
【0073】
識別結果判定部１９－１１は、元タスクの識別結果と追加タスクの識別結果とに基づいて、複数の学習モデルの中から、最も良い識別結果が得られた学習モデルを判定し、その判定結果を一時保存する。判定結果出力部１９－１２は、識別結果判定部１９－１１に一時保存された判定結果を取り出して、判定結果格納部２０に格納する。
【0074】
＜本発明の一実施形態に係る学習モデル生成装置１の処理フロー＞
図１０は、図８に示す学習部１２の処理手順を説明するためのフローチャートである。まず、元タスク学習データ入力部１２－１は、元タスク学習データ格納部１１から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２－２へ出力する（Ｓ１）。
図１０は、図８に示す学習部１２の処理手順を説明するためのフローチャートである。まず、元タスク学習データ入力部１２－１は、元タスク学習データ格納部１１から元タスクの学習データおよびラベルを取り出して、元タスクモデル学習部１２－２へ出力する（Ｓ１）。
【0075】
次に、元タスクモデル学習部１２－２は、機械学習を用いて、元タスクの学習データとラベルとの関係を学習し、生成した元タスクの学習モデルを一時保存する（Ｓ２）。そして、元タスク学習モデル出力部１２－３は、元タスクモデル学習部１２－２に一時保存された元タスクの学習モデルを取り出して、元タスク学習モデル格納部１３に格納し（Ｓ３）、処理を終了する。
【0076】
図１１は、図８に示す転移学習部１５の処理手順を説明するためのフローチャートである。まず、元タスク学習モデル入力部１５－１は、元タスク学習モデル格納部１３から元タスクの学習モデルを取り出して、追加タスクモデル転移学習部１５－３へ出力する（Ｓ１１）。
【0077】
また、追加タスク学習データ入力部１５－２は、追加タスク学習データ格納部１４から追加タスクの学習データおよびラベルを取り出して、追加タスクモデル転移学習部１５－３へ出力する（Ｓ１２）。
【0078】
次に、追加タスクモデル転移学習部１５－３は、元タスクで学習した学習モデルをベースに、転移学習を用いて、追加タスクの学習データとラベルとの関係を学習し、生成した追加タスクの学習モデルを一時保存する（Ｓ１３）。この処理の詳細は、後述する。
【0079】
そして、追加タスク学習モデル出力部１５－４は、追加タスクモデル転移学習部１５－３に一時保存された追加タスクの学習モデルを取り出して、目標タスク学習モデル格納部１６に格納し（Ｓ１４）、処理を終了する。
【0080】
図１２は、図１１に示す追加タスクモデルの転移学習処理（Ｓ１３）の詳細を説明するためのフローチャートである。まず、追加タスクモデル転移学習部１５－３は、転移学習用初期化処理を行う（Ｓ２１）。この処理の詳細は、後述する。
【0081】
次に、追加タスクモデル転移学習部１５－３は、機械学習で、追加タスクの学習モデルを生成する（Ｓ２２）。そして、追加タスクモデル転移学習部１５－３は、生成した追加タスクの学習モデルを一時保存して（Ｓ２３）、処理を終了する。
【0082】
図１３は、図１２に示す転移学習用初期化処理（Ｓ２１）の詳細を説明するためのフローチャートである。まず、追加タスクモデル転移学習部１５－３は、学習部１２によって生成された元タスクの学習モデルのモデル構造の最終層を、目標タスクのラベル数に適合するように拡張したモデル構造を決定する（Ｓ３１）。
【0083】
具体的には、目標タスクのラベル数に適合するように最終層のノード（以下、出力ノードと呼ぶ。）を追加する。例えば、元タスクのラベル数が２００であり、目標タスクのラベル数が２１０であれば、追加タスクモデル転移学習部１５－３は、出力ノードを１０だけ追加する。また、追加タスクモデル転移学習部１５－３は、追加された出力層（出力ノード）と、出力層の直前の中間層（以下、最終中間層と呼ぶ。）との間の、新たな接続を追加する。
【0084】
次に、追加タスクモデル転移学習部１５－３は、追加タスクの学習モデルの重みパラメータを乱数で初期化する。具体的には、追加タスクモデル転移学習部１５－３は、最終中間層と、出力層との間の、新たな接続の重みパラメータを乱数で初期化する。
【0085】
また、追加タスクモデル転移学習部１５－３は、元タスクの学習モデルと重複する構造の箇所については元タスクの学習モデルの重みパラメータで初期化する（Ｓ３２）。具体的には、追加タスクモデル転移学習部１５－３は、最終中間層と、出力層との間の、新たな接続以外の重みパラメータを、元タスクの学習モデルの重みパラメータで初期化する。
【0086】
そして、追加タスクモデル転移学習部１５－３は、目標タスクの学習モデルの重みパラメータの中で、学習による重み更新を行わない範囲を指定し、現在の値に固定する（Ｓ３３）。具体的には、追加タスクモデル転移学習部１５－３は、最終中間層と、出力層との間の接続以外の重みパラメータを、学習による重み更新を行わない範囲とし、重みパラメータを固定する。
【0087】
図１４は、図９に示す評価部１９の処理手順を説明するためのフローチャートである。まず、目標タスク学習モデル入力部１９－５は、目標タスク学習モデル格納部１６から目標タスクの学習モデルを取り出して、元タスクデータ識別部１９－２および追加タスクデータ識別部１９－７へ出力する（Ｓ４１，Ｓ４６）。また、元タスク評価データ入力部１９－１は、元タスク評価データ格納部１７から元タスクの評価データを取り出して、元タスクデータ識別部１９－２へ出力する（Ｓ４２）。
【0088】
次に、元タスクデータ識別部１９－２は、目標タスクの学習モデルに基づいて元タスク評価データを識別し、識別結果を一時保存する（Ｓ４３）。元タスク識別結果出力部１９－３は、元タスクデータ識別部１９－２に一時保存された識別結果を取り出して、元タスク識別結果格納部１９－４に格納する（Ｓ４４）。
【0089】
一方、追加タスク評価データ入力部１９－６は、追加タスク評価データ格納部１８から追加タスクの評価データを取り出して、追加タスクデータ識別部１９－７へ出力する（Ｓ４５）。
【0090】
追加タスクデータ識別部１９－７は、目標タスクの学習モデルに基づいて追加タスクの評価データを識別し、識別結果を一時保存する（Ｓ４７）。追加タスク識別結果出力部１９－８は、追加タスクデータ識別部１９－７に一時保存された識別結果を取り出して、追加タスク識別結果格納部１９－９に格納する（Ｓ４８）。
【0091】
識別結果入力部１９－１０は、元タスク識別結果格納部１９－４および追加タスク識別結果格納部１９－９から、元タスクの識別結果および追加タスクの識別結果を取り出して、識別結果判定部１９－１１へ出力する（Ｓ４９）。
【0092】
識別結果判定部１９－１１は、同じ目標タスクの学習モデルの元タスクによる識別結果と追加タスクによる識別結果とを閾値によって判定する。識別結果判定部１９－１１は、元タスクの識別結果用の第１の閾値（閾値：元タスク）と、追加タスクの識別結果用の第２の閾値（閾値：追加タスク）とがあらかじめ設定されている。そして、識別結果判定部１９－１１は、元タスクの識別結果が第１の閾値以上であるか、および追加タスクの識別結果が第２の閾値以上であるかを判定する（Ｓ５０）。
【0093】
例えば、識別結果判定部１９－１１は、元タスクの識別結果および追加タスクの識別結果が両方とも閾値以上であれば、その目標タスクの学習モデルを、判定基準を満たしていると判定する。また、識別結果判定部１９－１１は、元タスクの識別結果および追加タスクの識別結果の何れかが閾値以下、または両方が閾値以下であれば、その目標タスクの学習モデルを、判定基準を満たしていないと判定する。
【0094】
最後に、判定結果出力部１９－１２は、識別結果判定部１９－１１に一時保存された判定結果を取り出して、判定結果格納部２０に格納して（Ｓ５１）、処理を終了する。なお、学習モデルの運用を考慮して、識別結果判定部１９－１１が、全ての識別結果の候補が判定基準を満たさないと判定した場合、学習モデル生成装置１は、ハイパーパラメータを変更して学習モデルの生成から再度やり直す。
【0095】
図１５は、元タスクの識別結果と追加タスクの識別結果との関係を示すグラフである。図１５に示すグラフは、横軸を学習エポック数、縦軸を正解率（８０％～９５％）としている。学習モデル生成装置１は、ハイパーパラメータの１つである学習エポック数を変更しながら複数の学習モデルを生成し、学習モデル毎に元タスクの正解率（識別結果）および追加タスクの正解率（識別結果）を求める。
【0096】
図１５に示すように、学習エポック数が少ない状態では、元タスクの正解率が高く、追加タスクの正解率が低くなっている。学習エポック数が増加するにしたがって、元タスクの正解率が徐々に低下し、追加タスクの正解率が増加してゆく。学習エポック数がＥ１以上のときに追加タスクの正解率が第２の閾値（閾値：追加タスク）を超える。また、学習エポック数がＥ２以上のときに元タスクの正解率が第１の閾値（閾値：元タスク）を下回る。図１５においては、学習エポック数がＥ１～Ｅ２の範囲で、学習モデルが判定基準を満たしていると判定される。
【0097】
図１５においては、複数の学習モデルが判定基準を満たしているが、最適な学習モデルを選択するために、元タスクの正解率と追加タスクの正解率との合計が最も大きい学習モデルを選択するようにしてもよいし、元タスクの正解率と追加タスクの正解率とが一致する学習モデルを選択するようにしてもよい。
【0098】
なお、上記の説明においては、ハイパーパラメータの１つである学習エポック数を変更しながら、複数の学習モデルを作成するようにしたが、減衰係数等の他のハイパーパラメータも変更しながら、複数の学習モデルを作成するようにしてもよい。
【0099】
なお、機械学習は、ＣＮＮ（Convolutional Neural Network）、Ｒ－ＣＮＮ（Regional ＣＮＮ）、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、ＲＮＮ（Recurrent Neural Network）、Ｕ－Ｎｅｔ、ＳｅｇＮｅｔ等であってもよい。
【0100】
＜学習モデル生成装置１の効果＞
機械学習において、異なる開発環境に存在するデータを用いて学習モデルを生成したい場合にデータベースの共有ができない場合がある。このような条件下では、一般的な機械学習、または転移学習技術を用いても学習モデルの生成が不可能である。
機械学習において、異なる開発環境に存在するデータを用いて学習モデルを生成したい場合にデータベースの共有ができない場合がある。このような条件下では、一般的な機械学習、または転移学習技術を用いても学習モデルの生成が不可能である。
【0101】
例えば、学習モデルの生成を請け負うＰ社が、Ａ社が保持するデータを用いてＡ社の管理環境下で学習モデルＭ１を生成する。Ｐ社は、また、生成した学習モデルＭ１をベースに、Ｂ社が保持するデータを用いて、改良した最終学習モデルＭ２を生成したい場合がある。
【0102】
このような場合に、Ａ社のデータはＡ社の管理環境下でしか取り扱えず、Ｂ社のデータはＢ社の管理環境下でしか取り扱えないことがある。しかしこのような場合でも、Ｐ社は学習モデルをＡ社の管理環境下、Ｂ社の管理環境下に持ち運ぶことで、目的とする改良した最終学習モデルＭ２を生成することができる。
【0103】
そこで、本実施形態のように、元タスクの学習モデルから目標タスクの学習モデルの生成に必要な重みパラメータを抽出し、抽出した重みパラメータを学習モデルのパラメータの初期値として利用した転移学習をハイパーパラメータの変更を行いながら実施する。そして、元タスクのデータと追加したラベルのデータとの双方で評価し、あらかじめ設定しておいた閾値を双方の評価結果が満たすような学習モデルを生成することで実現する。
【0104】
以上説明したように、本実施形態に係る学習モデル生成装置１によれば、転移学習部１５が、元タスクの学習モデルに追加タスクのラベルを含めたモデル構造に基づいて、追加タスクの学習データとラベルとの関係を学習して、追加タスクの学習モデルを生成する。したがって、転移学習部１５は、元タスクと追加タスクとの双方において、正解率が高い学習モデルを作成することができる。
【0105】
また、転移学習部１５が、元タスクの学習モデルに対して、追加タスクのラベルとして出力層を追加し、最終中間層と追加した出力層との間の接続を追加したモデル構造を生成するので、さらに好適に学習モデルを生成することができる。
【0106】
また、転移学習部１５が、元タスクに含まれる接続の重みパラメータを固定し、追加した接続の重みパラメータを更新しながら、追加タスクの学習データとラベルとの関係を学習して、追加タスクの学習モデルを生成するので、さらに好適に学習モデルを生成することができる。
【0107】
また、評価部１９が、元タスクの学習モデルと追加タスクの学習モデルとを含んだ目標タスクの学習モデルを評価するので、さらに正解率が高い学習モデルを生成することができる。
【0108】
また、識別結果判定部１９－１１が、元タスクデータ識別部１９－２による識別結果と、追加タスクデータ識別部１９－７による識別結果とに基づいて、目標タスクの学習モデルが判定基準を満たしているか否かを判定するので、さらに好適に正解率が高い学習モデルを生成することができる。
【0109】
また、識別結果判定部１９－１１が、元タスクデータ識別部１９－２による識別結果が第１の閾値以上であり、追加タスクデータ識別部１９－７による識別結果が第２の閾値以上であるとき、目標タスクの学習モデルが判定基準を満たしていると判定するので、さらに好適に正解率が高い学習モデルを生成することができる。
【0110】
＜ソフトウェアによる実現例＞
学習モデル生成装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に、学習部１２、転移学習部１５、評価部１９）としてコンピュータを機能させるためのプログラムにより実現することができる。
学習モデル生成装置１（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に、学習部１２、転移学習部１５、評価部１９）としてコンピュータを機能させるためのプログラムにより実現することができる。
【0111】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0112】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0113】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0114】
〔まとめ〕
本発明の態様１に係る学習モデル生成装置は、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する学習部と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する転移学習部と、を備える。
本発明の態様１に係る学習モデル生成装置は、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する学習部と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する転移学習部と、を備える。
【0115】
本発明の態様２に係る学習モデル生成装置は、態様１に記載の学習モデル生成装置であって、
前記転移学習部は、
前記元タスクの学習モデルに対して、前記追加タスクのラベルに対応するノードを出力層に追加し、
最終中間層と前記追加したノードとの間の接続を追加した前記モデル構造を生成する。
前記転移学習部は、
前記元タスクの学習モデルに対して、前記追加タスクのラベルに対応するノードを出力層に追加し、
最終中間層と前記追加したノードとの間の接続を追加した前記モデル構造を生成する。
【0116】
本発明の態様３に係る学習モデル生成装置は、態様２に記載の学習モデル生成装置であって、
前記転移学習部は、
前記元タスクに含まれる接続の重みパラメータを固定し、前記追加した接続の重みパラメータを更新しながら、前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
前記転移学習部は、
前記元タスクに含まれる接続の重みパラメータを固定し、前記追加した接続の重みパラメータを更新しながら、前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
【0117】
本発明の態様４に係る学習モデル生成装置は、態様１～３のいずれかに記載の学習モデル生成装置であって、
前記学習モデル生成装置はさらに、前記元タスクの学習モデルと前記追加タスクの学習モデルとを含んだ目標タスクの学習モデルを評価する評価部を備える。
前記学習モデル生成装置はさらに、前記元タスクの学習モデルと前記追加タスクの学習モデルとを含んだ目標タスクの学習モデルを評価する評価部を備える。
【0118】
本発明の態様５に係る学習モデル生成装置は、態様４に記載の学習モデル生成装置であって、
前記評価部は、
前記目標タスクの学習モデルに基づいて前記元タスクの評価データを識別する元タスクデータ識別部と、
前記目標タスクの学習モデルに基づいて前記追加タスクの評価データを識別する追加タスクデータ識別部と、
前記元タスクデータ識別部による識別結果と、前記追加タスクデータ識別部による識別結果とに基づいて、前記目標タスクの学習モデルが判定基準を満たしているか否かを判定する識別結果判定部とを含む。
前記評価部は、
前記目標タスクの学習モデルに基づいて前記元タスクの評価データを識別する元タスクデータ識別部と、
前記目標タスクの学習モデルに基づいて前記追加タスクの評価データを識別する追加タスクデータ識別部と、
前記元タスクデータ識別部による識別結果と、前記追加タスクデータ識別部による識別結果とに基づいて、前記目標タスクの学習モデルが判定基準を満たしているか否かを判定する識別結果判定部とを含む。
【0119】
本発明の態様６に係る学習モデル生成装置は、態様５に記載の学習モデル生成装置であって、
前記識別結果判定部は、
前記元タスクデータ識別部による識別結果が第１の閾値以上であり、
前記追加タスクデータ識別部による識別結果が第２の閾値以上であるとき、前記目標タスクの学習モデルが判定基準を満たしていると判定する。
前記識別結果判定部は、
前記元タスクデータ識別部による識別結果が第１の閾値以上であり、
前記追加タスクデータ識別部による識別結果が第２の閾値以上であるとき、前記目標タスクの学習モデルが判定基準を満たしていると判定する。
【0120】
本発明の態様７に係る学習モデル生成方法は、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成し、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成し、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成し、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する。
【0121】
本発明の態様８に係るプログラムは、
コンピュータに、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する処理と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成する処理と、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する処理と、を実行させる。
コンピュータに、
元タスクの学習データとラベルとの関係を学習して、当該元タスクの学習モデルを生成する処理と、
前記元タスクの学習モデルに基づいて、当該元タスクの学習モデルに追加タスクのラベルを含めたモデル構造を生成する処理と、
当該モデル構造に基づいて前記追加タスクの学習データとラベルとの関係を学習して、当該追加タスクの学習モデルを生成する処理と、を実行させる。
【0122】
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0123】
１、１００ 学習モデル生成装置
１１、１１０ 元タスク学習データ格納部
１２、１２０ 学習部
１２－１、１２１ 元タスク学習データ入力部
１２－２、１２２ 元タスクモデル学習部
１２－３、１２３ 元タスク学習モデル出力部
１３、１３０ 元タスク学習モデル格納部
１４ 追加タスク学習データ格納部
１５、１５０ 転移学習部
１５－１ 元タスク学習モデル入力部
１５－２ 追加タスク学習データ入力部
１５－３ 追加タスクモデル転移学習部
１５－４ 追加タスク学習モデル出力部
１６、１６０ 目標タスク学習モデル格納部
１７、１７０ 目標タスク評価データ格納部
１８ 追加タスク評価データ格納部
１９、１８０ 評価部
１９－１ 元タスク評価データ入力部
１９－２ 元タスクデータ識別部
１９－３ 元タスク識別結果出力部
１９－４ 元タスク識別結果格納部
１９－５、１８１ 目標タスク学習モデル入力部
１９－６ 追加タスク評価データ入力部
１９－７ 追加タスクデータ識別部
１９－８ 追加タスク識別結果出力部
１９－９ 追加タスク識別結果格納部
１９－１０ 識別結果入力部
１９－１１ 識別結果判定部
１９－１２ 判定結果出力部
２０ 判定結果格納部
１４０ 目標タスク学習データ格納部
１８２ 目標タスク評価データ入力部
１８３ 目標タスクデータ識別部
１８４ 目標タスク識別結果出力部
１９０ 目標タスク識別結果格納部
１１、１１０ 元タスク学習データ格納部
１２、１２０ 学習部
１２－１、１２１ 元タスク学習データ入力部
１２－２、１２２ 元タスクモデル学習部
１２－３、１２３ 元タスク学習モデル出力部
１３、１３０ 元タスク学習モデル格納部
１４ 追加タスク学習データ格納部
１５、１５０ 転移学習部
１５－１ 元タスク学習モデル入力部
１５－２ 追加タスク学習データ入力部
１５－３ 追加タスクモデル転移学習部
１５－４ 追加タスク学習モデル出力部
１６、１６０ 目標タスク学習モデル格納部
１７、１７０ 目標タスク評価データ格納部
１８ 追加タスク評価データ格納部
１９、１８０ 評価部
１９－１ 元タスク評価データ入力部
１９－２ 元タスクデータ識別部
１９－３ 元タスク識別結果出力部
１９－４ 元タスク識別結果格納部
１９－５、１８１ 目標タスク学習モデル入力部
１９－６ 追加タスク評価データ入力部
１９－７ 追加タスクデータ識別部
１９－８ 追加タスク識別結果出力部
１９－９ 追加タスク識別結果格納部
１９－１０ 識別結果入力部
１９－１１ 識別結果判定部
１９－１２ 判定結果出力部
２０ 判定結果格納部
１４０ 目標タスク学習データ格納部
１８２ 目標タスク評価データ入力部
１８３ 目標タスクデータ識別部
１８４ 目標タスク識別結果出力部
１９０ 目標タスク識別結果格納部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】