特開 2024-103463 情報処理装置、情報処理方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024103463

(43)【公開日】2024-08-01

(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム

(51)【国際特許分類】

   G06N 3/08 20230101AFI20240725BHJP

   G06N 3/094 20230101ALI20240725BHJP

【ＦＩ】

G06N3/08

G06N3/094

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024006142

(22)【出願日】2024-01-18

(31)【優先権主張番号】202310050865.8

(32)【優先日】2023-01-20

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】フォン・チョン

(72)【発明者】

【氏名】ジョオン・チャオリアン

(72)【発明者】

【氏名】ワン・ジエ

(72)【発明者】

【氏名】孫 俊

(57)【要約】      （修正有）

【課題】新しい訓練サンプルセットを使用して、元のモデルをさらに再訓練する場合に良好な予測パフォーマンスを有するモデルを得る。
【解決手段】情報処理装置１００は、第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成するサンプル生成ユニット及び第一所定条件の下で、第二訓練サンプルセットを利用して、第一タスクについての事前訓練の第一モデルを再訓練し、第二タスクとは異なる第一タスク及び／又は第二タスクに関する予測待ち対象を予測するための再訓練の第一モデルを取得する第１モデル訓練ユニットを含む。前記第一所定条件は、第一シミュレットサンプルセットに対しての事前訓練の第一モデルの予測結果と、第一シミュレットサンプルセットに対しての再訓練の第一モデルの予測結果との間の差が、所定範囲内にあることを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報を処理する装置であって、
第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成するように構成されるサンプル生成ユニット；及び
第一所定条件の下で、前記第二訓練サンプルセットを利用して、前記第一タスクについての事前訓練の第一モデルを再訓練し、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成される第一モデル訓練ユニットを含み、
前記第一所定条件は、前記事前訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果と、前記再訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果との間の差が所定範囲内にあることを含み、
前記第一タスクは前記第二タスクとは異なり、
前記予測待ち対象は第一タスク及び／又は第二タスクに関する、装置。

【請求項2】

請求項１に記載の装置であって、
サンプル生成ネットワーク取得ユニットをさらに含み、
前記サンプル生成ネットワーク取得ユニットは、
前記第二訓練サンプルセットに基づいて、初期の敵対的生成ネットワークを訓練することで、訓練済みの敵対的生成ネットワークを取得し；及び
前記訓練済みの敵対的生成ネットワークを、第二所定条件に達するように調整することで、調整済みの敵対的生成ネットワークを前記サンプル生成ネットワークとして得る
ように構成され、
前記第二所定条件は、ランダムベクトルを前記調整済みの敵対的生成ネットワークの入力として利用する場合に、前記事前訓練の第一モデルの、前記調整済みの敵対的生成ネットワークの出力としての第二シミュレットサンプルセットに対しての予測結果が前記第一タスクについての予測結果に関することを含む、装置。

【請求項3】

請求項１に記載の装置であって、
サンプル生成ネットワーク取得ユニットをさらに含み、
前記サンプル生成ネットワーク取得ユニットは、
前記第二訓練サンプルセットに基づいて、１つ又は複数の符号化層を含む初期生成ネットワークを、第三所定条件に達するように訓練することで、１つ又は複数の符号化層を含む訓練済みの生成ネットワークを前記サンプル生成ネットワークとして得る
ように構成され、
前記第三所定条件は、前記第二訓練サンプルセットを前記訓練済みの生成ネットワークの入力として利用する場合に、前記事前訓練の第一モデルの、前記訓練済みの生成ネットワークの出力としての第二シミュレットサンプルセットに対しての予測結果が前記第一タスクについての予測結果に関することを含む、装置。

【請求項4】

請求項３に記載の装置であって、
前記訓練済みの生成ネットワークは１つ又は複数の復号層をさらに含み、
前記１つ又は複数の符号化層にうちの最後の１つの符号化層の出力は前記１つ又は複数の復号層のうちの１番目の復号層の入力として使用され、前記１つ又は複数の復号層のうちの最後の１つの復号層の出力は訓練済みの生成ネットワークの出力として使用される、装置。

【請求項5】

請求項２乃至４のうちの任意の１項に記載の装置であって、
前記第二シミュレットサンプルセットにおける各シミュレットサンプルにノイズを追加し、前記事前訓練の第一モデルの、ノイズが追加された各シミュレットサンプルに対しての予測結果を、前記事前訓練の第一モデルの、前記第二シミュレットサンプルセットに対しての予測結果として取得する、装置。

【請求項6】

請求項２乃至４のうちの任意の１項に記載の装置であって、
前記事前訓練の第一モデルに含まれる特徴抽出層により抽出される、前記第二シミュレットサンプルセットにおける各シミュレットサンプルの特徴にノイズを追加し、ノイズが追加された特徴に基づく予測結果を、前記事前訓練の第一モデルの、前記第二シミュレットサンプルセットに対しての予測結果として取得する、装置。

【請求項7】

請求項２乃至４のうちの任意の１項に記載の装置であって、
前記事前訓練の第一モデルに含まれる損失層の出力ベクトルにより、前記事前訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果と、前記再訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果との間の差を表す、装置。

【請求項8】

請求項２乃至４のうちの任意の１項に記載の装置であって、
前記事前訓練の第一モデルはニューラルネットワークモデルである、装置。

【請求項9】

情報を処理する方法であって、
第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成し；及び
第一所定条件の下で、前記第二訓練サンプルセットを利用して、前記第一タスクについての事前訓練の第一モデルを再訓練し、予測待ち対象を予測するための再訓練の第一モデルを取得することを含み、
前記第一所定条件は、前記事前訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果と、前記再訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果との間の差が所定範囲内にあることを含み、
前記第一タスクは前記第二タスクとは異なり、
前記予測待ち対象は第一タスク及び／又は第二タスクに関する、方法。

【請求項10】

コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理の技術分野に関し、具体的には、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

情報処理の技術分野では、生涯にわたる（持続的な）学習が重要な応用（アプリケーション）を有する。しかし、新しい訓練サンプルセットを使用して、訓練により得られた元のモデルをさらに訓練する場合に、得られた新しいモデルは元のモデルのパフォーマンスを失う可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述の問題に鑑み、本発明の目的は、従来技術における１つ又は複数の欠点を解決し得る情報処理装置、情報処理方法及びコンピュータプログラムを提供することにある。

【課題を解決するための手段】

【0004】

本発明の１つの側面によれば、情報処理装置が提供され、それは、
第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成するように構成されるサンプル生成ユニット；及び
第一所定条件の下で、前記第二訓練サンプルセットを利用して、前記第一タスクについての事前訓練の第一モデルを再訓練し、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成される第一モデル訓練ユニットを含み、
前記第一所定条件は、前記事前訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果と、前記再訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果との間の差が所定範囲内にあることを含み、
前記第一タスクは前記第二タスクとは異なり、
前記予測待ち対象は第一タスク及び／又は第二タスクに関する。

【0005】

本発明のもう１つの側面によれば、情報処理方法が提供され、それは、
第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成し；及び
第一所定条件の下で、前記第二訓練サンプルセットを利用して、前記第一タスクについての事前訓練の第一モデルを再訓練し、予測待ち対象を予測するための再訓練の第一モデルを取得することを含み、
前記第一所定条件は、前記事前訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果と、前記再訓練の第一モデルの、前記第一シミュレットサンプルセットに対しての予測結果との間の差が所定範囲内にあることを含み、
前記第一タスクは前記第二タスクとは異なり、
前記予測待ち対象は第一タスク及び／又は第二タスクに関する。

【0006】

本発明の他の側面によれば、コンピュータプログラムがさらに提供され、前記コンピュータプログラムは前記コンピュータに、上述のような情報処理方法を実行させるためのものである。

【図面の簡単な説明】

【0007】

【図1】本発明の第一実施例による情報処理装置の機能構成例を示すブロック図である。

【図2】本発明の第二実施例による情報処理装置の機能構成例を示すブロック図である。

【図3】本発明の第二実施例によるサンプル生成ネットワーク取得ユニットが行う調整プロセスを示す図である。

【図4】第二訓練サンプルの例及びシミュレットサンプルの例を示す図である。

【図5】本発明の第三実施例による情報処理装置の機能構成例を示すブロック図である。

【図6】本発明の第三実施例によるサンプル生成ネットワーク取得ユニットが行う訓練プロセスを示す図である。

【図7】第二訓練サンプルの例及びシミュレットサンプルの他の例を示す図である。

【図8】本発明による技術と関連技術との比較を示す図である。

【図9】本発明の第四実施例による情報処理方法の例示的なフローチャートである。

【図10】本発明の実施例で採用され得るパーソナルコンピュータの構成例を示すブロック図である。

【発明を実施するための形態】

【0008】

以下、図面と併せて本発明の実施形態を具体的に説明する。なお、以下に説明される実施例は例示に過ぎず、本発明を限定しない。

【実施例0009】

図１は本発明の第一実施例による情報処理装置１００の機能構成例を示すブロック図である。図１に示すように、本発明の第一実施例による情報処理装置１００はサンプル生成ユニット１０２及び第一モデル訓練ユニット１０４を含み得る。

【0010】

サンプル生成ユニット１０２は、第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成するように構成されても良い。

【0011】

第一モデル訓練ユニット１０４は、第一所定条件の下で、第二訓練サンプルセットを利用して、第一タスクについての事前訓練の第一モデルを再訓練し、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成されても良い。例えば、第一所定条件は、事前訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果と、再訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果との間の差が所定範囲内にあることを含んでも良い。所定範囲は、有限回の実験により取得されても良く、又は、経験に基づいて設定されても良い。

【0012】

例えば、第二訓練サンプルセットは訓練画像集合、訓練語音集合などであっても良い。それ相応に、第二訓練サンプルセットに基づいて生成された第一シミュレットサンプルセットは画像集合、語音集合などであっても良く、また、予測待ち対象は画像、語音などであっても良い。例えば、画像は顔画像、或る種の動物の画像、或る種の植物の画像、或る種の無生物的な物体の画像などを含んでも良い。

【0013】

第一タスクは第二タスクとは異なっても良い。予測待ち対象は第一タスク及び／又は第二タスクに関しても良い。例えば、第一タスクは第一類型集合の対象に対しての予測を含んでも良く、第二タスクは第二類型集合の対象に対しての予測を含んでも良い。それ相応に、予測待ち対象は第一類型集合の対象及び／又は第二類型集合の対象を含んでも良い。例えば、第一類型集合は１つ又は複数の類型を含んでも良く、また、第二類型集合は第一類型集合における各類型とは異なる１つ又は複数の類型を含んでも良い。例えば、数字文字認識の場合に、第一類型集合の対象は数字“０”及び“１”を含み、第二類型集合の対象は数字“２”及び“３”を含んでも良いが、これらに限定されない。

【0014】

ここで、“特定のタスクについてのサンプルセット”は、特定のタスクについて所定モデルを訓練するためのサンプルセットを表しても良い。例えば、特定のタスクが或る類型の対象に対しての画像認識である場合に、特定のタスクについてのサンプルセットは該類型の対象を含む複数の画像の集合であっても良い。また、“シミュレットサンプルセット”は、サンプル採取により直接取得されるサンプルセットではなく、所定アルゴリズムにより取得されるサンプルセットを表しても良い。また、ここで、“予測”は認識、分類などを含んでも良い。

【0015】

関連技術では、新しい訓練サンプルセットを使用して事前訓練のモデルをさらに訓練する場合に、得られた再訓練のモデルは事前訓練のモデルのパフォーマンスを失う可能性がある。また、事前訓練のモデルを得るための元のサンプルセットに含まれるサンプルの数が大きいため、大量の元のサンプルを取得するコストが高く、低コストで大量の元のサンプルを用いて再訓練のモデルの予測パフォーマンスを制約することができない。幾つかの場合に、元のサンプルが不可知であるため、元のサンプルを使用して再訓練のモデルの予測パフォーマンスを制約することができない。

【0016】

上述のように、本発明の第一実施例による情報処理装置１００は第二タスクについての第二訓練サンプルセットに基づいて得られたサンプル生成ネットワークを利用して第一タスクについての第一シミュレットサンプルセットを生成するので、事前訓練の第一モデルを再訓練するプロセスで、第一シミュレットサンプルセットを利用して、事前訓練の第一モデルの予測パフォーマンスを制約することができ、これによって、事前訓練の第一モデルの予測パフォーマンスをより良く残すことで、第一タスク及び第二タスクの両方に良好な予測パフォーマンスを有する再訓練の第一モデルを得ることができる。また、第一シミュレットサンプルセットを得るコストが大量の元のサンプルを得るコストよりもかなり低いため、コストを削減することができる。また、第一シミュレットサンプルセットを使用して、再訓練の第一モデルが第一タスクに対しての忘却及び／又は第一タスクに対しての忘却度を有するかを決定することもできる。

【0017】

例えば、元のサンプルセットを得ることができる場合に、少量の元のサンプルを取得し、事前訓練の第一モデルを再訓練するプロセスで、取得した少量の元のサンプル及び第一シミュレットサンプルセットを利用して、事前訓練の第一モデルの予測パフォーマンスを制約しても良い。

【0018】

一例として、事前訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果（以降、“第一予測結果”と呼んでも良い）と、再訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果（以降、“第二予測結果”と呼んでも良い）との間の差は直接比較することにより得ることができる。例えば、第一タスクが対象認識である場合に、第一シミュレットサンプルセットにおける次のようなシミュレットサンプルの数Ｍ１（Ｍ１は０よりも大きい自然数である）と、第一シミュレットサンプルセットの総サンプル数Ｎ（Ｎは１よりも大きい自然数である）との比（Ｍ１／Ｎ）を、第一予測結果と第二予測結果との間の差として計算することができ、即ち、事前訓練の第一モデル及び再訓練の第一モデルは該シミュレットサンプルを異なる類型の対象として認識する。

【0019】

もう１つの例として、事前訓練の第一モデルに含まれる損失層の出力ベクトルにより、事前訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果と、再訓練の第一モデルの、第一シミュレットサンプルセットに対する予測結果との間の差を表すことができる。このような方法により、第一予測結果と第二予測結果との間の差をより正確に表すことができるため、事前訓練の第一モデルの第一タスクについての予測パフォーマンスをより良く残すことができる。

【0020】

例えば、第一シミュレットサンプルセットにおける次のようなサンプルの数Ｍ２（Ｍ２は０よりも大きい自然数である）と、第一シミュレットサンプルセットの総サンプル数Ｎとの比（Ｍ２／Ｎ）を、第一予測結果と第二予測結果との間の差として計算することができ、即ち、事前訓練の第一モデルに含まれる損失層により取得される、該シミュレットサンプルについての出力ベクトル（以降、“第一出力ベクトル”と呼んでも良い）と、再訓練の第一モデルに含まれる損失層により取得される、該シミュレットサンプルについての出力ベクトル（以降、“第二出力ベクトル”と呼んでも良い）との間の差は第一所定閾値以上である。例えば、このような場合に、所定範囲は０であっても良いが、これに限定されず、実際のニーズに応じて設定されても良い。例えば、第一出力ベクトルと第二出力ベクトルとの間の差は第一出力ベクトルと第二出力ベクトルとの間のユークリッド距離により表すことができる。第一所定閾値は有限回の実験により取得されても良く、又は、経験に基づいて設定されても良い。

【0021】

例えば、事前訓練の第一モデルに含まれる損失層の出力ベクトルにより、第一予測結果と第二予測結果との間の差を表す場合に、事前訓練の第一モデルに対応する損失関数Ｌに上述の差に関する損失関数ＬＤを追加して事前訓練の第一モデルを再訓練することで、上述の第一所定条件を満たす再訓練の第一モデルを得ることができる。例えば、上述の差に関する損失関数ＬＤが追加された総損失関数Ｌ’は以下の式（１）で表すことができる。

【0022】

Ｌ’＝Ｌ＋ω＊λ＊ＬＤ 式（１）
式（１）では、ωは再訓練プロセスで第一モデルに入力するサンプルの類型を指示するために用いられ、第一モデルに入力するサンプルが第二訓練サンプルセットにおける訓練サンプルである場合に、ωは０に等しく、また、第一モデルに入力するサンプルが第一シミュレットサンプルセットにおけるシミュレットサンプルである場合に、ωは１に等しい。λ＞０であり、それは重みを表し、λが大きいほど、再訓練の第一モデルの第一タスクについての予測パフォーマンスが事前訓練の第一モデルの第一タスクについての予測パフォーマンスに近くなることが期待される。

【0023】

例えば、上述の差に関する損失関数ＬＤは以下の式（２）で表すことができる。

【0024】

【数1】

式（２）では、Ａ１は再訓練のプロセスでの第一モデルの損失層の出力ベクトルを表し、Ａ２は事前訓練の第一モデルの損失層の出力ベクトルを表す。

【0025】

例えば、事前訓練の第一モデルはニューラルネットワークモデル、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデルであっても良いが、これに限定されず、当業者は実際のニーズに応じて適切なモデルを使っても良い。

【実施例0026】

図２は本発明の第二実施例による情報処理装置２００の機能構成例を示すブロック図である。図２に示すように、本発明の第二実施例による情報処理装置２００はサンプル生成ユニット２０２、第一モデル訓練ユニット２０４及びサンプル生成ネットワーク取得ユニット２０６を含んでも良い。例えば、サンプル生成ユニット２０２及び第一モデル訓練ユニット２０４は上述の第一実施例におけるサンプル生成ユニット１０２及び第一モデル訓練ユニット１０４と同様の機能設定を有しても良く、ここではその詳しい説明を省略する。

【0027】

サンプル生成ネットワーク取得ユニット２０６は、第二タスクについての第二訓練サンプルセットに基づいて初期の敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋ）を訓練することで訓練済みの敵対的生成ネットワークを得るように構成されても良い。例えば、ランダムベクトルを入力として用いる場合に、対応する判別器は、訓練済みの敵対的生成ネットワークにより出力されるシミュレットサンプルと第二訓練サンプルセットにおける訓練サンプルを区別することができない。

【0028】

訓練済みの敵対的生成ネットワークを得た後に、サンプル生成ネットワーク取得ユニット２０６は訓練済みの敵対的生成ネットワークを、第二所定条件に達するように調整することで、調整済みの敵対的生成ネットワークをサンプル生成ネットワークとして得ることができる。

【0029】

第二所定条件は、ランダムベクトルを調整済みの敵対的生成ネットワークの入力として利用する場合に、事前訓練の第一モデルの、調整済みの敵対的生成ネットワークの出力としての第二シミュレットサンプルセットに対しての予測結果が第一タスクについての予測結果に関することを含んでも良い。例えば、第一タスクが第一類型集合の対象に対しての予測を含む場合に、事前訓練の第一モデルの、第二シミュレットサンプルセットに対しての予測結果が第一タスクについての予測結果に関することは、事前訓練の第一モデルが第二シミュレットサンプルセットにおける各シミュレットサンプルにおける各対象を第一類型集合の対象として予測することを表しても良い。例えば、第一タスクが数字“０”及び“１”に対しての認識を含む場合に、事前訓練の第一モデルの、第二シミュレットサンプルセットに対しての予測結果が第一タスクについての予測結果に関することは、事前訓練の第一モデルが第二シミュレットサンプルセットにおける各シミュレットサンプルにおける各対象を“０”及び“１”のうちの任意の１つとして予測することを表しても良い。好ましくは、“０”と予測される対象の数は“１”と予測される対象の数に近い。

【0030】

一例として、所望の、事前訓練の第一モデルの、第二シミュレットサンプルセットにおける各シミュレットサンプルに対しての予測結果を設定しても良い。このような場合に、第二所定条件はさらに、第二シミュレットサンプルセットにおける各シミュレットサンプルについて、事前訓練の第一モデルの該シミュレットサンプルに対しての予測結果が所望の予測結果と同じであることを含んでも良い。例えば、第一タスクが数字“０”及び“１”に対しての認識を含む場合に、予め、所望の、第二シミュレットサンプルセットにおける複数のシミュレットサンプルの予測結果を数字“０”に設定し、かつ所望の、他のシミュレットサンプルの予測結果を数字“１”に設定しても良い。

【0031】

他の例として、第二シミュレットサンプルセットにおける各シミュレットサンプルについて所望の損失層の出力ベクトルを設定しても良い。このような場合に、第二所定条件はさらに、第二シミュレットサンプルセットにおける各シミュレットサンプルについて、該シミュレットサンプルが事前訓練の第一モデルの入力として使用される場合に、損失層の出力ベクトルと、所望の損失層の出力ベクトルとの間の差が第二所定閾値以下であることを含んでも良い。第二所定閾値は有限回の実験により取得されても良く、又は、経験に基づいて設定されても良い。

【0032】

図３に示すように、ランダムベクトルを訓練済みの敵対的生成ネットワークに入力してシミュレットサンプルを取得し、取得したシミュレットサンプルを事前訓練の第一モデルに入力して事前訓練の第一モデルの該シミュレットサンプルに対しての予測結果を取得し、そして、予測結果に基づいて訓練済みの敵対的生成ネットワークを調整することができる。

【0033】

サンプル生成ユニット２０２は、サンプル生成ネットワーク取得ユニット２０６が得たサンプル生成ネットワークを利用して、第一タスクについての第一シミュレットサンプルセットを生成することができる。第一モデル訓練ユニット２０４は、事前訓練の第一モデルを再訓練するプロセスで、サンプル生成ユニット２０２が生成した第一シミュレットサンプルセットを利用して、事前訓練の第一モデルの予測パフォーマンスを制約することで、事前訓練の第一モデルの予測パフォーマンスをより良く残すことができる。また、事前訓練の第一モデルを訓練するための元のサンプルを大量に得る必要がないので、コストを削減することができる。

【0034】

図４は、第一タスクが数字“０”及び“１”に対しての認識を含み、かつ第二タスクが数字“２”及び“３”に対しての認識を含む場合に、第二訓練サンプルの例及びサンプル生成ユニット２０２が得えシミュレットサンプルの例を示す図である。図４から分かるように、シミュレットサンプルは数字“０”及び“１”を含む。よって、分かるように、サンプル生成ユニット２０２が得たシミュレットサンプルは、第一タスクについての訓練サンプルをより良くシミュレットすることができる。

【0035】

一例として、次のような方法により、事前訓練の第一モデルの、第二シミュレットサンプルのうちの各シミュレットサンプルに対しての予測結果を取得し、かつ取得した第二シミュレットサンプルのうちの各シミュレットサンプルの予測結果の集合を、事前訓練の第一モデルの、第二シミュレットサンプルセットに対しての予測結果として用いることができ、即ち、該シミュレットサンプルにノイズ（例えば、ガウスノイズ）を追加し、かつ事前訓練の第一モデルの、ノイズが追加されたシミュレットサンプルに対しての予測結果を、事前訓練の第一モデルの、該シミュレットサンプルに対しての予測結果として得る。このような方法により得られたサンプル生成ネットワークを利用することで、第一タスクについての訓練サンプルをより良くシミュレットしたシミュレットサンプルセットを得ることができるため、第一タスクについての予測パフォーマンスをより良く残すことができる。

【0036】

他の例として、次のような方法により、事前訓練の第一モデルの、第二シミュレットサンプルのうちの各シミュレットサンプルに対しての予測結果を取得し、かつ取得した第二シミュレットサンプルのうちの各シミュレットサンプルの予測結果の集合を、事前訓練の第一モデルの、第二シミュレットサンプルセットに対しての予測結果として用いることができ、即ち、事前訓練の第一モデルに含まれる特徴抽出層により抽出される、該シミュレットサンプルの特徴にノイズ（例えば、ガウスノイズ）を追加し、かつノイズが追加された特徴に基づく予測結果を、事前訓練の第一モデルの、該第二シミュレットサンプルに対しての予測結果として得る。このような方法により取得されたサンプル生成ネットワークを利用することで、第一タスクについての訓練サンプルをより良くシミュレットしたシミュレットサンプルセットを得ることができるため、第一タスクについての予測パフォーマンスをより良く残すことができる。