特開 2024-66483 情報処理装置、情報処理方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024066483

(43)【公開日】2024-05-15

(54)【発明の名称】情報処理装置、情報処理方法及びコンピュータプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240508BHJP

   G06N 3/045 20230101ALI20240508BHJP

   G06N 3/096 20230101ALI20240508BHJP

【ＦＩ】

G06N20/00

G06N3/045

G06N3/096

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023183595

(22)【出願日】2023-10-25

(31)【優先権主張番号】202211349387.2

(32)【優先日】2022-10-31

(33)【優先権主張国・地域又は機関】CN

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】フォン・チョン

(72)【発明者】

【氏名】ジョオン・チャオリアン

(72)【発明者】

【氏名】ワン・ジエ

(72)【発明者】

【氏名】孫 俊

(57)【要約】

【課題】本発明は、情報処理装置と方法及びコンピュータプログラムを提供する。
【解決手段】該情報処理装置は第一モデル訓練ユニットを含み、それは第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを得るように構成される。再訓練の第一モデルは特徴抽出器及び判別器を含む。判別器の出力は、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられる。所定条件は、判別器の出力が第一所定閾値範囲内であることを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

情報を処理する装置であって、
第一モデル訓練ユニットを含み、
前記第一モデル訓練ユニットは、第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成され、
前記再訓練の第一モデルは特徴抽出器及び判別器を含み、
前記判別器の出力は、前記事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、前記再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられ、
前記所定条件は、前記判別器の出力が第一所定閾値範囲内であることを含む、装置。

【請求項2】

請求項１に記載の装置であって、
前記事前訓練の第一モデルは判別器を含まず、
前記第一モデル訓練ユニットは、前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルに判別器を追加するように構成される、装置。

【請求項3】

請求項１に記載の装置であって、
前記事前訓練の第一モデルは判別器を含む、装置。

【請求項4】

請求項３に記載の装置であって、
前記第一モデル訓練ユニットは、前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルにおける判別器の構成パラメータを初期化するように構成される、装置。

【請求項5】

請求項１に記載の装置であって、
前記事前訓練の第一モデルは第二訓練サンプル集合を使用して第一モデルを訓練することで得られるものであり、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は互いにオーバーラップしない、装置。

【請求項6】

請求項５に記載の装置であって、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は異なる類型の対象を含む、装置。

【請求項7】

請求項５又は６に記載の装置であって、
第二モデル訓練ユニットをさらに含み、
前記第二モデル訓練ユニットは、前記第二訓練サンプル集合を利用して、前記第一モデルを、所定の収束条件を満たすように訓練することで、前記事前訓練の第一モデルを得るように構成される、装置。

【請求項8】

請求項１に記載の装置であって、
前記事前訓練の第一モデルはニューラルネットワークモデルである、装置。

【請求項9】

情報を処理する方法であって、
第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得することを含み、
前記再訓練の第一モデルは特徴抽出器及び判別器を含み、
前記判別器の出力は、前記事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、前記再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられ、
前記所定条件は、前記判別器の出力が第一所定閾値範囲内であることを含む、方法。

【請求項10】

コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理の分野に関し、特に、情報処理装置、情報処理方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

情報処理の分野では、生涯にわたる（持続的な）学習が重要な用途を有する。しかし、新しい訓練サンプル集合を使用して、訓練により得られた元のモデルをさらに訓練する場合に、結果として得られる新しいモデルは元のモデルのパフォーマンスを失う可能性がある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

上述の問題に鑑み、本発明の目的は、従来技術の１つ又は複数の欠点を解決し得る情報処理装置及び方法を提供することにある。

【課題を解決するための手段】

【0004】

本発明の一側面によれば、情報処理装置が提供され、それは第一モデル訓練ユニットを含み、該第一モデル訓練ユニットは第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成される。再訓練の第一モデルは特徴抽出器及び判別器を含む。判別器の出力は、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられる。所定条件は、判別器の出力が第一所定閾値範囲内であることを含む。

【0005】

本発明のもう１つの側面によれば、情報処理方法が提供され、それは第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得することを含む。再訓練の第一モデルは特徴抽出器及び判別器を含む。判別器の出力は、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられる。所定条件は、判別器の出力が第一所定閾値範囲内であることを含む。

【0006】

本発明の他の側面によれば、上述の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクト、並びに上述の方法を実現するためのコンピュータプログラムコードを記憶しているコンピュータ可読記憶媒体がさらに提供される。

【図面の簡単な説明】

【0007】

【図1】本発明の実施例による情報処理装置の機能構成例のブロック図である。

【図2】本発明の実施例による情報処理装置における第一モデル訓練ユニットの訓練処理の例示図である。

【図3】本発明の実施例による情報処理装置と他の技術との比較を示す図である。

【図4】本発明のもう１つの実施例による情報処理装置の機能構成例のブロック図である。

【図5】本発明の実施例による情報処理方法の例示的なフローチャートである。

【図6】本発明の実施例において採用され得るパソコンの例示的な構成のブロック図である。

【発明を実施するための形態】

【0008】

以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、以下の実施例は例示に過ぎず、本発明を限定するものではない。

【0009】

まず、図１を参照しながら本発明の実施例による情報処理装置の機能構成例を説明する。図１は本発明の実施例による情報処理装置１００の機能構成例のブロック図である。図１に示すように、本発明の実施例による情報処理装置１００は第一モデル訓練ユニット１０２を含み得る。

【0010】

第一モデル訓練ユニット１０２は第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成されても良い。再訓練の第一モデルは特徴抽出器（抽出器と略称する場合がある）及び判別器を含んでも良い。判別器の出力は、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられる。

【0011】

例えば、第一訓練サンプル集合は訓練画像集合、訓練語音集合などであっても良い。それ相応に、予測待ち対象は画像、語音などであっても良い。

【0012】

例えば、所定条件は、判別器の出力が第一所定閾値範囲内であることを含んでも良い。

【0013】

上述のように、本発明の実施例による情報処理装置１００は事前訓練の第一モデルを訓練して、判別器の出力が第一所定閾値範囲内になるようにさせることで、再訓練の第一モデルを得る。このような方式で取得される再訓練の第一モデルは事前訓練の第一モデルの予測パフォーマンスをより良く維持（保持）することができる。

【0014】

以下、図２に示す例と併せて第一モデル訓練ユニット１０２の例示的な訓練プロセスについて説明する。

【0015】

図２に示すように、第一訓練サンプル集合からの訓練サンプルを事前訓練の第一モデル及び再訓練の第一モデルに入力し、事前訓練の第一モデル及び再訓練の第一モデルの特徴抽出器により訓練サンプルの特徴ベクトルを抽出し、かつ抽出した特徴ベクトルを判別器に入力することで、判別器の出力を取得できる。その後、判別器の出力に基づいて、勾配（ｇｒａｄｉｅｎｔ）反転層により勾配逆伝播を行って判別器を訓練することで、判別器の出力が第一所定閾値範囲内になるようにさせることができる。

【0016】

もう１つの側面において、図２に示すように、再訓練の第一モデルの特徴抽出器を用いて得られる特徴ベクトルに基づいて、勾配反転層により反転勾配逆伝播を行うことで、再訓練の第一モデルの特徴抽出器を訓練し、例えば、再訓練の第一モデルの特徴抽出器についての損失関数の出力が第二所定閾値範囲内になり、又は最小になるようにさせることができる。

【0017】

図２に示すように、判別器の出力が０であることは、判別器に入力する特徴ベクトルが事前訓練の第一モデルからのものであることを表しても良く、また、判別器の出力が１であることは、判別器に入力する特徴ベクトルが再訓練の第一モデルからのものであることを表しても良い。もちろん、設定を行うことで、判別器の出力が１であることは判別器に入力する特徴ベクトルが事前訓練の第一モデルからのものであることを表し、かつ判別器の出力が０であることは判別器に入力する特徴ベクトルが再訓練の第一モデルからのものであることを表すようにさせても良い。

【0018】

例えば、判別器の出力が第一所定閾値範囲内であることは、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異が比較的小さいことを表しても良く、例えば、該差異は、判別器が、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布とを区別できない程度まで小さくなっても良い。

【0019】

例えば、第一所定閾値範囲は０．４乃至０．６であっても良い。例えば、完全な収束（収斂）の場合に、第一所定閾値は０．５であっても良い。もちろん、第一所定閾値は必要に応じて０．５程度の範囲内で適切に調整されても良い。

【0020】

例えば、事前訓練の第一モデルは予め第二訓練サンプル集合を使用して第一モデルを訓練することで得られても良い。例えば、第二訓練サンプル集合は第一訓練サンプル集合とオーバーラップしなくても良い。

【0021】

例えば、第二訓練サンプル集合は、第一訓練サンプル集合と同じ類型の対象、例えば、顔、特定の動物、特定の植物、特定の無生物などを含んでも良い。例えば、第一訓練サンプル集合は、該類型の対象（例えば、車両）の第一条件（例えば、昼間）下の画像を含んでも良く、また、第二訓練サンプル集合は、該対象の第二条件（例えば、夜中）下の画像を含んでも良い。このような場合に、本発明の実施例による情報処理装置１００が取得する再訓練の第一モデルは第一条件及び第二条件の下での該類型の対象についてすべて良好な予測パフォーマンスを有する。

【0022】

例えば、第二訓練サンプル集合は第二類型の対象を含んでも良く、第一訓練サンプル集合は第二類型とは異なる第一類型の対象を含んでも良い。このような場合に、本発明の実施例による情報処理装置が取得する再訓練の第一モデルは第一類型の対象及び第二類型の対象についてすべて良好な予測パフォーマンスを有する。

【0023】

一例として、事前訓練の第一モデルは判別器を含まなくても良い。このような場合に、第一モデル訓練ユニット１０２は事前訓練の第一モデルを訓練する前に、事前訓練の第一モデルに判別器を追加するように構成されても良い。

【0024】

もう１つの例として、事前訓練の第一モデルは判別器を含んでも良い。

【0025】

例えば、第一モデル訓練ユニット１０２が特定の訓練プロセスを分けて得られる複数の訓練サブプロセスに用いられる場合に、第一サブ訓練プロセスにより得られる訓練済みのモデルは判別器を含まなくても良く、また、第二サブ訓練プロセスにおいて訓練済みのモデルに判別器を追加し、かつ判別器が追加された訓練済みのモデルを再び訓練することで、判別器が追加された再訓練のモデルを得ても良い。判別器が追加された再訓練のモデルはその後の訓練プロセスにおいてさらに訓練され得る。

【0026】

例えば、事前訓練の第一モデルが判別器を含む場合に、第一モデル訓練ユニット１０２は事前訓練の第一モデルを訓練する前に、事前訓練の第一モデルにおける判別器の構成（構造）パラメータを初期化できる。例えば、第一モデル訓練ユニット１０２は特定の訓練プロセスを分けて得られる複数の訓練サブプロセスに用いられる場合に、後続の訓練サブプロセスにおいて、該訓練プロセスに使用される、その前のサブ訓練プロセスにより得られた訓練済みのモデルの判別器の構成パラメータに対して初期化を行っても良い。

【0027】

例えば、事前訓練の第一モデルはニューラルネットワークモデル、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、ドメイン敵対的遷移ネットワーク（ＤＡＮＮ）モデル、条件ドメイン敵対的ネットワーク（ＣＤＡＮ）モデルであっても良いが、これらに限定されず、当業者は実際のニーズに応じて適切なモデルを使用することもできる。

【0028】

例えば、生涯にわたる（持続的な）学習では、新任務（タスク）のパフォーマンスを向上させるとともに、旧任務のパフォーマンスの低下（旧訓練サンプルを使用できない前提で）を避けることが望まれる。画像分類タスクを例にとり、この場合に、該パフォーマンスは画像分類の正確率と定義される。本発明では、持続的な学習において、すべての訓練サンプル（新旧訓練サンプルを含む）の錯誤率（エラー率）の上限を与えている。該上限は２つの部分を含み、第一部分は新任務の収束度に対しての評価（新任務での正確率であり、この項の内容は新任務のサンプルを訓練することで削減できる）、第二部分は新モデル（再訓練の第一モデルの例）と旧モデル（事前訓練の第一モデルの例）との間の距離である。なお、第二部分は交換が存在し、即ち、０に収束することは最優ではない。新モデルと旧モデルとの間の距離が０であるときに、新モデルが新しい知識を学習できないことを意味し、即ち、該上限の第一部分を下げることができないため、任務全体の上限は高くなる。２つのモデルの間の距離（上限の第二部分）をメジャー（ｍｅａｓｕｒｅ）するために、本発明の実施例による情報処理装置１００では、距離に対しての新しいメジャーメント（ｍｅａｓｕｒｅｍｅｎｔ／度量）、即ち、任意の同じ入力分布に基づいて２つのモデルが生成し得る最大特徴分布差異が導入されている。該度量に基づいて新訓練サンプルを利用して敵対的訓練により、新モデルと旧モデルにより抽出される、新訓練サンプルに対しての特徴分布差異を減少させることで、新モデルと旧モデルの間の距離を減少させる目標を達成し、これによって、上限の第二部分を下げることができる。このような方式により、本発明の実施例による情報処理装置１００が得る再訓練の第一モデルは新任務及び旧任務についてすべて良好なパフォーマンスを有する。また、本発明の実施例によれば、新任務についての訓練では、旧任務に対しての訓練の旧訓練サンプルを使用しなくても良いので、記憶オーバーヘッドを減少させることができる。

【0029】

図３は本発明の実施例による情報処理装置１００と従来技術との比較を示す図である。図３における例の結果は、１０種類の対象に関する、６００００個の画像を含む訓練サンプル集合、及びこれらの１０種類の対象に関するテスト画像集合を使用する場合に取得されるものである。また、本発明の実施例による情報処理装置１００が得る再訓練のＤＡＮＮモデル及びＣＤＡＮモデルは次のような方式で取得されるものであり、即ち、訓練サンプル集合を、互いにオーバーラップしない、それぞれが２種類の対象に関する５つのサブ訓練サンプル集合に分け、かつ５つのサブ訓練サンプル集合を順次使用してモデルを訓練し、そのうち、後続の訓練プロセスにおいて、１つ前の訓練プロセスで得られた訓練済みのモデルに対して再び訓練を行う。

【0030】

図３から分かるように、本発明による情報処理装置１００が得たＤＡＮＮモデル及びＣＤＡＮモデルは、微調整（ｆｉｎｅｔｕｎｅ）方法、ＰＮＮ（例えば、「Ａｎｄｒｅｉ Ａ Ｒｕｓｕ，Ｎｅｉｌ Ｃ Ｒａｂｉｎｏｗｉｔｚ，Ｇｕｉｌｌａｕｍｅ Ｄｅｓｊａｒｄｉｎｓ，Ｈｕｂｅｒｔ Ｓｏｙｅｒ，Ｊａｍｅｓ Ｋｉｒｋｐａｔｒｉｃｋ，Ｋｏｒａｙ Ｋａｖｕｋｃｕｏｇｌｕ，Ｒａｚｖａｎ Ｐａｓｃａｎｕ，ａｎｄ Ｒａｉａ Ｈａｄｓｅｌｌ．Ｐｒｏｇｒｅｓｓｉｖｅ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１６０６．０４６７１，２０１６」参照）、ＳＩ（例えば、「Ｆｒｉｅｄｅｍａｎｎ Ｚｅｎｋｅ，Ｂｅｎ Ｐｏｏｌｅ，ａｎｄ Ｓｕｒｙａ Ｇａｎｇｕｌｉ．Ｃｏｎｔｉｎｕａｌ ｌｅａｒｎｉｎｇ ｔｈｒｏｕｇｈ ｓｙｎａｐｔｉｃ ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ，２０１７」参照）及びＡ－ＧＥＭ（例えば、「Ａｒｓｌａｎ Ｃｈａｕｄｈｒｙ，Ｍａｒｃ’Ａｕｒｅｌｉｏ Ｒａｎｚａｔｏ，Ｍａｒｃｕｓ Ｒｏｈｒｂａｃｈ，ａｎｄ Ｍｏｈａｍｅｄ Ｅｌｈｏｓｅｉｎｙ．Ｅｆｆｉｃｉｅｎｔ ｌｉｆｅｌｏｎｇ ｌｅａｒｎｉｎｇ ｗｉｔｈ ａ－ｇｅｍ．Ｉｎ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｌｅａｒｎｉｎｇ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ，２０１９」参照）により取得されたモデルに比較して、予測の正確率が高い。また、本発明による情報処理装置１００が得たＤＡＮＮモデル及びＣＤＡＮモデルは微調整方法、ＳＩ及びＡ－ＧＥＭにより取得されたモデルに比べて、忘却度が低く、これは、本発明による情報処理装置１００が得たＤＡＮＮモデル及びＣＤＡＮモデルにより、その前の訓練段階で得られた予測パフォーマンスをより良く保持できることを意味する。また、本発明による情報処理装置１００が得たＤＡＮＮモデル及びＣＤＡＮモデルは、ＤＥＲ（例えば、「Ｂｕｚｚｅｇａ，Ｐｉｅｔｒｏ ａｎｄ Ｂｏｓｃｈｉｎｉ，Ｍａｔｔｅｏ ａｎｄ Ｐｏｒｒｅｌｌｏ，Ａｎｇｅｌｏ ａｎｄ Ａｂａｔｉ，Ｄａｖｉｄｅ ａｎｄ Ｃａｌｄｅｒａｒａ，Ｓｉｍｏｎｅ．Ｄａｒｋ Ｅｘｐｅｒｉｅｎｃｅ ｆｏｒ Ｇｅｎｅｒａｌ Ｃｏｎｔｉｎｕａｌ Ｌｅａｒｎｉｎｇ：ａ Ｓｔｒｏｎｇ，Ｓｉｍｐｌｅ Ｂａｓｅｌｉｎｅ．Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ，２０２０」参照）により取得されたモデルの予測正確率に比較して、少し下がっているが、ＤＥＲは現在の訓練プロセスでその前の訓練プロセスに使用された訓練サンプルを要するので、追加の記憶コストを必要とする。これに対して、本発明による情報処理装置１００は現在の訓練プロセスでその前の訓練プロセスに使用された訓練サンプルを要しないので、記憶コストを削減できる。

【0031】

以下、図４に基づいて本発明のもう１つの実施例における情報処理装置４００の機能構成例を説明する。図４に示すように、本発明のもう１つの実施例に係る情報処理装置４００は第一モデル訓練ユニット４０２及び第二モデル訓練ユニット４０４を含んでも良い。第一モデル訓練ユニット４０２は図１乃至図３を参照しながら説明された上述の第一モデル訓練ユニット１０２と同様であっても良いから、具体的な細部については上述の第一モデル訓練ユニット１０２についての説明を参照でき、ここではその詳しい説明を省略する。

【0032】

第二モデル訓練ユニット４０４は、第二訓練サンプル集合を利用して第一モデルを、所定の収束条件を満たすように訓練することで、事前訓練の第一モデルを得るように構成されても良い。

【0033】

例えば、所定の収束条件は次のようなものうちの１つであっても良く、例えば、第一モデルについての損失関数が第三所定閾値範囲内であり、第一モデルについての損失関数が最小になり、又は訓練が所定回数に達していることである。

【0034】

情報処理装置１００と同様に、情報処理装置４００は事前訓練の第一モデルの予測パフォーマンスを良く維持した再訓練の第一モデルを得ることができ、かつ高い予測精度を有する。また、第一モデル訓練ユニット４０２の訓練プロセスで第二訓練サンプル集合における訓練画像を使用しなくても良いので、記憶オーバーヘッドを削減できる。

【0035】

例えば、第一モデル訓練ユニット４０２が実行する訓練プロセスは第一任務について行われても良く、また、第二モデル訓練ユニット４０４が実行する訓練プロセスは第二任務について行われても良い。このようにして取得される再訓練の第一モデルは第一任務及び第二任務についてすべて高い予測精度を有する。

【0036】

例えば、第一任務は所定類型の対象（例えば、車両）の第一条件（例えば、昼間）下の予測に関しても良く、また、第二任務は該所定類型の対象の第二条件（例えば、夜中）下の予測に関しても良い。

【0037】

例えば、第一任務は第一類型の対象、第二任務は第二類型の対象についてのものであっても良い。

【0038】

例えば、第一任務及び第二任務は１つの任務を分けることで得られるサブ任務であっても良い。

【0039】

なお、本発明の実施例による情報処理装置の適用例を説明したが、該情報処理装置の適用はこれらに限られず、当業者は実際のニーズに応じて該情報処理装置を様々な場合に適用でき、ここではその詳しい説明を省略する。

【0040】

上述の情報処理装置の実施例に対応して、本発明では以下の情報処理方法の実施例がさらに提供される。

【0041】

図５は本発明の実施例による情報処理方法５００のフローの例示的なフローチャートである。図５に示すように、本発明の実施例による情報処理方法５００はステップＳ５０２で開始（スタート）し、ステップＳ５０６で終了（エンド）し、かつ第一モデル訓練ステップＳ５０４を含んでも良い。

【0042】

第一モデル訓練ステップＳ５０４では、第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得できる。再訓練の第一モデルは特徴抽出器及び判別器を含んでも良い。判別器の出力は、事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられる。例えば、第一モデル訓練ステップＳ５０４は上述の第一モデル訓練ユニット１０２及び４０２により実行されても良いため、その具体的な細部については上述の第一モデル訓練ユニット１０２及び４０２についての説明を参照でき、ここではその詳しい説明を省略する。

【0043】

例えば、所定条件は、判別器の出力が第一所定閾値範囲内であることを含んでも良い。

【0044】

本発明の実施例による情報処理装置１００及び４００と同様に、本発明の実施例による情報処理方法５００により取得される再訓練の第一モデルは事前訓練の第一モデルの予測パフォーマンスをより良く維持することができ、かつ比較的高い予測精度を有する。

【0045】

例えば、事前訓練の第一モデルは予め第二訓練サンプル集合を使用して第一モデルを訓練することで得られても良い。例えば、第二訓練サンプル集合は第一訓練サンプル集合とオーバーラップしなくても良い。

【0046】

一例として、事前訓練の第一モデルは判別器を含まなくても良い。このような場合に、事前訓練の第一モデルを訓練する前に、事前訓練の第一モデルに判別器を追加しても良い。

【0047】

もう１つの例として、事前訓練の第一モデルは判別器を含んでも良い。このような場合に、例えば、事前訓練の第一モデルを訓練する前に、事前訓練の第一モデルの判別器の構成パラメータを初期化できる。

【0048】

例えば、事前訓練の第一モデルはニューラルネットワークモデル、例えば、畳み込みニューラルネットワーク（ＣＮＮ）モデル、ドメイン敵対的遷移ネットワーク（ＤＡＮＮ）モデル、条件ドメイン敵対的ネットワーク（ＣＤＡＮ）モデルであっても良いが、これらに限定されず、当業者は実際のニーズに応じて適切なモデルを使用しても良い。

【0049】

例えば、本発明の実施例による情報処理方法５００は第二モデル訓練ステップ（図示せず）をさらに含み得る。第二モデル訓練ステップでは、第二訓練サンプル集合を使用して第一モデルを訓練することで、訓練済みの第一モデルを得ることができる。

【0050】

なお、以上、本発明の実施例による情報処理装置及び情報処理方法、並びにモデルを用いて分類を行う装置及び方法の機能配置及び操作を説明したが、これらは例示に過ぎず、当業者は本発明の原理に基づいて上述の実施例を変更することができ、例えば、各実施例における機能モジュールに対して増減、組み合わせなどを行っても良く、かつこのような変更はすべて本発明の範囲内である。

【0051】

また、ここでの方法の実施例は上述の装置の実施例に対応するので、方法の実施例で詳細に説明されていない内容については装置の実施例における対応部分の説明を参照でき、ここではその詳しい説明を省略する。

【0052】

理解できるように、本発明の実施例による記憶媒体及びプログラムプロダクトにおけるマシン（コンピュータ）実行可能な命令はさらに、上述の分類予測方法を実行するように構成されても良い。よって、ここで詳細に説明されていない内容は上述の対応部分の説明を参照でき、ここではその詳しい説明を省略する。

【0053】

それ相応に、マシン実行可能な命令を含む上述のプログラムプロダクトをキャリー（ｃａｒｒｙ）するための記憶媒体も本発明の開示に含まれる。該記憶媒体は磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などを含んでも良いが、これらに限定されない。

【0054】

また、理解できるように、上述の一連の処理及びシステムはソフトウェア及び／又はファームウェアにより実現され得る。ソフトウェア及び／又はファームウェアにより実現される場合に、記憶媒体又はネットワークから専用ハードウェア構成を持つコンピュータ、例えば、図６に示す通用パソコン１０００に、該ソフトウェアを構成するプログラムをインストールし、該コンピュータは各種のプログラムがインストールされているときに、各種の機能などを実行できる。

【0055】

図６では、中央処理ユニット（ＣＰＵ）１００１はＲＯＭ１００２に記憶されているプログラム又は記憶装置１００８からＲＡＭ１００３にロードされているプログラムに基づいて各種の処理を実行する。ＲＡＭ１００３では、ニーズに応じて、ＣＰＵ １００１が各種の処理などを実行するときに必要なデータを記憶しても良い。

【0056】

ＣＰＵ１００１、ＲＯＭ１００２及びＲＡＭ１００３はバス１００４にて互いに接続される。入力／出力インターフェース１００５もバス１００４に接続される。

【0057】

入力／出力インターフェース１００５には、次のような部品が接続され、即ち、キーボードなどを含む入力部１００６、液晶表示器（ＬＣＤ）などのような表示器及びスピーカーなどを含む出力部１００７、ハードディスクなどを含む記憶部１００８、ネットワーク・インターフェース・カード、例えば、ＬＡＮカード、モデムなどを含む通信部１００９である。通信部１００９は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。ドライブ１０１０は、ニーズに応じて、入力／出力インターフェース１００５に接続されても良い。取り外し可能な媒体１０１１、例えば、半導体メモリなどは、必要に応じて、ドライブ１０１０にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部１００８にインストールすることができる。

【0058】

また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施例における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（ｃａｒｒｙ）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（ＣＤ－ＲＯＭ及びＤＶＤを含む）、光磁気ディスク（ＭＤ（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。

【0059】

また、上述の装置における各ユニットはソフトウェア、ファームウェア、ハードウェア又はその組み合わせの方式で構成され得る。なお、構成時に使用できる具体的な手段や方法は当業者に周知であるため、ここではその詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体やネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図６に示す汎用コンピュータ１０００）に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは各種のプログラムがインストールされているときに、各種の機能などを実行できる。

【0060】

また、明らかのように、本発明による方法の各操作のプロセスは各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現され得る。

【0061】

さらに、本発明の目的は次のような方式で実現されても良く、即ち、実行可能なプログラムコードを記憶している記憶媒体をシステム又は装置に直接又は間接的に提供し、該システム又は装置におけるコンピュータ又は中央処理ユニット（ＣＰＵ）により上述のプログラムコードを読み取って実行する。このときに、該システム又は装置がプログラム実行可能な機能を有すれば、本発明の実施例はプログラムに限定されず、また、該プログラムは任意の形式のもの、例えば、オブジェクト指向プログラム、インタープリター実行のプログラム、ＯＳに提供するスクリプトプログラムなどであっても良い。

【0062】

上述のようなマシン可読記憶媒体は、各種の記憶器及び記憶ユニット、半導体デバイス、磁気、光磁気ディスクなどの磁気ディスク装置、及び情報を格納するのに適した他の媒体が含まれるが、これらに限定されない。

【0063】

また、コンピュータはインターネット上の対応するウェブサイトに接続し、本発明によるコンピュータプログラムコードをダウンロードしてコンピュータにインストールした後に該プログラムを実行することで、本発明の技術案を実現することもできる。

【0064】

また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。

【0065】

また、以上の実施例などに関し、さらに以下のように付記として開示する。

【0066】

（付記１）
情報処理装置であって、
第一モデル訓練ユニットを含み、それは第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得するように構成され、
そのうち、前記再訓練の第一モデルは特徴抽出器及び判別器を含み、
そのうち、前記判別器の出力は、前記事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、前記再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられ、
そのうち、前記所定条件は、前記判別器の出力が第一所定閾値範囲内であることを含む、装置。

【0067】

（付記２）
付記１に記載の情報処理装置であって、
前記事前訓練の第一モデルは判別器を含まず、
前記第一モデル訓練ユニットは、前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルに判別器を追加するように構成される、装置。

【0068】

（付記３）
付記１に記載の情報処理装置であって、
前記事前訓練の第一モデルは判別器を含む、装置。

【0069】

（付記４）
付記３に記載の情報処理装置であって、
前記第一モデル訓練ユニットは、前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルにおける判別器の構成パラメータを初期化するように構成される、装置。

【0070】

（付記５）
付記１に記載の情報処理装置であって、
前記事前訓練の第一モデルは第二訓練サンプル集合を使用して第一モデルを訓練することで得られるものであり、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は互いにオーバーラップしない、装置。

【0071】

（付記６）
付記５に記載の情報処理装置であって、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は異なる類型の対象を含む、装置。

【0072】

（付記７）
付記５又は６に記載の情報処理装置であって、
第二モデル訓練ユニットをさらに含み、それは、前記第二訓練サンプル集合を利用して、前記第一モデルを、所定の収束条件を満たすように訓練することで、前記事前訓練の第一モデルを得るように構成される、装置。

【0073】

（付記８）
付記１に記載の情報処理装置であって、
前記事前訓練の第一モデルはニューラルネットワークモデルである、装置。

【0074】

（付記９）
情報処理方法であって、
第一訓練サンプル集合を利用して、事前訓練の第一モデルを、所定条件を満たすように訓練することで、予測待ち対象を予測するための再訓練の第一モデルを取得することを含み、
そのうち、前記再訓練の第一モデルは特徴抽出器及び判別器を含み、
そのうち、前記判別器の出力は、前記事前訓練の第一モデルの特徴抽出器により抽出される特徴の分布と、前記再訓練の第一モデルの特徴抽出器により抽出される特徴の分布との間の差異を表すために用いられ、
そのうち、前記所定条件は、前記判別器の出力が第一所定閾値範囲内であることを含む、方法。

【0075】

（付記１０）
付記９に記載の情報処理方法であって、
前記事前訓練の第一モデルは判別器を含まず、
前記情報処理方法は、前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルに判別器を追加することをさらに含む、方法。

【0076】

（付記１１）
付記９に記載の情報処理方法であって、
前記事前訓練の第一モデルは判別器を含む、方法。

【0077】

（付記１２）
付記１１に記載の情報処理方法であって、
前記事前訓練の第一モデルを訓練する前に、前記事前訓練の第一モデルにおける判別器の構成パラメータを初期化することをさらに含む、方法。

【0078】

（付記１３）
付記９に記載の情報処理方法であって、
前記事前訓練の第一モデルは第二訓練サンプル集合を使用して第一モデルを訓練することで得られるものであり、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は互いにオーバーラップしない。

【0079】

（付記１４）
付記１３に記載の情報処理方法であって、
前記第一訓練サンプル集合と前記第二訓練サンプル集合は異なる類型の対象を含む、方法。

【0080】

（付記１５）
付記１３又は１４に記載の情報処理方法であって、
前記第二訓練サンプル集合を利用して、前記第一モデルを、所定の収束条件を満たすように訓練することで、前記事前訓練の第一モデルを得ることをさらに含む、方法。

【0081】

（付記１６）
付記９に記載の情報処理方法であって、
前記事前訓練の第一モデルはニューラルネットワークモデルである、方法。

【0082】

（付記１７）
プログラムを記憶しているコンピュータ可読記憶媒体であって、
前記プログラムはコンピュータによって実行されるときに、前記コンピュータに、付記９乃至１６のうちの任意の１項に記載の情報処理方法を実行させる、記憶媒体。

【0083】

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】