特許 7392537 学習プログラム、学習方法、および情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-28

(45)【発行日】2023-12-06

(54)【発明の名称】学習プログラム、学習方法、および情報処理装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20231129BHJP

【ＦＩ】

G06N20/00

【請求項の数】 6

(21)【出願番号】P 2020050214

(22)【出願日】2020-03-19

(65)【公開番号】P2021149680

(43)【公開日】2021-09-27

【審査請求日】2022-12-08

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100104190

【弁理士】

【氏名又は名称】酒井 昭徳

(72)【発明者】

【氏名】丸橋 弘治

【審査官】小林 秀和

(56)【参考文献】

【文献】特開２０１８－０５５５８０（ＪＰ，Ａ）

【文献】特開２０１９－２１２１５５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【請求項2】

前記共通変換情報を生成する処理は、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記共通変換情報を生成する、ことを特徴とする請求項１に記載の学習プログラム。

【請求項3】

前記更新する処理は、
生成した前記変換データに基づいて、さらに、前記共通変換情報を更新する、ことを特徴とする請求項１に記載の学習プログラム。

【請求項4】

前記類似度は、前記試験データにおける入力値を並べた第１のベクトルと、前記照合データにおける入力値を並べた第２のベクトルとの内積により表現される、ことを特徴とする請求項１～３のいずれか一つに記載の学習プログラム。

【請求項5】

複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
処理をコンピュータが実行することを特徴とする学習方法。

【請求項6】

複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
制御部を有することを特徴とする情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習プログラム、学習方法、および情報処理装置に関する。

【背景技術】

【0002】

従来、ニューラルネットワーク（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を利用した機械学習の技術がある。例えば、情報処理装置は、ニューラルネットワークの入力層の複数のノードのそれぞれに、入力データに含まれる複数の入力値のそれぞれを入力し、ニューラルネットワークの出力データと教師データとの出力誤差に基づいて、ニューラルネットワークを学習する。

【0003】

先行技術としては、例えば、ニューラルネットワークの入力層の複数のノードのそれぞれと、入力データに含まれる複数の入力値のそれぞれとの対応関係を変換する基準が、複数の基準値の配列で示された照合データを利用するものがある。例えば、情報処理装置は、照合データに基づく対応関係に従って、ニューラルネットワークに入力データに含まれる複数の入力値のそれぞれを入力し、ニューラルネットワークの出力データと教師データとの出力誤差に基づいて、ニューラルネットワークおよび照合データを更新する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１８－０５５５８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来技術では、機械学習の学習精度の向上を図ることが難しい。例えば、ノードと入力値との対応関係を決定する際に、入力値が何の項目に関わる値であるかを考慮しなければ、ニューラルネットワークおよび照合データを精度よく更新していくことができない場合がある。

【0006】

１つの側面では、本発明は、機械学習の学習精度の向上を図ることを目的とする。

【課題を解決するための手段】

【0007】

１つの実施態様によれば、複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する学習プログラム、学習方法、および情報処理装置が提案される。

【発明の効果】

【0008】

一態様によれば、機械学習の学習精度の向上を図ることが可能になる。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。

【図2】図２は、分類システム２００の一例を示す説明図である。

【図3】図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。

【図4】図４は、入力データ４００の一例を示す説明図である。

【図5】図５は、照合データ５００の一例を示す説明図である。

【図6】図６は、共通変換情報６００の一例を示す説明図である。

【図7】図７は、個別変換情報７００の一例を示す説明図である。

【図8】図８は、ニューラルネットワーク８００の一例を示す説明図である。

【図9】図９は、情報処理装置１００の機能的構成例を示すブロック図である。

【図10】図１０は、情報処理装置１００の動作例１の流れを示す説明図である。

【図11】図１１は、情報処理装置１００の動作例１の具体例を示す説明図（その１）である。

【図12】図１２は、情報処理装置１００の動作例１の具体例を示す説明図（その２）である。

【図13】図１３は、動作例１における全体処理手順の一例を示すフローチャートである。

【図14】図１４は、情報処理装置１００の動作例２の流れを示す説明図（その１）である。

【図15】図１５は、情報処理装置１００の動作例２の流れを示す説明図（その２）である。

【図16】図１６は、情報処理装置１００の動作例２の具体例を示す説明図（その１）である。

【図17】図１７は、情報処理装置１００の動作例２の具体例を示す説明図（その２）である。

【図18】図１８は、動作例２における全体処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して、本発明にかかる学習プログラム、学習方法、および情報処理装置の実施の形態を詳細に説明する。

【0011】

（実施の形態にかかる学習方法の一実施例）
図１は、実施の形態にかかる学習方法の一実施例を示す説明図である。情報処理装置１００は、学習器を利用した機械学習を実現するコンピュータである。情報処理装置１００は、例えば、サーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などである。学習器は、例えば、ニューラルネットワークである。

【0012】

ニューラルネットワークは、入力層と中間層と出力層とを有する。ニューラルネットワークは、中間層を複数有する場合がある。入力層と中間層と出力層との各層は、１以上のノードを有する。ノードは、自ノードに入力された値に所定の処理を実行し、所定の処理により得られた値を出力する。

【0013】

ニューラルネットワークは、例えば、入力データを分類するために利用される。入力データは、１以上の項目のそれぞれの項目の項目値と入力値との組み合わせを複数含む。ニューラルネットワークは、入力データに含まれる入力値が、入力層のノードに入力されたことに応じて、入力データを分類した結果を、出力層の出力値により表現する。

【0014】

従来、ニューラルネットワークを利用した機械学習では、入力データと、入力データの正しい分類結果を示す教師データとを対応付けた学習データを用いて、ニューラルネットワークが学習される。例えば、情報処理装置は、ニューラルネットワークに入力データを入力し、ニューラルネットワークの出力データと教師データとを比較して得られた出力誤差から、誤差逆伝搬により入力誤差を算出する。そして、入力誤差に基づきニューラルネットワークの学習が実行され、ニューラルネットワークの精度向上を図られる。

【0015】

しかしながら、従来では、ニューラルネットワークを精度よく学習することが難しい場合がある。例えば、入力データに含まれる複数の入力値のそれぞれと、ニューラルネットワークの入力層の複数のノードのそれぞれとの対応関係が考慮されず、ニューラルネットワークを精度よく学習することができないことがある。

【0016】

具体的には、入力データに含まれる１以上の項目値が示す人や物の関係性が、入力データを分類する精度に影響を与える場合がある。この場合、人や物の関係性を考慮して、ニューラルネットワークを学習することが好ましい。従来では、入力値が人や物のどのような関係性に関わるかを考慮せず、入力値とノードとの対応関係を調整しないため、ニューラルネットワークを精度よく学習することができない。

【0017】

これに対し、学習データの他に、照合データを用いて、ニューラルネットワークを学習する手法が考えられる。照合データは、ニューラルネットワークの入力層の複数のノードのそれぞれと、入力データに含まれる複数の入力値のそれぞれとの対応関係を、入力データを分類する精度が向上するように変換する基準を示すためのデータである。

【0018】

上記手法は、具体的には、照合データに基づいて、入力データに含まれる複数の入力値のそれぞれの、ニューラルネットワークの入力層の複数のノードのそれぞれとの対応関係を変換した変換データを生成する。次に、上記手法は、変換データに含まれる複数の入力値のそれぞれを、ニューラルネットワークの入力層の複数のノードのそれぞれに入力する。そして、上記手法は、ニューラルネットワークの出力データと教師データとを比較して得られた出力誤差から、誤差逆伝搬により入力誤差を算出し、入力誤差に基づきニューラルネットワークを学習すると共に、照合データを学習し、照合データの精度向上を図る。

【0019】

ここで、上記手法でも、ニューラルネットワークおよび照合データを精度よく学習することが難しい場合がある。例えば、入力値とノードとの対応関係を変換する際、入力値が、いずれの項目値に関わるかが考慮されず、ニューラルネットワークおよび照合データを精度よく学習することができないことがある。

【0020】

具体的には、人や物の関係性の他、項目値が示す人や物そのものが、入力データを分類する精度に影響を与える場合がある。この場合、人や物の関係性の他、人や物そのものを考慮して、ニューラルネットワークおよび照合データの学習が行われることが好ましい。上記手法は、入力値がいずれの人や物に関わるかを考慮せずに、入力値とノードとの対応関係を変換する。この場合、入力値とノードとの対応関係は入力データ毎に変動しうるので、入力データ中の入力値がいずれの項目値に関わるかという観点は、学習において考慮されなくなる。そのため、ニューラルネットワークおよび照合データを精度よく学習することができない。

【0021】

一例として、一定期間のネットワークの通信ログから得られる入力データを、不正通信があったか否かに分類するニューラルネットワークを学習する場合が考えられる。入力データは、例えば、項目値として送信元アドレスと送信先アドレスとを含み、入力値として通信量を含む。

【0022】

この場合、入力値が特定の送信先アドレスに関わるか否かが、入力データを不正通信があったか否かに分類する精度に影響を与えることがある。このため、特定の送信先アドレスに関わる入力値が、ニューラルネットワークの入力層が有する特定のノードに入力されるように、入力値とノードとの対応関係を変換することが好ましい。一方で、入力値が、特定の送信先アドレスに関わるか否かを考慮しなければ、ニューラルネットワークおよび照合データを精度よく学習することができない。

【0023】

そこで、本実施の形態では、入力データに含まれる１以上の項目値が示す人や物の関係性の他、一部の項目値が示す人や物そのものも考慮して、ニューラルネットワークおよび照合データを学習することができる学習方法について説明する。

【0024】

図１において、情報処理装置１００は、学習器１１０を更新する。学習器１１０は、入力ノードを有する。学習器１１０は、例えば、ニューラルネットワークである。入力ノードは、ニューラルネットワークの入力層のノードである。

【0025】

（１－１）情報処理装置１００は、複数の項目のうち１以上の項目に対応付けて、複数のデータに共通で適用される共通変換情報１２０を生成する。データは、学習器１１０に入力される入力データである。データは、複数の項目のそれぞれの項目の項目値と入力値との組み合わせを複数含む。

【0026】

共通変換情報１２０は、データを学習器１１０に入力する場合において、データにおける入力値のそれぞれと、学習器１１０における入力ノードのそれぞれとの対応関係を変換するための情報である。共通変換情報１２０の一例は、例えば、図６を用いて後述する。図１の例では、情報処理装置１００は、項目２に対応付けて、データ１０１，１０２に共通して適用される共通変換情報１２０を生成する。

【0027】

（１－２）情報処理装置１００は、複数の項目のうち１以上の項目を除く残余の項目に対応付けて、データごとに個別で適用される個別変換情報１３０を生成する。個別変換情報１３０は、データを学習器１１０に入力する場合において、データにおける入力値のそれぞれと、学習器１１０における入力ノードのそれぞれとの対応関係を変換するための情報である。個別変換情報１３０の一例は、例えば、図７を用いて後述する。

【0028】

情報処理装置１００は、例えば、複数のデータのそれぞれのデータの対応関係を変換して得られる試験データと照合データとの類似度に基づいて、個別変換情報１３０を生成する。図１の例では、情報処理装置１００は、項目１に対応付けて、データ１０１，１０２に個別に適用される個別変換情報１３０を生成する。

【0029】

（１－３）情報処理装置１００は、生成した共通変換情報１２０および個別変換情報１３０に基づいて、複数のデータのそれぞれのデータの対応関係を変換した変換データを生成する。図１の例では、情報処理装置１００は、データ１０１，１０２から変換データ１０３，１０４を生成する。

【0030】

（１－４）情報処理装置１００は、生成した変換データに基づいて、照合データ１４０および学習器１１０を更新する。照合データ１４０の一例は、例えば、図５を用いて後述する。図１の例では、情報処理装置１００は、生成した変換データ１０３，１０４を学習器１１０に入力し、誤差逆伝搬により入力誤差を算出し、入力誤差に基づいて照合データ１４０および学習器１１０を更新する。

【0031】

これにより、情報処理装置１００は、学習精度の向上を図ることができる。情報処理装置１００は、例えば、項目値が示す人や物そのものを考慮して、照合データ１４０および学習器１１０を更新することができる。

【0032】

情報処理装置１００は、具体的には、共通変換情報１２０により、データ１０１，１０２に関して共通して、項目２の項目値「Ｒ１」の入力値が、入力ノード１１１，１１２のいずれかに対応付けられるようにすることができる。また、情報処理装置１００は、同様に、項目２の項目値「Ｒ２」の入力値が、入力ノード１１３，１１４のいずれかに対応付けられるようにすることができる。このため、情報処理装置１００は、項目２の項目値を考慮して照合データ１４０および学習器１１０を更新可能にすることができる。

【0033】

結果として、情報処理装置１００は、学習精度の向上を図り、精度のよい照合データ１４０および学習器１１０を得ることができる。そして、情報処理装置１００は、得られた照合データ１４０および学習器１１０を、分類対象のデータを分類するために利用可能にすることができる。また、情報処理装置１００は、照合データ１４０および学習器１１０を利用して、分類対象のデータを分類する精度の向上を図ることができる。

【0034】

（分類システム２００の一例）
次に、図２を用いて、図１に示した情報処理装置１００を適用した、分類システム２００の一例について説明する。

【0035】

図２は、分類システム２００の一例を示す説明図である。図２において、分類システム２００は、情報処理装置１００と、１以上のクライアント装置２０１とを含む。

【0036】

分類システム２００において、情報処理装置１００とクライアント装置２０１とは、有線または無線のネットワーク２１０を介して接続される。ネットワーク２１０は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどである。

【0037】

情報処理装置１００は、照合データおよびニューラルネットワークを有するコンピュータである。照合データの一例は、例えば、図５を用いて後述する。ニューラルネットワークの一例は、例えば、図８を用いて後述する。情報処理装置１００は、入力データを含む学習データ、または、分類対象の入力データを、クライアント装置２０１から受信する。入力データの一例は、例えば、図４を用いて後述する。

【0038】

情報処理装置１００は、学習データに基づいて、共通変換情報および個別変換情報を生成し、ニューラルネットワークおよび照合データを更新する。共通変換情報の一例は、例えば、図６を用いて後述する。個別変換情報の一例は、例えば、図７を用いて後述する。

【0039】

情報処理装置１００は、更新したニューラルネットワークおよび照合データに基づいて、分類対象の入力データを分類する。クライアント装置２０１は、入力データを含む学習データ、または、分類対象の入力データを情報処理装置１００に送信するコンピュータである。クライアント装置２０１は、分類対象の入力データの分類結果を受信してもよい。

【0040】

（分類システム２００の使用例（その１））
例えば、情報処理装置１００は、一定期間内のネットワークの通信ログの統計データを、入力データとして利用する場合がある。情報処理装置１００は、入力データを含む学習データに基づいて、不正行為がある入力データと、不正行為がない入力データとを分類するためのニューラルネットワーク、および、照合データを生成する。不正行為は、例えば、ＤＤｏＳ攻撃や標的型攻撃などである。また、情報処理装置１００は、更新後のニューラルネットワークおよび照合データに基づいて、分類対象の入力データを分類する。

【0041】

（分類システム２００の使用例（その２））
例えば、情報処理装置１００は、一定期間内の金融機関の取引ログの統計データを、入力データとして利用する場合がある。情報処理装置１００は、入力データを含む学習データに基づいて、不正行為がある入力データと、不正行為がない入力データとを分類するためのニューラルネットワーク、および、照合データを生成する。不正行為は、例えば、振込詐欺やマネーロンダリングなどである。また、情報処理装置１００は、更新後のニューラルネットワークおよび照合データに基づいて、分類対象の入力データを分類する。

【0042】

ここでは、情報処理装置１００が、入力データを含む学習データ、または、分類対象の入力データを、クライアント装置２０１から受信する場合について説明したが、これに限らない。例えば、情報処理装置１００が、利用者の操作入力に基づき、入力データを含む学習データなどを受け付ける場合があってもよい。また、情報処理装置１００が、接続された記録媒体から、入力データを含む学習データなどを取得する場合があってもよい。以下の説明では、上述した分類システム２００の使用例（その１）を一例として説明する。

【0043】

（情報処理装置１００のハードウェア構成例）
次に、図３を用いて、情報処理装置１００のハードウェア構成例について説明する。

【0044】

図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。図３において、情報処理装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１と、メモリ３０２と、ネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３０３と、記録媒体Ｉ／Ｆ３０４と、記録媒体３０５とを有する。また、各構成部は、バス３００によってそれぞれ接続される。

【0045】

ここで、ＣＰＵ３０１は、情報処理装置１００の全体の制御を司る。メモリ３０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびフラッシュＲＯＭなどを有する。具体的には、例えば、フラッシュＲＯＭやＲＯＭが各種プログラムを記憶し、ＲＡＭがＣＰＵ３０１のワークエリアとして使用される。メモリ３０２に記憶されるプログラムは、ＣＰＵ３０１にロードされることで、コーディングされている処理をＣＰＵ３０１に実行させる。

【0046】

ネットワークＩ／Ｆ３０３は、通信回線を通じてネットワーク２１０に接続され、ネットワーク２１０を介して他のコンピュータに接続される。そして、ネットワークＩ／Ｆ３０３は、ネットワーク２１０と内部のインターフェースを司り、他のコンピュータからのデータの入出力を制御する。ネットワークＩ／Ｆ３０３は、例えば、モデムやＬＡＮアダプタなどである。

【0047】

記録媒体Ｉ／Ｆ３０４は、ＣＰＵ３０１の制御に従って記録媒体３０５に対するデータのリード／ライトを制御する。記録媒体Ｉ／Ｆ３０４は、例えば、ディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポートなどである。記録媒体３０５は、記録媒体Ｉ／Ｆ３０４の制御で書き込まれたデータを記憶する不揮発メモリである。記録媒体３０５は、例えば、ディスク、半導体メモリ、ＵＳＢメモリなどである。記録媒体３０５は、情報処理装置１００から着脱可能であってもよい。

【0048】

情報処理装置１００は、上述した構成部のほか、例えば、キーボード、マウス、ディスプレイ、プリンタ、スキャナ、マイク、または、スピーカーなどを有してもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を複数有していてもよい。また、情報処理装置１００は、記録媒体Ｉ／Ｆ３０４や記録媒体３０５を有していなくてもよい。

【0049】

（入力データ４００の一例）
次に、図４を用いて、入力データ４００の一例について説明する。

【0050】

図４は、入力データ４００の一例を示す説明図である。図４において、入力データ４００は、通信元ホストと、通信先ホストと、ポートと、量とのフィールドを有する。通信元ホストのフィールドには、通信元ホストを示すアドレスが設定される。通信先ホストのフィールドには、通信先ホストを示すアドレスが設定される。ポートのフィールドには、通信に用いたポートを示す番号が設定される。量のフィールドには、一定期間における通信ログにおける、通信元ホストから通信先ホストへのポートを介した通信量が設定される。入力データ４００の各レコードに設定された通信量は、各レコードの位置に応じてニューラルネットワーク８００の入力層のいずれかのノードに、入力値として対応付けられる。

【0051】

（照合データ５００の一例）
次に、図５を用いて、照合データ５００の一例について説明する。

【0052】

図５は、照合データ５００の一例を示す説明図である。図５において、照合データ５００は、通信元ホストと、通信先ホストと、ポートと、量とのフィールドを有する。各フィールドは、入力データ４００の各フィールドと同様であるため、説明を省略する。照合データ５００の各レコードに設定された通信量は、各レコードの位置に応じて、ニューラルネットワーク８００の入力層のいずれかのノードに、入力値として対応付けられる。照合データ５００は、入力データ４００の各レコードの位置を入れ替えて、ニューラルネットワーク８００の入力層のノードと入力値との対応関係を、どのように変換することが好ましいかの基準を示す。

【0053】

（共通変換情報６００の一例）
次に、図６を用いて、共通変換情報６００の一例について説明する。

【0054】

図６は、共通変換情報６００の一例を示す説明図である。図６において、共通変換情報６００は、入力データ４００を、照合データ５００に合わせて変換する際の、いずれかの項目に関する基準を示す。以下の説明では、かかる項目を「共通項目」と表記する場合がある。図６の例では、共通変換情報６００の行は、入力データ４００の共通項目の項目値に対応する。共通変換情報６００の列は、照合データ５００の共通項目の項目値に対応する。数値「１」は、入力データ４００と照合データ５００との対応関係を示す。これにより、共通変換情報６００は、入力データ４００の共通項目の項目値が、照合データ５００の共通項目の項目値の位置に相当するように、入力データ４００を変換することを表現する。

【0055】

（個別変換情報７００の一例）
次に、図７を用いて、個別変換情報７００の一例について説明する。

【0056】

図７は、個別変換情報７００の一例を示す説明図である。図７において、個別変換情報７００は、入力データ４００を、照合データ５００に合わせて変換する際の、いずれかの項目に関する基準を示す。以下の説明では、かかる項目を「個別項目」と表記する場合がある。図７の例では、個別変換情報７００の行は、入力データ４００の個別項目の項目値に対応する。個別変換情報７００の列は、照合データ５００の個別項目の項目値に対応する。数値「１」は、入力データ４００と照合データ５００との対応関係を示す。これにより、個別変換情報７００は、入力データ４００の個別項目の項目値が、照合データ５００の個別項目の項目値の位置に相当するように、入力データ４００を変換することを表現する。

【0057】

（ニューラルネットワーク８００の一例）
次に、図８を用いて、ニューラルネットワーク８００の一例について説明する。

【0058】

図８は、ニューラルネットワーク８００の一例を示す説明図である。図８において、ニューラルネットワーク８００は、入力層と、２つの中間層と、出力層とを有する。入力ベクトルは、入力データ４００の入力値を並べたベクトルである。入力ベクトルは、入力層に入力される。ニューラルネットワーク８００は、入力ベクトルが入力層に入力されたことに応じて、入力層、中間層、出力層のノードに規定された処理を実行し、出力層の出力値を並べた出力データを出力する。出力データは、分類結果を示す。

【0059】

（クライアント装置２０１のハードウェア構成例）
クライアント装置２０１のハードウェア構成例は、図３に示した情報処理装置１００のハードウェア構成例と同様であるため、説明を省略する。

【0060】

（情報処理装置１００の機能的構成例）
次に、図９を用いて、情報処理装置１００の機能的構成例について説明する。

【0061】

図９は、情報処理装置１００の機能的構成例を示すブロック図である。情報処理装置１００は、記憶部９００と、取得部９０１と、生成部９０２と、変換部９０３と、更新部９０４と、出力部９０５とを含む。

【0062】

記憶部９００は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域によって実現される。以下では、記憶部９００が、情報処理装置１００に含まれる場合について説明するが、これに限らない。例えば、記憶部９００が、情報処理装置１００とは異なる装置に含まれ、記憶部９００の記憶内容が情報処理装置１００から参照可能である場合があってもよい。

【0063】

取得部９０１～出力部９０５は、制御部の一例として機能する。取得部９０１～出力部９０５は、具体的には、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶されたプログラムをＣＰＵ３０１に実行させることにより、または、ネットワークＩ／Ｆ３０３により、その機能を実現する。各機能部の処理結果は、例えば、図３に示したメモリ３０２や記録媒体３０５などの記憶領域に記憶される。

【0064】

記憶部９００は、各機能部の処理において参照され、または更新される各種情報を記憶する。記憶部９００は、例えば、入力データ４００を記憶する。入力データ４００は、複数の項目のそれぞれの項目の項目値と入力値との組み合わせを複数含む。記憶部９００は、例えば、照合データ５００を記憶する。記憶部９００は、例えば、共通変換情報６００と個別変換情報７００とを記憶する。共通変換情報６００と個別変換情報７００とは、入力データ４００における入力値のそれぞれと、ニューラルネットワーク８００における入力層のノードのそれぞれとの対応関係を変換するための情報である。共通変換情報６００は、複数の入力データ４００に共通で適用される。個別変換情報７００は、入力データ４００に個別で適用される。記憶部９００は、例えば、学習器を記憶する。学習器は、ニューラルネットワーク８００である。以下の説明では、学習器が「ニューラルネットワーク８００」である場合について説明する。

【0065】

取得部９０１は、各機能部の処理に用いられる各種情報を取得する。取得部９０１は、取得した各種情報を、記憶部９００に記憶し、または、各機能部に出力する。また、取得部９０１は、記憶部９００に記憶しておいた各種情報を、各機能部に出力してもよい。取得部９０１は、例えば、利用者の操作入力に基づき、各種情報を取得する。取得部９０１は、例えば、情報処理装置１００とは異なる装置から、各種情報を受信してもよい。

【0066】

取得部９０１は、具体的には、入力データ４００と、入力データ４００の正しい分類結果を示す教師データとを対応付けた学習データを取得する。これにより、取得部９０１は、ニューラルネットワーク８００および照合データ５００を更新可能にすることができる。取得部９０１は、具体的には、ニューラルネットワーク８００および照合データ５００を更新した後、分類対象の入力データ４００を取得してもよい。これにより、取得部９０１は、ニューラルネットワーク８００を利用可能にすることができる。

【0067】

生成部９０２は、複数の項目のうち１以上の項目に対応付けて、共通変換情報６００を生成する。１以上の項目は、共通項目である。共通項目は、利用者によって予め設定される。生成部９０２は、例えば、複数の入力データ４００のそれぞれの入力データ４００の対応関係を変換して得られる試験データと照合データ５００との類似度を算出する。類似度は、試験データにおける入力値を並べた第１のベクトルと、照合データ５００における入力値を並べた第２のベクトルとの内積により表現される。類似度は、例えば、コサイン類似度である。そして、生成部９０２は、例えば、類似度に基づいて、共通変換情報６００を生成する。生成部９０２は、具体的には、類似度の平均値が最大化されるように、共通変換情報６００を生成する。これにより、生成部９０２は、共通変換情報６００を適切に生成することができる。

【0068】

ここで、更新部９０４が、後述するように共通変換情報６００を更新する場合があってもよい。この場合、生成部９０２は、例えば、ランダムな共通変換情報６００を生成してもよい。これにより、生成部９０２は、共通変換情報６００を、照合データ５００から独立させることができる。このため、生成部９０２は、照合データ５００を変動させる場合の処理量の増大化を抑制することができる。

【0069】

生成部９０２は、複数の項目のうち１以上の項目を除く残余の項目に対応付けて、入力データ４００ごとに個別で適用される個別変換情報７００を生成する。残余の項目は、個別項目である。個別項目は、利用者によって予め設定される。生成部９０２は、例えば、複数の入力データ４００のそれぞれの入力データ４００の対応関係を変換して得られる試験データと照合データ５００との類似度を算出する。そして、生成部９０２は、例えば、類似度に基づいて、個別変換情報７００を生成する。生成部９０２は、具体的には、類似度の平均値が最大化されるように、個別変換情報７００を生成する。これにより、生成部９０２は、個別変換情報７００を適切に生成することができる。

【0070】

変換部９０３は、生成した共通変換情報６００および個別変換情報７００に基づいて、複数の入力データ４００のそれぞれの入力データ４００の対応関係を変換した変換データを生成する。変換部９０３は、例えば、入力データ４００の特定の項目値を有するレコードが、共通変換情報６００および個別変換情報７００に示された照合データ５００の特定の項目値を有するレコードの位置に合うように、入力データ４００の各レコードの位置を入れ替える。これにより、変換部９０３は、現状で分類誤差が最小と推定され、照合データ５００およびニューラルネットワーク８００の更新に利用される変換データを得ることができる。

【0071】

更新部９０４は、生成した変換データに基づいて、照合データ５００およびニューラルネットワーク８００を更新する。更新部９０４は、例えば、入力データ４００ごとに、誤差逆伝搬により、入力データ４００から生成した変換データをニューラルネットワーク８００に入力した場合の、変換データにおける入力値の誤差を並べた誤差ベクトルを算出する。また、更新部９０４は、例えば、入力データ４００ごとに、入力データ４００から生成した変換データと、共通変換情報６００または照合データ５００を変動させた場合に入力データ４００から生成される別の変換データとにおける入力値の差分を算出する。次に、更新部９０４は、例えば、入力データ４００ごとに、算出した差分を並べた変分ベクトルを算出する。そして、更新部９０４は、例えば、誤差ベクトルと変分ベクトルとに基づいて、照合データ５００およびニューラルネットワーク８００を更新する。これにより、更新部９０４は、照合データ５００およびニューラルネットワーク８００の精度向上を図ることができ、学習効率の向上を図ることができる。

【0072】

また、更新部９０４は、生成した変換データに基づいて、さらに、共通変換情報６００を更新してもよい。更新部９０４は、例えば、誤差ベクトルと変分ベクトルとに基づいて、さらに、共通変換情報６００を更新する。これにより、更新部９０４は、共通変換情報６００を、照合データ５００から独立させても、精度のよい共通変換情報６００を得ることができる。

【0073】

（ニューラルネットワーク８００および照合データ５００を更新した後）
ここで、ニューラルネットワーク８００および照合データ５００を更新した後、取得部９０１が、分類対象の入力データ４００を取得した場合について説明する。

【0074】

この場合、変換部９０３は、生成した共通変換情報６００および更新した照合データ５００に基づいて、分類対象となる入力データ４００の対応関係を変換した変換データを生成し、更新したニューラルネットワーク８００に入力する。変換部９０３は、例えば、共通変換情報６００に従った上で、変換データと照合データ５００との類似度を最大化するように、分類対象となる入力データ４００の対応関係を変換した変換データを生成し、更新したニューラルネットワーク８００に入力する。

【0075】

出力部９０５は、ニューラルネットワーク８００に入力したことに応じて、ニューラルネットワーク８００から出力される出力データに基づいて、分類対象となる入力データ４００を分類する。出力部９０５は、分類対象となる入力データ４００を分類した結果を出力する。出力形式は、例えば、ディスプレイへの表示、プリンタへの印刷出力、ネットワークＩ／Ｆ３０３による外部装置への送信、または、メモリ３０２や記録媒体３０５などの記憶領域への記憶である。これにより、出力部９０５は、分類対象となる入力データ４００を分類した結果を利用者が把握可能にすることができる。

【0076】

（情報処理装置１００の動作例１）
次に、図１０～図１２を用いて、情報処理装置１００の動作例１について説明する。まず、図１０を用いて、情報処理装置１００の動作例１の流れについて説明する。

【0077】

図１０は、情報処理装置１００の動作例１の流れを示す説明図である。図１０において、（１０－１）情報処理装置１００は、学習データ群を取得する。学習データは、入力データ１００１を含む。情報処理装置１００は、照合データ１００２を有する。

【0078】

（１０－２）情報処理装置１００は、学習データ群のそれぞれの学習データに含まれる入力データ１００１のレコードの順序を変換することにより変換データ１００３を生成するための、共通変換情報および個別変換情報を生成する。情報処理装置１００は、例えば、学習データ群に関して生成される変換データ１００３についての照合データ１００２との類似度の平均値が最大化するように、共通変換情報および個別変換情報を生成する。

【0079】

情報処理装置１００は、具体的には、入力データ１００１のレコードを試験的に入れ替えて、入力データ１００１のレコードを入れ替える入替パターンを探索するための探索用の変換データを生成する。次に、情報処理装置１００は、具体的には、探索用の変換データごとに照合データ１００２との類似度として、探索用の変換データにおける量を順に並べた第１のベクトルと照合データ１００２における量を順に並べた第２のベクトルとの内積を算出する。そして、情報処理装置１００は、具体的には、算出した内積から得られる類似度の平均値を算出し、類似度の平均値が最大化される入替パターンを探索し、探索した入替パターンを示す共通変換情報および個別変換情報を生成する。

【0080】

（１０－３）情報処理装置１００は、生成した共通変換情報および個別変換情報に基づいて、入力データ１００１のレコードの順序を変換することにより、変換データ１００３を生成する。この際、情報処理装置１００は、例えば、すべての入力データ１００１で共通して、項目値「Ｒ１」と項目値「Ｒ２」との位置が、それぞれ、照合データ１００２の項目値「Ｒ’１」と項目値「Ｒ’２」との位置に合うように、レコードの順序を変換する。また、情報処理装置１００は、例えば、項目値「Ｓ１」と項目値「Ｓ２」との位置については、入力データ１００１個別で、照合データ１００２の項目値「Ｓ’１」と項目値「Ｓ’２」との位置のいずれかの位置に合うように、レコードの順序を変換する。

【0081】

（１０－４）情報処理装置１００は、変換データ１００３ごとに、変換データ１００３をニューラルネットワーク８００に入力した結果に基づいて、ニューラルネットワーク８００と照合データ１００２とを更新する。情報処理装置１００は、例えば、変換データ１００３をニューラルネットワーク８００に入力した結果に基づいて、誤差逆伝搬により入力誤差を算出する。そして、情報処理装置１００は、例えば、入力誤差に基づいて、ニューラルネットワーク８００と照合データ１００２とを更新する。

【0082】

これにより、情報処理装置１００は、機械学習による学習精度の向上を図ることができる。情報処理装置１００は、例えば、すべての入力データ１００１で共通して、項目値「Ｒ１」と項目値「Ｒ２」との位置が、それぞれ、照合データ１００２の項目値「Ｒ’１」と項目値「Ｒ’２」との位置に合うように、レコードの順序を変換することができる。このため、情報処理装置１００は、通信先ホストが、ニューラルネットワーク８００による分類精度に影響を与える場合、精度のよいニューラルネットワーク８００および照合データ１００２を学習しやすくすることができる。

【0083】

図１１および図１２は、情報処理装置１００の動作例１の具体例を示す説明図である。図１１において、（１１－１）情報処理装置１００は、照合データ１１００を有する。情報処理装置１００は、入力データ１１０１を含む学習データや入力データ１１０２を含む学習データを取得する。

【0084】

（１１－２）情報処理装置１００は、入力データ１１０１，１１０２のレコードを試験的に入れ替えて、入力データ１１０１，１１０２のレコードを入れ替える入替パターンを探索するための探索用の変換データを生成する。次に、情報処理装置１００は、具体的には、探索用の変換データごとに照合データ１１００との類似度として、探索用の変換データにおける量を順に並べた第１のベクトルと照合データ１１００における量を順に並べた第２のベクトルとの内積を算出する。

【0085】

そして、情報処理装置１００は、具体的には、算出した内積から得られる類似度の平均値を算出し、類似度の平均値が最大化される入替パターンを探索し、探索した入替パターンを示す共通変換情報１１３１を生成する。また、情報処理装置１００は、入力データ１１０１について、共通変換情報１１３１の下で、類似度が最大化される入替パターンを示す個別変換情報１１１１，１１１２を生成する。また、情報処理装置１００は、入力データ１１０２について、共通変換情報１１３１の下で、類似度が最大化される入替パターンを示す個別変換情報１１２１，１１２２を生成する。

【0086】

（１１－３）情報処理装置１００は、共通変換情報１１３１および個別変換情報１１１１，１１１２に基づいて、入力データ１１０１のレコードの順序を変換することにより、変換データ１１４１を生成する。また、情報処理装置１００は、共通変換情報１１３１および個別変換情報１１２１，１１２２に基づいて、入力データ１１０２のレコードの順序を変換することにより、変換データ１１４２を生成する。次に、図１２の説明に移行する。

【0087】

図１２において、（１２－１）情報処理装置１００は、変換データ１１４１をニューラルネットワーク８００の入力層のノードに入力する。次に、情報処理装置１００は、ニューラルネットワーク８００の出力層のノードの出力値を並べた出力ベクトルと、教師データにおける出力値を並べた出力ベクトルとの差分を、出力誤差として算出する。そして、情報処理装置１００は、出力誤差に基づいて、誤差逆伝搬により入力誤差を算出し、入力誤差を順に並べた、変換データ１１４１についての誤差ベクトルを算出する。また、情報処理装置１００は、同様に、変換データ１１４２をニューラルネットワーク８００の入力層のノードに入力し、変換データ１１４２についての誤差ベクトルを算出する。

【0088】

（１２－２）情報処理装置１００は、試験的に照合データ１１００の１番目の量を１変化させ、入力データ１１０１，１１０２のレコードの順序を変換することにより、入力データ１１０１，１１０２についての試験データを生成する。１番目の量は、１番目のレコードの量である。そして、情報処理装置１００は、入力データ１１０１についての試験データにおける量を順に並べた入力ベクトルと、入力データ１１０１から生成した変換データ１１４１の量を順に並べた入力ベクトルとの変分を算出する。次に、情報処理装置１００は、算出した変分を順に並べた、変換データ１１４１についての変分ベクトルを算出する。そして、情報処理装置１００は、変換データ１１４１についての、算出した誤差ベクトルと変分ベクトルとの内積を算出する。また、情報処理装置１００は、同様に、変換データ１１４２についての内積を算出する。

【0089】

（１２－３）情報処理装置１００は、変換データ１１４１，１１４２についての内積の平均値１２００を算出する。ここで、情報処理装置１００は、内積の平均値１２００が負であれば、試験的に照合データ１１００の１番目の量を変化させた変化方向が、出力誤差を縮小する方向であると判断する。一方で、情報処理装置１００は、内積の平均値１２００が正であれば、試験的に照合データ１１００の１番目の量を変化させた変化方向が、出力誤差を拡大する方向であると判断する。そして、情報処理装置１００は、判断した結果に基づいて照合データ１１００の１番目の量を変化させる。情報処理装置１００は、同様に、照合データ１１００の２番目以降の量についても変化させる。

【0090】

（１２－４）情報処理装置１００は、出力誤差に基づいて、ニューラルネットワーク８００のパラメータを更新する。これにより、情報処理装置１００は、機械学習による学習精度の向上を図り、精度のよいニューラルネットワーク８００および照合データ１１００を学習しやすくすることができる。

【0091】

ここでは、情報処理装置１００が、共通変換情報１１３１を生成した後、共通変換情報１１３１の下で、個別変換情報１１１１，１１１２および個別変換情報１１２１，１１２２を生成する場合について説明したが、これに限らない。例えば、情報処理装置１００が、内積から得られる類似度の平均値が最大化される入替パターンに基づいて、共通変換情報１１３１、個別変換情報１１１１，１１１２、および、個別変換情報１１２１，１１２２を纏めて生成する場合があってもよい。

【0092】

（動作例１における全体処理手順）
次に、図１３を用いて、動作例１における情報処理装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0093】

図１３は、動作例１における全体処理手順の一例を示すフローチャートである。図１３において、情報処理装置１００は、照合データの量と、ニューラルネットワークのパラメータとをランダムに初期化する（ステップＳ１３０１）。

【0094】

次に、情報処理装置１００は、照合データとの類似度が最大化するように、入力データを変換した変換データを生成する（ステップＳ１３０２）。そして、情報処理装置１００は、誤差逆伝搬により誤差ベクトルを取得する（ステップＳ１３０３）。

【0095】

次に、情報処理装置１００は、照合データのいずれかの量を１変化させた場合を試験して得た変換データから、変分ベクトルを取得する（ステップＳ１３０４）。そして、情報処理装置１００は、誤差ベクトルと変分ベクトルとの内積を算出する（ステップＳ１３０５）。

【0096】

次に、情報処理装置１００は、ステップＳ１３０４において、試しうる量の変化のすべてを試験したか否かを判定する（ステップＳ１３０６）。ここで、試験していない量の変化がある場合（ステップＳ１３０６：Ｎｏ）、情報処理装置１００は、ステップＳ１３０４の処理に戻る。一方で、すべてを試験している場合（ステップＳ１３０６：Ｙｅｓ）、情報処理装置１００は、ステップＳ１３０７の処理に移行する。

【0097】

ステップＳ１３０７では、情報処理装置１００は、算出した内積に基づいて、照合データの量と、ニューラルネットワークのパラメータとを更新する（ステップＳ１３０７）。次に、情報処理装置１００は、ステップＳ１３０７において更新が収束したか、または、ステップＳ１３０１～Ｓ１３０７の一連の処理を所定数ループしたかを判定する（ステップＳ１３０８）。ここで、更新が収束せず、かつ、所定数ループしていない場合（ステップＳ１３０８：Ｎｏ）、情報処理装置１００は、ステップＳ１３０２の処理に戻る。

【0098】

一方で、更新が収束し、または、所定数ループしている場合（ステップＳ１３０８：Ｙｅｓ）、情報処理装置１００は、全体処理を終了する。これにより、情報処理装置１００は、学習効率の向上を図ることができる。

【0099】

（情報処理装置１００の動作例２）
次に、図１４～図１７を用いて、情報処理装置１００の動作例２について説明する。まず、図１４および図１５を用いて、情報処理装置１００の動作例２の流れについて説明する。

【0100】

図１４および図１５は、情報処理装置１００の動作例２の流れを示す説明図である。図１４において、（１４－１）情報処理装置１００は、学習データ群を取得する。学習データは、入力データ１４０１を含む。情報処理装置１００は、照合データ１４０２を有する。

【0101】

（１４－２）情報処理装置１００は、学習データ群のそれぞれの学習データに含まれる入力データ１４０１のレコードの順序を変換することにより変換データ１４０３を生成するための、共通変換情報および個別変換情報を生成する。情報処理装置１００は、例えば、ランダムな共通変換情報を生成する。また、情報処理装置１００は、例えば、学習データ群に関して生成される変換データ１４０３ごとに、照合データ１４０２との類似度が最大化するように、個別変換情報を生成する。

【0102】

情報処理装置１００は、入力データ１４０１ごとにレコードを試験的に入れ替えて、入力データ１４０１のレコードを入れ替える入替パターンを探索するための、入力データ１４０１ごとの探索用の変換データを生成する。次に、情報処理装置１００は、探索用の変換データごとに照合データ１４０２との類似度として、探索用の変換データにおける量を順に並べた第１のベクトルと照合データ１４０２における量を順に並べた第２のベクトルとの内積を算出する。そして、情報処理装置１００は、入力データ１４０１ごとに、算出した内積から得られる類似度が最大化される入替パターンを探索し、探索した入替パターンを示す個別変換情報を生成する。

【0103】

（１４－３）情報処理装置１００は、生成した共通変換情報および個別変換情報に基づいて、入力データ１４０１のレコードの順序を変換することにより、変換データ１４０３を生成する。この際、情報処理装置１００は、例えば、すべての入力データ１４０１で共通して、項目値「Ｒ１」と項目値「Ｒ２」との位置が、それぞれ、照合データ１４０２の項目値「Ｒ’１」と項目値「Ｒ’２」との位置に合うように、レコードの順序を変換する。また、情報処理装置１００は、例えば、項目値「Ｓ１」と項目値「Ｓ２」との位置については、入力データ１４０１個別で、照合データ１４０２の項目値「Ｓ’１」と項目値「Ｓ’２」との位置のいずれかの位置に合うように、レコードの順序を変換する。

【0104】

（１４－４）情報処理装置１００は、変換データ１４０３ごとにニューラルネットワーク８００に入力する。情報処理装置１００は、変換データ１４０３ごとに、ニューラルネットワーク８００の出力層のノードの出力値を並べた出力ベクトルと、教師データにおける出力値を並べた出力ベクトルとの差分を、出力誤差として算出する。情報処理装置１００は、変換データ１４０３ごとに、出力誤差に基づいて、誤差逆伝搬により入力誤差を算出し、入力誤差を順に並べた、誤差ベクトル１４０４を算出する。次に、図１５の説明に移行する。

【0105】

図１５において、（１５－１）情報処理装置１００は、試験的に照合データ１４０２の量を１変化させ、入力データ１４０１ごとにレコードの順序を変換することにより、入力データ１４０１ごとの試験データ１５０１を生成する。そして、情報処理装置１００は、試験データ１５０１における量を順に並べた入力ベクトルと、変換データ１４０３の量を順に並べた入力ベクトルとの変分を算出する。次に、情報処理装置１００は、算出した変分を順に並べた、変換データ１４０３についての変分ベクトル１５０２を算出する。そして、情報処理装置１００は、変換データ１４０３ごとに、変換データ１４０３に基づき算出した誤差ベクトル１４０４と、変換データ１４０３に基づき算出した変分ベクトル１５０２との内積を算出する。

【0106】

（１５－２）情報処理装置１００は、変換データ１４０３ごとの内積から、内積の平均値を算出する。ここで、情報処理装置１００は、内積が負であれば、試験的に照合データ１４０２の量を変化させた変化方向が、出力誤差を縮小する方向であると判断し、判断した結果に基づいて照合データ１４０２の量を変化させる。一方で、情報処理装置１００は、内積が正であれば、試験的に照合データ１４０２の量を変化させた変化方向が、出力誤差を拡大する方向であると判断し、判断した結果に基づいて照合データ１４０２の量を変化させる。情報処理装置１００は、同様に、照合データ１４０２の他の量についても変化させる。

【0107】

（１５－３）情報処理装置１００は、試験的に、第１の共通項目に関する共通変換情報が示す対応関係を変化させ、入力データ１４０１ごとにレコードの順序を変換することにより、入力データ１４０１ごとの試験データ１５０１を生成する。図１５の例では、第１の共通項目に関する共通変換情報が、項目値「Ｒ１」と項目値「Ｒ２」との位置を、それぞれ、照合データ１４０２の項目値「Ｒ’２」と項目値「Ｒ’１」との位置に対応付ける対応関係を示すように変化させる。

【0108】

そして、情報処理装置１００は、試験データ１５０１における量を順に並べた入力ベクトルと、変換データ１４０３の量を順に並べた入力ベクトルとの変分を算出する。次に、情報処理装置１００は、算出した変分を順に並べた、変換データ１４０３についての変分ベクトル１５０２を算出する。そして、情報処理装置１００は、変換データ１４０３ごとに、変換データ１４０３に基づき算出した誤差ベクトル１４０４と、変換データ１４０３に基づき算出した変分ベクトル１５０２との内積を算出する。

【0109】

（１５－４）情報処理装置１００は、変換データ１４０３ごとの内積から、内積の平均値を算出する。ここで、情報処理装置１００は、内積が負であれば、試験的に、第１の共通項目に関する共通変換情報が示す対応関係を変化させた変化方向が、出力誤差を縮小する方向であると判断する。一方で、情報処理装置１００は、内積が正であれば、試験的に、第１の共通項目に関する共通変換情報が示す対応関係を変化させた変化方向が、出力誤差を拡大する方向であると判断する。そして、情報処理装置１００は、判断した結果に基づいて、第１の共通項目に関する共通変換情報が示す対応関係を変化させる。

【0110】

ここで、第１の共通項目に関する共通変換情報が示す対応関係を変化させる変化パターンが複数ある場合がある。この場合、情報処理装置１００は、それぞれの変化パターンについて内積の平均値を算出し、それぞれの変化パターンについての内積の平均値を比較した結果に基づいて、第１の共通項目に関する共通変換情報が示す対応関係を変化させてもよい。また、情報処理装置１００は、同様に、他の項目に関する共通変換情報が示す対応関係についても変化させる。

【0111】

（１５－５）情報処理装置１００は、出力誤差に基づいて、ニューラルネットワーク８００のパラメータを更新する。これにより、情報処理装置１００は、機械学習による学習精度の向上を図ることができる。情報処理装置１００は、例えば、通信先ホストが、ニューラルネットワーク８００による分類精度に影響を与える場合、精度のよいニューラルネットワーク８００および照合データ１４０２を学習しやすくすることができる。

【0112】

また、情報処理装置１００は、共通変換情報を、照合データ１４０２から独立させて生成および更新することができる。このため、情報処理装置１００は、照合データ１４０２を変動させる場合の処理量の増大化を抑制することができる。情報処理装置１００は、具体的には、ミニバッチを利用して機械学習を実現する場合、ミニバッチ内の入力データだけに基づいて、共通変換情報を更新する際にかかる処理量の増大化を抑制することができる。

【0113】

図１６および図１７は、情報処理装置１００の動作例２の具体例を示す説明図である。図１６において、（１６－１）情報処理装置１００は、照合データ１６００を有する。情報処理装置１００は、入力データ１６０１を含む学習データや入力データ１６０２を含む学習データを取得する。情報処理装置１００は、ランダムな共通変換情報１６３１を生成する。

【0114】

（１６－２）情報処理装置１００は、入力データ１６０１，１６０２のレコードを試験的に入れ替えて、入力データ１６０１，１６０２のレコードを入れ替える入替パターンを探索するための探索用の変換データを生成する。次に、情報処理装置１００は、探索用の変換データごとに照合データ１６００との類似度として、探索用の変換データにおける量を順に並べた第１のベクトルと照合データ１６００における量を順に並べた第２のベクトルとの内積を算出する。そして、情報処理装置１００は、入力データ１６０１について、内積から得られる類似度が最大化される入替パターンを示す個別変換情報１６１１，１６１２を生成する。また、情報処理装置１００は、入力データ１６０２について、内積から得られる類似度が最大化される入替パターンを示す個別変換情報１６２１，１６２２を生成する。

【0115】

（１６－３）情報処理装置１００は、共通変換情報１６３１および個別変換情報１６１１，１６１２に基づいて、入力データ１６０１のレコードの順序を変換することにより、変換データ１６４１を生成する。また、情報処理装置１００は、共通変換情報１６３１および個別変換情報１６２１，１６２２に基づいて、入力データ１６０２のレコードの順序を変換することにより、変換データ１６４２を生成する。次に、図１７の説明に移行する。

【0116】

図１７において、（１７－１）情報処理装置１００は、変換データ１６４１をニューラルネットワーク８００の入力層のノードに入力する。次に、情報処理装置１００は、ニューラルネットワーク８００の出力層のノードの出力値を並べた出力ベクトルと、教師データにおける出力値を並べた出力ベクトルとの差分を、出力誤差として算出する。そして、情報処理装置１００は、出力誤差に基づいて、誤差逆伝搬により入力誤差を算出し、入力誤差を順に並べた、変換データ１６４１についての誤差ベクトルを算出する。また、情報処理装置１００は、同様に、変換データ１６４２をニューラルネットワーク８００の入力層のノードに入力し、変換データ１６４２についての誤差ベクトルを算出する。

【0117】

（１７－２）情報処理装置１００は、試験的に照合データ１６００の１番目の量を１変化させ、入力データ１６０１，１６０２のレコードの順序を変換することにより、入力データ１６０１，１６０２についての試験データを生成する。そして、情報処理装置１００は、入力データ１６０１についての試験データにおける量を順に並べた入力ベクトルと、入力データ１６０１から生成した変換データ１６４１の量を順に並べた入力ベクトルとの変分を算出する。次に、情報処理装置１００は、算出した変分を順に並べた、変換データ１６４１についての変分ベクトルを算出する。そして、情報処理装置１００は、変換データ１６４１についての、算出した誤差ベクトルと変分ベクトルとの内積を算出する。また、情報処理装置１００は、同様に、変換データ１６４２についての内積を算出する。

【0118】

（１７－３）情報処理装置１００は、変換データ１６４１，１６４２についての内積の平均値１７００を算出する。ここで、情報処理装置１００は、内積の平均値１７００が負であれば、試験的に照合データ１６００の１番目の量を変化させた変化方向が、出力誤差を縮小する方向であると判断する。一方で、情報処理装置１００は、内積の平均値１７００が正であれば、試験的に照合データ１６００の１番目の量を変化させた変化方向が、出力誤差を拡大する方向であると判断する。そして、情報処理装置１００は、判断した結果に基づいて、照合データ１６００の１番目の量を変化させる。情報処理装置１００は、同様に、照合データ１６００の２番目以降の量についても変化させる。

【0119】

（１７－４）情報処理装置１００は、試験的に共通変換情報１６３１が示す対応関係を変化させ、入力データ１６０１，１６０２のレコードの順序を変換することにより、入力データ１６０１，１６０２についての試験データを生成する。そして、情報処理装置１００は、入力データ１６０１についての試験データにおける量を順に並べた入力ベクトルと、入力データ１６０１から生成した変換データ１６４１の量を順に並べた入力ベクトルとの変分を算出する。次に、情報処理装置１００は、算出した変分を順に並べた、変換データ１６４１についての変分ベクトルを算出する。そして、情報処理装置１００は、変換データ１６４１についての、算出した誤差ベクトルと変分ベクトルとの内積を算出する。また、情報処理装置１００は、同様に、変換データ１６４２についての内積を算出する。

【0120】

（１７－５）情報処理装置１００は、変換データ１６４１，１６４２についての内積の平均値１７００を算出する。ここで、情報処理装置１００は、内積の平均値１７００が負であれば、試験的に共通変換情報１６３１が示す対応関係を変化させた変化方向が、出力誤差を縮小する方向であると判断する。一方で、情報処理装置１００は、内積の平均値１７００が正であれば、試験的に共通変換情報１６３１が示す対応関係を変化させた変化方向が、出力誤差を拡大する方向であると判断する。そして、情報処理装置１００は、判断した結果に基づいて、第１の共通項目に関する共通変換情報１６３１が示す対応関係を変化させる。

【0121】

（１７－６）情報処理装置１００は、出力誤差に基づいて、ニューラルネットワーク８００のパラメータを更新する。これにより、情報処理装置１００は、機械学習による学習精度の向上を図り、精度のよいニューラルネットワーク８００および照合データ１６００を学習しやすくすることができる。

【0122】

また、情報処理装置１００は、共通変換情報１６３１を、照合データ１６００から独立させて生成および更新することができる。このため、情報処理装置１００は、照合データ１６００を変動させる場合の処理量の増大化を抑制することができる。情報処理装置１００は、具体的には、ミニバッチを利用して機械学習を実現する場合、ミニバッチ内の入力データだけに基づいて、共通変換情報１６３１を更新する際にかかる処理量の増大化を抑制することができる。

【0123】

（動作例２における全体処理手順）
次に、図１８を用いて、動作例２における情報処理装置１００が実行する、全体処理手順の一例について説明する。全体処理は、例えば、図３に示したＣＰＵ３０１と、メモリ３０２や記録媒体３０５などの記憶領域と、ネットワークＩ／Ｆ３０３とによって実現される。

【0124】

図１８は、動作例２における全体処理手順の一例を示すフローチャートである。図１８において、情報処理装置１００は、照合データの量と、共通変換テーブルと、ニューラルネットワークのパラメータとをランダムに初期化する（ステップＳ１８０１）。

【0125】

次に、情報処理装置１００は、個別項目に関して照合データとの類似度が最大化するように、入力データを変換した変換データを生成する（ステップＳ１８０２）。そして、情報処理装置１００は、誤差逆伝搬により誤差ベクトルを取得する（ステップＳ１８０３）。

【0126】

次に、情報処理装置１００は、照合データのいずれかの量を１変化させるか、または、共通変換情報のいずれかの共通項目に関する対応関係を変化させた場合を試験して得た変換データから、変分ベクトルを取得する（ステップＳ１８０４）。そして、情報処理装置１００は、誤差ベクトルと変分ベクトルとの内積を算出する（ステップＳ１８０５）。

【0127】

次に、情報処理装置１００は、ステップＳ１８０４において、試しうる量の変化と、試しうる対応関係の変化とのすべてを試験したか否かを判定する（ステップＳ１８０６）。ここで、試験していない量の変化、または、試験していない対応関係の変化がある場合（ステップＳ１８０６：Ｎｏ）、情報処理装置１００は、ステップＳ１８０４の処理に戻る。一方で、すべてを試験している場合（ステップＳ１８０６：Ｙｅｓ）、情報処理装置１００は、ステップＳ１８０７の処理に移行する。

【0128】

ステップＳ１８０７では、情報処理装置１００は、算出した内積に基づいて、照合データの量と、共通変換情報と、ニューラルネットワークのパラメータとを更新する（ステップＳ１８０７）。次に、情報処理装置１００は、ステップＳ１８０７において更新が収束したか、または、ステップＳ１８０１～Ｓ１８０７の一連の処理を所定数ループしたかを判定する（ステップＳ１８０８）。ここで、更新が収束せず、かつ、所定数ループしていない場合（ステップＳ１８０８：Ｎｏ）、情報処理装置１００は、ステップＳ１８０２の処理に戻る。

【0129】

一方で、更新が収束し、または、所定数ループしている場合（ステップＳ１８０８：Ｙｅｓ）、情報処理装置１００は、全体処理を終了する。これにより、情報処理装置１００は、学習効率の向上を図ることができる。また、情報処理装置１００は、算出した内積に基づいて、共通変換情報を更新するため、処理量の低減化を図ることができる。

【0130】

以上では、変換データが、入力データと同じデータ構造である場合について説明したが、これに限らない。例えば、入力データのレコードを並べ替えず、入力データの入力値を並べ替えた後の入力ベクトルを、変換データとして扱う場合があってもよい。

【0131】

以上説明したように、情報処理装置１００によれば、複数の項目のうち１以上の項目に対応付けて、複数のデータに共通で適用される共通変換情報１２０を生成することができる。情報処理装置１００によれば、複数の項目のうち１以上の項目を除く残余の項目に対応付けて、データごとに個別で適用される個別変換情報１３０を生成することができる。情報処理装置１００によれば、生成した共通変換情報１２０および個別変換情報１３０に基づいて、複数のデータのそれぞれのデータの対応関係を変換した変換データを生成することができる。情報処理装置１００によれば、生成した変換データに基づいて、照合データ１４０および学習器１１０を更新することができる。これにより、情報処理装置１００は、学習精度の向上を図ることができる。

【0132】

情報処理装置１００によれば、複数のデータのそれぞれのデータの、入力値と入力ノードとの対応関係を変換して得られる試験データと照合データ１４０との類似度に基づいて、共通変換情報１２０を生成することができる。これにより、情報処理装置１００は、精度のよい共通変換情報１２０を得やすくすることができる。

【0133】

情報処理装置１００によれば、生成した変換データに基づいて、さらに、共通変換情報１２０を更新することができる。これにより、情報処理装置１００は、共通変換情報１２０を、照合データ１４０から独立させて生成および更新することができる。このため、情報処理装置１００は、照合データ１４０および学習器１１０を更新するために、照合データ１４０を変動させ、変換データを生成する場合にかかる処理量の増大化を抑制することができる。

【0134】

情報処理装置１００によれば、類似度を、試験データにおける入力値を並べた第１のベクトルと、照合データ１４０における入力値を並べた第２のベクトルとの内積により表現することができる。これにより、情報処理装置１００は、類似度を扱いやすくすることができる。

【0135】

情報処理装置１００によれば、誤差逆伝搬により、データから生成した変換データを学習器１１０に入力した場合の、データから生成した変換データにおける入力値の誤差を並べた誤差ベクトルを算出することができる。情報処理装置１００によれば、データから生成した変換データと、共通変換情報１２０または照合データ１４０を変動させた場合にデータから生成される別の変換データとにおける入力値の差分を並べた変分ベクトルを算出することができる。情報処理装置１００によれば、誤差ベクトルと変分ベクトルとに基づいて、照合データ１４０および学習器１１０を更新することができる。これにより、情報処理装置１００は、精度のよい照合データ１４０および学習器１１０を得やすくすることができる。

【0136】

情報処理装置１００によれば、生成した共通変換情報１２０および更新した照合データ１４０に基づいて、分類対象となるデータの対応関係を変換した変換データを生成し、更新した学習器１１０に入力することができる。情報処理装置１００によれば、学習器１１０に入力したことに応じて、学習器１１０から出力される出力データに基づいて、分類対象となるデータを分類することができる。これにより、情報処理装置１００は、学習器１１０を、利用者が利用可能にすることができる。

【0137】

なお、本実施の形態で説明した学習方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。本実施の形態で説明した学習プログラムは、ハードディスク、フレキシブルディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、本実施の形態で説明した学習プログラムは、インターネット等のネットワークを介して配布してもよい。

【0138】

上述した実施の形態に関し、さらに以下の付記を開示する。

【0139】

（付記１）複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
処理をコンピュータに実行させることを特徴とする学習プログラム。

【0140】

（付記２）前記共通変換情報を生成する処理は、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記共通変換情報を生成する、ことを特徴とする付記１に記載の学習プログラム。

【0141】

（付記３）前記更新する処理は、
生成した前記変換データに基づいて、さらに、前記共通変換情報を更新する、ことを特徴とする付記１に記載の学習プログラム。

【0142】

（付記４）前記類似度は、前記試験データにおける入力値を並べた第１のベクトルと、前記照合データにおける入力値を並べた第２のベクトルとの内積により表現される、ことを特徴とする付記１～３のいずれか一つに記載の学習プログラム。

【0143】

（付記５）前記データごとに、誤差逆伝搬により、前記データから生成した前記変換データを前記学習器に入力した場合の、前記データから生成した前記変換データにおける入力値の誤差を並べた誤差ベクトルを算出し、
前記データごとに、前記データから生成した前記変換データと、前記共通変換情報または前記照合データを変動させた場合に前記データから生成される別の変換データとにおける入力値の差分を並べた変分ベクトルを算出する、処理を前記コンピュータに実行させ、
前記更新する処理は、
前記誤差ベクトルと前記変分ベクトルとに基づいて、前記照合データおよび前記学習器を更新する、ことを特徴とする付記１～４のいずれか一つに記載の学習プログラム。

【0144】

（付記６）生成した前記共通変換情報および更新した前記照合データに基づいて、分類対象となるデータの前記対応関係を変換した変換データを生成し、更新した前記学習器に入力し、
前記学習器に入力したことに応じて、前記学習器から出力される出力データに基づいて、前記分類対象となるデータを分類する、処理を前記コンピュータに実行させることを特徴とする付記１～５のいずれか一つに記載の学習プログラム。

【0145】

（付記７）複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
処理をコンピュータが実行することを特徴とする学習方法。

【0146】

（付記８）複数の項目のうち１以上の項目に対応付けて、前記複数の項目のそれぞれの項目の項目値と入力値との組み合わせをそれぞれが含む複数のデータを学習器に入力する場合において前記データにおける入力値のそれぞれと前記学習器における入力ノードのそれぞれとの対応関係を変換する、前記複数のデータに共通で適用される共通変換情報を生成し、
前記複数のデータそれぞれについての前記対応関係を変換して得られる試験データと照合データとの類似度に基づいて、前記複数の項目のうち前記１以上の項目を除く残余の項目に対応付けて、前記複数のデータそれぞれの前記対応関係を変換する、前記複数のデータそれぞれに個別で適用される個別変換情報を生成し、
生成した前記共通変換情報および前記個別変換情報に基づいて、前記複数のデータそれぞれの前記対応関係を変換した変換データを生成し、
生成した前記変換データに基づいて、前記照合データおよび前記学習器を更新する、
制御部を有することを特徴とする情報処理装置。

【符号の説明】

【0147】

１００ 情報処理装置
１０１，１０２ データ
１０３，１０４，１００３，１１４１，１１４２，１４０３，１６４１，１６４２ 変換データ
１１０ 学習器
１１１～１１４ 入力ノード
１２０，６００，１１３１，１６３１ 共通変換情報
１３０，７００，１１１１，１１１２，１１２１，１１２２，１６１１，１６１２，１６２１，１６２２ 個別変換情報
１４０，５００，１００２，１１００，１４０２，１６００ 照合データ
２００ 分類システム
２０１ クライアント装置
２１０ ネットワーク
３００ バス
３０１ ＣＰＵ
３０２ メモリ
３０３ ネットワークＩ／Ｆ
３０４ 記録媒体Ｉ／Ｆ
３０５ 記録媒体
４００，１００１，１１０１，１１０２，１４０１，１６０１，１６０２ 入力データ
８００ ニューラルネットワーク
９００ 記憶部
９０１ 取得部
９０２ 生成部
９０３ 変換部
９０４ 更新部
９０５ 出力部
１２００，１７００ 平均値
１４０４ 誤差ベクトル
１５０１ 試験データ
１５０２ 変分ベクトル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】