特許 7314328 学習システム、学習方法及び学習プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-07-14

(45)【発行日】2023-07-25

(54)【発明の名称】学習システム、学習方法及び学習プログラム

(51)【国際特許分類】

   G06N 3/088 20230101AFI20230718BHJP

【ＦＩ】

G06N3/088

【請求項の数】 9

(21)【出願番号】P 2022002464

(22)【出願日】2022-01-11

【審査請求日】2022-01-11

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】永田 毅

(72)【発明者】

【氏名】竹田 康亮

(72)【発明者】

【氏名】前川 秀正

(72)【発明者】

【氏名】世古 千博

(72)【発明者】

【氏名】小泉 拓

(72)【発明者】

【氏名】水谷 麻紀子

(72)【発明者】

【氏名】根本 裕也

(72)【発明者】

【氏名】橋本 大樹

(72)【発明者】

【氏名】森 悠史

(72)【発明者】

【氏名】玉垣 勇樹

(72)【発明者】

【氏名】岩渕 耕平

(72)【発明者】

【氏名】小永吉 健太

(72)【発明者】

【氏名】信夫 大志

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０１２－０８４１１７（ＪＰ，Ａ）

【文献】特開２０１９－１９１８９５（ＪＰ，Ａ）

【文献】叶内 円ほか，自己組織化写像の拡張によるモーションキャプチャシステムの頑健化，情報処理学会研究報告，日本，社団法人情報処理学会，2008年05月01日，Vol.2008, No.36，pp.137-144

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

自己組織化マップを生成する制御部を備えた学習システムであって、
前記制御部が、
入力データに対して、既存ノードの中で近接ノードを特定し、
前記入力データと前記近接ノードの中で最寄りノードとの距離を算出し、
前記距離が最大距離よりも大きい場合には、前記入力データを用いて新規ノードを前記既存ノードに追加し、前記近接ノードと前記新規ノードとの距離に応じて、前記新規ノード及び前記近接ノードの活性値及び年齢を更新し、
前記距離が最大距離以下の場合には、前記入力データと前記近接ノードとの距離に応じて、前記近接ノードの位置、活性値及び年齢を更新し、
各ノードの活性値及び各パスの活性値を用いて、前記年齢から活性度を算出し、前記算出した活性度に応じて、前記ノード及び各パスの存否を決定して、自己組織化マップを生成することを特徴とする学習システム。

【請求項2】

前記制御部が、
前記入力データの各要素データにおいて、他の要素データまでの距離が近い順に、所定個の距離を特定し、
前記特定した距離の統計値により、前記最大距離を算出することを特徴とする請求項１に記載の学習システム。

【請求項3】

前記制御部が、
前記入力データの各要素データを用いて、順次、距離が前記最大距離未満の他の要素データを特定し、
前記各要素データと前記他の要素データとの距離に応じて、各要素データの活性値及び年齢を算出し、
各ノードの活性値と前記年齢とから活性度を算出し、前記算出した活性度に応じて、初期の前記既存ノードを決定することを特徴とする請求項２に記載の学習システム。

【請求項4】

前記入力データとして、説明変数値と目的変数値とを組み合わせたデータセットを用いることを特徴とする請求項１～３の何れか一項に記載の学習システム。

【請求項5】

前記制御部が、
前記入力データを用いて生成した自己組織化マップにおいて、検証用データの説明変数値に応じたノードの説明変数値を予測し、
前記検証用データの説明変数値と、前記予測した説明変数値との差分に応じて、前記自己組織化マップを構成するノードを移動させることを特徴とする請求項４に記載の学習システム。

【請求項6】

前記制御部が、
前記入力データを用いて生成した自己組織化マップにおいて、検証用データの説明変数値に応じた各ノードの寄与に応じて説明変数値を予測し、
前記検証用データの説明変数値と、前記予測した説明変数値との差分に応じて、前記自己組織化マップのノードを移動させることを特徴とする請求項４に記載の学習システム。

【請求項7】

前記制御部が、
前記入力データを用いて生成した自己組織化マップにおいて、検証用データの説明変数値に応じた各ノード及びパスの寄与に応じて説明変数値を予測し、
前記各ノード及びパスの寄与に応じて、前記ノード及びパスを削除することを特徴とする請求項４に記載の学習システム。

【請求項8】

制御部を備えた学習システムを用いて、自己組織化マップを生成する方法であって、
前記制御部が、
入力データに対して、既存ノードの中で近接ノードを特定し、
前記入力データと前記近接ノードの中で最寄りノードとの距離を算出し、
前記距離が最大距離よりも大きい場合には、前記入力データを用いて新規ノードを前記既存ノードに追加し、前記近接ノードと前記新規ノードとの距離に応じて、前記新規ノード及び前記近接ノードの活性値及び年齢を更新し、
前記距離が最大距離以下の場合には、前記入力データと前記近接ノードとの距離に応じて、前記近接ノードの位置、活性値及び年齢を更新し、
各ノードの活性値及び各パスの活性値を用いて、前記年齢から活性度を算出し、前記算出した活性度に応じて、前記ノード及び各パスの存否を決定して、自己組織化マップを生成することを特徴とする学習方法。

【請求項9】

制御部を備えた学習システムを用いて、自己組織化マップを生成するためのプログラムであって、
前記制御部を、
入力データに対して、既存ノードの中で近接ノードを特定し、
前記入力データと前記近接ノードの中で最寄りノードとの距離を算出し、
前記距離が最大距離よりも大きい場合には、前記入力データを用いて新規ノードを前記既存ノードに追加し、前記近接ノードと前記新規ノードとの距離に応じて、前記新規ノード及び前記近接ノードの活性値及び年齢を更新し、
前記距離が最大距離以下の場合には、前記入力データと前記近接ノードとの距離に応じて、前記近接ノードの位置、活性値及び年齢を更新し、
各ノードの活性値及び各パスの活性値を用いて、前記年齢から活性度を算出し、前記算出した活性度に応じて、前記ノード及び各パスの存否を決定して、自己組織化マップを生成する手段として機能させるための学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、自己組織化マップを生成する学習システム、学習方法及び学習プログラムに関する。

【背景技術】

【0002】

機械学習において、自己組織化マップ（ＳＯＭ：Self-organizing maps）を利用する場合がある（例えば、特許文献１を参照）。この自己組織化マップはコホネンによって提案されたモデルであり、教師なし学習によって入力データを任意の次元へ写像することができる。自己組織化マップでは、Hebb則を利用する。このHebb則では、２つのニューロンが同時発火を繰り返すとニューロン間のシナプスの伝達効率が増強される。また逆に、同時発火が長期間、起こらないと、そのシナプスの伝達効率は減退する。すなわち、Hebb則は、情報処理に重要な経路が増強され、不要な経路は省かれていく法則である。

【0003】

また、学習中に必要に応じてニューロンを増殖させる学習手法として、進化型自己組織化マップ（ESOM：Evolving SOM）と呼ばれる手法も検討されている（非特許文献１を参照。）。更に、自己増殖型ニューラルネットワーク（SOINN：Self-Organizing Incremental Neural Network）も検討されている（例えば、非特許文献２を参照）。このSOINNは、Growing Neural Gas（ＧＮＧ）と自己組織化マップ（ＳＯＭ）を拡張した追加学習可能なオンライン教師なし学習手法である。具体的には、動的に形状が変化する非定常で、かつ複雑な形状を持つ分布からオンラインで得られる入力に対して、ネットワークを自己組織的に形成し、適切なクラス数と入力分布の位相構造を出力する。

【0004】

図１６、図１７を用いて、このESOMのオンライン学習処理を説明する。
図１６に示すように、まず、初期ノードを設定する（ステップＳ０１）。具体的には、入力データＤ(i)（ここで、ｉ＝１～Ｍ）の中からランダムに２個を選択し、初期ノードと設定する。この場合、データインデックスｉ＝１とする。

【0005】

次に、勝者ノードを決定する（ステップＳ０２）。
ここでは、図１７（ａ）に示すように、Ｄ(i)に最も近いノードｎ1（第１勝者、距離ｄ1）と２番目に近いノードｎ2（第２勝者、距離ｄ2）を求める。

【0006】

次に、第１勝者までの距離ｄ1が基準距離より長いかどうかを判定する（ステップＳ０３）。
距離ｄ1が基準距離よりも長い場合（ステップＳ０３において「ＹＥＳ」の場合）には、Ｄ(i)をノードに更新する（ステップＳ０４）。そして、勝者ノードに基づいて、ｎ1をｎ2に，Ｄ(i)をｎ1に更新する。更に、パスの活性値の初期化（As(n1,:)=0）を行なう。

【0007】

図１７（ｂ）に示すように、新たなノードｎ1を生成する。
一方、距離ｄ1が基準距離以下の場合（ステップＳ０３において「ＮＯ」の場合）には、ノード位置及びパス活性値を更新する（ステップＳ０５）。

【0008】

具体的には、図１７（ｃ）に示すように、Ｄ(i)とｎ1，ｎ2の距離に応じた活性値ａ1，ａ2を求める。

【0009】

【数1】

また、ノード位置とパス活性値As(n1,n2)を、以下に示すように更新する（Hebb則）。

【0010】

【数2】

そして、mod（ｉ，指定間隔）＝０の場合は、活性値が最小値となるパスを削除する（ステップＳ０６）。

【0011】

次に、終了かどうかを判定する（ステップＳ０７）。ここで、ｉ＝Ｍの場合（ステップＳ０７において「ＹＥＳ」の場合）にはオンライン学習処理を終了する。一方、ｉ≠Ｍの場合（ステップＳ０７において「ＮＯ」の場合）には、「ｉ＝ｉ＋１」として、ステップＳ０２以降の処理を繰り返す。

【先行技術文献】

【特許文献】

【0012】

【文献】特開２００８－２５０８４８号公報

【非特許文献】

【0013】

【文献】古川徹生，“自己組織化マップ入門”，国立大学法人九州工業大学，［online］，２０１７年６月３日，［令和３年１１月１２日検索］，インターネット＜URL：http://www.brain.kyutech.ac.jp/~furukawa/data/SOMtext.pdf＞

【文献】深津卓弥 他，“ＳＯＩＮＮとは何か”，知能と情報，日本知能情報ファジィ学会誌，Ｖｏｌ．３０，Ｎｏ．２，ｐｐ．９８－１０５，［令和３年１１月１２日検索］，インターネット＜URL：https://www.jstage.jst.go.jp/article/jsoft/30/2/30_98/_pdf＞

【発明の概要】

【発明が解決しようとする課題】

【0014】

しかしながら、ESOMの学習処理には、ノードの削除機能がないため、ノイズ（孤立点）の影響を受けやすいという課題がある。また、パラメータ（パスの削除間隔）により結果が大きく変わるため、必要なパスを削除する場合があり、調整が困難である。

【課題を解決するための手段】

【0015】

上記課題を解決する学習システムは、自己組織化マップを生成する制御部を備える。そして、前記制御部が、入力データに対して、既存ノードの中で近接ノードを特定し、前記入力データと前記近接ノードとの距離を算出し、前記距離が最大距離よりも大きい場合には、前記入力データを用いて新規ノードを前記既存ノードに追加し、前記近接ノードとの距離に応じて、前記新規ノード及び前記近接ノードの活性値及び年齢を更新し、前記距離が最大距離以下の場合には、前記入力データと前記近接ノードとの距離に応じて、前記近接ノードの位置、活性値及び年齢を更新し、各ノードの活性値及び各パスの活性値を用いて、前記年齢から活性度を算出し、前記算出した活性度に応じて、前記ノード及び各パスの存否を決定して、自己組織化マップを生成する。

【発明の効果】

【0016】

効率的に的確な自己組織化マップを生成することができる。

【図面の簡単な説明】

【0017】

【図1】第１実施形態の学習システムの説明図である。

【図2】第１実施形態のハードウェア構成の説明図である。

【図3】第１実施形態の処理手順の説明図である。

【図4】第１実施形態の処理手順の説明図である。

【図5】第１実施形態の距離テーブルの説明図である。

【図6】第１実施形態の処理手順の説明図である。

【図7】第１実施形態の処理手順の説明図である。

【図8】第１実施形態の処理手順の説明図である。

【図9】第１実施形態の処理手順の説明図であって、（ａ）は入力データの配置、（ｂ）は新規ノードの追加、（ｃ）は既存ノードの更新の説明図である。

【図10】第１実施形態の入力データの説明図である。

【図11】ＥＳＯＭにおいて、パスの削除間隔を変更した場合の説明図であって、（ａ）は２０ステップ、（ｂ）は３０ステップ、（ｃ）は４０ステップの説明図である。

【図12】第１実施形態において、ノードの近接データ数を変更した場合の説明図であって、（ａ）は４０個、（ｂ）は５０個、（ｃ）は６０個の説明図である。

【図13】第２実施形態の処理手順の説明図である。

【図14】第３実施形態の処理手順の説明図である。

【図15】変更例の処理手順の説明図である。

【図16】従来の処理手順の説明図である。

【図17】従来の処理手順の説明図であって、（ａ）は入力データの配置、（ｂ）は新規ノードの追加、（ｃ）は既存ノードの更新の説明図である。

【発明を実施するための形態】

【0018】

（第１実施形態）
図１～図１２に従って、学習システム、学習方法及び学習プログラムを具体化した一実施形態を説明する。本実施形態では、自己組織化マップを、オンライン（リアルタイム）で生成する場合を想定する。ここでは、パスとノードに年齢を導入し、活性度=活性値／年齢が閾値以下のノードとパスを削除する。

【0019】

図１に示すように、本実施形態の学習システムは、ユーザ端末１０、支援サーバ２０を用いる。
（ハードウェア構成例）
図２は、ユーザ端末１０、支援サーバ２０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。

【0020】

情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。

【0021】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

【0022】

入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。

【0023】

記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0024】

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０における各処理（例えば、後述する制御部２１における処理）を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。

【0025】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。

【0026】

（１）コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
（２）各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
（３）それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0027】

（各情報処理装置の機能）
図１を用いて、ユーザ端末１０、支援サーバ２０の機能を説明する。
ユーザ端末１０は、本システムを利用するユーザが用いるコンピュータ端末である。

【0028】

支援サーバ２０は、自己組織化マップを生成するコンピュータシステムである。この支援サーバ２０は、制御部２１、入力データ記憶部２２、学習結果記憶部２３を備えている。

【0029】

制御部２１は、後述する処理（取得段階、学習段階、出力段階等を含む処理）を行なう。このための学習プログラムを実行することにより、制御部２１は、取得部２１０、学習部２１１、出力部２１２等として機能する。

【0030】

取得部２１０は、ユーザ端末１０から入力データを取得する処理を実行する。
学習部２１１は、自己組織化マップを生成する処理を実行する。
出力部２１２は、自己組織化マップを出力する処理を実行する。

【0031】

入力データ記憶部２２には、自己組織化マップの作成に用いる情報（入力データ）が記録される。この入力データは、自己組織化マップの作成に用いるデータを取得した場合に記録される。入力データは、異なる次元からなる複数の要素データを備えたベクトルである。

【0032】

学習結果記憶部２３には、自己組織化マップが記録される。この自己組織化マップは、学習処理の実行時に記録される。自己組織化マップは、複数次元空間に配置されたノードと、ノード間を繋ぐパスとからなるマップが記録される。そして、各パス及び各ノードは年齢に関する情報を保持する。この年齢は、新たな入力データの取得時に「１」だけ増加される。更に、各パス及び各ノードは、活性値に関する情報を保持する。活性値は、各パス及び各ノードの有効性（存在意義）を表す指標である。

【0033】

更に、学習結果記憶部２３には、ノード間の最大距離ｄmaxが記録される。この最大距離ｄmaxは、新規のノードの生成の要否判定のために用いられる。
更に、学習結果記憶部２３には、ノード削除閾値、パス削除閾値が記録される。ノード削除閾値、パス削除閾値は、自己組織化マップの更新時のノードやパスの存否を判定するために用いられる。

【0034】

（マップ生成処理）
次に、図３を用いて、マップ生成処理を説明する。ここでは、支援サーバ２０の制御部２１の取得部２１０は、ユーザ端末１０から入力データを取得する。そして、取得部２１０は、入力データを入力データ記憶部２２に記録する。

【0035】

まず、支援サーバ２０の制御部２１は、入力データの解析処理を実行する（ステップＳ１０１）。具体的には、制御部２１の学習部２１１は、入力データＤ(i)からノードを作成する場合に用いる最大距離ｄmaxを算出する。ここでは、全データ数Ｎに対して、ノードの近傍データ数Ｎn、考慮する勝者数Ｎwを予め設定しておく。

【0036】

図４を用いて、入力データの解析処理（ステップＳ１０１）を説明する。
ここでは、まず、支援サーバ２０の制御部２１は、各データ間の距離の算出処理を実行する（ステップＳ２０１）。具体的には、制御部２１の学習部２１１は、すべての２つの入力データＤ(i)の組み合わせの距離を算出する。
この場合、図５に示すように、各データ間の距離（ｄ12，ｄ13，…，ｄ23，…）を算出した距離テーブル５００を作成する。

【0037】

次に、支援サーバ２０の制御部２１は、各データについて、近傍データとの距離の算出処理を実行する（ステップＳ２０２）。具体的には、制御部２１の学習部２１１は、距離テーブル５００において、距離を昇順に並び替えて、長さがＮn番目までの距離を取得する。

【0038】

次に、支援サーバ２０の制御部２１は、平均値の算出処理を実行する（ステップＳ２０３）。具体的には、制御部２１の学習部２１１は、取得したＮn番目までの距離の平均値（統計値）を算出する。そして、この平均値をノード間の最大距離ｄmaxとして、学習結果記憶部２３に記録する。

【0039】

次に、図３に示すように、支援サーバ２０の制御部２１は、初期化処理を実行する（ステップＳ１０２）。ここでは、制御部２１の学習部２１１は、パラメータ、初期ノードを決定する。

【0040】

具体的には、図６を用いて、初期化処理（ステップＳ１０２）を説明する。ここでは、すべての入力データＤ(i)をノードとして取り扱う。
まず、支援サーバ２０の制御部２１は、ｉ＝１から、順次、入力データＤ(i)を処理対象として特定して、以下の処理を繰り返す。

【0041】

支援サーバ２０の制御部２１は、最大距離内の近傍データの特定処理を実行する（ステップＳ３０１）。具体的には、制御部２１の学習部２１１は、処理対象の入力データＤ(i)からの距離が最大距離ｄmax以内の全ての近傍データを特定する。

【0042】

次に、支援サーバ２０の制御部２１は、ノード活性値の計算処理を実行する（ステップＳ３０２）。具体的には、制御部２１の学習部２１１は、以下の式により、各近傍データのノード活性値Ａw(ni)を計算する。

【0043】

【数3】

次に、支援サーバ２０の制御部２１は、ノード活性度配列の生成処理を実行する（ステップＳ３０３）。具体的には、制御部２１の学習部２１１は、１次元の配列で、全ノードの活性値を並べた［Arate_W(i) i=1～N］を生成する。この［Arate_W(i) i=1～N］は、１次元の配列で、全ノードの活性値が入る。次に、学習部２１１は、ノード活性度Arate_W(i)を算出する。このノード活性度Arate_W(i)は、ノードｎiから最大距離ｄmax内のデータのノード活性値の和を、年齢で割ったものである。

【0044】

次に、支援サーバ２０の制御部２１は、最大距離以上の近傍データの特定処理を実行する（ステップＳ３０４）。具体的には、制御部２１の学習部２１１は、処理対象の入力データＤ(i)からの距離が最大距離ｄmax以上の他の入力データＤ(j)を特定する。

【0045】

次に、支援サーバ２０の制御部２１は、パス活性値の計算処理を実行する（ステップＳ３０５）。具体的には、制御部２１の学習部２１１は、以下の式により、各近傍データ（入力データＤ(j)）のパス活性値Ａs(n1,n2)を計算する。ここで、パスの両端のノードをｎ1とｎ2とし、ｄ1はノードｎ1・データＤ(j)間の距離、ｄ2はノードｎ2・データＤ(j)間の距離である。

【0046】

【数4】

次に、支援サーバ２０の制御部２１は、パス活性度配列の生成処理を実行する（ステップＳ３０６）。具体的には、制御部２１の学習部２１１は、２次元の配列で、全パスの活性値を並べた［Arate_S(i,j)i=1～N, j =1～N］を生成する。この［Arate_S(i,j) i=1～N, j =1～N］は、２次元の配列で、全パスの活性値が入る。次に、学習部２１１は、パス活性度Arate_S(i,j)を算出する。このパス活性度Arate_S(i,j)は、パス（i，j）に属するデータのノード活性値の和を、年齢で割ったものである。
以上の処理を、全ての入力データについて繰り返して実行する。

【0047】

次に、支援サーバ２０の制御部２１は、初期ノードの設定処理を実行する（ステップＳ３０７）。
図７を用いて、初期ノードの設定処理（ステップＳ３０７）を説明する。

【0048】

ここでは、まず、支援サーバ２０の制御部２１は、ノード活性度のソート処理を実行する（ステップＳ４０１）。具体的には、制御部２１の学習部２１１は、ノード活性度Arate_W(i)の高い順に入力データＤ(i)を並び替える。

【0049】

次に、支援サーバ２０の制御部２１は、ノード候補の特定処理を実行する（ステップＳ４０２）。具体的には、制御部２１の学習部２１１は、活性度の高い入力データＤ(i)を、ノード候補として、順次、特定する。

【0050】

次に、支援サーバ２０の制御部２１は、最大距離未満かどうかについての判定処理を実行する（ステップＳ４０３）。具体的には、制御部２１の学習部２１１は、ノード候補と、既登録のノードとの距離を算出し、最大距離ｄmaxと比較する。

【0051】

既登録のノードとの距離が最大距離以上と判定した場合（ステップＳ４０３において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、初期ノードの追加処理を実行する（ステップＳ４０４）。具体的には、制御部２１の学習部２１１は、ノード候補を新規ノードとして追加し、学習結果記憶部２３に記録する。

【0052】

一方、既登録のノードとの距離が最大距離未満と判定した場合（ステップＳ４０３において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、初期ノードの追加処理（ステップＳ４０４）をスキップする。

【0053】

次に、支援サーバ２０の制御部２１は、終了かどうかについての判定処理を実行する（ステップＳ４０５）。具体的には、制御部２１の学習部２１１は、活性度が最も低い入力データＤ(i)について処理を終了した場合、終了と判定する。

【0054】

終了でないと判定した場合（ステップＳ４０５において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、ノード候補の特定処理（ステップＳ４０２）以降の処理を繰り返す。
一方、終了と判定した場合（ステップＳ４０５において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、初期ノードの設定処理（ステップＳ３０７）を終了する。

【0055】

次に、図６に示すように、支援サーバ２０の制御部２１は、削除閾値の設定処理を実行する（ステップＳ３０８）。

【0056】

図８を用いて、削除閾値の設定処理（ステップＳ３０８）を説明する。
ここでは、支援サーバ２０の制御部２１は、ノード活性度のソート処理を実行する（ステップＳ５０１）。具体的には、制御部２１の学習部２１１は、ノード活性度Arate_W(i)を降順に並べ替える。

【0057】

次に、支援サーバ２０の制御部２１は、ノード削除閾値の特定処理を実行する（ステップＳ５０２）。具体的には、制御部２１の学習部２１１は、指定順位（Ndw）のノード活性度Arate_W(i)の値をノード削除閾値として特定し、学習結果記憶部２３に記録する。

【0058】

次に、支援サーバ２０の制御部２１は、パス活性度のソート処理を実行する（ステップＳ５０３）。具体的には、制御部２１の学習部２１１は、パス活性度Arate_S(i,j)を降順に並べ替える。

【0059】

次に、支援サーバ２０の制御部２１はパス削除閾値の特定処理を実行する（ステップＳ５０４）。具体的には、制御部２１の学習部２１１は、指定順位（Nds）のパス活性度Arate_Ｓ(i,j)をパス削除閾値として特定し、学習結果記憶部２３に記録する。

【0060】

次に、図３に示すように、オンライン学習処理を実行する。この処理は、オンラインで新たな入力データＤ(i)を取得した場合に行なわれる。ここでは、「ｉ＝１～Ｍ」とする。

【0061】

まず、支援サーバ２０の制御部２１は、勝者ノード及び距離の特定処理を実行する（ステップＳ１０３）。具体的には、制御部２１の学習部２１１は、学習結果記憶部２３に記録された自己組織化マップを構成するノード（既存ノード）の中で、近接ノードとして、Ｎ個のノード（第１勝者～第Ｎ勝者）を特定する。ここでは、学習部２１１は、新たに取得した入力データＤ(i)の位置が近い順番にＮ個のノード（第１勝者～第Ｎ勝者）を特定する。そして、学習部２１１は、入力データＤ(i)と各勝者（第１勝者～第Ｎ勝者）との各距離（ｄ1～ｄn）を算出する。

【0062】

図９（ａ）に示すように、2個の勝者（第１勝者ｎ1，第２勝者ｎ2）を特定して、入力データＤ(i)からの各距離ｄ1，ｄ2を算出する。
次に、支援サーバ２０の制御部２１は、最大距離より遠いかどうかについての判定処理を実行する（ステップＳ１０４）。具体的には、制御部２１の学習部２１１は、最寄りのノードとの距離ｄ1と最大距離ｄmaxとを比較する。

【0063】

距離ｄ1が最大距離ｄmaxより遠い場合（ステップＳ１０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、新規ノードの追加処理を実行する（ステップＳ１０５）。具体的には、制御部２１の学習部２１１は、入力データＤ(i)を新規ノードとして学習結果記憶部２３に記録する。
図９（ｂ）に示すように、ノードｎ1，ｎ2をそれぞれノードｎ2，ｎ3として、入力データＤ(i)をノードｎ1として追加している。

【0064】

次に、支援サーバ２０の制御部２１は、ノード及びパスの情報初期化処理を実行する（ステップＳ１０６）。具体的には、制御部２１の学習部２１１は、年齢と活性値とを初期化する。

【0065】

図９（ｂ）に示すように、以下の式により、各ノードの情報を初期化する。ここでは、ノードｎ1について、初期化する。

【0066】

【数5】

【0067】

【数6】

ここで、ｄは各ノードｎiとノードｎ1との距離である。

【0068】

また、ノードｎ1，ｎ2のパスの情報を更新する。

【0069】

【数7】

【0070】

【数8】

また、ノードｎ1，ｎ3のパスの情報を更新する。

【0071】

【数9】

【0072】

【数10】

一方、距離ｄ1が最大距離以下の場合（ステップＳ１０４において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、入力データと第Ｎ勝者までの活性値ａnの算出処理を実行する（ステップＳ１０７）。ここでは、新規ノード及び既存の第Ｎ勝者までの活性値ａn（n＝１～Ｎ）を求める。具体的には、制御部２１の学習部２１１は、以下の式を用いて、活性値を算出する。

【0073】

【数11】

ここで、「ｄ」は各ノードｎiと入力データＤ(i)との距離である。

【0074】

次に、図９（ｃ）に示すように、支援サーバ２０の制御部２１は、ノード位置、パス活性値の更新処理を実行する（ステップＳ１０８）。具体的には、制御部２１の学習部２１１は、以下の式によりノード位置を更新する。

【0075】

【数12】

ここで、「ｇ」は、学習率を表す係数である。

【0076】

更に、学習部２１１は、以下の式によりパス活性値Ａsを更新する。

【0077】

【数13】

制御部２１の学習部２１１は、以下の式によりノード活性値Awを更新する。

【0078】

【数14】

制御部２１の学習部２１１は、以下の式によりパス活性値Asを更新する。

【0079】

【数15】

次に、支援サーバ２０の制御部２１は、年齢の更新処理を実行する（ステップＳ１０９）。具体的には、制御部２１の学習部２１１は、Age_w，Age_sにそれぞれ「１」を加算して更新する。

【0080】

次に、支援サーバ２０の制御部２１は、ノード活性度、パス活性度の算出処理を実行する（ステップＳ１１０）。具体的には、制御部２１の学習部２１１は、以下の式によりノード活性度Ａrate_wを算出する。

【0081】

【数16】

以下の式によりパス活性度Ａrate_sを算出する。

【0082】

【数17】

次に、支援サーバ２０の制御部２１は、活性度が閾値を下回るパス及びノードの削除処理を実行する（ステップＳ１１１）。具体的には、制御部２１の学習部２１１は、活性度が閾値を下回るノード及びパスを削除する。

【0083】

次に、支援サーバ２０の制御部２１は、終了かどうかについての判定処理を実行する（ステップＳ１１２）。具体的には、制御部２１の学習部２１１は、「ｉ＝Ｍ」の場合に、すべての入力データについて終了と判定する。
この場合には、オンライン学習処理を終了する。
一方、終了でないと判定した場合（ステップＳ１１２において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、「ｉ＝ｉ＋１」としてステップＳ１０３以降の処理を繰り返す。

【0084】

本実施形態によれば、以下のような効果を得ることができる。
（１－１）本実施形態においては、支援サーバ２０の制御部２１は、入力データの解析処理を実行する（ステップＳ１０１）。これにより、ノード間の最大距離ｄmaxを算出することができる。

【0085】

（１－２）本実施形態においては、支援サーバ２０の制御部２１は、初期化処理を実行する（ステップＳ１０２）。これにより、ノード間の最大距離を考慮して初期ノードを設定することができる。また、削除閾値を設定することができる。
（１－３）本実施形態においては、距離ｄ1が最大距離より遠い場合（ステップＳ１０４において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、新規ノードの追加処理を実行する（ステップＳ１０５）。次に、支援サーバ２０の制御部２１は、ノード及びパスの情報初期化処理を実行する（ステップＳ１０６）。これにより、入力に応じて、新たなノードを設定することができる。

【0086】

（１－４）本実施形態においては、距離ｄ1が最大距離以下の場合（ステップＳ１０４において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、入力データと第Ｎ勝者までの活性値ａnの算出処理を実行する（ステップＳ１０７）。次に、支援サーバ２０の制御部２１は、ノード位置、パス活性値の更新処理を実行する（ステップＳ１０８）。これにより、ノードとパスの利用状況を評価することができる。

【0087】

（１－５）本実施形態においては、支援サーバ２０の制御部２１は、年齢の更新処理（ステップＳ１０９）、ノード活性度、パス活性度の算出処理（ステップＳ１１０）を実行する。これにより、時間（年齢）の概念を導入してHebb則に対応させて、ノードとパスに活性度（＝活性／年齢）を導入することができる。この活性度により、ノードやパスの有効性を把握することができる。

【0088】

（１－６）本実施形態においては、支援サーバ２０の制御部２１は、活性度が閾値を下回るパス及びノードの削除処理を実行する（ステップＳ１１１）。これにより、活性度が閾値以下のものを削除することができる。従って、孤立したノードを削除することができる。また、削除する必要のないパスを削除することがない。この結果、少ないパラメータで安定した学習が可能である。

【0089】

以下に、ESOMと本願発明との効果の違いを示す。
図１０に示すマップ６００に対して、２次元データにESOMを適用する。
図１１は、ESOMにおいて、パスの削除間隔を変更してクラスタリングを行なった結果である。図１１（ａ）はパスの削除間隔が「２０ステップ」、図１１（ｂ）は「３０ステップ」、図１１（ｃ）は「４０ステップ」である。この場合、削除間隔によりクラスタリング（グレーの濃度）の結果がかなり異なる。このため、妥当な削除間隔が特定し難いため、試行錯誤が必要になる。

【0090】

図１２では、本願発明において、ノード近傍のデータ数を変更している。図１２（ａ）は近傍データ数が「４０個」、図１２（ｂ）は「５０個」、図１２（ｃ）は「６０個」である。この場合、クラスタリングにおいて、いずれの場合も、同様の結果が得られている。従って、パラメータの指定が容易である。

【0091】

（第２実施形態）
次に、図１３に従って、学習システム、学習方法及び学習プログラムを具体化した第２実施形態を説明する。第１実施形態では、教師なし学習について説明した。第２実施形態では、教師あり学習に適応するように変更した構成であり、上記第１実施形態と同様の部分については、同一の符号を付し、その詳細な説明を省略する。この場合には、学習時に、説明変数と目的変数をカップリングしたデータセットを用いて、自己組織化マップを作成する。

【0092】

図１３を用いて、教師あり学習処理を説明する。
まず、支援サーバ２０の制御部２１は、入力データの取得処理を実行する（ステップＳ６０１）。具体的には、制御部２１の学習部２１１は、説明変数及び目的変数からなる入力データを取得する。そして、学習部２１１は、説明変数の変数値と目的変数の変数値とを結合して、入力データを構成する。

【0093】

次に、支援サーバ２０の制御部２１は、図３に示すマップ生成処理を実行する（ステップＳ６０２）。ここでは、生成したマップを学習結果記憶部２３に記録する。
次に、支援サーバ２０の制御部２１は、説明変数と目的変数の調整処理を実行する（ステップＳ６０３）。具体的には、制御部２１の学習部２１１は、学習の精度を検証する。そして、学習の精度が基準値に達していない場合には、学習部２１１は、学習のハイパーパラメータである調整係数を変更して、マップ生成処理（ステップＳ６０２）を繰り返す。この繰り返しにより、学習の精度が基準値以上の最適値を探す交差検証を実行する。これにより、目的変数の変数値に調整係数を乗算して目的変数の影響を調整する。

【0094】

そして、予測時には、支援サーバ２０の制御部２１は、新たな入力データの取得処理を実行する（ステップＳ６１１）。具体的には、制御部２１の取得部２１０は、ユーザ端末１０から、説明変数の変数値のみを含む入力データを新たに取得する。

【0095】

次に、支援サーバ２０の制御部２１は、自己組織化マップを用いた予測処理を実行する（ステップＳ６１２）。具体的には、制御部２１の出力部２１２は、入力データの説明変数の変数値に最も近いノードを特定する。そして、出力部２１２は、特定したノードの目的変数値を取得する。更に、出力部２１２は、目的変数値を調整係数で除算する。

【0096】

以上、本実施形態によれば、上記（１－１）～（１－６）と同様の効果に加えて、以下に示す効果を得ることができる。

【0097】

（２－１）本実施形態では、支援サーバ２０の制御部２１は、入力データの取得処理を実行する（ステップＳ６０１）。これにより、目的変数及び説明変数を含めた入力データを用いて、自己組織化マップを作成することができる。そして、自己組織化マップを用いた距離の計算により予測できるので、予測結果の説明性が高い。

【0098】

（２－２）本実施形態では、支援サーバ２０の制御部２１は、説明変数と目的変数の調整処理を実行する（ステップＳ６０２）。これにより、説明変数と目的変数とをバランスさせた自己組織化マップを生成することができる。

【0099】

（第３実施形態）
次に、図１４に従って、学習システム、学習方法及び学習プログラムを具体化した第３実施形態を説明する。第２実施形態では、教師あり学習について説明した。第３実施形態では、検証用データを用いて、ノード位置を調整するように変更した構成であり、上記第２実施形態と同様の部分については、同一の符号を付し、その詳細な説明を省略する。学習時に、説明変数と目的変数をカップリングして、自己組織化マップを作成する。

【0100】

例えば、検証用データの説明変数値を用いた予測結果において、ノードｎ1を予測した場合を想定する。そして、ノードｎ1の目的変数値よりも、ノードｎ2の目的変数値の方が、検証用データの目的変数値（正解）に近い場合を想定する。この場合、説明変数の各次元の距離ｄ（ノード寄与）を比較することで、悪影響を与えている次元を特定することができる。この検証用データとしては、自己組織化マップの作成時のデータ（教師データ）を用いてもよいし、教師データ以外のデータ（検証のみを目的とするデータ）を用いてもよい。

【0101】

図１４を用いて、マップ調整処理を説明する。
ここでは、ノード毎、検証用データ毎に以下の処理を繰り返す。
まず、支援サーバ２０の制御部２１は、検証用データについて、予測値の算出処理を実行する（ステップＳ７０１）。具体的には、制御部２１の取得部２１０は、検証用データの説明変数値を、自己組織化マップに入力する。次に、出力部２１２は、最も近接するノード（最近接ノード）を特定する。そして、出力部２１２は、最近接ノードの目的変数値を予測値として取得する。

【0102】

次に、支援サーバ２０の制御部２１は、ノード寄与の算出処理を実行する（ステップＳ７０２）。具体的には、制御部２１の学習部２１１は、以下の差分を用いてノード寄与dAi,jを算出する。

【0103】

【数18】

次に、支援サーバ２０の制御部２１は、移動ベクトルの計算処理を実行する（ステップＳ７０３）。具体的には、制御部２１の学習部２１１は、以下の式を用いて移動ベクトルdVi,jを算出する。

【0104】

【数19】

以上の処理を、すべての検証用データについて終了するまで繰り返す。
次に、支援サーバ２０の制御部２１は、移動ベクトルの平均ベクトルの算出処理を実行する（ステップＳ７０４）。具体的には、制御部２１の学習部２１１は、以下の式を用いて移動ベクトルdVi,meanを算出する。

【0105】

【数20】

以上の処理を、すべてのノードについて終了するまで繰り返す。
次に、支援サーバ２０の制御部２１は、移動ベクトルを用いてノード調整処理を実行する（ステップＳ７０５）。具体的には、制御部２１の学習部２１１は、調整係数を乗算した移動ベクトルdVi,meanを用いて、ノードを移動させる。

【0106】

次に、支援サーバ２０の制御部２１は、精度の算出処理を実行する（ステップＳ７０６）。具体的には、制御部２１の出力部２１２は、検証用データの説明変数を、調整した自己組織化マップに入力して、目的変数値を予測する。そして、出力部２１２は、予測した目的変数値と、検証用データの目的変数とを比較して、正解の割合（精度）を算出する。

【0107】

次に、支援サーバ２０の制御部２１は、収束かどうかについての判定処理を実行する（ステップＳ７０７）。具体的には、制御部２１の学習部２１１は、先行作成のマップの精度と今回作成のマップの精度とを比較する。そして、精度が向上している場合には、収束していないと判定する。なお、収束判定は、精度向上の有無に限定されるものではない。例えば、精度向上が所定範囲内の場合に、収束と判定してもよい。

【0108】

精度が向上しており、収束でないと判定した場合（ステップＳ７０７において「ＮＯ」の場合）、支援サーバ２０の制御部２１は、今回作成のマップの精度を初期精度として設定して、ステップＳ７０１以降の処理を繰り返す。
一方、精度が向上しておらず、収束と判定した場合（ステップＳ７０７において「ＹＥＳ」の場合）、支援サーバ２０の制御部２１は、マップ調整処理を終了する。

【0109】

以上、本実施形態によれば、上記（１－１）～（１－６）、（２－１）、（２－２）と同様の効果に加えて、以下に示す効果を得ることができる。

【0110】

（３－１）本実施形態では、支援サーバ２０の制御部２１は、ノード寄与の算出処理を実行する（ステップＳ７０２）。これにより、ノード寄与に応じて、予測失敗の原因を分析することができる。すなわち、各次元における「検証用データと正解ノードとの距離」と「検証用データと不正解ノード」との大小関係により、予測に良い影響を与えるノードと予測に悪影響を与えるノードとを識別できる。

【0111】

（３－２）本実施形態では、支援サーバ２０の制御部２１は、移動ベクトルの計算処理を実行する（ステップＳ７０３）。これにより、予測失敗の原因となったノードを移動させて、自己組織化マップを改善できる。

【0112】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記第１実施形態では、オンライン学習処理を実行する。自己組織化マップを生成できれば、オンライン処理に限定されるものではなく、バッチ処理によって生成した自己組織化マップを用いて、クラスタリングを行なうようにしてもよい。
・上記第１実施形態では、支援サーバ２０の制御部２１は、入力データの解析処理を実行する（ステップＳ１０１）。ここで、最大距離ｄmaxを算出する。最大距離ｄmaxは、入力データを代表する統計値であれば、算出方法は限定されない。また、最大距離ｄmaxの初期値を予め設定しておき、入力データ数の増加に応じて再計算してもよい。

【0113】

・第２実施形態において、支援サーバ２０の制御部２１は、自己組織化マップを用いた予測処理を実行する（ステップＳ６１２）。具体的には、制御部２１の出力部２１２は、入力データの説明変数の変数値に最も近いノードを特定する。ここで、最も近いノードｎ1に接続する複数のノードを用いて、回帰で目的変数を予測してもよい。
この場合、最も近いノードｎ1にパスにより接続している他のノードを利用して、複数のノードを特定してもよい。

【0114】

・上記第３実施形態では、ノード寄与を用いてノード位置を調整する。ここで、パスの寄与に基づいて、調整するようにしてもよい。例えば、検証用データの説明変数値を用いて予測したノードｎ1の目的変数値よりも、ノードｎ2の目的変数値の方が、検証用データの目的変数値（正解）に近い場合を想定する。この場合、説明変数の各次元の距離Ｄを比較することで、悪影響を与えている次元を特定する。マップ調整処理は、第３実施形態の〔数１８〕を用いる方法に限定されない。

【0115】

図１５を用いて、他のマップ調整処理を説明する。
ここでは、検証用データ毎に以下の処理を繰り返す。
まず、支援サーバ２０の制御部２１は、ステップＳ７０１と同様に、検証用データについて、予測値の算出処理を実行する（ステップＳ８０１）。

【0116】

次に、支援サーバ２０の制御部２１は、ステップＳ７０２と同様に、ノード寄与の算出処理を実行する（ステップＳ８０２）。
次に、支援サーバ２０の制御部２１は、パス寄与の算出処理を実行する（ステップＳ８０３）。具体的には、制御部２１の学習部２１１は、以下の差分を用いてパス寄与dAk,lを算出する。

【0117】

【数21】

以上の処理を、すべての検証用データについて終了するまで繰り返す。
次に、支援サーバ２０の制御部２１は、ノードの寄与の合計処理を実行する（ステップＳ８０４）。具体的には、制御部２１の学習部２１１は、以下の式を用いてノードの寄与の合計dASiを算出する。

【0118】

【数22】

次に、支援サーバ２０の制御部２１は、パスの寄与の合計処理を実行する（ステップＳ８０５）。具体的には、制御部２１の学習部２１１は、以下の式を用いてパスの寄与の合計dASkを算出する。

【0119】

【数23】

次に、支援サーバ２０の制御部２１は、悪影響ノード及び悪影響パスの特定処理を実行する（ステップＳ８０６）。具体的には、制御部２１の学習部２１１は、ノードの寄与の合計dASi、パスの寄与の合計dASkを、それぞれ降順で並べ替える。そして、学習部２１１は、上位所定数を悪影響ノード及び悪影響パスとして特定する。

【0120】

次に、支援サーバ２０の制御部２１は、悪影響ノード、パスの削除処理を実行する（ステップＳ８０７）。具体的には、制御部２１の学習部２１１は、特定した悪影響ノード及び悪影響パスを削除する。

【0121】

ノードの寄与の合計dASiが正の場合や、パスの寄与の合計dASkが正の場合、予測に悪影響を与える可能性が高い。そこで、ノードの寄与やパスの寄与に応じて、影響を与えるノードやパスを削除することができる。

【符号の説明】

【0122】

１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１０…取得部、２１１…学習部、２１２…出力部、２２…入力データ記憶部、２３…学習結果記憶部。

【要約】

【課題】効率的に的確な自己組織化マップを生成するための学習システム、学習方法及び学習プログラムを提供する。
【解決手段】支援サーバ２０の制御部２１が、入力データに対して、既存ノードの中で近接ノードを特定し、入力データと近接ノードとの距離を算出し、距離が最大距離よりも大きい場合には、入力データを用いて新規ノードを既存ノードに追加し、近接ノードとの距離に応じて、新規ノード及び近接ノードの活性値及び年齢を更新し、距離が最大距離以下の場合には、入力データと近接ノードとの距離に応じて、近接ノードの位置、活性値及び年齢を更新し、各ノードの活性値及び各パスの活性値を用いて、年齢から活性度を算出し、活性度に応じて、ノード及び各パスの存否を決定して、自己組織化マップを生成する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】