知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-05-29
(45)【発行日】2023-06-06
(54)【発明の名称】学習支援プログラム、学習支援方法及び学習支援装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230530BHJP
【ＦＩ】
G06N20/00
【請求項の数】
7
(21)【出願番号】P 2021570583
(86)(22)【出願日】2020-01-16
(86)【国際出願番号】 JP2020001382
(87)【国際公開番号】W WO2021144938
(87)【国際公開日】2021-07-22
【審査請求日】2022-04-18
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】溝渕 裕司
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０１３－１６１２９５（ＪＰ，Ａ）
【文献】岡田将吾(外３名)，「ユーザとの相互作用を通じた画像分類システムの開発」，2010年度人工知能学会全国大会(第24回)論文集, [CD-ROM]，2010年06月11日，Session ID: 2G2-OS9-6, Pages 1-4，ISSN: 1347-9881, <DOI: 10.11517/pjsai.JSAI2010.0_2G2OS96>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
学習データに含まれるサンプルがクラスタリングされたクラスタごとに、前記クラスタを代表するサンプルを第１の距離計量モデルへ入力することにより第１の埋め込みベクトルを算出し、前記学習データに含まれるサンプルのペアに設定されたラベルに基づいて前記第１の距離計量モデルから第２の距離計量モデルを学習し、
前記クラスタごとに、前記クラスタを代表するサンプルを前記第２の距離計量モデルへ入力することにより第２の埋め込みベクトルを算出し、
各クラスタの前記第１の埋め込みベクトルおよび各クラスタの前記第２の埋め込みベクトルに基づいて、前記第２の距離計量モデルの学習時のエポック数よりも多いエポック数で学習が行われる場合に統合され得るクラスタのペアを検出し、
前記クラスタのペアのうち類似のラベルが設定されていないクラスタのペアを出力する、
処理をコンピュータに実行させる学習支援プログラム。
【請求項2】
前記検出する処理は、前記第２の距離計量モデルが学習される前後におけるクラスタ間の進行角度の大きさに基づいて前記クラスタのペアを検出する請求項１に記載の学習支援プログラム。
【請求項3】
前記検出する処理は、前記第２の距離計量モデルが学習される前後におけるクラスタ間の距離の変化量に基づいて前記クラスタのペアを検出する請求項１に記載の学習支援プログラム。
【請求項4】
前記第２の距離計量モデルが学習された後におけるクラスタ間の距離を、前記第２の距離計量モデルが学習される前におけるクラスタ間の距離で除算することにより、前記クラスタ間の距離の変化量を算出する処理を前記コンピュータにさらに実行させる請求項３に記載の学習支援プログラム。
【請求項5】
前記出力する処理は、前記類似のラベルが設定されていないクラスタのペアに非類似のラベルを設定するレコメンドを出力する請求項１に記載の学習支援プログラム。
【請求項6】
学習データに含まれるサンプルがクラスタリングされたクラスタごとに、前記クラスタを代表するサンプルを第１の距離計量モデルへ入力することにより第１の埋め込みベクトルを算出し、前記学習データに含まれるサンプルのペアに設定されたラベルに基づいて前記第１の距離計量モデルから第２の距離計量モデルを学習し、
前記クラスタごとに、前記クラスタを代表するサンプルを前記第２の距離計量モデルへ入力することにより第２の埋め込みベクトルを算出し、
各クラスタの前記第１の埋め込みベクトルおよび各クラスタの前記第２の埋め込みベクトルに基づいて、前記第２の距離計量モデルの学習時のエポック数よりも多いエポック数で学習が行われる場合に統合され得るクラスタのペアを検出し、
前記クラスタのペアのうち類似のラベルが設定されていないクラスタのペアを出力する、
処理をコンピュータが実行する学習支援方法。
【請求項7】
学習データに含まれるサンプルがクラスタリングされたクラスタごとに、前記クラスタを代表するサンプルを第１の距離計量モデルへ入力することにより第１の埋め込みベクトルを算出する第１算出部と、前記学習データに含まれるサンプルのペアに設定されたラベルに基づいて前記第１の距離計量モデルから第２の距離計量モデルを学習する学習部と、
前記クラスタごとに、前記クラスタを代表するサンプルを前記第２の距離計量モデルへ入力することにより第２の埋め込みベクトルを算出する第２算出部と、
各クラスタの前記第１の埋め込みベクトルおよび各クラスタの前記第２の埋め込みベクトルに基づいて、前記第２の距離計量モデルの学習時のエポック数よりも多いエポック数で学習が行われる場合に統合され得るクラスタのペアを検出する検出部と、
前記クラスタのペアのうち類似のラベルが設定されていないクラスタのペアを出力する出力部と、
を有することを特徴とする学習支援装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、学習支援プログラム、学習支援方法及び学習支援装置に関する。
【背景技術】
【0002】
距離計量学習の例として、マハラノビス距離学習をはじめ、ディープラーニング技術を利用したディープメトリックラーニングなどが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１０－１９８５１８号公報
【非特許文献】
【0004】
【文献】Weinberger, Kilian Q., John Blitzer, and Lawrence K.Saul. “Distance metric learning for large margin nearest neighbor classification." Advances in neural information processing systems. 2006.
【文献】Gao, Xingyu, et al. “SOML: Sparse Online Metric Learning with Application to Image Retrieval.” AAAI. 2014.
【文献】E.P.Xing, A.Y.Ng, M.I.Jordan and S.Russell: “Distance metric learning, with application to clustering with side-information”, Neural Information Processing Systems(NIPS)(2003).
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記の距離計量学習が行われたモデルの再学習時には、学習サンプルのデータ間に設定されるラベルが再学習後のモデルに悪影響を与えることがある。
【0006】
１つの側面では、本発明は、再学習後の距離計量モデルが悪影響を受けるのを抑制できる学習支援プログラム、学習支援方法及び学習支援装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
一態様の学習支援プログラムは、学習データに含まれるサンプルがクラスタリングされたクラスタごとに、前記クラスタを代表するサンプルを第１の距離計量モデルへ入力することにより第１の埋め込みベクトルを算出し、前記学習データに含まれるサンプルのペアに設定されたラベルに基づいて前記第１の距離計量モデルから第２の距離計量モデルを学習し、前記クラスタごとに、前記クラスタを代表するサンプルを前記第２の距離計量モデルへ入力することにより第２の埋め込みベクトルを算出し、各クラスタの前記第１の埋め込みベクトルおよび各クラスタの前記第２の埋め込みベクトルに基づいて、前記第２の距離計量モデルの学習時のエポック数よりも多いエポック数で学習が行われる場合に統合され得るクラスタのペアを検出し、前記クラスタのペアのうち類似のラベルが設定されていないクラスタのペアを出力する、処理をコンピュータに実行させる。
【発明の効果】
【0008】
再学習後の距離計量モデルが悪影響を受けるのを抑制できる。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に添付図面を参照して本願に係る学習支援プログラム、学習支援方法及び学習支援装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【実施例1】
【0011】
［１． システム構成］
図１は、実施例１に係るシステムの構成例を示す図である。図１に示すシステム１は、あくまで１つの側面として、任意の機械学習のタスク、例えばクラス分類に対応する機能を提供するものである。
図１は、実施例１に係るシステムの構成例を示す図である。図１に示すシステム１は、あくまで１つの側面として、任意の機械学習のタスク、例えばクラス分類に対応する機能を提供するものである。
【0012】
図１に示すように、システム１には、サーバ装置１０と、クライアント端末３０とが含まれ得る。これらサーバ装置１０及びクライアント端末３０は、ネットワークＮＷを介して通信可能に接続される。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってかまわない。なお、図１には、１つのサーバ装置１０につき１つのクライアント端末３０が接続される例を挙げたが、これはあくまで模式図に過ぎず、１つのサーバ装置１０につき複数のクライアント端末３０が接続されることを妨げない。
【0013】
サーバ装置１０は、上記のクラス分類を実行するコンピュータの一例である。サーバ装置１０は、学習支援装置に対応し得る。
【0014】
一実施形態として、サーバ装置１０は、上記のクラス分類に対応する機能を実現する分類プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記のクラス分類に関する機能をオンプレミスに提供するサーバとして実装することができる。この他、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記のクラス分類に対応する機能をクラウドサービスとして提供することとしてもかまわない。
【0015】
クライアント端末３０は、上記のクラス分類に対応する機能の提供を受けるコンピュータの一例に対応する。例えば、クライアント端末３０には、パーソナルコンピュータなどのデスクトップ型のコンピュータなどが対応する。これはあくまで一例に過ぎず、クライアント端末３０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータであってかまわない。
【0016】
［２． タスクの実装例］
上記のクラス分類のタスクが実装され得る機能の例として、２つの文書間の類似または非類似を判別する文書間の類似判別機能が挙げられる。あくまで一例として、上記の文書間の類似判別機能は、ＩＴ（Information Technology）サービス等の運用管理に関する過去の事例集からトラブル事象及びトラブル原因の間で類似する事例サンプルが関連付けられた障害切り分けグラフの構築を可能とする。このように構築される障害切り分けグラフは、あくまで一例として、トラブルへの対処時にトラブル事象に対応するトラブル原因のレコメンドを出力する機能等を実現し得る。
上記のクラス分類のタスクが実装され得る機能の例として、２つの文書間の類似または非類似を判別する文書間の類似判別機能が挙げられる。あくまで一例として、上記の文書間の類似判別機能は、ＩＴ（Information Technology）サービス等の運用管理に関する過去の事例集からトラブル事象及びトラブル原因の間で類似する事例サンプルが関連付けられた障害切り分けグラフの構築を可能とする。このように構築される障害切り分けグラフは、あくまで一例として、トラブルへの対処時にトラブル事象に対応するトラブル原因のレコメンドを出力する機能等を実現し得る。
【0017】
［３． 背景技術］
このような文書間の類似判別機能等で例示されるタスクにおけるクラス分類の判別精度を高める側面から、クラス分類には、特徴量の重要度に基づく特徴量選択や特徴量空間を学習する方法といった技術が組み込まれることがある。
このような文書間の類似判別機能等で例示されるタスクにおけるクラス分類の判別精度を高める側面から、クラス分類には、特徴量の重要度に基づく特徴量選択や特徴量空間を学習する方法といった技術が組み込まれることがある。
【0018】
［３．１ マハラノビス距離学習］
特徴量空間を学習する方法の一例として、マハラノビス距離学習に代表される距離計量学習が知られている。いわゆる距離計量学習では、入力空間におけるサンプル間の類似度を特徴量空間における距離に対応させる変換が学習される。すなわち、距離計量学習では、同じクラスに属するサンプル同士の距離が近く、異なるクラスに属するサンプル同士の距離が遠くなるように元の空間が歪められる。なお、「特徴量空間」は、距離空間、あるいは埋め込み空間と呼ばれる場合もある。
特徴量空間を学習する方法の一例として、マハラノビス距離学習に代表される距離計量学習が知られている。いわゆる距離計量学習では、入力空間におけるサンプル間の類似度を特徴量空間における距離に対応させる変換が学習される。すなわち、距離計量学習では、同じクラスに属するサンプル同士の距離が近く、異なるクラスに属するサンプル同士の距離が遠くなるように元の空間が歪められる。なお、「特徴量空間」は、距離空間、あるいは埋め込み空間と呼ばれる場合もある。
【0019】
例えば、マハラノビス距離学習では、下記の式（１）に示すマハラノビス距離ｄＭ（ｘ，ｘ′）を定義し、Ｍの成分を設計変数として学習が行われる。このようなＭの最適化問題は、サンプル間のユークリッド距離をサンプル間の類似度に対応させる変換Ｌを学習することと等価である。このことから、下記の式（２）のロス関数を最小化する問題を解くことで、変換Ｌを学習することができる。
【0020】
【数1】
【数2】
【0021】
上記の式（２）における「Ｌ」は、入力空間から線形変換する行列であり、Ｍ＝Ｌ＾ＴＬの関係を有する。上記の式（２）に含まれる２つのロス（ペナルティ）関数のうち、εpull（Ｌ）は、下記の式（３）で表されると共に、εpush（Ｌ）は、下記の式（４）で表される。下記の式（３）及び下記の式（４）における「ｊ（矢印記号）ｉ」は、ｘｊがｘｉの近傍であることを意味する。
【0022】
【数3】
【数4】
【0023】
これらεpull（Ｌ）及びεpush（Ｌ）では、ｋ近傍法に基づいてあるインスタンスｉの近傍ｋ個のインスタンスｊが用いられる。例えば、上記の式（３）に示すεpull（Ｌ）によれば、同じラベルを持つインスタンス間の距離が大きい場合にペナルティが与えられる。さらに、上記の式（４）に示すεpush（Ｌ）によれば、異なるラベルを持つインスタンス間の距離が小さい場合にペナルティが与えられる。
【0024】
［３．２ 特徴量選択］
特徴量の重要度を求める方法として、マハラノビス距離におけるＭの対角成分を学習する方法が挙げられる。例えば、学習データや特徴量のスケール性に対応する側面から、マハラノビス距離におけるＭの対角成分以外の要素を０にすることで異なる特徴量間の関係性を無視し、各特徴量の重要度が学習される。
特徴量の重要度を求める方法として、マハラノビス距離におけるＭの対角成分を学習する方法が挙げられる。例えば、学習データや特徴量のスケール性に対応する側面から、マハラノビス距離におけるＭの対角成分以外の要素を０にすることで異なる特徴量間の関係性を無視し、各特徴量の重要度が学習される。
【0025】
この他、特徴量の重要度を求める方法として、決定木を用いる方法が知られている。例えば、決定木は、ノードを分割する特徴量の選択を繰り返すことにより生成される。このように特徴量を選択する場合、特徴量ごとに重要度が算出される。例えば、ｊ番目の特徴量ｆｊの重要度ＦＩ（ｆｊ）は、下記の式（５）の通り、全てのノードにおける情報利得Ｉの総和を計算することにより算出することができる。
【0026】
【数5】
【0027】
上記の式（５）における「情報利得Ｉ」とは、親ノードから子ノードへ分割する際に得られる情報量を指す。ここで言う「親ノード」とは、特徴量の分岐で分割される前のノードを指し、また、「子ノード」とは、特徴量の分岐で分割された後のノードを指す。
【0028】
さらに、決定木における特徴量の分岐で分割される時に得られる情報量Ｉ（Ｄｐ，ｆ）は、下記の式（６）によって表すことができる。下記の式（６）において、「ｆ」は、分岐に選択された特徴量を指す。また、「Ｄｐ」は、親ノードを指す。さらに、「Ｄｌｅｆｔ」は、分岐後の左側の子ノードを指し、また、「Ｄｒｉｇｈｔ」は、分岐後の右側の子ノードを指す。さらに、「Ｎｐ」は、親ノード内のサンプルの個数を指す。さらに、「Ｎｌｅｆｔ」は、左側の子ノードのサンプルの個数を指し、また、「Ｄｒｉｇｈｔ」は、右側の子ノードのサンプルの個数を指す。
【0029】
【数6】
【0030】
このような情報量を最大化する特徴量、言い換えれば親ノード及び子ノード間で不純度を最大限減らすことができる特徴量が決定木の分岐に選択される。あくまで一例として、上記の情報量として、ジニ係数やエントロピーなどを用いることができる。例えば、ジニ係数ＩＧ（ｔ）は、下記の式（７）によって算出することができる。また、エントロピーＩＨ（ｔ）は、下記の式（８）によって算出することができる。
【0031】
【数7】
【数8】
【0032】
［３．３ マハラノビス距離学習の変形例］
上記のマハラノビス距離学習の変形例として、クラスタリング距離学習装置等が開示された文献が挙げられる。このクラスタリング距離学習装置では、上記の非特許文献３に記載のマハラノビス距離の行列Ａの推定が学習データからの反復演算により行われる点が課題として挙げられている。
上記のマハラノビス距離学習の変形例として、クラスタリング距離学習装置等が開示された文献が挙げられる。このクラスタリング距離学習装置では、上記の非特許文献３に記載のマハラノビス距離の行列Ａの推定が学習データからの反復演算により行われる点が課題として挙げられている。
【0033】
このような課題を解決する側面から、クラスタリング距離学習装置では、マハラノビス距離の行列Ａが収束するまで反復演算を行う非特許文献３に記載のアルゴリズムの代わりに次のような処理を行う。すなわち、クラスタリング距離学習装置では、非特許文献３に記載のマハラノビス距離の行列Ａの推定アルゴリズムが、マハラノビス距離の行列Ａの大きさを制限する拘束条件の下で行列Ａとクラスタ中心μｋの関数Ｊを最小化する問題へ定式化される。このような定式化で得られる下記の式（９）に従って、マハラノビス距離の行列Ａが計算される。
【0034】
【数9】
【0035】
上記の式（９）において、「ｘｎ」及び「ｘｎ′」は、インスタンスの特徴量を指す。また、「μｋ」及び「μｋ′」は、クラスタｋ又はクラスタｋ′の中心を指す。また、「ｒｎｋ」及び「ｒｎ′ｋ′」は、インスタンスとクラスタの対応関係を表す。例えば、「ｒｎｋ」は、インスタンスｘｎがクラスタｋに属する場合に“１”で表される一方でそれ以外の場合に“０”で表される。また、「ｒｎ′ｋ′」は、インスタンスｘｎ′がクラスタｋ′に属する場合に“１”で表される一方でそれ以外の場合に“０”で表される。また、「ｔｒ（ＡＴＡ）」は、行列Ａに対する拘束条件を指す。
【0036】
［３．４ ニューラルネットワークを用いる距離計量学習］
上記の距離計量学習は、上記のマハラノビス距離学習のように特徴量空間への線形な変換を学習する例に限定されず、クラス分類モデルの距離定義の部分にニューラルネットワークを適用することで、特徴量空間への非線形な変換を学習することもできる。
上記の距離計量学習は、上記のマハラノビス距離学習のように特徴量空間への線形な変換を学習する例に限定されず、クラス分類モデルの距離定義の部分にニューラルネットワークを適用することで、特徴量空間への非線形な変換を学習することもできる。
【0037】
［３．４．１ 多クラス分類モデル］
モデル学習の結果として特徴量空間への非線形な変換を獲得できるという側面では、多クラス分類モデルの学習も、距離計量学習の一環とみなすこともできる。図２は、多クラス分類モデルの一例を示す図である。図２には、入力データのインスタンスが属するクラスのラベルを予測する多クラス分類モデル２の一例が示されている。このような多クラス分類モデル２に同一のラベルが付与された学習サンプルが入力される場合、ｉ層目の隠れ層（中間層）から出力される隠れベクトル同士の距離が学習サンプル間で近くなるモデル学習が行われる。それ故、学習済みの多クラス分類モデル２が有する任意の隠れ層、例えば図２に示すｎ－１層目やｎ層目の隠れ層へ入力される隠れベクトルは、入力データが属するクラスのラベルに対応する距離空間上の位置に変換されているとみなすことができる。このことから、任意の隠れ層へ入力される隠れベクトルは、埋め込みベクトル（Embedded Vector）として用いることができる。
モデル学習の結果として特徴量空間への非線形な変換を獲得できるという側面では、多クラス分類モデルの学習も、距離計量学習の一環とみなすこともできる。図２は、多クラス分類モデルの一例を示す図である。図２には、入力データのインスタンスが属するクラスのラベルを予測する多クラス分類モデル２の一例が示されている。このような多クラス分類モデル２に同一のラベルが付与された学習サンプルが入力される場合、ｉ層目の隠れ層（中間層）から出力される隠れベクトル同士の距離が学習サンプル間で近くなるモデル学習が行われる。それ故、学習済みの多クラス分類モデル２が有する任意の隠れ層、例えば図２に示すｎ－１層目やｎ層目の隠れ層へ入力される隠れベクトルは、入力データが属するクラスのラベルに対応する距離空間上の位置に変換されているとみなすことができる。このことから、任意の隠れ層へ入力される隠れベクトルは、埋め込みベクトル（Embedded Vector）として用いることができる。
【0038】
［３．４．２ ディープメトリックラーニング］
ディープメトリックラーニングの一例として、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋが知られている。Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋでは、類似または非類似のペアに基づいて非線形かつ次元縮約を行いながら適切な距離空間上に入力データを写像する関数が学習される。
ディープメトリックラーニングの一例として、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋが知られている。Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋでは、類似または非類似のペアに基づいて非線形かつ次元縮約を行いながら適切な距離空間上に入力データを写像する関数が学習される。
【0039】
図３は、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋの構造の一例を示す図である。図３に示すように、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋでは、類似または非類似のラベルが付与された２つのサンプルのペアが２つのニューラルネットワークＮＮ１及びＮＮ２へ入力される。このように２つのサンプルのペアが入力されるニューラルネットワークＮＮ１及びＮＮ２の間では、パラメータや層構造が共有される。そして、ニューラルネットワークＮＮ１が出力する埋め込みベクトル及びニューラルネットワークＮＮ２が出力する埋め込みベクトルから求まるサンプル間の距離が類似度として出力される。その上で、類似又は非類似のラベルに基づいて類似ペアの距離を近付ける一方で、非類似ペアの距離を遠ざけるニューラルネットワークＮＮ１及びＮＮ２のパラメータが学習される。
【0040】
以下、距離空間への埋め込み、すなわち距離計量が行われるモデル、例えばＳｉａｍｅｓｅ ＮｅｔｗｏｒｋのニューラルネットワークＮＮ１やＮＮ２等のことを「距離計量モデル」と記載する場合がある。
【0041】
［４． 課題の一側面］
例えば、学習済みのモデルを新たなタスクにも適合させる側面から、学習済みの距離計量モデルを新たなデータを用いて再学習するｆｉｎｅ－ｔｕｎｅ等が行われる場合ある。この場合、これまでに挙げてきた距離計量モデルの再学習時に学習サンプルのデータ間に設定されるラベルが再学習後のモデルに悪影響を与える場合があるという側面がある。
例えば、学習済みのモデルを新たなタスクにも適合させる側面から、学習済みの距離計量モデルを新たなデータを用いて再学習するｆｉｎｅ－ｔｕｎｅ等が行われる場合ある。この場合、これまでに挙げてきた距離計量モデルの再学習時に学習サンプルのデータ間に設定されるラベルが再学習後のモデルに悪影響を与える場合があるという側面がある。
【0042】
図４は、距離空間の一例を示す図である。図４には、再学習前の距離計量モデルにより埋め込まれる距離空間Ｓ１と、再学習後の距離計量モデルにより埋め込まれる距離空間Ｓ２とが左から順に並べて示されている。さらに、図４に示す距離空間Ｓ１及び距離空間Ｓ２には、再学習に用いられる学習データの各サンプルが再学習前または再学習後の埋め込みベクトルに基づいてクラスタリングされたクラスタリング結果が示されている。
【0043】
図４に示すように、再学習前の距離空間Ｓ１には、クラスタＣ１～クラスタＣ６の６つのクラスタが含まれる。ここで、あくまで一例として、上記６つのクラスタのうち、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定された状態で再学習が行われた場合、距離空間Ｓ２への埋め込みが再学習される。すなわち、距離空間Ｓ２では、クラスタＣ１及びクラスタＣ２のペアに設定された類似のラベルに基づく再学習によってクラスタＣ１及びクラスタＣ２の間の距離が距離空間Ｓ１に比べて近づく。これに留まらず、距離空間Ｓ２では、クラスタＣ３及びクラスタＣ４の間の距離も距離空間Ｓ１に比べて近づく。これらクラスタＣ３及びクラスタＣ４の統合は、必ずしもモデルの設計者が意図するものとは限らず、想定外のモデルが再学習される場合がある。
【0044】
このような想定外の事態を避ける側面から、再学習時に全てのクラスタのペアに類似または非類似のラベルを設定するのはリソースの観点から必ずしも現実的とは言えず、ラベルの設定を最小限に留めたい側面がある。
【0045】
［５． 課題解決のアプローチの一側面］
そこで、本実施例では、再学習前および再学習過程の各時点で距離計量モデルが出力する埋め込みベクトルに基づいて互いが接近し、かつ類似のラベルが設定されていないクラスタのペアを出力する学習支援機能を提供する。このようなクラスタのペアが再学習過程で問い合わせられることによって、再学習時に設定される類似または非類似のラベルにより意図しないクラスタのペアが統合されるのを抑制し、もって再学習後の距離計量モデルに悪影響を与えるのを抑制できる。
そこで、本実施例では、再学習前および再学習過程の各時点で距離計量モデルが出力する埋め込みベクトルに基づいて互いが接近し、かつ類似のラベルが設定されていないクラスタのペアを出力する学習支援機能を提供する。このようなクラスタのペアが再学習過程で問い合わせられることによって、再学習時に設定される類似または非類似のラベルにより意図しないクラスタのペアが統合されるのを抑制し、もって再学習後の距離計量モデルに悪影響を与えるのを抑制できる。
【0046】
図５は、距離空間の一例を示す図である。図５では、距離計量学習のあくまで一例として、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋが採用される場合を例に挙げて説明を行う。図５には、再学習前の距離計量モデルにより埋め込まれる距離空間Ｓ１１と、再学習過程の距離計量モデルにより埋め込まれる距離空間Ｓ１２と、再学習後の距離計量モデルにより埋め込まれる距離空間Ｓ１３とが左から順に並べて示されている。さらに、図５に示す距離空間Ｓ１１、距離空間Ｓ１２及び距離空間Ｓ１３には、再学習に用いられる学習データの各サンプルが再学習前、再学習過程または再学習後の埋め込みベクトルに基づいてクラスタリングされたクラスタリング結果が示されている。
【0047】
図５に示すように、再学習前の距離空間Ｓ１１には、クラスタＣ１～クラスタＣ６の６つのクラスタが含まれる。このような距離空間Ｓ１１への埋め込みを行う再学習前の距離計量モデルを用いて、上記の学習支援機能は、上記６つのクラスタのうち、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定された状態で、再学習を行う。この際、上記の学習支援機能は、所要エポック数、例えばロス関数の値が収束するエポック数やテストデータの正解率が一定値に達するエポック数よりも少ない再学習過程のエポック数、例えば１エポックの再学習を行う。このように１エポックの再学習が行われた結果、再学習過程では、距離空間Ｓ１２への埋め込みが学習される。
【0048】
ここで、上記の学習支援機能は、再学習前および再学習過程の各時点で距離計量モデルが出力する埋め込みベクトルに基づいて互いが接近し、かつ類似のラベルが設定されていないクラスタのペアを検出する。具体的には、クラスタＣ１～クラスタＣ６ごとにクラスタ代表の埋め込みベクトルＥＶが求められる。例えば、クラスタ代表の埋め込みベクトルＥＶとして、クラスタに属するサンプルを再学習前または再学習過程の距離計量モデルへ入力することにより得られる埋め込みベクトルの平均を用いることができる。
【0049】
このようなクラスタ代表の埋め込みベクトルを用いて、上記の学習支援機能は、クラスタの移動方向を算出する。あくまで一例として、クラスタの移動方向は、再学習過程のクラスタ代表の埋め込みベクトルから再学習前のクラスタ代表の埋め込みベクトルを減算する計算により求めることができる。その上で、上記の学習支援機能は、あくまで一例として、下記の式（１０）にしたがって２つのクラスタの移動方向が略同一の直線上に存在するクラスタのペアを抽出する。例えば、下記の式（１０）において「delta_EV_cluster1」は、クラスタＣ１の移動方向を指す。さらに、「delta_EV_cluster2」は、クラスタＣ２の移動方向を指す。また、「ε１」は、閾値を指す。このような式（１０）を満たすクラスタのペアが抽出される。
【0050】
１－｜cosine（delta_EV_cluster1，delta_EV_cluster2）｜＜ε１・・・（１０）
【0051】
さらに、上記の学習支援機能は、再学習前および再学習過程の各時点においてクラスタ間の距離を算出する。例えば、クラスタ間の距離は、クラスタのペアごとにクラスタ代表の埋め込みベクトルのユークリッド距離やコサイン距離を計算することにより求めることができる。その上で、上記の学習支援機能は、再学習前及び再学習過程の間でクラスタ間の距離の変化量を算出する。例えば、再学習前及び再学習過程の変化量は、再学習過程におけるクラスタ間の距離を再学習前のクラスタ間の距離で除算する計算により求めることができる。このように再学習前及び再学習過程の間で算出された変化量が所定の閾値、例えばε２未満であるクラスタのペアが抽出される。
【0052】
これらε１及びε２を用いて抽出されるクラスタのペアのうち類似のラベルが設定されていないクラスタのペアが再学習後に統合され得る問合せ対象として検出される。このようなクラスタのペアがクライアント端末３０等の任意の出力先に出力されることで、クラスタのペアの統合適否を受け付けることができる。
【0053】
図５に示す例で言えば、クラスタＣ１及びクラスタＣ２のペアとクラスタＣ３及びクラスタＣ４のペアがε１及びε２を用いて絞り込まれる。これらのうち、類似のラベルが設定されたクラスタＣ１及びクラスタＣ２のペアは、問合せ対象から除外される。その一方で、類似のラベルが設定されていないクラスタＣ３及びクラスタＣ４のペアは、問合せ対象として検出される。このようなクラスタＣ３及びクラスタＣ４のペアをクライアント端末３０等に出力してクラスタのペアの統合適否、例えば再学習の中止やラベルの再設定などを受け付ける。例えば、再学習の中止のリクエストを受け付ける。これによって、モデルの設計者が意図しないクラスタの統合を抑制することができる。さらに、クラスタＣ３及びクラスタＣ４のペアに非類似のラベルが設定されると共に、クラスタＣ５及びクラスタＣ６のペアに類似のラベルが設定される。これによって、モデルの設計者が意図しないクラスタの統合を抑制した上で再学習を行う環境を調整することができる。
【0054】
このようなラベルの再設定後、上記の学習支援機能は、再設定されたラベルに基づいて所要エポック数の再学習を行う。例えば、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定され、クラスタＣ３及びクラスタＣ４に非類似のラベルが設定されると共にクラスタＣ５及びクラスタＣ６に類似のラベルが設定された状態で再学習が行われる。この際、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋ等の距離計量学習には、再学習前の距離計量モデルを用いることとしてもよいし、また、再学習過程の距離計量モデルを用いることとしてもかまわない。
【0055】
このように所要のエポック数の再学習が行われる結果、距離空間Ｓ１３への埋め込みが再学習される。すなわち、距離空間Ｓ１３では、クラスタＣ１及びクラスタＣ２の間の距離が距離空間Ｓ１１及び距離空間Ｓ１２に比べて近づくと共に、クラスタＣ５及びクラスタＣ６の間の距離が距離空間Ｓ１１及び距離空間Ｓ１２に比べて近づく。さらに、距離空間Ｓ１３では、クラスタＣ３及びクラスタＣ４の間の距離が距離空間Ｓ１１または距離空間Ｓ１２に比べて接近するのを抑制したり、遠ざけたりすることができる。
【0056】
したがって、本実施例に係る学習支援機能によれば、モデルの設計者が意図しないクラスタのペアの統合が抑制されるので、再学習後の距離計量モデルが悪影響を受けるのを抑制することが可能になる。
【0057】
［６． サーバ装置１０の構成］
図１には、実施例１に係るサーバ装置１０の機能的構成の一例が示されている。図１に示すように、サーバ装置１０は、通信インタフェイス１１と、記憶部１３と、制御部１５とを有する。なお、図１には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
図１には、実施例１に係るサーバ装置１０の機能的構成の一例が示されている。図１に示すように、サーバ装置１０は、通信インタフェイス１１と、記憶部１３と、制御部１５とを有する。なお、図１には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
【0058】
通信インタフェイス１１は、他の装置、例えばクライアント端末３０との間で通信制御を行うインタフェイスである。
【0059】
あくまで一例として、通信インタフェイス１１には、ＬＡＮカードなどのネットワークインタフェイスカードを採用することができる。例えば、通信インタフェイス１１は、クライアント端末３０からラベルの設定、再学習の実行指示あるいは再学習の中止指示など受け付ける。また、通信インタフェイス１１は、統合の問合せ対象のクラスタのペアをクライアント端末３０へ送信したりする。
【0060】
記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、各種プログラムに用いられるデータを記憶する機能部である。例えば、上記のプログラムには、上記の学習支援機能がモジュール化された学習支援プログラムを始め、上記の分類プログラムに学習支援プログラムがパッケージ化されたパッケージソフトウェアなどが対応し得る。
【0061】
あくまで一例として、記憶部１３は、サーバ装置１０における補助記憶装置に対応し得る。例えば、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応し得る。
【0062】
記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、第１モデルデータ１３Ｍ１と、学習データ１４とを記憶する。これら第１モデルデータ１３Ｍ１及び学習データ１４以外にも、上記の学習支援プログラムによって参照されるデータ、例えば所要エポック数や再学習過程のエポック数などの再学習条件等が記憶部１３に記憶されることとしてもよい。
【0063】
第１モデルデータ１３Ｍ１は、再学習前の距離計量モデルのデータである。ここで言う「再学習前の距離計量モデル」は、あくまで一例として、再学習に用いられる学習データとは異なる学習データを用いて学習済みである距離計量モデルに対応し得る。例えば、第１モデルデータ１３Ｍ１として、Ｓｉａｍｅｓｅ Ｎｅｔｗｏｒｋを形成する入力層、隠れ層及び出力層の各層のニューロンやシナプスなどのモデルの層構造を始め、各層の重みやバイアスなどのモデルのパラメータが記憶部１３に記憶される。
【0064】
学習データ１４は、距離計量モデルの再学習に用いられるデータである。例えば、学習データ１４には、文書データ１４Ａおよびラベルデータ１４Ｂが含まれ得る。
【0065】
文書データ１４Ａは、文書のデータである。ここで言う「文書」は、距離計量モデルへ入力されるサンプルの一例に対応し得る。図６は、文書データ１４Ａの一例を示す図である。図６には、あくまで一例として、文書Ｄ１～文書Ｄ１０の１０個の文書が例示されている。図６に示す例で言えば、クラスタＣ１には、文書Ｄ１～Ｄ３が含まれる。さらに、クラスタＣ２には、文書Ｄ４～Ｄ６が含まれる。さらに、クラスタＣ３には、文書Ｄ７及びＤ８が含まれる。さらに、クラスタＣ４には、文書Ｄ９及びＤ１０が含まれる。
【0066】
ここで、図６には、文書データ１４Ａの例として、テキストデータを示したが、テキストデータは、距離計量モデルへ入力する事前処理として、距離計量モデルに入力可能な数値表現、例えばベクトル表現へ変換される。
【0067】
このような数値表現の変換には、あくまで一例として、Bag of words等を用いることができる。具体的には、文書Ｄ１～文書Ｄ１０ごとに次のような処理が行われる。
【0068】
例えば、自然言語のテキストに形態素解析を適用することにより得られた文章の単語列のうち内容語の単語列が抽出される。図７は、単語列の抽出結果の一例を示す図である。図７には、図６に示された文書Ｄ１～文書Ｄ１０ごとに単語列の抽出結果が示されている。例えば、図７に示すように、文書Ｄ１～文書Ｄ１０の文章に対応する単語列から、機能語が除外される他、日付や日時等の特定の表現がストップワードとして除外された結果、内容語の単語列が抽出されている。
【0069】
このような文書Ｄ１～文書Ｄ１０の内容語の単語列から、文書Ｄ１～文書Ｄ１０の全ての文書の辞書が生成される。例えば、「監視」、「ＡＰサーバ」、「ＤＢサーバ」、「障害」、「エラー」、「発生」、「VEO000481436」及び「VEO000481437」などの単語を含む辞書が生成される。
【0070】
その上で、文書Ｄ１～文書Ｄ１０ごとに、辞書の配列のうち単語列に含まれる単語の数値に「１」を割り当てる一方で、単語列に含まれない単語の数値に「０」を割り当てることで、Bag of wordsが生成される。
【0071】
例えば、文書Ｄ１及び文書Ｄ２を例に挙げれば、｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝といったベクトルが得られる。また、文書Ｄ３を例に挙げれば、｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝といったベクトルが得られる。さらに、文書Ｄ４及び文書Ｄ５を例に挙げれば、｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝といったベクトルが得られる。また、文書Ｄ６を例に挙げれば、｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝といったベクトルが得られる。さらに、文書Ｄ７及び文書Ｄ８を例に挙げれば、｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝といったベクトルが得られる。また、文書Ｄ９及び文書Ｄ１０を例に挙げれば、｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝といったベクトルが得られる。
【0072】
このような事前処理により得られた文書Ｄ１～文書Ｄ１０の８次元のベクトルが距離計量モデルへ入力され得る。以下、文書Ｄ１～文書Ｄ１０のベクトルの各々を区別せずに総称できる場合、文書Ｄ１～文書Ｄ１０のベクトルのことを「文書ベクトル」と記載する場合がある。
【0073】
ラベルデータ１４Ｂは、クラスタのペアに設定されるラベルに関するデータである。
【0074】
例えば、ラベルデータ１４Ｂは、クライアント端末３０からラベルの設定を受け付けることにより生成され得る。あくまで一例として、図８に示すラベル設定画面２００を介してラベルの設定を受け付けることができる。図８は、ラベル設定画面２００の一例を示す図である。図８には、文書Ｄ１～文書Ｄ１０のベクトルを再学習前の距離計量モデルへ入力することに得られた埋め込みベクトルのクラスタリング結果がラベル設定画面２００に表示されている。例えば、図８に示すように、ラベル設定画面２００には、クラスタＣ１～Ｃ４が表示されている。このうち、クラスタＣ１には、文書Ｄ１～Ｄ３が含まれる。さらに、クラスタＣ２には、文書Ｄ４～Ｄ６が含まれる。さらに、クラスタＣ３には、文書Ｄ７及びＤ８が含まれる。さらに、クラスタＣ４には、文書Ｄ９及びＤ１０が含まれる。これらクラスタＣ１～Ｃ４の表示と共に、ラベル設定画面２００には、クラスタ内の文書間の埋め込みベクトルの距離が表示される。
【0075】
このようなラベル設定画面２００上でクラスタのペアに類似のラベルを付与する操作を受け付ける。あくまで一例として、マウス等のポインティングデバイスが入力装置として用いられる場合、ドラッグ＆ドロップの操作により文書のペアに類似のラベルを設定することができる。例えば、図８に示す例で言えば、ラベル設定画面２００には、クラスタＣ１に属する文書Ｄ１をドラッグしてクラスタＣ２に属する文書Ｄ４へドロップすることで、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定される例が示されている。
【0076】
このようにしてクラスタのペアに設定されるラベルがラベルデータ１４Ｂとして保存される。なお、ここでは、指定が行われた文書のペアをクラスタのペアとみなしてラベルを設定する例を挙げたが、必ずしもクラスタのペアとみなさずともよく、文書のペアにラベルを設定することもできる。また、ここでは、ラベル設定の一例として、類似のラベルの設定を受け付ける例を挙げたが、当然のことながら非類似のラベルの設定を受け付けることもできる。さらに、ここでは、ユーザ操作によりラベルの設定を受け付ける例を挙げたが、ネットワークＮＷを介してラベルの設定を取得することもできれば、リムーバブルディスク等を含む内部または外部のストレージからラベルの設定を取得することとしてもかまわない。
【0077】
制御部１５は、サーバ装置１０の全体制御を行う機能部である。
【0078】
一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
【0079】
制御部１５は、上記の学習支援プログラムを実行することにより、図示しない主記憶装置として実装されるＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭのワークエリア上に図１に示す処理部を仮想的に実現する。なお、ここでは、上記の学習支援機能がモジュール化された学習支援プログラムが実行される例を挙げるが、サーバ装置１０上で動作するプログラムはこれに限定されない。例えば、上記の分類プログラムに学習支援プログラムがパッケージ化されたパッケージソフトウェアが実行されることとしてもかまわない。
【0080】
例えば、制御部１５は、図１に示すように、受付部１５Ａと、第１算出部１５Ｂと、学習部１５Ｃと、第２算出部１５Ｄと、第３算出部１５Ｅと、検出部１５Ｆとを有する。
【0081】
受付部１５Ａは、再学習のリクエストを受け付ける処理部である。
【0082】
一実施形態として、受付部１５Ａは、クライアント端末３０から図８に示されたラベル設定画面２００に配置された再学習ボタン２００Ａの押下操作を受け付けることにより、ｆｉｎｅ－ｔｕｎｅ等の再学習のリクエストを受け付ける。そして、受付部１５Ａは、再学習のリクエストが受け付けられた場合、記憶部１３から第１モデルデータ１３Ｍ１及び学習データ１４を読み出す。
【0083】
第１算出部１５Ｂは、再学習前の埋め込みベクトルを算出する処理部である。
【0084】
一実施形態として、第１算出部１５Ｂは、再学習前の距離計量モデルを用いて学習データ１４の各クラスタの代表の埋め込みベクトルを算出する第１の距離計量処理を行う。例えば、第１算出部１５Ｂは、記憶部１３から読み出された第１モデルデータ１３Ｍ１にしたがって図示しないメモリのワークエリア上に展開された再学習前の距離計量モデルへ学習データ１４の各サンプルのベクトルを入力する。これによって、再学習前の距離計量モデルから埋め込みベクトルが出力される。
【0085】
より具体的には、クラスタＣ１～Ｃ４ごとにクラスタの代表とするサンプルである文書ベクトルが再学習前の距離計量モデルの入力層へ入力される。ここで、距離計量モデルの入力層は文書Ｄ１～文書Ｄ１０の単語数「８」とし、出力層は２とする。さらに、学習データの各クラスタＣ１～Ｃ４の代表とするサンプルの各々を文書Ｄ１、文書Ｄ４、文書Ｄ７、文書Ｄ９とする。例えば、クラスタＣ１の場合、文書Ｄ１のベクトル｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝が再学習前の距離計量モデルの入力層へ入力される。この結果、再学習前の距離計量モデルの出力層は、文書Ｄ１の再学習前の埋め込みベクトル［－５，－５］を出力する。同様に、文書Ｄ４のベクトルが再学習前の距離計量モデルへ入力されることにより文書Ｄ４の再学習前の埋め込みベクトル［－５，５］が得られる。同様に、文書Ｄ７のベクトルが再学習前の距離計量モデルへ入力されることにより文書Ｄ７の再学習前の埋め込みベクトル［５，３］が得られる。同様に、文書Ｄ９のベクトルが再学習前の距離計量モデルへ入力されることにより文書Ｄ４の再学習前の埋め込みベクトル［５，－３］が得られる。
【0086】
上記の第１の距離計量処理におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0087】
ｉｎｐｕｔ：
D1，D2＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D3＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D4，D5＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D3＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D7，D8＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D9，D10＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D1，D2＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D3＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D4，D5＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D3＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：０，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D7，D8＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D9，D10＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
【0088】
ｏｕｔｐｕｔ：“＝”は再学習前の距離計量モデルでの生成を意味する
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
【0089】
図９は、埋め込みベクトルの一例を示す図である。図９には、再学習前の距離計量モデルにより埋め込まれるクラスタＣ１～Ｃ４の代表とする文書Ｄ１、文書Ｄ４、文書Ｄ７及び文書Ｄ９の埋め込みベクトルがマッピングされている。図９に示すように、再学習前には、クラスタＣ１の代表とする文書Ｄ１が［－５，－５］に埋め込まれると共に、クラスタＣ２の代表とする文書Ｄ４が［－５，５］に埋め込まれる。さらに、クラスタＣ３の代表とする文書Ｄ７が［５，３］に埋め込まれると共に、クラスタＣ４の代表とする文書Ｄ９が［５，－３］に埋め込まれる。
【0090】
学習部１５Ｃは、学習済みの距離計量モデルの再学習を行う処理部である。
【0091】
一実施形態として、学習部１５Ｃは、学習データ１４を用いて、第１モデルデータ１３Ｍ１により定義された距離計量モデルの距離計量学習、すなわち再学習を行う。例えば、学習部１５Ｃは、文書Ｄ１～Ｄ１０のうち２つを組み合わせて得られる文書のペアごとに次のような処理を行う。すなわち、学習部１５Ｃは、文書のペアに設定された類似又は非類似のラベルに基づいて類似ペアの距離を近付ける一方で非類似ペアの距離を遠ざけるＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋのパラメータを再学習する。ここでは、あくまで一例として、学習部１５Ｃは、クラスタＣ１及びクラスタＣ２のペアに設定された類似のラベルをＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋのパラメータの更新に用いることとする。このようにクラスタのペアにラベルが設定されている場合、各クラスタに属する全ての文書間の組合せに同一のラベル、すなわち類似のラベルが設定されているとみなして再学習が行われる。すなわち、上記の組合せには、文書Ｄ１及び文書Ｄ４のペア、文書Ｄ１及び文書Ｄ５のペア、文書Ｄ１及び文書Ｄ６のペアが含まれ得る。さらに、上記の組合せには、文書Ｄ２及び文書Ｄ４のペア、文書Ｄ２及び文書Ｄ５のペア、文書Ｄ２及び文書Ｄ６のペアが含まれ得る。さらに、上記の組合せには、文書Ｄ３及び文書Ｄ４のペア、文書Ｄ３及び文書Ｄ５のペア、文書Ｄ３及び文書Ｄ６のペアが含まれ得る。
【0092】
ここで、学習部１５Ｃは、所要エポック数、例えばロス関数の値が収束するエポック数やテストデータの正解率が一定値に達するエポック数まで学習データ１４を用いた再学習を繰り返すとは限らない。すなわち、学習部１５Ｃは、所要エポック数よりも少ない再学習過程のエポック数、例えば１エポックの再学習を行う。
【0093】
上記の距離計量学習処理におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0094】
ｉｎｐｕｔ：
学習済みのＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋ
エポック回数：１回
学習データ：
類似ペア：（Ｄ１，Ｄ４），（Ｄ１，Ｄ５），（Ｄ１，Ｄ６），（Ｄ２，Ｄ４），（Ｄ２，Ｄ５），（Ｄ２，Ｄ６），（Ｄ３，Ｄ４），（Ｄ３，Ｄ５），（Ｄ３，Ｄ６）
学習済みのＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋ
エポック回数：１回
学習データ：
類似ペア：（Ｄ１，Ｄ４），（Ｄ１，Ｄ５），（Ｄ１，Ｄ６），（Ｄ２，Ｄ４），（Ｄ２，Ｄ５），（Ｄ２，Ｄ６），（Ｄ３，Ｄ４），（Ｄ３，Ｄ５），（Ｄ３，Ｄ６）
【0095】
ｏｕｔｐｕｔ：
再学習過程のＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋ
再学習過程のＳｉａｍｅｓｅ Ｎｅｔｗｏｒｋ
【0096】
このように学習部１５Ｃの再学習により得られた再学習過程の距離計量モデルのパラメータ等が第２モデルデータ１３Ｍ２として制御部１５が参照するメモリのワークエリアに格納される。なお、ここでは、第２モデルデータ１３Ｍ２が制御部１５により参照されるメモリに格納される例を挙げたが、当然のことながら、任意のストレージ、例えば記憶部１３が有する記憶領域に保存することとしてもかまわない。
【0097】
第２算出部１５Ｄは、再学習過程の埋め込みベクトルを算出する処理部である。
【0098】
一実施形態として、第２算出部１５Ｄは、再学習過程の距離計量モデルを用いて学習データ１４の各クラスタの代表の埋め込みベクトルを算出する第２の距離計量処理を行う。例えば、第２算出部１５Ｄは、上記の第２モデルデータ１３Ｍ２にしたがって図示しないメモリのワークエリア上に展開された再学習過程の距離計量モデルへ学習データ１４の各サンプルのベクトルを入力する。これによって、再学習過程の距離計量モデルから埋め込みベクトルが出力される。
【0099】
より具体的には、クラスタＣ１～Ｃ４ごとにクラスタの代表とするサンプルである文書ベクトルが再学習過程の距離計量モデルの入力層へ入力される。ここで、あくまで一例として、再学習前および再学習過程の間では、距離計量モデルのパラメータは異なれども層構造は共通することとする。例えば、クラスタＣ１の場合、文書Ｄ１のベクトル｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝が再学習過程の距離計量モデルの入力層へ入力される。この結果、再学習過程の距離計量モデルの出力層は、文書Ｄ１の再学習過程の埋め込みベクトル［－５，－４］を出力する。同様に、文書Ｄ４のベクトルが再学習過程の距離計量モデルへ入力されることにより文書Ｄ４の再学習過程の埋め込みベクトル［－５，４］が得られる。同様に、文書Ｄ７のベクトルが再学習過程の距離計量モデルへ入力されることにより文書Ｄ７の再学習過程の埋め込みベクトル［５，２］が得られる。同様に、文書Ｄ９のベクトルが再学習過程の距離計量モデルへ入力されることにより文書Ｄ４の再学習過程の埋め込みベクトル［５，－２］が得られる。
【0100】
上記の第２の距離計量処理におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0101】
ｉｎｐｕｔ：
D1＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D4＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D7＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D9＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D1＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D4＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：１，VEO000481437：０｝
D7＝｛監視：１，ＡＰサーバ：１，ＤＢサーバ：０，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
D9＝｛監視：１，ＡＰサーバ：０，ＤＢサーバ：１，障害：１，エラー：１，発生：１，VEO000481436：０，VEO000481437：１｝
【0102】
ｏｕｔｐｕｔ：
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
【0103】
図１０は、埋め込みベクトルの一例を示す図である。図１０には、再学習前の距離計量モデルにより埋め込まれるクラスタＣ１～Ｃ４の代表とする文書Ｄ１、文書Ｄ４、文書Ｄ７及び文書Ｄ９の埋め込みベクトルが黒丸でマッピングされている。さらに、図１０には、再学習過程の距離計量モデルにより埋め込まれるクラスタＣ１～Ｃ４の代表とする文書Ｄ１、文書Ｄ４、文書Ｄ７及び文書Ｄ９の埋め込みベクトルが白丸でマッピングされている。図１０に示すように、クラスタＣ１の代表とする文書Ｄ１は、再学習前には［－５，－５］に埋め込まれている一方で、再学習過程では［－５，－４］に埋め込まれている。さらに、クラスタＣ２の代表とする文書Ｄ４は、再学習前には［－５，５］に埋め込まれている一方で、再学習過程では［－５，４］に埋め込まれている。さらに、クラスタＣ３の代表とする文書Ｄ７は、再学習前には［５，３］に埋め込まれている一方で、再学習過程では［５，２］に埋め込まれている。さらに、クラスタＣ４の代表とする文書Ｄ９は、再学習前には［５，－３］に埋め込まれている一方で、再学習過程では［５，－２］に埋め込まれている。
【0104】
第３算出部１５Ｅは、再学習前および再学習過程の間でクラスタ間の移動パラメータを算出する処理部である。
【0105】
１つの側面として、第３算出部１５Ｅは、再学習過程のクラスタ代表の埋め込みベクトルから再学習前のクラスタ代表の埋め込みベクトルを減算する計算により、クラスタの移動方向を算出する。このようにクラスタの移動方向を算出する場合におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0106】
ｉｎｐｕｔ：
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
【0107】
ｏｕｔｐｕｔ：
D1_delta＝[0，1]
D4_delta＝[0，-1]
D7_delta＝[0，-1]
D9_delta＝[0，1]
D1_delta＝[0，1]
D4_delta＝[0，-1]
D7_delta＝[0，-1]
D9_delta＝[0，1]
【0108】
上記のクラスタの移動方向に基づいて、第３算出部１５Ｅは、クラスタ間の進行角度の大きさを算出する。このようにクラスタ間の進行角度を算出する場合におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0109】
ｉｎｐｕｔ：
D1_delta＝[0，1]
D4_delta＝[0，-1]
D7_delta＝[0，-1]
D9_delta＝[0，1]
D1_delta＝[0，1]
D4_delta＝[0，-1]
D7_delta＝[0，-1]
D9_delta＝[0，1]
【0110】
ｏｕｔｐｕｔ：
クラスタＣ１代表の文書Ｄ１とクラスタＣ２代表の文書Ｄ４とのペアに関して
１－｜Ｃｏｓ（D1_delta，D4_delta）｜＝０
クラスタＣ１代表の文書Ｄ１とクラスタＣ３代表の文書Ｄ７とのペアに関して
１－｜Ｃｏｓ（D1_delta，D7_delta）｜＝０
クラスタＣ１代表の文書Ｄ１とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D1_delta，D9_delta）｜＝０
クラスタＣ２代表の文書Ｄ４とクラスタＣ３代表の文書Ｄ７とのペアに関して
１－｜Ｃｏｓ（D4_delta，D7_delta）｜＝０
クラスタＣ２代表の文書Ｄ４とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D4_delta，D9_delta）｜＝０
クラスタＣ３代表の文書Ｄ７とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D7_delta，D9_delta）｜＝０
クラスタＣ１代表の文書Ｄ１とクラスタＣ２代表の文書Ｄ４とのペアに関して
１－｜Ｃｏｓ（D1_delta，D4_delta）｜＝０
クラスタＣ１代表の文書Ｄ１とクラスタＣ３代表の文書Ｄ７とのペアに関して
１－｜Ｃｏｓ（D1_delta，D7_delta）｜＝０
クラスタＣ１代表の文書Ｄ１とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D1_delta，D9_delta）｜＝０
クラスタＣ２代表の文書Ｄ４とクラスタＣ３代表の文書Ｄ７とのペアに関して
１－｜Ｃｏｓ（D4_delta，D7_delta）｜＝０
クラスタＣ２代表の文書Ｄ４とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D4_delta，D9_delta）｜＝０
クラスタＣ３代表の文書Ｄ７とクラスタＣ４代表の文書Ｄ９とのペアに関して
１－｜Ｃｏｓ（D7_delta，D9_delta）｜＝０
【0111】
他の側面として、第３算出部１５Ｅは、再学習過程のクラスタ代表の埋め込みベクトル及び再学習前のクラスタ代表の埋め込みベクトルに基づいてクラスタ間の距離の変化量を算出する。あくまで一例として、再学習前及び再学習過程の変化量は、再学習過程におけるクラスタ間の距離を再学習前のクラスタ間の距離で除算する計算により求めることができる。このようにクラスタ間の距離の変化量を算出する場合におけるｉｎｐｕｔとｏｕｔｐｕｔは、次の通りとなる。
【0112】
ｉｎｐｕｔ：
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
D1_before_fine_tune＝[-5，-5]
D4_before_fine_tune＝[-5，5]
D7_before_fine_tune＝[5，3]
D9_before_fine_tune＝[5，-3]
D1_process_of_fine_tune＝[-5，-4]
D4_process_of_fine_tune＝[-5，4]
D7_process_of_fine_tune＝[5，2]
D9_process_of_fine_tune＝[5，-2]
【0113】
ｏｕｔｐｕｔ：
クラスタＣ１代表の文書Ｄ１とクラスタＣ２代表の文書Ｄ４とのペアに関して
after_distance（D1，D4）／before_distance（D1，D4）＝8／10＝0.8
クラスタＣ１代表の文書Ｄ１とクラスタＣ３代表の文書Ｄ７とのペアに関して
after_distance（D1，D7）／before_distance（D1，D7）＝√136／√164≒0.91
クラスタＣ１代表の文書Ｄ１とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D1，D9）／before_distance（D1，D9）＝√104／√104＝1
クラスタＣ２代表の文書Ｄ４とクラスタＣ３代表の文書Ｄ７とのペアに関して
after_distance（D4，D7）／before_distance（D2，D7）＝√104／√104＝1
クラスタＣ２代表の文書Ｄ４とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D4，D9）／before_distance（D4，D9）＝√136／√164≒0.91
クラスタＣ３代表の文書Ｄ７とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D7，D9）／before_distance（D7，D9）＝4／6≒0.67
クラスタＣ１代表の文書Ｄ１とクラスタＣ２代表の文書Ｄ４とのペアに関して
after_distance（D1，D4）／before_distance（D1，D4）＝8／10＝0.8
クラスタＣ１代表の文書Ｄ１とクラスタＣ３代表の文書Ｄ７とのペアに関して
after_distance（D1，D7）／before_distance（D1，D7）＝√136／√164≒0.91
クラスタＣ１代表の文書Ｄ１とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D1，D9）／before_distance（D1，D9）＝√104／√104＝1
クラスタＣ２代表の文書Ｄ４とクラスタＣ３代表の文書Ｄ７とのペアに関して
after_distance（D4，D7）／before_distance（D2，D7）＝√104／√104＝1
クラスタＣ２代表の文書Ｄ４とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D4，D9）／before_distance（D4，D9）＝√136／√164≒0.91
クラスタＣ３代表の文書Ｄ７とクラスタＣ４代表の文書Ｄ９とのペアに関して
after_distance（D7，D9）／before_distance（D7，D9）＝4／6≒0.67
【0114】
上記の“before_distance”は、再学習過程におけるクラスタ間の距離を指し、また、上記の“after_distance”は、再学習過程におけるクラスタ間の距離を指す。あくまで一例を挙げれば、“before_distance（D1，D4）”は、再学習前におけるクラスタＣ１及びクラスタＣ２間の距離（＝１０）を指す。また、“after_distance（D1，D4）”は、図１０に示すように、再学習過程におけるクラスタＣ１及びクラスタＣ２間の距離（＝８）を指す。
【0115】
検出部１５Ｆは、再学習後に統合され得るクラスタのペアを検出する処理部である。以下、再学習後に統合され得るクラスタのペアのことを「統合クラスタペア」と記載する場合がある。なお、検出部１５Ｆは、出力部の一例に対応し得る。
【0116】
一実施形態として、検出部１５Ｆは、第３算出部１５Ｅにより算出されるクラスタ間の進行角度の大きさ及び第３算出部１５Ｅにより算出されるクラスタ間の距離の変化量のうち少なくとも１つもしくは組合せに基づいて統合クラスタペアを検出する。
【0117】
あくまで一例として、検出部１５Ｆは、クラスタ間の進行角度の大きさ及びクラスタ間の距離の変化量のＡＮＤ条件で統合クラスタペアを検出することができる。例えば、検出部１５Ｆは、クラスタ間の進行角度の大きさが所定の閾値ε１未満であり、かつクラスタ間の距離の変化量が所定の閾値ε２未満であるクラスタのペアを統合クラスタペアとして検出する。ここで、ε１を０．０１とし、ε２を０．９としたとき、クラスタＣ１及びクラスタＣ２ペアと、クラスタＣ３及びクラスタＣ４のペアとが統合クラスタペアとして検出される。また、ε１を０．０１とし、ε２を０．９５としたとき、クラスタＣ１及びクラスタＣ２ペアと、クラスタＣ１及びクラスタＣ３ペアと、クラスタＣ２及びクラスタＣ４ペアと、クラスタＣ３及びクラスタＣ４のペアとが統合クラスタペアとして検出される。
【0118】
さらに、検出部１５Ｆは、モデルの設計者の意図通りに統合されるクラスタのペアを除外する側面から、統合クラスタペアとして検出されたクラスタのペアのうち、類似のラベルが設定されたクラスタのペアを問合せの対象から除外する。例えば、図８に示すラベル設定画面２００の例で言えば、ラベルデータ１４Ｂには、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定されているので、クラスタＣ１及びクラスタＣ２ペアが除外されてクラスタＣ３及びクラスタＣ４のペアが抽出される。
【0119】
このように問合せ対象として検出された統合クラスタペアは、所定の出力先、例えばクライアント端末３０に出力させることができる。図１１は、問合せ画面の一例を示す図である。図１１には、あくまで一例として、問合せ対象として検出された統合クラスタペアを含む問合せ画面４００をラベル設定画面２００の前面にポップアップ表示される例が示されている。図１１に示すように、問合せ画面４００には、再学習後にクラスタＣ３及びクラスタＣ４のペアが統合する可能性があることを警告するメッセージが表示される他、継続ボタン４００Ａと、中断ボタン４００Ｂとが表示される。例えば、継続ボタン４００Ａに対する操作を受け付けた場合、再学習過程で再学習を中断せずに、所要のエポック数まで上記のラベルデータ１４Ｂの設定のまま再学習が学習部１５Ｃにより継続される。一方、中断ボタン４００Ｂに対する操作を受け付けた場合、再学習過程で再学習を中断することができる。このような中断に加えて、ラベル設定画面上でラベルを再設定させることもできる。
【0120】
図１２は、ラベル設定画面の一例を示す図である。図１２には、図１１に示す問合せ画面４００の中断ボタン４００Ｂが操作された後に表示されるラベル設定画面２１０が示されている。図１２に示すラベル設定画面２１０上で文書のペアを関連付ける操作を介して類似または非類似のラベルの再設定を受け付けることができる。例えば、図１２に示すラベル設定画面２１０の例で言えば、クラスタＣ３に属する文書Ｄ７をドラッグしてクラスタＣ４に属する文書Ｄ９へドロップすることで、クラスタＣ３及びクラスタＣ４のペアに非類似のラベルが設定される例が示されている。このようにしてクラスタのペアに再設定されたラベルがラベルデータ１４Ｂに上書き保存される。その後、学習ボタン２１０Ａに対する操作を受け付けた場合、再設定が行われたラベルに基づいて学習部１５Ｃに再学習を実行させることができる。なお、キャンセルボタン２１０Ｂに対する操作を受け付けた場合、再学習がキャンセルされる。
【0121】
１つの側面として、類似のラベルが設定されていない統合クラスタペアを出力することで、次のような振る舞いを期待することができる。
【0122】
すなわち、図８に示すラベル設定画面２００では、クラスタＣ１及びクラスタＣ２を統合することを意図して、クラスタＣ１及びクラスタＣ２のペアに類似のラベルが設定される例が示されている。このようなラベル設定によって、文書Ｄ１～Ｄ３に出現する単語「ＡＰサーバ」および文書Ｄ４～Ｄ６に出現する単語「ＤＢサーバ」のクラスタ形成における重要性が薄れる。これに伴って、“VEO000481436”や“VEO000481437”の重要性が距離空間への埋め込みを行う上で高まる。これらのことから、クラスタＣ１及びクラスタＣ２のペアへのラベル設定によってクラスタＣ１及びクラスタＣ２のペアの統合が発生する可能性が高まる。
【0123】
このようにクラスタＣ１及びクラスタＣ２のペアの統合が発生する局面で類似のラベルが設定されていない統合クラスタペアが出力されることで、モデルの設計者が意図しないクラスタの統合の適否、例えば再学習の中止やラベルの再設定などの問合せを実現する。これによって、モデルの設計者が意図しないクラスタの統合を抑制することが可能である。さらに、クラスタＣ３及びクラスタＣ４のペアに対する非類似のラベルの設定等の再設定を受け付けることで、モデルの設計者が意図する通りの再学習を行うことが可能である。
【0124】
なお、ここでは、クラスタＣ３及びクラスタＣ４のペアに対する非類似のラベルの設定が手動で受け付けられる例を挙げたが、類似のラベルが設定されていない統合クラスタペアに非類似のラベルを設定するレコメンドを自動的に出力することとしてもかまわない。
【0125】
［７． 処理の流れ］
図１３は、実施例１に係る学習支援処理の手順を示すフローチャートである。この処理は、あくまで一例として、再学習のリクエストが受け付けられた場合等に開始される。図４に示すように、受付部１５Ａは、記憶部１３から第１モデルデータ１３Ｍ１及び学習データ１４を読み出す（ステップＳ１０１）。
図１３は、実施例１に係る学習支援処理の手順を示すフローチャートである。この処理は、あくまで一例として、再学習のリクエストが受け付けられた場合等に開始される。図４に示すように、受付部１５Ａは、記憶部１３から第１モデルデータ１３Ｍ１及び学習データ１４を読み出す（ステップＳ１０１）。
【0126】
続いて、第１算出部１５Ｂは、第１モデルデータ１３Ｍ１に定義された再学習前の距離計量モデルを用いて学習データ１４の各クラスタの代表の埋め込みベクトルを算出する第１の距離計量処理を行う（ステップＳ１０２Ａ）。ステップＳ１０２Ａで算出された再学習前のクラスタ代表の埋め込みベクトルは、第１算出部１５Ｂから第３算出部１５Ｅへ出力される（ステップＳ１０３Ａ）。
【0127】
上記のステップＳ１０２Ａ及び上記のステップＳ１０３Ａと並行して、下記のステップＳ１０２Ｂから下記のステップＳ１０５Ｂまでの処理が実行される。
【0128】
ステップＳ１０２Ｂでは、学習部１５Ｃは、学習データ１４を用いて、第１モデルデータ１３Ｍ１により定義された距離計量モデルの距離計量学習、すなわち再学習を行う。ここで、学習データ１４が再学習される回数は、所要エポック数よりも少ない再学習過程のエポック数が適用される。ステップＳ１０２Ｂの結果、再学習過程の距離計量モデルのパラメータ等が第２モデルデータ１３Ｍ２として学習部１５Ｃから第２算出部１５Ｄへ出力される（ステップＳ１０３Ｂ）。
【0129】
続いて、第２算出部１５Ｄは、第２モデルデータ１３Ｍ２に定義された再学習過程の距離計量モデルを用いて学習データ１４の各クラスタの代表の埋め込みベクトルを算出する第２の距離計量処理を行う（ステップＳ１０４Ｂ）。ステップＳ１０４Ｂで算出された再学習過程のクラスタ代表の埋め込みベクトルは、第２算出部１５Ｄから第３算出部１５Ｅへ出力される（ステップＳ１０５Ｂ）。
【0130】
その後、第３算出部１５Ｅは、再学習前のクラスタ代表の埋め込みベクトル及び再学習過程のクラスタ代表の埋め込みベクトルに基づいてクラスタ間の移動パラメータ、例えばクラスタ間の進行角度の大きさやクラスタ間の距離の変化量を算出する（ステップＳ１０６）。ステップＳ１０６で算出されたクラスタ間の移動パラメータは、第３算出部１５Ｅから検出部１５Ｆへ出力される（ステップＳ１０７）。
【0131】
そして、検出部１５Ｆは、クラスタ間の進行角度の大きさ及びクラスタ間の距離の変化量のうち少なくとも１つもしくは組合せに基づいて再学習後に統合され得るクラスタのペアを検出する（ステップＳ１０８）。ステップＳ１０８で検出されたクラスタのペアのうち類似のラベルが設定されていないクラスタのペアが所定の出力先、例えばクライアント端末３０等へ出力される（ステップＳ１０９）。
【0132】
［８． 効果の一側面］
上述してきたように、本実施例に係るサーバ装置１０は、再学習前および再学習過程の各時点で距離計量モデルが出力する埋め込みベクトルに基づいて互いが接近し、かつ類似のラベルが設定されていないクラスタのペアを検出する学習支援機能を提供する。したがって、本実施例に係るサーバ装置１０によれば、モデルの設計者が意図しないクラスタのペアの統合が抑制されるので、再学習後の距離計量モデルが悪影響を受けるのを抑制することが可能である。
上述してきたように、本実施例に係るサーバ装置１０は、再学習前および再学習過程の各時点で距離計量モデルが出力する埋め込みベクトルに基づいて互いが接近し、かつ類似のラベルが設定されていないクラスタのペアを検出する学習支援機能を提供する。したがって、本実施例に係るサーバ装置１０によれば、モデルの設計者が意図しないクラスタのペアの統合が抑制されるので、再学習後の距離計量モデルが悪影響を受けるのを抑制することが可能である。
【実施例2】
【0133】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【0134】
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅまたは検出部１５Ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅまたは検出部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅまたは検出部１５Ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅまたは検出部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。
【0135】
［学習支援プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、実施例１及び実施例２に係る学習支援プログラムを実行するコンピュータの一例について説明する。
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１４を用いて、実施例１及び実施例２に係る学習支援プログラムを実行するコンピュータの一例について説明する。
【0136】
図１４は、コンピュータのハードウェア構成例を示す図である。図１４に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
【0137】
ＨＤＤ１７０には、図１４に示すように、上記の実施例１で示した受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅ及び検出部１５Ｆと同様の機能を発揮する学習支援プログラム１７０ａが記憶される。この学習支援プログラム１７０ａは、図１に示した受付部１５Ａ、第１算出部１５Ｂ、学習部１５Ｃ、第２算出部１５Ｄ、第３算出部１５Ｅ及び検出部１５Ｆの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【0138】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から学習支援プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、学習支援プログラム１７０ａは、図１４に示すように、学習支援プロセス１８０ａとして機能する。この学習支援プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち学習支援プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、学習支援プロセス１８０ａが実行する処理の一例として、図１３に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【0139】
なお、上記の学習支援プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
【符号の説明】
【0140】
１ システム
１０ サーバ装置
１１ 通信インタフェイス
１３ 記憶部
１３Ｍ１ 第１モデルデータ
１４ 学習データ
１４Ａ 文書データ
１４Ｂ ラベルデータ
１５ 制御部
１５Ａ 受付部
１５Ｂ 第１算出部
１５Ｃ 学習部
１５Ｄ 第２算出部
１５Ｅ 第３算出部
１５Ｆ 検出部
３０ クライアント端末
１０ サーバ装置
１１ 通信インタフェイス
１３ 記憶部
１３Ｍ１ 第１モデルデータ
１４ 学習データ
１４Ａ 文書データ
１４Ｂ ラベルデータ
１５ 制御部
１５Ａ 受付部
１５Ｂ 第１算出部
１５Ｃ 学習部
１５Ｄ 第２算出部
１５Ｅ 第３算出部
１５Ｆ 検出部
３０ クライアント端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】