知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】機械学習プログラム、機械学習方法及び機械学習装置
(51)【国際特許分類】
G06N 20/00 20190101AFI20230620BHJP
G06N 5/022 20230101ALI20230620BHJP
G06F 16/90 20190101ALI20230620BHJP
【ＦＩ】
G06N20/00
G06N5/022
G06F16/90 100
【請求項の数】
9
(21)【出願番号】P 2022504825
(86)(22)【出願日】2020-03-03
(86)【国際出願番号】 JP2020008992
(87)【国際公開番号】W WO2021176572
(87)【国際公開日】2021-09-10
【審査請求日】2022-04-21
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】村上 勝彦
【審査官】多賀 実
(56)【参考文献】
【文献】特開２０１９－１６４６６９（ＪＰ，Ａ）
【文献】国際公開第２０１９／００５６０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
複数のエンティティ間の関係を示すグラフ構造に含まれる前記複数のエンティティを分類し、前記分類に応じて生成された第１のグループと第２のグループとの前記グラフ構造における接続部分に位置する第１のエンティティを特定し、
前記複数のエンティティ間の関係を示す複数の学習データのうち、前記第１のエンティティと他のエンティティとの関係を示す第１の学習データを他の学習データより優先して機械学習モデルに入力することによって、前記機械学習モデルの機械学習を実行する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
【請求項2】
前記複数のエンティティ間の相関行列から前記グラフ構造を生成する処理を前記コンピュータにさらに実行させ、前記分類する処理は、前記複数のエンティティ間の相関行列から生成された前記グラフ構造に含まれる前記複数のエンティティを分類する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項3】
前記複数のエンティティ間の相関行列は、前記複数の学習データが示す前記複数のエンティティ間の関係に基づいて生成される、ことを特徴とする請求項２に記載の機械学習プログラム。
【請求項4】
前記特定する処理は、前記第１のグループと前記第２のグループとを所定の上限値以内の連結数で接続するエッジの両端のノードに対応するエンティティを前記第１のエンティティとして特定する処理を含む、ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項5】
前記分類する処理は、前記複数のエンティティ間の複数種類の関係のうちいずれか１つの関係に基づいて実行される、ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項6】
前記分類する処理は、前記グラフ構造に含まれる前記複数のエンティティを関係の種類ごとに分類する処理を含み、前記特定する処理は、前記関係の種類ごとに生成されたグループの分類結果のうちモジュール性が最高であるグループの分類結果に基づいて実行される、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項7】
前記他の学習データは、前記第１のグループ内のエンティティ間の関係を示す第２の学習データと前記第２のグループ内のエンティティ間の関係を示す第３の学習データとを含み、前記実行する処理は、前記第２の学習データと前記第３の学習データとを前記機械学習モデルに並列に入力することによって、前記機械学習モデルの機械学習を実行する処理を含む、
ことを特徴とする請求項１に記載の機械学習プログラム。
【請求項8】
複数のエンティティ間の関係を示すグラフ構造に含まれる前記複数のエンティティを分類し、前記分類に応じて生成された第１のグループと第２のグループとの前記グラフ構造における接続部分に位置する第１のエンティティを特定し、
前記複数のエンティティ間の関係を示す複数の学習データのうち、前記第１のエンティティと他のエンティティとの関係を示す第１の学習データを他の学習データより優先して機械学習モデルに入力することによって、前記機械学習モデルの機械学習を実行する、
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項9】
複数のエンティティ間の関係を示すグラフ構造に含まれる前記複数のエンティティを分類し、前記分類に応じて生成された第１のグループと第２のグループとの前記グラフ構造における接続部分に位置する第１のエンティティを特定し、
前記複数のエンティティ間の関係を示す複数の学習データのうち、前記第１のエンティティと他のエンティティとの関係を示す第１の学習データを他の学習データより優先して機械学習モデルに入力することによって、前記機械学習モデルの機械学習を実行する、
処理を実行する制御部を含む機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習技術に関する。
【背景技術】
【0002】
知識グラフの埋め込み技術が知られている。例えば、知識グラフでは、知識は、「ｓ（主語）についてｒ（述語）の値（目的語）はｏである」といった３つ組、いわゆるトリプルで表現される。ｓおよびｏはエンティティ、ｒはリレーションと呼ばれることがある。これらのトリプル（ｓ，ｒ，ｏ）の要素各々を特徴量空間上のベクトルとして埋め込む変換が機械学習を実行することにより獲得される。このように機械学習で生成されるモデルは、一例として、未知の関係を有するトリプルを予測するリンク予測等の推論に利用される。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１２５３６４号公報
【文献】特表２０１６－５３２９４２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記の知識グラフの埋め込み技術では、全てのエンティティの間でモデルのパラメータの収束に与える影響が同一でないにもかかわらず、機械学習の実行時に全てのエンティティが同列に扱われる。それ故、一部のエンティティが一因となってモデルのパラメータの収束が長引くので、機械学習の処理遅延の原因となる。
【0005】
１つの側面では、本発明は、グラフ埋め込みに関する機械学習の高速化を実現できる機械学習プログラム、機械学習方法及び機械学習装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
一態様では、機械学習プログラムは、複数のエンティティ間の関係を示すグラフ構造に含まれる前記複数のエンティティを分類し、前記分類に応じて生成された第１のグループと第２のグループとの前記グラフ構造における接続部分に位置する第１のエンティティを特定し、前記複数のエンティティ間の関係を示す複数の学習データのうち、前記第１のエンティティと他のエンティティとの関係を示す第１の学習データを他の学習データより優先して機械学習モデルに入力することによって、前記機械学習モデルの機械学習を実行する、処理をコンピュータに実行させる。
【発明の効果】
【0007】
グラフ埋め込みに関する機械学習の高速化を実現できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に添付図面を参照して本願に係る機械学習プログラム、機械学習方法及び機械学習装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
【0010】
図１は、実施例１に係るサーバ装置１０の機能的構成の一例を示すブロック図である。図１には、実施例１に係る機械学習サービスが適用されるシステムのあくまで一例として、クライアントサーバシステム１が例示されている。図１に示すクライアントサーバシステム１は、１つの側面として、グラフ埋め込みに関する機械学習を実行する機械学習サービスを提供するものである。
【0011】
図１に示すように、クライアントサーバシステム１には、サーバ装置１０と、クライアント端末３０とが含まれ得る。これらサーバ装置１０及びクライアント端末３０は、ネットワークＮＷを介して通信可能に接続される。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってよい。
【0012】
サーバ装置１０は、上記の機械学習サービスを提供するコンピュータの一例である。サーバ装置１０は、機械学習装置の一例に対応し得る。一実施形態として、サーバ装置１０は、上記の機械学習サービスに対応する機能を実現する機械学習プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、サーバ装置１０は、上記の機械学習サービスをオンプレミスに提供するサーバとして実装することができる。この他、サーバ装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記の機械学習サービスをクラウドサービスとして提供してもよい。
【0013】
クライアント端末３０は、上記の機械学習サービスの提供を受けるコンピュータの一例である。例えば、クライアント端末３０には、パーソナルコンピュータなどのデスクトップ型のコンピュータなどが対応する。これはあくまで一例に過ぎず、クライアント端末３０は、ラップトップ型のコンピュータや携帯端末装置、ウェアラブル端末などの任意のコンピュータであってもよい。
【0014】
埋め込み対象とするグラフの一例として知識グラフを挙げる。例えば、知識グラフでは、知識は、「ｓ（主語）についてｒ（述語）の値（目的語）はｏである」といった３つ組、いわゆるトリプルで表現される。ｓおよびｏはエンティティ、ｒはリレーションと呼ばれることがある。これらのトリプル（ｓ，ｒ，ｏ）の要素各々を特徴量空間上のベクトルとして埋め込む変換が機械学習を実行することにより獲得される。このように機械学習で生成されるモデルは、一例として、未知の関係を有するトリプルを予測するリンク予測等の推論に利用できる。
【0015】
上記の背景技術の欄で説明した通り、上記の知識グラフの埋め込み技術では、全てのエンティティの間でモデルのパラメータの収束に与える影響が同一でないにもかかわらず、機械学習の実行時に全てのエンティティが同列に扱われる。それ故、一部のエンティティが一因となってモデルのパラメータの収束が長引くので、機械学習の高速化に限界がある。
【0016】
そこで、本実施例に係る機械学習サービスでは、１つの側面として、機械学習の実行時に扱うエンティティに優劣を付ける課題解決のアプローチを採用する。このようなアプローチは、エンティティ間の関係を示すグラフ構造のネットワークに現れるモジュール間の接続部分に位置するエンティティである否かにより、モデルのパラメータの収束に与える影響に違いが現れるという技術的視点があってはじめて採用し得る。
【0017】
すなわち、上記のネットワークは、下記に例示される通り、モジュール構造を有することが各種の研究結果として得られている。あくまで一例として、“Stack Overflow”で調査されたネットワークにおいて、モジュール性がしばしば見られる。ネットワークはいくつかのモジュールに分けられることがあり、特に、社会的なネットワークでは、モジュールはコミュニティと呼ばれることもある。他の一例として、下記の論文１からも明らかな通り、現実の代謝ネットワークにおいても、生化学的にまとまって分けて考えられる機能的モジュールが存在している。［論文１］Ravasz E, Somera AL, Mongru DA, Oltvai ZN, Barabasi AL.“Hierarchical organization of modularity in metabolic networks.” Science. 2002 Aug 30;297(5586):1551-5.
【0018】
さらに、ネットワークに現れるモジュールにおいて、モジュール性は、相関行列に現れる側面がある。下記の論文２の図３では、因子（タンパク質＝エンティティ）の発現相関がプロットされた例が示されている。［論文２］“Combined Metabolomic Analysis of Plasma and Urine Reveals AHBA, Tryptophan and Serotonin Metabolism as Potential Risk Factors in Gestational Diabetes Mellitus (GDM)”
【0019】
例えば、上記のネットワークは、エンティティ間の相関行列から生成することができる。ここでは、あくまで一例として、相関係数が所定の閾値、例えば０．７以上であるエンティティ間にリレーションがあるとみなし、エンティティがノードで表現されると共にリレーションがエッジで表現されたグラフ構造のネットワークを生成する例を挙げる。
【0020】
図２は、エンティティの相関プロットの一例を示す図である。図２には、あくまで一例として、ｅ１～ｅ９の９個のエンティティの組合せごとにエンティティ間の相関係数がその値に応じて区別されたハッチングで示されている。例えば、図２に示す例で言えば、ｅ１～ｅ９の各エンティティに対応するノードが生成される。さらに、白のハッチングで示されたエンティティの組に対応するノード間にエッジが生成される一方で、それ以外のハッチングで示されたエンティティの組に対応するノード間にはエッジが生成されない。これによって、グラフ構造を有するネットワーク（図３参照）が生成される。
【0021】
このようなネットワークは、上述の通り、複数のモジュールに分類することができる。あくまで一例として、ネットワークに含まれるノードにスペクトラルクラスタリングを適用することにより、ノードをモジュールに対応するクラスタに分類することができる。
【0022】
図３は、モジュールの一例を示す図である。図３には、図２に示すエンティティの相関プロットから生成されたネットワークデータが示されている。さらに、図３には、ネットワークデータに対するクラスタリングの結果として、２つのモジュール、すなわちｍｏｄｕｌｅ＿１及びｍｏｄｕｌｅ＿２が示されている。図３に示すように、ネットワークデータに対するノードの分類結果として、ｅ１～ｅ６の６つのエンティティＥ１を含むｍｏｄｕｌｅ＿１と、ｅ７～ｅ９の３つのエンティティＥ２を含むｍｏｄｕｌｅ＿２とが得られる。これらｍｏｄｕｌｅ＿１およびｍｏｄｕｌｅ＿２は、独立、すなわちＥ１∩Ｅ２＝空集合である。
Ｅｎｔｉｔｙ：ｅｉ∈Ｅ１（ｉ＝１，…，６）ｍｏｄｕｌｅ＿１
Ｅｎｔｉｔｙ：ｅｊ∈Ｅ２（ｊ＝７，８，９）ｍｏｄｕｌｅ＿２
Ｅｎｔｉｔｙ：ｅｉ∈Ｅ１（ｉ＝１，…，６）ｍｏｄｕｌｅ＿１
Ｅｎｔｉｔｙ：ｅｊ∈Ｅ２（ｊ＝７，８，９）ｍｏｄｕｌｅ＿２
【0023】
図３に示す例で言えば、２つの独立するｍｏｄｕｌｅ＿１及びｍｏｄｕｌｅ＿２間でグラフ構造の接続部分に位置するｅ８、ｅ１及びｅ２の３個のエンティティを「媒介的エンティティ」と識別する。一方で、媒介的エンティティ以外のｅ３～ｅ7及びｅ９のエンティティを「モジュール内エンティティ」と識別する。なお、媒介的エンティティは、第１のエンティティの一例に対応する。
【0024】
このような媒介的エンティティ及びモジュール内エンティティの識別がなされた状況の下、トリプル（ｓ，ｒ，ｏ）で表現される複数の学習データ（訓練データ）のうちトリプルのｓまたはｏの要素に媒介的エンティティが含まれるか否かにより、学習データを区別する。
【0025】
例えば、トリプルのｓまたはｏの要素に媒介的エンティティが含まれる学習データを「第１の学習データ」と識別される一方で、トリプルのｓまたはｏの要素に媒介的エンティティが含まれない学習データを「他の学習データ」と識別される。
【0026】
このような第１の学習データの例として、ｔ１（ｅ８，ｒ，ｅ１）やｔ２（ｅ８，ｒ，ｅ２）が挙げられる。これらｔ１やｔ２、つまりｅ８やｅ１、ｅ２に基づいてモデルのパラメータが更新される際、その影響は、Ｅ１およびＥ２のほぼ全てのエンティティに及ぶ。また、ｅ８やｅ１、ｅ２などの媒介的エンティティは含まれないが、Ｅ１やＥ２のモジュール内エンティティが含まれる他の学習データに基づいてモデルのパラメータが修正されると、それに合わせてｔ１やｔ２に基づくモデルのパラメータの修正が改めて必要となる。
【0027】
これらのことから、ｍｏｄｕｌｅ＿１及びｍｏｄｕｌｅ＿２内のエンティティに基づく学習（訓練）が収束してもなお、媒介的エンティティのトリプルｔ１及びｔ２のコストは下がらず、その学習の所要回数はモジュール内エンティティよりも多くなることが考えられる。
【0028】
より具体的には、モジュール内エンティティは、媒介的エンティティに比べて多数であることから、１エポックだけでも多数のトリプルでコストが計算されるので、それらのトリプルを同時に満たす埋め込みベクトルの学習が行われる。一方で、媒介的エンティティは、モジュール内エンティティに比べてトリプルが少数であるので、１エポックでコスト計算が行われる機会も少ない。これらのことから、媒介的エンティティを含むトリプルは、モデルのパラメータの収束に時間がかかるか、あるいはコストが大きいまま学習が終了される可能性が高い。
【0029】
以上のことから、本実施例に係る機械学習サービスは、媒介的エンティティをトリプルに含む第１の学習データの機械学習の実行順序またはモデルパラメータの変化率を媒介的エンティティをトリプルに含まない他の学習データよりも優先する。
【0030】
つまり、複数のモジュール間にまたがるグローバルな関係についての学習を先行させる。これによって、他のエンティティの埋め込みベクトルの表現に影響を与えるインフルエンサーの埋め込みベクトルの表現を先行して安定させる。その上で、１つのモジュールにクローズする局所的な関係についての学習を後続させる。インフルエンサー以外のエンティティ、例えばモジュール内エンティティは、独立性が高い。このため、他のモジュールのエンティティの埋め込みベクトルの表現の学習が行われても、モジュールのエンティティが受ける影響は小さい。それ故、インフルエンサーに対応する媒介的エンティティの埋め込みベクトルの表現が安定した状況下では、モジュールのエンティティの埋め込みベクトルの表現は微修正レベルの修正に抑えることが可能である。
【0031】
したがって、本実施例に係る機械学習サービスによれば、モデルのパラメータの収束を高速化できるので、グラフ埋め込みに関する機械学習の高速化を実現することが可能になる。
【0032】
次に、本実施例に係るサーバ装置１０の機能的構成について説明する。図１には、サーバ装置１０が有する機能に対応するブロックが模式化されている。図１に示すように、サーバ装置１０は、通信インタフェイス部１１と、記憶部１３と、制御部１５とを有する。なお、図１には、上記の機械学習サービスに関連する機能部が抜粋して示されているに過ぎず、図示以外の機能部、例えば既存のコンピュータがデフォルトまたはオプションで装備する機能部がサーバ装置１０に備わることを妨げない。
【0033】
通信インタフェイス部１１は、他の装置、例えばクライアント端末３０との間で通信制御を行う通信制御部の一例に対応する。
【0034】
あくまで一例として、通信インタフェイス部１１は、ＬＡＮカードなどのネットワークインターフェイスカードにより実現される。例えば、通信インタフェイス部１１は、クライアント端末３０から機械学習を実行するリクエストを受け付けたり、あるいは機械学習の結果として生成された機械学習モデルをクライアント端末３０へ出力したりする。
【0035】
記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記の機械学習プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
【0036】
一実施形態として、記憶部１３は、サーバ装置１０における補助記憶装置により実現される。例えば、ＨＤＤ（Hard Disk Drive）や光ディスク、ＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）などのフラッシュメモリも補助記憶装置に対応し得る。
【0037】
記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、相関データ１３Ａと、学習データ１３Ｌと、モデルデータ１３Ｍとを記憶する。これら相関データ１３Ａ、学習データ１３Ｌ及びモデルデータ１３Ｍ以外にも、記憶部１３は、学習済みのモデルのテストに用いるテストデータの他、上記の機械学習サービスの提供を受けるユーザのアカウント情報などの各種のデータを記憶することができる。
【0038】
相関データ１３Ａは、エンティティの相関を示すデータである。あくまで一例として、相関データ１３Ａには、エンティティの組合せごとにエンティティ間の相関係数が対応付けられたデータなどを採用できる。
【0039】
学習データ１３Ｌは、グラフ埋め込みに関する機械学習に用いるデータである。このような学習データ１３Ｌの一例として、記憶部１３には、トリプル（ｓ，ｒ，ｏ）で表現される複数の学習データが記憶される。
【0040】
モデルデータ１３Ｍは、機械学習モデルに関するデータである。例えば、機械学習モデルがニューラルネットワークである場合、モデルデータ１３Ｍには、モデルを形成する入力層、隠れ層及び出力層の各層のニューロンやシナプスなどのモデルの層構造を始め、各層の重みやバイアスなどのモデルのパラメータが含まれ得る。なお、モデル学習が実行される前の段階では、モデルのパラメータの一例として、乱数により初期設定されたパラメータが記憶される一方で、モデル学習が実行された後の段階では、学習済みのパラメータが保存される。
【0041】
制御部１５は、サーバ装置１０の全体制御を行う処理部である。一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実現される。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されてもよい。
【0042】
制御部１５は、図示しないメモリ、例えばＲＡＭ（Random Access Memory）のワークエリア上に、上記の機械学習プログラムを展開することにより、下記の処理部を仮想的に実現する。図１に示すように、制御部１５は、受付部１５Ａと、生成部１５Ｂと、分類部１５Ｃと、特定部１５Ｄと、実行部１５Ｆとを有する。
【0043】
受付部１５Ａは、上記の機械学習の実行リクエストを受け付ける処理部である。一実施形態として、受付部１５Ａは、上記の機械学習に用いるデータの一式、例えば相関データ１３Ａや学習データ１３Ｌ、モデルデータ１３Ｍの指定を受け付けることができる。このように機械学習に用いるデータセットの一部または全部は、必ずしも記憶部１３に記憶されたデータでなくてもよい。例えば、受付部１５Ａは、クライアント端末３０または図示しない外部装置、例えばファイルサーバ等に保存されたデータセットの一部または全部を受け付けることができる。そして、受付部１５Ａは、クライアント端末３０から指定を受け付けたデータの一式、例えば相関データ１３Ａや学習データ１３Ｌ、モデルデータ１３Ｍを記憶部１３から所定の記憶領域、例えば制御部１５が参照可能なワークエリアへ読み出す。
【0044】
生成部１５Ｂは、各エンティティ間の関係を示すグラフ構造を有するネットワークを生成する処理部である。一実施形態として、生成部１５Ｂは、相関データ１３Ａに含まれるエンティティ間の相関行列から生成することができる。例えば、生成部１５Ｂは、相関データ１３Ａに含まれるエンティティ間の相関行列のうち、相関係数が所定の閾値、例えば０．７以上であるエンティティ間にリレーションがあるとみなし、各エンティティをノードで示すと共にリレーションをエッジで示すグラフ構造のネットワークを生成する。図２に示す例で言えば、生成部１５Ｂは、ｅ１～ｅ９の各エンティティに対応するノードを生成する。さらに、生成部１５Ｂは、白のハッチングで示されたエンティティの組に対応するノード間にエッジを生成する一方で、それ以外のハッチングで示されたエンティティの組に対応するノード間にはエッジを生成しない。これによって、図３に示すように、グラフ構造を有するネットワークが生成される。
【0045】
分類部１５Ｃは、ネットワークに含まれるノードを複数のモジュールに分類する処理部である。ここで言う「モジュール」は、グループの一例に対応する。一実施形態として、分類部１５Ｃは、生成部１５Ｂにより生成されたネットワークに含まれるノードにスペクトラルクラスタリングを適用することにより、ノードをモジュールに対応するクラスタに分類することができる。このようにスペクトラルクラスタリングを適用する場合、分類部１５Ｃは、ネットワークに含まれる各エッジに付与する重みの設定にエッジの両端のノードに対応するエンティティ間の相関係数を類似度として用いることができる。例えば、図３に示すネットワークに含まれるｅ１～ｅ９の各エンティティに対応するノードがクラスタリングされた場合、ｅ１～ｅ６の６つのエンティティＥ１を含むｍｏｄｕｌｅ＿１と、ｅ７～ｅ９の３つのエンティティＥ２を含むｍｏｄｕｌｅ＿２とが得られる。これらｍｏｄｕｌｅ＿１およびｍｏｄｕｌｅ＿２は、独立、すなわちＥ１∩Ｅ２＝空集合である。
【0046】
なお、ここでは、２つのモジュール間で各エンティティが独立である場合を例示したが、必ずしも各エンティティは完全に独立でなくてもよい。例えば、Ｅ１∩Ｅ２＝ＥＳ、ただし｜ＥＳ｜≪｜Ｅ１｜かつ｜ＥＳ｜≪｜Ｅ２｜の条件を満たす場合、２つのモジュール間で重複するエンティティＥＳの存在を認めてもよい。
【0047】
特定部１５Ｄは、モジュール間でグラフ構造の接続部分に位置する第１のエンティティを特定する処理部である。ここで言う「モジュール」は、グループの一例に対応する。一実施形態として、特定部１５Ｄは、生成部１５Ｂにより生成されたネットワークから、分類部１５Ｃによるクラスタリングの分類に応じて生成されたモジュール間を接続するエッジを検索する。このような検索でヒットするエッジの両端のノードに対応するエンティティが媒介的エンティティとして特定される。例えば、図３に示す例で言えば、２つの独立するｍｏｄｕｌｅ＿１及びｍｏｄｕｌｅ＿２を接続するエッジ、すなわち図中の太線で示されたエッジが検索にヒットする。このように検索でヒットしたエッジの両端のノードに対応するｅ８、ｅ１及びｅ２の３個のエンティティが媒介的エンティティと識別される。
【0048】
ここで、複数のモジュール間は、必ずしも１つのエッジで接続されているとは限らない。図４は、モジュールの他の一例を示す図である。図４には、図３の例と異なるネットワークデータと共に、当該ネットワークデータに対するクラスタリングの結果として、エンティティＥｍを含むｍｏｄｕｌｅ＿ｍと、エンティティＥｍ＋１を含むｍｏｄｕｌｅ＿ｍ＋１とが示されている。図４に示す例で言えば、２つのｍｏｄｕｌｅ＿ｍ及びｍｏｄｕｌｅ＿ｍ＋１は、１つのエッジでは接続されていないので、媒介的エンティティの抽出が困難となる。
【0049】
このような場合に備えて、エッジの検索時にモジュール間を接続するエッジの連結数の上限を検索条件として設定することができる。例えば、連結数の上限を「２」としたとき、２つのｍｏｄｕｌｅ＿ｍ及びｍｏｄｕｌｅ＿ｍ＋１を２連結で接続するエッジ、すなわち図４に太線で示された２つのエッジが検索にヒットする。この結果、エッジの両端のノードに対応するｅ１１、ｅ１３及びｅ１５の３個のエンティティが媒介的エンティティと識別される。その一方で、２つのｍｏｄｕｌｅ＿ｍ及びｍｏｄｕｌｅ＿ｍ＋１を３連結で接続するエッジは検索にヒットしない。
【0050】
なお、ここでは、モジュール間を接続するエッジの連結数に上限を設定する例を挙げたが、連結数の初期値を「０」とし、所定数の媒介的エンティティが得られるか、あるいは連結数の上限に達するまで連結数をインクリメントしてモジュール間を接続するエッジを検索することもできる。
【0051】
このように特定部１５Ｄにより特定された媒介的エンティティが第１のエンティティ１５Ｅとして実行部１５Ｆが参照可能な記憶領域に保存される。
【0052】
実行部１５Ｆは、機械学習を実行する処理部である。一実施形態として、実行部１５Ｆは、媒介的エンティティをトリプルに含む第１の学習データの機械学習の実行順序またはモデルパラメータの変化率を、媒介的エンティティをトリプルに含まない他の学習データよりも優先する。
【0053】
以下、あくまで一例として、第１の学習データの機械学習の実行順序を優先する例を挙げる。この場合、実行部１５Ｆは、学習データ１３Ｌに含まれる学習データのうち、特定部１５Ｄにより特定された媒介的エンティティを含む第１の学習データを抽出する。その上で、実行部１５Ｆは、所定の終了条件を満たすまで、１エポックにつき、第１の学習データの数に対応する回数の分、下記の処理を繰り返す。すなわち、実行部１５Ｆは、モデルデータ１３Ｍにしたがって図示しないワークエリア上に展開されたモデルへ第１の学習データを入力する。これによって、モデルから第１の学習データのトリプルのスコアΦが出力される。
【0054】
ここで、グラフ埋め込みのモデルには、図５に示す各種のモデルを用いることができる。図５は、モデルの一例を示す図である。図５に示すモデルの例はいずれも、「偽」であるトリプルに対するスコアリング関数Φの計算値よりも、「真」であるトリプルに対するスコアリング関数Φの計算値が高くなるように設計されている。上から２個のモデルでは、Φはあらゆる実数値を取り得る。その一方で、下から２個のモデルでは、Φが常に負であるので、「真」であるトリプルに対するスコアリング関数Φの計算値は「０」に近く、「偽」であるトリプルに対するスコアリング関数Φの計算値は「０」から大きく離れた負の値になることが想定されたモデルである。図５示すモデルは、例えば、RESCALは論文３、DistMultは論文４、TransEは論文５、TransHは論文６に示されたものである。
[論文３]
Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. 2011. A three-way model for collective learning on multi-relational data. In Proceedings of the 28th International Conference on Machine Learning. pages 809－816
[論文４]
Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. 2015. Embedding entities and relations for learning and inference in knowledge bases. The 3rd International Conference on Learning Representations.
[論文５]
Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems. pages 2787－2795
[論文６]
Zhen Wang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. 2014. Knowledge graph embedding by trans-lating on hyperplanes. In The Twenty-eighth AAAI Conference on Artificial Intelligence. pages 1112－1119.
[論文３]
Maximilian Nickel, Volker Tresp, and Hans-Peter Kriegel. 2011. A three-way model for collective learning on multi-relational data. In Proceedings of the 28th International Conference on Machine Learning. pages 809－816
[論文４]
Bishan Yang, Wen-tau Yih, Xiaodong He, Jianfeng Gao, and Li Deng. 2015. Embedding entities and relations for learning and inference in knowledge bases. The 3rd International Conference on Learning Representations.
[論文５]
Antoine Bordes, Nicolas Usunier, Alberto Garcia-Duran, Jason Weston, and Oksana Yakhnenko. 2013. Translating embeddings for modeling multi-relational data. In Advances in Neural Information Processing Systems. pages 2787－2795
[論文６]
Zhen Wang, Jianwen Zhang, Jianlin Feng, and Zheng Chen. 2014. Knowledge graph embedding by trans-lating on hyperplanes. In The Twenty-eighth AAAI Conference on Artificial Intelligence. pages 1112－1119.
【0055】
その後、第１の学習データごとにトリプルのスコアΦが得られた場合、実行部１５Ｆは、モデルのパラメータを更新する。あくまで一例として、図５に示すモデルのうち「ＴｒａｎｓＥ」が用いられる場合、全トリプルのスコアΦを合計することによりコストを算出することができる。このように算出されたコストに基づいて、実行部１５Ｆは、対数尤度の最適化などのパラメータの計算を実行する。その上で、実行部１５Ｆは、モデルデータ１３Ｍに含まれるモデルのパラメータを計算により得られたパラメータに更新する。なお、モデルのパラメータの更新は、所定の終了条件を満たすまで繰り返される。例えば、上記の終了条件の一例として、規定のエポック数、例えば１０００回を設定するができる。他の一例として、ｎ回目およびｎ＋１回目の間のパラメータの更新量の差と、ｎ＋１回目およびｎ＋２回目の間のパラメータの更新量の差とから求まる変化率が所定の閾値ε未満になること、すなわちパラメータの収束を上記の終了条件に設定することもできる。
【0056】
このように第１の学習データの機械学習が終了した後、実行部１５Ｆは、学習データ１３Ｌに含まれる学習データのうち、特定部１５Ｄにより特定された媒介的エンティティを含まない他の学習データを抽出する。その上で、実行部１５Ｆは、所定の終了条件を満たすまで、１エポックにつき、他の学習データの数に対応する回数の分、下記の処理を繰り返す。すなわち、実行部１５Ｆは、第１の学習データの機械学習の終了後のモデルデータ１３Ｍにしたがって図示しないワークエリア上に展開されたモデルへ他の学習データを入力する。これによって、モデルから他の学習データのトリプルのスコアΦが出力される。
【0057】
その後、他の学習データごとにトリプルのスコアΦが得られた場合、実行部１５Ｆは、モデルのパラメータを更新する。あくまで一例として、図５に示すモデルのうち「ＴｒａｎｓＥ」が用いられる場合、全トリプルのスコアΦを合計することによりコストを算出することができる。このように算出されたコストに基づいて、実行部１５Ｆは、対数尤度の最適化などのパラメータの計算を実行する。その上で、実行部１５Ｆは、モデルデータ１３Ｍに含まれるモデルのパラメータを計算により得られたパラメータに更新する。なお、モデルのパラメータの更新は、上記の終了条件を満たすまで繰り返される。
【0058】
図６及び図７は、実施例１に係る機械学習処理の手順を示すフローチャート（１）及び（２）である。この処理は、あくまで一例として、クライアント端末３０等から機械学習の実行リクエストを受け付けた場合に開始することができる。
【0059】
図６に示すように、受付部１５Ａは、上記の機械学習の実行リクエスト時に指定を受け付けたデータの一式、例えば相関データ１３Ａや学習データ１３Ｌ、モデルデータ１３Ｍを記憶部１３から取得する（ステップＳ１０１）。
【0060】
続いて、生成部１５Ｂは、相関データ１３Ａに含まれるエンティティ間の相関行列に基づいて各エンティティ間の関係を示すグラフ構造を有するネットワークを生成する（ステップＳ１０２）。
【0061】
そして、分類部１５Ｃは、ステップＳ１０２で生成されたネットワークに含まれるノードにスペクトラルクラスタリングを適用することにより、ノードをモジュールに対応するクラスタに分類する（ステップＳ１０３）。
【0062】
続いて、特定部１５Ｄは、ステップＳ１０２で生成されたネットワークから、ステップＳ１０３によるクラスタリングの分類に応じて生成されたモジュール間でグラフ構造の接続部分に位置する媒介的エンティティを特定する（ステップＳ１０４）。
【0063】
その後、実行部１５Ｆは、学習データ１３Ｌに含まれる学習データのうち、ステップＳ１０４で特定された媒介的エンティティを含む第１の学習データを抽出する（ステップＳ１０５）。その上で、実行部１５Ｆは、所定の終了条件を満たすまで、下記のステップＳ１０６～下記のステップＳ１０８までの処理を繰り返す。さらに、実行部１５Ｆは、１エポックにつき、第１の学習データの数に対応する回数の分、下記のステップＳ１０６の処理を繰り返す。
【0064】
すなわち、実行部１５Ｆは、モデルデータ１３Ｍにしたがって図示しないワークエリア上に展開されたモデルへ第１の学習データを入力する（ステップＳ１０６）。これによって、モデルから第１の学習データのトリプルのスコアΦが出力される。
【0065】
その後、第１の学習データごとにトリプルのスコアΦが得られた場合、実行部１５Ｆは、全トリプルのスコアΦに基づいてコストを算出する（ステップＳ１０７）。このように算出されたコストに基づいて、実行部１５Ｆは、対数尤度の最適化などのパラメータの計算を実行した上で、モデルデータ１３Ｍに含まれるモデルのパラメータを計算により得られたパラメータに更新する（ステップＳ１０８）。
【0066】
そして、上記のステップＳ１０６～上記のステップＳ１０８が所定の終了条件を満たすまで実行されることにより第１の学習データの機械学習が終了した後、実行部１５Ｆは、次のような処理を実行する。すなわち、実行部１５Ｆは、図７に示すように、学習データ１３Ｌに含まれる学習データのうち、ステップＳ１０４で特定された媒介的エンティティを含まない他の学習データを抽出する（ステップＳ１０９）。
【0067】
その上で、実行部１５Ｆは、所定の終了条件を満たすまで、下記のステップＳ１１０～下記のステップＳ１１２までの処理を繰り返す。さらに、実行部１５Ｆは、１エポックにつき、他の学習データの数に対応する回数の分、下記のステップＳ１１０の処理を繰り返す。
【0068】
すなわち、実行部１５Ｆは、第１の学習データの機械学習の終了後のモデルデータ１３Ｍにしたがって図示しないワークエリア上に展開されたモデルへ他の学習データを入力する（ステップＳ１１０）。これによって、モデルから他の学習データのトリプルのスコアΦが出力される。
【0069】
そして、他の学習データごとにトリプルのスコアΦが得られた場合、実行部１５Ｆは、全トリプルのスコアΦに基づいてコストを算出する（ステップＳ１１１）。このように算出されたコストに基づいて、実行部１５Ｆは、対数尤度の最適化などのパラメータの計算を実行した上で、モデルデータ１３Ｍに含まれるモデルのパラメータを計算により得られたパラメータに更新する（ステップＳ１１２）。
【0070】
その後、上記のステップＳ１１０～上記のステップＳ１１２が所定の終了条件を満たすまで繰り返して実行された後、他の学習データの機械学習を終了し、全体の処理も終了する。
【0071】
上述してきたように、本実施例に係る機械学習サービスは、エンティティ間の関係を示すグラフ構造のネットワークに現れるモジュール間の接続部分に位置する媒介的エンティティをトリプルに含む学習データの機械学習を他の学習データの機械学習よりも優先する。したがって、本実施例に係る機械学習サービスによれば、モデルのパラメータの収束を高速化できるので、グラフ埋め込みに関する機械学習の高速化を実現することが可能になる。
【0072】
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
【0073】
上記の実施例１では、あくまで一例として、第１の学習データの機械学習の実行順序を優先する例を挙げたが、これに限定されない。例えば、実行部１５Ｆは、第１の学習データおよび他の学習データの機械学習をまとめて実行することもできる。この場合、実行部１５Ｆは、媒介的エンティティをトリプルに含む第１の学習データを用いてパラメータを更新する際、媒介的エンティティをトリプルに含まない他の学習データを用いてパラメータを更新する場合よりもパラメータの変化率を大きく変化させることとすればよい。
【0074】
上記の実施例１では、あくまで一例として、学習データ１３Ｌとは別に用意された相関データ１３Ａを用いてネットワークデータを生成する例を挙げたが、学習データ１３Ｌから相関データを生成することもできる。例えば、学習データ１３Ｌに含まれるエンティティの組合せごとに、当該組合せに対応するエンティティの組をｓ及びｏに含むトリプルが学習データ１３Ｌに存在する場合、すなわち当該組合せのリレーションが存在する場合に相関係数に「１」を設定する一方で、当該組合せに対応するエンティティの組をｓ及びｏに含むトリプルが学習データ１３Ｌに存在しない場合、すなわち当該組合せのリレーションが存在しない場合に相関係数に「０」を設定する。これによって、相関データを生成することができる。
【0075】
上記の実施例１では、ネットワークが有するグラフ構造の一例として、無向グラフを例示したが、有向グラフにも図６及び図７に示す機械学習処理を適用できる。例えば、トリプルデータに複数種類のリレーションが存在する場合、リレーションの種類ごとに生成されるネットワークの構造、ひいてはリレーションの種類ごとに分類されるモジュールの構造は各リレーションの間で一致しない。
【0076】
一例として、サーバ装置１０は、エンティティの組合せごとに、全てのリレーションの種類のうち少なくともいずれか１つの種類のリレーションが存在する場合に当該組合せに対応するノード間にエッジを生成する一方で、全てのリレーションの種類のいずれにもリレーションが存在しない場合に当該組合せに対応するノード間にエッジを禁止する。このようにして生成されたネットワークに含まれるノードをクラスタリングすることにより得られたモジュールから媒介的エンティティを特定することができる。
【0077】
他の一例として、サーバ装置１０は、リレーションの種類ごとにネットワークを生成し、ネットワークのクラスタリングをリレーションの種類ごとに実行する。その上で、サーバ装置１０は、リレーションの種類ごとにクラスタリングが行われた結果のうち、モジュール性が最高であるリレーションのクラスタリング結果として得られたモジュールに基づいて媒介的エンティティを特定することもできる。この場合、サーバ装置１０は、Newman Modularityなどにしたがって各リレーションのモジュール性の高低を評価することができる。
【0078】
上記の実施例１では、他の学習データの数の分、他の学習データの機械学習が順番に実行される例を挙げたが、これに限定されない。上述の通り、他の学習データには、モジュール内エンティティしか含まれず、モジュール内エンティティは異なるモジュール内のエンティティのベクトルの表現に与える影響は媒介的エンティティに比べて十分に少ない。例えば、他の学習データは、第１のグループ内のエンティティ間の関係を示す第２の学習データと第２のグループ内のエンティティ間の関係を示す第３の学習データとが含まれ得る。このことから、実行部１５Ｆは、第２の学習データと第３の学習データとを機械学習モデルに並列に入力することによって、機械学習モデルの機械学習を実行する。例えば、図３の例で言えば、ｍｏｄｕｌｅ＿１が第１のグループに対応すると共に、ｍｏｄｕｌｅ＿２が第２のグループに対応するとしたとき、第２の学習データには、ｅ８、ｅ１及びｅ２の媒介的エンティティを除く、ｅ３～ｅ６のエンティティ間の関係を示すトリプルが該当する。また、第３の学習データには、ｅ８、ｅ１及びｅ２の媒介的エンティティを除く、ｅ７及びｅ９のエンティティ間の関係を示すトリプルが該当する。これら第２の学習データおよび第３の学習データが機械学習モデルに並列に入力される。これによって、グラフ埋め込みに関する機械学習をさらに高速化できる。
【0079】
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１５Ａ、生成部１５Ｂ、分類部１５Ｃ、特定部１５Ｄまたは実行部１５Ｆをサーバ装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１５Ａ、生成部１５Ｂ、分類部１５Ｃ、特定部１５Ｄまたは実行部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のサーバ装置１０の機能を実現するようにしてもよい。
【0080】
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図８を用いて、上記の実施例１および本実施例と同様の機能を有する機械学習プログラムを実行するコンピュータの一例について説明する。
【0081】
図８は、コンピュータのハードウェア構成例を示す図である。図８に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０～１８０の各部はバス１４０を介して接続される。
【0082】
ＨＤＤ１７０には、図８に示すように、上記の実施例１で示した受付部１５Ａ、生成部１５Ｂ、分類部１５Ｃ、特定部１５Ｄ及び実行部１５Ｆと同様の機能を発揮する機械学習プログラム１７０ａが記憶される。この機械学習プログラム１７０ａは、図１に示した受付部１５Ａ、生成部１５Ｂ、分類部１５Ｃ、特定部１５Ｄ及び実行部１５Ｆの各構成要素と同様、統合又は分離してもよい。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
【0083】
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から機械学習プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、機械学習プログラム１７０ａは、図８に示すように、機械学習プロセス１８０ａとして機能する。この機械学習プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち機械学習プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、機械学習プロセス１８０ａが実行する処理の一例として、図６～図７に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
【0084】
なお、上記の機械学習プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されてなくてもよい。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に機械学習プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から機械学習プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに機械学習プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから機械学習プログラム１７０ａを取得して実行するようにしてもよい。
【符号の説明】
【0085】
１０ サーバ装置
１１ 通信インタフェイス部
１３ 記憶部
１３Ａ 相関データ
１３Ｌ 学習データ
１３Ｍ モデルデータ
１５ 制御部
１５Ａ 受付部
１５Ｂ 生成部
１５Ｃ 分類部
１５Ｄ 特定部
１５Ｆ 実行部
３０ クライアント端末
１１ 通信インタフェイス部
１３ 記憶部
１３Ａ 相関データ
１３Ｌ 学習データ
１３Ｍ モデルデータ
１５ 制御部
１５Ａ 受付部
１５Ｂ 生成部
１５Ｃ 分類部
１５Ｄ 特定部
１５Ｆ 実行部
３０ クライアント端末
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】