特許 7543903 ベクトル推定プログラム、ベクトル推定装置、及び、ベクトル推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-26

(45)【発行日】2024-09-03

(54)【発明の名称】ベクトル推定プログラム、ベクトル推定装置、及び、ベクトル推定方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240827BHJP

【ＦＩ】

G06N20/00 130

【請求項の数】 6

(21)【出願番号】P 2020216980

(22)【出願日】2020-12-25

(65)【公開番号】P2022102319

(43)【公開日】2022-07-07

【審査請求日】2023-09-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100092978

【弁理士】

【氏名又は名称】真田 有

(74)【代理人】

【識別番号】100189201

【弁理士】

【氏名又は名称】横田 功

(72)【発明者】

【氏名】吉川 和

【審査官】宮司 卓佳

(56)【参考文献】

【文献】国際公開第２０１９／１６００９７（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１２１３１４０３（ＣＮ，Ａ）

【文献】中国特許出願公開第１１０４５７４９１（ＣＮ，Ａ）

【文献】中国特許出願公開第１１１９４９７６４（ＣＮ，Ａ）

【文献】濱口拓男他，Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋを用いた未知エンティティの表現獲得について，情報処理学会 研究報告 音声言語情報処理（ＳＬＰ） ２０１７－ＳＬＰ－１１６ ［ｏｎｌｉｎｅ］ ，日本，情報処理学会，2017年05月08日，Vol.2017-SLP-116,No.20，p.1-p.8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、
処理をコンピュータに実行させる、ベクトル推定プログラム。

【請求項2】

前記第２モデルを生成する処理は、前記第２エンティティ情報に含まれる前記第１エンティティ群の情報を入力としたときに前記第２モデルから出力されるベクトルと、前記第１ベクトルとの間の距離が小さくなるように、前記第２モデルの機械学習を実行する、処理を含む、
請求項１に記載のベクトル推定プログラム。

【請求項3】

前記第２エンティティ情報に含まれる前記第１エンティティ群の情報は、前記第１エンティティ群の特徴量であり、
前記第２エンティティ情報に含まれる前記第２エンティティの情報は、前記第２エンティティの特徴量であり、
前記第２モデルを生成する処理は、前記第１エンティティ群と、前記第２エンティティとに共通する特徴量に基づき、前記第２ベクトルを推定するための前記第２モデルを生成する、処理を含む、
請求項１又は請求項２に記載のベクトル推定プログラム。

【請求項4】

前記第２ベクトルを推定する処理は、前記第２エンティティ情報に含まれる前記第２エンティティの情報を前記第２モデルに入力し、前記第２モデルの出力結果を前記第２ベクトルとして取得する、処理を含む、
請求項１～請求項３のいずれか１項に記載のベクトル推定プログラム。

【請求項5】

第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、制御部を備える、
ベクトル推定装置。

【請求項6】

第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、
処理をコンピュータが実行する、ベクトル推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ベクトル推定プログラム、ベクトル推定装置、及び、ベクトル推定方法に関する。

【背景技術】

【0002】

知識に基づく判断を行なうＡＩ（Artificial Intelligence）タスクが知られている。当該ＡＩタスクの活用例としては、例えば、未知の事実の尤もらしさを推定する知識補完及びリンク推定、対象となる事物の属するカテゴリを推定するエンティティ分類、並びに、知識検索に基づく質問応答等が挙げられる。

【0003】

知識は、例えば、知識グラフ（ＫＧ；Knowledge Graph（ナレッジグラフ））への知識の埋め込みにより表現されることがある。ＫＧは、様々な情報源から情報を収集した知識ベース（ＫＢ；Knowledge Base）の一例である。

【0004】

ＫＧは、複数の知識を表す複数のエンティティ（「エンティティ群」と称されてもよい）、例えば複数のノードと、複数のノードの間の関係、例えばエッジとを含むグラフ表現、換言すればグラフ構造データであってよい。

【0005】

知識を表現するためのＫＧ埋め込みは、ＫＧ上のエンティティを低次元のベクトルとして表現したものであり、「ＫＧ埋め込みベクトル」、「埋め込みベクトル」又は単に「ベクトル」と称されてもよい。ＫＧ埋め込みは、ＫＧの構造情報に基づき機械学習で獲得され、各種推定に利用されてよい。

【先行技術文献】

【特許文献】

【0006】

【文献】米国特許第１０，１５７，２２６号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

ＫＧは、新しい知識に基づき更新される。しかし、ＫＧの更新ごとに、ＫＧ埋め込みベクトルを得るためのＫＧ埋め込みモデルの機械学習を行なうことは非現実的である。また、ＫＧ埋め込みモデルは、グラフ全体の構造を考慮して機械学習が行なわれることが多く、グラフの部分的な再機械学習を行なうことが困難となる場合がある。

【0008】

１つの側面では、本発明は、第１エンティティ群の関係を示すグラフ構造データに基づきモデルを用いて生成されるベクトルから、第２エンティティに対応するベクトルを推定可能とすることを目的の１つとする。

【課題を解決するための手段】

【0009】

１つの側面では、ベクトル推定プログラムは、コンピュータに、以下の処理を実行させてよい。前記処理は、第１ベクトルと、第２エンティティ情報とを取得する処理を含んでよい。前記第１ベクトルは、第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成されてよい。前記第２エンティティ情報は、前記第１エンティティ情報の更新版であってよく、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する情報であってよい。また、前記処理は、前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成する処理を含んでよい。さらに、前記処理は、生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する処理を含んでよい。

【発明の効果】

【0010】

１つの側面では、本発明は、第１エンティティ群の関係を示すグラフ構造データに基づきモデルを用いて生成されるベクトルから、第２エンティティに対応するベクトルを推定可能とすることができる。

【図面の簡単な説明】

【0011】

【図1】第１の手法の一例を説明するための図である。

【図2】第１及び第２の手法の前提（ｂ）の一例を説明するための図である。

【図3】機械学習時に存在しないエンティティに対するベクトルの獲得が困難になる場合の一例を示す図である。

【図4】ＫＧの一例を示す図である。

【図5】一実施形態に係るサーバによる処理の一例を説明するための図である。

【図6】一実施形態に係るサーバの機能構成例を示すブロック図である。

【図7】ベクトル生成モデルのパラメータの一例を示す図である。

【図8】一実施形態に係るサーバの機械学習処理の動作例を説明するフローチャートである。

【図9】一実施形態に係るサーバのベクトル推定処理の動作例を説明するフローチャートである。

【図10】コンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

【0013】

〔１〕一実施形態
機械学習時に存在しないエンティティに対するベクトル獲得手法の一例として、周辺ノードの統合を行なう第１の手法が挙げられる。

【0014】

図１は、第１の手法の一例を説明するための図である。図１に示すように、コンピュータは、ＫＧ埋め込みモデルを機械学習する際に、既知の周辺ノード１００ａ～１００ｄのＫＧ埋め込みベクトルを統合して未知の目的ノード１００ｅのベクトルを算出する機構を含むモデルを機械学習する。

【0015】

第１の手法によれば、コンピュータは、目的ノード１００ｅのベクトルが当該モデルの機械学習時に存在しなくても、周辺ノード１００ａ～１００ｄのベクトルを統合することで目的ノード１００ｅのベクトルを算出することができる。第１の手法は、例えば、“Knowledge Transfer for Out-of-Knowledge-Base Entities: A Graph Neural Network Approach, Takuo Hamaguchi et al., IJCAI 2017”、及び、“Logic Attention Based Neighborhood Aggregation for Inductive Knowledge Graph Embedding, Peifeng Wang et al., AAAI 2019”の一方又は双方に記載の手法により実現されてもよい。

【0016】

また、機械学習時に存在しないエンティティに対するベクトル獲得手法の他の例として、モデル再機械学習を行なう第２の手法が挙げられる。

【0017】

第２の手法では、コンピュータは、ＫＧ埋め込みモデルをグラフの更新に合わせて再機械学習する。第２の手法は、例えば、“Enriching Translation-Based Knowledge Graph Embeddings Through Continual Learning, Hyun-Je Song et al., IEEE Access 2018, October 2018”に記載の手法により実現されてもよい。

【0018】

上述した第１及び第２の手法では、以下の（ａ）及び（ｂ）を前提としている。
（ａ）コンピュータは、ＫＧの更新に対応したモデルによる機械学習を行なう。換言すれば、コンピュータは、元の埋め込み機械学習の際にノードの統合を考慮したモデルを利用する。
（ｂ）コンピュータは、図２に例示するように、新規エンティティｅのベクトルｖｅを算出する際に、機械学習時の埋め込みモデル２００にアクセスできる。

【0019】

しかし、上述した第１及び第２の手法では、以下の（Ａ）又は（Ｂ）のケースにおいて、機械学習時に存在しないエンティティに対するベクトルの獲得が困難になる場合がある。

【0020】

（Ａ）上記（ａ）において、機械学習済みのＫＧ埋め込みモデルがＫＧの更新を考慮していない場合。
モデルとしては、例えば、TransE等の静的なグラフの埋め込みが用いられることが多い。従って、元のモデルが動的なグラフ更新に対応していない場合、当該元の埋め込みモデルが高品質であっても、未知エンティティへの拡張が困難となる場合がある。

【0021】

（Ｂ）図３に例示するように、新規エンティティｅのベクトルｖｅを算出する際に、機械学習時の埋め込みモデル２００にアクセスできない場合。
上記（Ｂ）の例としては、機械学習済みモデル２００ではなく、機械学習済みベクトル３００のみが配布されるケースが挙げられる。

【0022】

そこで、一実施形態に係るコンピュータは、既存グラフに対する埋め込みベクトル情報に基づいて、新規の埋め込みベクトルを推定するモデルを機械学習し、当該モデルを利用して新規の埋め込みベクトルを推定する。

【0023】

図４は、ＫＧ４００の一例を示す図である。図４に示すように、埋め込み機械学習済みの既知の知識４１０を表現するＫＧ４００において、ノード４１１（Ａ氏）の住所がノード４１２（東京都）、ノード４１１の所属がノード４１３（Ａ社）、ノード４１３の所在地がノード４１４（汐留）を示すものとする。また、ＫＧ４００において、住所を示すノード４１５（北海道）及び所属を示すノード４１６（Ｂ社）が存在し、ノード４１６の所在地がノード４１７（川崎）を示すものとする。

【0024】

例えば、一実施形態では、機械学習時に存在しなかったエンティティ（例えば未知の知識４２０であるノード４２１（Ｂ氏））に対する埋め込みベクトルを、ＫＧ４００全体の再機械学習を抑止しつつ算出する手法を説明する。これにより、未知の知識４２０について埋め込みベクトルを推定することができ、推定した埋め込みベクトルを、ＡＩタスクにおける種々の推論、例えば、知識補完及びリンク推定、エンティティ分類及び質疑応答等に利用することができる。

【0025】

〔１－１〕一実施形態に係るサーバの説明
図５は、一実施形態に係るサーバ１による処理の一例を説明するための図である。サーバ１は、情報処理装置又はコンピュータの一例である。図５に例示するように、一実施形態に係るサーバ１は、以下の（１）～（３）の処理を実行してよい。

【0026】

（１）サーバ１は、第１ベクトル１１と第２エンティティ情報１２とを取得してよい。

【0027】

第１ベクトル１１は、第１エンティティ群１１ａに関する第１エンティティ情報１１ｂに基づいて取得される第１エンティティ群の関係を示すグラフ構造データに基づき第１モデル１１ｃを用いて生成されてよい。例えば、第１ベクトル１１は、サーバ１が生成してもよいし、サーバ１の外部、例えばサーバ１とは異なるコンピュータから提供されてもよい。

【0028】

第２エンティティ情報１２は、第１エンティティ情報１１ｂの更新版のエンティティ情報であって、第１エンティティ群１１ａと第１エンティティ群１１ａには含まれない第２エンティティ１２ａとに関するエンティティ情報であってよい。

【0029】

（２）サーバ１は、第２エンティティ情報１２に含まれる第１エンティティ群の情報と、第１ベクトル１１と、に基づいて、第２エンティティ情報１２からベクトルデータを得るための第２モデル１３を生成する第２モデル生成処理Ｐ１を実行してよい。

【0030】

（３）サーバ１は、生成した第２モデル１３を用いて、第２エンティティに対応する第２ベクトル１４を推定する第２ベクトル推定処理Ｐ２を実行してよい。

【0031】

これにより、サーバ１は、第１エンティティ群１１ａの関係を示すグラフ構造データに基づき第１モデル１１ｃを用いて生成される第１ベクトル１１から、第２エンティティ１２ａに対応する第２ベクトル１４を推定可能とすることができる。

【0032】

〔１－２〕機能構成例
図６は、一実施形態に係るサーバ１の機能構成例を示すブロック図である。図６に示すように、サーバ１は、例示的に、メモリ部２、取得部３、機械学習部４、及び、ベクトル推定部５を備えてよい。取得部３、機械学習部４及びベクトル推定部５は、制御部の一例である。

【0033】

メモリ部２は、記憶領域の一例であり、サーバ１が利用する種々のデータを記憶する。図６に示すように、メモリ部２は、例示的に、既存エンティティ埋め込みベクトル２１、既存エンティティ入力情報２２、ベクトル生成モデル２３、新規エンティティ入力情報２４、及び、新規エンティティ埋め込みベクトル２５を記憶可能であってよい。

【0034】

取得部３は、既存エンティティ埋め込みベクトル２１、既存エンティティ入力情報２２、及び、新規エンティティ入力情報２４を取得し、メモリ部２に格納する。例えば、取得部３は、既存エンティティ群に関するエンティティ情報に基づいて取得されるエンティティ群の関係を示すグラフ構造データに基づき機械学習済みのＫＧ埋め込みモデルを用いて既存エンティティ埋め込みベクトル２１を取得してよい。既存エンティティ群は、図５に示す第１エンティティ群の一例である。

【0035】

既存エンティティ群に関するエンティティ情報は、例えば既存の知識であってよい。グラフ構造データは、例えば、既存の知識をＫＧによりグラフ表現したデータであってよい。既存エンティティ埋め込みベクトル２１は、例えば既存のＫＧに対する埋め込みベクトル情報であってよく、図５に示す第１ベクトル１１の一例である。また、機械学習済みのＫＧ埋め込みモデルは、図５に示す第１モデル１１ｃの一例である。

【0036】

なお、取得部３は、例えば、既存エンティティ埋め込みベクトル２１の生成に代えて、既存エンティティ埋め込みベクトル２１を、図示しないネットワークを介してサーバ１の外部（例えばコンピュータ）から受信し、メモリ部２に格納してもよい。

【0037】

既存エンティティ入力情報２２は、例えば、既存のＫＧ上のエンティティに対する特徴量であってよく、新規エンティティ入力情報２４は、例えば、新規（未知）エンティティ、換言すれば推定対象のエンティティに対する特徴量であってよい。推定対象の新規エンティティは、図５に示す第２エンティティ１２ａの一例である。また、既存エンティティ入力情報２２は、図５に示す第１エンティティ情報１１ｂの一例であり、既存エンティティ入力情報２２及び新規エンティティ入力情報２４は、図５に示す第２エンティティ情報１２の一例である。

【0038】

特徴量としては、例えば、ターゲットノード周辺のグラフ構造、一例として、既存の又は推定対象のエンティティのノード（エンティティノード）にリンク付けられたエンティティ（リンク先エンティティ）の情報を含んでもよい。また、特徴量としては、各エンティティノードに付加されるラベルのテキスト、ウェブページのタイトル及び／又はカテゴリ情報等が含まれてもよい。新規エンティティ入力情報２４としての特徴量は、機械学習済みのＫＧ埋め込みモデルで利用される特徴量とは異なってもよい。

【0039】

機械学習部４は、機械学習フェーズにおいて、既存エンティティ埋め込みベクトル２１と既存エンティティ入力情報２２とに基づいて、新規エンティティ埋め込みベクトル２５を推定するためのベクトル生成モデル２３を機械学習する機械学習処理を実行する。機械学習処理は、図５に示す第２モデル生成処理Ｐ１の一例である。ベクトル生成モデル２３は、図５に示す第２モデル１３の一例であり、新規エンティティ埋め込みベクトル２５は、図５に示す第２ベクトル１４の一例である。

【0040】

例えば、機械学習部４は、既存ＫＧ上のエンティティについて、既存エンティティ入力情報２２に含まれる特徴量から既存エンティティ埋め込みベクトル２１と近いベクトルを生成するようなベクトル生成モデル２３を機械学習してよい。

【0041】

以下の説明では、既存エンティティ入力情報２２は、ウェブページのページタイトル及びリンク先エンティティを含む特徴量である場合を想定する。

【0042】

図７は、ベクトル生成モデル２３のパラメータの一例を示す図である。図７に示すように、ベクトル生成モデル２３のパラメータは、例示的に、エンコーダ（encoder）２３ａ、複数（図７の例では３つ）のトランスフォーム（transform）２３ｂ、プーリング（pooling）２３ｃ及びデコーダ（decoder）２３ｄの処理層（レイヤ）を含んでよい。

【0043】

エンコーダ２３ａは、既存エンティティ入力情報２２の特徴量のうちのページタイトル（「タイトル」と表記）のテキストを入力とし、当該テキストをエンコードし、結果をデコーダ２３ｄに出力する。

【0044】

複数のトランスフォーム２３ｂは、リンク先エンティティ（「ｅ１」、「ｅ２」、「ｅ３」と表記）ごとに備えられ、複数のリンク先エンティティのそれぞれの情報の変換を行なう。

【0045】

プーリング２３ｃは、複数のトランスフォーム２３ｂからの出力に対する畳み込み処理を行なう。

【0046】

デコーダ２３ｄは、エンコーダ２３ａ及びプーリング２３ｃのそれぞれからの出力に基づき、推定ベクトルｖｅを出力する。推定ベクトルｖｅは、入力される既存エンティティの埋め込みベクトルの推定値の一例である。

【0047】

ベクトル生成モデル２３の各処理層の構成は、図７に例示する構成に限定されるものではなく、既存エンティティ入力情報２２の特徴量となるパラメータに応じて変更されてもよい。

【0048】

機械学習部４は、例えば、既存エンティティ埋め込みベクトル２１と、ベクトル生成モデル２３から出力される推定ベクトルｖｅとの間の距離Ｌが小さくなるように、ベクトル生成モデル２３の機械学習、例えばパラメータの更新を行なってよい。距離Ｌは、例えば、下記式（１）に基づき算出されてよい。

【数1】

【0049】

ここで、上記式（１）において、ｎは、学習データに含まれるエンティティの総数であり、ｅは、エンティティである。ｖｅは、ベクトル生成モデル２３から出力される推定ベクトルｖｅであり、ｖｅ＊は、既存エンティティ埋め込みベクトル２１である。

【0050】

一例として、機械学習部４は、機械学習指示の入力に応じて、既存エンティティ入力情報２２をニューラルネットワークに入力して出力を得る。そして、機械学習部４は、上記式（１）に従い、ニューラルネットワークの出力値と、既存エンティティ埋め込みベクトル２１との誤差が小さくなるようにパラメータを更新する。

【0051】

機械学習部４は、所定回数の機械学習を実行した場合、又は、誤差が所定値よりも小さくなった場合に機械学習を終了し、各種パラメータ等をベクトル生成モデル２３としてメモリ部２に記憶する。なお、機械学習方法は、誤差逆伝播法等の様々な手法を採用することができる。

【0052】

ベクトル推定部５は、機械学習部４によるベクトル生成モデル２３の機械学習後に、ベクトル推定指示の入力に応じて、推定フェーズにおけるベクトル推定処理を実行する。ベクトル推定処理は、図５に示す第２ベクトル推定処理Ｐ２の一例である。

【0053】

例えば、ベクトル推定部５は、機械学習済みのベクトル生成モデル２３に推定対象のエンティティに係る新規エンティティ入力情報２４を入力し、出力として新規エンティティ埋め込みベクトル２５を取得し、出力してよい。

【0054】

新規エンティティ埋め込みベクトル２５の出力としては、例えば、メモリ部２又は記憶装置等への格納、図示しないネットワークを介したサーバ１の外部への送信、モニタ等の出力装置への表示等が挙げられる。

【0055】

なお、ベクトル推定部５は、取得した新規エンティティ埋め込みベクトル２５を、既存エンティティ埋め込みベクトル２１とマージして管理してもよい。

【0056】

以上のように、一実施形態に係るサーバ１によれば、既存エンティティ群の関係を示すグラフ構造データに基づく機械学習済みのＫＧ埋め込みモデルの利用が制限された場合であっても、新規エンティティ埋め込みベクトル２５を推定することができる。

【0057】

また、サーバ１は、ベクトル生成モデル２３の訓練において、既存エンティティ群の関係を示すグラフ構造データに限られず、既存エンティティ入力情報２２として、種々の特徴量を利用することができる。

【0058】

さらに、サーバ１は、新規エンティティ埋め込みベクトル２５を取得するために、更新後のＫＧ全体を一から機械学習せずに済む。換言すれば、サーバ１は、機械学習済みのＫＧ埋め込みモデルの利用（再機械学習）に代えて既存エンティティ埋め込みベクトル２１を利用できるため、再機械学習を行なう場合と比較して、ベクトル生成モデル２３の機械学習が早期に収束することが期待できる。

【0059】

以上のように、サーバ１は、既存のＫＧ上のエンティティ（ノード）と、推定対象のエンティティとに共通する特徴量に基づき、新規エンティティ埋め込みベクトル２５を直接推定するようなベクトル生成モデル２３の訓練を行なう。これにより、新規エンティティ入力情報２４の入力としたベクトル生成モデル２３の出力結果を、推定対象のエンティティに係る埋め込みベクトルの代わりとして利用することが可能となる。従って、新規エンティティに係る埋め込みベクトルを効率的に算出（取得）することができる。

【0060】

〔１－３〕動作例
以下、上述したサーバ１の動作例を、フローチャートを参照しながら説明する。

【0061】

〔１－３－１〕機械学習処理
図８は、一実施形態に係るサーバ１の機械学習処理の動作例を説明するフローチャートである。

【0062】

図８に例示するように、サーバ１の取得部３は、既存エンティティ埋め込みベクトル２１及び既存エンティティ入力情報２２を取得し（ステップＳ１）、メモリ部２に格納する。例えば、取得部３は、既存エンティティ埋め込みベクトル２１を既存エンティティのＫＧ埋め込みモデルを利用して生成し、既存エンティティ埋め込みベクトル２１に対応する既存エンティティ入力情報２２を取得してもよい。或いは、取得部３は、オペレータ等が利用するコンピュータから図示しないネットワークを介して既存エンティティ埋め込みベクトル２１及び既存エンティティ入力情報２２を受信してもよい。

【0063】

機械学習部４は、例えば、取得部３又はオペレータ（コンピュータ）から機械学習指示が入力されると、メモリ部２を参照し、既存エンティティ埋め込みベクトル２１に基づき既存エンティティ入力情報２２を機械学習する（ステップＳ２）。機械学習部４は、例えば、所定回数の機械学習が実行された場合、又は、ニューラルネットワークの出力値と既存エンティティ埋め込みベクトル２１との誤差が所定値よりも小さくなった場合に機械学習を終了する。そして、機械学習部４は、各種パラメータ等をベクトル生成モデル２３としてメモリ部２に格納し（ステップＳ３）、処理が終了する。

【0064】

〔１－３－２〕ベクトル推定処理
図９は、一実施形態に係るサーバ１のベクトル推定処理の動作例を説明するフローチャートである。

【0065】

図９に例示するように、サーバ１の取得部３は、新規エンティティ入力情報２４を取得し（ステップＳ１１）、メモリ部２に格納する。例えば、取得部３は、オペレータ等が利用するコンピュータから図示しないネットワークを介して新規エンティティ入力情報２４を受信してもよい。

【0066】

ベクトル推定部５は、例えば、取得部３又はオペレータ（コンピュータ）からベクトル推定指示が入力されると、メモリ部２を参照し、機械学習済みのベクトル生成モデル２３に新規エンティティ入力情報２４を入力する。そして、ベクトル推定部５は、ベクトル生成モデル２３からの出力として新規エンティティ埋め込みベクトル２５を取得する（ステップＳ１２）。ベクトル推定部５は、新規エンティティ埋め込みベクトル２５を出力し（ステップＳ１３）、処理が終了する。

【0067】

〔１－４〕ハードウェア構成例
一実施形態に係るサーバ１は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、サーバ１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷ（Hardware）リソース及びＮＷ（Network）リソースを用いて実現されてもよい。

【0068】

図１０は、サーバ１の機能を実現するコンピュータ１０のハードウェア（ＨＷ）構成例を示すブロック図である。サーバ１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１０に例示するＨＷ構成を備えてよい。

【0069】

図１０に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、ＩＯ（Input / Output）部１０ｅ、及び読取部１０ｆを備えてよい。

【0070】

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。

【0071】

プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。

【0072】

メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

【0073】

記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

【0074】

また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（ベクトル推定プログラム）を格納してよい。

【0075】

例えば、サーバ１のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図６に例示するサーバ１（例えば取得部３、機械学習部４及びベクトル推定部５）としての機能を実現できる。また、図６に例示するメモリ部２は、メモリ１０ｂ及び記憶部１０ｃの少なくとも１つが有する記憶領域により実現されてよい。さらに、図６に例示するベクトル推定部５は、記憶装置の一例としてのメモリ１０ｂ及び記憶部１０ｃの少なくとも１つに新規エンティティ埋め込みベクトル２５を出力し格納してもよい。

【0076】

ＩＦ部１０ｄは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、サーバ１は、ＩＦ部１０ｄを介して、図示しないコンピュータと相互に通信可能に接続されてよい。図６に例示する取得部３の少なくとも一部の機能は、ＩＦ部１０ｄにより実現されてよい。また、例えば、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。

【0077】

ＩＯ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。例えば、図６に示すベクトル推定部５は、ＩＯ部１０ｅの出力装置に新規エンティティ埋め込みベクトル２５を出力し表示させてもよい。

【0078】

読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。

【0079】

記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

【0080】

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、サーバ１において、ＩＯ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。

【0081】

〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。

【0082】

例えば、図６に示すサーバ１が備える取得部３、機械学習部４及びベクトル推定部５は、併合してもよく、それぞれ分割してもよい。

【0083】

また、図６に示すサーバ１は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、取得部３はＷｅｂサーバ及びアプリケーションサーバ、機械学習部４及びベクトル推定部５はアプリケーションサーバ、メモリ部２はＤＢサーバ、等であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１としての各処理機能を実現してもよい。

【0084】

一実施形態に係る手法は、例えば、以下のような場面において利用されてもよい。

【0085】

（利用例１）
利用例１として、公開されている機械学習済みのＫＧ埋め込みベクトルを流用し、新規エンティティを含むデータに適用する場合が挙げられる。サーバ１は、機械学習済みのＫＧ埋め込みベクトルに対応するモデルが公開されていなくても、新規エンティティに対応するベクトルを推定することが可能である。

【0086】

（利用例２）
利用例２として、大規模なＫＧにおいて、静的なＫＧ埋め込みの機械学習を行ない運用する場合が挙げられる。この場合、ＫＧの更新の都度、ＫＧの再機械学習を行なうことはコスト面で困難である。サーバ１は、機械学習済みのＫＧ埋め込みベクトルの一部を用いて、一実施形態に係る手法を適用して未知ベクトルについてのベクトル生成モデル２３を訓練することで、ＫＧ全体の再機械学習のコストを削減することができる。また、既存モデルで機械学習済みのＫＧ埋め込みベクトルについては、当該既存モデル（元のモデル）による高品質なベクトルをそのまま利用できる。

【0087】

〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

【0088】

（付記１）
第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、
処理をコンピュータに実行させる、ベクトル推定プログラム。

【0089】

（付記２）
前記第２モデルを生成する処理は、前記第２エンティティ情報に含まれる前記第１エンティティ群の情報を入力としたときに前記第２モデルから出力されるベクトルと、前記第１ベクトルとの間の距離が小さくなるように、前記第２モデルの機械学習を実行する、処理を含む、
付記１に記載のベクトル推定プログラム。

【0090】

（付記３）
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報は、前記第１エンティティ群の特徴量であり、
前記第２エンティティ情報に含まれる前記第２エンティティの情報は、前記第２エンティティの特徴量であり、
前記第２モデルを生成する処理は、前記第１エンティティ群と、前記第２エンティティとに共通する特徴量に基づき、前記第２ベクトルを推定するための前記第２モデルを生成する、処理を含む、
付記１又は付記２に記載のベクトル推定プログラム。

【0091】

（付記４）
前記第２ベクトルを推定する処理は、前記第２エンティティ情報に含まれる前記第２エンティティの情報を前記第２モデルに入力し、前記第２モデルの出力結果を前記第２ベクトルとして取得する、処理を含む、
付記１～付記３のいずれか１項に記載のベクトル推定プログラム。

【0092】

（付記５）
第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、制御部を備える、
ベクトル推定装置。

【0093】

（付記６）
前記制御部は、前記第２モデルを生成する処理において、前記第２エンティティ情報に含まれる前記第１エンティティ群の情報を入力としたときに前記第２モデルから出力されるベクトルと、前記第１ベクトルとの間の距離が小さくなるように、前記第２モデルの機械学習を実行する、
付記５に記載のベクトル推定装置。

【0094】

（付記７）
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報は、前記第１エンティティ群の特徴量であり、
前記第２エンティティ情報に含まれる前記第２エンティティの情報は、前記第２エンティティの特徴量であり、
前記制御部は、前記第２モデルを生成する処理において、前記第１エンティティ群と、前記第２エンティティとに共通する特徴量に基づき、前記第２ベクトルを推定するための前記第２モデルを生成する、
付記５又は付記６に記載のベクトル推定装置。

【0095】

（付記８）
前記制御部は、前記第２ベクトルを推定する処理において、前記第２エンティティ情報に含まれる前記第２エンティティの情報を前記第２モデルに入力し、前記第２モデルの出力結果を前記第２ベクトルとして取得する、
付記５～付記７のいずれか１項に記載のベクトル推定装置。

【0096】

（付記９）
第１エンティティ群に関する第１エンティティ情報に基づいて取得される前記第１エンティティ群の関係を示すグラフ構造データに基づき第１モデルを用いて生成される第１ベクトルと、前記第１エンティティ情報の更新版の第２エンティティ情報であって、前記第１エンティティ群と前記第１エンティティ群には含まれない第２エンティティとに関する前記第２エンティティ情報と、を取得し、
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報と、前記第１ベクトルと、に基づいて、前記第２エンティティ情報からベクトルデータを得るための第２モデルを生成し、
生成した前記第２モデルを用いて、前記第２エンティティに対応する第２ベクトルを推定する、
処理をコンピュータが実行する、ベクトル推定方法。

【0097】

（付記１０）
前記第２モデルを生成する処理は、前記第２エンティティ情報に含まれる前記第１エンティティ群の情報を入力としたときに前記第２モデルから出力されるベクトルと、前記第１ベクトルとの間の距離が小さくなるように、前記第２モデルの機械学習を実行する、処理を含む、
付記９に記載のベクトル推定方法。

【0098】

（付記１１）
前記第２エンティティ情報に含まれる前記第１エンティティ群の情報は、前記第１エンティティ群の特徴量であり、
前記第２エンティティ情報に含まれる前記第２エンティティの情報は、前記第２エンティティの特徴量であり、
前記第２モデルを生成する処理は、前記第１エンティティ群と、前記第２エンティティとに共通する特徴量に基づき、前記第２ベクトルを推定するための前記第２モデルを生成する、処理を含む、
付記９又は付記１０に記載のベクトル推定方法。

【0099】

（付記１２）
前記第２ベクトルを推定する処理は、前記第２エンティティ情報に含まれる前記第２エンティティの情報を前記第２モデルに入力し、前記第２モデルの出力結果を前記第２ベクトルとして取得する、処理を含む、
付記９～付記１１のいずれか１項に記載のベクトル推定方法。

【符号の説明】

【0100】

１ サーバ
１０ コンピュータ
２ メモリ部
２１ 既存エンティティ埋め込みベクトル
２２ 既存エンティティ入力情報
２３ ベクトル生成モデル
２３ａ エンコーダ
２３ｂ トランスフォーム
２３ｃ プーリング
２３ｄ デコーダ
２４ 新規エンティティ入力情報
２５ 新規エンティティ埋め込みベクトル
３ 取得部
４ 機械学習部
５ ベクトル推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】