知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-12-05
(45)【発行日】2024-12-13
(54)【発明の名称】学習装置、学習方法、及び学習プログラム
(51)【国際特許分類】
G06N 5/02 20230101AFI20241206BHJP
G06N 3/0475 20230101ALI20241206BHJP
【ＦＩ】
G06N5/02
G06N3/0475
【請求項の数】
10
(21)【出願番号】P 2024530440
(86)(22)【出願日】2024-02-16
(86)【国際出願番号】 JP2024005618
【審査請求日】2024-05-22
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】風間 健太郎
【審査官】福西 章人
(56)【参考文献】
【文献】米国特許出願公開第２０２３／０１８６０３０（ＵＳ，Ａ１）
【文献】特表２０２２－５１７２９２（ＪＰ，Ａ）
【文献】ZHANG, Zhengyan et al.，ERNIE: Enhanced Language Representation with Informative Entities，arXiv [online]，2019年06月04日，pp.1-11，[検索日 2024.03.12]、インターネット:<URL:https://arxiv.org/pdf/1905.07129v3.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
Ｇ０６Ｆ １８／００－１８／４０
(57)【特許請求の範囲】
【請求項1】
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習部と、
前記対象要素に含まれている対象ラベル文字列に対応するテキストを文書データから成る文書データベースから検索することに用いられるクエリを生成する文字列生成部と、
生成されたクエリに基づいて前記文書データベースを検索することにより前記対象要素に対応するテキスト情報を取得する検索部と、
取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出部と
を備える学習装置であって、
前記埋込学習部は、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習装置。
【請求項2】
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習部と、
前記対象要素に含まれている対象ラベル文字列に対応するテキストを、入力されたテキストに対応する説明を出力する説明モデルに対して生成させることに用いられるプロンプトを生成する文字列生成部と、
生成されたプロンプトを前記説明モデルに入力して前記対象要素に対応するテキスト情報を取得する検索部と、
取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出部と
を備える学習装置であって、
前記埋込学習部は、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習装置。
【請求項3】
前記学習装置は、さらに、前記対象要素に対応するテキスト情報を文書データから成る文書データベースから取得する情報取得部と、
取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出部と
を備え、
前記埋込学習部は、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する請求項１又は２に記載の学習装置。
【請求項4】
前記埋込学習部は、前記対象要素に対応するテキスト情報が前記文書データベースに存在しない場合に、前記対象ベクトル表現を前記埋め込みベクトルとする請求項３に記載の学習装置。
【請求項5】
前記学習装置は、さらに、前記対象要素に含まれている対象ラベル文字列に対して正規化処理を施すことにより正規化済みラベル文字列を、前記対象要素に対応するテキスト情報として生成する文字列生成部と、
生成された正規化済みラベル文字列に対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出部と
を備え、
前記埋込学習部は、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する請求項１又は２に記載の学習装置。
【請求項6】
前記埋込学習部は、前記対象要素に対応するテキスト情報が前記文書データベースに存在する場合に、前記対象ベクトル表現と前記対象テキストベクトルとの間において次元数を一致させ、次元数を一致させた後における前記対象ベクトル表現と前記対象テキストベクトルとを結合することにより前記埋め込みベクトルを生成する請求項４に記載の学習装置。
【請求項7】
コンピュータが、知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習し、
前記コンピュータが、前記対象要素に含まれている対象ラベル文字列に対応するテキストを文書データから成る文書データベースから検索することに用いられるクエリを生成し、
前記コンピュータが、生成されたクエリに基づいて前記文書データベースを検索することにより前記対象要素に対応するテキスト情報を取得し、
前記コンピュータが、取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成し、
前記コンピュータが、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習方法。
【請求項8】
コンピュータが、知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習し、
前記コンピュータが、前記対象要素に含まれている対象ラベル文字列に対応するテキストを、入力されたテキストに対応する説明を出力する説明モデルに対して生成させることに用いられるプロンプトを生成し、
前記コンピュータが、生成されたプロンプトを前記説明モデルに入力して前記対象要素に対応するテキスト情報を取得し、
前記コンピュータが、取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成し、
前記コンピュータが、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習方法。
【請求項9】
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習処理と、
前記対象要素に含まれている対象ラベル文字列に対応するテキストを文書データから成る文書データベースから検索することに用いられるクエリを生成する文字列生成処理と、
生成されたクエリに基づいて前記文書データベースを検索することにより前記対象要素に対応するテキスト情報を取得する検索処理と、
取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出処理と
をコンピュータである学習装置に実行させる学習プログラムであって、
前記埋込学習処理では、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習プログラム。
【請求項10】
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習処理と、
前記対象要素に含まれている対象ラベル文字列に対応するテキストを、入力されたテキストに対応する説明を出力する説明モデルに対して生成させることに用いられるプロンプトを生成する文字列生成処理と、
生成されたプロンプトを前記説明モデルに入力して前記対象要素に対応するテキスト情報を取得する検索処理と、
取得されたテキストに対応する対象テキストベクトルを、言語モデルである対象言語モデルに基づいて生成する特徴抽出処理と
をコンピュータである学習装置に実行させる学習プログラムであって、
前記埋込学習処理では、前記対象ベクトル表現と、前記対象テキストベクトルとに基づいて前記埋め込みベクトルを生成する学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習装置、学習方法、及び学習プログラムに関する。
【背景技術】
【0002】
知識グラフは、現実世界の知識を計算機が読み取りやすい形で記述する一つの手段である。知識グラフにより表現された知識は、検索システム及び対話システムなど様々な用途に応用することが可能である。具体例として、顧客に対する商品の推薦システムに知識グラフが用いられている。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第６９５４０４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１は、エンティティ・リレーションをベクトル空間に埋め込む際に、外部データベースを検索して互いに等価が逆関係にあるリレーションを特定し、特定したリレーションに基づいてエンティティ・リレーションの組み合わせの数を増強させる技術を開示している。しかしながら、当該技術には、エンティティ・リレーションにテキストなどの補助情報が付随する場合に、テキストなどの補助情報を埋込表現の学習に用いることができないという課題がある。
本開示は、エンティティ・リレーションに対応するテキスト情報を活用することにより、知識グラフ埋め込みの表現力を向上させることを目的とする。
本開示は、エンティティ・リレーションに対応するテキスト情報を活用することにより、知識グラフ埋め込みの表現力を向上させることを目的とする。
【課題を解決するための手段】
【0005】
本開示に係る学習装置は、
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習部
を備える。
知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組みの各要素を対象要素としたとき、前記対象要素に対応する対象ベクトル表現と、前記対象要素に対応するテキスト情報とに基づいて前記対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて前記対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習部
を備える。
【発明の効果】
【0006】
本開示によれば、三つ組みの各要素を対象要素としたとき、埋込学習部が、対象要素に対応する対象ベクトル表現と、対象要素に対応するテキスト情報とに基づいて対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトルに基づいて知識グラフ埋め込み表現を学習する。ここで、三つ組みは、対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る。
従って、本開示によれば、エンティティ・リレーションに対応するテキスト情報を活用することにより、知識グラフ埋め込みの表現力を向上させることができる。
従って、本開示によれば、エンティティ・リレーションに対応するテキスト情報を活用することにより、知識グラフ埋め込みの表現力を向上させることができる。
【図面の簡単な説明】
【0007】
【図1】実施の形態１に係る情報処理システム９０の構成例を示す図。
【図2】実施の形態１に係る学習装置１００の構成例を示す図。
【図3】実施の形態１に係る三つ組みＤ１の具体例を示す図。
【図4】実施の形態１に係る三つ組みＤ１の具体例を示す図。
【図5】実施の形態１に係る学習装置１００のハードウェア構成例を示す図。
【図6】実施の形態１に係る学習装置１００の動作を示すフローチャート。
【図7】実施の形態１の変形例に係る学習装置１００のハードウェア構成例を示す図。
【図8】実施の形態２に係る情報処理システム９１の構成例を示す図。
【図9】実施の形態２に係る学習装置１０１の構成例を示す図。
【図10】実施の形態２に係る学習装置１０１の動作を示すフローチャート。
【図11】実施の形態３に係る情報処理システム９２の構成例を示す図。
【図12】実施の形態３に係る学習装置１０２の構成例を示す図。
【図13】実施の形態３に係る取得部１６０の処理を説明する図であり、（ａ）はクエリＤ９を生成する処理を説明する図、（ｂ）はプロンプトＤ１０を生成する処理を説明する図。
【図14】実施の形態３に係る学習装置１０２の動作を示すフローチャート。
【発明を実施するための形態】
【0008】
実施の形態の説明及び図面において、同じ要素及び対応する要素には同じ符号を付している。同じ符号が付された要素の説明は、適宜に省略又は簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。また、「部」を、「回路」、「工程」、「手順」、「処理」又は「サーキットリー」に適宜読み替えてもよい。
【0009】
実施の形態１．
以下、本実施の形態について、図面を参照しながら詳細に説明する。
以下、本実施の形態について、図面を参照しながら詳細に説明する。
【0010】
＊＊＊構成の説明＊＊＊
図１は、実施の形態１に係る情報処理システム９０の構成例を示している。情報処理システム９０は、学習装置１００と、三つ組みＤＢ２００と、文書ＤＢ３００と、言語モデル４００とを備える。ＤＢはデータベースの略記である。
情報処理システム９０は、知識グラフ埋め込み表現を学習する機能を有する。情報処理システム９０は、具体例として、論文の本文から当該論文の著者を見つけ出すような、リンク予測などの知識グラフ補完タスクに用いられてもよい。
後述するように、情報処理システム９０は、知識グラフ内のエンティティとリレーションとから成る三つ組みを用いて知識グラフ埋め込み表現を学習する。知識グラフ埋め込み表現の学習時に、三つ組み内の要素に対応するテキストが存在する場合に当該テキストが用いられる。情報処理システム９０により学習された知識グラフは、具体例として、商品若しくはサービスなどの推薦システム、検索システム、対話システム、質問応答システム、又は意思決定支援システムなどに用いられる。
図１は、実施の形態１に係る情報処理システム９０の構成例を示している。情報処理システム９０は、学習装置１００と、三つ組みＤＢ２００と、文書ＤＢ３００と、言語モデル４００とを備える。ＤＢはデータベースの略記である。
情報処理システム９０は、知識グラフ埋め込み表現を学習する機能を有する。情報処理システム９０は、具体例として、論文の本文から当該論文の著者を見つけ出すような、リンク予測などの知識グラフ補完タスクに用いられてもよい。
後述するように、情報処理システム９０は、知識グラフ内のエンティティとリレーションとから成る三つ組みを用いて知識グラフ埋め込み表現を学習する。知識グラフ埋め込み表現の学習時に、三つ組み内の要素に対応するテキストが存在する場合に当該テキストが用いられる。情報処理システム９０により学習された知識グラフは、具体例として、商品若しくはサービスなどの推薦システム、検索システム、対話システム、質問応答システム、又は意思決定支援システムなどに用いられる。
【0011】
図２は、実施の形態１に係る学習装置１００の構成例を示している。
学習装置１００は、データ受領部１１０と、取得部１２０と、訓練部１３０と、記憶部１４０とを備える。
学習装置１００は、データ受領部１１０と、取得部１２０と、訓練部１３０と、記憶部１４０とを備える。
【0012】
データ受領部１１０は、三つ組みＤＢ２００から三つ組みＤ１を受領し、受領した三つ組みＤ１内に含まれている任意の要素を要素Ｄ２として取得し、取得した要素Ｄ２のベクトル表現Ｄ３を取得する機能を有する。
三つ組みＤ１は、知識グラフに含まれている２つのエンティティに当たるヘッドｈ及びテールｔと、２つのエンティティに対応する１つのリレーションｒとの組み合わせを示すデータである。即ち、三つ組みＤ１は、知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る。三つ組みＤ１は、＜ｈ，ｒ，ｔ＞という形式で通常表される。
要素Ｄ２は、三つ組みＤ１に含まれている要素から選択された要素である。即ち、要素Ｄ２はｈとｒとｔとのいずれかを示す。
三つ組みＤ１及び要素Ｄ２の具体例について、図３及び図４を用いて説明する。
三つ組みＤ１は、知識グラフに含まれている２つのエンティティに当たるヘッドｈ及びテールｔと、２つのエンティティに対応する１つのリレーションｒとの組み合わせを示すデータである。即ち、三つ組みＤ１は、知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る。三つ組みＤ１は、＜ｈ，ｒ，ｔ＞という形式で通常表される。
要素Ｄ２は、三つ組みＤ１に含まれている要素から選択された要素である。即ち、要素Ｄ２はｈとｒとｔとのいずれかを示す。
三つ組みＤ１及び要素Ｄ２の具体例について、図３及び図４を用いて説明する。
【0013】
図３は、データ受領部１１０が受領する各三つ組みＤ１の一例を示している。
各三つ組みＤ１は、前述した通り、ヘッドｈとテールｔとリレーションｒとから成る。三つ組みＤ１において、ヘッドｈとテールｔとリレーションｒとの各々の要素を表すラベル文字列が格納されている。具体例として、＜Ｂｏｂ，ｉｓ＿ｂｏｒｎ＿ｏｎ，１４ Ｊｕｌｙ １９９０＞という三つ組みは、「Ｂｏｂは１９９０年７月１４日に誕生した」という事実を表す。
データ受領部１１０は、三つ組みＤ１の中から任意の要素を選択し、選択した要素を要素Ｄ２に格納する。即ち、前述の具体例に関して、要素Ｄ２に格納される値は、「Ｂｏｂ」と「ｉｓ＿ｂｏｒｎ＿ｏｎ」と「１４ Ｊｕｌｙ １９９０」とのいずれかである。
各三つ組みＤ１は、前述した通り、ヘッドｈとテールｔとリレーションｒとから成る。三つ組みＤ１において、ヘッドｈとテールｔとリレーションｒとの各々の要素を表すラベル文字列が格納されている。具体例として、＜Ｂｏｂ，ｉｓ＿ｂｏｒｎ＿ｏｎ，１４ Ｊｕｌｙ １９９０＞という三つ組みは、「Ｂｏｂは１９９０年７月１４日に誕生した」という事実を表す。
データ受領部１１０は、三つ組みＤ１の中から任意の要素を選択し、選択した要素を要素Ｄ２に格納する。即ち、前述の具体例に関して、要素Ｄ２に格納される値は、「Ｂｏｂ」と「ｉｓ＿ｂｏｒｎ＿ｏｎ」と「１４ Ｊｕｌｙ １９９０」とのいずれかである。
【0014】
図４は、データ受領部１１０が受領する三つ組みＤ１の別の具体例を示している。
三つ組みＤ１に含まれているヘッドｈとテールｔとリレーションｒとの各々に格納されている値は、必ずしも各要素を表すラベル文字列であるとは限らない。具体例として、Ｅ０００１など、ＩＤのような計算機内部において扱いやすいような形式に各要素が変換されている場合もある。このような場合において、データ受領部１１０には、三つ組みＤ１として、三つ組みを示す各ＩＤとともに、ＩＤとラベルとの対応表が入力される。このとき、データ受領部１１０は、入力された対応表を用いて各ＩＤをラベルに対応付けることにより、三つ組みの各要素をラベル文字列に復元する処理を実行する。
三つ組みＤ１に含まれているヘッドｈとテールｔとリレーションｒとの各々に格納されている値は、必ずしも各要素を表すラベル文字列であるとは限らない。具体例として、Ｅ０００１など、ＩＤのような計算機内部において扱いやすいような形式に各要素が変換されている場合もある。このような場合において、データ受領部１１０には、三つ組みＤ１として、三つ組みを示す各ＩＤとともに、ＩＤとラベルとの対応表が入力される。このとき、データ受領部１１０は、入力された対応表を用いて各ＩＤをラベルに対応付けることにより、三つ組みの各要素をラベル文字列に復元する処理を実行する。
【0015】
データ受領部１１０が取得するベクトル表現Ｄ３は、構造的なベクトル表現に当たり、要素Ｄ２に対応するベクトル表現に当たる。ベクトル表現Ｄ３は、要素Ｄ２を表す任意の次元の実数値ベクトルとして表される。
データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在するか否かを記憶部１４０に問い合わせる。データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在する場合に、存在するベクトル表現をベクトル表現Ｄ３とする。一方、データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在しない場合に、任意の初期化手法によって実数値ベクトルを生成し、生成した実数値ベクトルをベクトル表現Ｄ３とする。ここで、データ受領部１１０は、一様分布に従う乱数によって実数値ベクトルを生成してもよく、一様分布の代わりに正規分布を用いてもよい。ただし、初期化手法は本開示の本質的な特徴ではない。
データ受領部１１０は、要素Ｄ２を取得部１２０に出力し、ベクトル表現Ｄ３を訓練部１３０に出力する。
データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在するか否かを記憶部１４０に問い合わせる。データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在する場合に、存在するベクトル表現をベクトル表現Ｄ３とする。一方、データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在しない場合に、任意の初期化手法によって実数値ベクトルを生成し、生成した実数値ベクトルをベクトル表現Ｄ３とする。ここで、データ受領部１１０は、一様分布に従う乱数によって実数値ベクトルを生成してもよく、一様分布の代わりに正規分布を用いてもよい。ただし、初期化手法は本開示の本質的な特徴ではない。
データ受領部１１０は、要素Ｄ２を取得部１２０に出力し、ベクトル表現Ｄ３を訓練部１３０に出力する。
【0016】
取得部１２０は、データ受領部１１０から入力された要素Ｄ２に対応するテキストＤ４を文書ＤＢ３００から取得する機能を有する。取得部１２０は、要素Ｄ２に対応するテキスト情報が文書ＤＢ３００に存在するか否かを判定する機能を有してもよい。文書ＤＢ３００は、文書データから成るデータベースである。
要素Ｄ２に対応するテキストＤ４は、要素Ｄ２に対応するテキスト情報に当たり、具体例として、要素Ｄ２の説明に当たるテキスト、又は要素Ｄ２の補足情報に当たるテキストである。具体例として、要素Ｄ２が図３に示す「Ｔｈｅ Ｍｏｎａ Ｌｉｓａ」である場合、要素Ｄ２に対応するテキストＤ４は、モナリザがどのような絵画であるか説明するテキストである。なお、要素Ｄ２に対応するテキストＤ４が文書ＤＢ３００内に存在するとは限らない。要素Ｄ２に対応するテキストＤ４は、要素Ｄ２に付随するテキストであることもある。
実施の形態１において、取得部１２０は、情報取得部１２１を備える。
要素Ｄ２に対応するテキストＤ４は、要素Ｄ２に対応するテキスト情報に当たり、具体例として、要素Ｄ２の説明に当たるテキスト、又は要素Ｄ２の補足情報に当たるテキストである。具体例として、要素Ｄ２が図３に示す「Ｔｈｅ Ｍｏｎａ Ｌｉｓａ」である場合、要素Ｄ２に対応するテキストＤ４は、モナリザがどのような絵画であるか説明するテキストである。なお、要素Ｄ２に対応するテキストＤ４が文書ＤＢ３００内に存在するとは限らない。要素Ｄ２に対応するテキストＤ４は、要素Ｄ２に付随するテキストであることもある。
実施の形態１において、取得部１２０は、情報取得部１２１を備える。
【0017】
情報取得部１２１は、対象要素に対応するテキストＤ４を文書ＤＢ３００から取得する。対象要素は、三つ組みＤ１の各要素Ｄ２である。
具体例として、情報取得部１２１は、データ受領部１１０から入力された要素Ｄ２に対応するテキストＤ４を、文書ＤＢ３００から取得する。この際、要素Ｄ２に対応するテキストが文書ＤＢ３００内に存在しなかった場合、テキストＤ４にはテキストの代わりに、テキストが存在しないことを表す値が格納される。格納される値は、Ｎｕｌｌなどの特殊文字でもよい。ただし、格納される値は本開示の本質的な特徴ではない。
情報取得部１２１は、取得したテキストＤ４を特徴抽出部１３１に出力する。
具体例として、情報取得部１２１は、データ受領部１１０から入力された要素Ｄ２に対応するテキストＤ４を、文書ＤＢ３００から取得する。この際、要素Ｄ２に対応するテキストが文書ＤＢ３００内に存在しなかった場合、テキストＤ４にはテキストの代わりに、テキストが存在しないことを表す値が格納される。格納される値は、Ｎｕｌｌなどの特殊文字でもよい。ただし、格納される値は本開示の本質的な特徴ではない。
情報取得部１２１は、取得したテキストＤ４を特徴抽出部１３１に出力する。
【0018】
訓練部１３０は、データ受領部１１０が出力したベクトル表現Ｄ３と、情報取得部１２１が出力したテキストＤ４をベクトル化したテキストベクトルＤ５とを結合させることによって、要素Ｄ２に対応する埋め込みベクトルＤ６を作成する機能を有する。
実施の形態１において、訓練部１３０は、特徴抽出部１３１と、埋込学習部１３２とを備える。
実施の形態１において、訓練部１３０は、特徴抽出部１３１と、埋込学習部１３２とを備える。
【0019】
特徴抽出部１３１は、情報取得部１２１によって取得されたテキストＤ４に対応する対象テキストベクトルを対象言語モデルに基づいて生成する。対象テキストベクトルはテキストベクトルＤ５に当たる。対象言語モデルは言語モデル４００に当たる。
具体例として、特徴抽出部１３１は、情報取得部１２１が出力したテキストＤ４を、言語モデル４００に基づいてベクトル化することにより、テキストベクトルＤ５を抽出する機能を有する。
言語モデル４００は、Ｂａｇ оｆ Ｗｏｒｄｓ又はＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）などの古典的なものを利用したモデルであってもよく、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒоｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）などの深層ニューラルネットワークを用いたモデルであってもよい。
前述した通り、情報取得部１２１が出力するテキストＤ４には、テキストが存在しないことを表す特殊な値が格納されている場合がある。特徴抽出部１３１は、特殊な値がテキストＤ４に格納されていた場合、言語モデル４００によるベクトル化処理を行わず、テキストベクトルＤ５に、テキストベクトルが存在しないことを表す特殊な値を格納する。格納される値はＮｕｌｌなどの特殊文字であってもよい。ただし、格納される値は本開示の本質的な特徴ではない。
特徴抽出部１３１は、テキストベクトルＤ５を埋込学習部１３２に出力する。
具体例として、特徴抽出部１３１は、情報取得部１２１が出力したテキストＤ４を、言語モデル４００に基づいてベクトル化することにより、テキストベクトルＤ５を抽出する機能を有する。
言語モデル４００は、Ｂａｇ оｆ Ｗｏｒｄｓ又はＴＦ－ＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）などの古典的なものを利用したモデルであってもよく、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒоｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）などの深層ニューラルネットワークを用いたモデルであってもよい。
前述した通り、情報取得部１２１が出力するテキストＤ４には、テキストが存在しないことを表す特殊な値が格納されている場合がある。特徴抽出部１３１は、特殊な値がテキストＤ４に格納されていた場合、言語モデル４００によるベクトル化処理を行わず、テキストベクトルＤ５に、テキストベクトルが存在しないことを表す特殊な値を格納する。格納される値はＮｕｌｌなどの特殊文字であってもよい。ただし、格納される値は本開示の本質的な特徴ではない。
特徴抽出部１３１は、テキストベクトルＤ５を埋込学習部１３２に出力する。
【0020】
埋込学習部１３２は、対象要素に対応する対象ベクトル表現と、対象要素に対応するテキスト情報とに基づいて対象要素に対応する埋め込みベクトルＤ６を生成し、生成した埋め込みベクトルＤ６に基づいて対象知識グラフに対応する知識グラフ埋め込み表現を学習する。具体的には、埋込学習部１３２は、対象ベクトル表現と、対象テキストベクトルとに基づいて埋め込みベクトルＤ６を生成する。対象ベクトル表現はベクトル表現Ｄ３に当たる。埋込学習部１３２は、対象要素に対応するテキスト情報が文書ＤＢ３００に存在しない場合に、対象ベクトル表現を埋め込みベクトルＤ６とする。埋込学習部１３２は、対象ベクトル表現と対象テキストベクトルとの間において次元数を一致させ、次元数を一致させた後における対象ベクトル表現と対象テキストベクトルとを結合することにより埋め込みベクトルＤ６を生成してもよい。
具体例として、埋込学習部１３２は、データ受領部１１０が出力したベクトル表現Ｄ３と、特徴抽出部１３１が出力したテキストベクトルＤ５とを入力とし、要素Ｄ２に対応する埋め込みベクトルＤ６を学習する機能を有する。
埋込学習部１３２の処理は、テキストベクトルＤ５に、テキストベクトルが存在しないことを表す特殊な値が格納されているか否かによって異なる。
具体例として、埋込学習部１３２は、データ受領部１１０が出力したベクトル表現Ｄ３と、特徴抽出部１３１が出力したテキストベクトルＤ５とを入力とし、要素Ｄ２に対応する埋め込みベクトルＤ６を学習する機能を有する。
埋込学習部１３２の処理は、テキストベクトルＤ５に、テキストベクトルが存在しないことを表す特殊な値が格納されているか否かによって異なる。
【0021】
テキストベクトルが存在している、即ち、テキストベクトルＤ５に格納されている値が、テキストベクトルが存在しないことを表す特殊な値以外である場合における埋込学習部１３２の処理を説明する。
まず、埋込学習部１３２は、次元調節処理を実行することにより、テキストベクトルＤ５の次元数と、ベクトル表現Ｄ３の次元数とを一致させる。具体例として、ベクトル表現Ｄ３の次元数が２００であり、かつテキストベクトルＤ５の次元数が７６８である場合、埋込学習部１３２は、ベクトル表現Ｄ３の次元数を７６８まで増加させる操作、又はテキストベクトルＤ５の次元数を２００まで削減する操作を実行する。次元調節処理において、埋込学習部１３２は、主成分分析などの次元調節手法を用いてもよく、ニューラルネットワークを用いてもよい。
次に、埋込学習部１３２は、結合処理を実行する、即ち次元を調節した後におけるベクトル表現Ｄ３とテキストベクトルＤ５とを結合することにより埋め込みベクトルＤ６を作成する。ここで、埋め込みベクトルＤ６は要素Ｄ２に対応するベクトル表現である。結合処理において、埋込学習部１３２は、ベクトル表現Ｄ３とテキストベクトルＤ５との要素ごとの和を算出し、算出した各和から成るベクトルを埋め込みベクトルＤ６としてもよい。また、埋込学習部１３２は、２つのニューラルネットワークにベクトル表現Ｄ３とテキストベクトルＤ５とをそれぞれ入力し、出力されたベクトルを埋め込みベクトルＤ６としてもよい。
まず、埋込学習部１３２は、次元調節処理を実行することにより、テキストベクトルＤ５の次元数と、ベクトル表現Ｄ３の次元数とを一致させる。具体例として、ベクトル表現Ｄ３の次元数が２００であり、かつテキストベクトルＤ５の次元数が７６８である場合、埋込学習部１３２は、ベクトル表現Ｄ３の次元数を７６８まで増加させる操作、又はテキストベクトルＤ５の次元数を２００まで削減する操作を実行する。次元調節処理において、埋込学習部１３２は、主成分分析などの次元調節手法を用いてもよく、ニューラルネットワークを用いてもよい。
次に、埋込学習部１３２は、結合処理を実行する、即ち次元を調節した後におけるベクトル表現Ｄ３とテキストベクトルＤ５とを結合することにより埋め込みベクトルＤ６を作成する。ここで、埋め込みベクトルＤ６は要素Ｄ２に対応するベクトル表現である。結合処理において、埋込学習部１３２は、ベクトル表現Ｄ３とテキストベクトルＤ５との要素ごとの和を算出し、算出した各和から成るベクトルを埋め込みベクトルＤ６としてもよい。また、埋込学習部１３２は、２つのニューラルネットワークにベクトル表現Ｄ３とテキストベクトルＤ５とをそれぞれ入力し、出力されたベクトルを埋め込みベクトルＤ６としてもよい。
【0022】
埋込学習部１３２は、テキストベクトルＤ５に格納されている値がテキストベクトルが存在しないことを表す特殊な値であった場合、前述の次元調節処理と結合処理とを実行せず、ベクトル表現Ｄ３をそのまま埋め込みベクトルＤ６とする。即ち、要素Ｄ２に対応するテキストが文書ＤＢ３００に存在しない場合、要素Ｄ２に対応するベクトル表現Ｄ３が、要素Ｄ２に対応する埋め込みベクトルＤ６とされる。
【0023】
埋込学習部１３２は、三つ組みＤ１に含まれる全ての要素（ｈとｒとｔ）の各々に対応する埋め込みベクトルＤ６が得られた場合、得られた埋め込みベクトルＤ６を用いて任意の公知の知識グラフ埋込学習アルゴリズムを用いてスコアを計算する。
埋込学習部１３２、具体例として、知識グラフ埋込学習アルゴリズムとしてＴｒａｎｓＥを用いる場合、［数１］を用いてスコアを計算する。
埋込学習部１３２、具体例として、知識グラフ埋込学習アルゴリズムとしてＴｒａｎｓＥを用いる場合、［数１］を用いてスコアを計算する。
【0024】
【数1】
【0025】
［数１］の右辺のｈとｒとｔとの各々は、埋込学習部１３２によって得られたベクトル表現である。
埋込学習部１３２は、三つ組みＤ１に対するスコアが得られた場合、任意の知識グラフ埋込学習アルゴリズムにより、誤差及び勾配などを計算する。計算された誤差と勾配とスコアとベクトル表現との各々は、記憶部１４０に記憶される。
なお、本実施の形態に係る学習は、ヘッドｈに対応する埋め込みベクトルＤ６であるｈ１と、リレーションｒに対応する埋め込みベクトルＤ６であるｒ１と、テールｔに対応する埋め込みベクトルＤ６であるｔ１とをそれぞれ生成し、生成したｈ１とｒ１とｔ１とを用いて計算したスコア値が最適値に近くなるようにｈ１とｒ１とｔ１との各々の表現を調整するプロセスである。
埋込学習部１３２は、三つ組みＤ１に対するスコアが得られた場合、任意の知識グラフ埋込学習アルゴリズムにより、誤差及び勾配などを計算する。計算された誤差と勾配とスコアとベクトル表現との各々は、記憶部１４０に記憶される。
なお、本実施の形態に係る学習は、ヘッドｈに対応する埋め込みベクトルＤ６であるｈ１と、リレーションｒに対応する埋め込みベクトルＤ６であるｒ１と、テールｔに対応する埋め込みベクトルＤ６であるｔ１とをそれぞれ生成し、生成したｈ１とｒ１とｔ１とを用いて計算したスコア値が最適値に近くなるようにｈ１とｒ１とｔ１との各々の表現を調整するプロセスである。
【0026】
記憶部１４０は、埋込学習部１３２が学習した埋め込みベクトルＤ６と、埋込学習部１３２によって生成された埋め込み表現とモデルの各種パラメータなどを記憶する機能を有する。
記憶部１４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）又はハードディスクなどの記憶装置により実現される。
記憶部１４０は、１つのサーバ、又はクラウド上に分散配置された複数のサーバで実現されてもよく、エッジの記憶装置の一部として実現されてもよい。
各埋め込みベクトルＤ６は、データ受領部１１０によって受領された要素Ｄ２と対応付けられた形で記憶部１４０に記憶される。
三つ組みＤＢ２００に含まれる全ての三つ組みに関してベクトル表現が学習された場合、任意の要素に対応するベクトル表現を、記憶部１４０を介して獲得することができる。獲得されたベクトル表現は、特にリンク予測（Ｌｉｎｋ Ｐｒｅｄｉｃｔｉｏｎ）及びエンティティ・アラインメント（Ｅｎｔｉｔｙ Ａｌｉｇｎｍｅｎｔ）などの知識グラフ補完のための主要な下流タスクに応用することができる。
記憶部１４０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）又はハードディスクなどの記憶装置により実現される。
記憶部１４０は、１つのサーバ、又はクラウド上に分散配置された複数のサーバで実現されてもよく、エッジの記憶装置の一部として実現されてもよい。
各埋め込みベクトルＤ６は、データ受領部１１０によって受領された要素Ｄ２と対応付けられた形で記憶部１４０に記憶される。
三つ組みＤＢ２００に含まれる全ての三つ組みに関してベクトル表現が学習された場合、任意の要素に対応するベクトル表現を、記憶部１４０を介して獲得することができる。獲得されたベクトル表現は、特にリンク予測（Ｌｉｎｋ Ｐｒｅｄｉｃｔｉｏｎ）及びエンティティ・アラインメント（Ｅｎｔｉｔｙ Ａｌｉｇｎｍｅｎｔ）などの知識グラフ補完のための主要な下流タスクに応用することができる。
【0027】
図５は、本実施の形態に係る学習装置１００のハードウェア構成例を示している。学習装置１００はコンピュータから成る。学習装置１００は複数のコンピュータから成ってもよい。
【0028】
学習装置１００は、本図に示すように、プロセッサ１１と、メモリ１２と、補助記憶装置１３と、入出力ＩＦ（Ｉｎｔｅｒｆａｃｅ）１４と、通信装置１５などのハードウェアを備えるコンピュータである。これらのハードウェアは、信号線１９を介して適宜接続されている。
【0029】
プロセッサ１１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、かつ、コンピュータが備えるハードウェアを制御する。プロセッサ１１は、具体例として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
学習装置１００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ１１の役割を分担する。
学習装置１００は、プロセッサ１１を代替する複数のプロセッサを備えてもよい。複数のプロセッサはプロセッサ１１の役割を分担する。
【0030】
メモリ１２は、典型的には揮発性の記憶装置であり、具体例としてＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１２は、主記憶装置又はメインメモリとも呼ばれる。メモリ１２に記憶されたデータは、必要に応じて補助記憶装置１３に保存される。
【0031】
補助記憶装置１３は、典型的には不揮発性の記憶装置であり、具体例として、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はフラッシュメモリである。補助記憶装置１３に記憶されたデータは、必要に応じてメモリ１２にロードされる。
メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。
メモリ１２及び補助記憶装置１３は一体的に構成されていてもよい。
【0032】
入出力ＩＦ１４は、入力装置及び出力装置が接続されるポートである。入出力ＩＦ１４は、具体例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子である。入力装置は、具体例として、キーボード及びマウスである。出力装置は、具体例として、ディスプレイである。
【0033】
通信装置１５は、レシーバ及びトランスミッタである。通信装置１５は、具体例として、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
【0034】
学習装置１００の各部は、他の装置などと通信する際に、入出力ＩＦ１４及び通信装置１５を適宜用いてもよい。
【0035】
補助記憶装置１３は学習プログラムを記憶している。学習プログラムは、学習装置１００が備える各部の機能をコンピュータに実現させるプログラムである。学習プログラムは、メモリ１２にロードされて、プロセッサ１１によって実行される。学習装置１００が備える各部の機能は、ソフトウェアにより実現される。
【0036】
学習プログラムを実行する際に用いられるデータと、学習プログラムを実行することによって得られるデータなどは、記憶装置に適宜記憶される。学習装置１００の各部は記憶装置を適宜利用する。記憶装置は、具体例として、メモリ１２と、補助記憶装置１３と、プロセッサ１１内のレジスタと、プロセッサ１１内のキャッシュメモリとの少なくとも１つから成る。なお、データという用語と情報という用語とは同等の意味を有することもある。記憶装置は、コンピュータと独立したものであってもよい。
メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。
メモリ１２及び補助記憶装置１３の機能は、他の記憶装置によって実現されてもよい。
【0037】
学習プログラムは、コンピュータが読み取り可能な不揮発性の記録媒体に記録されていてもよい。不揮発性の記録媒体は、具体例として、光ディスク又はフラッシュメモリである。学習プログラムは、プログラムプロダクトとして提供されてもよい。
【0038】
＊＊＊動作の説明＊＊＊
学習装置の動作手順は学習方法に相当する。また、学習装置の動作を実現するプログラムは学習プログラムに相当する。
学習装置の動作手順は学習方法に相当する。また、学習装置の動作を実現するプログラムは学習プログラムに相当する。
【0039】
【0040】
（ステップＳ１）
データ受領部１１０は、学習用データとして、三つ組みＤ１を三つ組みＤＢ２００から取得する。
データ受領部１１０は、学習用データとして、三つ組みＤ１を三つ組みＤＢ２００から取得する。
【0041】
（ステップＳ２）
データ受領部１１０は、取得した三つ組みＤ１に含まれている任意の要素（ｈ、ｒ、又はｔ）を要素Ｄ２として取得する。
データ受領部１１０は、取得した三つ組みＤ１に含まれている任意の要素（ｈ、ｒ、又はｔ）を要素Ｄ２として取得する。
【0042】
（ステップＳ３）
データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在するか否かを判定する。データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在すると判定した場合にステップＳ４に進み、要素Ｄ２に対応するベクトル表現が存在しないと判定した場合にステップＳ５に進む。
データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在するか否かを判定する。データ受領部１１０は、要素Ｄ２に対応するベクトル表現が存在すると判定した場合にステップＳ４に進み、要素Ｄ２に対応するベクトル表現が存在しないと判定した場合にステップＳ５に進む。
【0043】
（ステップＳ４）
データ受領部１１０は、要素Ｄ２に対応するベクトル表現Ｄ３を、記憶媒体（図示せず）から読み込み取得する。
データ受領部１１０は、要素Ｄ２に対応するベクトル表現Ｄ３を、記憶媒体（図示せず）から読み込み取得する。
【0044】
（ステップＳ５）
データ受領部１１０は、要素Ｄ２に対応するベクトル表現Ｄ３を、任意のベクトル初期化手法を用いて生成する。
データ受領部１１０は、要素Ｄ２に対応するベクトル表現Ｄ３を、任意のベクトル初期化手法を用いて生成する。
【0045】
（ステップＳ６）
情報取得部１２１は、要素Ｄ２に対応するテキストＤ４を、文書ＤＢ３００から取得する。なお、要素Ｄ２に対応するテキストが文書ＤＢ３００に存在しない場合、情報取得部１２１は、対応するテキストが存在しないことを表す特殊な値をテキストＤ４に格納する。
情報取得部１２１は、要素Ｄ２に対応するテキストＤ４を、文書ＤＢ３００から取得する。なお、要素Ｄ２に対応するテキストが文書ＤＢ３００に存在しない場合、情報取得部１２１は、対応するテキストが存在しないことを表す特殊な値をテキストＤ４に格納する。
【0046】
（ステップＳ７）
情報取得部１２１は、要素Ｄ２に対応するテキストがテキストＤ４に格納されているか否かを判定する。情報取得部１２１は、要素Ｄ２に対応するテキストがテキストＤ４に格納されていると判定した場合にステップＳ８に進み、要素Ｄ２に対応するテキストがテキストＤ４に格納されていないと判定した場合にステップＳ１１に進む。
情報取得部１２１は、要素Ｄ２に対応するテキストがテキストＤ４に格納されているか否かを判定する。情報取得部１２１は、要素Ｄ２に対応するテキストがテキストＤ４に格納されていると判定した場合にステップＳ８に進み、要素Ｄ２に対応するテキストがテキストＤ４に格納されていないと判定した場合にステップＳ１１に進む。
【0047】
（ステップＳ８）
特徴抽出部１３１は、テキストＤ４に格納されているテキストを言語モデル４００によってベクトル化することによりテキストベクトルＤ５を取得する。
特徴抽出部１３１は、テキストＤ４に格納されているテキストを言語モデル４００によってベクトル化することによりテキストベクトルＤ５を取得する。
【0048】
（ステップＳ９）
埋込学習部１３２は、要素Ｄ２に対応するベクトル表現Ｄ３の次元数と、要素Ｄ２に対応するテキストベクトルＤ５の次元数とのいずれかを調節することにより、ベクトル表現Ｄ３の次元数とテキストベクトルＤ５の次元数とをそろえる。
埋込学習部１３２は、要素Ｄ２に対応するベクトル表現Ｄ３の次元数と、要素Ｄ２に対応するテキストベクトルＤ５の次元数とのいずれかを調節することにより、ベクトル表現Ｄ３の次元数とテキストベクトルＤ５の次元数とをそろえる。
【0049】
（ステップＳ１０）
埋込学習部１３２は、要素Ｄ２に対応するベクトル表現Ｄ３と、要素Ｄ２に対応するテキストベクトルＤ５を結合することにより、要素Ｄ２に対応する最終的な埋め込みベクトルＤ６を生成する。
埋込学習部１３２は、要素Ｄ２に対応するベクトル表現Ｄ３と、要素Ｄ２に対応するテキストベクトルＤ５を結合することにより、要素Ｄ２に対応する最終的な埋め込みベクトルＤ６を生成する。
【0050】
（ステップＳ１１）
埋込学習部１３２は、要素Ｄ２に対応する最終的な埋め込みベクトルＤ６として、要素Ｄ２に対応するベクトル表現Ｄ３を用いる。
埋込学習部１３２は、要素Ｄ２に対応する最終的な埋め込みベクトルＤ６として、要素Ｄ２に対応するベクトル表現Ｄ３を用いる。
【0051】
（ステップＳ１２）
埋込学習部１３２は、未処理の要素が存在するか否かを判定する。埋込学習部１３２は、未処理の要素が存在すると判定した場合にステップＳ２に戻り、未処理の要素が存在しないと判定した場合にステップＳ１３に進む。
埋込学習部１３２は、未処理の要素が存在するか否かを判定する。埋込学習部１３２は、未処理の要素が存在すると判定した場合にステップＳ２に戻り、未処理の要素が存在しないと判定した場合にステップＳ１３に進む。
【0052】
（ステップＳ１３）
埋込学習部１３２は、三つ組みＤ１の要素（ｈとｒとｔ）それぞれに関して得られたベクトル表現を用いて誤差計算及び勾配計算などの処理を行うことにより、知識グラフ埋め込みモデルのパラメータ更新を行う。
埋込学習部１３２は、三つ組みＤ１の要素（ｈとｒとｔ）それぞれに関して得られたベクトル表現を用いて誤差計算及び勾配計算などの処理を行うことにより、知識グラフ埋め込みモデルのパラメータ更新を行う。
【0053】
（ステップＳ１４）
埋込学習部１３２は、未処理の三つ組みが存在するか否かを判定する。埋込学習部１３２は、未処理の三つ組みが存在すると判定した場合にステップＳ１に戻り、未処理の三つ組みが存在しないと判定した場合にステップＳ１５に進む。
埋込学習部１３２は、未処理の三つ組みが存在するか否かを判定する。埋込学習部１３２は、未処理の三つ組みが存在すると判定した場合にステップＳ１に戻り、未処理の三つ組みが存在しないと判定した場合にステップＳ１５に進む。
【0054】
（ステップＳ１５）
記憶部１４０は、更新されたモデル及びパラメータを記憶する。
記憶部１４０は、更新されたモデル及びパラメータを記憶する。
【0055】
＊＊＊実施の形態１の効果の説明＊＊＊
以上のような動作により、実施の形態１に係る学習装置１００は、三つ組みに含まれている任意の要素のベクトル表現を生成する際に、エンティティ・リレーションの構造的情報と、それらに対応するテキスト情報とを組み合わせて埋め込み表現を学習する。そのため、本実施の形態によれば、知識グラフ埋め込みの表現力を向上させることができ、リンク予測及びエンティティ・アラインメントなどの知識グラフ補完のための主要なタスクの性能を向上させることができる。
以上のような動作により、実施の形態１に係る学習装置１００は、三つ組みに含まれている任意の要素のベクトル表現を生成する際に、エンティティ・リレーションの構造的情報と、それらに対応するテキスト情報とを組み合わせて埋め込み表現を学習する。そのため、本実施の形態によれば、知識グラフ埋め込みの表現力を向上させることができ、リンク予測及びエンティティ・アラインメントなどの知識グラフ補完のための主要なタスクの性能を向上させることができる。
【0056】
また、実施の形態１に係る学習装置１００は、三つ組みに含まれる任意の要素のベクトル表現を生成する際に、各要素を説明するテキストが存在しない場合に、各要素の構造的なベクトル表現のみを用いて学習する。そのため、本実施の形態によれば、全ての要素にテキストの補助情報が対応していないような知識グラフにおいても、リンク予測及びエンティティ・アラインメントなどの精度を向上させることができる。
【0057】
＊＊＊他の構成＊＊＊
＜変形例１＞
図７は、本変形例に係る学習装置１００のハードウェア構成例を示している。
学習装置１００は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
処理回路１８は、学習装置１００が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。
＜変形例１＞
図７は、本変形例に係る学習装置１００のハードウェア構成例を示している。
学習装置１００は、プロセッサ１１、プロセッサ１１とメモリ１２、プロセッサ１１と補助記憶装置１３、あるいはプロセッサ１１とメモリ１２と補助記憶装置１３とに代えて、処理回路１８を備える。
処理回路１８は、学習装置１００が備える各部の少なくとも一部を実現するハードウェアである。
処理回路１８は、専用のハードウェアであってもよく、また、メモリ１２に格納されるプログラムを実行するプロセッサであってもよい。
【0058】
処理回路１８が専用のハードウェアである場合、処理回路１８は、具体例として、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はこれらの組み合わせである。
学習装置１００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
学習装置１００は、処理回路１８を代替する複数の処理回路を備えてもよい。複数の処理回路は、処理回路１８の役割を分担する。
【0059】
学習装置１００において、一部の機能が専用のハードウェアによって実現されて、残りの機能がソフトウェア又はファームウェアによって実現されてもよい。
【0060】
処理回路１８は、具体例として、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせにより実現される。
プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、学習装置１００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の実施の形態に係る学習装置についても、本変形例と同様の構成であってもよい。
プロセッサ１１とメモリ１２と補助記憶装置１３と処理回路１８とを、総称して「プロセッシングサーキットリー」という。つまり、学習装置１００の各機能構成要素の機能は、プロセッシングサーキットリーにより実現される。
他の実施の形態に係る学習装置についても、本変形例と同様の構成であってもよい。
【0061】
実施の形態２．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
実施の形態２では、実施の形態１の構成から文書ＤＢ３００を削除し、実施の形態１の構成に加えて、三つ組みに含まれる任意の要素に直接割り当てられた文字列に対して正規化処理を施す文字列生成部１５２を加えた構成について説明する。
ある要素に対応するテキストの総量が著しく少ない場合、テキストの情報を十分に活用した学習を実行することができない場合がある。実施の形態２に係る学習装置１０１は、三つ組みに含まれている任意の要素に直接割り当てられたラベルを取得し、取得したラベルに対して正規化処理を施し、正規化処理を施したラベルを言語モデルによりベクトル化する処理を実行する。この処理により、ある要素に対応するテキストの総量が著しく少ない場合であっても、ラベルに含まれたエンティティ・リレーションを表すラベル情報を活用し、知識グラフ埋め込みの表現力を向上させ、リンク予測精度を向上させることができる。
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
実施の形態２では、実施の形態１の構成から文書ＤＢ３００を削除し、実施の形態１の構成に加えて、三つ組みに含まれる任意の要素に直接割り当てられた文字列に対して正規化処理を施す文字列生成部１５２を加えた構成について説明する。
ある要素に対応するテキストの総量が著しく少ない場合、テキストの情報を十分に活用した学習を実行することができない場合がある。実施の形態２に係る学習装置１０１は、三つ組みに含まれている任意の要素に直接割り当てられたラベルを取得し、取得したラベルに対して正規化処理を施し、正規化処理を施したラベルを言語モデルによりベクトル化する処理を実行する。この処理により、ある要素に対応するテキストの総量が著しく少ない場合であっても、ラベルに含まれたエンティティ・リレーションを表すラベル情報を活用し、知識グラフ埋め込みの表現力を向上させ、リンク予測精度を向上させることができる。
【0062】
＊＊＊構成の説明＊＊＊
図８は、実施の形態２に係る情報処理システム９１の構成例を示している。
情報処理システム９１の構成は、実施の形態１に係る文書ＤＢ３００を持たないこと以外、実施の形態１に係る情報処理システム９０の構成と同様である。
図８は、実施の形態２に係る情報処理システム９１の構成例を示している。
情報処理システム９１の構成は、実施の形態１に係る文書ＤＢ３００を持たないこと以外、実施の形態１に係る情報処理システム９０の構成と同様である。
【0063】
図９は、実施の形態２に係る学習装置１０１の構成例を示している。
学習装置１０１は、データ受領部１１０と、取得部１５０と、訓練部１３０と、記憶部１４０とを備える。
データ受領部１１０と、訓練部１３０と、記憶部１４０との各々については、実施の形態１と同様である。
学習装置１０１は、データ受領部１１０と、取得部１５０と、訓練部１３０と、記憶部１４０とを備える。
データ受領部１１０と、訓練部１３０と、記憶部１４０との各々については、実施の形態１と同様である。
【0064】
取得部１５０は、データ受領部１１０から入力された要素Ｄ２に対して直接割り当てられているラベル文字列Ｄ７を取得し、取得したラベル文字列Ｄ７に対して文字列正規化処理を施すことにより正規化済みラベル文字列Ｄ８を生成し、生成した正規化済みラベル文字列Ｄ８を出力する機能を有する。
実施の形態２において、取得部１５０は、情報取得部１５１と、文字列生成部１５２とを備える。
実施の形態２において、取得部１５０は、情報取得部１５１と、文字列生成部１５２とを備える。
【0065】
情報取得部１５１は、データ受領部１１０から入力された要素Ｄ２に対して直接割り当てられているラベル文字列Ｄ７を取得する。
データ受領部１１０から入力された要素Ｄ２には、要素Ｄ２を表す文字列が格納されている。即ち、データ受領部１１０に入力された三つ組みが＜Ｔｏｋｙｏ，ｉｓ＿ｃａｐｉｔａｌ＿ｏｆ，Ｊａｐａｎ＞であり、これらのうち要素「Ｔｏｋｙｏ」が選択された場合、要素Ｄ２に格納されている文字列は「Ｔｏｋｙｏ」である。従って、情報取得部１５１の実質的な機能は、ラベル文字列Ｄ７に対して要素Ｄ２の値を代入する機能に過ぎない。
データ受領部１１０から入力された要素Ｄ２には、要素Ｄ２を表す文字列が格納されている。即ち、データ受領部１１０に入力された三つ組みが＜Ｔｏｋｙｏ，ｉｓ＿ｃａｐｉｔａｌ＿ｏｆ，Ｊａｐａｎ＞であり、これらのうち要素「Ｔｏｋｙｏ」が選択された場合、要素Ｄ２に格納されている文字列は「Ｔｏｋｙｏ」である。従って、情報取得部１５１の実質的な機能は、ラベル文字列Ｄ７に対して要素Ｄ２の値を代入する機能に過ぎない。
【0066】
文字列生成部１５２は、対象ラベル文字列に対して正規化処理を施すことにより正規化済みラベル文字列Ｄ８を生成する。正規化済みラベル文字列Ｄ８は、対象要素に対応するテキスト情報に当たる。対象ラベル文字列はラベル文字列Ｄ７に当たる。
具体例として、文字列生成部１５２は、情報取得部１５１から入力されたラベル文字列Ｄ７に対して文字列正規化処理を施すことにより正規化済みラベル文字列Ｄ８を生成し、生成した正規化済みラベル文字列Ｄ８を特徴抽出部１３１に出力する。
文字列生成部１５２は、文字列正規化処理として、ラベル文字列Ｄ７に含まれているアンダースコア記号の削除、「ｉｓ」及び「оｆ」などの頻出単語の削除などを実行する。具体例として、ラベル文字列Ｄ７に格納されている文字列が「ｉｓ＿ｃａｐｉｔａｌ＿ｏｆ」であったとき、正規化済みラベル文字列Ｄ８に格納される文字列は、アンダースコア記号の削除が実行されることによって「ｉｓ ｃａｐｉｔａｌ ｏｆ」となり、頻出単語の削除によって「ｃａｐｉｔａｌ」となる。なお、本例は正規化処理の一例に過ぎない。ただし、文字列正規化処理の具体的な方法は本開示の本質的な特徴ではない。
なお、文字列生成部１５２は、文字列正規化処理を行わなくてもよい。即ち、ラベル文字列Ｄ７の値をそのまま正規化済みラベル文字列Ｄ８としてもよい。
具体例として、文字列生成部１５２は、情報取得部１５１から入力されたラベル文字列Ｄ７に対して文字列正規化処理を施すことにより正規化済みラベル文字列Ｄ８を生成し、生成した正規化済みラベル文字列Ｄ８を特徴抽出部１３１に出力する。
文字列生成部１５２は、文字列正規化処理として、ラベル文字列Ｄ７に含まれているアンダースコア記号の削除、「ｉｓ」及び「оｆ」などの頻出単語の削除などを実行する。具体例として、ラベル文字列Ｄ７に格納されている文字列が「ｉｓ＿ｃａｐｉｔａｌ＿ｏｆ」であったとき、正規化済みラベル文字列Ｄ８に格納される文字列は、アンダースコア記号の削除が実行されることによって「ｉｓ ｃａｐｉｔａｌ ｏｆ」となり、頻出単語の削除によって「ｃａｐｉｔａｌ」となる。なお、本例は正規化処理の一例に過ぎない。ただし、文字列正規化処理の具体的な方法は本開示の本質的な特徴ではない。
なお、文字列生成部１５２は、文字列正規化処理を行わなくてもよい。即ち、ラベル文字列Ｄ７の値をそのまま正規化済みラベル文字列Ｄ８としてもよい。
【0067】
本実施の形態に係る特徴抽出部１３１は、文字列生成部１５２によって生成された正規化済みラベル文字列Ｄ８に対応する対象テキストベクトルを対象言語モデルに基づいて生成する。
【0068】
＊＊＊動作の説明＊＊＊
図１０は、学習装置１０１の動作の一例を示すフローチャートである。図１０を用いて学習装置１０１の動作を説明する。
図１０に示す処理では、ステップＳ６とステップＳ７とステップＳ１１とが実行されない。また、図１０に示す処理では、図６に示す処理と異なり、ステップＳ６ａ及びステップＳ６ｂが実行される。そのため、図１０に関してステップＳ６ａ及びステップＳ６ｂを説明する。図１０に示す他のステップについては、図６に示すステップ番号と同じステップ番号を付することによって処理の説明を省略する。
図１０は、学習装置１０１の動作の一例を示すフローチャートである。図１０を用いて学習装置１０１の動作を説明する。
図１０に示す処理では、ステップＳ６とステップＳ７とステップＳ１１とが実行されない。また、図１０に示す処理では、図６に示す処理と異なり、ステップＳ６ａ及びステップＳ６ｂが実行される。そのため、図１０に関してステップＳ６ａ及びステップＳ６ｂを説明する。図１０に示す他のステップについては、図６に示すステップ番号と同じステップ番号を付することによって処理の説明を省略する。
【0069】
（ステップＳ６ａ）
情報取得部１５１は、データ受領部１１０から入力された要素Ｄ２に直接割り当てられているラベル文字列を取得し、取得したラベル文字列をラベル文字列Ｄ７に格納する。
情報取得部１５１は、データ受領部１１０から入力された要素Ｄ２に直接割り当てられているラベル文字列を取得し、取得したラベル文字列をラベル文字列Ｄ７に格納する。
【0070】
（ステップＳ６ｂ）
文字列生成部１５２は、情報取得部１５１から入力されたラベル文字列Ｄ７に対して文字列正規化処理を施すことにより正規化済みラベル文字列を生成し、生成した正規化済みラベル文字列を正規化済みラベル文字列Ｄ８に格納する。
文字列生成部１５２は、情報取得部１５１から入力されたラベル文字列Ｄ７に対して文字列正規化処理を施すことにより正規化済みラベル文字列を生成し、生成した正規化済みラベル文字列を正規化済みラベル文字列Ｄ８に格納する。
【0071】
＊＊＊実施の形態２の効果の説明＊＊＊
実施の形態２に係る学習装置１０１は、要素に対応するテキストとして、要素のラベルを代用する。そのため、本実施の形態によれば、文書ＤＢ３００と紐づく要素がない知識グラフ、又は文書ＤＢ３００と紐づく要素が極端に少ない知識グラフについても、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
実施の形態２に係る学習装置１０１は、要素に対応するテキストとして、要素のラベルを代用する。そのため、本実施の形態によれば、文書ＤＢ３００と紐づく要素がない知識グラフ、又は文書ＤＢ３００と紐づく要素が極端に少ない知識グラフについても、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
【0072】
実施の形態３．
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
実施の形態３では、実施の形態１の構成に対して、文字列生成部１６２と、検索部１６３と、説明モデル５００とを加えた構成について説明する。
ある要素に対応するテキストの総量が著しく少ない場合、テキストの情報を十分に活用した学習を実行することができない場合がある。さらに、各要素のラベルは、前述した具体例の通り「Ｔｏｋｙｏ」又は「ｃａｐｉｔａｌ」などであることが多い。ここで、これらのようなラベルから得られる情報は限定的である。
実施の形態３に係る学習装置１０２は、三つ組みに含まれている任意の要素に直接割り当てられたラベルを取得し、取得したラベルに関連するテキストを検索する処理、あるいは取得したラベルを説明するようなテキストを説明モデル５００によって獲得する処理を実行する。これらの処理により、ある要素に対応するテキストの総量が著しく少ない知識グラフであって、かつ当該ある要素のラベルから得られる情報が限定的である場合であっても、知識グラフ埋め込みの表現力を向上させることができ、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
以下、主に前述した実施の形態と異なる点について、図面を参照しながら説明する。
実施の形態３では、実施の形態１の構成に対して、文字列生成部１６２と、検索部１６３と、説明モデル５００とを加えた構成について説明する。
ある要素に対応するテキストの総量が著しく少ない場合、テキストの情報を十分に活用した学習を実行することができない場合がある。さらに、各要素のラベルは、前述した具体例の通り「Ｔｏｋｙｏ」又は「ｃａｐｉｔａｌ」などであることが多い。ここで、これらのようなラベルから得られる情報は限定的である。
実施の形態３に係る学習装置１０２は、三つ組みに含まれている任意の要素に直接割り当てられたラベルを取得し、取得したラベルに関連するテキストを検索する処理、あるいは取得したラベルを説明するようなテキストを説明モデル５００によって獲得する処理を実行する。これらの処理により、ある要素に対応するテキストの総量が著しく少ない知識グラフであって、かつ当該ある要素のラベルから得られる情報が限定的である場合であっても、知識グラフ埋め込みの表現力を向上させることができ、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
【0073】
＊＊＊構成の説明＊＊＊
図１１は、実施の形態３に係る情報処理システム９２の構成例を示している。
情報処理システム９２は、実施の形態１に係る情報処理システム９０が備える構成要素に加えて、説明モデル５００を備える。
図１１は、実施の形態３に係る情報処理システム９２の構成例を示している。
情報処理システム９２は、実施の形態１に係る情報処理システム９０が備える構成要素に加えて、説明モデル５００を備える。
【0074】
説明モデル５００は、入力データを受け付けると、受け付けた入力データに基づいて、入力データに対応する出力データを出力する。説明モデル５００は、入力されたテキストに対応する説明を出力するモデルである。説明モデル５００は、生成ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）であってもよい。
説明モデル５００は、具体例として、教師あり学習と強化学習と教師なし学習とのいずれかによって機械学習されたモデルである。説明モデル５００は、具体例として、深層学習、遺伝的プログラム、機能論理プログラム、又はその他の公知のアルゴリズム若しくは方法に従って学習を実行して得られたモデルである。また、説明モデル５００は、具体例として、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、拡散モデル（Ｄｉｆｆｕｓｉｏｎ ｍｏｄｅｌ）、Ｔｒａｎｓｆｏｒｍｅｒモデル、ＬＬＭ（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＶＬＭ（Ｖｉｓｕａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＢＥＲＴ、ＧＰＴ（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）、又はＣＬＩＰ（Ｃｏｎｔｒａｓｔｉｖｅ Ｌａｎｇｕａｇｅ－Ｉｍａｇｅ Ｐｒｅ－ｔｒａｉｎｉｎｇ）と呼ばれるモデルであってもよい。また、説明モデル５００は、予め決められたテーブルを参照したり、予め決められた条件に基づいて判定を行ったりすることにより出力結果を得るルールベースで記述されるモデルであってもよい。
なお、前述したモデルは排他的なものとは限らない。具体例として、ＬＬＭとＶＬＭとＢＥＲＴとＧＰＴとの各々は、Ｔｒａｎｓｆｏｒｍｅｒモデルに含まれる。また、具体例として、Ｔｒａｎｓｆｏｒｍｅｒモデルは、ＮＮモデルに含まれる。また、学習アルゴリズム及びモデルの各々は、複数の種類を組み合わせたものであってもよい。モデルには、複数の異なる種類のデータを組み合わせて学習したマルチモーダルモデルと呼ばれるものも含まれる。
説明モデル５００は、具体例として、教師あり学習と強化学習と教師なし学習とのいずれかによって機械学習されたモデルである。説明モデル５００は、具体例として、深層学習、遺伝的プログラム、機能論理プログラム、又はその他の公知のアルゴリズム若しくは方法に従って学習を実行して得られたモデルである。また、説明モデル５００は、具体例として、ＮＮ（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデル、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）、拡散モデル（Ｄｉｆｆｕｓｉｏｎ ｍｏｄｅｌ）、Ｔｒａｎｓｆｏｒｍｅｒモデル、ＬＬＭ（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＶＬＭ（Ｖｉｓｕａｌ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ）、ＢＥＲＴ、ＧＰＴ（Ｇｅｎｅｒａｔｉｖｅ Ｐｒｅ－ｔｒａｉｎｅｄ Ｔｒａｎｓｆｏｒｍｅｒ）、又はＣＬＩＰ（Ｃｏｎｔｒａｓｔｉｖｅ Ｌａｎｇｕａｇｅ－Ｉｍａｇｅ Ｐｒｅ－ｔｒａｉｎｉｎｇ）と呼ばれるモデルであってもよい。また、説明モデル５００は、予め決められたテーブルを参照したり、予め決められた条件に基づいて判定を行ったりすることにより出力結果を得るルールベースで記述されるモデルであってもよい。
なお、前述したモデルは排他的なものとは限らない。具体例として、ＬＬＭとＶＬＭとＢＥＲＴとＧＰＴとの各々は、Ｔｒａｎｓｆｏｒｍｅｒモデルに含まれる。また、具体例として、Ｔｒａｎｓｆｏｒｍｅｒモデルは、ＮＮモデルに含まれる。また、学習アルゴリズム及びモデルの各々は、複数の種類を組み合わせたものであってもよい。モデルには、複数の異なる種類のデータを組み合わせて学習したマルチモーダルモデルと呼ばれるものも含まれる。
【0075】
図１２は、実施の形態３に係る学習装置１０２の構成例を示している。
学習装置１０２は、データ受領部１１０と、取得部１６０と、訓練部１３０と、記憶部１４０とを備える。
データ受領部１１０と、訓練部１３０と、記憶部１４０との各々については実施の形態１と同様である。
学習装置１０２は、データ受領部１１０と、取得部１６０と、訓練部１３０と、記憶部１４０とを備える。
データ受領部１１０と、訓練部１３０と、記憶部１４０との各々については実施の形態１と同様である。
【0076】
取得部１６０は、データ受領部１１０から入力された要素Ｄ２に直接割り当てられているラベル文字列Ｄ７を取得し、取得したラベル文字列Ｄ７に関連するテキストを検索するクエリＤ９、あるいは取得したラベル文字列を説明するようなテキストを出力させるプロンプトＤ１０を作成し、作成したクエリＤ９あるいはプロンプトＤ１０によってテキストを検索しあるいは生成し、得られたテキストＤ１１を出力する機能を有する。
実施の形態３において、取得部１６０は、情報取得部１６１と、文字列生成部１６２と、検索部１６３とを備える。
情報取得部１６１については実施の形態２と同様である。
実施の形態３において、取得部１６０は、情報取得部１６１と、文字列生成部１６２と、検索部１６３とを備える。
情報取得部１６１については実施の形態２と同様である。
【0077】
文字列生成部１６２は、対象要素に含まれている対象ラベル文字列に対応するテキストＤ１１を文書ＤＢ３００から検索することに用いられるクエリＤ９を生成する。文字列生成部１６２は、対象要素に含まれている対象ラベル文字列に対応するテキストＤ１１を説明モデル５００に対して生成させることに用いられるプロンプトＤ１０を生成する。クエリＤ９は、入力されたラベル文字列Ｄ７に関連するテキストＤ１１を検索することに用いられる。プロンプトＤ１０は、入力されたラベル文字列Ｄ７を説明するテキストＤ１１を説明モデル５００に対して生成させることに用いられる。
具体例として、文字列生成部１６２は、情報取得部１６１からラベル文字列Ｄ７が入力されたとき、クエリＤ９、又はプロンプトＤ１０を生成する。
具体例として、文字列生成部１６２は、情報取得部１６１からラベル文字列Ｄ７が入力されたとき、クエリＤ９、又はプロンプトＤ１０を生成する。
【0078】
文字列生成部１６２の処理の具体例について、図１３を用いて説明する。
図１３は、文字列生成部１６２の処理の具体例を示す概念図である。
最初に、文字列生成部１６２がクエリＤ９を生成する場合における処理の具体例を説明し、次に、文字列生成部１６２がプロンプトＤ１０を生成する場合における処理の具体例を説明する。
図１３は、文字列生成部１６２の処理の具体例を示す概念図である。
最初に、文字列生成部１６２がクエリＤ９を生成する場合における処理の具体例を説明し、次に、文字列生成部１６２がプロンプトＤ１０を生成する場合における処理の具体例を説明する。
【0079】
クエリＤ９が生成される場合、文字列生成部１６２には、情報取得部１６１から要素Ｄ２に対応するラベル文字列Ｄ７が入力される。文字列生成部１６２は、入力されたラベル文字列Ｄ７を含むテキストを検索するクエリＤ９を生成する。生成されたクエリＤ９は、検索部１６３を介して文書ＤＢ３００に問い合わせされる。
図１３の（ａ）に示すクエリＤ９は、文書ＤＢ３００がＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバにより実装されているとき、ＨＴＴＰサーバに、文字列として「ｔｏｋｙｏ」を含むテキストをＧＥＴリクエストにより検索する場合におけるクエリＤ９の一例である。なお、文字列生成部１６２が生成するクエリＤ９の形式は、文書ＤＢ３００の形態に応じた形式である。
図１３の（ａ）に示すクエリＤ９は、文書ＤＢ３００がＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）サーバにより実装されているとき、ＨＴＴＰサーバに、文字列として「ｔｏｋｙｏ」を含むテキストをＧＥＴリクエストにより検索する場合におけるクエリＤ９の一例である。なお、文字列生成部１６２が生成するクエリＤ９の形式は、文書ＤＢ３００の形態に応じた形式である。
【0080】
プロンプトＤ１０が生成される場合、文字列生成部１６２には、情報取得部１６１から要素Ｄ２に対応するラベル文字列Ｄ７が入力される。文字列生成部１６２は、ラベル文字列Ｄ７を説明するようなテキストを生成させるプロンプトＤ１０を生成する。生成されたプロンプトＤ１０は、検索部１６３を介して説明モデル５００に問い合わせされる。
図１３の（ｂ）に示すプロンプトＤ１０は、説明モデル５００がＧＰＴなどにより構成された生成型言語モデルであるとき、生成型言語モデルに、「ｔｏｋｙｏ」という文字列を説明するようなテキストを生成させるプロンプトを入力する場合におけるプロンプトＤ１０の一例である。なお、文字列生成部１６２が生成するプロンプトＤ１０の形式及び文言は、説明モデル５００の形態に応じた形式及び文言である。
図１３の（ｂ）に示すプロンプトＤ１０は、説明モデル５００がＧＰＴなどにより構成された生成型言語モデルであるとき、生成型言語モデルに、「ｔｏｋｙｏ」という文字列を説明するようなテキストを生成させるプロンプトを入力する場合におけるプロンプトＤ１０の一例である。なお、文字列生成部１６２が生成するプロンプトＤ１０の形式及び文言は、説明モデル５００の形態に応じた形式及び文言である。
【0081】
検索部１６３は、文字列生成部１６２によって生成されたクエリＤ９に基づいて文書ＤＢ３００を検索することにより対象要素に対応するテキスト情報を取得する。検索部１６３は、文字列生成部１６２によって生成されたプロンプトＤ１０を説明モデル５００に入力して対象要素に対応するテキスト情報を取得する。
具体例として、検索部１６３は、文字列生成部１６２から入力されたクエリＤ９あるいはプロンプトＤ１０を、文書ＤＢ３００又は説明モデル５００に入力し、得られた応答を要素Ｄ２に対応するテキストＤ１１として特徴抽出部１３１に出力する。
最初に、検索部１６３がクエリＤ９を文書ＤＢ３００に入力する場合における処理の具体例を説明する。次に、検索部１６３がプロンプトＤ１０を説明モデル５００に入力する場合における具体例を説明する。
具体例として、検索部１６３は、文字列生成部１６２から入力されたクエリＤ９あるいはプロンプトＤ１０を、文書ＤＢ３００又は説明モデル５００に入力し、得られた応答を要素Ｄ２に対応するテキストＤ１１として特徴抽出部１３１に出力する。
最初に、検索部１６３がクエリＤ９を文書ＤＢ３００に入力する場合における処理の具体例を説明する。次に、検索部１６３がプロンプトＤ１０を説明モデル５００に入力する場合における具体例を説明する。
【0082】
検索部１６３は、文字列生成部１６２が生成したクエリＤ９を、文書ＤＢ３００に入力する。具体例として、文書ＤＢ３００は、クエリＤ９に基づいて、ラベル文字列Ｄ７が含まれているテキストのうち１件を出力する。
出力されたテキストは、テキストＤ１１に格納される。その後、テキストＤ１１は特徴抽出部１３１に入力される。
出力されたテキストは、テキストＤ１１に格納される。その後、テキストＤ１１は特徴抽出部１３１に入力される。
【0083】
検索部１６３は、文字列生成部１６２が生成したプロンプトＤ１０を、説明モデル５００に入力する。具体例として、説明モデル５００は、プロンプトＤ１０に基づいて、ラベル文字列Ｄ７を説明するようなテキストを出力する。
出力されたテキストは、テキストＤ１１に格納される。その後、テキストＤ１１は特徴抽出部１３１に入力される。
出力されたテキストは、テキストＤ１１に格納される。その後、テキストＤ１１は特徴抽出部１３１に入力される。
【0084】
本実施の形態に係る特徴抽出部１３１は、検索部１６３によって取得されたテキストＤ１１に対応する対象テキストベクトルを対象言語モデルに基づいて生成する。
【0085】
＊＊＊動作の説明＊＊＊
図１４は、学習装置１０２の動作の一例を示すフローチャートである。図１４を用いて学習装置１０２の動作を説明する。
図１４に示す処理では、図１０に示す処理と異なり、ステップＳ６ｃ及びステップＳ６ｄが実行される。そのため、図１４に関してステップＳ６ｃ及びステップＳ６ｄを説明する。図１４に示す他のステップについては、図１０に示すステップ番号と同じステップ番号を付することによって処理の説明を省略する。
図１４は、学習装置１０２の動作の一例を示すフローチャートである。図１４を用いて学習装置１０２の動作を説明する。
図１４に示す処理では、図１０に示す処理と異なり、ステップＳ６ｃ及びステップＳ６ｄが実行される。そのため、図１４に関してステップＳ６ｃ及びステップＳ６ｄを説明する。図１４に示す他のステップについては、図１０に示すステップ番号と同じステップ番号を付することによって処理の説明を省略する。
【0086】
（ステップＳ６ｃ）
文字列生成部１６２は、ラベル文字列Ｄ７に関連するテキストを検索するようなクエリＤ９、あるいはラベル文字列Ｄ７を説明するようなテキストを生成させるプロンプトＤ１０を生成する。
文字列生成部１６２は、ラベル文字列Ｄ７に関連するテキストを検索するようなクエリＤ９、あるいはラベル文字列Ｄ７を説明するようなテキストを生成させるプロンプトＤ１０を生成する。
【0087】
（ステップＳ６ｄ）
検索部１６３は、文字列生成部１６２から入力されたクエリＤ９を文書ＤＢ３００に入力する、あるいは文字列生成部１６２から入力されたプロンプトＤ１０を説明モデル５００に入力する。
その後、検索部１６３は、得られたテキストをテキストＤ１１に格納する。
検索部１６３は、文字列生成部１６２から入力されたクエリＤ９を文書ＤＢ３００に入力する、あるいは文字列生成部１６２から入力されたプロンプトＤ１０を説明モデル５００に入力する。
その後、検索部１６３は、得られたテキストをテキストＤ１１に格納する。
【0088】
＊＊＊実施の形態３の効果の説明＊＊＊
実施の形態３に係る学習装置１０２は、要素に対応するテキストとして、要素のラベル文字列に関連するテキストを文書ＤＢ３００から検索することにより、外部リソースから要素を説明するテキストを取得する。そのため、本実施の形態によれば、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
実施の形態３に係る学習装置１０２は、要素に対応するテキストとして、要素のラベル文字列に関連するテキストを文書ＤＢ３００から検索することにより、外部リソースから要素を説明するテキストを取得する。そのため、本実施の形態によれば、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
【0089】
実施の形態３に係る学習装置１０２は、要素に対応するテキストとして、要素のラベル文字列を説明するようなテキストを説明モデル５００に対して生成させる。そのため、本実施の形態によれば、文書ＤＢ３００と紐づくような要素がない知識グラフ、あるいは文書ＤＢ３００と紐づくような要素が極端に少ないような知識グラフにおいても、要素を説明するテキストを柔軟に利用することができる。また、本実施の形態によれば、リンク予測及びエンティティ・アラインメントなどの下流タスクの精度を向上させることができる。
【0090】
＊＊＊他の実施の形態＊＊＊
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態１から３で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャートなどを用いて説明した手順は適宜変更されてもよい。
前述した各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
また、実施の形態は、実施の形態１から３で示したものに限定されるものではなく、必要に応じて種々の変更が可能である。フローチャートなどを用いて説明した手順は適宜変更されてもよい。
【符号の説明】
【0091】
１１ プロセッサ、１２ メモリ、１３ 補助記憶装置、１４ 入出力ＩＦ、１５ 通信装置、１８ 処理回路、１９ 信号線、９０，９１，９２ 情報処理システム、１００，１０１，１０２ 学習装置、１１０ データ受領部、１２０ 取得部、１２１ 情報取得部、１３０ 訓練部、１３１ 特徴抽出部、１３２ 埋込学習部、１４０ 記憶部、１５０ 取得部、１５１ 情報取得部、１５２ 文字列生成部、１６０ 取得部、１６１ 情報取得部、１６２ 文字列生成部、１６３ 検索部、２００ 三つ組みＤＢ、３００ 文書ＤＢ、４００ 言語モデル、５００ 説明モデル、Ｄ１ 三つ組み、Ｄ２ 要素、Ｄ３ ベクトル表現、Ｄ４ テキスト、Ｄ５ テキストベクトル、Ｄ６ 埋め込みベクトル、Ｄ７，Ｄ８ ラベル文字列、Ｄ９ クエリ、Ｄ１０ プロンプト、Ｄ１１ テキスト。
【要約】
学習装置（１００）は、知識グラフである対象知識グラフに含まれている２つのエンティティと１つのリレーションとから成る三つ組み（Ｄ１）の各要素を対象要素としたとき、対象要素に対応する対象ベクトル表現と、対象要素に対応するテキスト情報とに基づいて対象要素に対応する埋め込みベクトルを生成し、生成した埋め込みベクトル（Ｄ６）に基づいて対象知識グラフに対応する知識グラフ埋め込み表現を学習する埋込学習部（１３２）を備える。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】