知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】機械学習プログラム、機械学習方法および情報処理装置
(51)【国際特許分類】
G06N 5/02 20230101AFI20241008BHJP
G06N 20/00 20190101ALI20241008BHJP
【ＦＩ】
G06N5/02
G06N20/00
【請求項の数】
4
(21)【出願番号】P 2022541347
(86)(22)【出願日】2020-08-03
(86)【国際出願番号】 JP2020029718
(87)【国際公開番号】W WO2022029852
(87)【国際公開日】2022-02-10
【審査請求日】2023-01-13
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002147
【氏名又は名称】弁理士法人酒井国際特許事務所
(72)【発明者】
【氏名】岡嶋 成司
【審査官】渡辺 順哉
(56)【参考文献】
【文献】DING, Boyang ほか，Improving Knowledge Graph Embedding Using Simple Constraints，arXiv[online]，arXiv，2018年05月08日，[retrieved on 2020.10.21], Retrieved from the Internet: <URL: https://arxiv.org/pdf/1805.02408v2.pdf>
【文献】濱口拓男 ほか，未知エンティティを伴う知識ベース補完：グラフニューラルネットワークを用いたアプローチ，人工知能学会論文誌[online]，日本，一般社団法人 人工知能学会，2018年，Vol.33, No.2，pp.1-10，[retrieved on 2020.10.21], Retrieved from the Internet: <URL: https://www.jstage.jst.go.jp/article/tjsai/33/2/33_F-H72/_pdf/-char/ja>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００－９９／００
(57)【特許請求の範囲】
【請求項1】
ナレッジグラフに含まれる第１のトリプルと第２のトリプルとを特定し、前記第１のトリプルに含まれる第１の２つのエンティティのいずれかに接続された第１のエンティティと前記第２のトリプルに含まれる第２の２つのエンティティのいずれかに接続された第２のエンティティとの比較に基づいて、前記第１のトリプルと前記第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定し、
前記判定する処理において前記第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、前記第１のトリプルのそれぞれを示すベクトルの差分が前記第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に基づいた機械学習によって前記第１のトリプルのそれぞれを示すベクトルと前記第２のトリプルのそれぞれを示すベクトルとを生成する、
処理をコンピュータに実行させることを特徴とする機械学習プログラム。
【請求項2】
前記判定する処理は、前記第１のエンティティと前記第２のエンティティとの比較として、前記ナレッジグラフに含まれる各エンティティンが属するクラス間の階層構造に基づき、前記第１のエンティティが属する第１のクラスと前記第２のエンティティが属する第２のクラスとを特定し、
前記第１のクラスが前記第２のクラスよりも下位層に位置する場合に、前記第１のトリプルがより具体性が高い情報と関連付いていると判定する、
処理を含むことを特徴とする請求項１に記載の機械学習プログラム。
【請求項3】
ナレッジグラフに含まれる第１のトリプルと第２のトリプルとを特定し、前記第１のトリプルに含まれる第１の２つのエンティティのいずれかに接続された第１のエンティティと前記第２のトリプルに含まれる第２の２つのエンティティのいずれかに接続された第２のエンティティとの比較に基づいて、前記第１のトリプルと前記第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定し、
前記判定する処理において前記第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、前記第１のトリプルのそれぞれを示すベクトルの差分が前記第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に基づいた機械学習によって前記第１のトリプルのそれぞれを示すベクトルと前記第２のトリプルのそれぞれを示すベクトルとを生成する、
処理をコンピュータが実行することを特徴とする機械学習方法。
【請求項4】
ナレッジグラフに含まれる第１のトリプルと第２のトリプルとを特定し、前記第１のトリプルに含まれる第１の２つのエンティティのいずれかに接続された第１のエンティティと前記第２のトリプルに含まれる第２の２つのエンティティのいずれかに接続された第２のエンティティとの比較とのうち少なくとも一方に基づいて、前記第１のトリプルと前記第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定し、
前記第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、前記第１のトリプルのそれぞれを示すベクトルの差分が前記第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に基づいた機械学習によって前記第１のトリプルのそれぞれを示すベクトルと前記第２のトリプルのそれぞれを示すベクトルとを生成する、
制御部を有することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ナレッジグラフに基づく機械学習に関する。
【背景技術】
【0002】
ナレッジグラフ（KG：Knowledge Graph）をベクトル空間上に埋め込み、ナレッジグラフのノード（エンティティ）およびリンク（関係）をベクトルで表現することが行われている。なお、このようなベクトル表現は、埋め込み表現とも呼ばれる。また、ナレッジグラフは、一般化されたレベルの知識（クラス）であり、階層構造を有するオントロジーと、具体例レベルの知識であり、グラフ構造であるインスタンスとにより知識付けされた知識データの一例である。
【0003】
そして、このようなＫＧのベクトル表現を用いた機械学習により、エンティティ間の関係性をベクトル表現で与えることが行われている。例えば、与えられたＫＧに含まれる３つの組であるトリプル（主語、述語、目的語）＝（ｈ：始点，ｒ：関係，ｔ：終点）に対応するベクトル（ｖｈ，ｖｒ，ｖｔ）が「ｖｈ＋ｖｒ＝ｖｔ」を満たすように機械学習を実行し、エンティティのベクトルと関係のベクトルとを更新する。このような機械学習により生成されたベクトルを用いて、リンク予測、関係抽出、クラス予測などが実行される。
【0004】
例えば、リンク予測は、エンティティとリンクとを用いて関係性のあるエンティティを予測する演算であり、例えば、ベクトル「始点」とベクトル「関係」とをモデルに入力して、ベクトル「終点」を予測する。関係抽出は、２つのエンティティからそれらの関係性を予測する演算であり、例えば、ベクトル「始点」とベクトル「終点」とをモデルに入力して、ベクトル「関係」を予測する。タイプ予測は、２つのエンティティからそれらが属するクラスを予測する演算であり、例えば、ベクトル「始点」とベクトル「終点」とをモデルに入力して、ベクトル「クラス」を予測する。
【0005】
近年では、モデルの精度を上げる手法として、関係の含意関係を利用した制約を埋め込み計算（ベクトル計算）に導入する機械学習手法が知られている。具体的には、任意のエンティティｅ１，ｅ２間に関係ｑがあるときに、必ず関係ｒがある（ｒがｑを含意する）場合、トリプル（ｅ１，ｑ，ｅ２）のスコアがトリプル（ｅ１，ｒ，ｅ２）のスコアよりも高くなるようにそれぞれのベクトルを更新する。
【先行技術文献】
【非特許文献】
【0006】
【文献】Boyang Ding et al，“Improving Knowledge Graph Embedding Using Simple Constraints”，ACL 2018.
【発明の概要】
【発明が解決しようとする課題】
【0007】
しかしながら、上記機械学習手法では、モデルを用いて取得されるベクトル表現の精度が高いとは限らない。
【0008】
例えば、上記機械学習手法は、抽象度の低い関係（ターゲット）を含むトリプルに高いスコアを与える手法であるが、整理されていないナレッジグラフでは、ベクトル表現の精度が低下することがある。例えば、ターゲットが異なるクラスのエンティティで共通に利用されることがあるが、上記機械学習手法では、ターゲットを含意する関係を見つけることができず、正確に制約を適用できない場合があり、学習精度が低下する。また、上記機械学習手法は、関係の抽象度を扱っているが、エンティティの抽象度を扱うことができないので、生成されるモデルの精度が期待通りに高くなるとは限らない。
【0009】
一つの側面では、精度の高いベクトル表現を生成することができる機械学習プログラム、機械学習方法および情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
第１の案では、機械学習プログラムは、ナレッジグラフに含まれる第１のトリプルと第２のトリプルとを特定する処理をコンピュータに実行させる。機械学習プログラムは、前記ナレッジグラフに含まれる特定のクラスの組の複数のエンティティ間の複数の関係のそれぞれの出現状況に応じた前記第１のトリプルに含まれる第１の２つのエンティティ間の第１の関係と前記第２のトリプルに含まれる第２の２つのエンティティ間の第２の関係との比較と、前記第１の２つのエンティティのいずれかに接続された第１のエンティティと前記第２の２つのエンティティのいずれかに接続された第２のエンティティとの比較とのうち少なくとも一方に基づいて、前記第１のトリプルと前記第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定する処理をコンピュータに実行させる。機械学習プログラムは、前記判定する処理において前記第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、前記第１のトリプルのそれぞれを示すベクトルの差分が前記第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に基づいた機械学習によって前記第１のトリプルのそれぞれを示すベクトルと前記第２のトリプルのそれぞれを示すベクトルとを生成する処理をコンピュータに実行させる。
【発明の効果】
【0011】
一実施形態によれば、精度の高いベクトル表現を生成することができる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下に、本発明にかかる機械学習プログラム、機械学習方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
【0014】
図１は、実施例にかかる情報処理装置１０を説明する図である。図１に示すように、情報処理装置１０は、ナレッジグラフのエンティティと関係をベクトルで表現し、生成したベクトル表現を用いて機械学習を実行することで、エンティティ間の関係を精度よく示すベクトル表現を生成するコンピュータの一例である。
【0015】
ナレッジグラフは、オントロジーとインスタンスとを有する知識データの一例である。図２は、ナレッジグラフを説明する図である。図２に示すように、ナレッジグラフのオントロジーは、一般化されたレベルの知識であり、階層構造を有する。例えば、クラス「Thing」の下位階層（下位概念）として、クラス「Place」とクラス「Person」とが該当する。また、クラス「Place」の下位階層として、クラス「City」とクラス「Park」とが該当する。
【0016】
また、ナレッジグラフのインスタンスは、具体例レベルの知識であり、グラフ構造である。例えば、エンティティ「Hanako」は、関係「residence」でエンティティ「Kawasaki」に接続されており、エンティティ「Jiro」は、関係「friend」でエンティティ「Hanako」に接続される。エンティティ「Ichiro」は、関係「birthplace」でエンティティ「Kawasaki」に接続されるとともに、brother関係でエンティティ「Jiro」に接続される。また、エンティティ「Kawasaki」は、クラス「Place」に属することから、クラス「Place」とエンティティ「Kawasaki」の関係「type」を有する。同様に、エンティティ「Hanako」、「Jiro」、「Ichiro」は、クラス「Person」に属し、それぞれがクラス「Person」と関係「type」を有する。
【0017】
ここで、Translation－based modelの一種であるTransEと呼ばれる技術を用いた参考技術では、与えられたナレッジグラフに含まれる３つ組であるトリプル（ｈ，ｒ，ｔ）に対応するベクトル（ｖｈ，ｖｒ，ｖｔ）が「ｖｈ＋ｖｒ＝ｖｔ」を満たすように機械学習を実行し、エンティティのベクトルと関係のベクトルとが更新される。このとき、参考技術では、関係の含意関係を利用した制約をベクトル計算（埋め込み計算）に導入する。
【0018】
図３は、参考技術を説明する図である。図３に示すナレッジグラフが与えられたとき、例えば、参考技術は、任意のエンティティの間に関係「member」があるとき、必ず関係「affiliation」も存在し、関係「affiliation」が関係「member」を含意するとして、機械学習を実行する。具体的には、参考技術は、「v（Ichiro）＋v（member）がv（Ichiro）＋v（affiliation）よりv（A Corp.）に近くなるように、v（Jiro）＋v（member）がv（Jiro）＋v（affiliation）よりv（B Corp.）に近くなる」ように、それぞれのベクトルを更新する。つまり、参考技術は、より抽象度の低いリレーションを含むトリプルに高いスコア与える。なお、v（Ichiro）は、ベクトル（Ichiro）と同義であり、記載を簡略化するために、本実施例では、ベクトル（Ichiro）などをv（Ichiro）などと表記することがある。
【0019】
この参考技術は、抽象度の低い関係やターゲットを含むトリプルに高いスコアを与えて機械学習を実行するが、整理されていないナレッジグラフでは、異なるクラスのエンティティで共通にターゲットが利用されることがある。この場合、参考技術では、ターゲットを含意する関係が見つからず、制約が適切に適用できない場合がある。図４は、参考技術の問題点を説明する図である。図４の（ａ）では、関係「affiliation」を有するクラスと属性値との関係であることから、関係の含意関係を利用した制約をベクトル計算に導入することができる。一方で、図４の（ｂ）では、関係「member」を有するが関係「affiliation」を有さないデータが含まれているから上記制約を適用できないので、このようなベクトル表現を用いた機械学習では、学習精度の低下が起こり得る。
【0020】
また、参考技術は、関係の抽象度を扱っているが、エンティティの抽象度を扱うことができない。例えば、ある人とある人が友人関係にあるという事実よりも、ある野球選手とあるバスケットボール選手が友人関係にあるという事実を重視したい場合が考えられる。図５は、参考技術の問題点を説明する図である。図５に示すナレッジグラフは、エンティティ「Person A」とエンティティ「Person B」とが関係「friend」を有し（図５の（ａ）参照）、エンティティ「Baseball Player A」とエンティティ「Baseball Player B」と関係「friend」を有する（図５の（ｂ）参照）。この場合、図５の（ｂ）に示す「v（Baseball Player A）＋v（friend）＝v（Baseball Player B）」の方が図５の（ａ）に示す「v（Person A）＋v（friend）＝v（Person B）」よりも、重要であるとして機械学習を実行したい。しかし、参考技術では、これらのエンティティの抽象度を正確に区別して機械学習に反映することができないので、これらを区別できる程度に機械学習が進まず、学習精度が期待通りに高くなるとは限らない。
【0021】
そこで、実施例では、ナレッジグラフに基づく機械学習において、オントロジーに基づく制約を導入することで、ベクトル算出の精度を向上させる。具体的には、図１に示すように、実施例では、（手法１）含意判定の限定と（手法２）クラス階層の利用のいずれかまたは両方を用いることで、機械学習の精度を向上させ、精度の高いベクトル表現を生成する。なお、実施例１では、手法１を具体的に説明し、実施例２では、手法２を具体的に説明する。
【0022】
まず、手法１を用いた情報処理装置１０を説明する。図６は、実施例１にかかる情報処理装置１０の機能構成を示す機能ブロック図である。この情報処理装置１０は、各クラスペアに属する関係について含意判定を行う際に、クラスペアによって含意判定を行う範囲を限定することで、整理されていないナレッジグラフであっても、エンティティ間の関係性の含意関係を適切に導入したベクトル表現および機械学習を実現する。
【0023】
図６に示すように、実施例１にかかる情報処理装置１０は、通信部１１、記憶部１２、制御部２０を有する。通信部１１は、他の装置の通信を制御する。例えば、通信部１１は、管理者端末などからナレッジグラフ、各種情報、各処理の開始指示などを受信し、管理者端末に学習結果や予測結果などを表示する。
【0024】
記憶部１２は、各種データや制御部２０が実行するプログラムなどを記憶する。例えば、記憶部１２は、ナレッジグラフ１３とモデル１４を記憶する。なお、記憶部１２は、制御部２０が処理を実行する過程で生成される中間データなどを記憶することもできる。
【0025】
ナレッジグラフ１３は、オントロジーとインスタンスとを有する知識ベースの一例である。図７は、ナレッジグラフ１３の一例を示す図である。図７に示すように、ナレッジグラフ１３は、クラスペア（Person，Company）とクラスペア（Person，SportsClub）とを有する。
【0026】
クラス「Person」には、エンティティ「Ichiro」とエンティティ「Jiro」とエンティティ「Hanako」とエンティティ「Saburo」とが属する。クラス「Company」には、エンティティ「A Corp.」とエンティティ「B Corp.」とエンティティ「C Corp.」とが属する。クラス「SportsClub」には、エンティティ「A Team」が属する。
【0027】
エンティティ「Ichiro」は、関係「affiliation」でエンティティ「A Corp.」に接続されるとともに、関係「member」でエンティティ「A Corp.」に接続される。エンティティ「Jiro」は、関係「affiliation」でエンティティ「B Corp.」に接続されるとともに、関係「member」でエンティティ「B Corp.」に接続される。エンティティ「Hanako」は、関係「affiliation」でエンティティ「C Corp.」に接続される。エンティティ「Sabro」は、関係「member」でエンティティ「A Team」に接続される。
【0028】
モデル１４は、ベクトル表現の機械学習に用いるモデルである。例えば、モデル１４は、ナレッジグラフを補完するためのtranslation－basedモデルであり、エンティティや関係を示す連続値のベクトルを得るためのモデルである。
【0029】
制御部２０は、情報処理装置１０全体を司る処理部であり、取得部２１と判定部２２と生成部２３と予測部２４を有する。
【0030】
取得部２１は、ナレッジグラフ１３を取得して記憶部１２に格納する。例えば、取得部２１は、指定された取得先からナレッジグラフ１３を取得し、管理者端末などから送信されたナレッジグラフ１３を取得する。
【0031】
判定部２２は、ナレッジグラフの各クラスの含意関係を判定する際に、クラスペアによって含意判定を行う範囲を限定して含意判定を実行する。具体的には、判定部２２は、ナレッジグラフに含まれる第１のトリプルと第２のトリプルとを特定する。そして、判定部２２は、ナレッジグラフ１３に含まれる特定のクラスの組の複数のエンティティ間の複数の関係のそれぞれの出現状況に応じた第１のトリプルに含まれる第１の２つのエンティティ間の第１の関係と第２のトリプルに含まれる第２の２つのエンティティ間の第２の関係とを比較する。そして、判定部２２は、第１のトリプルと第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定する。
【0032】
例えば、判定部２２は、あるクラスペアに属するトリプルを列挙し、列挙されたトリプルに含まれるすべての関係について、その関係を有する主語と述語の組を列挙する。そして、判定部２２は、各組について、一方の関係が持つ主語と述語の組み合わせが、他方の関係が持つ主語と述語の組み合わせをすべて含んでいる場合に、含意関係が成立すると判定する。
【0033】
図７を例にして説明すると、判定部２２は、（Person，Company）に属するトリプルとして、（Ichiro，affiliation，A Corp.）、（Ichiro，member，A Corp.）、（Jiro，affiliation，B Corp.）、（Ichiro，member，B Corp.）、（Hanako，affiliation，C Corp.）を抽出する。続いて、判定部２２は、（Person，Company）に属するトリプルに含まれる関係として、「affiliation：（Ichiro，A Corp.）、（Jiro，B Corp.）、（Hanako，C Corp.）」と「member：（Ichiro，A Corp.）、（Jiro，B Corp.）」とを生成する。この結果、判定部２２は、関係「member」に含まれる（主語，述語）が関係「affiliation」にすべて含まれることから、関係「affiliation」が関係「member」を含意すると判定する。
【0034】
生成部２３は、第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、第１のトリプルのそれぞれを示すベクトルの差分が第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に従って、ナレッジグラフ１３とモデル１４とに基づいた機械学習を実行し、エンティティのベクトルや関係のベクトルを生成する。
【0035】
例えば、生成部２３は、あるクラスペア（Ｃ１，Ｃ２）に属する任意のエンティティｅ１，ｅ２（ｅ１はＣ１に属し、ｅ２はＣ２に属する）間に、関係ｑがあるときに、必ず関係ｒがある（ｒがｑを含意する）場合、トリプル（ｅ１．ｑ，ｅ２）のスコアがトリプル（ｅ１，ｒ，ｅ２）のスコアよりも高くなるようにそれぞれのベクトルを更新する。
【0036】
図８は、実施例１にかかるベクトル生成を説明する図である。図８では、図７で説明したナレッジグラフ１３を用いた機械学習について説明する。図８に示すように、生成部２３は、クラスペア（Person，Company）について、関係「affiliation」が関係「member」を含意すると判定されたことから、より具体的なリレーションである関係「member」の方を重要視した機械学習を実行する。
【0037】
例えば、生成部２３は、トリプル（Ichiro，affiliation，A Corp.）およびトリプル（Ichiro，member，A Corp.）について、「v（Ichiro）＋v（member）がv（Ichiro）＋v（affiliation）よりv（A Corp.）に近くなる」ように、ベクトルを更新する。同様に、生成部２３は、トリプル（Jiro，affiliation，B Corp.）およびトリプル（Jiro，member，B Corp.）について、「v（Jiro）＋v（member）がv（Jiro）＋v（affiliation）よりv（B Corp.）に近くなる」ように、ベクトルを更新する。
【0038】
このように、生成部２３は、各クラスペアの各トリプルについて、ナレッジグラフ１３とモデル１４とに基づいた機械学習を実行し、エンティティのベクトルや関係のベクトルを生成する。なお、機械学習の手法は、勾配法などの各種手法を用いることができる。
【0039】
予測部２４は、モデル１４等を用いて、リンク予測、関係抽出、クラス予測などを実行する。具体的には、予測部２４は、ベクトル（始点）とベクトル（関係）とをモデル１４に入力してベクトル（終点）を予測する。また、予測部２４は、ベクトル（始点）とベクトル（終点）とをモデルに入力して、ベクトル（関係）を予測する。
【0040】
例えば、予測部２４は、エンティティ「Ichiro」と関係「brotherOf」で接続されるエンティティを予測する場合、エンティティ「Ichiro」のベクトル「v（Ichiro）」と関係「brotherOf」のベクトル「v（brotherOf）」とをモデル１４に入力する。そして、予測部２４は、モデル１４によりベクトル演算「v（Ichiro）＋v（brotherOf）」などが実行されることで出力された結果を予測結果として取得する。そして、予測部２４は、予測結果を記憶部１２に記憶したり、ディスプレイなどに表示したり、管理者端末に送信したりする。
【0041】
図９は、実施例１にかかるベクトル生成処理の流れを示すフローチャートである。図９に示すように、判定部２２は、ナレッジグラフのすべてのベクトルを乱数で初期化し（Ｓ１０１）、ナレッジグラフから主語と目的語に対応するすべてのクラスペアのパターンを取得する（Ｓ１０２）。続いて、判定部２２は、各クラスペアに属するリレーションについて、含意判定を実行する（Ｓ１０３）。
【0042】
そして、生成部２３は、ナレッジグラフから、トリプル（ｅ１，ｒ，ｅ２）を取得し（Ｓ１０４）、トリプルのベクトルの大きさである「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値（Margin）より大きいか否かを判定する（Ｓ１０５）。
【0043】
ここで、「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値より大きい場合（Ｓ１０５：Ｙｅｓ）、生成部２３は、ベクトルの差分（ｅ１＋ｒ－ｅ２）が０に近づくように「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ１０６）。
【0044】
そして、Ｓ１０６を実行した後、または、「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値未満の場合（Ｓ１０５：Ｎｏ）、生成部２３は、関係ｒを含意する、または、関係ｒに含意される関係ｑを取得する（Ｓ１０７）。
【0045】
ここで、生成部２３は、関係ｒが関係ｑを含意する場合（Ｓ１０８：Ｙｅｓ）、ベクトルの差分（ｅ１＋ｒ－ｅ２）がベクトルの差分（ｅ１＋ｑ－ｅ２）のスコアより大きくなるように、「ｅ１，ｒ，ｅ２」のそれぞれのベクトルを更新する（Ｓ１０９）。
【0046】
一方、生成部２３は、関係ｒが関係ｑを含意しない場合（Ｓ１０８：Ｎｏ）、ベクトルの差分（ｅ１＋ｒ－ｅ２）がベクトルの差分（ｅ１＋ｑ－ｅ２）より小さくなるように、「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ１１０）。
【0047】
その後、生成部２３は、ベクトルの更新がなくなった、または、規定回数繰り返した場合に（Ｓ１１１：Ｙｅｓ）、処理を終了する。なお、生成部２３は、更新対象のベクトルが存在する場合、または、実行回数が規定回数未満の場合（Ｓ１１１：Ｎｏ）、Ｓ１０４以降を繰り返す。
【0048】
上述したように、実施例１にかかる情報処理装置１０は、クラスペアごとに関係の含意を判定することで、抽象度が低い関係ではあるが複数のクラスペア間で使われるような関係に対し、エンティティ間の関係性の含意関係を適切に区別して機械学習に反映することができる。この結果、情報処理装置１０は、精度の高いベクトル表現を生成することができる。
【0049】
次に、実施例２では、クラス階層を利用する手法２について説明する。なお、実施例２にかかる情報処理装置１０の機能構成は、実施例１と同様なので、詳細な説明は省略する。実施例２にかかる情報処理装置１０は、ベクトル表現の機械学習時に、クラス階層を利用した制約の適用を実行する。
【0050】
具体的には、判定部２２は、第１の２つのエンティティのいずれかに接続された第１のエンティティと第２の２つのエンティティのいずれかに接続された第２のエンティティとの比較により、第１のトリプルと第２のトリプルとのうちいずれのトリプルがより具体性が高い情報と関連付いているか判定する。
【0051】
また、生成部２３は、第１のトリプルがより具体性が高い情報と関連付いていると判定された場合、第１のトリプルのそれぞれを示すベクトルの差分が第２のトリプルのそれぞれを示すベクトルの差分より小さいという制約条件に従って、ナレッジグラフ１３とモデル１４とに基づいた機械学習を実行する。具体的には、生成部２３は、クラスＣ´１がクラスＣ１の下位概念、クラスＣ´２がクラスＣ２の下位概念のとき、（Ｃ１，Ｃ２）に属するエンティティ（ｅ１，ｅ２）、（Ｃ´１，Ｃ´２）に属するエンティティ（ｅ１´，ｅ２´）について、トリプル（ｅ１´，ｒ，ｅ２´）のスコアがトリプル（ｅ１，ｒ，ｅ２）のスコアよりも高くなるようにそれぞれのベクトルを更新する。
【0052】
図１０を用いて具体的に説明する。図１０は、実施例２にかかるベクトル生成を説明する図である。図１０に示すナレッジグラフは、オントロジーとして、クラス「Person」、クラス「Teacher」、クラス「Doctor」を有する。そして、クラス「Person」が上位階層（上位クラス）であり、クラス「Teacher」とクラス「Doctor」のそれぞれがクラス「Person」の下位階層（下位クラス）である。
【0053】
また、ナレッジグラフは、インスタンスとして、エンティティ「Taro」、エンティティ「Ichiro」、エンティティ「Hanako」、エンティティ「Jiro」を有する。そして、エンティティ「Taro」とエンティティ「Ichiro」は、クラス「Person」に属し、関係「friend」を有する。エンティティ「Hanako」とエンティティ「Jiro」は、クラス「Doctor」に属し、関係「friend」を有する。
【0054】
図１０の場合、判定部２２は、エンティティ「Hanako」のクラス「Teacher」がエンティティ「Taro」のクラス「Person」の下位概念かつエンティティ「Jiro」のクラス「Doctor」がエンティティ「Ichiro」のクラス「Person」の下位概念であることを特定する。このため、生成部２３は、トリプル（Taro，friend，Ichiro）よりもトリプル（Hanako，friend，Jiro）のスコアが高くなるように、ベクトルを更新する。すなわち、生成部２３は、「v（Hanako）＋v（friend）＝v（Jiro）」の方が「v（Taro）＋v（friend）＝v（Ichiro）」よりも大きくなるように、ベクトルを更新する。
【0055】
図１１は、実施例２にかかるベクトル生成処理の流れを示すフローチャートである。図１１に示すように、判定部２２は、ナレッジグラフのすべてのベクトルを乱数で初期化し（Ｓ２０１）、レッジグラフの各トリプルについて、クラス階層に基づいて上位下位判定を行う（Ｓ２０２）。
【0056】
そして、生成部２３は、ナレッジグラフから、トリプルｔ（ｅ１，ｒ，ｅ２）を取得し（Ｓ２０３）、トリプルｔのベクトルの大きさである「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値（Margin）より大きいか否かを判定する（Ｓ２０４）。
【0057】
ここで、「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値より大きい場合（Ｓ２０４：Ｙｅｓ）、生成部２３は、ベクトルの差分（ｅ１＋ｒ－ｅ２）が０に近づくように「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ２０５）。
【0058】
そして、Ｓ２０５を実行した後、または、「｜｜ｅ１＋ｒ－ｅ２｜｜」が閾値未満の場合（Ｓ２０４：Ｎｏ）、生成部２３は、ナレッジグラフからトリプルｔと上位下位関係にあるトリプルｔ´（ｅ１´，ｒ，ｅ２´）を取得する（Ｓ２０６）。
【0059】
ここで、生成部２３は、トリプルｔ´がトリプルｔの上位トリプルである場合（Ｓ２０７：Ｙｅｓ）、ベクトルの差分（ｅ１´＋ｒ－ｅ２´）がベクトルの差分（ｅ１＋ｒ－ｅ２）のスコアより大きくなるように、「ｅ１，ｅ２，ｅ１´，ｅ２´」のそれぞれのベクトルを更新する（Ｓ２０８）。
【0060】
一方、生成部２３は、トリプルｔ´がトリプルｔの下位トリプルである場合（Ｓ２０７：Ｎｏ）、ベクトルの差分（ｅ１´＋ｒ－ｅ２´）がベクトルの差分（ｅ１＋ｒ－ｅ２）のスコアより小さくなるように、「ｅ１，ｅ２，ｅ１´，ｅ２´」それぞれのベクトルを更新する（Ｓ２０９）。
【0061】
その後、生成部２３は、ベクトルの更新がなくなった、または、規定回数繰り返した場合に（Ｓ２１０：Ｙｅｓ）、処理を終了する。なお、生成部２３は、更新対象のベクトルが存在する場合、または、実行回数が規定回数未満の場合（Ｓ２１０：Ｎｏ）、Ｓ２０３以降を繰り返す。
【0062】
上述したように、実施例２にかかる情報処理装置１０は、同じ関係でも、より具体的なエンティティ間の関係を重視して機械学習を実行することで、精度の高いベクトル表現を生成することができる。
【0063】
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
【0064】
上記実施例で用いたナレッジグラフ、エンティティ例、クラス例、関係例、数値例、閾値、表示例等は、あくまで一例であり、任意に変更することができる。また、実施例１で説明した手法１と実施例２で説明した手法は、組み合わせて用いることもできる。
【0065】
また、上記各実施例では、TransEを用いた機械学習を実行する例で説明したが、これに限定されるものではなく、他の機械学習モデルを採用することができる。そこで、実施例１と実施例２について、汎用的なモデルを用いたときのフローチャートを説明する。
【0066】
図１２は、クラスペアを用いたベクトル生成処理の汎用的な流れを示すフローチャートである。図１２に示す処理の流れにおいて、実施例１の図９と異なる点は、スコア関数として、ｆ（エンティティ，関係，エンティティ）を用いる点である。なお、スコア関数は、様々な公知の関数を用いることができる。
【0067】
具体的には、図１２のＳ３０１からＳ３０４は、図９のＳ１０１からＳ１０４と同様なので、詳細な説明は省略する。生成部２３は、ナレッジグラフから取得したトリプルのベクトルを用いたスコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値（Margin）より大きいか否かを判定する（Ｓ３０５）。
【0068】
ここで、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値より大きい場合（Ｓ３０５：Ｙｅｓ）、生成部２３は、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が０に近づくように「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ３０６）。
【0069】
そして、Ｓ３０６を実行した後、または、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値未満の場合（Ｓ３０５：Ｎｏ）、生成部２３は、関係ｒを含意する、または、関係ｒに含意される関係ｑを取得する（Ｓ３０７）。
【0070】
ここで、生成部２３は、関係ｒが関係ｑを含意する場合（Ｓ３０８：Ｙｅｓ）、スコア関数（ｆ（ｅ１，ｒ，ｅ２））がスコア関数（ｆ（ｅ１，ｑ，ｅ２））より大きくなるように、「ｅ１，ｒ，ｅ２」のそれぞれのベクトルを更新する（Ｓ３０９）。
【0071】
一方、生成部２３は、関係ｒが関係ｑを含意しない場合（Ｓ３０８：Ｎｏ）、スコア関数（ｆ（ｅ１，ｒ，ｅ２））がスコア関数（ｆ（ｅ１，ｑ，ｅ２））より小さくなるように、「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ３１０）。
【0072】
その後、生成部２３は、ベクトルの更新がなくなった、または、規定回数繰り返した場合に（Ｓ３１１：Ｙｅｓ）、処理を終了する。なお、生成部２３は、更新対象のベクトルが存在する場合、または、実行回数が規定回数未満の場合（Ｓ３１１：Ｎｏ）、Ｓ３０４以降を繰り返す。
【0073】
図１３は、クラス階層を用いたベクトル生成処理の汎用的な流れを示すフローチャートである。図１３に示す処理の流れにおいて、実施例２の図１１と異なる点は、スコア関数として、ｆ（エンティティ，関係，エンティティ）を用いる点である。なお、スコア関数は、様々な公知の関数を用いることができる。
【0074】
具体的には、図１３のＳ４０１からＳ４０３は、図１１のＳ２０１からＳ２０３と同様なので、詳細な説明は省略する。生成部２３は、ナレッジグラフから取得したトリプルのベクトルを用いたスコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値（Margin）より大きいか否かを判定する（Ｓ４０４）。
【0075】
ここで、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値より大きい場合（Ｓ４０４：Ｙｅｓ）、生成部２３は、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が０に近づくように「ｅ１，ｒ，ｅ２」それぞれのベクトルを更新する（Ｓ４０５）。
【0076】
そして、Ｓ４０５を実行した後、または、スコア関数（ｆ（ｅ１，ｒ，ｅ２））が閾値未満の場合（Ｓ４０４：Ｎｏ）、生成部２３は、ナレッジグラフからトリプルｔと上位下位関係にあるトリプルｔ´（ｅ１´，ｒ，ｅ２´）を取得する（Ｓ４０６）。
【0077】
ここで、生成部２３は、トリプルｔ´がトリプルｔの上位トリプルである場合（Ｓ４０７：Ｙｅｓ）、スコア関数（ｆ（ｅ１´，ｒ，ｅ２´））がスコア関数（ｆ（ｅ１，ｒ，ｅ２））より大きくなるように、「ｅ１，ｅ２，ｅ１´，ｅ２´」それぞれのベクトルを更新する（Ｓ４０８）。
【0078】
一方、生成部２３は、トリプルｔ´がトリプルｔの下位トリプルである場合（Ｓ４０７：Ｎｏ）、スコア関数（ｆ（ｅ１´，ｒ，ｅ２´））がスコア関数（ｆ（ｅ１，ｒ，ｅ２））より小さくなるように、「ｅ１，ｅ２，ｅ１´，ｅ２´」それぞれのベクトルを更新する（Ｓ４０９）。
【0079】
その後、生成部２３は、ベクトルの更新がなくなった、または、規定回数繰り返した場合に（Ｓ４１０：Ｙｅｓ）、処理を終了する。なお、生成部２３は、更新対象のベクトルが存在する場合、または、実行回数が規定回数未満の場合（Ｓ４１０：Ｎｏ）、Ｓ４０３以降を繰り返す。
【0080】
上述したように、情報処理装置１０は、上記手法１および手法２を広く利用される機械学習モデルに適用することができるので、汎用性を向上させることができる。
【0081】
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0082】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
【0083】
さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【0084】
図１４は、ハードウェア構成例を説明する図である。図１４に示すように、情報処理装置１０は、通信装置１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１４に示した各部は、バス等で相互に接続される。
【0085】
通信装置１０ａは、ネットワークインタフェースカードなどであり、他の装置との通信を行う。ＨＤＤ１０ｂは、図６に示した機能を動作させるプログラムやＤＢを記憶する。
【0086】
プロセッサ１０ｄは、図６に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図６等で説明した各機能を実行するプロセスを動作させる。例えば、このプロセスは、情報処理装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、取得部２１、判定部２２、生成部２３、予測部２４等と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、取得部２１、判定部２２、生成部２３、予測部２４等と同様の処理を実行するプロセスを実行する。
【0087】
このように、情報処理装置１０は、プログラムを読み出して実行することで機械学習方法を実行する情報処理装置として動作する。また、情報処理装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、情報処理装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
【0088】
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＭＯ（Magneto－Optical disk）、ＤＶＤ（Digital Versatile Disc）などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
【符号の説明】
【0089】
１０ 情報処理装置
１１ 通信部
１２ 記憶部
１３ ナレッジグラフ
１４ モデル
２０ 制御部
２１ 取得部
２２ 判定部
２３ 生成部
２４ 予測部
１１ 通信部
１２ 記憶部
１３ ナレッジグラフ
１４ モデル
２０ 制御部
２１ 取得部
２２ 判定部
２３ 生成部
２４ 予測部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】