特開 2023-9024 知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのデバイス、コンピュータプログラム及びコンピュータ実装された方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023009024

(43)【公開日】2023-01-19

(54)【発明の名称】知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのデバイス、コンピュータプログラム及びコンピュータ実装された方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20230112BHJP

【ＦＩ】

G06N20/00 130

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022108359

(22)【出願日】2022-07-05

(31)【優先権主張番号】21184012

(32)【優先日】2021-07-06

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】ダリア ステパノワ

(72)【発明者】

【氏名】モハメド ガド－エルラブ

(72)【発明者】

【氏名】ニティーシャ ヤイン

(72)【発明者】

【氏名】チュン キエン チャン

(57)【要約】      （修正有）

【課題】知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定する、方法、プログラム及びデバイスを提供する。
【解決手段】方法は、知識グラフ埋込み３０８を用いて予測トリプル３１０を決定するステップと、知識グラフ３０２のトリプルと、オントロジ３０４に関して矛盾する予測トリプル３１０とを含むトリプルのセット３１２を決定するステップと、トリプルのセット３１２から予測トリプル３１０のトリプルにおける目的語エンティティのための置換エンティティを決定し、関係、主語エンティティ及び置換エンティティを含むように負のサンプル３０６－１を決定するステップ、又は、サブセット３１２から、予測トリプル３１０における主語エンティティのための置換エンティティを決定し、関係、目的語エンティティ及び置換エンティティを含むように負のサンプル３０６－１を決定するステップと、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

知識グラフ（３０２）の知識グラフ埋込み（３０８）をトレーニングするための負のサンプル（３０６－１）を決定するためのコンピュータ実装された方法であって、
前記知識グラフ（３０２）は、オントロジ（３０４）によって拡張され、前記オントロジ（３０４）は、前記知識グラフ（３０２）のファクトを偽のファクトから区別するための少なくとも１つの制約を含む、方法において、
知識グラフ埋込み（３０８）を用いて、予測トリプル（３１０）を決定するステップ（３）と、
前記知識グラフ（３０２）の少なくとも１つのトリプルと、前記オントロジ（３０４）に関して矛盾する予測トリプル（３１０）の少なくとも１つとを含むトリプルのセット（３１２）を決定するステップ（４）であって、前記予測トリプル（３１０）の少なくとも１つのトリプルは、前記知識グラフ（３０２）からの主語エンティティ、関係及び目的語エンティティを含む、ステップ（４）と、
前記トリプルのセット（３１２）から、前記予測トリプル（３１０）の少なくとも１つのトリプルにおける前記目的語エンティティのための置換エンティティを決定し、前記関係、前記主語エンティティ及び前記置換エンティティを含むように前記負のサンプル（３０６－１）を決定するステップ（５）、又は、
サブセット（３１２）から、前記予測トリプル（３１０）の少なくとも１つのトリプルにおける前記主語エンティティのための置換エンティティを決定し、前記関係、前記目的語エンティティ及び前記置換エンティティを含むように前記負のサンプル（３０６－１）を決定するステップ（５）と、
を含むことを特徴とする、コンピュータ実装された方法。

【請求項2】

前記方法は、前記目的語エンティティを前記置換エンティティにより置き換えることから生じるトリプルが、前記少なくとも１つの予測トリプル及び前記知識グラフ（３０２）のトリプルとは異なるように、前記目的語エンティティのための前記置換エンティティを決定するステップ（５）、又は、前記主語エンティティを前記置換エンティティにより置き換えることから生じるトリプルが、前記少なくとも１つの予測トリプル及び前記知識グラフ（３０２）のトリプルとは異なるように、前記主語エンティティのための前記置換エンティティを決定するステップ（５）を含む、請求項１に記載の方法。

【請求項3】

前記主語エンティティのための前記置換エンティティを決定するステップ（５）は、前記トリプルのセット（３１２）内で前記主語エンティティの局所タイプを決定するステップと、前記主語エンティティの前記局所タイプから予め定められた順序内で局所タイプを有する前記置換エンティティを選択するステップとを含む、請求項１又は２に記載の方法。

【請求項4】

前記目的語エンティティのための前記置換エンティティを決定するステップ（５）は、前記トリプルのセット（３１２）内で前記目的語エンティティの局所タイプを決定するステップと、前記目的語エンティティの前記局所タイプから予め定められた順序内で局所タイプを有する前記置換エンティティを選択するステップとを含む、請求項１又は２に記載の方法。

【請求項5】

前記トリプルのセット（３１２）内で複数の置換エンティティを決定するステップと、前記複数の置換エンティティ内で置換エンティティごとに負のサンプル（３０６－１）を決定するステップとを含む、請求項１乃至４のいずれか一項に記載の方法。

【請求項6】

少なくとも１つの負のサンプル（３０６－１）を含むトレーニングデータを決定するステップ及び／又は格納するステップを含む、請求項１乃至５のいずれか一項に記載の方法。

【請求項7】

先行する反復の少なくとも１つの負のサンプル（３０６－１）を用いて、反復内で前記知識グラフを埋込み（３０８）をトレーニングするステップ（２）を含む、請求項１乃至６のいずれか一項に記載の方法。

【請求項8】

知識グラフ（３０２）の知識グラフ埋込み（３０８）をトレーニングするための負のサンプル（３０６－１）を決定するためのデバイス（２００）であって、
前記知識グラフ（３０２）は、オントロジ（３０４）によって拡張され、前記オントロジ（３０４）は、前記知識グラフ（３０２）のファクトを偽のファクトから区別するための少なくとも１つの制約を含む、デバイス（２００）において、
請求項１乃至７のいずれか一項に記載の方法を実施するように構成されていることを特徴とするデバイス（２００）。

【請求項9】

コンピュータによって実行されるときに前記コンピュータに請求項１乃至７のいずれか一項に記載の方法を実施させるためのコンピュータ可読命令を含むことを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、知識グラフＫＧの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのコンピュータ実装された方法に関する。

【背景技術】

【0002】

ＫＧは、正のトリプル又は負のトリプルを用いてトレーニングすることができる。ＫＧは、正のトリプルのみをＫＧのファクトとして明示的に格納するため、適当な負のトリプルの生成は、非常に困難な問題であると認識されている。

【発明の概要】

【発明が解決しようとする課題】

【0003】

実際には不適正なファクトである負のサンプルを提供する体系的な手法を有する方法を提供することが望まれる。

【課題を解決するための手段】

【0004】

発明の開示
知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのコンピュータ実装された方法であって、知識グラフは、オントロジによって拡張され、オントロジは、知識グラフのファクトを偽のファクトから区別するための少なくとも１つの制約を含む、方法において、本方法は、以下のステップ、即ち、知識グラフ埋込みを用いて、予測トリプルを決定するステップと、知識グラフの少なくとも１つのトリプルと、オントロジに関して矛盾する予測トリプルの少なくとも１つとを含むトリプルのセットを決定するステップであって、予測トリプルの少なくとも１つのトリプルは、知識グラフからの主語エンティティ、関係及び目的語エンティティを含む、ステップと、トリプルのセットから、予測トリプルの少なくとも１つのトリプルにおける目的語エンティティのための置換エンティティを決定し、関係、主語エンティティ及び置換エンティティを含むように負のサンプルを決定するステップ、又は、サブセットから、予測トリプルの少なくとも１つのトリプルにおける主語エンティティのための置換エンティティを決定し、関係、目的語エンティティ及び置換エンティティを含むように負のサンプルを決定するステップと、を含む。入力された知識グラフからのトリプルと、埋込みによって作成された予測トリプルとを含むトリプルのセットは、矛盾のための説明を表す。この説明により、意味論的に類似したさらなる矛盾トリプルが推論される。このさらなる矛盾トリプルは、埋込みモデルによって推論された矛盾トリプルの汎化を介して決定される。この方法が生成するトリプルは、知識グラフ及びそれに付随するオントロジと矛盾する負のサンプルである。

【0005】

本方法は、目的語エンティティを置換エンティティにより置き換えることから生じるトリプルが、少なくとも１つの予測トリプル及び知識グラフのトリプルとは異なるように、目的語エンティティのための置換エンティティを決定するステップ、又は、主語エンティティを置換エンティティにより置き換えることから生じるトリプルが、少なくとも１つの予測トリプル及び知識グラフのトリプルとは異なるように、主語エンティティのための置換エンティティを決定するステップを含み得る。

【0006】

主語エンティティのための置換エンティティを決定するステップは、トリプルのセット内で主語エンティティの局所タイプを決定するステップと、主語エンティティの局所タイプから予め定められた順序内で局所タイプを有する置換エンティティを選択するステップとを含み得る。このことは、知識グラフの近傍にあるエンティティが、主語エンティティの代わりとして検出されることを意味する。

【0007】

目的語エンティティのための置換エンティティを決定するステップは、トリプルのセット内で目的語エンティティの局所タイプを決定するステップと、目的語エンティティの局所タイプから予め定められた順序内で局所タイプを有する置換エンティティを選択するステップとを含み得る。このことは、知識グラフの近傍にあるエンティティが、目的語エンティティの代わりとして検出されることを意味する。

【0008】

好適には、本方法は、トリプルのセット内で複数の置換エンティティを決定するステップと、複数の置換エンティティ内で置換エンティティごとに負のサンプルを決定するステップとを含む。

【0009】

負のサンプルをさらなるトレーニング用に利用可能にさせるために、本方法は、少なくとも１つの負のサンプルを含むトレーニングデータを決定するステップ及び／又は格納するステップを含む。

【0010】

本方法は、先行の反復からの少なくとも１つの負のサンプルを用いて、反復内で知識グラフ埋込みをトレーニングするステップを含み得る。

【0011】

知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのデバイスであって、ここで、知識グラフは、オントロジによって拡張され、ここで、オントロジは、知識グラフのファクトを偽のファクトから区別するための少なくとも１つの制約を含む本デバイスは、本方法を実行するように構成されている。

【0012】

コンピュータプログラムは、コンピュータによって実行されるときにコンピュータに本方法を実施させるためのコンピュータ可読命令を含む。

【0013】

さらなる好適な実施形態は、以下の説明及び図面から導出可能である。

【図面の簡単な説明】

【0014】

【図1】例示的な知識グラフを示した図である。

【図2】知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するためのデバイスを概略的に示した図である。

【図3】知識グラフの知識グラフ埋込みをトレーニングするための負のサンプルを決定するための方法の一部を示した図である。

【発明を実施するための形態】

【0015】

知識グラフ（ＫＧ）は、エンティティのセット及び関係のセットを含む。ＫＧは、エンティティのセットの少なくとも１つのエンティティを用いてファクトを表現することによって、所定の関心定義域についてのファクトを記述し、これは、関係のセットの少なくとも１つの関係を介して、エンティティのセットの少なくとも１つの他のエンティティに相互接続されている。

【0016】

ＫＧ表現においては、エンティティは、ＫＧのノードによって表され、２つのエンティティ間の関係は、これらのノード間のＫＧのエッジによって表される。

【0017】

ファクトは、主語、述語及び目的語のトリプルである。ＫＧにおいては、主語はエンティティ、目的語もエンティティ、述語は関係を表す。

【0018】

ＫＧの知識グラフ埋込みＫＧＥにおいて、エンティティは、埋込みによって表現される。ＫＧＥにおいて、関係は、埋込みによって表現される。あるファクトの主語の埋込み、述語の埋込み、目的語の埋込みのトリプルは、ＫＧＥにおいてファクトを表す。

【0019】

ＫＧは、第１の所与のエンティティと第２の所与のエンティティとの間の関係を予測するために使用されるものとしてもよい。関係は、スコアに依存して関係のセットから選択されるものとしてもよい。スコアは、ＫＧＥにおける第１のエンティティの埋込み、ＫＧＥにおける第２のエンティティの埋込み、及び、ＫＧＥにおける関係の埋込みをスコアにマッピングするスコア関数を用いて決定されるものとしてもよい。

【0020】

ＫＧは、所与の第２のエンティティに対する所与の関係を有する第１のエンティティを予測するために使用されるものとしてもよい。第１のエンティティは、スコアに依存してエンティティのセットから選択されるものとしてもよい。スコアは、ＫＧＥにおける第１のエンティティの埋込み、ＫＧＥにおける所与の第２のエンティティの埋込み、及び、ＫＧＥにおける所与の関係の埋込みをスコアにマッピングするスコア関数を用いて決定されるものとしてもよい。

【0021】

埋込みは、ベクトル空間におけるベクトルであるものとしてもよい。スコア関数を用いてスコアを決定するステップは、ベクトル和又はベクトル乗算を決定するステップを含み得る。異なる式が、同様にスコアを決定するために使用されるものとしてもよい。ベクトル和を決定するステップは、関係を表すベクトルを、第１のエンティティを表すベクトルに加算するステップを含むものとしてもよい。スコアを決定するステップは、第２のエンティティを表すベクトルに対するベクトル和の距離を決定するステップを含むものとしてもよい。この距離は、同様に、ベクトル乗算又は異なる式から決定されるものとしてもよい。

【0022】

エンティティの埋込みは、第１のベクトル空間におけるベクトルであるものとしてもよい。関係の埋込みは、第１のベクトル空間又は第２のベクトル空間におけるベクトルであるものとしてもよい。スコアを決定するステップは、第１のベクトル空間における第１のエンティティを表す第１のベクトルと、第２のベクトル空間における第１のベクトルとのマッピングを決定するステップを含み得る。スコアを決定するステップは、第１のベクトル空間における第２のエンティティを表す第２のベクトルと、第２のベクトル空間における第２のベクトルとのマッピングを決定するステップを含むものとしてもよい。スコア関数を用いてスコアを決定するステップは、ベクトル和を決定するステップを含み得る。ベクトル和を決定するステップは、第２のベクトル空間における関係を表すベクトルを第１のベクトルに加算するステップを含み得る。スコアを決定するステップは、第２のベクトルに対するベクトル和の距離を決定することを含み得る。

【0023】

一例においては、この距離は、ユークリッド距離である。

【0024】

ＫＧとの関係を予測するために、２つの所与のエンティティを含む入力は、関係を含む出力にマッピングされるものとしてもよい。関係は、関係のセットから選択されるものとしてもよい。一例においては、選択された関係は、関係のセットの少なくとも他の関係よりも高いスコアとなる。好適には、この関係には、関係のセットの中で最も高いスコアの関係となるものが選択される。

【0025】

ＫＧを用いてエンティティを予測するために、所与のエンティティ及び所定の関係を含む入力が、エンティティを含む出力にマッピングされるものとしてもよい。エンティティは、エンティティのセットから選択されるものとしてもよい。一例においては、選択されたエンティティは、エンティティのセットの少なくとも他のエンティティよりも高いスコアとなる。好適には、このエンティティには、エンティティのセットの中で最も高いスコアのエンティティとなるものが選択される。

【0026】

ニューラルネットワークは、ＫＧＥを表現するためにトレーニングされるものとしてもよい。ニューラルネットワークは、埋込みのトリプルを含むトレーニングデータによってトレーニングされるものとしてもよい。トレーニングデータは、ＫＧの真のファクトを表すトリプルを含み得る。トレーニングデータは、ＫＧの真のファクトではないトリプルを表すトリプルも含み得る。

【0027】

ニューラルネットワークは、エンティティのセットの所与の第１のエンティティの第１の埋込みと、所与の第２のエンティティの第２の埋込みとを、関係のセットの関係ごとのスコアにマッピングするようにトレーニングされるものとしてもよい。関係のスコアは、この関係が、所与の第１のエンティティと所与の第２のエンティティとの間の関係であるという関係についての確率を表す。

【0028】

ニューラルネットワークは、所与のエンティティの埋込みと、関係のセットの所与の関係の埋込みとを、エンティティのセットのエンティティごとのスコアにマッピングするようにトレーニングされるものとしてもよい。エンティティのスコアは、このエンティティが、所与のエンティティに対する所与の関係を有するエンティティであるというエンティティについての確率を表す。

【0029】

ＫＧは、自然な質疑応答、ウェブ検索、モノのインターネット、及び、データ分析に広く使用されている。ＫＧは何百万ものファクトに関する情報を格納している。

【0030】

ＫＧは、自動的又は半自動的に構築されるものとしてもよいし、例えば、クラウドソーシング手法の使用によって少なくとも部分的に手動により構築されるものとしてもよい。

【0031】

トレーニングにおいては、ＫＧ又はＫＧＥ、特にニューラルネットワークは、利用可能な知識を表すために、トレーニングデータを用いてトレーニングすることができる。このトレーニングデータは、真のファクトを表す正のトリプルと、不適正なファクトを表す負のトリプルとを含み得る。

【0032】

ＫＧ又はＫＧＥ、特にニューラルネットワークは、正のトリプル又は負のトリプルを用いてトレーニングされるものとしてもよい。

【0033】

以下に説明する方法は、不適正なファクトである負のトリプルを提供する体系的な手法を提供する。

【0034】

本方法は、適正なトリプル即ち正のトリプルと、不適正なトリプル即ち負のトリプルとを認識する。

【0035】

ＫＧは、ファクト情報の相互リンクされたコレクションを表す。ＫＧは、トリプル（主語；述語；目的語）のセット、例えば、（ｊｏｈｎ；ｗｏｒｋｓＡｔ；ｂｏｓｃｈ）などとして符号化されるものとしてもよい。そのようなトリプルの主語又は目的語は、エンティティと称され、述語は、関係と称される。ＫＧのトリプルのセットは、頂点及び辺がラベル付けされた有向グラフとして表すことができる。ＫＧのトリプルは、ファクトと称される。ＫＧファクトは、以下のように
ｍａｎ（ｊｏｈｎ），ｗｏｒｋｓＡｔ（ｊｏｈｎ；ｂｏｓｃｈ）
単項又は二項の基底述語として表すことができる。

【0036】

図１は、知識グラフ１００を概略的に示す。この知識グラフ１００は、複数のエンティティ及び複数の関係を含む。この知識グラフ１００からは、以下のような知識グラフファクト、即ち、
（１０２，１２０，１０４）
（１１０，１２２，１０４）
（１０６，１２４，１０２）
（１０６，１２８，１０８）
（１１０，１２６，１０６）
（１１０，１３０，１０８）
（１１２，１３２，１１４）
が利用可能である。本例における知識グラフファクトは、トリプル（Ｘ，Ｙ，Ｚ）によって定義され、ここで、Ｘは主語エンティティを示し、Ｙは関係を示し、Ｚは目的語エンティティを示している。

【0037】

本例においては、エンティティ１０２は「ｈｐｉ」、エンティティ１０４は「ｇｅｒｍａｎｙ」、エンティティ１０６は「ｂｏｂ」、エンティティ１０８は「ｐｅｒｓｏｎ」、エンティティ１１０は「ｊｏｈｎ」、エンティティ１１２は「ｂｏｓｃｈ」、エンティティ１１４は「ｃｏｍｐａｎｙ」である。本例においては、関係１２０は「ｌｏｃａｔｅｄＩｎ」、関係１２２は「ｌｉｖｅｓＩｎ」、関係１２４は「ｗｏｒｋｓＡｔ」、関係１２６は「ｆｒｉｅｎｄＯｆ」、関係１２８は「ｔｙｐｅ」、関係１３０は「ｔｙｐｅ」、関係１３２は「ｔｙｐｅ」、及び、関係１３４は「ｌｏｃａｔｅｄＩｎ」である。他のエンティティや他の関係も存在し得る。

【0038】

本例においては、関係１３４は、偽の予測ファクトである。本例においては、関係１２０，１２２，１２４，１２６，１２８，１３０及び１３２は真のファクトである。

【0039】

ＫＧは、オントロジを用いて拡張される。オントロジは、それぞれの議論の定義域を実体化する個体、クラス及びプロパティの表現、正式命名、定義を包含する。オントロジは、クラス及び／又はプロパティの正式な明示的記述と、前記クラス及び／又はプロパティに関する公理とを含む。

【0040】

オントロジは、ＫＧにおける不整合を検出又は回避するために提供されるものとしてもよい。不整合とは、例えば、第１のデータセットにおける１つ又は複数のファクトと、オントロジにおける１つ又は複数の公理との間に矛盾が存在することを意味する。

【0041】

図１のＫＧは、例えば、以下の内容、

【数1】

を含むオントロジＯを用いて拡張される。

【0042】

本開示の文脈においては、タイプのセットをクラス名のセットＮ_Ｃと称し、関係のセットをプロパティ名のセットＮ_ｐと称し、エンティティのセットを個体のセットＮ_Ｉと称する。

【0043】

プロパティ名のセットＮ_ｐは、関係ｒｄｆ：ｔｙｐｅを含み、これをタイプと称する。

【0044】

ＫＧＧは、〈ｓ，ｏ，ｐ〉の形式のトリプルのセットであり、ここで、ｓ∈Ｎ_Ｉ、ｐ∈Ｎｐ、ｐ≠ｔｙｐｅである場合にはｏ∈Ｎ_Ｉ、そうでない場合にはｏ∈Ｎ_Ｃである。

【0045】

ＫＧは、オープンワールド仮定に従っており、即ち、正のファクトの部分のみが格納され得ることを意味する。例えば、図１のＫＧが与えられたとき、〈ｊｏｈｎ，ｔｙｐｅ，ｐｅｒｓｏｎ〉及び〈ｊｏｈｎ，ｌｉｖｅｓＩｎ，ｇｅｒｍａｎｙ〉は、真のＫＧファクトである。ただし、〈ｊｏｈｎ，ｗｏｒｋｓＡｔ，ｂｏｓｃｈ〉がどちらであるかは、未知である。

【0046】

トリプルαが与えられたとき、Ｅｎｔ（α）は、αに出現するすべてのエンティティのセットを示す。トリプルのセットについては、これは、Ｅｎｔ（Ｇ）＝Ｕ_α∈ＧＥｎｔ（α）のように拡張される。

【0047】

本例におけるオントロジＯは、

【数2】

に従って、即ち、ＤＬ－Ｌｉｔｅの拡張として記述論理により表現された公理のセットである。他の記述論理が同様に使用されるものとしてもよい。記述論理の態様は、Baader,F.,Horrocks,I.,Sattler,U.らによる文献「Description logics.In:Hb.on Ontol.,pp.21-43(2009)」を参照することができる。

【0048】

エンティティのセットを示すクラスＣ、及び、エンティティ間の二項関係を示す役割Ｒは、以下の構文

【数3】

に従う。

【0049】

ここで、Ａ，Ｂ∈Ｎ_Ｃは原子クラス、Ｐ∈Ｎ_Ｐは原子プロパティ、即ち二項関係である。オントロジＯは、関係Ｒの推移性を反映した

【数4】

の形態の公理の有限セットである。

【数5】

においての構文とＯＷＬ２１への変換の概要は、以下に呈示する。ＯＷＬ２１は、例えば「https://www.w3.org/TR/owl2-overview/」から入手可能である。

【0050】

【表1】

【0051】

上記において、Ａ；Ｒはそれぞれクラス名、プロパティ名であり、Ｃ及びＤはクラス表現であり、Ｐ；Ｓはプロパティ表現であり、ａ；ｂはエンティティである。

【0052】

オントロジＯで拡張された図１に示された例示的なＫＧは、人々とその働く場所に関するドメイン知識を反映している。このオントロジは、（１）「ｗｏｒｋｓＡｔ」関係のドメインは「ｐｅｒｓｏｎ」であり、（２）「ｌｏｃａｔｅｄＩｎ」の範囲は「ｌｏｃａｔｉｏｎ」であり、（３）「ｐｅｒｓｏｎ」は「ｌｏｃａｔｉｏｎ」と非接合であることを明示している。

【0053】

知識グラフ及びオントロジのセマンティクスは、ＫＧにおける矛盾を検出し、これらの説明を提供するために使用されるものとしてもよい。ＫＧ及びオントロジのセマンティクスは、解釈Ｉ＝（Δ^Ｉ，・^Ｉ）を介した直接的なモデル理論セマンティクスを使用して定義されており、この解釈Ｉ＝（Δ^Ｉ，・^Ｉ）には、非空集合Δ^Ｉと、Ｉの定義域と、各Ａ∈Ｎ_ＣにサブセットＡ^Ｉ⊆△^Ｉを割り当て、各Ｒ∈Ｎ_Ｒに二項関係Ｒ^Ｉ⊆△^Ｉ×△^Ｉを割り当て、各ａ∈Ｎ_Ｉに要素ａ^Ｉ∈△^Ｉを割り当てる解釈関数・^Ｉとが含まれている。

【0054】

特に複雑なクラス及び役割について、解釈Ｉは、対応する条件が成立する場合、即ち、

【数6】

の場合、公理αを満たす。

【0055】

ＫＧＧ及びオントロジＯについて、ＩはＧ∪Ｏのモデルであり、即ち、すべての公理α∈Ｇ∪Ｏに対して

【数7】

である場合には、

【数8】

である。Ｇ∪Ｏは、Ｇ∪Ｏのすべてのモデルがαを満たす場合、公理αを内包する、即ち、

【数9】

である。

【0056】

ＫＧＧは、Ｇ∪Ｏのモデルが存在しない場合、オントロジＯに関して矛盾している。例えば、ＧのいくつかのファクトがＯのいくつかの公理と矛盾する場合、Ｇ∪Ｏは矛盾している。

【0057】

考慮されたオントロジ言語のもとでは、ＫＧの矛盾性は、局所的プロパティを有する。即ち、オントロジＯに関するＫＧについての矛盾性の検査の問題は、Ｏに関して別個のＫＧモジュールについての矛盾性を検査することによって還元することができる。

【0058】

ＫＧＧ及びエンティティｅ∈Ｅｎｔ（Ｇ）が与えられたとき、Ｇに関するｅのモジュールは、Ｍ（ｅ；Ｇ）＝｛α｜α∈Ｇかつｅがαに出現｝として定義されるものとしてもよい。Ｇに出現する個体についてのモジュールのセットは、ＭＧ＝｛Ｍ（ｅ，Ｇ）｜ｅ∈Ｅｎｔ（Ｇ）｝と表す。

【0059】

Ｇ∪Ｏは、Ｍ（ａ，Ｇ）∪Ｏがすべてのａ∈Ｅｎｔ（Ｇ）に対して整合的であるとき、整合的である。

【0060】

Ｇ∪Ｏの矛盾性についての説明は、ε_Ｇ⊆Ｇ及びε_Ｏ⊆Ｏを用いたε＝ε_Ｇ∪ε_Ｏによって示される。この説明εは、本例においては、Ｇ∪Ｏの最小の矛盾サブセットである。

【0061】

例えば、関係１３４を有するファクトを含む図１のファクトは、オントロジＯと矛盾している。これについて考えられる説明は、ε_Ｇ＝｛〈ｂｏｓｃｈ，ｌｏｃａｔｅｄＩｎ，ｊｏｈｎ〉，〈ｊｏｈｎ，ｔｙｐｅ，ｐｅｒｓｏｎ〉｝及び

【数10】

を用いたε＝ε_Ｇ∪ε_Ｏである。

【0062】

本例のＫＧＥは、連続ベクトル空間におけるエンティティ及び関係を埋込みとして、即ちベクトル又は行列により表している。これらの埋込みは、本例においては、スコアリング関数、即ち、ｆ：Ｎ_Ｉ×Ｎ_Ｐ×Ｎ_Ｉを介して真であるべきトリプルの尤度を推定するために使用される。

【0063】

具体的なスコアリング関数は、種々のベクトル空間の仮定に基づいて定義される。埋込み方法の各仮定が成立する尤度は、ＫＧ内のトリプルについての方が、ＫＧ外の負のサンプルについてよりも高くなるはずである。学習プロセスは、それぞれの損失関数によって与えられる仮定から誘発される誤差を最小化することによって行われるものとしてもよい。

【0064】

ＴｒａｎｓＥは、Bordes,A.,Usunier,N., Garcia-Duran,A.,Weston,J.,Yakhnenko,O.らによる文献「Translating embedding for modeling multi-relational data. In: NeurIPS. pp. 2787-2795 (2013)」によれば、エンティティ及び関係をベクトルとして埋込み、真のトリプルに対して

【数11】

を想定している。ここで、ｖ_Ｓ，ｖ_Ｐ，ｖ_Ｏは、それぞれ主語ｓ、述語ｐ及び目的語ｏについてのベクトル埋込みである。ＴｒａｎｓＥは、ＫＧＥを最適化するために、以下の損失関数

【数12】

を使用する。ここで、ｆ（ｓ，ｐ，ｏ）＝－||ｖ_Ｓ＋ｖ_Ｐ－ｖ_Ｏ||１並びにＳ^＋及びＳ^－は、それぞれ正及び負のトレーニングトリプルのセットに対応する。Ｓ^＋及びＳ^－は、本例においては、互いに素である。

【0065】

ＣｏｍｐｌＥｘは、Trouillon,T.,Welbl,J.,Riedel,S.,Gaussier,E.,Bouchard,G.らによる文献「Complex embedding for simple link prediction.In:ICML.pp.2071-2080(2016)」によれば、エンティティをベクトルとして埋込み、関係を行列として埋込み、真のトリプルに対して、主語埋込みｖ_Ｓの線形マッピングＭ_Ｐが、目的語埋込みｖ_Ｏ：

【数13】

に近いことを想定している。ＣｏｍｐｌＥｘにおいては、ＫＧＥを最適化するために、以下の損失関数

【数14】

を使用し、ここで、ｆ（ｓ，ｐ，ｏ）＝ｖ_ＳＭ_Ｐｖ_Ｏ及びｌ（α，β）＝ｌｏｇ（１－ｅｘｐ（－αβ））である。

【0066】

ＫＧＥは、これらの損失関数のいずれかを用いてトレーニングされるものとしてもよいし、他の損失関数を用いて同様にトレーニングされるものとしてもよい。

【0067】

ＫＧＥをトレーニングするための負のサンプルを決定するためのデバイス２００は、図２に概略的に示されている。このデバイス２００は、少なくとも１つのストレージと少なくとも１つのプロセッサとを含む。

【0068】

本例においては、ストレージ２０２は、ＫＧ、ＫＧＥ、オントロジ、正のサンプル及び負のサンプルを格納するように構成されている。

【0069】

本例においては、プロセッサ２０４は、ＫＧＥをトレーニングするための負のサンプルを決定するための方法を実行するように構成されている。この方法は、以下において、図３を参照しながら説明される。ストレージ２０２は、プロセッサ２０４によって実行されるときに、プロセッサ２０４に当該方法を実行させるコンピュータ可読命令を格納することができる。

【0070】

本方法への入力は、ＫＧ３０２及びオントロジ３０４である。ＫＧ３０２は、Ｇであるものとしてもよく、オントロジ３０４は、Ｏであるものとしてもよい。本方法の出力は、負のサンプル３０６－１のセットである。本方法は、同様にＫＧ３０２から正のサンプル３０６－２を提供するステップも含む。これらの負のサンプル３０６－１及び正のサンプル３０６－２は、少なくとも１つの反復においてＫＧＥ３０８の反復トレーニング及びチューニング中に組み込まれる。

【0071】

ＫＧＥ３０８は、任意の埋込み手法、例えば、ＴｒａｎｓＥ又はＣｏｍｐｌＥｘに従って定義されるものとしてもよい。本方法は、ＫＧ３０２及びオントロジ３０４と整合するトリプルを予測するためにトレーニングされる、拡張されたＫＧＥ３０８を生成することを目的としている。

【0072】

負のサンプル３０６－１は、少なくとも１つの予測トリプル３１０に基づき、並びに、ＫＧ３０２及びオントロジ３０４に関してその矛盾についての説明を表す少なくとも１つのトリプルのセット３１２に基づき、取得される。

【0073】

本方法は、第１のトレーニング反復において、ステップ１で開始される。このステップ１においては、ＫＧＥ３０８のモデルが初期化される。

【0074】

ステップ１においては、負のサンプル３０６－１が、例えばBordes,A., Usunier,N., Garcia-Duran,A., Weston,J., Yakhnenko,O.らによる文献「Translating embedding for modeling multi-relational data. In: NeurIPS.pp.2787-2795(2013)」によれば、負のサンプリング手法を用いてＫＧ３０２から決定される。

【0075】

その後、ステップ２が実行される。

【0076】

ステップ２においては、本方法は、ＫＧＥ３０８のためのモデルを構築するために、負のサンプル３０６－１及び正のサンプル３０６－２を用いた埋込みトレーニングを実行するステップを含む。

【0077】

このＫＧＥ３０８のモデルは、予測を取得し、次のトレーニング反復のための負のサンプルのセットを計算するために使用される。

【0078】

その後、ステップ３が実行される。

【0079】

ステップ３は、ＫＧＥ３０８を用いて少なくとも１つの予測トリプル３１０を決定するステップを含む。

【0080】

少なくとも１つのトリプル３１０は、知識グラフ３０２からの主語エンティティ及び目的語エンティティと、知識グラフ３０２について定義されている関係とを含む。

【0081】

少なくとも１つのトリプル３１０を予測するステップは、目的語予測及び／又は主語予測を含み得る。本方法は、そのような予測を、トレーニングデータ内のトリプルごとに、又は、トレーニングデータ内の選択されるトリプルのために含み得る。トレーニングデータは、負のサンプル３０６－１及び正のサンプル３０６－２を含む。

【0082】

目的語予測においては、目的語ｏは、トレーニングセット内のトリプルに対して、このトリプルの主語ｓと述語ｐとを用いて決定される。好適には、複数の候補目的語が、一貫したトリプルをもたらす目的語であるそれぞれの尤度に従って予測及びランク付けされ、トップにランク付けされた目的語ｏが複数の目的語から選択される。

【0083】

これらにより、予測トリプル〈ｓ，ｐ，ｏ〉が、ＫＧＥ３０８のモデルのそれぞれの予測値として取り出される。

【0084】

主語予測においては、主語ｓは、トレーニングセット内のトリプルに対して、このトリプルの目的語ｏと述語ｐとを用いて決定される。好適には、複数の候補主語が、一貫したトリプルをもたらす主語であるそれぞれの尤度に従って予測及びランク付けされ、トップにランク付けされた主語ｓが複数の主語から選択される。

【0085】

これらにより、予測トリプル〈ｓ，ｐ，ｏ〉が、ＫＧＥ３０８のモデルのそれぞれの予測値として取り出される。

【0086】

本例においては、トレーニングセット内にないトリプルを予測値として考慮する。本例においては、トレーニングセット内にあるトリプルは、予測値ではない。

【0087】

その後、ステップ４が実行される。

【0088】

ステップ４は、知識グラフ３０２の少なくとも１つのトリプルと、オントロジ３０４に関して矛盾する少なくとも１つの予測トリプル３１０とを含ませるようにトリプルのセット３１２を決定するステップを含む。

【0089】

ステップ４は、矛盾に対する説明のセットを決定し、このセットから説明を選択するステップを含み得る。Ｋ個の数の説明が選択されるものとしてもよい。

【0090】

その後、ステップ５が実行される。

【0091】

ステップ５は、目的語予測について、トリプルのセットから、少なくとも１つの予測トリプル３１０における目的語エンティティのための置換エンティティを決定し、関係、主語エンティティ及び置換エンティティを含むように負のサンプル３０６－１を決定するステップを含む。

【0092】

目的語エンティティのための置換エンティティを決定するステップは、トリプルのセット３１２内で目的語エンティティの局所タイプを決定するステップと、目的語エンティティの局所タイプから予め定められた順序内で局所タイプを有する置換エンティティを選択するステップとを含み得る。

【0093】

好適には、目的語エンティティのための置換エンティティは、目的語エンティティを置換エンティティにより置き換えることから生じるトリプルが、少なくとも１つの予測トリプル及び知識グラフ３０２のトリプルとは異なるように決定される。

【0094】

ステップ５は、主語予測について、トリプル３１２のセットから、予測トリプル３１０の少なくとも１つのトリプルにおける主語エンティティのための置換エンティティを決定し、関係、目的語エンティティ及び置換エンティティを含むように、負のサンプル３０６－１を決定するステップ５を含む。

【0095】

主語エンティティのための置換エンティティを決定するステップは、トリプルのセット３１２内で主語エンティティの局所タイプを決定するステップと、主語エンティティの局所タイプから予め定められた順序内で局所タイプを有する置換エンティティを選択するステップとを含み得る。

【0096】

あるエンティティの局所タイプは、タイプ－関係を介した他のエンティティ、及び、そのエンティティへの／からの入出力関係も含むタプルとして定義されている。エンティティの局所タイプは、何らかの基準、例えばサブセット－関係に基づいて順序付けることができる。

【0097】

好適には、主語エンティティのための置換エンティティは、主語エンティティを置換エンティティにより置き換えることから生じるトリプルが、少なくとも１つの予測トリプル及び知識グラフ内のトリプルと異なるように決定される。

【0098】

これは、少なくとも１つの予測トリプル３１０が、意味論的に類似した他のトリプルのための汎化されたトリプルに汎化されることを意味する。この汎化されたトリプルを用いて、負のサンプルの拡張セット３０６－１が取得される。

【0099】

その後、計算された負のサンプル３０６－１は、トレーニングに対する入力としてフィードバックされる。好適には、主語予測及び目的語予測のための負のサンプルは、トレーニングのための入力としてフィードバックされる。

【0100】

その後、ステップ２が実行される。

【0101】

ステップ４及び５は、少なくとも１つの予測トリプル３１０について記載されている。１つよりも多い予測トリプル３１０は、ＫＧ３０２及びオントロジ３０４に関して矛盾していることが判明した場合には、これらのトリプルは、同様に処理されるものとしてもよい。

【0102】

好適には、矛盾したトリプルのセットは、トレーニングにおいて予測される。それゆえ、一度、トリプルのための矛盾した予測が識別されると、ステップ５は、その予測から矛盾性パターンを検出し、他の類似の不適正なトリプルを形成するための置換エンティティとして使用されるものとしてもよいＫＧ３０２のエンティティを取得するために矛盾性パターンを汎化させるステップを含み得る。類似の不適正なトリプルは、実際に検出された矛盾したトリプルに関して汎化されたトリプルである。

【0103】

このようにして、十分な数の負のサンプル３０６－１が、ＫＧＥ３０８のモデルの再トレーニングのために計算される。負のサンプル３０６－１は、間違って学習されたパターンに関するヒントをＫＧＥ３０８のモデルに与える。これにより、次の反復において同様の不適正なトリプルの予測が回避される。

【0104】

例えば、目的語予測が矛盾した予測トリプル

【数15】

を予測した場合、目的語

【数16】

は、他のエンティティｏが目的語

【数17】

と同様のＫＧ近傍を有するような入力ＫＧの他のエンティティｏによって置き換えられる。

【0105】

しかしながら、目的語

【数18】

を含むトリプルのサブセットのみにオントロジに関して矛盾が生じる可能性がある。それゆえ、そのサブセットと同様のトリプルを有しているようなエンティティｏを発見すれば十分である。これにより、汎化されたトリプルの数が増加する。

【0106】

オントロジに関して矛盾が生じる目的語

【数19】

のトリプルのサブセットを計算するために、ステップ５は、

【数20】

の矛盾に対する説明を決定するステップを含み得る。

【0107】

図１のような例示的なＫＧＧ及びオントロジＯの場合、予測トリプルはα＝〈ｂｏｓｃｈ，ｌｏｃａｔｅｄＩｎ，ｊｏｈｎ〉であるものとしてもよい。これは、ＫＧＥモデル３１０が、与えられた主語「ｂｏｓｃｈ」と関係「ｌｏｃａｔｅｄＩｎ」に対して、「ｊｏｈｎ」を目的語エンティティとして予測したことを意味する。Ｒｅｌｖ（α，Ｇ，Ｇ）∪Ｏの矛盾性についての説明は、ε＝ε_Ｇ∪ε_Ｏであり、これはε_Ｇ＝｛〈ｂｏｓｃｈ，ｌｏｃａｔｅｄＩｎ，ｊｏｈｎ〉，〈ｊｏｈｎ，ｔｙｐｅ，ｐｅｒｓｏｎ〉｝及び

【数21】

を成り立たせる。Ｇには、「ｊｏｈｎ」と同様のトリプルを有する他のエンティティは存在しないことに留意されたい。ただし、Ｒｅｌｖ（α，Ｇ，Ｇ）∪Ｏの矛盾についての説明におけるトリプルに制約されると、「ｂｏｂ」は、「ｊｏｈｎ」と同様の近傍のトリプル〈ｂｏｂ，ｔｙｐｅ，ｐｅｒｓｏｎ〉を有することになる。予測トリプルは、この場合無視される。従って、トリプル〈ｂｏｂ，ｔｙｐｅ，ｐｅｒｓｏｎ〉は、他の負のサンプルであり、そこにはＫＧとともにオントロジＯに関して矛盾が生じる。

【0108】

汎化されたトリプルを正式に取得するためには、Glimm,B., Kazakov,Y., Liebig,T., Tran,T.K., Vialard,V.らによる文献「ISWC. pp. 180-195 (2014)」、Glimm,B., Kazakov,Y., Tran,T.らによる文献「Ontology materialization by abstraction refinement in horn SHOIF. In: AAAI. pp. 1114-1120 (2017)」、又は、Tran,T., Gad-Elrab,M.H., Stepanova,D., Kharlamov,E., Stroetgen,J.らによる文献「Fast computation of explanations for inconsistency in large-scale kgs. In: WWW 2020. pp. 2613-2619 (2020)」による、エンティティの局所タイプという概念が、例えば、以下のように使用されるものとしてもよい。

【0109】

局所タイプ：Ｔをトリプルのセットとし、ｅをＴ内に出現するエンティティとする。次いで、Ｔが、コンテキストから明らかな場合、τ（ｅ；Ｔ）又はτ（ｅ）として記述されるＴに関するｅの局所タイプは、タプルτ（ｅ）＝〈τ_ｉ（ｅ），τ_ｃ（ｅ），τ_ｏ（ｅ）〉として定義される。ここで、τ_ｉ（ｅ）＝｛ｐ｜〈ｓ，ｐ，ｅ〉∈Ｇ｝，τ_ｃ（ｅ）＝｛ｔ｜〈ｅ，ｔｙｐｅ，ｔ〉∈Ｇ｝及びτ_ｏ（ｅ）＝｛ｐ’｜〈ｅ，ｐ’，ｏ〉∈Ｇ｝である。

【数22】

は、局所タイプｔ＝〈ｔ_ｉ，ｔ_ｃ，ｔ_ｏ〉が局所タイプｔ’＝〈ｔ’_ｉ，ｔ’_ｃ，ｔ’_ｏ〉以下であることを示している。

【数23】

は、ｔ_ｉ⊆ｔ’_ｉ，ｔｃ⊆ｔ’_ｃ及びｔ_ｏ⊆ｔ’_ｏの場合に成立する。

【0110】

エンティティの局所タイプは、タイプのセットτ_c、並びに、トリプルのセット内のそのエンティティについての入力関係τ_i及び出力関係τ_ｏを表す。

【0111】

図１の例示的なＫＧの場合、Ｇに関する「ｂｏｂ」の局所タイプは、τ（ｂｏｂ）＝〈｛ｆｒｉｅｎｄＯＦ｝，｛ｐｅｒｓｏｎ｝，｛ｗｏｒｋｓＡｔ｝〉である。説明ε_Ｇ＼αに関する「ｊｏｈｎ」の局所タイプは

【数24】

であり、ここでは

【数25】

であることが成立する。

【0112】

汎化されたトリプルは、与えられた矛盾する予測トリプルの汎化されたサンプルとして決定されるものとしてもよい。

【0113】

汎化されたサンプル：以下においては、ＫＧ３０２をＧと称し、オントロジ３０４をＯと称し、トリプル３１０を

【数26】

と称する。ここで、予測目的語

【数27】

は、主語エンティティｓと関係ｐとが与えられたＫＧＥ３０８のモデルによって予測され、矛盾性３１２の説明は、Ｒｅｌｖ（α，Ｇ）∪Ｏと称する。予測目的語

【数28】

、説明ε、及び、ＫＧＧに関するαの汎化されたサンプルのセットは、ＧｅｎｅｒａｌｉｚｅｄＳａｍｐｌｅｓ

【数29】

として定義される。同様に、予測主語

【数30】

がＫＧＥ３０８のモデルによって予測されているＧｅｎｅｒａｌｉｚｅｄＳａｍｐｌｅｓ

【数31】

は、

【数32】

として定義される。コンテキストから、いずれのエンティティ、即ち、いずれの主語エンティティ又は目的語エンティティに、汎化されたサンプルが適用されるかが明らかな場合は、対応するエンティティ（例えば｛α｝∪｛ｂｏｓｃｈ，ＬｏｃａｔｅｄＩｎ，ｂｏｂ｝としてＧｅｎｅｒａｌｉｚｅｄＳａｍｐｌｅｓ（α））は言及されない。

【0114】

ＫＧＧの場合、オントロジＯとそのＲｅｌｖ（α，Ｇ）∪Ｏのトリプルαは、説明ε_Ｇ∪ε_Ｏと矛盾する。ＧｅｎｅｒａｌｉｚｅｄＳａｍｐｌｅｓ（α）は、ε，Ｇに関するαの汎化されたトリプルのセットであり、α，Ｒｅｌｖ（β，Ｇ）∪Ｏにおいて出現する一部のエンティティは、β∈ＧｅｎｅｒａｌｉｚｅｄＳａｍｐｌｅｓ（α）に対して矛盾する。

【0115】

反復の汎化されたトリプルは、次の１つ以上の反復においてＫＧＥモデル３０８を再トレーニングするための負のサンプル３０６－１として使用されるものとしてもよい。

【0116】

予測トリプルは、マシンの状態、デジタル画像内の目的語のプロパティ、又は、質問に対する回答に関係する場合がある。

【0117】

前述のトリプルは、マシンの状態、デジタル画像内の目的語のプロパティ、又は、質問に対する回答を示す場合がある。

【0118】

知識グラフは、マシンのステータスメッセージのマシン状態へのマッピングに関する知識を表す場合がある。本方法は、ステータスメッセージを受信し、ステータスメッセージに応じてマシン状態を出力することを含み得る。状態は、ステータスを表す主語エンティティとマシン状態を表す目的語エンティティとを含むトリプルが存在するかどうかを、知識グラフ埋込みモデルで予測することによって決定されるものとしてもよい。本方法は、マシン状態を出力することを含み得る。

【0119】

デジタル画像処理の場合、知識グラフは、画像に対する目的語認識において認識された目的語の記述であるものとしてもよい。知識グラフにおけるエンティティは、目的語及び／又はそのプロパティを表すことができる。本方法は、目的語を受信し、目的語に応じた記述を出力することを含み得る。

【0120】

ストリートビューにおいては、目的語は、車、人、家、又は、インフラストラクチャの他の部分であるものとしてもよい。ストリートビューにおいては、知識グラフトリプルは、目的語及び／又は目的語と他の目的語との関係を、特にデジタル画像において記述することができる。本方法は、目的語を受信し、目的語に応じた記述を出力することを含み得る。

【図1】

【図2】

【図3】

【外国語明細書】