知財求人 - 知財ポータルサイト「IP Force」
▶ ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングの特許一覧
特開2023-121156ナレッジベースに数量ファクトを追加するための装置及びコンピュータ実装された方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121156
(43)【公開日】2023-08-30
(54)【発明の名称】ナレッジベースに数量ファクトを追加するための装置及びコンピュータ実装された方法
(51)【国際特許分類】
G06N 5/02 20230101AFI20230823BHJP
G06F 16/90 20190101ALI20230823BHJP
【ＦＩ】
G06N5/02
G06F16/90 100
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023023630
(22)【出願日】2023-02-17
(31)【優先権主張番号】10 2022 201 732.3
(32)【優先日】2022-02-18
(33)【優先権主張国・地域又は機関】DE
(71)【出願人】
【識別番号】390023711
【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング
【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ
【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ
(74)【代理人】
【識別番号】100114890
【弁理士】
【氏名又は名称】アインゼル・フェリックス＝ラインハルト
(74)【代理人】
【識別番号】100098501
【弁理士】
【氏名又は名称】森田 拓
(74)【代理人】
【識別番号】100116403
【弁理士】
【氏名又は名称】前川 純一
(74)【代理人】
【識別番号】100134315
【弁理士】
【氏名又は名称】永島 秀郎
(74)【代理人】
【識別番号】100162880
【弁理士】
【氏名又は名称】上島 類
(72)【発明者】
【氏名】ダリア ステパノヴァ
(72)【発明者】
【氏名】ドラガン ミルヘヴスキ
(72)【発明者】
【氏名】ゲアハート ヴァイクム
(72)【発明者】
【氏名】ヤニク シュトレートゲン
(72)【発明者】
【氏名】ヴィン ティン ホー
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
(57)【要約】
【課題】ナレッジベース（１０６）、特にナレッジグラフに数量ファクトを追加するための装置（１００）及びコンピュータ実装された方法に関する。
【解決手段】本方法は、ナレッジベース（１０６）を用意すること（２０２）と、テキストリソース（１０８）を用意すること（２０４）と、ナレッジベース（１０６）からエンティティを提供すること（２０６）と、ナレッジベース（１０６）から関係を提供すること（２０８）と、それぞれ異なる単位の集合を提供すること（２１０）と、エンティティ、関係及びそれぞれ異なる単位の集合に依存して、テキストリソース（１０８）内にあるそれぞれ異なる単位の集合内の単位を含む数量を決定すること（２１２）と、エンティティ、関係、数量及び単位を含む数量ファクトを決定すること（２１４）と、数量ファクトをナレッジベース（１０６）に追加すること（２１６）と、を含む。
【選択図】図１
【解決手段】本方法は、ナレッジベース（１０６）を用意すること（２０２）と、テキストリソース（１０８）を用意すること（２０４）と、ナレッジベース（１０６）からエンティティを提供すること（２０６）と、ナレッジベース（１０６）から関係を提供すること（２０８）と、それぞれ異なる単位の集合を提供すること（２１０）と、エンティティ、関係及びそれぞれ異なる単位の集合に依存して、テキストリソース（１０８）内にあるそれぞれ異なる単位の集合内の単位を含む数量を決定すること（２１２）と、エンティティ、関係、数量及び単位を含む数量ファクトを決定すること（２１４）と、数量ファクトをナレッジベース（１０６）に追加すること（２１６）と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
ナレッジベース（１０６）、特にナレッジグラフに数量ファクトを追加するためのコンピュータ実装された方法であって、
ナレッジベース（１０６）を用意すること（２０２）と、
テキストリソース（１０８）を用意すること（２０４）と、
前記ナレッジベース（１０６）からエンティティを提供すること（２０６）と、
前記ナレッジベース（１０６）から関係を提供すること（２０８）と、
それぞれ異なる単位の集合を提供すること（２１０）と、
前記エンティティ、前記関係及び前記それぞれ異なる単位の集合に依存して、前記テキストリソース（１０８）内にある前記それぞれ異なる単位の集合内の単位を含む数量を決定すること（２１２）と、
前記エンティティ、前記関係、前記数量及び前記単位を含む数量ファクトを決定すること（２１４）と、
前記数量ファクトを前記ナレッジベース（１０６）に追加すること（２１６）と、
を含むことを特徴とする方法。
ナレッジベース（１０６）を用意すること（２０２）と、
テキストリソース（１０８）を用意すること（２０４）と、
前記ナレッジベース（１０６）からエンティティを提供すること（２０６）と、
前記ナレッジベース（１０６）から関係を提供すること（２０８）と、
それぞれ異なる単位の集合を提供すること（２１０）と、
前記エンティティ、前記関係及び前記それぞれ異なる単位の集合に依存して、前記テキストリソース（１０８）内にある前記それぞれ異なる単位の集合内の単位を含む数量を決定すること（２１２）と、
前記エンティティ、前記関係、前記数量及び前記単位を含む数量ファクトを決定すること（２１４）と、
前記数量ファクトを前記ナレッジベース（１０６）に追加すること（２１６）と、
を含むことを特徴とする方法。
【請求項2】
前記数量を決定すること（２１２）は、
前記単位に依存して、少なくとも１つの数量を含む前記テキストリソースのセクションを決定すること（２１２－１）と、
前記セクション内の前記単位のコンテキストを決定すること（２１２－２）と、
それぞれが前記エンティティ、前記少なくとも１つの数量のうちの１つの数量、前記単位及び前記コンテキストを含む、複数のタプルを決定すること（２１２－３）と、
前記コンテキストに依存して、前記複数のタプルのうちの１つのタプルから前記数量を選択すること（２１２－７）と、
を含む、請求項１に記載の方法。
前記単位に依存して、少なくとも１つの数量を含む前記テキストリソースのセクションを決定すること（２１２－１）と、
前記セクション内の前記単位のコンテキストを決定すること（２１２－２）と、
それぞれが前記エンティティ、前記少なくとも１つの数量のうちの１つの数量、前記単位及び前記コンテキストを含む、複数のタプルを決定すること（２１２－３）と、
前記コンテキストに依存して、前記複数のタプルのうちの１つのタプルから前記数量を選択すること（２１２－７）と、
を含む、請求項１に記載の方法。
【請求項3】
前記複数のタプルの各タプルに対する参照を提供すること（２１２－４）と、
前記複数のタプルのうちの少なくとも１つのタプルの、当該タプルに対する参照への類似度を決定すること（２１２－５）と、
前記複数のタプルから、前記複数のタプルのうちの少なくとも１つの他のタプルのコンテキストの参照への類似度よりも自身の参照により類似しているコンテキストを含むタプルを選択すること（２１２－７）と、
を含む、請求項２に記載の方法。
前記複数のタプルのうちの少なくとも１つのタプルの、当該タプルに対する参照への類似度を決定すること（２１２－５）と、
前記複数のタプルから、前記複数のタプルのうちの少なくとも１つの他のタプルのコンテキストの参照への類似度よりも自身の参照により類似しているコンテキストを含むタプルを選択すること（２１２－７）と、
を含む、請求項２に記載の方法。
【請求項4】
前記各タプルに対する参照を提供すること（２１２－４）は、
前記ナレッジベース（１０６）に対する参照述部ドメインを提供することと、
前記ナレッジベース（１０６）から参照エンティティを提供することと、
前記単位の集合から参照単位の集合を提供することと、
を含む、請求項３に記載の方法。
前記ナレッジベース（１０６）に対する参照述部ドメインを提供することと、
前記ナレッジベース（１０６）から参照エンティティを提供することと、
前記単位の集合から参照単位の集合を提供することと、
を含む、請求項３に記載の方法。
【請求項5】
前記類似度を決定すること（２１２－５）は、
前記少なくとも１つのタプルのエンティティの数値表現が、参照述部の数値表現によって、前記参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされているか否かを決定することと、
前記少なくとも１つのタプルの単位が参照単位の集合内にあるか否かを決定することと、
前記少なくとも１つのタプルのエンティティの数値表現が、前記参照述部の数値表現によって、前記参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされていることに対して、及び、前記少なくとも１つのタプルの単位が前記参照単位の集合内にあることに対して、前記複数のタプルのうちの少なくとも１つのタプルからのコンテキストの、前記複数のタプルのうちの少なくとも１つのタプルに対する参照への類似度を決定することと、
を含む、請求項４に記載の方法。
前記少なくとも１つのタプルのエンティティの数値表現が、参照述部の数値表現によって、前記参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされているか否かを決定することと、
前記少なくとも１つのタプルの単位が参照単位の集合内にあるか否かを決定することと、
前記少なくとも１つのタプルのエンティティの数値表現が、前記参照述部の数値表現によって、前記参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされていることに対して、及び、前記少なくとも１つのタプルの単位が前記参照単位の集合内にあることに対して、前記複数のタプルのうちの少なくとも１つのタプルからのコンテキストの、前記複数のタプルのうちの少なくとも１つのタプルに対する参照への類似度を決定することと、
を含む、請求項４に記載の方法。
【請求項6】
前記各タプルに対する参照を提供すること（２１２－４）は、前記複数のタプルのうちの１つのタプルに対して、前記複数のタプルのうちの少なくとも１つの他のタプルのコンテキストに対する参照よりも当該タプルのコンテキストにより類似した参照を決定することを含む、請求項３乃至５のいずれか一項に記載の方法。
【請求項7】
前記方法は、
前記複数のタプルのうちの少なくとも１つのタプルに対する、その参照への類似度に依存した第１のスコアを決定することであって、前記第１のスコアは、当該少なくとも１つのタプルに対する、数量ファクトを決定するために選択可能な信頼度を示す、こと（２１２－６）と、
前記第１のスコアが、当該少なくとも１つのタプルに対する、前記数量ファクトを決定するために選択可能な信頼度が第１の閾値よりも大きいことを示す場合（２１２－７）、当該少なくとも１つのタプルをタプル群に追加すること（２１２－８）と、
を含み、
前記数量ファクトを決定すること（２１４）は、前記タプル群から１つのタプルを選択することを含む、
請求項３乃至６のいずれか一項に記載の方法。
前記複数のタプルのうちの少なくとも１つのタプルに対する、その参照への類似度に依存した第１のスコアを決定することであって、前記第１のスコアは、当該少なくとも１つのタプルに対する、数量ファクトを決定するために選択可能な信頼度を示す、こと（２１２－６）と、
前記第１のスコアが、当該少なくとも１つのタプルに対する、前記数量ファクトを決定するために選択可能な信頼度が第１の閾値よりも大きいことを示す場合（２１２－７）、当該少なくとも１つのタプルをタプル群に追加すること（２１２－８）と、
を含み、
前記数量ファクトを決定すること（２１４）は、前記タプル群から１つのタプルを選択することを含む、
請求項３乃至６のいずれか一項に記載の方法。
【請求項8】
前記方法は、
前記タプル群における１つのタプルに対する、当該タプル内の数量に依存した第２のスコアを決定することであって、前記第２のスコアは、前記数量ファクトを決定するために選択可能なタプルの尤度を示す、こと（２１２－１０）と、
前記数量ファクトを決定するために選択可能なタプルの尤度が第３の閾値より大きいことを前記第２のスコアが示す場合には、当該タプルを候補ファクトの集合へ追加し、又は、前記数量ファクトを決定するために選択可能なタプルの尤度が第３の閾値以下であることを前記第２のスコアが示す場合には、当該タプルを候補ファクトの集合へ追加しないこと（２１２－１１）と、
を含み、
前記ファクトを決定すること（２１４）は、候補ファクトの集合からタプルを選択することを含む、
請求項７に記載の方法。
前記タプル群における１つのタプルに対する、当該タプル内の数量に依存した第２のスコアを決定することであって、前記第２のスコアは、前記数量ファクトを決定するために選択可能なタプルの尤度を示す、こと（２１２－１０）と、
前記数量ファクトを決定するために選択可能なタプルの尤度が第３の閾値より大きいことを前記第２のスコアが示す場合には、当該タプルを候補ファクトの集合へ追加し、又は、前記数量ファクトを決定するために選択可能なタプルの尤度が第３の閾値以下であることを前記第２のスコアが示す場合には、当該タプルを候補ファクトの集合へ追加しないこと（２１２－１１）と、
を含み、
前記ファクトを決定すること（２１４）は、候補ファクトの集合からタプルを選択することを含む、
請求項７に記載の方法。
【請求項9】
前記第１のスコアが選択可能な少なくとも１つのタプルの信頼度を第２の閾値を下回るファクトとして示す場合（２１２－７）、前記方法は、
候補ファクトの集合内に含まれずかつ候補ファクトの集合のタプルと同一のエンティティを有する前記複数のタプルのうちの１つのタプルを決定することと、
前記複数のタプルのうちの当該タプル内の数量と、候補ファクトの集合の当該タプル内の数量とに依存して、類似度を決定することと、
前記類似度が第４の閾値より大きい場合に、前記複数のタプルのうちの当該タプル内のコンテキストを別の参照の候補として選択することと
を含む（２１２－１３）、請求項８に記載の方法。
候補ファクトの集合内に含まれずかつ候補ファクトの集合のタプルと同一のエンティティを有する前記複数のタプルのうちの１つのタプルを決定することと、
前記複数のタプルのうちの当該タプル内の数量と、候補ファクトの集合の当該タプル内の数量とに依存して、類似度を決定することと、
前記類似度が第４の閾値より大きい場合に、前記複数のタプルのうちの当該タプル内のコンテキストを別の参照の候補として選択することと
を含む（２１２－１３）、請求項８に記載の方法。
【請求項10】
前記方法は、
前記タプルのうちの少なくとも１つのタプル内の数量の正規化に依存して類似度を決定することであって、前記正規化は、これらのタプルのうちの一方のタプルの単位及び／又はこれらのタプルの両方のタプルの単位に依存して決定される、こと
を含む、請求項３乃至９のいずれか一項に記載の方法。
前記タプルのうちの少なくとも１つのタプル内の数量の正規化に依存して類似度を決定することであって、前記正規化は、これらのタプルのうちの一方のタプルの単位及び／又はこれらのタプルの両方のタプルの単位に依存して決定される、こと
を含む、請求項３乃至９のいずれか一項に記載の方法。
【請求項11】
ナレッジベース、特にナレッジグラフを充填するための装置（１００）において、
前記装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つのメモリ（１０４）と、を備え、
前記少なくとも１つのメモリ（１０４）は、ナレッジベース（１０６）及びテキストリソース（１０８）の埋め込みを記憶し得るものであり、前記少なくとも１つのプロセッサ（１０２）によって実行されるときに、請求項１乃至１０のいずれか一項に記載のコンピュータ実装された方法を用いて、前記装置（１００）にファクトを前記ナレッジベース（１０６）へ追加させるための命令を含む、
ことを特徴とする装置（１００）。
前記装置（１００）は、少なくとも１つのプロセッサ（１０２）と、少なくとも１つのメモリ（１０４）と、を備え、
前記少なくとも１つのメモリ（１０４）は、ナレッジベース（１０６）及びテキストリソース（１０８）の埋め込みを記憶し得るものであり、前記少なくとも１つのプロセッサ（１０２）によって実行されるときに、請求項１乃至１０のいずれか一項に記載のコンピュータ実装された方法を用いて、前記装置（１００）にファクトを前記ナレッジベース（１０６）へ追加させるための命令を含む、
ことを特徴とする装置（１００）。
【請求項12】
コンピュータプログラムであって、当該コンピュータプログラムがコンピュータによって実行されるときに、請求項１乃至１０のいずれか一項に記載の方法を前記コンピュータに実施させるためのコンピュータ可読命令を含むことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
従来技術
本発明は、ナレッジベースに数量ファクトを追加するための装置及びコンピュータ実装された方法に関する。
本発明は、ナレッジベースに数量ファクトを追加するための装置及びコンピュータ実装された方法に関する。
【背景技術】
【0002】
Ho, V. T., Ibrahim, Y., Pal, K., Berberich, K., Weikum, G.著、「Qsearch: Answering quantity queries from text」（In: The Semantic Web‐ISWC 2019‐18th International Semantic Web Conference, Auckland，New Zealand, ２０１９年１０月２６－３０日、Proceedings, Part I, Lecture Notes in Computer Science, vol.11778, Springer (2019)）には、テキストデータ内の単位を有する数値表現を検出することが開示されている。
【0003】
Ｑｓｅａｒｃｈは、“Ｂｕｉｌｄｉｎｇｓ ｈｉｇｈｅｒ ｔｈａｎ １００ ｍ（１００ｍを超える高さの建物）”のような数量フィルタクエリに応答する方法を提供しており、大量の文書の集合体から数量ファクトを抽出するように調整可能である。しかし、Ｑｓｅａｒｃｈによって数量フィルタクエリへの応答として形成されたファクトのうち最高ランクのものしか高い精度を有さない。最高ランクのファクト以外は、設計によってその精度が低下する。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Ho, V. T., Ibrahim, Y., Pal, K., Berberich, K., Weikum, G.著、「Qsearch: Answering quantity queries from text」、In: The Semantic Web‐ISWC 2019‐18th International Semantic Web Conference, Auckland，New Zealand, ２０１９年１０月２６－３０日、Proceedings, Part I, Lecture Notes in Computer Science, vol.11778, Springer (2019)
【発明の概要】
【発明が解決しようとする課題】
【0005】
発明の説明
独立請求項１に記載のコンピュータ実装された方法により、高品質のナレッジベース内の特定のギャップを数量ファクトで充填するために、高精度かつ高再現率の両方により数量ファクトを抽出することが達成される。
独立請求項１に記載のコンピュータ実装された方法により、高品質のナレッジベース内の特定のギャップを数量ファクトで充填するために、高精度かつ高再現率の両方により数量ファクトを抽出することが達成される。
【課題を解決するための手段】
【0006】
ナレッジベース、特にナレッジグラフに数量ファクトを追加するためのコンピュータ実装された方法は、ナレッジベースを用意することと、テキストリソースを用意することと、ナレッジベースからエンティティを提供することと、ナレッジベースから関係を提供することと、それぞれ異なる単位の集合を提供することと、エンティティ、関係及びそれぞれ異なる単位の集合に依存して、テキストリソース内にあるそれぞれ異なる単位の集合内の単位を含む数量を決定することと、エンティティ、関係、数量及び単位を含む数量ファクトを決定することと、数量ファクトをナレッジベースに追加することと、を含む。
【0007】
ファクトの数量の数値表現を決定することは、単位に依存して、少なくとも１つの数量を含むテキストリソースのセクションを見つけ出すことと、セクション内の単位のコンテキストを決定することと、それぞれがエンティティ、少なくとも１つの数量のうちの１つの数量、単位及びコンテキストを含む複数のタプルを決定することと、コンテキストに依存して、複数のタプルのうちの１つのタプルから数量を選択することと、を含む。コンテキストにより、例えば相互に対してタプルをランク付けするための付加的な情報が得られる。
【0008】
本方法は、複数のタプルの各タプルに対する参照を提供することと、複数のタプルのうちの少なくとも１つのタプルの、当該タプルに対する参照への類似度を決定することと、複数のタプルから、複数のタプルのうちの少なくとも１つの他のタプルのコンテキスト内のコンテキストよりも自身の参照により類似しているコンテキストを含むタプルを選択することとを含み得る。ここでの参照は、目標クエリを表現している。コンテキストが参照に類似しているほど、クエリに対する数量ファクトの決定のために使用されるタプルの一致が良好となる。
【0009】
各タプルに対する参照を提供することは、ナレッジベースに対する参照述部ドメインを提供することと、ナレッジベースから参照エンティティを提供することと、単位の集合から参照単位の集合を提供することと、を含む。これらの参照によって、クエリが改善される。
【0010】
類似度を決定することは、少なくとも１つのタプルのエンティティの数値表現が、参照述部の数値表現によって、参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされているか否かを決定することと、少なくとも１つのタプルの単位が参照単位の集合内にあるか否かを決定することと、少なくとも１つのタプルのエンティティの数値表現が、参照述部の数値表現によって、参照エンティティの数値表現までの予め定められた距離内にある数値表現へとマッピングされていることに対して、及び、少なくとも１つのタプルの単位が参照単位の集合内にあることに対して、複数のタプルのうちの少なくとも１つのタプルからのコンテキストの、複数のタプルのうちの少なくとも１つのタプルに対する参照への類似度を決定することと、を含む。ここでの数値表現は、埋め込み空間内のエンティティと参照とを表現している。これにより、埋め込み空間内のクエリからの距離が遠過ぎる場合にはタプルが考慮されないため、ナレッジベースの充填に要求される計算リソースが低減される。
【0011】
各タプルに対する参照を提供することは、複数のタプルのうちの１つのタプルに対して、複数のタプルのうちの少なくとも１つの他のタプルのコンテキストに対する参照よりも当該タプルのコンテキストにより類似した参照を決定することを含み得る。ここでのコンテキストは、ワードバッグ（a bag of words）であるものとしてよい。ここでのクエリは、それぞれ１つの述部を表現するそれぞれ異なる複数のワードバッグを表現することができる。最も類似した述部を表現しているワードバッグが参照として選択される。
【0012】
本方法は、複数のタプルのうちの少なくとも１つのタプルに対して、その参照への類似度に依存した第１のスコアを決定することであって、第１のスコアは、当該少なくとも１つのタプルに対する、数量ファクトを決定するために選択可能な信頼度を示す、ことと、第１のスコアが、当該少なくとも１つのタプルに対する、数量ファクトを決定するために選択可能な信頼度が第１の閾値よりも大きいことを示す場合に、当該少なくとも１つのタプルをタプル群に追加することと、を含み、ここで、数量ファクトを決定することは、タプル群からタプルを選択することを含み得る。これにより、信頼度が過度に低い場合にはタプルは考慮されないため、ナレッジベースの充填に要求される計算リソースが低減される。
【0013】
本方法は、第１のスコアが、選択可能な少なくとも１つのタプルの信頼度を、第２の閾値を下回るファクトとして示す場合に、候補ファクトの数値表現の集合内に含まれずかつ当該候補ファクトの集合のタプルと同一のエンティティを有する複数のタプルのうちの１つのタプルを決定することと、複数のタプルのうちの当該タプルの数量と、候補ファクトの数値表現の集合の当該タプル内の数量とに依存して、類似度を決定することと、類似度が第４の閾値より大きい場合に、複数のタプルのうちの当該タプルのコンテキストを別の参照の候補として選択することと、を含み得る。これにより、尤度が過度に低い場合にはタプルは考慮されないため、ナレッジベースの充填に要求される計算リソースが低減される。
【0014】
本方法は、第１のスコアが、選択可能な少なくとも１つのタプルの信頼度を、第２の閾値を下回るファクトとして示す場合に、候補ファクトの数値表現の集合内に含まれずかつ候補ファクトの数値表現の集合のタプルと同一のエンティティの数値表現を有する複数のタプルのうちの１つのタプルの数量を決定することと、複数のタプルのうちの当該タプルの数量と、候補ファクトの数値表現の集合の当該タプル内の数量の数値表現とに依存して、類似度を決定することと、類似度が第４の閾値より大きい場合に、複数のタプルのうちの当該タプルのコンテキストを別の参照候補の候補として選択することと、を含み得る。
【0015】
本方法は、タプルのうちの少なくとも１つのタプル内の数量の正規化に依存して類似度を決定することであって、ここで、正規化は、これらのタプルのうちの一方のタプルの単位及び／又はこれらのタプルの両方のタプルの単位に依存して決定される、ことを含み得る。このようにすることで、同等の数量のそれぞれ異なる単位が同等となる。これにより、数量ファクトをナレッジベースにより効率的に追加することができる。
【0016】
別の独立請求項に記載された装置は、高品質のナレッジベースにおける特定のギャップを数量ファクトで充填するために高精度かつ高再現率の両方により数量ファクトを抽出することを可能とする。ナレッジベース、特にナレッジグラフを充填するための装置は、少なくとも１つのプロセッサ及び少なくとも１つのメモリを備え、少なくとも１つのメモリは、ナレッジベース及びテキストリソースの数値表現の埋め込みを記憶することができ、さらに、少なくとも１つのプロセッサによって実行されるときに、コンピュータ実装された方法を用いて、装置に、ファクトをナレッジベースの埋め込みへ追加させるための命令を含む。
【0017】
上述した目的のためのコンピュータプログラムは、コンピュータによって実行されるときに、上述した方法をコンピュータに実施させるためのコンピュータ可読命令を含む。
【0018】
さらなる実施形態は、以下の説明と図面とから得られる。
【図面の簡単な説明】
【0019】
【図1】ナレッジベースを充填するための装置を概略的に示す図である。
【図2】ナレッジベースを充填するための方法の各ステップを示す図である。
【図3】ナレッジベースを充填するための方法のさらなるステップを示す図である。
【発明を実施するための形態】
【0020】
図１は、ナレッジベースを充填するための装置１００を概略的に示している。ナレッジベースは、例えばナレッジグラフを含む。
【0021】
装置１００は、少なくとも１つのプロセッサ１０２と、少なくとも１つのメモリ１０４とを含む。
【0022】
この例の少なくとも１つのメモリ１０４は、ナレッジベースを表現するナレッジベース１０６とテキストリソース１０８とを記憶している。
【0023】
少なくとも１つのメモリ１０４は、少なくとも１つのプロセッサ１０２によって実行されるときに、装置１００に対し、以下において説明するコンピュータ実装された方法を用いて数量ファクトをナレッジベース１０６へ追加させるための命令１１０を含む。この例における命令１１０は、少なくとも１つのプロセッサ１０２によって実行されるときに、装置１００にナレッジグラフを決定させるためのものである。
【0024】
ナレッジグラフは、ファクトに関する情報を相互リンクさせた集合体、即ち、ファクトを表現している。この例においては、ファクトは、トリプルとして符号化されている。この例におけるトリプルは、複数の要素を含む。
【0025】
この例におけるナレッジグラフは、エンティティ、関係及びオブジェクトを含むファクトを含むように構成されている。これらのファクトは、例えば＜主部；述部；目的部＞のトリプル又はリストである。
【0026】
この例では、ファクトにおいて、主部及び目的部は、ナレッジグラフのエンティティであり、述部は、ナレッジグラフにおけるこれらの間の関係である。
【0027】
この例におけるナレッジグラフは、エンティティ、関係、数量及び単位を含む数量ファクトを含むように構成されている。一例においては、数量ファクトは＜主部；述部；数量：単位＞の形式を取っている。この例においては、数量ファクトにおいて、主部は、ナレッジグラフのエンティティであり、述部は、エンティティと数量及び単位との間の関係である。
【0028】
数量ファクトは、一例においては、エンティティ、関係及び数量から成るトリプル又はリストであり、数量は、値及び単位を有する。数量ファクトは、例えば＜主部；述部；目的部＞のトリプルであり、その目的部に数量及び単位を含む。数量ファクトは、一例においては、エンティティ、関係、値及び単位から成るタプル又はリストである。
【0029】
以下に、ナレッジベース１０６を充填するためのコンピュータ実装された方法を、図２を参照して説明する。
【0030】
本方法の説明では、本方法の基本方式を説明するためのいくつかの例において、ワード、数及び単位の省略形が使用される。本方法においては、これらのワード、数及び／又は省略形は、そのアルファベット表現又はその数値表現によって、例えば、埋め込み空間への埋め込み又は一意の識別子によって表現される。
【0031】
本方法への入力は、この例においては所与のナレッジベース１０６である。この例は、所与のナレッジグラフ、即ち、テキストリソース１０８から抽出される数量ファクトの主部として機能するエンティティの集合と、ナレッジベース１０６からサンプリング可能な又はユーザによる入力として与えられ得る関心関係と、関連する単位の集合とに則して説明される。
【0032】
本方法により、テキストから数量ファクトを大規模に抽出し、その出力をナレッジベース１０６に直接に追加することができる。
【0033】
例えば、本方法は、材料名の集合、例えば水、塩素と、関心関係、例えばｈａｓ＿ｖｉｓｃｏｓｉｔｙと、関心単位、例えばｍＰａ／ｓとが与えられると、学術文献及び／又は刊行物の大量の集合体から、材料の粘度特性を記述するファクトを抽出する。例えば、本方法の出力は、トリプル＜ｗａｔｅｒ；ｈａｓ＿ｖｉｓｃｏｓｉｔｙ；１：００１６：ｍｌｐｓｉ＞である。
【0034】
以下においては、主部としての建物を表現するエンティティに関しており、目的部としてのタイプ“ｂｕｉｌｄｉｎｇ”を表現するエンティティに対するトリプルの述部としての“ｔｙｐｅ”の関係と、地理的位置を表現する目的部に対する述部としての“ｌｏｃａｔｅｄ＿ｉｎ”の関係を有する、建物を表現するエンティティの地理的位置とを有する情報を提供するトリプルを含むナレッジグラフに則して、本方法を説明する。即ち、
＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｌｏｃａｔｅｄ＿ｉｎ；Ｐａｒｉｓ＞
＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ；ｌｏｃａｔｅｄ＿ｉｎ；Ｓｉｄｎｅｙ＞
＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ；ｌｏｃａｔｅｄ＿ｉｎ；Ｐａｒｉｓ＞
＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
である。これらは、トリプルにおいて数値的に表現されるナレッジグラフのファクトである。
＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｌｏｃａｔｅｄ＿ｉｎ；Ｐａｒｉｓ＞
＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ；ｌｏｃａｔｅｄ＿ｉｎ；Ｓｉｄｎｅｙ＞
＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ；ｌｏｃａｔｅｄ＿ｉｎ；Ｐａｒｉｓ＞
＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ；ｔｙｐｅ；ｂｕｉｌｄｉｎｇ＞
である。これらは、トリプルにおいて数値的に表現されるナレッジグラフのファクトである。
【0035】
本方法の態様は、主部としての建物を表現するエンティティを、ファクトを決定するために使用可能な関心関係である“ｈｅｉｇｈｔ”、即ち、建物の高さの数量及びこの高さの単位を含む目的部に関連付ける関係に則して説明される。本方法の態様は、ファクトを決定するために使用可能な関心関係である“ｃｏｓｔ”に則して、即ち、主部としての建物を表現するエンティティを、建物の費用の数量及びこの費用が提供される際の通貨単位を含む目的部に関連付けるトリプルに則して説明される。この例においては、述部がナレッジベース１０６のファクト内にあるので、関心関係は、同一の次元のテンソル、特にベクトルとして数値的に表現される。
【0036】
本方法を、建物に関するナレッジを表現するテキストリソース１０８の数値表現を用いて説明する。
【0037】
説明している本方法の出力は、例えば、ファクト＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｈｅｉｇｈｔ；１０６３：ｆｅｅｔ＞又はファクト＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ；ｃｏｓｔ；１５０００００：＄＞の数値表現である。
【0038】
本方法は、反復して実施される。
【0039】
本方法は、ステップ２０２を含む。
【0040】
ステップ２０２は、ナレッジベース１０６を用意することを含む。この例においては、ナレッジベース１０６は、ナレッジグラフの特定のファクト内のファクトを含む。
【0041】
最初の反復において、ファクトは、ナレッジベース１０６の所与のファクトである。次の反復においては、ナレッジベース１０６は、以下に説明するように、本方法によって決定される数量ファクトを含む。
【0042】
本方法は、ステップ２０４を含む。
【0043】
ステップ２０４は、テキストリソース１０８を用意することを含む。テキストリソース１０８は、建物に関する情報を含む大規模なテキスト、例えばテキストコーパスである。各反復において、同一のテキストリソース１０８を使用することができる。また、それぞれ異なる反復において、それぞれ異なるテキストリソースを使用するものとしてもよい。
【0044】
本方法は、ステップ２０６を含む。
【0045】
ステップ２０６は、ナレッジベース１０６からエンティティを提供することを含む。反復において、同一のエンティティを選択することができる。また、それぞれ異なる反復において、それぞれ異なるエンティティを選択するものとしてもよい。
【0046】
この例のエンティティは、主部を表現するエンティティであり、例えば、Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ、Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ、Ｂｕｒｊ＿Ｋｈａｌｉｆａである。
【0047】
本方法は、ステップ２０８を含む。
【0048】
ステップ２０８は、ナレッジベース１０６から関心関係を提供することを含む。反復において、同一の関心関係を選択することができる。また、それぞれ異なる反復において、それぞれ異なる関心関係を選択するものとしてもよい。
【0049】
一例においては、関心関係は“ｈｅｉｇｈｔ”である。一例においては、関心関係は“ｃｏｓｔ”である。これに代えて、ナレッジベース１０６内の利用可能な他の任意の関心関係を使用することもできる。
【0050】
本方法は、ステップ２１０を含む。
【0051】
ステップ２１０は、それぞれ異なる単位の集合を提供することを含む。
【0052】
一例においては、それぞれ異なる高さの単位が、集合、例えば｛ｍｅｔｅｒ，ｆｅｅｔ｝又は｛ｍ，ｆｔ｝によって表現される。一例においては、それぞれ異なる費用に対する通貨単位が、集合、例えば｛Ｄｏｌｌａｒ，Ｅｕｒｏ｝又は｛＄，
｝によって表現される。
【数1】
【0053】
これに代えて、ナレッジベース１０６において利用可能な関心関係の他の任意の単位を使用することもできる。
【0054】
本方法は、ステップ２１２を含む。
【0055】
ステップ２１２は、テキストリソース１０８内にあるそれぞれ異なる単位の集合内の単位を含む数量を決定することを含む。これらは、エンティティ、関係及びそれぞれ異なる単位の集合に依存して決定される。
【0056】
ステップ２１２において、本方法は、テキストリソース１０８から少なくとも１つの数量を抽出する。
【0057】
数量を決定することであるステップ２１２は、一例においては、図３を参照して後述するさらなるステップ２１２－１，…，２１２－１３を含む。
【0058】
その後、ステップ２１４が実施される。
【0059】
ステップ２１４は、エンティティ、関係、数量及び単位を含む数量ファクトを決定することを含む。
【0060】
ステップ２１４において、本方法は、ナレッジベース１０６に追加するための数量ファクトを決定する。
【0061】
数量ファクトを決定することは、一例においては、タプル群から１つのタプルを選択することを含む。タプル群の決定については、後述する。
【0062】
数量ファクトを決定することは、一例においては、候補ファクトの集合からタプルを選択することを含む。候補ファクトの決定については後述する。
【0063】
一例においては、本方法は、タプル群内又は候補ファクトの集合内のタプルの順位において最高ランクを有するタプルを選択することを含む。
【0064】
その後、ステップ２１６が実施される。
【0065】
ステップ２１６は、数量ファクトをナレッジベースに追加することを含む。
【0066】
その後、本方法は、ステップ２０２又は終了へと続くものとしてよい。
【0067】
さらなる各ステップについては、図３を参照して説明する。
【0068】
これらのさらなるステップも、反復して実施することができる。
【0069】
ステップ２１２－１は、テキストリソース１０８のうち、当該数量を含む少なくとも１つのセクションを見出すことを含む。当該セクションは、例えば単位に基づいて検索され見出される。一例においては、当該単位はテキストリソース１０８において検索され、見出されたセクションは、当該単位を含み、又は、当該数量に関する単位を含む。
【0070】
一例においては、ステップ２１２－１は、テキストリソース１０８を、次のように前処理することによって、即ち、
テキストリソース１０８、例えばテキストコーパスを、ＯｐｅｎＩＥを用いて、例えば、Saha, S., Mausam著、「Open information extraction from conjunctive sentences.」、In: Bender，E.M., Derczynski, L., Isabelle, P. (eds.) Proceedings of the 27th International Conference on Computational Linguistics, COLING 2018， Santa Fe，New Mexico， USA， ２０１８年８月２０－２６日、第２２８８－２２９９頁、Association for Computational Linguistics (2018), https://www.aclweb.org/anthology/C18-1194/;、Saha, S., Pal, H.，Mausam著、「Bootstrapping for numerical open IE.」、In: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL ２０１７年、Vancouver, Canada, ７月３０日－８月４日、Volume 2: Short Papers (2017)に説明されているように処理し、
エンティティリンクのために、名前付きエンティティを、例えば、Hoffart, J., Yosef, M.A., Bordino, I., Fuerstenau, H., Pinkal., M., Spaniol，M., Taneva，B., Thater, S., Weikum，G.著、「Robust disambiguation of named entities in text」、In: Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing，EMNLP 2011, ２０１１年７月２７－３１日、John McIntyre Conference Centre, Edinburgh, UK, A meeting of SIGDAT, a Special Interest Group of the ACL (2011)に説明されているように認識して曖昧性解消し、
共参照解決のために、名前付きエンティティを、例えば、Lee, K., He, L., Zettlemoyer, L.著、「Higher-order coreference resolution with coarse-to-fine inference.」、In: Walker, M.A., Ji, H., Stent, A., (eds.) Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT, New Orleans, Louisiana, USA, ２０１８年６月１－６日、Volume 2 (Short Papers). 第６８７－６９２頁、Association for Computational Linguistics (2018), https://doi.org/10.18653/v1/N18-2108に説明されているように認識して曖昧性解消する
ように前処理することによって、テキストリソース１０８の前処理された埋め込みを決定することを含む。
テキストリソース１０８、例えばテキストコーパスを、ＯｐｅｎＩＥを用いて、例えば、Saha, S., Mausam著、「Open information extraction from conjunctive sentences.」、In: Bender，E.M., Derczynski, L., Isabelle, P. (eds.) Proceedings of the 27th International Conference on Computational Linguistics, COLING 2018， Santa Fe，New Mexico， USA， ２０１８年８月２０－２６日、第２２８８－２２９９頁、Association for Computational Linguistics (2018), https://www.aclweb.org/anthology/C18-1194/;、Saha, S., Pal, H.，Mausam著、「Bootstrapping for numerical open IE.」、In: Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics, ACL ２０１７年、Vancouver, Canada, ７月３０日－８月４日、Volume 2: Short Papers (2017)に説明されているように処理し、
エンティティリンクのために、名前付きエンティティを、例えば、Hoffart, J., Yosef, M.A., Bordino, I., Fuerstenau, H., Pinkal., M., Spaniol，M., Taneva，B., Thater, S., Weikum，G.著、「Robust disambiguation of named entities in text」、In: Proceedings of the 2011 Conference on Empirical Methods in Natural Language Processing，EMNLP 2011, ２０１１年７月２７－３１日、John McIntyre Conference Centre, Edinburgh, UK, A meeting of SIGDAT, a Special Interest Group of the ACL (2011)に説明されているように認識して曖昧性解消し、
共参照解決のために、名前付きエンティティを、例えば、Lee, K., He, L., Zettlemoyer, L.著、「Higher-order coreference resolution with coarse-to-fine inference.」、In: Walker, M.A., Ji, H., Stent, A., (eds.) Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL-HLT, New Orleans, Louisiana, USA, ２０１８年６月１－６日、Volume 2 (Short Papers). 第６８７－６９２頁、Association for Computational Linguistics (2018), https://doi.org/10.18653/v1/N18-2108に説明されているように認識して曖昧性解消する
ように前処理することによって、テキストリソース１０８の前処理された埋め込みを決定することを含む。
【0071】
数量を含むテキストリソース１０８の少なくとも１つのセクションは、この例においては、テキストリソース１０８の前処理された埋め込みにおいて見出される。
【0072】
その後、ステップ２１２－２が実施される。
【0073】
ステップ２１２－２は、単位の数値表現に依存して、セクションの数値表現内の単位のコンテキストＸを決定することを含む。
【0074】
その後、ステップ２１２－３が実施される。
【0075】
ステップ２１２－３は、それぞれエンティティ、数量、単位及びコンテキストＸを含む複数のタプルを決定することを含む。
【0076】
一例においては、ステップ２１２－１の出力は、ステップ２１２－２及びステップ２１２－３において、Ｑｓｅａｒｃｈに従うＱファクトを表現するタプル内へとキャストされる。
【0077】
Ｑファクトは、Ｆ＝（ｅ，ｑ，Ｘ）の形式のタプルであり、ここで、ｅは、ナレッジベース１０６のエンティティであり、ｑは、数量即ち数値とナレッジベース１０６からの当該数量の単位とを含む。コンテキストＸは、エンティティｅと数量ｑとの間の関係を理解するための情報を提供するキューワードの集合の形態のコンテキストを捕捉している。本方法においては、エンティティｅ、数量ｑ即ち値及び単位、並びに、コンテキストＸを含む、Ｑファクトの数値表現が処理される。
【0078】
例１：
“Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ ｉｓ １，０６３ｆｔ ｈｉｇｈ ａｎｄ ｃｏｓｔｓ ａｂｏｕｔ ＄１．５ ｍｉｌｌｉｏｎ ｔｏ ｃｏｎｓｔｒｕｃｔ．（エッフェル塔は高さ１０６３フィートであり、建設に約１５０万ドルを要する）”というテキストスニペットが、曖昧なエンティティ“Ｅｉｆｆｅｌ Ｔｏｗｅｒ”→＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞並びに数量“１，０６３ｆｔ”→＜１０６３，ｆｅｅｔ＞及び“＄１．５ ｍｉｌｌｉｏｎ”→＜１５０００００，＄＞と共に与えられたとする。ＯｐｅｎＩＥは、２つのタプル＜Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ；ｉｓ；１０６３ｆｔ ｈｉｇｈ＞及び＜Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ；ｃｏｓｔｓ；ａｂｏｕｔ ＄１．５ ｍｉｌｌｏｎ；ｔｏ ｃｏｎｓｔｒｕｃｔ＞を生成する。これらのタプルをエンティティ及び数量でマッピングし、全てのストップワードをドロップさせることで、本方法は、
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｅｅｔ）；Ｘ＝“ｈｉｇｈ”
Ｆ２：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１５０００００，＄）；Ｘ＝“ｃｏｓｔｓ ｃｏｎｓｔｒｕｃｔ”
を取得する。
“Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ ｉｓ １，０６３ｆｔ ｈｉｇｈ ａｎｄ ｃｏｓｔｓ ａｂｏｕｔ ＄１．５ ｍｉｌｌｉｏｎ ｔｏ ｃｏｎｓｔｒｕｃｔ．（エッフェル塔は高さ１０６３フィートであり、建設に約１５０万ドルを要する）”というテキストスニペットが、曖昧なエンティティ“Ｅｉｆｆｅｌ Ｔｏｗｅｒ”→＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞並びに数量“１，０６３ｆｔ”→＜１０６３，ｆｅｅｔ＞及び“＄１．５ ｍｉｌｌｉｏｎ”→＜１５０００００，＄＞と共に与えられたとする。ＯｐｅｎＩＥは、２つのタプル＜Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ；ｉｓ；１０６３ｆｔ ｈｉｇｈ＞及び＜Ｔｈｅ Ｅｉｆｆｅｌ Ｔｏｗｅｒ；ｃｏｓｔｓ；ａｂｏｕｔ ＄１．５ ｍｉｌｌｏｎ；ｔｏ ｃｏｎｓｔｒｕｃｔ＞を生成する。これらのタプルをエンティティ及び数量でマッピングし、全てのストップワードをドロップさせることで、本方法は、
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｅｅｔ）；Ｘ＝“ｈｉｇｈ”
Ｆ２：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１５０００００，＄）；Ｘ＝“ｃｏｓｔｓ ｃｏｎｓｔｒｕｃｔ”
を取得する。
【0079】
一例においては、本方法は、複数のタプルから、候補Ｑファクトと称される候補タプルの集合を収集する。これらの候補タプルは、任意選択手段としてフィルタリングされ、後述する述部目標クエリによってランク付けされる。述部目標クエリは、一例においては、ナレッジベース１０６のスキーマに依存して、述部としての関心関係、例えば“ｈｅｉｇｈｔ”に対して生成される。
【0080】
例えば、述部目標クエリｐは、タプルＴ（ｐ）＝（ｐｄ，ｐｕ，ｐＸ）であり、ここで、
ｐｄは、ナレッジベース１０６のスキーマからの述部ドメイン、例えば建物であり、
ｐｕは、述部値の可能な単位の集合、例えばｍｅｔｅｒ、ｆｅｅｔであり、
ｐＸ＝｛ｐＸ０，ｐＸ１，…｝は、クエリコンテキスト、この例においては多重集合であり、ここで、各ｐＸｉは、１つの述部ｐに対するコンテキストを表すワードバッグ、例えば“ｈｅｉｇｈｔ”、“ｓｔａｎｄｓ ｔａｌｌ”である。
ｐｄは、ナレッジベース１０６のスキーマからの述部ドメイン、例えば建物であり、
ｐｕは、述部値の可能な単位の集合、例えばｍｅｔｅｒ、ｆｅｅｔであり、
ｐＸ＝｛ｐＸ０，ｐＸ１，…｝は、クエリコンテキスト、この例においては多重集合であり、ここで、各ｐＸｉは、１つの述部ｐに対するコンテキストを表すワードバッグ、例えば“ｈｅｉｇｈｔ”、“ｓｔａｎｄｓ ｔａｌｌ”である。
【0081】
本方法においては、述部ドメインｐｄと、可能な単位の集合ｐｕと、多重集合ｐＸとを含む、述部目標クエリが処理される。
【0082】
このために、本方法は、任意選択手段としてのステップ２１２－４を含み得る。
【0083】
ステップ２１２－４は、複数のタプルのうちの少なくとも１つのタプルに対する参照を提供することを含む。
【0084】
少なくとも１つのタプルに対する参照ｐＸｉを提供することは、ナレッジベース１０６のための参照述部ドメインｐｄを提供することを含み得る。
【0085】
少なくとも１つのタプルに対する参照ｐＸｉを提供することは、ナレッジベース１０６からの参照エンティティｅを提供することを含み得る。
【0086】
少なくとも１つのタプルに対する参照ｐＸｉを提供することは、単位の集合から参照単位の集合ｐｕを提供することを含み得る。
【0087】
参照ｐＸｉを提供することは、複数のタプルのうちの少なくとも１つのタプルに対して、複数のタプルのうちの少なくとも１つの他のタプルのコンテキストに比較して、そのコンテキストＸがより類似している参照ｐＸｉを決定することを含み得る。
【0088】
この例においては、参照ｐＸｉは、ワードバッグである。
【0089】
初期の反復ｉ＝０においては、初期の目標クエリＴ０（ｐ）は、固定されたドメインｐｄ、ナレッジベース１０６のスキーマから取得された単位ｐｕ、及び、ｐＸ＝｛ｐＸ０｝のみを含むコンテキストによって構成可能であり、ここで、ｐＸ０は、例えば述部のナレッジベース１０６におけるラベル、例えば関心関係を表現する“ｈｅｉｇｈｔ”である。さらなる反復においては、後述するように、目標クエリＴｉ（ｐ）を決定することができる。
【0090】
その後、ステップ２１２－５が実施される。
【0091】
ステップ２１２－５は、複数のタプルのうちの少なくとも１つのタプルに対して、この複数のタプルのうちの少なくとも１つのタプルの、参照ｐＸｉへの類似度を決定することを含む。これは、候補Ｑファクトの集合内の少なくとも１つのＱファクトの、参照への類似性を決定することを意味する。
【0092】
類似度を決定することは、複数のタプルのうちの少なくとも１つのタプルにおけるコンテキストの、参照ｐＸｉへの類似度を決定することを含み得る。当該類似度は、Ｑファクトとその参照とのセマンティクス関係を表現する。
【0093】
類似度は、複数のタプル内のタプルについて決定され得る。類似度は、この例におけるように、複数のタプルのうちの少なくとも１つのタプルに対して、参照述部の数値表現により、少なくとも１つのタプルのエンティティの数値表現が参照エンティティの数値表現までの所定の距離内にある数値表現へとマッピングされ、かつ、少なくとも１つのタプルの単位が参照単位の集合内にある場合にのみ決定可能となる。これらの数値表現は、埋め込み空間内にあり得る。例えば、コンテキスト化されたＢＥＲＴ埋め込みに基づくコンテキスト埋め込み距離は、ＱＳｅａｒｃｈについて説明したようにして決定することができる。
【0094】
その後、ステップ２１２－６が実施される。
【0095】
ステップ２１２－６は、複数のタプルのうちの少なくとも１つのタプルに対する、その参照ｐＸｉまでの距離に依存した第１のスコアを決定することを含み、このスコアは、数量ファクトを決定するために選択可能な当該タプルの信頼度を示す。
【0096】
一例における第１のスコアは、目標クエリＴｉ（ｐ）＝（ｐｄ，ｐｕ，ｐＸ）に関するＱファクトＦ＝（ｅ，ｑ，Ｘ）から、
として決定される。ここで、
ｓｉｍは、２つのワードバッグ間におけるセマンティクス類似度を示しており、ｓｉｍの選択のための様々な任意選択手段が存在するが、この例においては、Ｑｓｅａｒｃｈによるコンテキスト埋め込み距離が、コンテキスト化されたＢＥＲＴ埋め込みに基づいて使用され、
ｒｅｌは、全てのＱファクトをランク付けする関連性スコアを記述しており、そのエンティティ及び数量が目標述部のドメイン及び単位に一致し、即ち、それぞれのコンテキストＸとクエリｐＸｉにおける最良一致のコンテキストとの間のセマンティクス埋め込み距離に基づいて、関心関係を表現する述部である。
【数2】
ｓｉｍは、２つのワードバッグ間におけるセマンティクス類似度を示しており、ｓｉｍの選択のための様々な任意選択手段が存在するが、この例においては、Ｑｓｅａｒｃｈによるコンテキスト埋め込み距離が、コンテキスト化されたＢＥＲＴ埋め込みに基づいて使用され、
ｒｅｌは、全てのＱファクトをランク付けする関連性スコアを記述しており、そのエンティティ及び数量が目標述部のドメイン及び単位に一致し、即ち、それぞれのコンテキストＸとクエリｐＸｉにおける最良一致のコンテキストとの間のセマンティクス埋め込み距離に基づいて、関心関係を表現する述部である。
【0097】
ステップ２１２－６の出力は、一例においては、タプルのランク付けされたリストである。このことは、Ｑファクトのランク付けされたリストが決定されることを意味する。目標クエリＴｉ（ｐ）は、一例においては、複数のタプルのうちの１つのタプルをそのセマンティクス関係の観点からランク付けするために使用される。これは、候補Ｑファクトが、そのセマンティクス関係に関してランク付けされていることを意味する。
【0098】
一例においては、ステップ２１２－７において、タプルのランク付けされたリスト内の少なくとも１つのタプルの第１のスコアにより、数量ファクトを決定するために選択可能なタプルの信頼度が第１の閾値よりも高いことが示されるか否かの判定が行われる。
【0099】
数量ファクトとして選択可能な当該タプルの信頼度が第１の閾値より高いことを示す第１のスコアを有するタプルに対して、ステップ２１２－８が実施される。
【0100】
ステップ２１２－７においては、タプルのランク付けされたリストにおける少なくとも１つのタプルの第１のスコアにより、数量ファクトを決定するために選択可能な当該タプルの信頼度が第２の閾値を下回ることが示されるか否かの判定が行われる。
【0101】
数量ファクトとして選択可能なタプルの信頼度が第２の閾値未満であることを示す第１のスコアを有するタプルに対して、ステップ２１２－９が実施される。
【0102】
第１の閾値は、例えば信頼度－閾値パラメータγである。一例においては、Ｑファクトのランク付けされたリストにおいて高信頼度群Ｈが決定される。高信頼度群Ｈは、ｒｅｌ（Ｆ，Ｔ（ｐ））≧γのスコアを有するＱファクトを含む。一例においては、低信頼度群Ｌは、Ｑファクトのランク付けされたリストにおいて決定される。低信頼度群Ｌは、ｒｅｌ（Ｆ，Ｔ（ｐ））＜γのスコアを有するＱファクトを含む。
【0103】
基本的な手法によりγを設定するために、本方法は、Ｗｉｋｉｄａｔａから抽出された目標述部のグラウンドトゥルースファクトの集合からＤｉｓｔａｎｔＳｕｐｅｒｖｉｓｉｏｎを使用して、Shu, L., Xu, H., Liu, B.著、「DOC: deep open classification of text documents.」、In: Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, EMNLP 2017, Copenhagen, Denmark, ２０１７年９月９－１１日、第２９１１－２９１６頁、(2017)に従い、ガウシアンフィッティングを用いたディープオープン分類（ＤＯＣ）法を利用することができる。
【0104】
ステップ２１２－８は、数量ファクトを決定するために選択可能なタプルの信頼度が第１の閾値以上であることを示している第１のスコアを有する少なくとも１つのタプルをタプル群に追加することを含む。タプル群は、高信頼度群ＨにおけるＱファクトを表現している。
【0105】
その後、任意選択手段としてのステップ２１２－１０が実施される。
【0106】
ステップ２１２－１０は、タプル群内の少なくとも１つのタプルに対する、当該タプルの数量に依存した第２のスコアを決定することを含み、ここで、第２のスコアは、選択可能な当該タプルの尤度をファクトとして示すものである。
【0107】
高信頼度群ＨにおけるＱファクトの大部分は、正しい確率が高い、即ち、目標述部が捕捉されておりかつ合理的な数量値を有していると仮定される。しかしながら、小さい部分は、依然としてスプリアスである可能性がある。当該スプリアスをフィルタリング除去するために、本方法は、高信頼度群Ｈの値分布の特徴付けに基づいてノイズ除去技術を考察することができる。ノイズ除去技術及び第２のスコアについては、後述する。構想は、高さ１ｍ又は５ｋｍの建物などといった誤りの可能性が高い外れ値を見出すことである。このようにして、本方法により、多くの偽陽性が排除される。
【0108】
その後、ステップ２１２－１１が実施される。
【0109】
ステップ２１２－１１は、エンティティ、数量、単位及びコンテキストＸを含む、集合の候補ファクトに対する少なくとも１つのタプルを決定することを含む。候補ファクトは、数量ファクトを決定するためのＱファクト候補を表現している。
【0110】
ステップ２１２－１１は、例えば、タプル群から１つのタプルを選択し、当該タプルを候補ファクトの集合に追加すること又は当該タプルを候補ファクトの集合に追加しないことのいずれかを含む。
【0111】
ステップ２１２－１１は、タプルの群から選択されたタプルに対する第２のスコアにより、ファクトとして選択可能な尤度が第３の閾値より高いことを当該タプルが示しているか否かの判定を含み得る。
【0112】
ステップ２１２－１１は、第２のスコアによって、数量ファクトを決定するために選択可能な当該タプルの尤度が第３の閾値を上回ることが示された場合には、当該タプルを集合の候補ファクトに追加し、示されない場合には、当該タプルを選択しないことを含み得る。
【0113】
少なくとも１つのタプルが追加されるまで、又は、タプル群内のタプルが処理されるまで、ステップ２１２－１１を繰り返すことができる。
【0114】
その後、ステップ２１２－１２が実施される。
【0115】
ステップ２１２－１２は、そのコンテキストＸに依存して、候補ファクトの集合内の少なくとも１つのタプルからファクトの数量に対する候補として数量を選択すること又は選択しないことのいずれかを含む。
【0116】
先行のステップは、例えば、次のそれぞれ、即ち、
１）同一のエンティティに対して、それぞれ異なる数量（例えば、３０２ｍ、約３００ｍ、３００ｍ超）が、それぞれ異なる精度レベルで示されている可能性があること；
２）それぞれ異なる単位が、変換後に偏差（例えば１０６３ｆｔ→３２０ｍ）を生じさせている可能性があること；
３）テキストリソース１０８における元のテキストの偽のステートメント；
４）時間的に変動する値、又は、それ以外の値におけるコンテキスト依存性の差異、例えば、特定の年期若しくは四半期における企業収益又は特定の販売地域における企業収益など
に起因して、いくつかの不正確な又は厳密でないＱファクト候補を残している可能性がある。
１）同一のエンティティに対して、それぞれ異なる数量（例えば、３０２ｍ、約３００ｍ、３００ｍ超）が、それぞれ異なる精度レベルで示されている可能性があること；
２）それぞれ異なる単位が、変換後に偏差（例えば１０６３ｆｔ→３２０ｍ）を生じさせている可能性があること；
３）テキストリソース１０８における元のテキストの偽のステートメント；
４）時間的に変動する値、又は、それ以外の値におけるコンテキスト依存性の差異、例えば、特定の年期若しくは四半期における企業収益又は特定の販売地域における企業収益など
に起因して、いくつかの不正確な又は厳密でないＱファクト候補を残している可能性がある。
【0117】
これらの種類のノイズ及び矛盾を解消するために、本方法は、テキストリソース１０８のテキスト部分から又は利用可能である場合には文書タイムスタンプから、例えばニュース記事について取得された時間範囲によって、同一のエンティティ－述部ペアに対するＱファクトを群としてまとめることを含み得る。これらの各群において、本方法は、最も頻度の高い値を選択することができる。得られたＱファクトは、数量ファクトを決定するための候補である。
【0118】
ステップ２１２－１２は、複数のタプルから少なくとも１つのタプルを選択することを含み得るものであり、このタプルは、複数のタプルのうちの第２のタプルのコンテキストがその参照ｐＸｉに類似していることに比較して、その参照ｐＸｉにより類似しているコンテキストを含む。この例においては、参照ｐＸｉに最も類似したコンテキストを有するタプルが選択される。この例においては、当該タプルは候補ファクトの集合から選択される。
【0119】
ステップ２１２－９において、本方法は、Ｑファクト候補の低信頼度群Ｌを再考慮する。当該群は、いくつかの別の関連するステートメントを含み得る。
【0120】
一例におけるステップ２１２－９は、高信頼度群Ｈからの少なくとも１つのタプルと同一のエンティティを有する、複数のタプルのうちの１つのタプルを決定することを含む。
【0121】
ステップ２１２－９は、低信頼度群ＬからのＱファクトを表現する少なくとも１つのタプル内の数量と高信頼度群ＨのＱファクトを表現する少なくとも１つのタプル内の数量とに依存して類似度を決定することを含み得る。
【0122】
当該プロシージャは、高信頼度群ＨからのＱファクトを表現する少なくとも１つのタプルへの類似度に基づいて、低信頼度群Ｌ内の陽性のインスタンスを検出する。
【0123】
ステップ２１２－９は、少なくとも１つのタプル内の数量の正規化に依存して類似度を決定することを含み得る。正規化は、一例においては、複数のタプルのうちの一方のタプルの単位に依存して決定される。正規化は、一例においては、これらのタプルの両方における単位に依存して決定される。
【0124】
ステップ２１２－９は、例えばRoy, S., Vieira, T.，Roth, D.著、「Reasoning about quantities in natural language」、Transactions of the Association for Computational Linguistics 3 (2015)に記載されているように、正規化数量を含み得る。
【0125】
その後、ステップ２１２－１３が実施される。
【0126】
ステップ２１２－１３は、類似度が第４の閾値よりも大きい場合に、コンテキストＸを別の参照ｐＸｉのための候補として選択することを含む。
【0127】
これにより、述部コンテキストｐＸが付加的な関連するフレーズとともに自動的に拡張される。付加的な関連するフレーズを用いて述部コンテキストｐＸを自動的に拡張することについては、後述する。
【0128】
例２
本方法により、（Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ，ｈｅｉｇｈｔ，３２４ｍ）がナレッジベース１０６に追加され、かつ、（Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ，３２４ｍ，“ｓｔａｎｄ ｔａｌｌ”）が低信頼度群ＬからのＱファクトである場合、上述したクエリ拡張メカニズムが、目標述部“ｈｅｉｇｈｔ”のパラフレーズとしてのトークン“ｓｔａｎｄ ｔａｌｌ”を収集する。初期の目標クエリＴ０（ｐ）が、ｐＸをｐＸ∪｛“ｓｔａｎｄ ｔａｌｌ”｝へ設定することによって拡張され、その結果、当該更新されたコンテキストを有するＴ１（ｐ）が得られる。
本方法により、（Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ，ｈｅｉｇｈｔ，３２４ｍ）がナレッジベース１０６に追加され、かつ、（Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ，３２４ｍ，“ｓｔａｎｄ ｔａｌｌ”）が低信頼度群ＬからのＱファクトである場合、上述したクエリ拡張メカニズムが、目標述部“ｈｅｉｇｈｔ”のパラフレーズとしてのトークン“ｓｔａｎｄ ｔａｌｌ”を収集する。初期の目標クエリＴ０（ｐ）が、ｐＸをｐＸ∪｛“ｓｔａｎｄ ｔａｌｌ”｝へ設定することによって拡張され、その結果、当該更新されたコンテキストを有するＴ１（ｐ）が得られる。
【0129】
これらのステップ２０９及びステップ２１２－１３は、例えば停止基準が満たされるまで繰り返される。停止基準は、クエリをそれ以上拡張することができないことを意味し得る。停止基準は、最大反復回数ｋに達したことであるものとしてよい。一例においては、ｋ＝１０の反復が使用される。
【0130】
ノイズ除去のために、ノイズ除去技術は、例えばステップ２１２－１０において、特に全ての数量値を正規化することを含む。例えば、正規化は、数量値を同一の標準単位へ、例えば高さを表すｍｅｔｅｒへ変換することを含む。正規化は、例えば、閾値よりも小さい正規化値間の差を有するＱファクトを結合することを含む。
【0131】
ここでの閾値は、例えば５％である。当該差は、例えば、同一の対象についての数量のメジアン値に対する数量の相対差として、例えば、エッフェル塔を表現する主部については、３００ｍ、３０２ｍ及び３１０ｍのようなメジアン値を採用することによって決定される。
【0132】
一例においては、正規化数量値は、Ｑファクトの高信頼度群Ｈから選択される。この場合のノイズ除去は、数量値の分布に基づいて高信頼度群Ｈからのノイズ値をフィルタリング除去するという目標を有する。当該態様においては、本方法は、ある数量値が高信頼度群Ｈから除去された場合に、分布における変化を決定することを含み得る。
【0133】
本方法は、それぞれの値ν∈Ｈに対して、２つの尤度スコア、即ち、オリジナル尤度スコアｏ＿ｓｃｏｒｅ及びコンシステンシ尤度スコアｃ＿ｓｃｏｒｅを決定することを含み得る。
【0134】
ｏ＿ｓｃｏｒｅは、値νを含む高信頼度群Ｈにおける数量値の完全な集合から構築された分布から生成された値νの尤度である。
【0135】
ｃ＿ｓｃｏｒｅは、値νを除いた高信頼度群Ｈのランダム部分集合から構築された複数の分布から決定される。
【0136】
ｃ＿ｓｃｏｒｅは、例えば、コンシステンシ学習技術に基づいて決定される。コンシステンシ学習は、例えば、J. Yagnik and A. Islam.著、「Learning people annotation from the web via consistency learning.」、In: Proceedings of the 9th ACM SIGMM International Workshop on Multimedia, Information Retrieval, MIR 2007, Augsburg, Bavaria, Germany, ２００７年９月２４－２９日、2007に記載されている。
【0137】
この例においては、値νに対するｎｏｉｓｅ＿ｓｃｏｒｅが閾値μより大きい量だけ異なる場合に、値νがノイズとみなされる。この例においては、ｎｏｉｓｅ＿ｓｃｏｒｅは、ｏ＿ｓｃｏｒｅとｃ＿ｓｃｏｒｅとの間の差分に依存して、例えば、
のように決定される。
【数3】
【0138】
この例においては、高信頼度群Ｈのうちμよりも小さいｎｏｉｓｅ＿ｓｃｏｒｅを有する全てのＱファクトがフィルタリング除去される。当該コンテキストにおけるフィルタリング除去は、候補ファクトの集合においてこれらのＱファクトをタプルとして考慮しないことを指す。
【0139】
ｏ＿ｓｃｏｒｅは、例えば、高信頼度群Ｈからの分布ｆに依存して、例えばカーネル密度推定を使用して決定され、ここで、ｆは、帯域幅パラメータｂを有する確率密度関数
であり、Φは、カーネル関数である。この例においては、ガウスカーネルが使用される。ガウスカーネルは、例えば、
として定義されている。
【数4】
【数5】
【0140】
帯域幅ｂは、例えば、最適な帯域幅の自動選択のためのＩｍｐｒｏｖｅｄ Ｓｈｅａｔｈｅｒ Ｊｏｎｅｓ法によって決定される。当該帯域幅は、Z. I. Botev, J. F. Grotowski, D. P. Kroese等著、「Kernel density estimation via diffusion.」、In: The annals of Statistics, 38(5):2916-2957, 2010に記載されているようにして決定可能である。
【0141】
値ν∈Ηのｏ＿ｓｃｏｒｅは、一例においては、
である。
【数6】
【0142】
これは、密度がｆ（ν）以下である全ての値に対するｆの積分としての値νの尤度を意味する。一例においては、カーネル密度推定は複数の局所的極値を有し得るので、本方法は、当該積分をＳｉｍｐｓｏｎの規則によりセグメンテーションによって近似することを含む。
【0143】
一例におけるｃ＿ｓｃｏｒｅの決定は、高信頼度群Ｈからの値の小さいプローブ集合、例えば高信頼度群Ｈの１０％をランダムサンプリングし、高信頼度群Ｈの残余の値を分布の構築に使用することを含む。次いで、構築された分布が、プローブ集合内の値の尤度スコアを測定するために使用される。こうしたサンプリング及び交差検証プロセスは、多数のサンプリング反復において繰り返される。値νのｃ＿ｓｃｏｒｅは、例えば、プローブ集合にνが含まれていた全てのケースにわたって集約された平均予測尤度として計算される。
【0144】
サンプリング反復のたびに、ｏ＿ｓｃｏｒｅについて説明したように、ｃ＿ｓｃｏｒｅについての分布の構築及び値尤度の推論が決定される。唯一の相違点は、ｏ＿ｓｃｏｒｅを計算する際には、最適な帯域幅値ｂがＨから構築され、これが高信頼度群Ｈのサンプル部分集合から分布を構築するためにも使用されるということである。
【0145】
当該付加されたノイズは、サンプルによって定義される分布の形状を変化させるのみであって、帯域幅ｂによって定義される平滑性は変化させない。
【0146】
一例におけるノイズ除去により、陽性結果Ｈ＋が出力される。陽性結果Ｈ＋は、高信頼度群Ｈからノイズを有する全てのＱファクトを除去することによって、即ち、ｎｏｉｓｅ＿ｓｃｏｒｅ≧μの高いノイズスコアを有する全てのＱファクトを除去することによって決定される。一例においては、μは０．３である。一例においては、陽性結果Ｈ＋は、ナレッジベースへ追加されるタプル群とみなされ、続いて上述したように処理される。
【0147】
一例におけるノイズ除去は、陽性結果Ｈ＋から分布ｆの推定を出力する。分布ｆの推定は、次のセクションで説明するように、付加的な関連するフレーズ、即ち、クエリ拡張による述部コンテキストｐＸの自動的な拡張に使用することができる。
【0148】
付加的な関連するフレーズによる述部コンテキストｐＸの自動的な拡張への入力は、関連性スコアｒｅｌ（Ｆ，Ｔ（ｐ））において低くランク付けされた低信頼度群Ｌにおける陽性結果Ｈ＋及びＱファクトを含む。
【0149】
ここでの自動的な拡張の目標は、上述したファクト抽出プロセスのより良好なカバレッジを達成することである。具体的には、反復ｉにおける現在の述部目標クエリがＴｉ（ｐ）＝（ｐｄ，ｐｕ，ｐＸ＝｛ｐＸ０，…，ｐＸｉ｝）であるとき、本方法は、候補コンテキストｐＸ’を学習することを含む。本方法はさらに、候補コンテキストｐＸ’に依存して次の反復ｉ＋１のクエリコンテキストを拡張することを含む。
【0150】
当該クエリ拡張技術は、データにおける冗長性、即ち、同一のエンティティが存在することと、陽性結果Ｈ＋及び低信頼度群Ｌの両方におおよそ同様の数量とが存在することとに依拠している。
【0151】
このことについて、台を有するＱファクト（supported Qfacts）を用いて説明する。低信頼度群Ｌから与えられたＱファクトであるＦ＝（ｅ，ｑ，Ｘ）は、陽性結果Ｈ＋において、
のようなＱファクトであるＦ’＝（ｅ，ｑ’，Ｘ’）が存在する場合に、台を有するＱファクトである。即ち、ＱファクトＦ’は、Ｆと同一の標準単位に変換された後、Ｆと同一のエンティティを有し、Ｆとほぼ等しい数量を有する。
【数7】
【0152】
台を有する集合ｓｕｐｐ＿ｓｅｔ（Ｌ，Ｈ＋）は、低信頼度群Ｌ内の全ての台を有するＱファクトの集合である。
【0153】
一例においては、高信頼度群Ｈは、陽性結果Ｈ＋＝｛Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ，３２４ｍ，“ｈｅｉｇｈｔ”），（Ｂｕｒｊ＿Ｋｈａｌｉｆａ，２７１２ｆｔ，“ｒｅａｃｈｅｄ ｈｅｉｇｈｔ”）｝を含む。この例においては、次の各Ｑファクト、即ち、
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｅｅｔ）；Ｘ＝“ｈｉｇｈ”
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（３２４，ｍ）；Ｘ＝“ｓｔａｎｄ ｔａｌｌ”
Ｆ２：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｔ）；Ｘ＝“ｒｉｓｅ”
Ｆ３：ｅ＝＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ＞；ｑ＝（２７２２，ｆｔ）；Ｘ＝“ｏｒｉｇｉｎａｌｌｙ ｔａｌｌ”
Ｆ４：ｅ＝＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ＞；ｑ＝（８２８，ｍ）；Ｘ＝“ｒｉｓｅ ｈｅｉｇｈｔ”
が台を有する。
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｅｅｔ）；Ｘ＝“ｈｉｇｈ”
Ｆ１：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（３２４，ｍ）；Ｘ＝“ｓｔａｎｄ ｔａｌｌ”
Ｆ２：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（１０６２，ｆｔ）；Ｘ＝“ｒｉｓｅ”
Ｆ３：ｅ＝＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ＞；ｑ＝（２７２２，ｆｔ）；Ｘ＝“ｏｒｉｇｉｎａｌｌｙ ｔａｌｌ”
Ｆ４：ｅ＝＜Ｂｕｒｊ＿Ｋｈａｌｉｆａ＞；ｑ＝（８２８，ｍ）；Ｘ＝“ｒｉｓｅ ｈｅｉｇｈｔ”
が台を有する。
【0154】
この例において台を有さない（not supported）ものは、例えば、
Ｆ５：ｅ＝＜Ｔｈｅ＿Ｓｈａｒｄ＞；ｑ＝（１０１７，ｆｔ）；Ｘ＝“ｔａｌｌ”
Ｆ６：ｅ＝＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ＞；ｑ＝（３０９，ｍ）；Ｘ＝“ｓｔａｎｄ ｈｉｇｈ”
Ｆ７：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（３２８，ｆｔ）；Ｘ＝“ｂａｓｅ ｗｉｄｅ”
である。
Ｆ５：ｅ＝＜Ｔｈｅ＿Ｓｈａｒｄ＞；ｑ＝（１０１７，ｆｔ）；Ｘ＝“ｔａｌｌ”
Ｆ６：ｅ＝＜Ｓｙｄｎｅｙ＿Ｔｏｗｅｒ＞；ｑ＝（３０９，ｍ）；Ｘ＝“ｓｔａｎｄ ｈｉｇｈ”
Ｆ７：ｅ＝＜Ｅｉｆｆｅｌ＿Ｔｏｗｅｒ＞；ｑ＝（３２８，ｆｔ）；Ｘ＝“ｂａｓｅ ｗｉｄｅ”
である。
【0155】
Ｆ５及びＦ６のエンティティｅは、陽性結果Ｈ＋には現れないが、Ｆ７の数量は、偏差が大き過ぎ、即ち、閾値を上回っている。上からＬ＝｛Ｆ１，…，Ｆ７｝を得ると、その台を有する集合は、ｓｕｐｐ－ｓｅｔ（Ｌ，Ｈ＋）＝｛Ｆ１，Ｆ２，Ｆ３，Ｆ４｝となる。
【0156】
本方法は、低信頼度群Ｌにおいて現れる各候補コンテキストｐＸ’に対して、高信頼度群Ｈ内の陽性結果Ｈ＋からファクトをリフレーズして、低信頼度群Ｌ内の複数のステートメントを決定することを含み得る。
【0157】
所与の候補コンテキストｐＸ’に対して、その台（support）は、コンテキストがｐＸ’を含む、台を有するＬの集合における複数のＱファクトであり、
である。
【数8】
【0158】
一例においては、上述したＦ１，…，Ｆ７と高信頼度群及び低信頼度群Ｌにおける陽性結果Ｈ＋とに対し、本方法は、例えば、
ｓｕｐｐ（“ｓｔａｎｄ”，Ｌ，Ｈ＋）＝｜｛Ｆ１｝｜＝１
ｓｕｐｐ（“ｔａｌｌ”，Ｌ，Ｈ＋）＝｜｛Ｆ１，Ｆ３｝｜＝２
ｓｕｐｐ（“ｒｉｓｅ”，Ｌ，Ｈ＋）＝｜｛Ｆ２，Ｆ４｝｜＝２
を決定する。
ｓｕｐｐ（“ｓｔａｎｄ”，Ｌ，Ｈ＋）＝｜｛Ｆ１｝｜＝１
ｓｕｐｐ（“ｔａｌｌ”，Ｌ，Ｈ＋）＝｜｛Ｆ１，Ｆ３｝｜＝２
ｓｕｐｐ（“ｒｉｓｅ”，Ｌ，Ｈ＋）＝｜｛Ｆ２，Ｆ４｝｜＝２
を決定する。
【0159】
候補コンテキストｐＸ’は、単一のトークン、例えばワードに限定されているわけではない。候補コンテキストｐＸ’が２つ以上のトークンを有することもある。例えば、２つのトークン“ｒｉｓｅ ｈｅｉｇｈｔ”を含む候補コンテキストｐＸ’に関しては、ｓｕｐｐ（“ｒｉｓｅ ｈｅｉｇｈｔ”，Ｌ，Ｈ＋）＝｜｛Ｆ４｝｜＝１を保持する。
【0160】
一例においては、台は、例えば、本方法によって処理された候補コンテキストｐＸ’’のうち最も高い台値によって正規化される。候補コンテキストｐＸ’の対応する相対的台は、
となる。
【数9】
【0161】
一例においては、高い台は、候補コンテキストｐＸ’を元の述部ｐのパラフレーズ又はリファインメントとすることができる程度に十分ではない。
【0162】
一例においては、例えば“ａｂｏｕｔ”、“ｄｕｒｉｎｇ”、“ｕｐ”のような高い台を有する非情報ワードが逆文書頻度を決定し、それぞれの逆文書頻度を閾値と比較することによってフィルタリング除去される。各閾値は、例えば、非情報ワードの逆文書頻度より大きい値に設定される。
【0163】
クエリ拡張にとって有望な候補コンテキストｐＸ’をより効果的に選択するために、本方法は、それぞれのステートメントの数量を追加的に考慮することを含み得る。一例においては、コンテキストがｐＸ’を含む低信頼度群Ｌ内のＱファクトを含む候補コンテキストｐＸ’の拡張集合ｅｘｐ＿ｓｅｔ（ｐＸ’，Ｌ）が
として決定される。
【数10】
【0164】
上述した低信頼度群Ｌに対して、これにより、
ｅｘｐ＿ｓｅｔ（“ｓｔａｎｄ”，Ｌ）＝｛Ｆ１，Ｆ６｝
ｅｘｐ＿ｓｅｔ（“ｔａｌｌ”，Ｌ）＝｛Ｆ１，Ｆ３，Ｆ５｝
ｅｘｐ＿ｓｅｔ（“ｒｉｓｅ”，Ｌ）＝｛Ｆ２，Ｆ４｝
が得られる。
ｅｘｐ＿ｓｅｔ（“ｓｔａｎｄ”，Ｌ）＝｛Ｆ１，Ｆ６｝
ｅｘｐ＿ｓｅｔ（“ｔａｌｌ”，Ｌ）＝｛Ｆ１，Ｆ３，Ｆ５｝
ｅｘｐ＿ｓｅｔ（“ｒｉｓｅ”，Ｌ）＝｛Ｆ２，Ｆ４｝
が得られる。
【0165】
拡張集合は、高信頼度群Ｈのファクトのいずれかによって台を有するか否かにかかわらず、ｐＸ’を含む低信頼度群のＱファクトを含む。これらのＱファクトは、クエリを拡張するためにｐＸ’が選択されている場合、高信頼度群Ｈに追加可能なステートメントである。
【0166】
一例においては、拡張集合の品質は、値分布ｆに対するそのＱファクトの数量値を決定することによって決定される。
【0167】
分布信頼度は、例えば、高信頼度群Ｈの陽性結果Ｈ＋から構築された分布ｆにより生成された、拡張集合内の数量値の平均尤度として、
として決定され、ここで、Ｐ（ｆ→ｑ）は、上述した積分関数である。
【数11】
【0168】
したがって、元の述部ｐをパラフレーズ又はリファイニングするための良好な候補コンテキストは、参照分布に一致する数量を有する拡張集合を有するべきである。
【0169】
拡張集合の適合性をスコア化するための第２の信号として、本方法は、Ｑファクトの元の関連性スコアを使用することができる。
【0170】
クエリ信頼度ｑ＿ｃｏｎｆ（ｐＸ’，Ｌ）は、例えば、所与の反復ｉにおける述部目標クエリＴｉ（ｐ）に対する拡張集合内のＱファクトの平均関連性スコアとして決定され、
となる。
【数12】
【0171】
候補コンテキストｐＸ’は、相対的台、クエリ信頼度及び分布信頼度のうちの任意の単一のものに従ってランク付け可能である。
【0172】
一例においては、候補コンテキストｐＸ’の適合性、例えばｅｘｐａｎｓｉｏｎ＿ｓｃｏｒｅ（ｐＸ’，Ｌ，Ｈ＋）について、本方法は、相対的台、クエリ信頼度及び分布信頼度の重み付け和を決定すること、即ち、
を含み、ここで、重みｗ１，…，ｗ３は、選択され又は与えられる。候補コンテキストｐＸ’は、その適合性に従って、例えば、このケースにおいてはｅｘｐａｎｓｉｏｎ＿ｓｃｏｒｅ（ｐＸ’，Ｌ，Ｈ＋）に従ってランク付けされ得る。
【数13】
【0173】
例示的な本方法においては、第２のスコアは、相対的台、クエリ信頼度、及び、分布信頼度のうちの任意の単一のものであってよく、又は、これらの重み付け和ｅｘｐａｎｓｉｏｎ＿ｓｃｏｒｅであってよい。
【図1】
【図2】
【図3】
【外国語明細書】