特表 2024-510135 論理ニューラル・ネットワークのエンティティ・リンキングのためのシステム、コンピュータ・プログラム、および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-06

(54)【発明の名称】論理ニューラル・ネットワークのエンティティ・リンキングのためのシステム、コンピュータ・プログラム、および方法

(51)【国際特許分類】

   G06F 16/90 20190101AFI20240228BHJP

【ＦＩ】

G06F16/90 100

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023553518

(86)(22)【出願日】2022-03-14

(85)【翻訳文提出日】2023-09-03

(86)【国際出願番号】 CN2022080633

(87)【国際公開番号】W WO2022194086

(87)【国際公開日】2022-09-22

(31)【優先権主張番号】17/202,406

(32)【優先日】2021-03-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】390009531

【氏名又は名称】インターナショナル・ビジネス・マシーンズ・コーポレーション

【氏名又は名称原語表記】ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＢＵＳＩＮＥＳＳ ＭＡＣＨＩＮＥＳ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】Ｎｅｗ Ｏｒｃｈａｒｄ Ｒｏａｄ， Ａｒｍｏｎｋ， Ｎｅｗ Ｙｏｒｋ １０５０４， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ

(74)【復代理人】

【識別番号】100091568

【弁理士】

【氏名又は名称】市位 嘉宏

(74)【代理人】

【識別番号】100112690

【弁理士】

【氏名又は名称】太佐 種一

(74)【代理人】

【識別番号】100120710

【弁理士】

【氏名又は名称】片岡 忠彦

(72)【発明者】

【氏名】ジアン、ハン

(72)【発明者】

【氏名】グラジャダ、サイラム

(72)【発明者】

【氏名】ポパ、ルシアン

(72)【発明者】

【氏名】セン、プリトビラージ

(72)【発明者】

【氏名】グレイ、アレクサンダー

(72)【発明者】

【氏名】リ、ユンヤオ

【テーマコード（参考）】

5B175

【Ｆターム（参考）】

5B175EA01

(57)【要約】

論理ニューラル・ネットワーク（ＬＮＮ）内のエンティティ・リンキングのためのシステム、コンピュータ・プログラム製品、および方法が提供される。注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して、特徴のセットが生成される。生成された特徴のセットは、木構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいるエンティティ・リンキングＬＮＮルール・テンプレートに対して評価される。結合子の重みを学習するために、対応する機械学習アルゴリズムと共に人工ニューラル・ネットワークが活用される。論理的に接続されたルールに関連付けられた結合子の重みが選択的に更新され、学習済みモデルが、論理的に接続されたルールに関する学習されたしきい値および学習された重みを使用して生成される。

【特許請求の範囲】

【請求項1】

メモリに動作可能に結合されたプロセッサと、
前記プロセッサに動作可能に結合された人工知能（ＡＩ）プラットフォームとを備えているコンピュータ・システムであって、前記人工知能（ＡＩ）プラットフォームが、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関する特徴のセットを生成するための特徴マネージャと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴のセットを、エンティティ・リンキング（ＥＬ）ＬＮＮルール・テンプレートに対して評価するように構成された評価器であって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価器と、
前記評価器に動作可能に結合され、人工ニューラル・ネットワーク（ＡＮＮ）および対応するＭＬアルゴリズムを活用して前記結合子の重みを学習するように構成された、機械学習（ＭＬ）マネージャとを備え、
前記ＭＬマネージャが、前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新し、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成するように構成される、コンピュータ・システム。

【請求項2】

前記評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築するための前記評価器をさらに含む、請求項１に記載のシステム。

【請求項3】

前記エンティティ－メンションの対の評価が、ラベル付きエンティティ－メンションの対のサブセットに関する１つまたは複数の特徴を計算するための前記評価器をさらに含み、前記特徴の各々が、対応する類似性述語を含む、請求項２に記載のシステム。

【請求項4】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習するための前記ＭＬマネージャをさらに備える、請求項３に記載のシステム。

【請求項5】

対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングし、前記フィルタリングに応答して、前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むための前記評価器をさらに備え、前記選択的な組み込みが、特徴の除去または前記特徴への非ゼロ・スコアの割り当てを含む、請求項４に記載のシステム。

【請求項6】

前記評価器に動作可能に結合されたルール・マネージャをさらに備え、前記ルール・マネージャが、
前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記階層構造のテンプレートを動的に生成することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとを実行するように構成される、請求項２に記載のシステム。

【請求項7】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てるための前記ルール・マネージャをさらに備える、請求項６に記載のシステム。

【請求項8】

プログラム・コードが具現化されているコンピュータ可読ストレージ媒体とインターフェイスをとるように構成されたコンピュータ・プログラム製品であって、前記プログラム・コードが、プロセッサによって実行可能であり、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して特徴を生成することと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴を、エンティティ・リンキング（ＥＬ）ＬＮＮルール・テンプレートに対して評価することであって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価することと、
人工ニューラル・ネットワーク（ＡＮＮ）および対応するＭＬアルゴリズムを活用して、前記結合子の重みを学習することと、
前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新することと、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成することとを実行する、コンピュータ・プログラム製品。

【請求項9】

ＬＮＮルール・テンプレートに対する各エンティティ－メンションの対の前記評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築するように構成されたプログラム・コードをさらに含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項10】

前記エンティティ－メンションの対の評価が、エンティティ－メンションの対ごとに特徴のセットを計算するように構成されたプログラム・コードをさらに含み、前記特徴の各々が、対応する類似性述語を含む、請求項９に記載のコンピュータ・プログラム製品。

【請求項11】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習することと、
対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングすることと、
前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むこととを実行するように構成されたプログラム・コードをさらに備え、前記選択的な組み込みが、特徴の除去または前記特徴への非ゼロ・スコアの割り当てを含む、請求項１０に記載のコンピュータ・プログラム製品。

【請求項12】

前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記階層構造のテンプレートを動的に生成することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとを実行するように構成されたプログラム・コードをさらに備える、請求項９に記載のコンピュータ・プログラム製品。

【請求項13】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てるように構成されたプログラム・コードをさらに備える、請求項１２に記載のコンピュータ・プログラム製品。

【請求項14】

方法であって、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して特徴を生成することと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴を、エンティティ・リンキング（ＥＬ）論理ニューラル・ネットワーク（ＬＮＮ）ルール・テンプレートに対して評価することであって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価することと、
人工ニューラル・ネットワーク（ＡＮＮ）および対応する機械学習（ＭＬ）アルゴリズムを活用して、前記結合子の重みを学習することと、
前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新することと、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成することとを含む、方法。

【請求項15】

前記エンティティ－メンションの対の評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築することを含む、請求項１４に記載の方法。

【請求項16】

前記エンティティ－メンションの対の評価が、エンティティ－メンションの対ごとに特徴のセットを計算することを含み、前記特徴の各々が、対応する類似性述語を含む、請求項１５に記載の方法。

【請求項17】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習することをさらに含む、請求項１６に記載の方法。

【請求項18】

対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングし、前記フィルタリングに応答して、前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むことをさらに含み、前記選択的な組み込みが、特徴を除去すること、または非ゼロ・スコアを前記特徴に割り当てることを含む、請求項１７に記載の方法。

【請求項19】

前記階層構造のテンプレートを動的に生成することを含む、前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとをさらに含む、請求項１５に記載の方法。

【請求項20】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てることをさらに含む、請求項１９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本実施形態は、テキスト内のメンションを知識グラフ内のエンティティにリンクすることによってそれらの曖昧さをなくすために人工知能（ＡＩ：artificial intelligence）および機械学習を使用するコンピュータ・システム、コンピュータ・プログラム製品、およびコンピュータ実装方法に関する。より詳細には、本実施形態は、解釈可能なルールを使用し、対応する結合子の重みおよびルールを学習する、論理ニューラル・ネットワークのエンティティ・リンキングを対象にする。

【背景技術】

【0002】

エンティティ・リンキングは、テキストのメンションを知識グラフによって提供された標準的なエンティティにリンクすることによって、テキストのメンションの曖昧さをなくすタスクである。一般的な手法は、メンションと１つまたは複数の候補エンティティの間の何らかの程度または類似性を測定する特徴を抽出する、複数の文から成る長いテキスト、およびメンションを実際のエンティティにリンクするための非学習の発見的手法による曖昧性除去ステップを対象にする。エンティティ・リンキングにおける課題は、単一の文または質問などの短いテキスト、およびメンションの周囲の限られた文脈を対象にする。短いテキストをサポートするプラットフォームは、チャットボットなどの会話システムを含む。本明細書において示されて説明される実施形態は、短いテキストおよびそれらに対応するプラットフォームに関連する課題を軽減するための人工知能（ＡＩ）プラットフォームおよびエンティティ・リンキングを対象にする。

【発明の概要】

【0003】

本明細書で開示される実施形態は、解釈可能なルールを使用して論理ニューラル・ネットワークにおいてテキスト内のメンションをエンティティにリンクすることによってそれらの曖昧さをなくすためのコンピュータ・システム、コンピュータ・プログラム製品、およびコンピュータ実装方法を含む。それらの実施形態は、「発明を実施するための形態」において以下でさらに説明される。この「発明の概要」は、請求される主題の重要な特徴または不可欠な特徴もしくは概念を識別するよう意図されておらず、請求される主題の範囲を制限するいずれかの方法で使用されることも意図されていない。

【0004】

１つの態様では、コンピュータ・システムは、メモリに動作可能に結合されたプロセッサ、およびプロセッサに動作可能に結合された人工知能（ＡＩ）プラットフォームを備えている。ＡＩプラットフォームは、論理ニューラル・ネットワーク（ＬＮＮ：logical neural network）においてエンティティ・リンキングをサポートするための機能で構成された、特徴マネージャ、評価器、および機械学習（ＭＬ：machine learning）マネージャで構成される。特徴マネージャは、注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関する特徴のセットを生成するように構成される。特徴マネージャに動作可能に結合された評価器は、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含むエンティティ・リンキングＬＮＮルール・テンプレート（entity linking LNN rule template）に対して、生成された特徴のセットを評価するように構成される。評価器に動作可能に結合されたＭＬマネージャは、人工ニューラル・ネットワークおよび対応するＭＬアルゴリズムを活用して結合子の重みを学習するように構成される。ＭＬマネージャは、論理的に接続されたルールに関連付けられた結合子の重みを選択的に更新するようにさらに構成される。学習済みモデルは、論理的に接続されたルールに関する学習されたしきい値および学習された結合子の重みを使用して生成される。

【0005】

別の態様では、コンピュータ・プログラム製品は、プログラム・コードを具現化しているコンピュータ可読ストレージ媒体を備えている。注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関する特徴のセットを生成するための機能を有するプログラム・コードが、処理ユニットによって実行可能である。生成された特徴のセットは、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいるエンティティ・リンキングＬＮＮルール・テンプレートに対して評価される。プログラム・コードは、人工ニューラル・ネットワークおよび対応する機械学習アルゴリズムを活用して結合子の重みを学習するための機能をサポートする。論理的に接続されたルールに関連付けられた結合子の重みが選択的に更新され、学習済みモデルが、論理的に接続されたルールに関する学習されたしきい値および学習された結合子の重みを使用して生成される。

【0006】

さらに別の態様では、方法が提供される。注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して、特徴のセットが生成される。生成された特徴のセットは、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいるエンティティ・リンキングＬＮＮルール・テンプレートに対して評価される。結合子の重みを学習するために、対応する機械学習アルゴリズムと共に人工ニューラル・ネットワークが活用される。論理的に接続されたルールに関連付けられた結合子の重みが選択的に更新され、学習済みモデルが、論理的に接続されたルールに関する学習されたしきい値および学習された結合子の重みを使用して生成される。

【0007】

これらおよび他の特徴および優位性は、添付の図面と共に採用された現在は好ましい実施形態の以下の詳細な説明から明らかになるであろう。

【0008】

本明細書において参照される図面は、本明細書の一部を形成する。図面に示された特徴は、特に明示されない限り、すべての実施形態ではなく、単に一部の実施形態の例示を意図している。

【図面の簡単な説明】

【0009】

【図1】実施形態例では短いテキストの状況に適用されるエンティティ・リンキングに対するニューロシンボリックの解決策をサポートするためのツールを含むコンピュータ・システムを示すブロック図である。

【図2】図１に示されたツールおよびそれらに関連するＡＰＩを示すブロック図である。

【図3A】エンティティ・リンキング・アルゴリズムにおけるしきい値化演算および重みを学習するためのプロセスを示すフロー・チャートである。

【図3B】エンティティ・リンキング・アルゴリズムにおけるしきい値化演算および重みを学習するためのプロセスを示すフロー・チャートである。

【図3C】エンティティ・リンキング・アルゴリズムにおけるしきい値化演算および重みを学習するためのプロセスを示すフロー・チャートである。

【図4】ＬＮＮを使用して、論理結合子に適した重みを含む新しいルールを学習するためのプロセスを示すフロー・チャートである。

【図5】ＥＬアルゴリズムの例示的なＬＮＮの再構築を示すブロック図である。

【図6】図１～５に関して上で説明されたシステムおよびプロセスを実装するためのクラウドベースのサポート・システムのコンピュータ・システム／サーバの例を示すブロック図である。

【図7】クラウド・コンピュータ環境を示すブロック図である。

【図8】クラウド・コンピューティング環境によって提供される一連の機能的抽象モデル・レイヤを示すブロック図である。

【発明を実施するための形態】

【0010】

本明細書の図において概略的に説明され、示されているように、本実施形態のコンポーネントが、多種多様な異なる構成で配置および設計され得るということが、容易に理解されるであろう。したがって、図で提示された本実施形態の装置、システム、方法、およびコンピュータ・プログラム製品の実施形態に関する以下の詳細な説明は、請求されている実施形態の範囲を制限するよう意図されておらず、単に選択された実施形態を代表している。

【0011】

本明細書全体を通じて、「選択された実施形態」、「１つの実施形態」、または「実施形態」への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が少なくとも１つの実施形態に含まれるということを意味する。したがって、本明細書全体を通じてさまざまな場所に現れる「選択された実施形態」、「１つの実施形態では」、または「実施形態では」という語句は、必ずしも同じ実施形態を参照していない。

【0012】

実施形態例は、全体を通じて類似する部分が類似する数字によって指定される図面を参照することによって、最もよく理解されるであろう。以下の説明は、単なる例示を意図しており、本明細書において請求される実施形態と一致するデバイス、システム、およびプロセスの特定の選択された実施形態を単に示す。

【0013】

人工知能（ＡＩ）は、人間に関連するようなコンピュータおよびコンピュータの挙動を対象にするコンピュータ科学の分野に関連している。ＡＩとは、機械が情報に基づいて、特定の話題における成功の可能性を最大化する決定を行うことができる場合の知能のことを指す。より詳細には、ＡＩは、問題を解決して適切な推奨を提供するように、データ・セットから学習することができる。例えば、人工知能コンピュータ・システムの分野では、自然言語（ＮＬ：natural language）システム（ＩＢＭ Ｗａｔｓｏｎ（Ｒ）人工知能コンピュータ・システムまたは他の自然言語質問回答システムなど）は、システムによって取得された知識に基づいてＮＬを処理する。

【0014】

ＡＩコンピュータ・システムの分野では、自然言語処理（ＮＬＰ：naturallanguage processing）システムは、取得された知識に基づいて自然言語を処理する。ＮＬＰは、コンピュータの言語と人間の言語の間の変換プラットフォームとして機能するＡＩの分野である。より詳細には、ＮＬＰは、コンピュータが人間の言語を分析して理解できるようにする。自然言語理解（ＮＬＵ：Natural Language Understanding）は、自然言語の原理に従って入力を構文解析し、変換することを対象にするＮＬＰのカテゴリである。そのようなＮＬＰシステムの例は、ＩＢＭ Ｗａｔｓｏｎ（Ｒ）人工知能コンピュータ・システムおよび他の自然言語質問回答システムである。

【0015】

ＡＩのサブセットである機械学習（ＭＬ）は、アルゴリズムを利用してデータから学習し、このデータに基づいて予知を作成する。ＭＬは、モデルの作成によるＡＩの応用であり、例えば、明示的にプログラムされていないタスクを実行することによって学習挙動を示すことができる人工ニューラル・ネットワークである。教師あり学習、教師なし学習、および強化学習などの学習問題、半教師あり学習、自己教師あり学習、およびマルチインスタンス学習などのハイブリッド学習問題、帰納的学習、演繹的学習、およびトランスダクティブ学習などの統計的推論、ならびにマルチタスク学習、アクティブ学習、オンライン学習、転移学習、およびアンサンブル学習などの学習技術を含む、さまざまな種類のＭＬが存在する。

【0016】

ＡＩおよび関連する推論の中心には、類似性の概念がある。静的構造および動的構造を含む構造は、特定の限定された入力に対して決定された出力または動作を指示する。より詳細には、決定された出力または動作は、構造内の明確な関係または固有の関係に基づく。この構成は、選択された環境および条件にとって十分であることがある。しかし、動的構造が本質的に変更を受け、それに応じて、出力または動作が変更を受けることがあるということが理解される。対象を効率的に識別し、ＮＬを理解し、この識別および理解ならびに構造に対する変更に応じて内容を処理するための既存の解決策は、実用レベルでは極めて困難である。

【0017】

人工ニューラル・ネットワーク（ＡＮＮ：Artificial neuralnetworks）は、神経系が動作する方法のモデルである。基本単位はニューロンと呼ばれ、典型的には、層に構造化される。ＡＮＮは、ニューロンの抽象的バージョンに似ている多数の相互接続された処理ユニットをシミュレートすることによって機能する。ＡＮＮには、通常、入力フィールドを表すユニットがある入力層、１つまたは複数の隠れ層、およびターゲット・フィールドを表す１つまたは複数のユニットがある出力層を含む、３つの部分が存在する。これらのユニットは、種々の接続の強度または重みで接続される。入力データが第１の層に提示され、値が各ニューロンから次の層内のニューロンに伝搬される。基本的に、ニューラル・ネットワークの各層は、出力および入力に動作可能に結合された１つまたは複数の演算子または関数を含む。入力が提供された各ニューロンの活性化関数を評価することの出力は、本明細書では活性化と呼ばれる。人間の脳がどのように機能するかをエミュレートするために、複雑なニューラル・ネットワークが設計され、そのため、トレーニング・データを利用できる不十分に定義された抽象化および問題をサポートするように、コンピュータがトレーニングされ得る。ＡＮＮは、多くの場合、画像認識、会話、およびコンピュータ・ビジョンの応用に使用される。

【0018】

自然言語処理（ＮＬＰ）は、自然言語のプロセスおよび操作に固有の問題を研究するＡＩおよび言語学の分野であり、人間の言語を理解するコンピュータの能力を向上させることを目指す。ＮＬＰは、非構造化データから意味を抽出することに重点を置く。

【0019】

エンティティ・リンキング（ＥＬ：Entity linking）は、本明細書では、テキストのメンションを知識グラフ（ＫＧ：knowledge graph）によって提供された標準的なエンティティにリンクすることによって、テキストのメンションの曖昧さをなくす（例えば、不確実性を除去する）タスクと見なされる。テキストまたはテキスト・データＴは、メンションのセットＭ＝｛ｍ_１，ｍ_２，．．．｝から成り、各メンションｍ_ｉはテキスト・データＴに含まれる。知識グラフ（ＫＧ）は、エンティティのセットεから成り、本明細書では、エンティティのセット内の個別のエンティティはｅ_ｉｊと呼ばれる。エンティティ・リンキングは、各メンションｍ_ｉ∈ＭをＫＧ内のエンティティにリンクする多対１の機能である。より詳細には、リンキングはｅ_ｉｊ∈Ｃ_ｉを対象にし、Ｃ_ｉは、メンションｍ_ｉに関連する候補εのサブセットである。

【0020】

論理ニューラル・ネットワーク（ＬＮＮ）は、ニューラル・ネットワーク（ＮＮ：neuralnetworks）および記号論理学（知識および推論）の両方の主要な特性を同時に提供するように設計されたニューロシンボリック・フレームワークである。より詳細には、ＬＮＮは、知識および推論の学習および記号論理学の特性を同時に提供するように機能する。ＬＮＮは、論理ＡＮＤゲートまたは論理ＯＲゲートとして機能するように論理ニューロンの重みが制約されるという観察を使用して、人工ニューロンと論理素子の間の直接的対応関係を作成する。示されて説明されるＬＮＮは、一階論理（ＦＯＬ：first order logic）で表されるルールを採用し、一階論理は、各文またはステートメントが主語および述語に分解される、記号化された推論である。各ルールは、リンキングの特定の特性を捕捉する曖昧性除去モデルである。ルール・テンプレートを前提として、ルールに現れる述語および述語の重みのしきい値化演算の形態でのルールのパラメータは、ラベル付きデータセットに基づく学習の対象になる。したがってＬＮＮは、ルールのパラメータを学習し、パラメータの調整を可能にして実施する。

【0021】

構造的に、ＬＮＮは、命題ごとに追加されたニューロンを介して互いに接続された、すべての表現された式の構文木で構成されたグラフである。具体的には、各式に現れる論理演算ごとに１つのニューロンに加えて、すべての式に現れる固有の命題ごとに１つのニューロンが存在する。すべてのニューロンは、それらに対応する部分式および命題の真理値に対する下限および上限を表す範囲［０，１］内の値の対を返す。

【0022】

ＬＮＮは、ＦＯＬの意味論を使用して、演算子を学習するときに制約を強制する。そのような演算子の例としては、本明細書ではＬＮＮ－∧として示される論理ＡＮＤ、および本明細書ではＬＮＮ－∨として示される論理ＯＲが挙げられるが、これらに限定されない。論理ＡＮＤ（ＬＮＮ－∧）は次のように表される。
ｍａｘ（０，ｍｉｎ（１，β－ｗ_１（１－ｘ）－ｗ_２（１－ｙ）））
次の制約がある。
β－１（１－α）（ｗ_１＋ｗ_２）≧α 制約１
β－αｗ_１≦１－α 制約２
β－αｗ_２≦１－α 制約３
ｗ_１，ｗ_２≧０
ここで、β、ｗ_１、ｗ_２は学習可能なパラメータであり、ｘ，ｙ∈［０，１］は入力であり、α∈［１／２，１］はハイパーパラメータである。論理ＡＮＤと同様に、論理ＡＮＤに関して論理ＯＲが次のように定義される。
ＬＮＮ－∨（ｘ，ｙ）＝１－ＬＮＮ－∧（１－ｘ，１－ｙ）
従来、ブール論理は、両方の入力が１である場合、１または真のみを返す。ＬＮＮは、αを１の代理として使用し、１－αを０の代理として使用することによって、ブール連言（Boolean conjunction）（例えば、論理ＡＮＤ）を緩和する。制約１は、入力が両方ともαより大きい場合に、論理ＡＮＤの出力がαより大きくなることを強制する。同様に、制約２および制約３は、１つの入力がローであり、他の入力がハイである場合に、論理ＡＮＤの挙動を制約する。より詳細には、制約２は、ｙ＝１およびｘ≦１－αの場合に論理ＡＮＤの出力が１－α未満になることを強制する。この定式化は、ｘ，ｙ∈［１－α，α］である場合に、制約されない学習を可能にする。学習の範囲の制御は、αを変更することによって得られてよい。実施形態例では、制約（例えば、制約１、制約２，および制約３）が緩和され得る。

【0023】

特徴は、本明細書では、テキストのメンションと候補エンティティの間の類似性の程度を測定する属性と見なされる。実施形態例では、特徴は、非埋め込みおよび埋め込みに基づく関数を含む、特徴関数のカタログを使用して生成される。本明細書において示され、説明されるように、メンションｍ_ｉと候補エンティティｅ_ｉｊの間の類似性を測定するために、例示的な非埋め込みに基づく特徴関数のセットが提供される。名前の特徴は、メンションｍ_ｉの名前と候補エンティティｅ_ｉｊの名前の間の類似性を計算するための、Ｊａｃｃａｒｄ、Ｊａｒｏ Ｗｉｎｋｌｅｒ、Ｌｅｖｅｎｓｈｔｅｉｎ、およびＰａｒｔｉａｌ Ｒａｔｉｏなどの、ただしこれらに限定されない、汎用類似性関数のセットである。文脈の特徴は、候補エンティティｅ_ｉｊの説明とのメンションｍ_ｉの文脈の集約された類似性である。実施形態例では、文脈の特徴Ｃｔｘは次のように評価される。

【0024】

【数1】

ここで、ｐｒは、各文脈のメンションと説明の間の類似性を測定する部分比（partialratio）である。実施形態例では、部分比は、短い入力文字列と第２のより長い文字列の部分文字列との間の最大類似性を計算する。種類の特徴は、ｅ_ｉｊのドメイン・セットとのメンションｍ_ｉの種類の重複類似性である。実施形態例では、トレーニング済みのトランスフォーマからの双方向エンコーダ表現（ＢＥＲＴ：Bi-directional Encoder Representations from Transformers）に基づくエンティティの種類の検出モデルを使用して、メンションｍ_ｉごとの種類情報が取得される。エンティティの顕著さの特徴は、ターゲットの知識グラフ内の候補エンティティｅ_ｉｊにリンクするエンティティの数（すなわち、ｉｎｄｅｇｒｅｅ（ｅ_ｉｊ））としての、候補エンティティｅ_ｉｊの顕著さの尺度である。

【0025】

図１～５に示されて説明されるように、ルールの選言セットから成るエンティティ・リンキング（ＥＬ）アルゴリズムが、学習のためのＬＮＮ表現に再構築される。エンティティ・リンキングは、論理ＡＮＤ（∧）および論理ＯＲ（∨）の形態での論理演算子によって接続されたブール述語のセットを含んでいる一階論理（ＦＯＬ）ルールの限られた形態である。ブール述語は、ｆ_ｋ＞θの形態を有し、ｆ_ｋ∈Ｆは特徴関数のうちの１つであり、θは学習されたしきい値化演算である。２つのエンティティ・リンキング・ルールの例を以下に示す。
Ｒ_１（ｍ_ｉ，ｅ_ｉｊ）←ｊａｃｃ（ｍ_ｉ，ｅ_ｉｊ）＞θ_１∧Ｃｔｘ（ｍ_ｉ，ｅ_ｉｊ）＞θ_２
Ｒ_２（ｍ_ｉ，ｅ_ｉｊ）←ｌｅｖ（ｍ_ｉ，ｅ_ｉｊ）＞θ_３∧Ｐｒｏｍ（ｍ_ｉ，ｅ_ｉｊ）＞θ_４
これらの例に基づいて、述語ｊａｃｃ（ｍ_ｉ，ｅ_ｉｊ）＞θ_１および述語Ｃｔｘ（ｍ_ｉ，ｅ_ｉｊ）＞θ_２が両方とも真である場合、第１の例示的なルールＲ_１（ｍ_ｉ，ｅ_ｉｊ）は真に評価され、述語ｌｅｖ（ｍ_ｉ，ｅ_ｉｊ）＞θ_３および述語Ｐｒｏｍ（ｍ_ｉ，ｅ_ｉｊ）＞θ_４が両方とも真である場合、第２の例示的なルールＲ_２（ｍ_ｉ，ｅ_ｉｊ）は真に評価される。実施形態例では、例示的な第１および第２のルールなどのルールは、一緒に選言で結合され（disjuncted）て、より大きいＥＬアルゴリズムを形成し得る。そのような拡張の例を以下に示す。
Ｌｉｎｋｓ（ｍ_ｉ，ｅ_ｉｊ）←Ｒ_１（ｍ_ｉ，ｅ_ｉｊ）∨Ｒ_２（ｍ_ｉ，ｅ_ｉｊ）
ここで、第１または第２のルールのうちのどちらか１つが真に評価された場合、Ｌｉｎｋｓ（ｍ_ｉ，ｅ_ｉｊ）は真に評価される。実施形態例では、Ｌｉｎｋｓ述語は、少なくとも２つのルール間の選言を表し、少なくとも１つのルールの条件を渡す、メンションと候補エンティティの間の高品質なリンクを格納するように機能する。

【0026】

ＥＬアルゴリズムは、スコア付けメカニズムとしても機能する。例示的な第１および第２のルールに基づくスコア付け関数の例を以下に示す。

【0027】

【数2】

ここで、ｒｗ_ｉは、手動で割り当て可能なルールの重みであり、ｆｗ_ｉは、手動で割り当て可能な特徴の重みである。本明細書において示され、説明されるように、学習は、しきい値化演算θ_ｉ、特徴の重みｆｗ_ｉ、およびルールの重みｒｗ_ｉを対象にする。

【0028】

図１を参照すると、実施形態例では短いテキストの状況に適用されるエンティティ・リンキングに対するニューロシンボリックの解決策をサポートするためのツールを含むコンピュータ・システムを示すブロック図（１００）が提供されている。一般に、エンティティ・リンキングは、テキストのメンションと複数の候補エンティティのうちのいずれか１つの間の類似性の何らかの程度を測定する特徴を抽出する。実施形態例では、短いテキストは、単一の文または質問を対象にする。短いテキストの環境における効果的な技術に関連付けられた課題は、メンションの周囲の限られた文脈である。システムおよび関連するツールは、本明細書において説明されるように、論理ルールおよび学習を組み合わせ、勾配に基づく技術を使用して、複数の種類のＥＬの特徴を解釈可能性および学習と組み合わせることを容易にする。図に示されているように、サーバ（１１０）が、ネットワーク接続（１０５）を経由して複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）と通信して提供される。サーバ（１１０）は、バス（１１６）を経由してメモリ（１１４）に動作可能に結合された処理ユニット（１１２）で構成される。人工知能（ＡＩ）プラットフォーム（１５０）の形態でのツールが、サーバ（１１０）に対してローカルに示されており、処理ユニット（１１２）およびメモリ（１１４）に動作可能に結合されている。図に示されているように、ＡＩプラットフォーム（１５０）は、特徴マネージャ（１５２）、評価器（１５４）、機械学習（ＭＬ）マネージャ（１５６）、およびルール・マネージャ（１５８）の形態でツールを含んでいる。これらのツールは共に、１つまたは複数のコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）からのネットワーク（１０５）を経由して、エンティティ・リンキングの機能的サポートを提供する。コンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、１つまたは複数のワイヤ・データ通信リンクまたはワイヤレス・データ通信リンクあるいはその両方を介して、互いに、および他のデバイスまたはコンポーネントと通信し、各通信リンクは、ワイヤ、ルータ、スイッチ、送信器、受信器などのうちの１つまたは複数を含んでよい。このネットワーク化された配置では、サーバ（１１０）およびネットワーク接続（１０５）は、特徴の生成、および学習のためのＬＮＮ表現に再構築されたルールの選言セットから成るＥＬアルゴリズムへの、生成された特徴の適用を可能にする。サーバ（１１０）の他の実施形態は、本明細書に示されている以外のコンポーネント、システム、サブシステム、またはデバイス、あるいはその組合せと共に使用され得る。

【0029】

ＡＩプラットフォーム（１５０）を含むツール、または１つの実施形態では、特徴マネージャ（１５２）、評価器（１５４）、ＭＬマネージャ（１５６）、およびルール・マネージャ（１５８）を含む、ＡＩプラットフォーム（１５０）に組み込まれたツールは、ネットワーク（１０５）および動作可能に結合された知識ベース（１６０）からの入力を含むが、これらに限定されない、種々のソースから入力を受信するように構成され得る。本明細書において示されるように、知識ベース（１６０）は、本明細書ではデータセット_０，０（１６４_０，０）、データセット_０，１（１６４_０，１）、．．．、データセット_０，Ｎ（１６４_０，Ｎ）として示されている注釈付きデータセットの第１のライブラリ（１６２_０）を含んでいる。第１のライブラリ（１６２_０）内のデータセットの数は、例示を目的としており、制限と見なされるべきではない。同様に、実施形態例では、知識ベース（１６０）は、それぞれ１つまたは複数のデータセットを含んでいる１つまたは複数の追加のライブラリを含んでよい。そのため、本明細書に示されて説明されたライブラリの数は、制限と見なされるべきではない。

【0030】

ネットワーク（１０５）と通信するさまざまなコンピューティング・デバイス（１８０）、（１８２）、（１８４）、（１８６）、（１８８）、および（１９０）は、ＡＩプラットフォーム（１５０）および対応するツール（例えば、特徴マネージャ（１５２）、評価器（１５４）、ＭＬマネージャ（１５６）、およびルール・マネージャ（１５８）を含む、マネージャおよび評価器）のためのアクセス・ポイントを示す。コンピューティング・デバイスの一部は、論理結合子のための学習されたしきい値化演算および重みを含む学習済みモデルを生成し、学習済みモデルの適用のためのテンプレートを動的に生成することをサポートするために、ＡＩプラットフォーム（１５０）、ならびに１つの実施形態では、ツール（１５２）、（１５４）、（１５６）、および（１５８）によって使用するためのデバイスを含んでよい。ＡＩプラットフォーム（１５０）および組み込まれたツール（１５２）、（１５４）、（１５６）、および（１５８）が、ローカルおよびグローバル（例えば、インターネット）を含む任意のサイズの環境内で動作し得るように、ネットワーク（１０５）は、さまざまな実施形態で、ローカル・ネットワーク接続およびリモート接続を含んでよい。したがって、サーバ（１１０）およびＡＩプラットフォーム（１５０）は、フロントエンド・システムとして役立ち、知識ベース（１６０）、ならびにライブラリおよびデータセットのうちの１つまたは複数は、バックエンド・システムとして役立つ。

【0031】

データ注釈は、メタデータをデータセットに追加し、関連するデータセットを効果的にラベル付けし、ＭＬアルゴリズムが対応する既存のデータ分類を活用できるようにするプロセスである。以下で詳細に説明されるように、サーバ（１１０）およびＡＩプラットフォーム（１５０）は、ライブラリ（例えば、ライブラリ（１６２_０））および対応するデータセット（例えば、データセット_０，１（１６４_０，１））のうちの１つからの注釈付きデータの形態で、知識ベース（１６０）からの入力を活用する。実施形態例では、注釈付きデータは、エンティティ－メンションの対（ｍ_ｉ，ｅ_ｉｊ）の形態であり、これらの対の各々は対応するラベルを含む。同様に、実施形態では、注釈付きデータセットが、ネットワーク（１０５）を経由して、動作可能に結合された機械またはシステムのうちの１つまたは複数から送信され得る。ＡＩプラットフォーム（１５０）は、特徴マネージャ（１５２）を利用して、注釈付きデータセット内のエンティティ－メンションの対のうちの１つまたは複数に関する特徴のセットを生成する。実施形態例では、ラベル付けされたエンティティとメンションの対のサブセットに関して、メンションｍ_ｉと候補エンティティｅ_ｉｊの間の類似性を測定する（例えば、計算する）ために非埋め込みおよび埋め込みに基づく関数を含む特徴関数のカタログを使用して、特徴が生成され、特徴の各々は対応する類似性述語を含む。そのような特徴の例は、メンションｍ_ｉの名前と候補エンティティｅ_ｉｊの名前の間の類似性を計算するための名前の特徴、候補エンティティｅ_ｉｊの説明に対してメンションｍ_ｉの文脈の集約された類似性を評価するための文脈の特徴、ｅ_ｉｊのドメイン・セットとのメンションｍ_ｉの種類の類似性の重複としての種類の特徴、ならびにターゲットの知識グラフ内の候補エンティティｅ_ｉｊにリンクするエンティティの数としての、候補エンティティｅ_ｉｊの顕著さを測定するためのエンティティの顕著さの特徴を含むが、これらに限定されない。したがって、最初の態様は、候補エンティティ－メンションの対の類似性評価を対象にし、この評価は定量化する特性を生成する。

【0032】

本明細書では特徴マネージャに動作可能に結合されて示されている評価器（１５４）は、エンティティ－メンションの対の生成された特徴に、エンティティ・リンキング（ＥＬ）論理ニューラル・ネットワーク（ＬＮＮ）ルール・テンプレートを受けさせる。より詳細には、評価器（１５４）は、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築する。例示的なＬＮＮルール・テンプレート（例えば、ＬＮＮ表現）が、図５に示されて説明される。実施形態例では、１つまたは複数のＬＮＮルール・テンプレートが知識ベース内で提供されるか、または他の方法で、ネットワーク（１０５）を経由して評価器（１５４）に伝達される。例として、知識ベース（１６０）は、本明細書ではライブラリ（例えば、本明細書ではテンプレート_１，０（１６４_１，０）、テンプレート_１，１（１６４_１，１）、．．．、テンプレート_１，Ｍ（１６４_１，Ｍ）として示されている、ＬＮＮルール・テンプレートの第２のライブラリ（１６２_１））と共に示されている。第２のライブラリ（１６２_１）内のルール・テンプレートの数は、例示を目的としており、制限と見なされるべきではない。同様に、実施形態例では、知識ベース（１６０）は、それぞれ１つまたは複数のＬＮＮルール・テンプレートを含んでいる１つまたは複数の追加のライブラリを含んでよい。例として図５に示されているように、ＬＮＮルール・テンプレートは、１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含む反転２分木構造として構築され得る。この例示的なルール・テンプレートは、相対的に初歩的である。実施形態例では、ＬＮＮルール・テンプレートは、２分木内の追加の層および拡張されたルールを使用して拡大され得る。したがって、本明細書において示されるように、生成された特徴は、選択されたか、または識別されたＬＮＮルール・テンプレートに対する評価を受ける。

【0033】

ＬＮＮルール・テンプレートは、反転２分木として構築されてよく、特徴または特徴関数のサブセットが２分木の葉ノードで表される。各特徴は、本明細書ではしきい値化演算とも呼ばれる対応するしきい値θ_ｉに関連付けられる。２分木の内部ノードは、論理ＡＮＤ演算または論理ＯＲ演算を示す。各内部ノードとしきい値化演算の間、および各内部ノードとルート・ノードの間に、エッジが提供される。実施形態例では、２分木は、内部ノードの複数の層を含んでよく、ノードの隣接する層間にエッジが伸ばされる。各エッジは、本明細書ではルールの重みと呼ばれる対応する重みを有する。本明細書では結合子の重みと総称される、しきい値化演算およびルールの重みの各々は、学習の対象になる。本明細書において示されるように、評価器（１５４）に動作可能に結合されたＭＬマネージャ（１５６）は、ＡＮＮおよび対応するＭＬアルゴリズムを活用してしきい値化演算および結合子の重みを学習するように構成される。しきい値化演算に関して、ＭＬマネージャ（１５６）は、対応する類似性述語に関連する計算された特徴の各々に適したしきい値を学習する。評価器（１５４）は、ＭＬマネージャ（１５６）とインターフェイスをとり、学習されたしきい値に基づいて特徴のうちの１つまたは複数をフィルタリングする。より詳細には、このフィルタリングは、評価器（１５４）が、特徴をＬＮＮルール・テンプレートに組み込むかどうかを判定できるようにし、特徴を除去するか、または非ゼロ・スコアを特徴に割り当てることによって行われる。

【0034】

結合子の重みが識別され、各ルール・テンプレートに関連付けられる。本明細書において例として示されるように、テンプレート_１，０（１６４_１，０）は、本明細書では重み_１，０（１６６_１，０）、重み_１，１（１６６_１，１）、．．．、重み_１，Ｍ（１６６_１，Ｍ）と呼ばれる結合子の重みのセットを含む。図示されていないが、テンプレート（例えば、テンプレート_１，１（１６４_１，１）およびテンプレート_１，Ｍ（１６４_１，Ｍ））の各々は、対応する結合子の重みを有する。重みの数および特性は、対応するテンプレートに基づく。同様に実施形態例では、知識ベース（１６０）は、本明細書では例としてＡＮＮ_２，０（１６４_２，０）、ＡＮＮ_２，１（１６４_２，１）、．．．、ＡＮＮ_２，Ｐ（１６４_２，Ｐ）として示されているＡＮＮが存在する第３のライブラリ（１６２_２）を備えている。本明細書において示されたＡＮＮの数は、例示を目的としており、制限と見なされるべきではない。実施形態では、ＡＮＮは、対応するか、または組み込まれたＭＬアルゴリズムをそれぞれ含んでよい。しきい値化演算および結合子の重みは、個別に、または集合的に、ＭＬマネージャ（１５６）による学習および選択的更新の対象になるパラメータである。この学習の詳細は、以下で図４において示され、説明される。学習および更新が完了した後に、学習されたしきい値化演算および論理結合子の重みを含む学習済みモデルが生成される。

【0035】

本明細書において示され、説明されるように、対応するルールを含むルール・テンプレートが提供されてよく、しきい値化演算および結合子の重みは、学習モデルを生成するための学習の対象になる。実施形態例では、特徴のセットおよびＥＬ注釈付きデータセットを前提として、論理結合子に適した重みを含む新しいルールが学習され得る。本明細書では評価器（１５４）に動作可能に結合されて示されているルール・マネージャ（１５８）が、そのような機能をサポートするために提供される。より詳細には、ルール・マネージャ（１５８）は、接続されたルールのうちの１つまたは複数を学習し、２分木のテンプレートを動的に生成し、テンプレートに関連付けられた論理ルールを学習する。ルール・マネージャ（１５８）は、学習した後に、選択されたルールをラベル付きデータセットに対して評価し、選択されたルールを２分木内の対応するノードに選択的に割り当てる。ルール・マネージャ（１５８）は、連言（例えば、論理ＡＮＤ）演算子または選言（例えば、論理ＯＲ）演算子を、２分木の各内部ノードに選択的に割り当てる。ルールの学習およびノードの演算子の割り当てに関するルール・マネージャ（１５８）の機能の詳細が、図４に示されて説明される。

【0036】

ＡＩプラットフォーム（１５０）は、サーバ（１１０）内に具現化されているか、またはサーバ（１１０）と統合されるように示されているが、ネットワーク（１０５）を経由してサーバ（１１０）に接続されている分離したコンピューティング・システム（例えば、１９０）内で実装され得る。同様に、ツール（１５２）、（１５４）、（１５６）、および（１５８）は、サーバ（１１０）に対してローカルに示されているが、ネットワーク（１０５）を経由して集合的であるか、または個別に分散され得る。特徴マネージャ（１５２）、評価器（１５４）、ＭＬマネージャ（１５６）、およびルール・マネージャ（１５８）は、具現化された場合は常に、ＬＮＮ ＥＬをサポートして可能にするために利用される。

【0037】

サーバ（１１０）を利用できる情報処理システムの種類は、ハンドヘルド・コンピュータ／携帯電話（１８０）などの小型のハンドヘルド・デバイスから、メインフレーム・コンピュータ（１８２）などの大型のメインフレーム・システムに及ぶ。ハンドヘルド・コンピュータ（１８０）の例としては、パーソナル・デジタル・アシスタント（ＰＤＡ：personal digital assistants）、パーソナル・エンターテイメント・デバイス（ＭＰ４プレイヤー、ポータブル・テレビ、およびコンパクト・ディスク・プレイヤーなど）が挙げられる。情報処理システムのその他の例としては、ペンまたはタブレット・コンピュータ（１８４）、ラップトップまたはノートブック・コンピュータ（１８６）、パーソナル・コンピュータ・システム（１８８）、およびサーバ（１９０）が挙げられる。図に示されているように、さまざまな情報処理システムが、コンピュータ・ネットワーク（１０５）を使用して一緒にネットワーク化され得る。さまざまな情報処理システムを相互接続するために使用されるコンピュータ・ネットワーク（１０５）の種類としては、ローカル・エリア・ネットワーク（ＬＡＮ：Local Area Networks）、ワイヤレス・ローカル・エリア・ネットワーク（ＷＬＡＮ：Wireless Local Area Networks）、インターネット、公衆交換電話網（ＰＳＴＮ：Public Switched Telephone Network）、他のワイヤレス・ネットワーク、および情報処理システムを相互接続するために使用される任意の他のネットワーク・トポロジーが挙げられる。情報処理システムの多くは、ハード・ドライブまたは不揮発性メモリあるいはその両方などの、不揮発性データ・ストアを含む。情報処理システムの一部は、別々の不揮発性データ・ストアを使用し得る（例えば、サーバ（１９０）は不揮発性データ・ストア（１９０_Ａ）を利用し、メインフレーム・コンピュータ（１８２）は不揮発性データ・ストア（１８２_Ａ）を利用する）。不揮発性データ・ストア（１８２_Ａ）は、さまざまな情報処理システムの外部にあるコンポーネントであることができ、または情報処理システムのうちの１つの内部にあることができる。

【0038】

情報処理システムは、多くの形態をとってよく、その一部が図１に示されている。例えば、情報処理システムは、デスクトップ、サーバ、ポータブル、ラップトップ、ノートブック、または他の形状因子のコンピュータもしくはデータ処理システムの形態をとってよい。加えて、情報処理システムは、パーソナル・デジタル・アシスタント（ＰＡＤ：personal digital assistant）、ゲーミング・デバイス、ＡＴＭマシン、携帯電話デバイス、通信デバイス、またはプロセッサおよびメモリを含んでいる他のデバイスなどの、他の形状因子を選択し得る。

【0039】

アプリケーション・プログラム・インターフェイス（ＡＰＩ：ApplicationProgram Interface）は、当技術分野において、２つ以上のアプリケーション間の中間のソフトウェアとして理解されている。図１に示されて説明された実施形態に関して、特徴マネージャ（１５２）、評価器（１５４）、ＭＬマネージャ（１５６）、およびルール・マネージャ（１５８）、ならびにそれらに関連する機能を含んでいるＡＩプラットフォーム・ツールのうちの１つまたは複数をサポートするために、１つまたは複数のＡＰＩが利用され得る。図２を参照すると、ＡＩプラットフォーム・ツールおよびそれらに関連するＡＰＩを示すブロック図（２００）が提供されている。図に示されているように、複数のツールがＡＩプラットフォーム（２０５）内に組み込まれており、ツールは、ＡＰＩ_０（２１２）に関連付けられた特徴マネージャ（２５２）、ＡＰＩ_１（２２２）に関連付けられた評価器（２５４）、ＡＰＩ_２（２３２）に関連付けられたＭＬマネージャ（２５６）、およびＡＰＩ_３（２４２）に関連付けられたルール・マネージャ（２５８）を含む。ＡＰＩの各々は、１つまたは複数の言語およびインターフェイス仕様で実装され得る。

【0040】

ＡＰＩ_０（２１２）は、エンティティ－メンションの対に関する特徴のセットを生成するためのサポートを提供する。ＡＰＩ_１（２２２）は、生成された特徴をＥＬ ＬＮＮルール・テンプレートに対して評価するためのサポートを提供する。ＡＰＩ_２（２３２）は、ルール・テンプレート内の学習されたしきい値化演算および結合子の重みのサポートを提供する。ＡＰＩ_３（２４２）は、ＥＬルールを学習し、学習されたルールをテンプレートに選択的に割り当てるためのサポートを提供する。

【0041】

図に示されているように、ＡＰＩ（２１２）、（２２２）、（２３２）、および（２４２）の各々は、ＡＰＩオーケストレータ（２６０）（そうでなければ、オーケストレーション・レイヤと呼ばれる）に動作可能に結合されており、ＡＰＩオーケストレータ（２６０）は、当技術分野において、別々のＡＰＩを透過的につなぐための抽象レイヤとして機能すると理解される。１つの実施形態では、別々のＡＰＩの機能が結合されるか、または組み合わせられてよい。そのため、本明細書に示されたＡＰＩの構成は、制限と見なされるべきではない。したがって、本明細書において示されるように、ツールの機能は、それらの各ＡＰＩによって具現化されるか、またはサポートされ得る。

【0042】

図３Ａ～３Ｃを参照すると、エンティティ・リンキング・アルゴリズムにおけるしきい値化演算および重みを学習するためのプロセスを示すフロー・チャート（３００）が提供されている。図に示されているように、エンティティ・リンキング（ＥＬ）アルゴリズムは、論理ＡＮＤ演算子および論理ＯＲ演算子によって接続されたブール述語の形態でルールを備えている（３０２）。ＥＬアルゴリズムにおけるしきい値化演算および重みの学習を容易にし、可能にするために、ブール値論理ルール（Boolean valued logic rules）がＬＮＮ形式にマッピングされ（３０４）、ＬＮＮは、論理ＯＲおよび論理ＡＮＤをＬＮＮ形式で構築し、［０，１］内の連続的な実数値を考慮する。実施形態例では、ＬＮＮ形式は、葉ノードに割り当てられた特徴を含む反転木構造であってよく、エンティティ・リンキング・ルールは、内部ノードおよびルート・ノードで表される。各ＬＮＮ演算子は、入力、入力の重み、および入力のバイアスβの値に基づいて［０，１］内の値を生成し、重みおよびバイアスは両方とも学習可能なパラメータである。本明細書ではＬＮＮルール・テンプレートとも呼ばれるＬＮＮ形式の内部ノードは、対応するリンクを介して内部ノードに動作可能に接続された外部ノードから成る。外部ノードは、特徴または特徴ノードを表し、内部ノードは、論理ＡＮＤ、論理ＯＲ、またはしきい値化演算のうちの１つを示す。

【0043】

ＬＮＮ形式（例えば、ＬＮＮルール・テンプレート）での特徴の重みのしきい値およびルールの重みが初期化される（３０６）。本明細書の実施形態例では、特徴の重みおよびルールの重みは、重みと総称される。ステップ（３０６）での初期化に続いて、ラベル付きデータセットＬ内のラベル付きメンション－エンティティの対のサブセットＳ（例えば、トリプレット）が選択または受信される（３０８）。実施形態例では、ステップ（３０８）での選択はメンション－エンティティの対のランダムな選択である。各トリプレットは（ｍ_ｉ，ｅ_ｉ，ｙ_ｉ）として表され、ｍ_ｉはメンションを示し、ｅ_ｉはエンティティを示し、ｙ_ｉは一致または不一致を示し、非限定的な実施形態例では、１が一致であり、０が不一致である。変数Ｓ_{Ｔｏｔａｌ}がサブセット内の選択されたトリプレットの数に割り当てられ（３１０）、対応するトリプレット・カウント変数Ｓが初期化される（３１２）。反転木構造内の特徴の数は、知られているか、または決定され、特徴の数が変数Ｆ_{Ｔｏｔａｌ}に割り当てられる（３１４）。Ｆ＝１～Ｆ_{Ｔｏｔａｌ}の特徴ごとに、メンションｍ_ｉと候補エンティティｅ_ｉの間で、本明細書では特徴関数（特徴_Ｆ）とも呼ばれる類似性尺度が計算される（３１６）。特徴測定の例としては、前述したように、名前、文脈、種類、およびエンティティの顕著さが挙げられるが、これらに限定されない。図に示されているように、実施形態例では類似性述語である特徴のセットが、エンティティ－メンションの対ごとに計算され、特徴のセットは、メンションｍ_ｉを候補エンティティｅ_ｉと比較する１つまたは複数の文字列類似性関数を活用する。

【0044】

特徴が計算された後に、各エンティティ－メンションの対がＥＬ論理ニューラル・ネットワーク（ＬＮＮ）ルール・テンプレートに対する評価を受け、このテンプレートは、１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含み、本明細書では階層構造とも呼ばれる２分木で構造化される。２分木は、ルート・ノードが２つ以上の内部ノードに動作可能に結合され、内部ノードが、２分木の最後のレベルに存在する葉ノードに動作可能に結合されて、構造化される。本明細書において示されるように、学習の対象であるルールＲによってトリプレットが評価される。この評価は、トリプレットｔｒｉｐｌｅｔ_Ｓを対象にし、例えば、特徴を表す葉ノードから開始して、ボトムアップ方式で木構造を通って処理される。木内の各ノードは、本明細書では頂点ｖと呼ばれ、各頂点は、ルート・ノード、内部ノード、または葉ノードであってよい。木内の頂点の数が、変数ｖ_{Ｔｏｔａｌ}に割り当てられる（３１８）。ｖ＝１～ｖ_{Ｔｏｔａｌ}の頂点ごとに、頂点_ｖがしきい値化演算であるかどうかが判定される（３２０）。各特徴は葉ノードで表され、各特徴は、対応するか、または関連するしきい値化演算を含む。ステップ（３２０）での判定に対する肯定応答の後に、次のように対応するしきい値演算を計算すること、
ｆ_ｉ［１＋ｅｘｐ（θ^ｖ－ｆ_ｉ）］^－１
および計算結果を反転木構造内の上流の次のレベルに送信することが続く（３２２）。実施形態例では、ステップ（３２２）での評価は、対応する学習されたしきい値θに基づく特徴のフィルタリングを対象にする。一例として、特徴値ｆ_ｉが０．１である場合、［１＋ｅｘｐ（θ^ｖ－ｆ_ｉ）］^－１の値に応じて、１～０．２９の数値を得ることができる。例えば、θ^ｖが０．９である場合、しきい値化演算の評価の結果は０．３になる。この値に基づき、ｆ_ｉと乗算された場合、これによって出力を０に近い値に縮小し、事実上、特徴を考慮から除去する。したがって、ステップ（３２２）での特徴のフィルタリングは、事実上、特徴を除去するか、または非ゼロ・スコアを特徴に割り当てることによって、特徴をＬＮＮルール・テンプレートに選択的に組み込む。

【0045】

ステップ（３２０）での応答が否定である場合、頂点_ｖが論理ＡＮＤ演算であるかどうかが判定される（３２４）。ステップ（３２４）での判定に対する肯定応答の後に、次のように論理ＡＮＤ演算を評価すること、

【0046】

【数3】

および計算結果を反転木構造内の上流の次のレベルに送信することが続く（３２６）。ステップ（３２４）での判定に対する否定応答は、頂点_ｖが論理ＯＲ演算であるということの指示である（３２８）。論理ＯＲ演算の評価が次のように実施され、

【0047】

【数4】

計算結果が反転木構造内の上流の次のレベルに送信される（３３０）。ステップ（３２２）、（３２６）、および（３３０）に示されたような頂点の各々の評価の後に、ルート・ノードで表されたルール予測および対応する論理ＯＲ演算が変数ｐ_ｉに割り当てられる（３３２）。トリプレットｔｒｉｐｌｅｔ_Ｓはエンティティｙ_ｉを含み、ｙ_ｉおよびｐ_ｉの損失が計算される（３３４）。損失計算の詳細が以下で示され、説明される。ステップ（３２０）～（３３２）に示されているように、本明細書では結合子の重みと総称されるしきい値および重みは、学習の対象になる。より詳細には、特徴予測に対応する損失を計算するために、人工ニューラル・ネットワーク（ＡＮＮ）および対応する機械学習（ＭＬ）アルゴリズムが利用される。

【0048】

ステップ（３３４）の後に、トリプレット・カウント変数Ｓがインクリメントされ（３３６）、サブセット内のトリプレットの各々が評価されたかどうかが判定される（３３８）。この判定に対する否定応答の後に、ステップ（３１４）に戻ってサブセット内の次のトリプレットを評価し、肯定応答は、ルール評価の最初の態様を終了する。より詳細には、ステップ（３３８）での判定に対する肯定応答の後に、サブセットＳ_{Ｔｏｔａｌ}内のすべての損失から勾配を計算することを含む、逆伝搬を実行すること（３４０）、ならびにサブセットＳ_{Ｔｏｔａｌ}の勾配を伝搬して、ルールＲ内のパラメータθ^ｖ、β^ｖ、および

【数5】

を更新すること（３４２）が続く。したがって、計算された特徴の各々に適したしきい値が学習される。実施形態例では、ＡＮＮおよび対応するＭＬアルゴリズムが、ラベル付きデータセット上のＬＮＮによって構築されたＥＬルールをトレーニングし、Ｃ_ｉ内のすべての候補にわたってマージンランキング損失を使用して、勾配降下を実行する。メンションｍ_ｉおよび候補セットＣ_ｉの損失関数Ｌ(ｍ_ｉ，Ｃ_ｉ)が、次のように定義される。

【0049】

【数6】

ここで、ｅ_ｉｐ∈Ｃ_ｉは正の候補であり、Ｃ_ｉ＼｛ｅ_ｉｐ｝は候補の負のセットであり、μはマージン・ハイパー・パラメータである。正および負のラベルは、ラベルＬ_ｉから取得される。その後、ルールＲを学習するためのラベル付きメンション－エンティティの対の別のサブセットがラベル付きデータ・セット内に存在するかどうかが判定される（３４４）。否定応答の後に、学習されたルールＲを返すことが続き（３４６）、肯定応答の後にステップ（３０８）に戻る。したがって、対応するルールＲを学習するために、ラベル付きデータセットおよび対応するラベル付きデータセット内のエンティティ－メンションの対が、木構造のノードを接続するリンクに結合子の重みを含んでいるＬＮＮ形式を通って処理される。

【0050】

図３Ａ～３Ｃに示されているように、ルール・テンプレートのセット、特徴のセット、およびラベル付きのＥＬデータセットを前提として、論理結合子に適した重みを学習するためにＬＮＮが使用される。図４を参照すると、ＬＮＮを使用して、論理結合子に適した重みを含む新しいルールを学習するためのプロセスを示すフロー・チャート（４００）が提供されている。前述したように、メンションｍ_ｉと候補エンティティｅ_ｉｊの間の類似性を測定するために、例示的な非埋め込みに基づく特徴関数のセットが提供される。例示的なセットは、名前の特徴、文脈の特徴、種類の特徴、およびエンティティの顕著さの特徴を含む。本明細書では、そのような特徴の分割を示すために、変数Ｆが利用される（４０２）。入力は、ラベル付きデータセットＬ（例えば、エンティティ－メンションの対）および特徴の分割Ｆの形態である（４０４）。｜Ｆ｜によって定義された葉の数を使用して構築される２分木の数が、Ｃ（｜Ｆ｜－１）によって評価され、Ｃはカタラン数を示す（４０６）。下で説明されるステップでは、ノードが、ノードへの論理ＡＮＤ演算子または論理ＯＲ演算子の任意選択的割り当てと共に、１つの演算を含むということが仮定される。以下の疑似コードは、論理演算子を選択して２分木の内部ノードに割り当てるプロセスを示している。
forall ｜Ｆ｜個の葉を含む２分木Ｔ do
forall Ｔ内の内部ノードのＬＮＮ演算の選択 do
R ← （選択された演算子を含む）Ｔを含むＥＬルール
（妥当性確認セット、例えば、ラベル付きデータセットに対して）Ｒを評価する
if Ｒはそれまでに現れた最良のルールである then

【数7】

end if
end forall
end forall
return

【数8】

この疑似コードは、１つまたは複数の論理的に接続されたルールを学習するプロセスを示し、より詳細には、テンプレートを動的に生成する態様を示す。実施形態例では、テンプレートは、２分木の形態での階層構造であり、ルール割り当てのために処理されるノードは、内部ノードである。より詳細には、図に示されているように、生成されたテンプレートに基づいて論理ルールＲが学習され、選択されたルールが妥当性確認セット（例えば、ラベル付きデータセット）に対して評価される。この評価に基づいて、選択されたルールが、階層構造内の対応する内部ノードに選択的に割り当てられる。実施形態例では、割り当てられるルールは連言または選言ＬＮＮ演算子である。したがって、本明細書において示されるように、特徴のセットおよびＥＬラベル付きデータ・セットを前提として、論理結合子に関して、対応する重みを含む新しいルールが学習される。

【0051】

図５を参照すると、ＥＬアルゴリズムの例示的なＬＮＮの再構築を示すブロック図(５００)が提供されている。この例に示されているように、再構築は、特徴および対応するしきい値、論理演算子、ならびに関連する重みを含む反転木構造である。この例では、５つの特徴が示されている。実施形態例では、異なる数の特徴が再構築に存在してよく、そのため、本明細書において示されて説明された数は、制限と見なされるべきではない。本明細書ではｆ_０（５１０）、ｆ_１（５１２）、ｆ_２（５１４）、ｆ_３（５１６）、およびｆ_４（５１８）と呼ばれる５つの特徴が、反転木構造の個別の葉ノードとして表されている。特徴の各々は、対応するしきい値と共に示されている。より詳細には、特徴ｆ_０（５１０）は、対応するしきい値演算θ_０（５２０）に動作可能に接続されて示されており、ｆ_１（５１２）は、は、対応するしきい値演算θ_１（５２２）に動作可能に接続されて示されており、特徴ｆ_２（５１４）は、対応するしきい値演算θ_２（５２４）に動作可能に接続されて示されており、特徴ｆ_３（５１６）は、対応するしきい値演算θ_３（５２６）に動作可能に接続されて示されており、特徴ｆ_４（５１８）は、対応するしきい値演算θ_４（５２８）に動作可能に接続されて示されている。しきい値演算の各々は、学習の対象になり、１つまたは複数の特徴関数に直接関連する。

【0052】

図にさらに示されているように、本明細書において反転木の内部ノード_０，０（５３０）および内部ノード_０，１（５５０）として示された内部ノードの第１のセットが、特徴およびそれらに対応するしきい値の選択に動作可能に接続されている。内部ノード_０，０（５３０）は、特徴ｆ_０（５１０）、ｆ_１（５１２）、およびｆ_２（５１４）に動作可能に接続されており、内部ノード_０，１（５５０）は、特徴ｆ_３（５１６）およびｆ_４（５１８）に動作可能に接続されている。エッジは、葉ノードおよびそれらに対応するしきい値を内部ノード（５３０）および（５５０）の第１のセットに動作可能に接続して示されている。具体的には、エッジ_０，０（５３２）が特徴ｆ_０（５１０）および対応するしきい値θ_０（５２０）をノード_０，０（５３０）に動作可能に接続し、エッジ_０，１（５３４）が特徴ｆ_１（５１２）および対応するしきい値θ_１（５２２）をノード_０，０（５３０）に動作可能に接続し、エッジ_０，２（５３６）が特徴ｆ_２（５１４）および対応するしきい値θ_２（５２４）をノード_０，０（５３０）に動作可能に接続する。同様に、エッジ_１，０（５５２）が特徴ｆ_３（５１６）および対応するしきい値θ_４（５２６）をノード_０，１（５５０）に接続し、エッジ_１，１（５５４）が特徴ｆ_５（５１８）および対応するしきい値θ_５（５２８）をノード_０，１（５５０）に接続する。エッジ_０，０（５３２）、エッジ_０，１（５３４）、エッジ_０，２（５３６）、エッジ_１，０（５５２）、およびエッジ_１，１（５５４）を含むエッジの各々は、別々の対応する重みを有し、しきい値と同様に、学習の対象になる。実施形態例では、これらの重みは特徴の重みｆｗと呼ばれ、エッジ_０，０（５３２）が特徴の重みｆｗ_０を有し、エッジ_０，１（５３４）が特徴の重みｆｗ_１を有し、エッジ_０，２（５３６）が特徴の重みｆｗ_２を有し、エッジ_１，０（５５２）が特徴の重みｆｗ_３を有し、エッジ_１，１（５５４）が特徴の重みｆｗ_４を有する。第２の内部ノード（ノード_１，０（５６０））は、内部ノード_０，０（５３０）および内部ノード_０，１（５５０）に動作可能に結合されて示されている。エッジ_２，０（５６２）およびエッジ_２，１（５６４）を含む２つのエッジが、第２の内部ノード（ノード_１，０（５６０））に動作可能に結合されて示されている。これらのエッジ（すなわち、エッジ_２，０（５６２）およびエッジ_２，１（５６４））の各々は、本明細書ではルールの重みｒｗと呼ばれる対応する重みを有する。すなわち、エッジ_２，０（５６２）はルールの重みｒｗ_０を有し、エッジ_２，１（５６４）はルールの重みｒｗ_１を有する。特徴の重みおよびしきい値と同様に、ルールの重みは学習の対象になる。

【0053】

この例では、各内部ノード_０，０（５３０）および内部ノード_０，１（５５０）は、ＬＮＮの論理ＡＮＤ（∧）演算を表し、この例ではルート・ノード（ノード_１，０（５６０））とも呼ばれる第２の内部ノードが、論理ＯＲ（∨）を表す。例として、内部ノード_０，０（５３０）に関連付けられたルールＲ_１は次のとおりである。
Ｒ_１：（ｆ_０＞θ_０）∧（ｆ_１＞θ_１）∧（ｆ_２＞θ_２）
ここで、Ｒ_１は、ｆ_０＞θ_０が真、ｆ_１＞θ_１が真、かつｆ_２＞θ_２が真である場合に、真に評価される。同様に、例として、内部ノード_０，１（５５０）に関連付けられた第２のルール（ルールＲ_２）は次のとおりである。
Ｒ_２：（ｆ_３＞θ_３）∧（ｆ_４＞θ_４）
ここで、Ｒ_２は、ｆ_３＞θ_３が真かつｆ_４＞θ_４が真である場合に、真に評価される。第２の内部ノード（ノード_１，０（５６０））は、反転木構造のルート・ノードであり、本明細書において示されるように、内部ノード_０，０（５３０）および内部ノード_０，１（５５０）のブール論理を結合する。例として、ルート・ノード（ノード_１，０（５６０））のルールＲ_３は次のとおりである。
Ｒ_１∨Ｒ_２
ここで、第１のルールＲ_１または第２のルールＲ_２のうちのどちらか１つが真に評価された場合、Ｒ_３は真に評価される。

【0054】

ツール（１５２）、（１５４）、（１５６）、および（１５８）、ならびにそれらに関連する機能の態様は、単一の位置でコンピュータ・システム／サーバにおいて具現化されてよく、または実施形態では、計算リソースを共有するクラウドベースのシステム内で構成され得る。図６を参照すると、図１～５に関して上で説明されたシステムおよびプロセスを実施するためにクラウドベースのサポート・システムと通信するコンピュータ・システム／サーバ（６０２）（以下では、ホスト（６０２）と呼ばれる）の例を示すブロック図（６００）が提供されている。ホスト（６０２）は、他の多数の汎用または専用のコンピューティング・システム環境または構成と共に動作可能である。ホスト（６０２）と共に使用するのに適し得る周知のコンピューティング・システム、環境、または構成、あるいはその組合せの例としては、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、ハンドヘルドまたはラップトップ・デバイス、マイクロプロセッサ・システム、マイクロプロセッサベース・システム、セット・トップ・ボックス、プログラマブル・コンシューマ・エレクトロニクス、ネットワークＰＣ、ミニコンピュータ・システム、メインフレーム・コンピュータ・システム、ならびにこれらのシステム、デバイス、およびこれらと同等のもののいずれかを含んでいるファイル・システム（例えば、分散ストレージ環境および分散クラウド・コンピューティング環境）が挙げられるが、これらに限定されない。

【0055】

ホスト（６０２）は、コンピュータ・システムによって実行されているプログラム・モジュールなどの、コンピュータ・システムによって実行可能な命令との一般的な関連において説明され得る。通常、プログラム・モジュールは、特定のタスクを実行するか、または特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、コンポーネント、論理、データ構造などを含んでよい。ホスト（６０２）は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される、分散クラウド・コンピューティング環境（６１０）内で実行され得る。分散クラウド・コンピューティング環境において、プログラム・モジュールは、メモリ・ストレージ・デバイスを含む、ローカルおよびリモートの両方のコンピュータ・システム・ストレージ媒体に配置され得る。

【0056】

図６に示されているように、ホスト（６０２）は、汎用コンピューティング・デバイスの形態で示されている。ホスト（６０２）のコンポーネントは、１つまたは複数のプロセッサまたは処理ユニット（６０４）、システム・メモリ（６０６）、およびシステム・メモリ（６０６）を含むさまざまなシステム・コンポーネントをプロセッサ（６０４）に結合するバス（６０８）を含んでよいが、これらに限定されない。バス（６０８）は、メモリ・バスまたはメモリ・コントローラ、ペリフェラル・バス、アクセラレーテッド・グラフィックス・ポート、および種々のバス・アーキテクチャのいずれかを使用するプロセッサまたはローカル・バスを含む、複数の種類のバス構造のいずれかのうちの１つまたは複数を表す。そのようなアーキテクチャの例としては、ＩＳＡ（Industry Standard Architecture）バス、ＭＣＡ（MicroChannel Architecture）バス、ＥＩＳＡ（Enhanced ISA）バス、ＶＥＳＡ（Video Electronics Standards Association）ローカル・バス、およびＰＣＩ（Peripheral Component Interconnects）バスが挙げられるが、これらに限定されない。ホスト（６０２）は、通常、さまざまなコンピュータ・システム可読媒体を含む。そのような媒体は、ホスト（６０２）によってアクセスできる任意の使用可能な媒体であってよく、揮発性および不揮発性媒体、取り外し可能および取り外し不可の媒体を含む。

【0057】

メモリ（６０６）は、ランダム・アクセス・メモリ（ＲＡＭ：random accessmemory）（６３０）またはキャッシュ・メモリ（６３２）あるいはその両方などの、揮発性メモリの形態でのコンピュータ・システム可読媒体を含むことができる。単に例として、取り外し不可、不揮発性の磁気媒体（図示されておらず、典型的にはは「ハード・ドライブ」と呼ばれる）に対する読み取りと書き込みを行うために、ストレージ・システム（６３４）を提供することができる。図示されていないが、取り外し可能、不揮発性の磁気ディスク（例えば、「フロッピー（Ｒ）・ディスク」）に対する読み取りと書き込みを行うための磁気ディスク・ドライブ、およびＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または他の光媒体などの取り外し可能、不揮発性の光ディスクに対する読み取りと書き込みを行うための光ディスク・ドライブが提供され得る。そのような例では、それぞれを、１つまたは複数のデータ媒体インターフェイスによってバス（６０８）に接続することができる。

【0058】

例えば、一連の（少なくとも１つの）プログラム・モジュール（６４２）を含んでいるプログラム／ユーティリティ（６４０）がメモリ（６０６）に格納されるが、これに限定されず、オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データも格納され得る。オペレーティング・システム、１つまたは複数のアプリケーション・プログラム、他のプログラム・モジュール、およびプログラム・データ、またはこれらの組合せの各々は、ネットワーク環境の実装を含んでよい。プログラム・モジュール（６４２）は、通常、論理ニューラル・ネットワーク内のエンティティ・リンキングの実施形態の機能または方法あるいはその両方を実行する。例えば、プログラム・モジュールのセット（６４２）は、図１で説明されたツール（１５２）、（１５４）、（１５６）、および（１５８）として構成されたモジュールを含んでよい。

【0059】

ホスト（６０２）は、キーボード、ポインティング・デバイス、感覚入力デバイス、感覚出力デバイスなどの１つまたは複数の外部デバイス（６１４）、ディスプレイ（６２４）、ユーザがホスト（６０２）と情報をやりとりできるようにする１つまたは複数のデバイス、またはホスト（６０２）が１つまたは複数の他のコンピューティング・デバイスと通信できるようにする任意のデバイス（例えば、ネットワーク・カード、モデムなど）、あるいはその組合せと通信してもよい。そのような通信は、入出力（Ｉ／Ｏ：Input/Output）インターフェイス６２２を介して発生することができる。さらに、ホスト（６０２）は、ローカル・エリア・ネットワーク（ＬＡＮ：local area network）、一般的な広域ネットワーク（ＷＡＮ：widearea network）、またはパブリック・ネットワーク（例えば、インターネット）、あるいはその組合せなどの１つまたは複数のネットワークと、ネットワーク・アダプタ（６２０）介して通信することができる。図示されているように、ネットワーク・アダプタ（６２０）は、バス（６０８）を介してホスト（６０２）の他のコンポーネントと通信する。１つの実施形態では、分散ファイル・システム（図示されていない）の複数のノードは、Ｉ／Ｏインターフェイス（６２２）を介して、またはネットワーク・アダプタ（６２０）を介して、ホスト（６０２）と通信する。図示されていないが、他のハードウェア・コンポーネントまたはソフトウェア・コンポーネントあるいはその両方を、ホスト（６０２）と併用できるということが理解されるべきである。その例として、マイクロコード、デバイス・ドライバ、冗長プロセッシング・ユニット、外部ディスク・ドライブ・アレイ、ＲＡＩＤシステム、テープ・ドライブ、およびデータ・アーカイブ・ストレージ・システムなどが挙げられるが、これらに限定されない。

【0060】

本文書では、「コンピュータ・プログラム媒体」、「コンピュータ使用可能媒体」、および「コンピュータ可読媒体」という用語は、一般に、ＲＡＭ（６３０）を含むメイン・メモリ（６０６）、キャッシュ（６３２）、ならびに取り外し可能ストレージ・ドライブおよびハード・ディスク・ドライブに取り付けられたハード・ディスクなどのストレージ・システム（６３４）などの媒体を指すために使用される。

【0061】

コンピュータ・プログラム（コンピュータ制御論理とも呼ばれる）は、メモリ（６０６）に格納される。コンピュータ・プログラムは、ネットワーク・アダプタ（６２０）などの通信インターフェイスを介して受信されてもよい。そのようなコンピュータ・プログラムは、実行された場合、コンピュータ・システムが、本明細書で説明された本実施形態の特徴を実行できるようにする。特に、コンピュータ・プログラムは、実行された場合、処理ユニット（６０４）が、コンピュータ・システムの機能を実行できるようにする。したがって、そのようなコンピュータ・プログラムは、コンピュータ・システムのコントローラを表す。

【0062】

１つの実施形態では、ホスト（６０２）はクラウド・コンピューティング環境のノードである。従来技術において知られているように、クラウド・コンピューティングは、構成可能な計算リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、およびサービス）の共有プールへの便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス提供モデルであり、管理上の手間またはサービス・プロバイダとのやりとりを最小限に抑えて、これらのリソースを迅速にプロビジョニングおよび解放することができる。このクラウド・モデルは、少なくとも５つの特徴、少なくとも３つのサービス・モデル、および少なくとも４つのデプロイメント・モデルを含んでよい。そのような特徴の例は次のとおりである。

【0063】

オンデマンドのセルフ・サービス：クラウドの利用者は、サーバの時間、ネットワーク・ストレージなどの計算能力を一方的に、サービス・プロバイダとの人間的なやりとりを必要とせず、必要に応じて自動的にプロビジョニングすることができる。

【0064】

幅広いネットワーク・アクセス：クラウドの能力は、ネットワークを経由して利用可能であり、標準的なメカニズムを使用してアクセスできるため、異種のシン・クライアントまたはシック・クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、およびＰＤＡ）による利用を促進する。

【0065】

リソース・プール：プロバイダの計算リソースは、プールされ、マルチテナント・モデルを使用して複数の利用者に提供される。種々の物理的および仮想的リソースが、要求に従って動的に割り当ておよび再割り当てされる。場所に依存しないという感覚があり、利用者は通常、提供されるリソースの正確な場所に関して管理することも知ることもないが、さらに高いレイヤの抽象化では、場所（例えば、国、州、またはデータセンター）を指定できることがある。

【0066】

迅速な順応性：クラウドの能力は、迅速かつ柔軟に、場合によっては自動的にプロビジョニングされ、素早くスケールアウトし、迅速に解放されて素早くスケールインすることができる。プロビジョニングに使用できる能力は、利用者には、多くの場合、任意の量をいつでも無制限に購入できるように見える。

【0067】

測定されるサービス：クラウド・システムは、計測機能を活用することによって、サービスの種類（例えば、ストレージ、処理、帯域幅、およびアクティブなユーザのアカウント）に適した何らかの抽象化のレイヤで、リソースの使用を自動的に制御および最適化する。リソースの使用状況は、監視、制御、および報告されることが可能であり、利用されるサービスのプロバイダと利用者の両方に透明性を提供する。

【0068】

サービス・モデルは、次のとおりである。

【0069】

ＳａａＳ（Software as a Service）：利用者に提供される能力は、クラウド・インフラストラクチャ上で稼働しているプロバイダのアプリケーションの利用である。それらのアプリケーションは、Ｗｅｂブラウザ（例えば、Ｗｅｂベースの電子メール）などのシン・クライアント・インターフェイスを介して、種々のクライアント・デバイスからアクセスできる。利用者は、ネットワーク、サーバ、オペレーティング・システム、ストレージ、または個々のアプリケーション機能を含む基盤になるクラウド・インフラストラクチャを、限定的なユーザ固有のアプリケーション構成設定を行う可能性を除き、管理することも制御することもない。

【0070】

ＰａａＳ（Platform as a Service）：利用者に提供される能力は、プロバイダによってサポートされるプログラミング言語およびツールを使用して作成された、利用者が作成または取得したアプリケーションをクラウド・インフラストラクチャにデプロイすることである。利用者は、ネットワーク、サーバ、オペレーティング・システム、またはストレージを含む基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、デプロイされたアプリケーション、および場合によってはアプリケーション・ホスティング環境の構成を制御することができる。

【0071】

ＩａａＳ（Infrastructure as a Service）：利用者に提供される能力は、処理、ストレージ、ネットワーク、および他の基本的な計算リソースのプロビジョニングであり、利用者は、オペレーティング・システムおよびアプリケーションを含むことができる任意のソフトウェアをデプロイして実行できる。利用者は、基盤になるクラウド・インフラストラクチャを管理することも制御することもないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションを制御し、場合によっては、選択されたネットワーク・コンポーネント（例えば、ホスト・ファイアウォール）を限定的に制御する。

【0072】

デプロイメント・モデルは、次のとおりである。

【0073】

プライベート・クラウド：このクラウド・インフラストラクチャは、組織のためにのみ運用される。この組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。

【0074】

コミュニティ・クラウド：このクラウド・インフラストラクチャは、複数の組織によって共有され、関心事（例えば、任務、セキュリティ要件、ポリシー、およびコンプライアンスに関する考慮事項）を共有している特定のコミュニティをサポートする。これらの組織またはサード・パーティによって管理することができ、オンプレミスまたはオフプレミスに存在することができる。

【0075】

パブリック・クラウド：このクラウド・インフラストラクチャは、一般ユーザまたは大規模な業界団体が使用できるようになっており、クラウド・サービスを販売する組織によって所有される。

【0076】

ハイブリッド・クラウド：このクラウド・インフラストラクチャは、データとアプリケーションの移植を可能にする標準化された技術または独自の技術（例えば、クラウド間の負荷バランスを調整するためのクラウド・バースト）によって固有の実体を残したまま互いに結合された２つ以上のクラウド（プライベート、コミュニティ、またはパブリック）の複合である。

【0077】

クラウド・コンピューティング環境は、ステートレス性、低結合性、モジュール性、および意味的相互運用性に重点を置いたサービス指向の環境である。クラウド・コンピューティングの中心になるのは、相互接続されたノードのネットワークを備えるインフラストラクチャである。

【0078】

ここで図７を参照すると、例示的なクラウド・コンピューティング・ネットワーク（７００）が示されている。図に示されているように、クラウド・コンピューティング・ネットワーク（７００）は、クラウドの利用者によって使用されるローカル・コンピューティング・デバイスが通信し得る１つまたは複数のクラウド・コンピューティング・ノード（７１０）を含むクラウド・コンピューティング環境（７５０）を含んでいる。これらのローカル・コンピューティング・デバイスの例として、パーソナル・デジタル・アシスタント（ＰＤＡ）または携帯電話（７５４Ａ）、デスクトップ・コンピュータ（７５４Ｂ）、ラップトップ・コンピュータ（７５４Ｃ）、または自動車コンピュータ・システム（７５４Ｎ）、あるいはその組合せが挙げられるが、これらに限定されない。ノード（７１０）内の個別のノードは、互いにさらに通信し得る。ノード（７１０）は、１つまたは複数のネットワーク内で、本明細書において前述されたプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、またはハイブリッド・クラウド、あるいはこれらの組合せなどに、物理的または仮想的にグループ化され得る（図示されていない）。これによって、クラウド・コンピューティング環境（７００）は、クラウドの利用者がローカル・コンピューティング・デバイス上でリソースを維持する必要のないインフラストラクチャ、プラットフォーム、またはＳａａＳ、あるいはその組合せを提供できる。図７に示されたコンピューティング・デバイス（７５４Ａ～Ｎ）の種類は、例示のみが意図されており、クラウド・コンピューティング環境（７５０）は、任意の種類のネットワークまたはネットワーク・アドレス可能な接続（例えば、Ｗｅｂブラウザを使用した接続）あるいはその両方を経由して任意の種類のコンピュータ制御デバイスと通信することができると理解される。

【0079】

ここで図８を参照すると、図７のクラウド・コンピューティング・ネットワークによって提供される機能的抽象レイヤのセット（８００）が示されている。図８に示されたコンポーネント、レイヤ、および機能は、例示のみが意図されており、実施形態がこれらに限定されないということが、あらかじめ理解されるべきである。図に示されているように、ハードウェアおよびソフトウェア・レイヤ（８１０）、仮想化レイヤ（８２０）、管理レイヤ（８３０）、およびワークロード・レイヤ（８４０）、ならびに対応する機能が提供されている。ハードウェアおよびソフトウェア・レイヤ（８１０）は、ハードウェア・コンポーネントおよびソフトウェア・コンポーネントを含む。ハードウェア・コンポーネントの例としては、メインフレーム（一例を挙げると、ＩＢＭ（Ｒ）ｚＳｅｒｉｅｓ（Ｒ）システム）、ＲＩＳＣ（Reduced Instruction Set Computer）アーキテクチャ・ベース・サーバ（一例を挙げると、ＩＢＭ ｐＳｅｒｉｅｓ（Ｒ）システム）、ＩＢＭ ｘＳｅｒｉｅｓ（Ｒ）システム、ＩＢＭ ＢｌａｄｅＣｅｎｔｅｒ（Ｒ）システム、ストレージ・デバイス、ネットワークおよびネットワーク・コンポーネントが挙げられる。ソフトウェア・コンポーネントの例としては、ネットワーク・アプリケーション・サーバ・ソフトウェア（一例を挙げると、ＩＢＭ ＷｅｂＳｐｈｅｒｅ（Ｒ）アプリケーション・サーバ・ソフトウェア）、およびデータベース・ソフトウェア（一例を挙げると、ＩＢＭ ＤＢ２（Ｒ）データベース・ソフトウェア）が挙げられる（ＩＢＭ、ｚＳｅｒｉｅｓ、ｐＳｅｒｉｅｓ、ｘＳｅｒｉｅｓ、ＢｌａｄｅＣｅｎｔｅｒ、ＷｅｂＳｐｈｅｒｅ、およびＤＢ２は、世界中の多くの管轄区域で登録されているＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎの商標である）。

【0080】

仮想化レイヤ（８２０）は、仮想サーバ、仮想ストレージ、仮想プライベート・ネットワークを含む仮想ネットワーク、仮想アプリケーションおよびオペレーティング・システム、ならびに仮想クライアントなどの仮想的実体を提供できる抽象レイヤを備える。

【0081】

１つの例では、管理レイヤ（８３０）は、リソース・プロビジョニング、計測および価格設定、ユーザ・ポータル、サービス・レイヤ管理、ならびにＳＬＡ計画および実行の機能を提供し得る。リソース・プロビジョニングは、クラウド・コンピューティング環境内でタスクを実行するために利用される計算リソースおよび他のリソースの動的調達を行う。計測および価格設定は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、およびそれらのリソースの利用に対する請求書またはインボイスの送付を行う。一例を挙げると、それらのリソースは、アプリケーション・ソフトウェア・ライセンスを含んでよい。セキュリティは、クラウドの利用者およびタスクのＩＤ検証を行うとともに、データおよび他のリソースの保護を行う。ユーザ・ポータルは、クラウド・コンピューティング環境へのアクセスを利用者およびシステム管理者に提供する。サービス・レイヤ管理は、必要なサービス・レイヤを満たすように、クラウドの計算リソースの割り当てと管理を行う。サービス・レイヤ合意（ＳＬＡ：Service Level Agreement）計画および実行は、今後の要求が予想されるクラウドの計算リソースの事前準備および調達を、ＳＬＡに従って行う。

【0082】

ワークロード・レイヤ（８４０）は、クラウド・コンピューティング環境で利用できる機能の例を示している。このレイヤから提供されるワークロードおよび機能の例としては、マッピングおよびナビゲーション、ソフトウェア開発およびライフサイクル管理、仮想クラスルーム教育の配信、データ解析処理、トランザクション処理、ならびに論理ニューラル・ネットワーク内のエンティティ・リンキングが挙げられるが、これらに限定されない。

【0083】

本明細書において示されたシステムおよびフロー・チャートは、論理ニューラル・ネットワーク内のエンティティ・リンキングのためのコンピュータ・プログラム・デバイスの形態であってもよい。このデバイスは、具現化されたプログラム・コードを含んでよい。このプログラム・コードは、説明された機能をサポートするために、処理ユニットによって実行可能である。

【0084】

特定の実施形態が示されて説明されたが、本明細書の内容に基づいて、実施形態のさらに広い態様から逸脱することなく変更および修正が行われてよいということが、当業者にとって明らかであろう。したがって、添付の特許請求の範囲は、実施形態の範囲内にあるそのようなすべての変更および修正を、その範囲内に包含する。さらに、実施形態が添付の特許請求の範囲のみによって定義されるということが理解されるべきである。導入された請求項要素の特定の数が意図される場合、そのような意図が特許請求の範囲内で明示的に列挙され、そのような列挙がない場合、そのような制限は存在しないということが、当業者によって理解されるであろう。非限定的な例に関する理解の補助として、以下の添付の特許請求の範囲は、請求項要素を導入するための「少なくとも１つ」および「１つまたは複数」という導入的語句の使用を含んでいる。しかし、そのような語句の使用は、同じ請求項が導入的語句「１つまたは複数」または「少なくとも１つ」および「ａ」または「ａｎ」などの不定冠詞を含んでいる場合でも、不定冠詞「ａ」または「ａｎ」による請求項要素の導入が、そのような導入された請求項要素を含んでいるいずれかの特定の請求項を、１つのそのような要素のみを含んでいる実施形態に制限するということを意味すると解釈されるべきではなく、同じことが、請求項における定冠詞の使用にも当てはまる。

【0085】

本実施形態は、システム、方法、またはコンピュータ・プログラム製品、あるいはその組合せであってよい。加えて、本実施形態の選択された態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、あるいはソフトウェアの態様もしくはハードウェアの態様またはその両方を組み合わせる実施形態の形態をとってよく、これらはすべて、本明細書では、一般に「回路」、「モジュール」、または「システム」と呼ばれてよい。さらに、本実施形態の態様は、プロセッサに本実施形態の態様を実行させるためのコンピュータ可読プログラム命令を含んでいるコンピュータ可読ストレージ媒体に具現化されたコンピュータ・プログラム製品の形態をとってよい。このようにして具現化された、開示されたシステム、方法、またはコンピュータ・プログラム製品、あるいはその組合せは、前提条件によって駆動される成文化されたインフラストラクチャの動的オーケストレーションの機能および動作を改良するよう機能する。

【0086】

コンピュータ可読ストレージ媒体は、命令実行デバイスによって使用するための命令を保持および格納できる有形のデバイスであることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、またはこれらの任意の適切な組合せであってよいが、これらに限定されない。コンピュータ可読ストレージ媒体のさらに具体的な例の非網羅的リストは、ポータブル・フロッピー（Ｒ）・ディスク、ハード・ディスク、ダイナミックまたはスタティック・ランダム・アクセス・メモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ：read-only memory ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ：erasable programmable read-only memoryまたはフラッシュ・メモリ）、磁気ストレージ・デバイス、ポータブル・コンパクト・ディスク読み取り専用メモリ（ＣＤ－ＲＯＭ：compact disc read-only memory）、デジタル・バーサタイル・ディスク（ＤＶＤ：digital versatile disk）、メモリ・スティック、フロッピー（Ｒ）・ディスク、命令が記録されているパンチカードまたは溝の中の隆起構造などの機械的にエンコードされるデバイス、およびこれらの任意の適切な組合せを含む。本明細書において使用されるとき、コンピュータ可読ストレージ媒体は、電波または他の自由に伝搬する電磁波、導波管または他の送信媒体を伝搬する電磁波（例えば、光ファイバ・ケーブルを通過する光パルス）、あるいはワイヤを介して送信される電気信号などの、それ自体が一過性の信号であると解釈されるべきではない。

【0087】

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から各コンピューティング・デバイス／処理デバイスへ、あるいはネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、広域ネットワーク、またはワイヤレス・ネットワーク、あるいはその組合せ）を介して外部コンピュータまたは外部ストレージ・デバイスへダウンロードされ得る。このネットワークは、銅伝送ケーブル、光伝送ファイバ、ワイヤレス送信、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、またはエッジ・サーバ、あるいはその組合せを備えてよい。各コンピューティング・デバイス／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インターフェイスは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を各コンピューティング・デバイス／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

【0088】

本実施形態の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ：instruction-set-architecture）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、あるいはＪａｖａ（Ｒ）、Ｓｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語などの従来の手続き型プログラミング言語を含む１つまたは複数のプログラミング言語の任意の組合せで記述されたソース・コードまたはオブジェクト・コードであってよい。コンピュータ可読プログラム命令は、ユーザのコンピュータ上で全体的に実行するか、ユーザのコンピュータ上でスタンドアロン・ソフトウェア・パッケージとして部分的に実行するか、ユーザのコンピュータ上およびリモート・コンピュータ上でそれぞれ部分的に実行するか、あるいはリモート・コンピュータ上またはサーバもしくはサーバのクラスタ上で全体的に実行し得る。後者のシナリオでは、リモート・コンピュータを、ローカル・エリア・ネットワーク（ＬＡＮ）または広域ネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または接続を、（例えば、インターネット・サービス・プロバイダを使用してインターネットを介して）外部コンピュータに対して行うことができる。一部の実施形態では、本実施形態の態様を実行するために、例えばプログラマブル・ロジック回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：field-programmable gate arrays）、またはプログラマブル・ロジック・アレイ（ＰＬＡ：programmable logic arrays）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を利用することによって、電子回路をパーソナライズするためのコンピュータ可読プログラム命令を実行し得る。

【0089】

本実施形態の態様は、本明細書において、方法、装置（システム）、およびコンピュータ・プログラム製品のフローチャート図またはブロック図あるいはその両方を参照して説明される。フローチャート図またはブロック図あるいはその両方の各ブロック、ならびにフローチャート図またはブロック図あるいはその両方に含まれるブロックの組合せが、コンピュータ可読プログラム命令によって実装されるということが理解されるであろう。

【0090】

これらのコンピュータ可読プログラム命令は、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサを介して実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施する手段を作り出すべく、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令は、命令が格納されたコンピュータ可読ストレージ媒体がフローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作の態様を実施する命令を含んでいる製品を備えるように、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能なデータ処理装置、または他のデバイス、あるいはその組合せに特定の方式で機能するように指示できるものであってもよい。

【0091】

コンピュータ可読プログラム命令は、コンピュータ上、他のプログラム可能な装置上、または他のデバイス上で実行される命令が、フローチャートまたはブロック図あるいはその両方の１つまたは複数のブロックに指定される機能／動作を実施するように、コンピュータ、他のプログラム可能なデータ処理装置、または他のデバイスに読み込まれてもよく、それによって、一連の動作可能なステップを、コンピュータ上、他のプログラム可能な装置上、またはコンピュータ実装プロセスを生成する他のデバイス上で実行させる。

【0092】

図内のフローチャートおよびブロック図は、本実施形態のうちのさまざまな実施形態に従って、システム、方法、およびコンピュータ・プログラム製品の可能な実装のアーキテクチャ、機能、および動作を示す。これに関連して、フローチャートまたはブロック図内の各ブロックは、規定された論理機能を実装するための１つまたは複数の実行可能な命令を備える、命令のモジュール、セグメント、または部分を表し得る。一部の代替の実装では、ブロックに示された機能は、図に示された順序とは異なる順序で発生し得る。例えば、連続して示された２つのブロックは、実際には、含まれている機能に応じて、実質的に同時に実行されるか、または場合によっては逆の順序で実行され得る。ブロック図またはフローチャート図あるいはその両方の各ブロック、ならびにブロック図またはフローチャート図あるいはその両方に含まれるブロックの組合せは、規定された機能または動作を実行するか、または専用ハードウェアとコンピュータ命令の組合せを実行する専用ハードウェアベースのシステムによって実装されるということにも注意する。

【0093】

本明細書では、例示の目的で特定の実施形態が説明されたが、実施形態の範囲から逸脱することなくさまざまな変更が行われてよいということが理解されるであろう。特に、構造化されていないＮＬデータの注釈および構造化された形式への事実の抽出は、異なるコンピューティング・プラットフォームによって、または複数のデバイスにわたって実行され得る。さらに、ライブラリは、局在するか、遠隔に存在するか、または複数のシステムにわたって分散され得る。したがって、実施形態の保護の範囲は、添付の特許請求の範囲およびそれらと同等のもののみによって制限される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2023-10-20

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

メモリに動作可能に結合されたプロセッサと、
前記プロセッサに動作可能に結合された人工知能（ＡＩ）プラットフォームとを備えているコンピュータ・システムであって、前記人工知能（ＡＩ）プラットフォームが、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関する特徴のセットを生成するための特徴マネージャと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴のセットを、エンティティ・リンキング（ＥＬ）ＬＮＮルール・テンプレートに対して評価するように構成された評価器であって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価器と、
前記評価器に動作可能に結合され、人工ニューラル・ネットワーク（ＡＮＮ）および対応するＭＬアルゴリズムを活用して前記結合子の重みを学習するように構成された、機械学習（ＭＬ）マネージャとを備え、
前記ＭＬマネージャが、前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新し、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成するように構成される、コンピュータ・システム。

【請求項2】

前記評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築するための前記評価器をさらに含む、請求項１に記載のシステム。

【請求項3】

前記エンティティ－メンションの対の評価が、ラベル付きエンティティ－メンションの対のサブセットに関する１つまたは複数の特徴を計算するための前記評価器をさらに含み、前記特徴の各々が、対応する類似性述語を含む、請求項２に記載のシステム。

【請求項4】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習するための前記ＭＬマネージャをさらに備える、請求項３に記載のシステム。

【請求項5】

対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングし、前記フィルタリングに応答して、前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むための前記評価器をさらに備え、前記選択的な組み込みが、特徴の除去または前記特徴への非ゼロ・スコアの割り当てを含む、請求項４に記載のシステム。

【請求項6】

前記評価器に動作可能に結合されたルール・マネージャをさらに備え、前記ルール・マネージャが、
前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記階層構造のテンプレートを動的に生成することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとを実行するように構成される、請求項２に記載のシステム。

【請求項7】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てるための前記ルール・マネージャをさらに備える、請求項６に記載のシステム。

【請求項8】

プログラム・コードが具現化されているコンピュータ可読ストレージ媒体とインターフェイスをとるように構成されたコンピュータ・プログラム製品であって、前記プログラム・コードが、プロセッサによって実行可能であり、前記プログラム・コードが、コンピュータに、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して特徴を生成することと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴を、エンティティ・リンキング（ＥＬ）ＬＮＮルール・テンプレートに対して評価することであって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価することと、
人工ニューラル・ネットワーク（ＡＮＮ）および対応するＭＬアルゴリズムを活用して、前記結合子の重みを学習することと、
前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新することと、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成することとを実行させる、コンピュータ・プログラム製品。

【請求項9】

ＬＮＮルール・テンプレートに対する各エンティティ－メンションの対の前記評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築するように構成されたプログラム・コードをさらに含む、請求項８に記載のコンピュータ・プログラム製品。

【請求項10】

前記エンティティ－メンションの対の評価が、エンティティ－メンションの対ごとに特徴のセットを計算するように構成されたプログラム・コードをさらに含み、前記特徴の各々が、対応する類似性述語を含む、請求項９に記載のコンピュータ・プログラム製品。

【請求項11】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習することと、
対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングすることと、
前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むこととを実行するように構成されたプログラム・コードをさらに備え、前記選択的な組み込みが、特徴の除去または前記特徴への非ゼロ・スコアの割り当てを含む、請求項１０に記載のコンピュータ・プログラム製品。

【請求項12】

前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記階層構造のテンプレートを動的に生成することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとを実行するように構成されたプログラム・コードをさらに備える、請求項９に記載のコンピュータ・プログラム製品。

【請求項13】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てるように構成されたプログラム・コードをさらに備える、請求項１２に記載のコンピュータ・プログラム製品。

【請求項14】

方法であって、
注釈付きデータセット内の１つまたは複数のエンティティ－メンションの対に関して特徴を生成することと、
前記１つまたは複数のエンティティ－メンションの対の前記生成された特徴を、エンティティ・リンキング（ＥＬ）論理ニューラル・ネットワーク（ＬＮＮ）ルール・テンプレートに対して評価することであって、前記テンプレートが、階層構造で構造化された１つまたは複数の論理的に接続されたルールおよび対応する結合子の重みを含んでいる、前記評価することと、
人工ニューラル・ネットワーク（ＡＮＮ）および対応する機械学習（ＭＬ）アルゴリズムを活用して、前記結合子の重みを学習することと、
前記論理的に接続されたルールに関連付けられた前記結合子の重みを選択的に更新することと、
前記論理的に接続されたルールに関する学習されたしきい値および前記学習された結合子の重みを使用して学習済みモデルを生成することとを含む、方法。

【請求項15】

前記エンティティ－メンションの対の評価が、ルールの選言セットから成るエンティティ・リンキング・アルゴリズムをＬＮＮ表現に再構築することを含む、請求項１４に記載の方法。

【請求項16】

前記エンティティ－メンションの対の評価が、エンティティ－メンションの対ごとに特徴のセットを計算することを含み、前記特徴の各々が、対応する類似性述語を含む、請求項１５に記載の方法。

【請求項17】

前記ＡＮＮおよび前記ＭＬアルゴリズムを活用して、前記対応する類似性述語に関連する前記計算された１つまたは複数の特徴の各々に適したしきい値を学習することをさらに含む、請求項１６に記載の方法。

【請求項18】

対応する学習されたしきい値に基づいて前記計算された１つまたは複数の特徴をフィルタリングし、前記フィルタリングに応答して、前記計算された１つまたは複数の特徴を前記ＬＮＮルール・テンプレートに選択的に組み込むことをさらに含み、前記選択的な組み込みが、特徴を除去すること、または非ゼロ・スコアを前記特徴に割り当てることを含む、請求項１７に記載の方法。

【請求項19】

前記階層構造のテンプレートを動的に生成することを含む、前記論理的に接続されたルールのうちの１つまたは複数を学習することと、
前記動的に生成されたテンプレートに基づいて論理ルールを学習することと、
選択されたルールをラベル付きデータセットに対して評価することと、
前記選択されたルールを前記階層構造内の対応するノードに選択的に割り当てることとをさらに含む、請求項１５に記載の方法。

【請求項20】

前記テンプレートが２分木であり、前記対応するノードが内部ノードであり、連言または選言ＬＮＮ演算子を前記内部ノードに選択的に割り当てることをさらに含む、請求項１９に記載の方法。

【国際調査報告】