特許 7458497 グラフ・ツー・テキスト生成ネットワークを訓練する方法及びコンピュータ・システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-21

(45)【発行日】2024-03-29

(54)【発明の名称】グラフ・ツー・テキスト生成ネットワークを訓練する方法及びコンピュータ・システム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20240322BHJP

   G06F 40/44 20200101ALI20240322BHJP

【ＦＩ】

G06F40/56

G06F40/44

【請求項の数】 9

(21)【出願番号】P 2022554443

(86)(22)【出願日】2021-03-19

(65)【公表番号】

(43)【公表日】2023-04-25

(86)【国際出願番号】 US2021023120

(87)【国際公開番号】W WO2021242369

(87)【国際公開日】2021-12-02

【審査請求日】2022-09-09

(31)【優先権主張番号】16/883,475

(32)【優先日】2020-05-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】520353802

【氏名又は名称】テンセント・アメリカ・エルエルシー

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソン，リンフェン

【審査官】成瀬 博之

(56)【参考文献】

【文献】特開２０１８－１８１３４３（ＪＰ，Ａ）

【文献】Rik Koncel-Kedziorski 他４名，Text Generation from Knowledge Graphs with Graph Transformers，arXiv [online]，2019年04月04日，［令和5年9月7日検索］，インターネット ＜URL：https://arxiv.org/abs/1904.02342v1＞

【文献】Seung-Hoon Nay 他4名，JBNU at MRP 2019: Multi-level Biaffine Attention for Semantic Dependency Parsing，Proceedings of the Shared Task on Cross-Framework Meaning Representation Parsing at the 2019 CoNLL [online]，2019年11月03日，pages 95-103，［令和5年9月7日検索］，インターネット ＜URL：https://aclanthology.org/K19-2009.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

(57)【特許請求の範囲】

【請求項1】

グラフ・ツー・テキスト生成ネットワークを訓練するためにコンピュータ・システムのプロセッサが実行する方法であって：
ターゲット・センテンスに対応するエンコードされたグラフ情報を受信するステップ；
前記エンコードされたグラフ情報を、バイアフィン・アテンション・スコアに基づいてデコードするステップ；及び
そのデコードされた情報に基づいて、第1損失値及び第2損失値を少なくとも含む損失値を決定し、前記損失値を最小化することによって前記グラフ・ツー・テキスト生成ネットワークを訓練するステップであって、（i）前記バイアフィン・アテンション・スコアに基づいて、グラフを構成する1つ以上の三者関係を、前記デコードされた情報から再構成することによって、前記グラフ・ツー・テキスト生成ネットワークに入力された入力グラフに対する前記第1損失値を生成し、（ii）深度優先グラフ・トラバーサルを使用して、前記デコードされた情報により表現されるシーケンスに、グラフのスコープを保つための括弧を挿入してトークンのシーケンスを生成することによって、前記入力グラフに対する前記第2損失値を生成する、ステップ；
を含む方法。

【請求項2】

請求項1に記載の方法において、前記1つ以上の三者関係の各々は、グラフに含まれるノードのペアと、前記ノードのペアに関連付けられたラベル付きの関係とを含む、方法。

【請求項3】

請求項2に記載の方法において、前記1つ以上の三者関係は、前記入力グラフのグラフ・ノードと前記ターゲット・センテンスに含まれるターゲット・ワードとの間の1つ以上の事前に生成されたアライメントに基づいて、前記ターゲット・センテンスにマッピングされる、方法。

【請求項4】

請求項1に記載の方法において、前記トークンのシーケンスは、グラフ・ノードを表すトークン、及びグラフのエッジ・ラベルを表すトークンを含む、方法。

【請求項5】

グラフ・ツー・テキスト生成ネットワークを訓練するコンピュータ・システムであって、前記コンピュータ・システムは：
コンピュータ・プログラム・コードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体；及び
前記コンピュータ・プログラム・コードにアクセスし、前記コンピュータ・プログラム・コードによって指示されるように動作するように構成された1つ以上のコンピュータ・プロセッサ；
を含み、前記コンピュータ・プログラム・コードは：
ターゲット・センテンスに対応するエンコードされたグラフ情報を受信することを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成された受信コード；
前記エンコードされたグラフ情報を、バイアフィン・アテンション・スコアに基づいてデコードすることを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成されたデコーディング・コード；及び
そのデコードされた情報に基づいて、第1損失値及び第2損失値を少なくとも含む損失値を決定し、前記損失値を最小化することによって前記グラフ・ツー・テキスト生成ネットワークを訓練することを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成された決定コードであって、（i）前記バイアフィン・アテンション・スコアに基づいて、グラフを構成する1つ以上の三者関係を、前記デコードされた情報から再構成することによって、前記グラフ・ツー・テキスト生成ネットワークに入力された入力グラフに対する前記第1損失値を生成し、（ii）深度優先グラフ・トラバーサルを使用して、前記デコードされた情報により表現されるシーケンスに、グラフのスコープを保つための括弧を挿入してトークンのシーケンスを生成することによって、前記入力グラフに対する前記第2損失値を生成する、決定コード；
を含む、コンピュータ・システム。

【請求項6】

請求項5に記載のコンピュータ・システムにおいて、前記1つ以上の三者関係の各々は、グラフに含まれるノードのペアと、前記ノードのペアに関連付けられたラベル付きの関係とを含む、コンピュータ・システム。

【請求項7】

請求項6に記載のコンピュータ・システムにおいて、前記1つ以上の三者関係は、前記入力グラフのグラフ・ノードと前記ターゲット・センテンスに含まれるターゲット・ワードとの間の1つ以上の事前に生成されたアライメントに基づいて、前記ターゲット・センテンスにマッピングされる、コンピュータ・システム。

【請求項8】

請求項5に記載のコンピュータ・システムにおいて、前記トークンのシーケンスは、グラフ・ノードを表すトークン、及びグラフのエッジ・ラベルを表すトークンを含む、コンピュータ・システム。

【請求項9】

請求項1ないし4のうちの何れか一項に記載の方法をコンピュータ・プロセッサに実行させるコンピュータ・プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 優先権情報
本件は、2020年5月26日付で出願された米国出願第16/883,475号による優先権の利益を主張しており、同出願全体は参照により本件に援用される。

【0002】

[0002] 本開示は、概して演算の分野に関連し、特に自然言語処理に関連する。

【背景技術】

【0003】

[0003] グラフ・ツー・テキスト生成（Graph-to-text generation）は、入力グラフの意味を保っている文章を生成することを目指している。テキスト生成タスクは、セマンティック・グラフ、ナレッジ・グラフ（KG）、及びデータベース・テーブルのようなグラフ構造を入力として使用することができる。例えば、AMR-to-text生成は、入力AMRグラフの意味を保つことが可能な文章を生成することが可能であり、それは、概念の集合とそれらの関係によって構築することが可能である。同様に、KG-to-text生成は、KGを表現する文章を生成することが可能であり、それは、エンティティの世界中のファクトイド情報（worldwide factoid information）とそれらの関係を含む可能性がある。

【発明の概要】

【0004】

[0004] 実施形態は、グラフ・ツー・テキスト生成ネットワークを訓練するための方法、コンピュータ・プログラム、及びコンピュータ読み取り可能な媒体に関連する。一態様によれば、グラフ・ツー・テキスト生成ネットワークを訓練する方法が提供される。本方法は、ターゲット・センテンスに対応するエンコードされたグラフ情報を受信することを含むことが可能である。エンコードされたグラフ情報は、バイアフィン・アテンション・スコア（biaffine attention score）に基づいてデコードされ、デコードされた情報に基づいて、1つ以上の損失値が決定され、それにより、テキスト・ツー・グラフ生成ネットワークは、1つ以上の損失値を最小化することによって訓練される。

【0005】

[0005] 別の態様によれば、グラフ・ツー・テキスト生成ネットワークを訓練するコンピュータ・システムが提供される。コンピュータ・システムは、1つ以上のプロセッサと、1つ以上のコンピュータ読み取り可能なメモリと、1つ以上のコンピュータ読み取り可能な有形の記憶デバイスと、1つ上のメモリのうちの少なくとも1つを介する1つ以上のプロセッサのうちの少なくとも1つによる実行のために1つ以上の記憶デバイスのうちの少なくとも1つに記憶されたプログラム命令とを含み、それによりコンピュータ・システムは方法を実行することが可能である。方法は、ターゲット・センテンスに対応するエンコードされたグラフ情報を受信するステップを含むことが可能である。エンコードされたグラフ情報は、バイアフィン・アテンション・スコアに基づいてデコードされ、デコードされた情報に基づいて、1つ以上の損失値が決定され、それにより、テキスト・ツー・グラフ生成ネットワークは、1つ以上の損失値を最小化することによって訓練される。

【0006】

[0006] 更に別の態様によれば、グラフ・ツー・テキスト生成ネットワークを訓練するためのコンピュータ読み取り可能な媒体が提供される。コンピュータ読み取り可能な媒体は、1つ以上のコンピュータ読み取り可能な記憶デバイスと、1つ以上の有形の記憶デバイスのうちの少なくとも1つに記憶されたプログラム命令と、プロセッサによって実行可能なプログラム命令とを含むことが可能である。プログラム命令は、ターゲット・センテンスに対応するエンコードされたグラフ情報を受信するステップを相応に含むことが可能な方法を実行するために、プロセッサによって実行可能である。エンコードされたグラフ情報は、バイアフィン・アテンション・スコアに基づいてデコードされ、デコードされた情報に基づいて、1つ以上の損失値が決定され、それにより、テキスト・ツー・グラフ生成ネットワークは、1つ以上の損失値を最小化することによって訓練される。

【図面の簡単な説明】

【0007】

[0007] これら及び他の目的、特徴及び利点は、添付の図面に関連して理解される例示的な実施形態の以下の詳細な説明から、明らかになるであろう。図中の種々の特徴は、図示のスケールどおりではなく、詳細な説明に関連して当業者の理解を促す際における明確性のためのものである。

【図1】少なくとも1つの実施形態によるネットワーク化されたコンピュータ環境を示す。

【図2】少なくとも1つの実施形態によるグラフ・ツー・テキスト生成ネットワークを訓練するためのプログラムのブロック図である。

【図3】少なくとも1つの実施形態によるグラフ・ツー・テキスト生成ネットワークを訓練するためのプログラムによって実行される動作を示す動作フローチャートである。

【図4】少なくとも1つの実施形態による図1に示されるコンピュータ及びサーバーの内部及び外部構成要素のブロック図である。

【図5】少なくとも1つの実施形態による図1に示されるコンピュータ・システムを含む例示的なクラウド・コンピューティング環境のブロック図である。

【図6】少なくとも1つの実施形態による図5の例示的なクラウド・コンピューティング環境の機能層のブロック図である。

【発明を実施するための形態】

【0008】

[0008] クレームされる構造及び方法の詳細な実施形態が本件で開示される；しかしながら、開示される実施形態は、種々の形態で実施される可能性があるクレームされる構造及び方法を単に例示しているに過ぎない、ということを理解することが可能である。しかしながら、これらの構造及び方法は、多くの異なる形態で具体化することが可能であり、本件に記載されている例示的な実施形態に限定されるものと解釈されるべきではない。むしろ、これらの例示的な実施形態は、本開示が十分であって完全であり、その範囲を当業者に完全に伝えることとなるように提供される。説明では、周知の特徴及び技術の詳細は、提示された実施形態を不必要に不明瞭化してしまうことを避けるために省略されている可能性がある。

【0009】

[0009] 実施形態は、概して演算の分野に関連し、特に自然言語処理に関連する。以下に説明する例示的な実施形態は、とりわけ、グラフ・ツー・テキスト生成ネットワークを訓練するためのシステム、方法、及びプログラム製品を提供する。従って、幾つかの実施形態は、入力グラフの様々な態様に個々に着目することが可能な様々なタイプのオート・エンコーディング損失（auto-encoding losses）に基づくグラフ・ツー・テキスト生成ネットワークの改善された訓練を可能にして、入力グラフに関連する構造情報の欠落を防止することによって、演算の分野を発展させる能力を有する。

【0010】

[0010] 前述したように、グラフ・ツー・テキスト生成は、入力グラフの意味を保っている文章を生成することを目指している。テキスト生成タスクは、セマンティック・グラフ、ナレッジ・グラフ（KG）、及びデータベース・テーブルのようなグラフ構造を入力として使用することができる。例えば、AMR-to-text生成は、入力AMRグラフの意味を保つことが可能な文章を生成することが可能であり、それは、概念のセットとそれらの関係によって構築することが可能である。同様に、KG-to-text生成は、KGを表現する文章を生成することが可能であり、それは、エンティティの世界中のファクトイド情報とそれらの関係を含む可能性がある。しかしながら、一部のグラフ・ツー・テキスト・モデルは、出力を生成する際に、入力グラフのコア構造情報（core structural information）を欠落させてしまう可能性がある。従って、入力情報を保つようにモデルを導くことが可能な豊かな訓練信号を活用することは有用なことである。特に、各々が入力グラフの異なる態様（即ち、ビュー（view））に個々に焦点を当てる2種類のオート・エンコーディング損失を使用することが可能である。次いで、損失は、マルチ・タスク訓練によりモデルをより良好に較正するために逆伝搬されることが可能である。

【0011】

[0011] 様々な実施形態による方法、装置（システム）、及びコンピュータ読み取り可能な媒体のフローチャート図及び／又はブロック図を参照しながら、本件の態様を説明する。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図におけるブロックの組み合わせは、コンピュータ読み取り可能なプログラム命令によって実現できることが理解されるであろう。

【0012】

[0012] 次に、図1を参照すると、グラフ・ツー・テキスト生成ネットワークを訓練するためのグラフ・ツー・テキスト生成システム100（以下、「システム」という）を示す、ネットワーク化されたコンピュータ環境の機能ブロック図が、示されている。図1は、1つの実装の例示を提供しているだけであり、様々な実施形態が実装され得る環境に対する如何なる限定も意味していないことは、理解されるべきである。図示される環境に対する多くの修正が、設計及び実装の要件に基づいて行われる可能性がある。

【0013】

[0013] システム100は、コンピュータ102及びサーバー・コンピュータ114を含む可能性がある。コンピュータ102は、通信ネットワーク110（以下、「ネットワーク」という）を介してサーバー・コンピュータ114と通信することができる。コンピュータ102は、プロセッサ104と、ソフトウェア・プログラム108とを含み、ソフトウェア・プログラム108は、データ記憶デバイス106に記憶され、ユーザーとのインターフェースを可能にし、サーバー・コンピュータ114と通信することを可能にする。図4を参照しながら以下で説明されるように、コンピュータ102は、それぞれ内部構成要素800A及び外部構成要素900Aを含む可能性があり、サーバー・コンピュータ114は、それぞれ内部構成要素800B及び外部構成要素900Bを含む可能性がある。コンピュータ102は、例えば、モバイル・デバイス、電話、パーソナル・デジタル・アシスタント、ネットブック、ラップトップ・コンピュータ、タブレット・コンピュータ、デスクトップ・コンピュータ、又は任意のタイプのコンピューティング・デバイスであって、プログラムを実行し、ネットワークにアクセスし、データベースにアクセスすることができるものである可能性がある。

【0014】

[0014] サーバー・コンピュータ114はまた、図5及び図6に関して後述するように、ソフトウェア・アズ・ア・サービス（SaaS）、プラットフォーム・アズ・ア・サービス（PaaS）、又はインフラストラクチャ・アズ・ア・サービス（IaaS）のようなクラウド・コンピューティング・サービス・モデルにおいて動作することができる。サーバー・コンピュータ114はまた、プライベート・クラウド、コミュニティ・クラウド、パブリック・クラウド、又はハイブリッド・クラウドのようなクラウド・コンピューティング実装モデルに配置されてもよい。

【0015】

[0015] グラフ・ツー・テキストへの生成ネットワークを訓練するために使用されることが可能なサーバー・コンピュータ114は、データベース112とやり取りを行うことが可能なグラフ・ツー・テキストへの生成プログラム116（以下、「プログラム」という）を実行することができる 。グラフ・ツー・テキスト生成プログラム方法は、図3に関連して以下で詳細に説明される。一実施形態において、コンピュータ102は、ユーザー・インターフェースを含む入力デバイスとして動作することが可能である一方、プログラム116は、主としてサーバー・コンピュータ114上で動作することが可能である。代替的な実施形態では、プログラム116は、主として1つ以上のコンピュータ102上で動作することが可能である一方、サーバー・コンピュータ114は、プログラム116によって使用されるデータの処理及び記憶のために使用されることが可能である。プログラム116は、スタンドアロン・プログラムであってもよいし、又はより大きなグラフ・ツー・テキスト生成プログラムに統合されてもよいことに留意すべきである。

【0016】

[0016] しかしながら、プログラム116のための処理は、ある場合には、コンピュータ102とサーバー・コンピュータ114との間で任意の比率で共有されてもよいことに留意すべきである。別の実施形態では、プログラム116は、1つより多いコンピュータ、サーバー・コンピュータ、又はコンピュータとサーバー・コンピュータの何らかの組み合わせ、例えば、ネットワーク110を横断して単一のサーバー・コンピュータ114と通信する複数のコンピュータ102、において動作することが可能である。別の実施形態では、例えば、プログラム116は、ネットワーク110を横断して複数のクライアント・コンピュータと通信する複数のサーバー・コンピュータ114上で動作することが可能である。代替的に、プログラムは、ネットワークを横断してサーバー及び複数のクライアント・コンピュータと通信するネットワーク・サーバー上で動作することが可能である。

【0017】

[0017] ネットワーク110は、有線接続、無線接続、光ファイバ接続、又はそれらの何らかの組み合わせを含んでもよい。一般に、ネットワーク110は、コンピュータ102とサーバー・コンピュータ114との間で通信をサポートするプロトコルと接続の任意の組み合わせであるとすることが可能である。ネットワーク110は、例えば、ローカル・エリア・ネットワーク（LAN）、インターネットのようなワイド・エリア・ネットワーク（WAN）、公衆交換電話網（PSTN）のような電気通信ネットワーク、無線ネットワーク、公衆交換網、衛星ネットワーク、セルラー・ネットワーク（例えば、第5世代（5G）ネットワーク、ロングターム・エボリューション（LTE）ネットワーク、第3世代（3G）ネットワーク、符号分割多元接続（CDMA）ネットワーク等）、公衆陸上移動ネットワーク（PLMN）、メトロポリタン・エリア・ネットワーク（MAN）、プライベート・ネットワーク、アドホック・ネットワーク、イントラネット、光ファイバ・ベースのネットワーク等、及び／又はこれらの又は他のタイプのネットワークの組み合せのような、種々のタイプのネットワークを含む可能性がある。

【0018】

[0018] 図1に示すデバイス及びネットワークの台数及び配置は、一例として提供されている。実際には、図1に示されるものに対して、追加のデバイス及び／又はネットワーク、より少ないデバイス及び／又はネットワーク、異なるデバイス及び／又はネットワーク、又は別様に配置されたデバイス及び／又はネットワークが存在する可能性がある。更に、図1に示される2つ以上のデバイスは、単一のデバイス内に実装されてもよいし、又は図1に示される単一のデバイスは、複数の分散されたデバイスとして実装されてもよい。追加的又は代替的に、システム100の一組のデバイス（例えば、1つ以上のデバイス）は、システム100の別の一組のデバイスによって実行されるものとして説明される1つ以上の機能を実行してもよい。

【0019】

[0019] 図2を参照すると、グラフ・ツー・テキスト生成システムのブロック図200が描かれている。図2は、図1に描かれている例示的な実施形態とともに説明することができる。グラフ・ツー・テキスト生成システムは、特に、エンコーダ・デコーダ202と言語モデリング損失モジュール204を相応に含むことが可能である。一実施形態によれば、グラフ・ツー・テキスト生成システムは、コンピュータ102（図1）に配置されてもよい。代替的な実施形態によれば、グラフ・ツー・テキスト生成システムは、サーバー・コンピュータ114（図1）に配置されてもよい。エンコーダ・デコーダ202は、入力グラフ・データ206を受信するように構成されてもよく、言語モデリング損失モジュール204によって使用することが可能な、入力グラフ・データ206に対するアテンション・スコアを計算することが可能である。

【0020】

[0020] 言語モデリング損失モジュール204は、三者関係（triple relations）及び線形化されたグラフ（linearized graphs）にそれぞれ基づいて損失値L1及びL2を出力することが可能である。損失値L1及びL2は、入力グラフの複数のビューを再構成することによって生成されてもよく、ここで、各ビューは入力の異なる態様を表現する。入力グラフの異なる態様に基づく損失値L1とL2を使用することにより、モデルは、入力グラフの構造情報をより正確に保つために使用されることが可能である。

【0021】

[0021] 第1損失値L1は、バイアフィン・アテンション・スコアに基づいて三者関係を再構成することによって生成することが可能である。各々の入力グラフは、トリプルのセットに分割されることが可能であり、それによって、各トリプルは、ノードのペアとそれらのラベル付きの関係とを含むことが可能である。グラフ・ノードとターゲット・ワードとの間の事前に生成されたアライメントを使用して、グラフ・トリプルを、ターゲット・センテンスに基づかせることができる。出力は、幾つかのラベル付きのアーク（arc）を含む可能性があり、各アークはワード・ペアを接続する。各アークはローカルな関係を表現する可能性がある一方、アークの組み合わせはまた、グローバルな入力構造を意味する可能性がある。AMR-to-text生成において、アライナー（aligners）が、AMRノードをワードにリンクするために使用されてもよい。知識グラフの場合、アライメントは、ルール・ベースのマッチング又はエンティティ・リンク・システムによって作成される可能性がある。ワード・ペアを接続するラベル付きのアークを伴う得られた構造は、依存性ツリーに類似している可能性がある。デコーダの状態からこの構造を予測するために、深層バイアフィン・モデルを使用することが可能である。

【0022】

[0022] グランドされたそれぞれのトリプルのローカルな情報を再構成するための第1損失値L1に対する補足として、第2損失値L2を使用して、グラフ全体を、線形化されたシーケンス（linearized sequence）として予測することが可能である。線形化（linearization）によって引き起こされるグラフ構造情報の損失を最小化するために、深度優先トラバーサルに基づくアルゴリズムを使用することが可能であり、このアルゴリズムはグラフ・スコープを保つために括弧を挿入することが可能である。オリジナルのグラフは、構造情報が一切失われていないように直接的に予測される可能性があるが、各タイプのグラフは、それら固有の特性（有向_対_無向、根付き_対_非・根付き、等々）に起因して、各自自身の構文解析アルゴリズムを有することが可能である、ということを理解することができる。従って、線形化は、ほとんどのタイプのグラフに対して使用される可能性がある。トークンのシーケンスとして表現された線形化されたグラフが与えられている場合において、各トークンがグラフ・ノード、エッジ・ラベル、又は挿入された括弧であるとすることが可能である場合、標準的なトランスフォーマ・デコーダ（standard Transformer decoder）を使用してシーケンスを生成することが可能である。

【0023】

[0023] 次に、図3を参照すると、グラフ・ツー・テキスト生成ネットワークを訓練するためのプログラムによって実行される動作を示す動作フローチャート300が示されている。図3は、図1及び図2とともに説明される。前述のように、グラフ・ツー・テキスト生成プログラム116（図1）は、センテンス中の1つ以上のエンティティ間の関係を迅速かつ効果的に決定することができる。

【0024】

[0024] 302において、ターゲット・センテンスに対応するエンコードされたグラフ情報が受信される。エンコードされたグラフは、保たれるように望まれている可能性のある構造情報を含む可能性がある。動作中に、サーバー・コンピュータ114（図1）におけるグラフ・ツー・テキスト生成プログラム116（図1）は、入力グラフ・データ206（図2）を受信することが可能である。一実施形態によれば、入力グラフ・データ206は、通信ネットワーク110を介してコンピュータ102（図1）から受信されてもよい。代替的な実施形態によれば、入力グラフ206は、データベース112（図1）から検索されてもよい。

【0025】

[0025] 304において、エンコードされたグラフ情報は、バイアフィン・アテンション・スコアに基づいてデコードされる。バイアフィン・アテンション・スコアは、入力グラフ・データを、ターゲット・センテンスに合わせるために使用されることが可能である。動作の際に、エンコーダ・デコーダ202（図2）は、入力グラフ・データ206（図2）をターゲット・センテンスにマッピングするために、入力グラフ・データ206（図2）に対するアテンション・スコアを計算することが可能である。

【0026】

[0026] 306において、デコードされた情報に基づいて、1つ以上の損失値が決定され、ここで、テキスト・ツー・グラフ生成ネットワークは、1つ以上の損失値を最小化することによって訓練される。第1損失値は、バイアフィン・アテンション・スコアに基づいて1つ以上の三者関係を再構成することによって生成され、第2損失値は、線形化されたシーケンスとしてグラフを予測する。動作の際に、言語モデリング損失モジュール204は、入力グラフ・データ206に基づいてアテンション・スコアから損失値L1及びL2を計算することができる。損失値L1及びL2は、これらの損失値を入力としてネットワークに供給することによって、グラフ・ツー・テキスト生成ネットワークを訓練するために使用されることが可能である。

【0027】

[0027] 図3は、1つの実装の例示を提供しているだけであり、様々な実施形態がどのように実施され得るかに関する如何なる制限も意味していない、ということを理解することができる。図示された環境に対する多くの修正が設計及び実装の要件に基づいて行われる可能性がある。

【0028】

[0028] 図4は、例示的な実施形態による図1に示されるコンピュータの内部及び外部の構成要素のブロック図400である。図4は、1つの実装の例示を提供しているだけであり、異なる実施形態が実装され得る環境に関する如何なる制限も意味していないことは、理解されるべきである。図示された環境に対する多くの修正が、設計及び実装の要件に基づいて行われる可能性がある。

【0029】

[0029] コンピュータ102（図1）及びサーバー・コンピュータ114（図1）はそれぞれ、図4に示す内部構成要素800A, B及び外部構成要素900A, Bのそれぞれのセットを含んでもよい。内部構成要素800のセットの各々は、1つ以上のプロセッサ820、1つ以上のコンピュータ読み取り可能なRAM822、及び1つ以上のコンピュータ読み取り可能なROM824を1つ以上のバス826上に含み、また、1つ以上のオペレーティング・システム828、及び1つ以上のコンピュータ読み取り可能な有形の記憶デバイス830を含む。

【0030】

[0030] プロセッサ820は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせで実装される。プロセッサ820は、中央処理ユニット（CPU）、グラフィックス処理ユニット（GPU）、加速処理ユニット（APU）、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（DSP）、フィールド・プログラマブル・ゲートアレイ（FPGA）、特定用途向け集積回路（ASIC）、又は別のタイプの処理構成要素である。幾つかの実装において、プロセッサ820は、機能を実行するようにプログラムされることが可能な1つ以上のプロセッサを含む。バス826は、内部構成要素800A, B間の通信を可能にする構成要素を含む。

【0031】

[0031] サーバー・コンピュータ114（図1）上の1つ以上のオペレーティング・システム828、ソフトウェア・プログラム108（図1）、及びグラフ・ツー・テキスト生成プログラム116（図1）は、それぞれのRAM822（典型的にはキャッシュ・メモリを含む）の1つ以上を介してそれぞれのプロセッサ820のうちの1つ以上によって実行するために、それぞれのコンピュータ読み取り可能な有形記憶デバイス830のうちの1つ以上に記憶される。図4に示す実施形態では、コンピュータ読み取り可能な有形記憶デバイス830の各々は、内部ハード・ドライブの磁気ディスク記憶デバイスである。代替的に、コンピュータ読み取り可能な有形記憶デバイス830の各々は、ROM 824、EPROM、フラッシュ・メモリのような半導体記憶デバイス、光ディスク、光磁気ディスク、ソリッド・ステート・ディスク、コンパクト・ディスク（CD）、デジタル多用途ディスク（DVD）、フロッピー・ディスク、カートリッジ、磁気テープ、及び／又は、コンピュータ・プログラム及びデジタル情報を記憶することが可能な他のタイプの非一時的なコンピュータ読み取り可能な有形記憶デバイスである。

【0032】

[0032] 内部構成要素800A, Bの各セットはまた、CD-ROM、DVD、メモリ・スティック、磁気テープ、磁気ディスク、光ディスク、又は半導体記憶デバイスのような1つ以上のポータブル・コンピュータ読み取り可能な有形記憶デバイス936に対して読み書きするためのR/Wドライブ又はインターフェース832も含む。ソフトウェア・プログラム108（図1）及びグラフ・ツー・テキスト生成プログラム116（図1）のようなソフトウェア・プログラムは、それぞれのポータブル・コンピュータ読み取り可能な有形記憶デバイス936の1つ以上に記憶され、それぞれのR/Wドライブ又はインターフェース832を介して読み込まれ、それぞれのハード・ドライブ830にロードされることが可能である。

【0033】

[0033] 内部構成要素800A, Bの各セットは、TCP/IPアダプタ・カード；無線Wi-Fiインターフェースカード；又は3G、4G、又は5G無線インターフェースカード、又はその他の有線又は無線通信リンクのような、ネットワーク・アダプタ又はインターフェース836も含む。ソフトウェア・プログラム108（図1）及びサーバー・コンピュータ114（図1）上のグラフ・ツー・テキスト生成プログラム116（図1）は、ネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク又はその他のワイド・エリア・ネットワーク）及びそれぞれのネットワーク・アダプタ又はインターフェース836を介して、外部コンピュータからコンピュータ102（図1）及びサーバー・コンピュータ114にダウンロードすることが可能である。ネットワーク・アダプタ又はインターフェース836から、サーバー・コンピュータ114上のソフトウェア・プログラム108及びグラフ・ツー・テキスト生成プログラム116が、それぞれのハード・ドライブ830にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及び／又はエッジ・サーバーを含むことが可能である。

【0034】

[0034] 外部構成要素900A, Bのセットの各々は、コンピュータ・ディスプレイ・モニタ920、キーボード930、及びコンピュータ・マウス934を含むことが可能である。外部構成要素900A, Bはまた、タッチ・スクリーン、仮想キーボード、タッチ・パッド、ポインティング・デバイス、及びその他のヒューマン・インターフェース・デバイスを含むことが可能である。内部構成要素800A, Bのセットの各々は、コンピュータ・ディスプレイ・モニタ920、キーボード930、及びコンピュータ・マウス934に対するインターフェースのためのデバイス・ドライバ840も含む。デバイス・ドライバ840、R/Wドライブ又はインターフェース832、及びネットワーク・アダプタ又はインターフェース836は、ハードウェア及びソフトウェア（記憶デバイス830及び／又はROM 824に記憶される）を備える。

【0035】

[0035] 本開示は、クラウド・コンピューティングに関する詳細な説明を含むが、本件で説明される教示の実装は、クラウド・コンピューティング環境に限定されないことが、予め理解されるべきである。むしろ、幾つかの実施形態は、現在知られているか、又は後に開発される任意の他のタイプのコンピューティング環境と共に実装されることが可能である。

【0036】

[0036] クラウド・コンピューティングは、構成可能なコンピューティング・リソース（例えば、ネットワーク、ネットワーク帯域幅、サーバー、処理、メモリ、ストレージ、アプリケーション、仮想マシン、サービス）の共有されるプールに対する便利なオンデマンド・ネットワーク・アクセスを可能にするためのサービス提供のモデルであり、そのリソースは、最小限の管理労力又はサービス・プロバイダとの最小限のやりとりで迅速に準備され且つ解放されることが可能である。このクラウド・モデルは、少なくとも5つの特徴、少なくとも3つのサービス・モデル、及び少なくとも4つの実装モデルを含む可能性がある。

【0037】

[0037] 特徴は以下の通りである：
オンデマンド・セルフ・サービス：クラウド・コンシューマは、サービス・プロバイダとの人的なやりとりを必要とせずに、必要に応じて自動的に、サーバーの時間やネットワーク・ストレージのような演算能力を一方的に準備することができる。

【0038】

幅広いネットワーク・アクセス：能力は、ネットワーク上で利用可能であり、ヘテロジニアスなシン（thin）又はシック（thick）クライアント・プラットフォーム（例えば、携帯電話、ラップトップ、及びPDA）による利用を促進する標準的な仕組みを通じてアクセスされる。

【0039】

リソース・プーリング：プロバイダのコンピューティング・リソースは集められ、複数のコンシューマにマルチ・テナント・モデルを利用して提供され、様々な物理的及び仮想的なリソースは、需要に応じて動的に割り当てられたり割り当て直されたりする。コンシューマは、一般、提供されるリソースの正確な所在地を知ったりコントロールしたりせず、（例えば、国、州、データセンタのような）より抽象的な高いレベルで位置を特定できる可能性がある、という点で場所に制約されないという感覚が存在する。

【0040】

迅速な拡張性：能力は、迅速かつ柔軟に準備されることが可能であり、場合によっては自動的に、迅速にスケール・アウトし、迅速にスケール・インするために迅速に解放されることが可能である。コンシューマにとっては、割り当てのために利用可能な能力はしばしば無尽蔵であるように見えて、いつ如何なる量でも調達可能である。

【0041】

測定されるサービス：クラウド・システムは、（例えば、ストレージ、処理、帯域幅、及びアクティブなユーザー・アカウントのような）サービスのタイプに適した或る抽象化レベルで計測機能を活用することによって、リソースの使用を自動的に制御して最適化する。リソースの使用は監視、制御、及び報告され、利用されたサービスのプロバイダとコンシューマの両方に透明性を提供することができる。

【0042】

[0038] サービス・モデルは以下の通りである：
ソフトウェア・アズ・ア・サービス（SaaS）：コンシューマに提供される機能は、クラウド・インフラストラクチャ上で動作するプロバイダのアプリケーションを利用することになる。アプリケーションは、ウェブ・ブラウザ（例えば、ウェブ・ベースの電子メール）のようなシン・クライアント・インターフェースを介して、様々なクライアント・デバイスからアクセスできる。コンシューマは、ネットワーク、サーバー、オペレーティング・システム、ストレージ、あるいは個々のアプリケーション機能でさえ、それらを含む基盤となるクラウド・インフラストラクチャを、管理したり制御したりしないが、限られたユーザー固有のアプリケーション構成の設定は例外となる可能性がある。

【0043】

プラットフォーム・アズ・ア・サービス（Paas）：コンシューマに提供される機能は、プロバイダによってサポートされるプログラミング言語やツールを使用して作成された、コンシューマが作成又は取得したアプリケーションを、クラウド・インフラストラクチャに実装することになる。コンシューマは、ネットワーク、サーバー、オペレーティング・システム、又はストレージを含む基盤のクラウド・インフラストラクチャを管理したり制御したりしないが、実装したアプリケーションや、場合によっては環境設定をホスティングするアプリケーションをコントロールすることができる。

【0044】

インフラストラクチャ・アズ・ア・サービス（laaS）：コンシューマに提供される機能は、処理、ストレージ、ネットワーク、及びその他の基本的なコンピューティング・リソースを提供することであり、コンシューマは、オペレーティング・システム及びアプリケーションを含む可能性がある任意のソフトウェアを実装して実行することができる。コンシューマは、基盤のクラウド・インフラストラクチャを管理したり制御したりしないが、オペレーティング・システム、ストレージ、実装したアプリケーション、及び選択されたネットワーキング構成要素（例えば、ホスト・ファイアウォール）の可能な限られたコントロールを制御することができる。

【0045】

[0039] 実装モデルは以下の通りである：
プライベート・クラウド：クラウド・インフラストラクチャは組織専用に運用される。それは、組織又は第三者によって管理され、敷地内又は敷地外に存在する可能性がある。

【0046】

コミュニティ・クラウド：クラウド・インフラストラクチャは、幾つかの組織で共有され、共通の関心事（例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンスの考慮事項）を有する特定のコミュニティをサポートする。それは、組織又は第三者によって管理され、敷地内又は敷地外に存在する可能性がある。

【0047】

パブリック・クラウド：クラウド・インフラストラクチャは、一般の公の又は大規模な業界グループに利用可能にされ、クラウド・サービスを販売する組織によって所有される。

【0048】

ハイブリッド・クラウド：クラウド・インフラストラクチャは、2つ以上のクラウド（プライベート、コミュニティ、パブリック）の組み合わせであり、それらは固有のエンティティのままであるが、データとアプリケーションの移動を可能にする標準化された又は独自の技術（例えば、クラウド間の負荷分散のためのクラウド・バースト）によって共に結び付けられている。

【0049】

[0040] クラウド・コンピューティング環境は、ステートレス性、低結合性、モジュール性、及び意味論的相互運用性に焦点を当てたサービス指向である。クラウド・コンピューティングの核心は、相互接続されたノードのネットワークを含むインフラストラクチャである。

【0050】

[0041] 図5を参照すると、例示的なクラウド・コンピューティング環境500が示されている。図示されるように、クラウド・コンピューティング環境500は、1つ以上のクラウド・コンピューティング・ノード10を含み、クラウド・コンシューマが使用するローカル・コンピューティング・デバイス、例えば、パーソナル・デジタル・アシスタント（PDA）又はセルラー電話54A、デスクトップ・コンピュータ54B、ラップトップ・コンピュータ54C、及び／又は自動車コンピュータ・システム54Nは、クラウド・コンピューティング・ノード10と通信することができる。クラウド・コンピューティング・ノード10は、互いに通信することが可能である。それらは、物理的又は仮想的に、上述のようなプライベート、コミュニティ、パブリック、又はハイブリッド・クラウド、又はそれらの組み合わせのような1つ以上のネットワークでグループ化（図示せず）されてもよい。これは、クラウド・コンピューティング環境500が、インフラストラクチャ、プラットフォーム、及び／又はソフトウェア・アズ・サービスを提供することを可能にし、そのため、クラウド・コンシューマは、ローカル・コンピューティング・デバイス上でリソースを維持することを必要としない。図5に示すコンピューティング・デバイス54A-Nのタイプは、単なる例示でしかないように意図されていること、及び、クラウド・コンピューティング・ノード10及びクラウド・コンピューティング環境500は、任意のタイプのネットワーク及び／又はネットワーク・アドレス指定可能な接続（例えば、ウェブ・ブラウザを使用するもの）を介して、任意のタイプのコンピュータ化されたデバイスと通信することができること、が理解される。

【0051】

[0042] 図6を参照すると、クラウド・コンピューティング環境500（図5）によって提供される一組の機能的な抽象化層600が示されている。図6に示される構成要素、層、及び機能は、例示でしかないように意図されており、実施形態はこれらに限定されないことが、事前に理解されるべきである。図示されているように、以下の層及び対応する機能が提供される：
[0043] ハードウェア及びソフトウェア層60は、ハードウェア及びソフトウェア構成要素を含む。ハードウェア構成要素の具体例は：メインフレーム61；RISC（縮小命令セット・コンピュータ）アーキテクチャ・ベースのサーバー62；サーバー63；ブレード・サーバー64；ストレージ・デバイス65；及びネットワーク及びネットワーキング構成要素66を含む。幾つかの実施形態では、ソフトウェア構成要素は、ネットワーク・アプリケーション・サーバー・ソフトウェア67及びデータベース・ソフトウェア68を含む。

【0052】

[0044] 仮想化層70は抽象化層を提供し、その抽象化層から、以下の例の仮想エンティティ：仮想サーバー71；仮想ストレージ72；仮想プライベート・ネットワークを含む仮想ネットワーク73；仮想アプリケーション及びオペレーティング・システム74；及び仮想クライアント75を提供することができる。

【0053】

[0045] 一例において、管理層80は、以下に説明される機能を提供することができる。リソース準備81は、クラウド・コンピューティング環境内のタスクを実行するために使用されるコンピューティング・リソース及びその他のリソースの動的な調達をもたらす。メータリング＆プライシング82は、クラウド・コンピューティング環境内でリソースが利用される際のコスト追跡、及びこれらのリソースの消費に対する課金又は請求を行う。一例において、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド・コンシューマとタスクのための身元確認と、データ及びその他のリソースの保護を提供する。ユーザー・ポータル83は、コンシューマ及びシステム管理者に、クラウド・コンピューティング環境へのアクセスを提供する。サービス・レベル管理84は、要求されるサービス・レベルが満たされるように、クラウド・コンピューティング・リソースの割り当て及び管理を提供する。サービス・レベル・アグリーメント（Service Level Agreement, SLA）のプランニング及びフルフィルメント85は、SLAに従って将来の要件が予測されるクラウド・コンピューティング・リソースの事前準備及び調達を行う。

【0054】

[0046] ワークロード層90は、クラウド・コンピューティング環境が利用される可能性のある機能の例を提供する。この層から提供されることが可能なワークロード及び機能の例は：マッピング及びナビゲーション91；ソフトウェア開発及びライフサイクル管理92；仮想教室教育配信93；データ分析処理94；トランザクション処理95；及びグラフ・ツー・テキスト生成96を含む。グラフ・ツー・テキスト生成96は、グラフ・ツー・テキスト生成ネットワークを訓練することが可能である。

【0055】

[0047] 幾つかの実施形態は、可能なあらゆる技術的な統合詳細レベルにおいて、システム、方法、及び／又はコンピュータ読み取り可能な媒体に関連する可能性がある。コンピュータ読み取り可能な媒体は、プロセッサに動作を実行させるためのコンピュータ読み取り可能なプログラム命令を有するコンピュータ読み取り可能な非一時的な記憶媒体（又は媒体）を含むことが可能である。

【0056】

[0048] コンピュータ読み取り可能な記憶媒体は、命令実行デバイスによって使用される命令を保持及び記憶することが可能な有形デバイスであるとすることが可能である。コンピュータ読み取り可能な記憶媒体は、例えば、電子記憶デバイス、磁気記憶デバイス、光記憶デバイス、電磁記憶デバイス、半導体記憶デバイス、又はこれらの適切な任意の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な例の網羅的でないリストは：ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（RAM）、リード・オンリ・メモリ（ROM）、消去可能なプログラム可能なリード・オンリ・メモリ（EPROM又はフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（SRAM）、ポータブル・コンパクト・ディスク・リード・オンリ・メモリ（CD-ROM）、デジタル多用途ディスク（DVD）、メモリ・スティック、フロッピー・ディスク、機械的にエンコード化されたデバイスであって命令を記録させる溝の中の隆起した構造又はパンチカードのようなデバイス、及びこれらの任意の適切な組み合わせを含む。本件で使用されるコンピュータ読み取り可能な記憶媒体それ自体は、例えば、電波その他の自由に伝搬する電磁波、導波管又は他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って伝送される電気信号のような、一時的な信号であるとは解釈されない。

【0057】

[0049] 本件で説明されるコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体から、各々の演算/処理デバイスへダウンロードされることが可能であり、あるいは、ネットワーク、例えば、インターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワーク及び／又は無線ネットワークを介して、外部コンピュータ又は外部記憶デバイスへダウンロードされることが可能である。ネットワークは、銅の伝送ケーブル、光伝送ファイバ、無線伝送、ルーター、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ及び／又はエッジ・サーバーを含むことが可能である。各々の演算/処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インターフェースは、コンピュータ読み取り可能なプログラム命令をネットワークから受信し、コンピュータ読み取り可能なプログラム命令を、各々の演算/処理デバイス内のコンピュータ読み取り可能な記憶媒体における記憶のために転送する。

【0058】

[0050] 演算を実行するためのコンピュータ読み取り可能なプログラム・コード/命令は、アセンブラ命令、命令セット・アーキテクチャ（ISA）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、集積回路のためのコンフィギュレーション・データ、又はソース・コード或いはオブジェクト・コードであって、Smalltalk、C++などのようなオブジェクト指向プログラミング言語、“C”プログラミング言語又は類似のプログラミング言語のような手続きプログラミング言語を含む、1つ以上のプログラミング言語の任意の組み合わせで書かれているもの、とすることが可能である。コンピュータ読み取り可能なプログラム命令は、ユーザーのコンピュータ上で完全に、ユーザーのコンピュータ上で部分的に、スタンド・アロン・ソフトウェア・パッケージとして、ユーザーのコンピュータ上で部分的に且つリモート・コンピュータで部分的に、或いはリモート・コンピュータ又はサーバーで完全に実行されてもよい。後者のシナリオでは、リモート・コンピュータは、ローカル・エリア・ネットワーク（LAN）又はワイド・エリア・ネットワーク（WAN）を含む任意のタイプのネットワークを介してユーザーのコンピュータに接続されてもよく、又は、接続は（例えば、インターネット・サービス・プロバイダを使用するインターネットを介して）外部コンピュータに対して行われてもよい。幾つかの実施形態では、例えば、プログラマブル論理回路、フィールド・プログラマブル・ゲート・アレイ（FPGA）、又はプログラマブル論理アレイ（PLA）を含む電子回路は、何らかの態様又は動作を実施するために、コンピュータ読み取り可能なプログラム命令の状態情報を利用して、電子回路をパーソナライズすることによって、コンピュータ読み取り可能なプログラム命令を実行することができる。

【0059】

[0051] これらのコンピュータ読み取り可能なプログラム命令は、汎用コンピュータ、専用コンピュータ、又はその他のプログラマブル・データ処理装置のプロセッサに提供されてマシンを構築することが可能であり、その結果、コンピュータ又はその他のプログラマブル・データ処理装置のプロセッサを介して実行される命令は、フローチャート及び／又はブロック図のブロックで指定される機能/動作を実行するための手段を生成する。また、これらのコンピュータ読み取り可能なプログラム命令は、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、コンピュータ、プログラマブル・データ処理装置、及び／又はその他のデバイスを特定の方法で機能するように指示することが可能であり、その結果、そこに記憶された命令を有するコンピュータ読み取り可能な記憶媒体は、フローチャート及び／又はブロック図のブロックで指定される機能/動作の態様を実施する命令を含む製造品を含む。

【0060】

[0052] コンピュータ読み取り可能なプログラム命令はまた、コンピュータ、他のプログラマブル・データ処理装置、又は他のデバイスにロードされて、一連の動作ステップが、コンピュータ、他のプログラマブル装置、又は他のデバイスで実行されてコンピュータ実行プロセスをもたらすことを引き起こし、その結果、コンピュータ、他のプログラマブル装置、又は他のデバイスで実行される命令は、フローチャート及び／又はブロック図のブロックで指定される機能/動作を実現する。

【0061】

[0053] 図中のフローチャート及びブロック図は、様々な実施形態によるシステム、方法、及びコンピュータ読み取り可能な媒体の可能な実装のアーキテクチャ、機能、及び動作を示す。この点に関し、フローチャート又はブロック図の各ブロックは、特定の論理機能を実装するための1つ以上の実行可能な命令を含む、モジュール、セグメント、又は命令の一部を表現する可能性がある。方法、コンピュータ・システム、及びコンピュータ読み取り可能な媒体は、図面に描かれているものに対して、追加のブロック、より少ないブロック、異なるブロック、又は別様に配置されたブロックを含んでもよい。幾つかの代替的な実装では、ブロックで言及された機能は、図面に記載されている順序から外れて生じてもよい。例えば、連続して示される2つのブロックは、実際には、同時に又は実質的に同時的に実行されてもよいし、又は、しばしばブロックは、関連する機能に応じて、逆の順序で実行されてもよい。また、ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフロー図のブロックの組み合わせは、指定された機能又は動作を実行するか、又は特定目的のハードウェア及びコンピュータ命令の組み合わせを実行する特定目的のハードウェア・ベースのシステムによって実現することができる、ということにも留意されたい。

【0062】

[0054] 本件で説明されるシステム及び／又は方法は、ハードウェア、ファームウェア、又はハードウェアとソフトウェアの組み合わせの様々な形態で実施されてもよいことは明らかであろう。これらのシステム及び／又は方法を実施するために使用される実際の特化された制御ハードウェア又はソフトウェア・コードは、実装の限定ではない。従って、システム及び／又は方法の動作及び挙動は、特定のソフトウェア・コードを参照することなく本件で説明されており、ソフトウェア及びハードウェアは、本件の説明に基づいてシステム及び／又は方法を実施するように設計できることが理解される。

【0063】

[0055] 本件で使用される要素、動作、又は命令は、そのように明示的に記述されていない限り、重要又は必須として解釈されるべきではない。また、本件で使用される場合、「ある」（“a”及び“an”）という冠詞的なものは、1つ以上のアイテムを含むように意図されており、「1つ以上」と可換に使用することが可能である。更に、本件で使用される場合、用語「セット」（set）は、1つ以上のアイテム（例えば、関連するアイテム、関連しないアイテム、関連するアイテムと関連しないアイテムの組み合わせなど）を含むように意図されており、「1つ以上」と可換に使用することが可能である。1つのアイテムのみが意図されている場合、用語「1つ」又は同様な言葉が使用される。また、本件で使用される場合、「（三人称での）有する」（has）、「（一人称又は二人称での）有する」（have）、「有している」（having）などの用語は、オープン・エンドの用語であるように意図されている。更に、「基づいて」（based on）という言い回しは、明示的に別意に説明されていない限り、「少なくとも部分的に基づいて」を意味するように意図されている。

【0064】

[0056] 種々の態様及び実施形態の説明は、説明の目的で提示されているが、開示される実施形態を網羅することや限定することを意図してはいない。特徴の組み合わせがクレームに記載され、及び／又は明細書に開示されていたとしても、これらの組み合わせは、可能な実装の開示を制限するようには意図されていない。実際、これらの特徴の多くは、クレームに具体的に記載されていない仕方、及び/又は明細書に開示されていない仕方で組み合わせることが可能である。以下に列挙される各従属クレームは、1つのクレームのみに直接的に従属している場合があるかもしれないが、可能な実装の開示は、クレーム・セット内の他の全てのクレームとの組み合わせにおいて各従属クレームを包含している。多くの修正及び変形は、説明した実施形態の範囲から逸脱することなく、当業者には明らかであろう。本件で使用される用語は、実施形態の原理、市場で見出される技術に対する実際的な応用又は技術的な改良を最もよく説明するため、又は他の当業者が本件で開示される実施形態を理解することを可能にするために選択されたものである。

【0065】

[0057] 付記
（付記１）
グラフ・ツー・テキスト生成ネットワークを訓練する方法であって：
ターゲット・センテンスに対応するエンコードされたグラフ情報を受信するステップ；
前記エンコードされたグラフ情報を、バイアフィン・アテンション・スコアに基づいてデコードするステップ；及び
そのデコードされた情報に基づいて、1つ以上の損失値を決定するステップであって、テキスト・ツー・グラフ生成ネットワークは、前記1つ以上の損失値を最小化することによって訓練される、ステップ；
を含む方法。

【0066】

（付記２）
付記1に記載の方法において、第1損失値は、前記バイアフィン・アテンション・スコアに基づいて1つ以上の三者関係を再構成することによって生成される、方法。

【0067】

（付記３）
付記2に記載の方法において、前記1つ以上の三者関係の各々は、ノードのペアと、前記ノードのペアに関連付けられたラベル付きの関係とを含む、方法。

【0068】

（付記４）
付記3に記載の方法において、1つ以上の三者関係は、グラフ・ノードとターゲット・ワードとの間の1つ以上の事前に生成されたアライメントに基づいて、ターゲット・センテンスにマッピングされる、方法。

【0069】

（付記５）
付記2に記載の方法において、第2損失値は、線形化されたシーケンスとして前記グラフを予測する、方法。

【0070】

（付記６）
付記5に記載の方法において、深度優先グラフ・トラバーサルを使用して、前記グラフに関連するスコープを保つステップを更に含み、線形化に起因する、前記グラフに関連する構造情報の損失は、最小化される、方法。

【0071】

（付記７）
付記5に記載の方法において、前記線形化されたグラフは、1つ以上のトークンのシーケンスを含み、各々のトークンは、グラフ・ノード、エッジ・ラベル、及び挿入された括弧のうちの1つ以上を含む、方法。

【0072】

（付記８）
グラフ・ツー・テキスト生成ネットワークを訓練するコンピュータ・システムであって、前記コンピュータ・システムは：
コンピュータ・プログラム・コードを記憶するように構成された1つ以上のコンピュータ読み取り可能な非一時的な記憶媒体；及び
前記コンピュータ・プログラム・コードにアクセスし、前記コンピュータ・プログラム・コードによって指示されるように動作するように構成された1つ以上のコンピュータ・プロセッサ；
を含み、前記コンピュータ・プログラム・コードは：
ターゲット・センテンスに対応するエンコードされたグラフ情報を受信することを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成された受信コード；
前記エンコードされたグラフ情報を、バイアフィン・アテンション・スコアに基づいてデコードすることを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成されたデコーディング・コード；及び
そのデコードされた情報に基づいて、1つ以上の損失値を決定することを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成された決定コードであって、テキスト・ツー・グラフ生成ネットワークは、前記1つ以上の損失値を最小化することによって訓練される、決定コード；
を含む、コンピュータ・システム。

【0073】

（付記９）
付記8に記載のコンピュータ・システムにおいて、第1損失値は、前記バイアフィン・アテンション・スコアに基づいて1つ以上の三者関係を再構成することによって生成される、コンピュータ・システム。

【0074】

（付記１０）
付記9に記載のコンピュータ・システムにおいて、前記1つ以上の三者関係の各々は、ノードのペアと、前記ノードのペアに関連付けられたラベル付きの関係とを含む、コンピュータ・システム。

【0075】

（付記１１）
付記10に記載のコンピュータ・システムにおいて、1つ以上の三者関係は、グラフ・ノードとターゲット・ワードとの間の1つ以上の事前に生成されたアライメントに基づいて、ターゲット・センテンスにマッピングされる、コンピュータ・システム。

【0076】

（付記１２）
付記9に記載のコンピュータ・システムにおいて、第2損失値は、線形化されたシーケンスとして前記グラフを予測する、コンピュータ・システム。

【0077】

（付記１３）
付記12に記載のコンピュータ・システムにおいて、深度優先グラフ・トラバーサルを使用して、前記グラフに関連するスコープを保つことを、前記1つ以上のコンピュータ・プロセッサに行わせるように構成された保存コードを更に含み、線形化に起因する、前記グラフに関連する構造情報の損失は、最小化される、コンピュータ・システム。

【0078】

（付記１４）
付記12に記載のコンピュータ・システムにおいて、前記線形化されたグラフは、1つ以上のトークンのシーケンスを含み、各々のトークンは、グラフ・ノード、エッジ・ラベル、及び挿入された括弧のうちの1つ以上を含む、コンピュータ・システム。

【0079】

（付記１５）
グラフ・ツー・テキスト生成ネットワークを訓練するためのコンピュータ・プログラムを記憶した非一時的なコンピュータ読み取り可能な媒体であって、前記コンピュータ・プログラムは、1つ以上のコンピュータ・プロセッサに：
ターゲット・センテンスに対応するエンコードされたグラフ情報を受信するステップ；
前記エンコードされたグラフ情報を、バイアフィン・アテンション・スコアに基づいてデコードするステップ；及び
そのデコードされた情報に基づいて、1つ以上の損失値を決定するステップであって、テキスト・ツー・グラフ生成ネットワークは、前記1つ以上の損失値を最小化することによって訓練される、ステップ；
を行わせる、コンピュータ読み取り可能な媒体。

【0080】

（付記１６）
付記15に記載のコンピュータ読み取り可能な媒体において、第1損失値は、前記バイアフィン・アテンション・スコアに基づいて1つ以上の三者関係を再構成することによって生成される、コンピュータ読み取り可能な媒体。

【0081】

（付記１７）
付記16に記載のコンピュータ読み取り可能な媒体において、前記1つ以上の三者関係の各々は、ノードのペアと、前記ノードのペアに関連付けられたラベル付きの関係とを含む、コンピュータ読み取り可能な媒体。

【0082】

（付記１８）
付記17に記載のコンピュータ読み取り可能な媒体において、1つ以上の三者関係は、グラフ・ノードとターゲット・ワードとの間の1つ以上の事前に生成されたアライメントに基づいて、ターゲット・センテンスにマッピングされる、コンピュータ読み取り可能な媒体。

【0083】

（付記１９）
付記16に記載のコンピュータ読み取り可能な媒体において、第2損失値は、線形化されたシーケンスとして前記グラフを予測する、コンピュータ読み取り可能な媒体。

【0084】

（付記２０）
付記19に記載のコンピュータ読み取り可能な媒体において、前記線形化されたグラフは、1つ以上のトークンのシーケンスを含み、各々のトークンは、グラフ・ノード、エッジ・ラベル、及び挿入された括弧のうちの1つ以上を含む、コンピュータ読み取り可能な媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】