(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023132065
(43)【公開日】2023-09-22
(54)【発明の名称】情報処理プログラム，情報処理方法及び情報処理装置
(51)【国際特許分類】
G06F 40/56 20200101AFI20230914BHJP
【ＦＩ】
G06F40/56
【審査請求】未請求
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2022037171
(22)【出願日】2022-03-10
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100092978
【弁理士】
【氏名又は名称】真田 有
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】瀧下 祥
(72)【発明者】
【氏名】森田 一
【テーマコード（参考）】
5B091
【Ｆターム（参考）】
5B091CA21
5B091EA01
(57)【要約】 （修正有）
【課題】それぞれに重みが付与された複数のノードの関係性をエッジとして規定したグラフノードデータに基づき、重みが反映された自然文を生成可能な情報処理プログラム、情報処理方法及び情報処理装置を提供する。
【解決手段】情報処理プログラムは、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータ１１ａに基づき、複数の第１ノードの関係性を複数の第２ノードとし、複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータ２６を生成し、第２グラフノードデータ２６の複数の第２ノードから取得した第１グラフベクトルと、第２グラフノードデータ２６の複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する処理をコンピュータに実行させる。
【選択図】図８
【解決手段】情報処理プログラムは、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータ１１ａに基づき、複数の第１ノードの関係性を複数の第２ノードとし、複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータ２６を生成し、第２グラフノードデータ２６の複数の第２ノードから取得した第１グラフベクトルと、第２グラフノードデータ２６の複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する処理をコンピュータに実行させる。
【選択図】図８
【特許請求の範囲】
【請求項1】
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
【請求項2】
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
請求項１に記載の情報処理プログラム。
請求項１に記載の情報処理プログラム。
【請求項3】
前記単語生成を実行する処理は、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する処理を含む、
請求項１又は請求項２に記載の情報処理プログラム。
請求項１又は請求項２に記載の情報処理プログラム。
【請求項4】
前記単語生成を実行する処理は、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する処理を含む、
請求項３に記載の情報処理プログラム。
請求項３に記載の情報処理プログラム。
【請求項5】
前記コンピュータに、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行させる、請求項３又は請求項４に記載の情報処理プログラム。
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行させる、請求項３又は請求項４に記載の情報処理プログラム。
【請求項6】
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータが実行する、情報処理方法。
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータが実行する、情報処理方法。
【請求項7】
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
制御部を備える、情報処理装置。
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
制御部を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理プログラム，情報処理方法及び情報処理装置に関する。
【背景技術】
【0002】
複数のノードの関係性をエッジとして規定したグラフノードデータに基づき、グラフノードデータの内容に関する複数の単語、例えば自然文の生成を実行するＡＩ（Artificial Intelligence）タスクが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／１４６０８４号パンフレット
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したＡＩタスクでは、複数のノードのそれぞれに重みが付与された重み付きグラフノードデータを処理対象とすることは想定されていない。
【0005】
例えば、上述したＡＩタスクにおいて重み付きグラフノードデータに基づき自然文が生成される場合、各ノードの重みが無視又は削除されるため、自然文に各ノードの重みが反映されたものとならない場合がある。
【0006】
１つの側面では、本発明は、それぞれに重みが付与された複数のノードの関係性をエッジとして規定したグラフノードデータに基づき、重みが反映された自然文を生成することを目的の１つとする。
【課題を解決するための手段】
【0007】
１つの側面では、情報処理プログラムは、コンピュータに以下の処理を実行させてよい。前記処理は、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成する処理を含んでよい。また、前記処理は、前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する処理を含んでよい。
【発明の効果】
【0008】
１つの側面では、本発明は、それぞれに重みが付与された複数のノードの関係性をエッジとして規定したグラフノードデータに基づき、重みが反映された自然文を生成することができる。
【図面の簡単な説明】
【0009】
【図1】一実施形態に係る生成装置の機能を実現するコンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。
【図2】一実施形態に係る生成装置のソフトウェア構成例を示すブロック図である。
【図3】関係グラフと自然文との関係の一例を説明するための図である。
【図4】一実施形態に係る生成装置による機械学習処理の動作例を説明するためのフローチャートである。
【図5】生成装置による機械学習処理の動作例を簡単に説明するための図である。
【図6】一実施形態に係る生成装置による推論処理の動作例を説明するためのフローチャートである。
【図7】生成装置による推論処理の動作例を簡単に説明するための図である。
【図8】グラフ変換処理の一例を説明するための図である。
【図9】グラフ変換処理の他の例を説明するための図である。
【図10】ベクトル生成処理の一例を説明するための図である。
【図11】重み考慮ベクトル生成処理の一例を説明するための図である。
【図12】単語生成部による単語生成処理の一例を説明するための図である。
【図13】関係グラフに基づく単語生成の処理結果の一例を示す図である。
【発明を実施するための形態】
【0010】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【0011】
〔Ａ〕構成例
以下、一実施形態に係る生成装置１（図２参照）の構成例を説明する。
以下、一実施形態に係る生成装置１（図２参照）の構成例を説明する。
【0012】
〔Ａ－１〕ハードウェア構成例
一実施形態に係る生成装置１を実現する装置は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、生成装置１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、生成装置１の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷリソース及びネットワーク（ＮＷ）リソースを用いて実現されてもよい。
一実施形態に係る生成装置１を実現する装置は、仮想サーバ（ＶＭ；Virtual Machine）であってもよいし、物理サーバであってもよい。また、生成装置１の機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、生成装置１の機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷリソース及びネットワーク（ＮＷ）リソースを用いて実現されてもよい。
【0013】
図１は、一実施形態に係る生成装置１の機能を実現するコンピュータ１０のＨＷ構成例を示すブロック図である。生成装置１の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１に例示するＨＷ構成を備えてよい。
【0014】
図１に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ（Interface）部１０ｄ、Ｉ／Ｏ（Input / Output）部１０ｅ、及び読取部１０ｆを備えてよい。
【0015】
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0016】
プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【0017】
例えば、プロセッサ１０ａは、生成装置１における種々の制御を実行するＣＰＵ等の処理装置と、生成装置１における機械学習処理を実行するアクセラレータとの組み合わせであってもよい。アクセラレータとしては、例えば、上述したＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等が挙げられる。
【0018】
メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ等の揮発性メモリ、並びに、ＮＶＤＩＭＭ、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
【0019】
記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。
【0020】
また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（情報処理プログラム）を格納してよい。例えば、プロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、後述する生成装置１（例えば制御部１７）としての機能を実現できる。
【0021】
ＩＦ部１０ｄは、ネットワークの一方又は双方との間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、生成装置１は、ＩＦ部１０ｄ及び図示しないネットワークを介して、他の装置、例えば生成装置１に関係グラフ及び自然文を提供する装置、生成装置１から推論処理の処理結果を受信する装置等と相互に通信可能に接続されてよい。また、例えば、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。
【0022】
Ｉ／Ｏ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。
【0023】
読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。
【0024】
記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
【0025】
上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、Ｉ／Ｏ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。
【0026】
〔Ａ－２〕ソフトウェア構成例
図２は、一実施形態に係る生成装置１のソフトウェア構成例を示すブロック図である。生成装置１は、情報処理装置の一例であり、重み付きの関係グラフに基づき自然文を生成する生成処理を実行する。
図２は、一実施形態に係る生成装置１のソフトウェア構成例を示すブロック図である。生成装置１は、情報処理装置の一例であり、重み付きの関係グラフに基づき自然文を生成する生成処理を実行する。
【0027】
図２に示すように、生成装置１は、ソフトウェア（機能）構成として、例示的に、メモリ部１１、取得部１２、グラフ変換部１３、ベクトル生成部１４、単語生成部１５、及び、出力部１６を備えてよい。取得部１２、グラフ変換部１３、ベクトル生成部１４、単語生成部１５、及び、出力部１６は、制御部１７の一例である。
【0028】
メモリ部１１は、記憶領域の一例であり、生成装置１が利用する種々のデータを記憶する。図２に示すように、メモリ部１１は、例示的に、関係グラフ１１ａ、自然文１１ｂ、及び、単語１１ｃを記憶可能であってよい。なお、メモリ部１１は、後述する生成装置１による処理の過程で生成される種々の情報、例えばグラフ、ベクトル、機械学習モデルのモデルデータ、パラメータ等を記憶可能であってよい。
【0029】
取得部１２は、関係グラフ１１ａ及び自然文１１ｂを取得し、メモリ部１１に格納する。例えば、取得部１２は、関係グラフ１１ａ及び自然文１１ｂの一方又は双方を、生成装置１で生成してもよいし、図示しないネットワークを介して生成装置１の外部のコンピュータから受信してもよい。
【0030】
関係グラフ１１ａは、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータの一例である。
【0031】
自然文１１ｂは、関係グラフ１１ａに含まれるノードの内容に関する複数の単語の一例であり、関係グラフ１１ａに含まれる複数のノードのそれぞれに付与された重みが反映された文である。
【0032】
例えば、取得部１２は、機械学習フェーズにおいて、関係グラフ１１ａ及び自然文１１ｂを訓練データ（教師データ）として取得してよい。また、取得部１２は、推論フェーズにおいて、推論処理の対象となる関係グラフ１１ａを取得してよい。
【0033】
図３は、関係グラフ１１ａと自然文１１ｂとの関係の一例を説明するための図である。図３の符号Ａ１は、入力グラフとなる関係グラフ１１ａを示し、符号Ａ２は、関係グラフ１１ａに基づき重みを反映して生成された出力文（正解ラベル）となる自然文１１ｂを示す。図３の例では、関係グラフ１１ａが遺伝子情報グラフである場合を示す。
【0034】
関係グラフ１１ａは、符号Ａ１１～Ａ１５で示す複数のノードを含み、ノード間の関係性をエッジによって接続したグラフである。また、関係グラフ１１ａは、ノードに付与された重み（四角枠内の数字参照）を含む。重みは、ノード及びエッジに対応付けられる情報であり、一例として、或るターゲットのノード（ノードＡ１１）に対する他のノード（ノードＡ１２～Ａ１５）の重要度を示す。
【0035】
図３の例では、ノードＡ１２「変異タイプＢ」が、エッジ「変異タイプ」でノードＡ１１「変異Ａ」（ターゲット）に接続されている。また、重み（重要度）「0.5」が、ノードＡ１２「変異タイプＢ」及びそのエッジ「変異タイプ」に付与されている。この場合、関係グラフ１１ａにおけるノードＡ１１～Ａ１２は、「変異Ａは変異タイプＢの変異である」（重要度：「0.5」）ことを示す。なお、ターゲットとなるノードＡ１１に多段に接続されたノード（例えばノードＡ１５；Ａ１１←Ａ１４←Ａ１５）の重みには、ターゲットに至るまでの各ノード（例えばノードＡ１４）の重みが乗算等により加重されてよい。
【0036】
自然文１１ｂは、図３の符号Ａ２に示すように、関係グラフ１１ａ内の重みの大きい関係性ほど文の先頭に位置するように記載された、複数のノードの内容に関する文である。
【0037】
生成装置１は、機械学習フェーズにおける後述する処理により、関係グラフ１１ａを入力とした場合の出力（複数の単語）が自然文１１ｂに近づくように、機械学習モデルの訓練を実行する。
【0038】
また、生成装置１は、推論フェーズにおける後述する処理により、関係グラフ１１ａを訓練済みの機械学習モデルの入力とした場合の出力である複数の単語１１ｃを出力する。
【0039】
図２の説明に戻り、グラフ変換部１３は、入力される重み付きの有向グラフである関係グラフ１１ａを、機械学習モデルに入力するための重み付きの関係グラフに変換する。
【0040】
ベクトル生成部１４は、グラフ変換部１３による変換後の関係グラフに基づき、重みを考慮しないグラフベクトルと、重みを考慮した重み考慮グラフベクトルとを生成する。ベクトル生成部１４は、例えば、機械学習フェーズにおいて、これらのベクトルを生成するための機械学習モデルの機械学習を実行してよい。ベクトルを生成するための機械学習モデルとしては、例えば、ＧＣＮ－ＬＳＴＭ（Graph Convolutional Networks - Long Short Term Memory）等のニューラルネットワークが挙げられる。
【0041】
単語生成部１５は、グラフベクトルと、重み考慮グラフベクトルとに基づき、単語１１ｃの生成処理を実行する。単語生成部１５は、例えば、機械学習フェーズにおいて、複数の単語（例えば自然文）を生成するための機械学習モデルの機械学習を実行する。複数の単語（例えば自然文）を生成するための機械学習モデルとしては、例えば、Ａｔｔ（注意機構；Attenuation Mechanism）を含むＬＳＴＭ等のニューラルネットワークが挙げられる。注意機構は、機械学習により、グラフエッジ等の重要部に重み付けを行なう機構であり、一実施形態では、入力側の隠れ層を重み付けして、重要な単語を考慮しながら単語生成を行なう。
【0042】
例えば、単語生成部１５は、グラフベクトルと、重み考慮グラフベクトルとのそれぞれを別々の注意機構に入力することで、エッジの重みを考慮した隠れ層を通常の隠れ層と並列に使用する。これにより、単語生成部１５は、注意機構から得られるグラフベクトルの重要部分に加えて、関係グラフ１１ａに付加された重みを、単語生成に考慮することが可能になる。
【0043】
出力部１６は、推論フェーズにおいて、単語生成部１５から出力される複数の単語１１ｃを推論結果として出力する。
【0044】
〔Ｂ〕動作例
次に、一実施形態に係る生成装置１の動作例を説明する。
次に、一実施形態に係る生成装置１の動作例を説明する。
【0045】
【0046】
図４に示すように、生成装置１の取得部１２は、機械学習フェーズにおいて、教師データとして関係グラフ１１ａ及び自然文１１ｂの組を取得する（ステップＳ１）。
【0047】
図５に示すように、生成装置１は、教師データをエンコーダ部２に入力する（図５の処理Ｐ１）。エンコーダ部２は、グラフ変換部１３及びベクトル生成部１４による、グラフの変換及びグラフのベクトル化を実行する機能である。
【0048】
エンコーダ部２のグラフ変換部１３は、関係グラフ１１ａをベクトル処理用のグラフに変換する（ステップＳ２）。
【0049】
エンコーダ部２のベクトル生成部１４は、変換後のグラフに基づき、ノードのノードベクトル２１を生成する（ステップＳ３；図５の処理Ｐ２１）。ノードベクトル２１は、重み２２の情報を保持するノードベクトルである。
【0050】
また、ベクトル生成部１４は、ノードベクトル２１に重み２２（図５参照）を数値的に乗算することで、重み２２を考慮した重み考慮ベクトル２３を生成する（ステップＳ４；処理Ｐ２２）。
【0051】
ベクトル生成部１４は、ノードベクトル２１及び重み考慮ベクトル２３からそれぞれのグラフベクトルを生成する（ステップＳ５）。
【0052】
例えば、ベクトル生成部１４は、ノードベクトル２１からエンティティ及び関係ノードを含むグラフベクトル２４を生成する（処理Ｐ２３）。
【0053】
また、ベクトル生成部１４は、重み考慮ベクトル２３からエンティティ及び関係ノードを含む重み考慮グラフベクトル２５を生成する（処理Ｐ２４）。
【0054】
エンコーダ部２は、グラフベクトル２４と、重み考慮グラフベクトル２５とをデコーダ部３に入力する。デコーダ部３は、単語生成部１５による、グラフベクトル２４と、重み考慮グラフベクトル２５とを使用した単語生成処理を実行する機能である。
【0055】
デコーダ部３の単語生成部１５は、グラフベクトル２４とＡｔｔのノードベクトル用のＡＷ（Attenuation Weight）３１とに基づき、グラフベクトル（Ａｔｔ）を生成する（ステップＳ６；処理Ｐ３１）。
【0056】
また、単語生成部１５は、重み考慮グラフベクトル２５とＡｔｔの重み考慮ベクトル用のＡＷ３２とに基づき、重み考慮グラフベクトル（Ａｔｔ）を生成する（ステップＳ７；処理Ｐ３２）。
【0057】
単語生成部１５は、処理Ｐ３１及びＰ３２で生成したグラフベクトル（Ａｔｔ）と重み考慮グラフベクトル（Ａｔｔ）とを結合した結合グラフベクトルを生成する（ステップＳ８；処理Ｐ３３）。
【0058】
単語生成部１５は、これまでに生成した文脈ベクトルと、ステップＳ８（処理Ｐ３３）で生成した結合グラフベクトルとに基づき、新たな文脈ベクトルを生成する（ステップＳ９；処理Ｐ３４）。
【0059】
単語生成部１５は、生成した文脈ベクトルから、確率に基づき単語１１ｃを予測する（ステップＳ１０；処理Ｐ３５）。
【0060】
単語生成部１５は、ステップＳ１０（処理Ｐ３５）に基づき、複数の単語（例えば自然文）を生成するための機械学習モデルのパラメータを更新する（ステップＳ１１）。例えば、単語生成部１５は、新たな文脈ベクトルを生成し、単語１１ｃを予測する処理のパラメータ、並びに、グラフベクトル（Ａｔｔ）及び重み考慮グラフベクトル（Ａｔｔ）を生成する処理のパラメータを更新してよい。
【0061】
単語生成部１５は、機械学習処理を終了するか否かを判定し（ステップＳ１２）、機械学習処理を終了する場合（ステップＳ１２でＹＥＳ）、処理が終了する。
【0062】
機械学習処理を終了しない場合（ステップＳ１２でＮＯ）、処理がステップＳ６に移行する。例えば、単語生成部１５は、処理Ｐ３５で予測した単語１１ｃを、処理Ｐ３１、Ｐ３２及び処理Ｐ３４にそれぞれ入力する。
【0063】
このように、単語生成部１５は、処理Ｐ３１～Ｐ３５の処理を単語ごとに繰り返し、生成される複数の単語が自然文１１ｂに近づくように、機械学習モデルのパラメータを更新することで、機械学習処理を実行する。
【0064】
【0065】
図６に示すように、生成装置１の取得部１２は、推論フェーズにおいて、推論処理の入力データ（関係グラフ１１ａ）を取得する（ステップＳ２１）。
【0066】
【0067】
ステップＳ２～Ｓ５（処理Ｐ２１～Ｐ２４）では、エンコーダ部２は、訓練済みの機械学習モデルによって、関係グラフ１１ａからグラフベクトル２４及び重み考慮グラフベクトル２５を取得する。なお、推論フェーズで使用される関係グラフ１１ａは、機械学習フェーズで使用される関係グラフ１１ａとは内容が異なってもよい。
【0068】
ステップＳ６～Ｓ１０（処理Ｐ３１～Ｐ３５）では、デコーダ部３は、訓練済みの機械学習モデル及びＡＷ３１及び３２によって、グラフベクトル２４及び重み考慮グラフベクトル２５から複数の単語１１ｃを取得する。
【0069】
ステップＳ１０の後、単語生成部１５は、推論処理を終了するか否かを判定する（ステップＳ２２）。推論処理を終了する場合（ステップＳ２２でＹＥＳ）、生成装置１（出力部１６）は、生成した複数の単語１１ｃを推論結果として出力し（ステップＳ２３；処理Ｐ４２）、処理が終了する。
【0070】
推論処理を終了しない場合（ステップＳ２２でＮＯ）、処理がステップＳ６に移行する。例えば、単語生成部１５は、処理Ｐ３５で予測した単語１１ｃを、処理Ｐ３１、Ｐ３２及び処理Ｐ３４にそれぞれ入力する。
【0071】
【0072】
〔Ｃ－１〕グラフ変換処理
図８は、グラフ変換処理（図４及び図６のステップＳ２）の一例を説明するための図である。図８に示すように、グラフ変換部１３は、関係グラフ１１ａ（符号Ｂ１参照）のエッジをノードに変換（図５及び図７の重み２２の情報は維持）することで、ノード間の関係をノードに変換した、重み付き関係グラフ２６（符号Ｂ２参照）を生成する。
図８は、グラフ変換処理（図４及び図６のステップＳ２）の一例を説明するための図である。図８に示すように、グラフ変換部１３は、関係グラフ１１ａ（符号Ｂ１参照）のエッジをノードに変換（図５及び図７の重み２２の情報は維持）することで、ノード間の関係をノードに変換した、重み付き関係グラフ２６（符号Ｂ２参照）を生成する。
【0073】
重み付き関係グラフ２６は、関係グラフ１１ａの複数の第１ノードの関係性を複数の第２ノードとし、複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータの一例である。
【0074】
例えば、関係グラフ１１ａのターゲットのノードＢ１１から１ホップ（1-hop）の範囲におけるエッジ（関係エッジ）は、（Ｂ１１，Ｂ１２）［0.5］，（Ｂ１１，Ｂ１３）［0.2］，（Ｂ１１，Ｂ１４）［0.1］となる。なお、（）内はエッジの両端のノードの符号を示し、［］内は重みを示す。
【0075】
これに対し、重み付き関係グラフ２６のターゲットのノードＢ２１から１ホップ（1-hop）の範囲におけるエッジは、（Ｂ２１，Ｂ２６）［0.5］，（Ｂ２１，Ｂ２７）［0.2］，（Ｂ２１，Ｂ２８）［0.1］となる。このように、重み付き関係グラフ２６では、エッジが少なくとも重みを有するように規定される。
【0076】
グラフ変換部１３は、グラフ変換処理において、関係グラフ１１ａの複数のノードに共通項（図８の例ではノードＢ２１）が存在する場合、当該共通項を１つに統合することで、図８に符号Ｂ２に示す重み付き関係グラフ２６を生成してよい。
【0077】
このように、グラフ変換処理により、エッジをノードに変換することで、後述するベクトルの生成処理においてノード間の重みを含む関係を考慮することが可能となる。
【0078】
なお、グラフ変換部１３は、グラフ変換処理において、関係グラフ１１ａを、グラフモデルに代えてテキストモデルに変換してもよい。
【0079】
図９は、グラフ変換処理の他の例を説明するための図である。グラフモデルとテキストモデルとの関係を符号Ｂ３に示す。符号Ｂ３に示すように、例えば、ノードＢ３１及びＢ３２と、ノードＢ３２からノードＢ３１へのエッジとを含むグラフモデルは、ノードＢ３１を＜Ｈ＞（Head）、ノードＢ３２を＜Ｔ＞（Tail）、エッジを＜Ｒ＞（Relation）として、線形形式に変換可能である。
【0080】
図９に符号Ｂ４で示すように、グラフ変換部１３は、関係グラフ１１ａを、符号Ｂ３に示す関係に従い、テキストモデル２６ａに変換してもよい。一例として、グラフ変換部１３は、関係グラフ１１ａにおけるターゲットのノードＢ１１とノードＢ１２との間のエッジが、「＜Ｈ＞変異Ａ＜Ｒ＞変異タイプ＜Ｔ＞変異タイプＢ」となるようにテキストモデル２６ａを生成する。
【0081】
以降の説明では、生成装置１は、関係グラフ１１ａをグラフモデルの重み付き関係グラフ２６（図８参照）に変換する場合の処理を例に挙げるが、テキストモデル２６ａ（図９参照）に変換する場合においても同様の処理が実行されてよい。
【0082】
〔Ｃ－２〕ベクトル生成処理
図１０は、ベクトル生成処理（図４及び図６のステップＳ３）の一例を説明するための図である。図８で生成された重み付き関係グラフ２６を符号Ｃ１に示し、ベクトル生成処理により生成されるノードベクトル２１を符号Ｃ２に示す。
図１０は、ベクトル生成処理（図４及び図６のステップＳ３）の一例を説明するための図である。図８で生成された重み付き関係グラフ２６を符号Ｃ１に示し、ベクトル生成処理により生成されるノードベクトル２１を符号Ｃ２に示す。
【0083】
図１０に示すように、ベクトル生成部１４は、重み付き関係グラフ２６（符号Ｃ１参照）の各ノード（ノードＣ１１～Ｃ１９）から、周辺ノードを考慮したノードベクトル２１（符号Ｃ２参照）を生成する。ノードベクトル２１は、要素ノード及び関係ノードを含むとともに、重み２２を保持する。
【0084】
例えば、ベクトル生成部１４は、周辺ノード（一例として２ホップまでの周辺ノード）を考慮するＧＣＮの機械学習を実行してよい。
【0085】
図１０の符号Ｃ２に示すように、「変異Ａ」のノードＣ１１は、［0.1, 0.43, 0.9, ...］の要素ベクトルＣ２１に変換され、「変異タイプ」のノードＣ１６は、［0.2, 0.13, 0.3, ...］の関係ベクトルＣ２２に変換される。また、「変異タイプＢ」のノードＣ１２は、［0.03, 0.9, 0.1, ...］の要素ベクトルＣ２３に変換される。このとき、ノードＣ２２及びＣ２３には、重み２２である「0.5」が保持される。ノードベクトル２１の次元数Ｄは、例えば、要素ノードは１＊ｄｎ、関係ノードは１＊ｄｒと表されてよい。
【0086】
なお、ベクトル生成部１４は、テキストモデル２６ａに対しても同様の処理によって、重み２２を保持した状態で、テキストモデル２６ａからノードベクトル２１を生成する。
【0087】
また、ベクトル生成部１４は、生成したノードベクトル２１に重み２２を数値的に反映（例えば乗算）した重み考慮ベクトル２３を生成する。
【0088】
図１１は、重み考慮ベクトル生成処理（図４及び図６のステップＳ４）の一例を説明するための図である。図１０で生成されたノードベクトル２１を符号Ｄ１に示し、重み考慮ベクトル生成処理により生成される重み考慮ベクトル２３を符号Ｄ３に示し、重み考慮ベクトル２３の算出例を符号Ｄ５に示す。
【0089】
図１１に示すように、ベクトル生成部１４は、ノードベクトル２１（符号Ｄ１参照）（以下、「ベクトルｈｉ」と表記する場合がある）に重み２２を乗算することで、重み考慮ベクトル２３（符号Ｄ２参照）（以下、「ベクトルｒｉ」と表記する場合がある）を生成する。
【0090】
図１１の符号Ｄ２及びＤ５に示すように、「変異タイプ」の関係ベクトルＤ２２は、重み２２である「0.5」が各要素に数値的に乗算されることで、［0.1, 0.065, 0.15, ...］の関係ベクトルＤ４２に変換される。また、「変異タイプＢ」のノードＤ２２は、重み２２である「0.5」が各要素に数値的に乗算されることで、［0.015, 0.45, 0.05, ...］の要素ベクトルＤ４３に変換される。ベクトルｈｉ及びｒｉ間で次元数Ｄは変わらない。
【0091】
【0092】
例えば、ベクトル生成部１４は、ＬＳＴＭ等の機械学習モデルに、ノードベクトル２１及び重み考慮ベクトル２３のそれぞれをエッジ重みが大きい順に入力することで、ノードベクトル２１からグラフベクトル２４を生成し、重み考慮ベクトル２３から重み考慮グラフベクトル２５を生成してよい。
【0093】
このように、ベクトル生成部１４は、重み考慮ベクトル２３を生成し、ＬＳＴＭ等により、重み考慮をしないノードベクトル２１と、重み考慮をする重み考慮ベクトル２３とからグラフベクトル２４と重み考慮グラフベクトル２５とを生成してよい。
【0094】
グラフベクトル２４は、重み付き関係グラフ２６の複数の第２ノードから取得した第１グラフベクトルの一例である。また、重み考慮グラフベクトル２５は、重み付き関係グラフ２６の複数の第２ノードと重み２２が規定されたエッジとから取得した第２グラフベクトルの一例である。
【0095】
以上により、ベクトル生成部１４は、入力される関係グラフ１１ａを変換し、エッジの重みを考慮した隠れ層の生成を行なう。
【0096】
このように、ベクトル生成部１４は、グラフの重み２２を用いて、外部的にベクトルの数値を変更する。重み２２が変数的である場合も含めて、関係グラフ１１ａのモデル中では、同一単語も別の単語として扱われる可能性がある。例えば、同じ「変異Ｂ」であっても、重み２２が「0.2」の場合と「0.5」の場合とでは、それぞれベクトルは異なる。
【0097】
このため、ベクトル生成部１４は、単語の重要度をモデルに考慮させる（反映させる）ための重み考慮グラフベクトル２５（重み考慮ベクトル２３）を生成するのである。また、ベクトル生成部１４は、元の単語情報を確保するために、重み考慮グラフベクトル２５（重み考慮ベクトル２３）とは別に、元の単語を生成可能なグラフベクトル２４（ノードベクトル２１）を生成するのである。
【0098】
〔Ｃ－３〕単語生成処理
単語生成部１５は、エッジ重みを考慮した隠れ層を通常の隠れ層と並列に使用することで、単語の重要度だけでなく、重みを考慮した単語生成を実行する。
単語生成部１５は、エッジ重みを考慮した隠れ層を通常の隠れ層と並列に使用することで、単語の重要度だけでなく、重みを考慮した単語生成を実行する。
【0099】
【0100】
単語生成部１５は、グラフベクトル２４とＡｔｔの通常のベクトル用のＡＷ３１とに基づき、グラフベクトル（Ａｔｔ）３３を生成する（符号Ｅ１）。また、単語生成部１５は、重み考慮グラフベクトル２５とＡｔｔの重み考慮ベクトル用のＡＷ３２とに基づき、重み考慮グラフベクトル（Ａｔｔ）３４を生成する（符号Ｅ２）。グラフベクトル（Ａｔｔ）３３は、グラフベクトル２４を、単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルの一例である。重み考慮グラフベクトル（Ａｔｔ）３４は、重み考慮グラフベクトル２５を、単語生成を行なう機械学習モデルの第２注意機構に入力して得られる第２ベクトルの一例である。
【0101】
ここで、重み考慮グラフベクトル２５内の重み考慮ベクトル２３をｒｉ（ｉは変数）とし、グラフベクトル２４内のノードベクトル２１をｈｊ（ｊは変数）とする。重み考慮グラフベクトル（Ａｔｔ）３４を生成するためのＡｔｔのＡＷ３２をαとし、グラフベクトル（Ａｔｔ）３３を生成するためのＡｔｔのＡＷ３１をβとすると、α及びβは、下記式（１）及び（２）により算出されてよい。αは、第２注意機構のパラメータの一例であり、βは、第１注意機構のパラメータの一例である。
【数1】
【0102】
【0103】
単語生成部１５は、下記式（３）に示すように、αｔｉとベクトルｒｉとをノードｉごとに乗算したものを加算することで重み考慮グラフベクトル（Ａｔｔ）３４であるｃｕを算出する。また、単語生成部１５は、βｔｊとベクトルｈｊとをノードｊごとに乗算したものを加算することでグラフベクトル（Ａｔｔ）３３であるｃｖを算出する。
【数2】
【0104】
【0105】
単語生成部１５は、下記式（５）に示すように、結合ベクトルｃｔとこれまでの文脈ベクトルｓｔとに基づき、入力ベクトルｓｔ~（下記式（５）中では“st”の上に“~”）を生成する（図１２の符号Ｅ４）。入力ベクトルｓｔ~は、結合ベクトルｃｔと、これまでの文脈ベクトルｓｔとを結合し、重みＷｃを乗算して得られる文脈ベクトルである。Ｗｃは、コンテキストベクトルを考慮したウェイトである。これまでの文脈ベクトルｓｔは、関係グラフ１１ａの入力後からこれまでに実行された単語生成によって生成された文脈ベクトルである。
【数4】
【0106】
【0107】
上記式（６）において、ｙｔはｔ（今回）における単語を示し、Ｐは、ｙ１～ｙｔ－１（これまでの単語）に関する文脈ベクトルｓｔ~に基づき、最も高い確率で予測されるｙｔを求める（図１２の符号Ｅ６参照）。softmaxは、ｙｔの１つ前の文章（ｙ１～ｙｔ－１）の次の単語として、最も確率の高い単語を求める確率関数である。Ｗｖは、入力ベクトルｓｔ~に適用するウェイトであり、どの単語が文脈に適するかという単語予測に用いられる。一例として、教師データが“I have a pen”である場合、上記式（６）の処理は、ｙ２の“am”を予測するためにｙ１の“I”を利用し、ｙ３の“a”を予測するためにｙ１～２の“I am”を利用する。
【0108】
単語生成部１５は、予測（生成）した単語を入力（これまでの文脈ベクトルｓｔ）として、上記式（１）～式（６）の処理を繰り返す（図１２の符号Ｅ７）。
【0109】
単語生成部１５は、機械学習フェーズにおいて、自然文１１ｂ（教師データ）と、上記式（６）の結果とに基づき、ＡＷ３１及び３２を含む機械学習モデルの訓練を実行する。
【0110】
例えば、単語生成部１５は、下記式（７）に示す損失関数ＬＧを小さくするように機械学習モデルの訓練を実行する。
【数6】
【0111】
単語生成部１５は、上述した機械学習モデルの訓練により、パラメータα、β、Ｗｃ、Ｗｖのそれぞれを更新する。
【0112】
このように、単語生成部１５は、グラフベクトル２４及び重み考慮グラフベクトル２５のそれぞれを利用して文脈ベクトルｓｔ~を生成し、文脈ベクトルｓｔ~に基づき単語１１ｃを予測し、注意機構のＡＷ３１及び３２のそれぞれを独立して訓練する。また、単語生成部１５は、生成した単語１１ｃに基づき、注意機構を利用して継続的に単語１１ｃを生成することで、複数の単語１１ｃ（自然文）を生成する。
【0113】
〔Ｃ－４〕出力処理
出力部１６は、推論フェーズにおいて単語生成部１５により生成された複数の単語１１ｃ（自然文）に基づく出力データを出力する。出力データとしては、例えば、複数の単語１１ｃそのものを含んでよい。また、出力部１６は、単語生成部１５により訓練されたパラメータα、β、Ｗｃ、Ｗｖの少なくとも１つを出力データに含めてもよい。
出力部１６は、推論フェーズにおいて単語生成部１５により生成された複数の単語１１ｃ（自然文）に基づく出力データを出力する。出力データとしては、例えば、複数の単語１１ｃそのものを含んでよい。また、出力部１６は、単語生成部１５により訓練されたパラメータα、β、Ｗｃ、Ｗｖの少なくとも１つを出力データに含めてもよい。
【0114】
出力部１６は、出力データの出力において、例えば、出力データを図示しない他のコンピュータに送信（提供）してもよいし、出力データをメモリ部１１に蓄積して生成装置１又は他のコンピュータから取得可能に管理してもよい。或いは、生成装置１は、出力データの出力において、出力データを示す情報を生成装置１等の出力装置に画面出力してもよく、その他の種々の態様により出力データを出力してよい。
【0115】
〔Ｄ〕一実施形態の効果
以上のように、一実施形態に係る生成装置１は、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した関係グラフ１１ａに基づき、複数の第１ノードの関係性を複数の第２ノードとし、複数の第１ノードのそれぞれに付与された重みをエッジとして規定した重み付き関係グラフ２６を生成する。そして、生成装置１は、重み付き関係グラフ２６の複数の第２ノードから取得したグラフベクトル２４と、重み付き関係グラフ２６の複数の第２ノードと重み２２が規定されたエッジとから取得した重み考慮グラフベクトル２５と、に基づいて、単語生成を実行する。
以上のように、一実施形態に係る生成装置１は、それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した関係グラフ１１ａに基づき、複数の第１ノードの関係性を複数の第２ノードとし、複数の第１ノードのそれぞれに付与された重みをエッジとして規定した重み付き関係グラフ２６を生成する。そして、生成装置１は、重み付き関係グラフ２６の複数の第２ノードから取得したグラフベクトル２４と、重み付き関係グラフ２６の複数の第２ノードと重み２２が規定されたエッジとから取得した重み考慮グラフベクトル２５と、に基づいて、単語生成を実行する。
【0116】
これにより、生成装置１は、グラフベクトル２４（ノードベクトルｈｊ）に基づく重要部分だけでなく、重み考慮グラフベクトル２５（重み考慮ベクトルｒｉ）に基づく、グラフに付与された重み２２を単語生成に考慮することが可能になる。従って、生成装置１によれば、それぞれに重み２２が付与された複数のノードの関係性をエッジとして規定したグラフノードデータに基づき、重み２２が反映された自然文を生成することができる。
【0117】
また、生成装置１は、グラフの重み２２を考慮したベクトルを単語生成に組み込む、例えば、隠れ層にグラフの重み２２を数値的に考慮することで、重み２２をベクトルに反映することができる。これにより、生成装置１は、重要なノードと重要でないノードとを明確に区別でき、生成される自然文、例えば説明文等の質を向上させることができる。
【0118】
さらに、生成装置１は、デコーダ部３による単語生成処理の注意機構にグラフの重み付き隠れ層を考慮するように機械学習を実行する。これにより、例えば、大規模な関係グラフ１１ａが入力される場合であっても、グラフの重み２２が小さい情報の隠れ層が小さくなるため、自然文の冗長さを低減できる。例えば、生成装置１は、重み付き隠れ層を考慮しない場合に、自然文の生成に組み込まれる「重要でない部分」を、自然文に含めないようにする、或いは、重要でない情報として自然文の末尾に近い位置に配置できる。
【0119】
図１３は、関係グラフＦ１に基づく単語生成（符号Ｆ２）の処理結果の一例を示す図である。図１３において、重みを考慮しない手法により生成された自然文を符号Ｆ３に示し、一実施形態に係る重みを考慮する手法により生成された自然文を符号Ｆ４に示す。
【0120】
符号Ｆ３に示すように、重みを考慮しない場合、関係グラフＦ１に含まれる情報を全て組み入れた自然文Ｆ３が生成される。例えば、関係グラフＦ１が大規模になるほど、自然文Ｆ３には、情報が詰め込まれ、重要部分に文を絞ることが困難となり、可読性が低くなることがある。
【0121】
これに対し、符号Ｆ４に示すように、重みを考慮する場合、重みを用いて重要部分に注目した自然文Ｆ４が生成される。自然文Ｆ４は、重みを考慮することにより、文の並び等も重みに応じた文、例えば、重みが大きいほど文の先頭に来るように配置された文となり、可読性が高くなる。また、重みを考慮する単語生成処理では、重要でない情報の除外も許容されるため、自然文Ｆ４は、重要でない情報を含まない簡潔な文となる。
【0122】
〔Ｅ〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
【0123】
例えば、図２に示す生成装置１が備える取得部１２、グラフ変換部１３、ベクトル生成部１４、単語生成部１５及び出力部１６は、任意の組み合わせで併合してもよく、それぞれ分割してもよい。
【0124】
また、図２に示す生成装置１は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成（システム）であってもよい。一例として、メモリ部１１はＤＢサーバ、取得部１２及び出力部１６はＷｅｂサーバ又はアプリケーションサーバ、グラフ変換部１３、ベクトル生成部１４及び単語生成部１５はアプリケーションサーバ等であってもよい。この場合、ＤＢサーバ、アプリケーションサーバ及びｗｅｂサーバが、ネットワークを介して互いに連携することにより、生成装置１としての各処理機能を実現してもよい。
【0125】
さらに、一実施形態では、生成装置１に入力されるデータが関係グラフ１１ａである場合を例に挙げたが、これに限定されるものではない。例えば、グラフの変換及びカテゴリ参照表の参照を介することで、入力データが重み付き有向グラフである場合にも、一実施形態に係る手法を適用可能である。
【0126】
また、一実施形態では、教師あり学習を行なう場合を例に挙げたが、これに限定されるものではない。例えば、一実施形態に係る手法は、教師なし学習、又は、自己教師あり学習にも適応可能である。
【0127】
〔Ｆ〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
以上の実施形態に関し、さらに以下の付記を開示する。
【0128】
（付記１）
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータに実行させる、情報処理プログラム。
【0129】
（付記２）
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記１に記載の情報処理プログラム。
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記１に記載の情報処理プログラム。
【0130】
（付記３）
前記単語生成を実行する処理は、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する処理を含む、
付記１又は付記２に記載の情報処理プログラム。
前記単語生成を実行する処理は、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する処理を含む、
付記１又は付記２に記載の情報処理プログラム。
【0131】
（付記４）
前記単語生成を実行する処理は、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する処理を含む、
付記３に記載の情報処理プログラム。
前記単語生成を実行する処理は、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する処理を含む、
付記３に記載の情報処理プログラム。
【0132】
（付記５）
前記コンピュータに、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行させる、付記３又は付記４に記載の情報処理プログラム。
前記コンピュータに、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行させる、付記３又は付記４に記載の情報処理プログラム。
【0133】
（付記６）
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータが実行する、情報処理方法。
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
処理をコンピュータが実行する、情報処理方法。
【0134】
（付記７）
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記６に記載の情報処理方法。
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記６に記載の情報処理方法。
【0135】
（付記８）
前記単語生成を実行する処理は、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する処理を含む、
付記６又は付記７に記載の情報処理方法。
前記単語生成を実行する処理は、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する処理を含む、
付記６又は付記７に記載の情報処理方法。
【0136】
（付記９）
前記単語生成を実行する処理は、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する処理を含む、
付記８に記載の情報処理方法。
前記単語生成を実行する処理は、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する処理を含む、
付記８に記載の情報処理方法。
【0137】
（付記１０）
前記コンピュータが、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行する、付記８又は付記９に記載の情報処理方法。
前記コンピュータが、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
処理を実行する、付記８又は付記９に記載の情報処理方法。
【0138】
（付記１１）
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
制御部を備える、情報処理装置。
それぞれに重みが付与された複数の第１ノードの関係性をエッジとして規定した第１グラフノードデータに基づき、前記複数の第１ノードの関係性を複数の第２ノードとし、前記複数の第１ノードのそれぞれに付与された重みをエッジとして規定した第２グラフノードデータを生成し、
前記第２グラフノードデータの複数の第２ノードから取得した第１グラフベクトルと、前記第２グラフノードデータの複数の第２ノードと前記重みが規定されたエッジとから取得した第２グラフベクトルと、に基づいて、単語生成を実行する、
制御部を備える、情報処理装置。
【0139】
（付記１２）
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記１１に記載の情報処理装置。
前記第２グラフベクトルは、前記第２グラフノードデータの複数の第２ノードに基づくノードベクトルに前記重みを乗算して得られる、
付記１１に記載の情報処理装置。
【0140】
（付記１３）
前記制御部は、前記単語生成を実行する処理において、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する、
付記１１又は付記１２に記載の情報処理装置。
前記制御部は、前記単語生成を実行する処理において、前記第１グラフベクトルを、前記単語生成を行なう機械学習モデルの第１注意機構に入力して得られる第１ベクトルと、前記第２グラフベクトルを、前記機械学習モデルの第２注意機構に入力して得られる第２ベクトルと、に基づいて、前記単語生成を実行する、
付記１１又は付記１２に記載の情報処理装置。
【0141】
（付記１４）
前記制御部は、前記単語生成を実行する処理において、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する、
付記１３に記載の情報処理装置。
前記制御部は、前記単語生成を実行する処理において、前記第１ベクトルと前記第２ベクトルとを結合した結合ベクトルと、前記第１グラフノードデータの入力後からこれまでに実行された前記単語生成によって生成された文脈ベクトルとに基づき、前記単語生成を実行する、
付記１３に記載の情報処理装置。
【0142】
（付記１５）
前記制御部は、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
付記１３又は付記１４に記載の情報処理装置。
前記制御部は、
訓練用の第２グラフノードデータの複数の第２ノードから取得した訓練用の第１グラフベクトルを用いて、前記第１注意機構のパラメータを更新し、
前記訓練用の第２グラフノードデータの前記複数の第２ノードと重みが規定されたエッジとから取得した訓練用の第２グラフベクトルを用いて、前記第２注意機構のパラメータを更新する、
付記１３又は付記１４に記載の情報処理装置。
【符号の説明】
【0143】
１ 生成装置
１１ メモリ部
１１ａ 関係グラフ
１１ｂ 自然文
１１ｃ 単語
１２ 取得部
１３ グラフ変換部
１４ ベクトル生成部
１５ 単語生成部
１６ 出力部
１７ 制御部
２１ ノードベクトル
２２ 重み
２３ 重み考慮ベクトル
２４ グラフベクトル
２５ 重み考慮グラフベクトル
２６ 重み付き関係グラフ
３１、３２ ＡＷ
３３ グラフベクトル（Ａｔｔ）
３４ 重み考慮グラフベクトル（Ａｔｔ）
１１ メモリ部
１１ａ 関係グラフ
１１ｂ 自然文
１１ｃ 単語
１２ 取得部
１３ グラフ変換部
１４ ベクトル生成部
１５ 単語生成部
１６ 出力部
１７ 制御部
２１ ノードベクトル
２２ 重み
２３ 重み考慮ベクトル
２４ グラフベクトル
２５ 重み考慮グラフベクトル
２６ 重み付き関係グラフ
３１、３２ ＡＷ
３３ グラフベクトル（Ａｔｔ）
３４ 重み考慮グラフベクトル（Ａｔｔ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】