特許 7405234 文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-18

(45)【発行日】2023-12-26

(54)【発明の名称】文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20231219BHJP

   G06F 40/44 20200101ALI20231219BHJP

   G06N 3/04 20230101ALI20231219BHJP

【ＦＩ】

G06F40/56

G06F40/44

G06N3/04

【請求項の数】 10

(21)【出願番号】P 2022504804

(86)(22)【出願日】2020-03-03

(86)【国際出願番号】 JP2020008835

(87)【国際公開番号】W WO2021176549

(87)【国際公開日】2021-09-10

【審査請求日】2022-06-21

【新規性喪失の例外の表示】特許法第３０条第２項適用 ２０２０年１月２１日にｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／２００１．０７３３１及びｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｐｄｆ／２００１．０７３３１．ｐｄｆのウェブサイトで公開されている論文サイトａｒＸｉｖにて発表 ２０１９年３月４日にｈｔｔｐｓ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｎｌｐ２０１９／ｐｒｏｇｒａｍ．ｈｔｍｌ及びｈｔｔｐｓ：／／ｗｗｗ．ａｎｌｐ．ｊｐ／ｎｌｐ２０１９／＃ｐｒｏｃｅｅｄｉｎｇｓのウェブサイトで公開された言語処理学会第２５回年次大会（ＮＬＰ２０１９）の予稿集にて発表

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】斉藤 いつみ

(72)【発明者】

【氏名】西田 京介

(72)【発明者】

【氏名】西田 光甫

(72)【発明者】

【氏名】浅野 久子

(72)【発明者】

【氏名】富田 準二

【審査官】長 由紀子

(56)【参考文献】

【文献】特開２０１８－１９０１８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０３３２９１９（ＵＳ，Ａ１）

【文献】清野 舜 外５名 ，ニューラルヘッドライン生成における誤生成問題の改善，言語処理学会第２４回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，日本，言語処理学会，2018年03月05日，pp.1-4

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／５６

Ｇ０６Ｆ ４０／４４

Ｇ０６Ｎ ３／０４

(57)【特許請求の範囲】

【請求項1】

入力文を入力して文を生成する生成部を有し、
前記生成部は、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、
符号化の結果及び前記重要度を入力として、前記入力文に基づいて前記文を生成する復号化部と、
を含む、学習済みのパラメータに基づくニューラルネットワークである、
ことを特徴とする文生成装置。

【請求項2】

前記復号化部は、前記符号化の結果又は前記復号化部におけるアテンション確率を前記重要度によって重み付けする、
ことを特徴とする請求項１記載の文生成装置。

【請求項3】

前記入力文を構成する各単語について重要度を推定し、前記重要度に基づいて前記入力文から参考テキストに含める単語を選択する内容選択部を有し、
前記内容選択符号化部は、前記入力文及び前記参考テキストを構成する各単語について重要度を推定すると共に、前記入力文及び前記参考テキストを符号化する、
ことを特徴とする請求項２記載の文生成装置。

【請求項4】

入力文を入力して文を生成する生成部を有し、
前記生成部は、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、
符号化の結果及び前記重要度を入力として、前記入力文に基づいて前記文を生成する復号化部と、
を含む、学習済みのパラメータに基づくニューラルネットワークであり、
前記文の正解情報を用いて前記生成部に係るパラメータを更に学習するパラメータ学習部を更に有する、
ことを特徴とする文生成学習装置。

【請求項5】

入力文を入力して文を生成する生成部を有し、
前記生成部は、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、
符号化の結果を入力として、前記入力文に基づいて前記文を生成する復号化部と、
を含む、学習済みのパラメータに基づくニューラルネットワークであり、
前記重要度の正解情報と前記文の正解情報とを用い、前記内容選択符号化部に係るパラメータを共有して前記内容選択符号化部に係るパラメータと前記生成部に係るパラメータとをマルチタスク学習するパラメータ学習部を更に有する、
ことを特徴とする文生成学習装置。

【請求項6】

入力文を入力して文を生成する生成部を有する文生成装置における文生成方法であって、
前記生成部が、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化手順と、
符号化の結果及び前記重要度を入力として、前記入力文に基づいて前記文を生成する復号化手順とを実行し、
前記内容選択符号化手順及び前記復号化手順は、学習済みのパラメータに基づくニューラルネットワークを用いる、
ことを特徴とする文生成方法。

【請求項7】

入力文を入力して文を生成する生成部を有する文生成装置における文生成学習方法であって、
前記生成部は、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、
符号化の結果及び前記重要度を入力として、前記入力文に基づいて前記文を生成する復号化部と、
を含む、学習済みのパラメータに基づくニューラルネットワークであり、
前記文生成装置が、前記文の正解情報を用いて前記生成部に係るパラメータを更に学習するパラメータ学習手順を実行する、
ことを特徴とする文生成学習方法。

【請求項8】

入力文を入力して文を生成する生成部を有する文生成装置における文生成学習方法であって、
前記生成部は、
前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、
符号化の結果を入力として、前記入力文に基づいて前記文を生成する復号化部と、
を含む、学習済みのパラメータに基づくニューラルネットワークであり、
前記文生成装置が、前記重要度の正解情報と前記文の正解情報とを用い、前記内容選択符号化部に係るパラメータを共有して前記内容選択符号化部に係るパラメータと前記生成部に係るパラメータとをマルチタスク学習するパラメータ学習手順を実行する、
ことを特徴とする文生成学習方法。

【請求項9】

請求項１乃至３いずれか一項記載の文生成装置としてコンピュータを機能させることを特徴とするプログラム。

【請求項10】

請求項４又は５記載の文生成学習装置としてコンピュータを機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、文生成装置、文生成学習装置、文生成方法、文生成学習方法及びプログラムに関する。

【背景技術】

【0002】

事前学習済Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルは、Ｔｒａｎｓｆｏｒｍｅｒ型のＥｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルを大量の教師なしデータによって事前学習したモデルである（例えば、非特許文献１）。様々な文生成タスクにおいて当該モデルを事前モデルとして用い、タスクに合わせてFinetuningを行うことで高い精度を達成できる。

【先行技術文献】

【非特許文献】

【0003】

【文献】BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension、インターネット＜ＵＲＬ：https://www.arxiv-vanity.com/papers/1910.13461/＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、事前学習済Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒモデルでは、要約などのタスクに合わせた「入力テキストのどの部分が重要か」については学習されていない。

【0005】

本発明は、上記の点に鑑みてなされたものであって、文生成の精度を向上させることを目的とする。

【課題を解決するための手段】

【0006】

そこで上記課題を解決するため、文生成装置は、入力文を入力して文を生成する生成部を有し、前記生成部は、前記入力文を構成する各単語について重要度を推定すると共に、前記入力文を符号化する内容選択符号化部と、符号化の結果及び前記重要度を入力として、前記入力文に基づいて前記文を生成する復号化部と、を含む、学習済みのパラメータに基づくニューラルネットワークである。

【発明の効果】

【0007】

文生成の精度を向上させることができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。

【図2】第１の実施の形態における文生成装置１０の機能構成例を示す図である。

【図3】第１の実施の形態における生成部１２の構成例を示す図である。

【図4】第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【図5】各単語に対する重要度の推定を説明するための図である。

【図6】第１の実施の形態における生成部１２による処理を説明するための図である。

【図7】第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。

【図8】第２の実施の形態における生成部１２の構成例を示す図である。

【図9】第２の実施の形態における生成部１２による処理を説明するための図である。

【図10】第３の実施の形態における文生成装置１０の機能構成例を示す図である。

【図11】第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【図12】知識源ＤＢ２０の構成例を示す図である。

【図13】関連度計算モデルの第１の例を説明するための図である。

【図14】関連度計算モデルの第２の例を説明するための図である。

【図15】第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。

【図16】第４の実施の形態における文生成装置１０の機能構成例を示す図である。

【図17】第４の実施の形態における生成部１２の構成例を示す図である。

【図18】第４の実施の形態におけるモデル構成例を示す図である。

【図19】第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。

【図20】第５の実施の形態における文生成装置１０の機能構成例を示す図である。

【図21】第５の実施の形態における生成部１２の構成例を示す図である。

【図22】第５の実施の形態におけるモデル構成例を示す図である。

【図23】第６の実施の形態における文生成装置１０の機能構成例を示す図である。

【図24】第６の実施の形態におけるモデル構成例を示す図である。

【図25】第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。

【図26】第７の実施の形態における文生成装置１０の機能構成例を示す図である。

【図27】第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。

【発明を実施するための形態】

【0009】

以下、図面に基づいて本発明の実施の形態を説明する。図１は、第１の実施の形態における文生成装置１０のハードウェア構成例を示す図である。図１の文生成装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、及びインタフェース装置１０５等を有する。

【0010】

文生成装置１０での処理を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0011】

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って文生成装置１０に係る機能を実行する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。

【0012】

なお、文生成装置１０は、ＣＰＵ１０４の代わりに、又はＣＰＵ１０４と共にＧＰＵ（Graphics Processing Unit）を有してもよい。

【0013】

図２は、第１の実施の形態における文生成装置１０の機能構成例を示す図である。図２において、文生成装置１０は、内容選択部１１及び生成部１２を有する。これら各部は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。

【0014】

文生成装置１０には、ソーステキスト（入力文）及び入力文とは異なる情報（ソーステキストの要約において考慮すべき条件又は情報（以下、「考慮情報」という。））がテキストとして入力される。考慮情報として、第１の実施の形態では、ソーステキストに基づいて文生成装置１０が生成する文（要約文）の長さ（単語数）Ｋ（以下、「出力長Ｋ」という。）が採用される例について説明する。

【0015】

内容選択部１１は、ソーステキストを構成する各単語について、重要度［０，１］を推定する。内容選択部１１は、出力長Ｋに基づいて、所定数（重要度が上位Ｋ番目まで）の単語を抽出し、抽出した単語を連結した結果を参考テキストとして出力する。なお、重要度とは、単語が要約文に含まれる確率をいう。

【0016】

生成部１２は、ソーステキストと、内容選択部１１から出力される参考テキストとに基づいてターゲットテキスト（要約文）を生成する。

【0017】

なお、内容選択部１１及び生成部１２は、文生成タスク（本実施の形態では、要約）を実行するニューラルネットワークに基づく。具体的には、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）に基づき、生成部１２は、Ｔｒａｎｓｆｏｒｍｅｒ－ｂａｓｅｄ ｐｏｉｎｔｅｒ ｇｅｎｅｒａｔｏｒモデル「Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in Neural Information Processing Systems 30, pages 5998-6008.」（以下、「参考文献１」という。）に基づく。したがって、内容選択部１１及び生成部１２による処理は、当該ニューラルネットワークについての学習パラメータの学習済みの値（学習済みパラメータ）に基づいて処理を実行する。

【0018】

図３は、第１の実施の形態における生成部１２の構成例を示す図である。図３に示されるように、生成部１２は、ソーステキスト符号化部１２１、参考テキスト符号化部１２２、復号化部１２３及び合成部１２４等を含む。各部の機能については後述される。

【0019】

以下、文生成装置１０が実行する処理手順について説明する。図４は、第１の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【0020】

ステップＳ１０１において、内容選択部１１は、ソーステキストＸ^Ｃに含まれる各単語について、重要度を推定（計算）する。

【0021】

本実施の形態において、内容選択部１１は、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）を用いる。ＢＥＲＴは、多くのシーケンスタギングタスクでＳＯＴＡ（State-of-the-Art）を達成している。本実施の形態において、内容選択部１１は、ＢＥＲＴトークナイザ、ｆｉｎｅ－ｔｕｎｉｎｇされたＢＥＲＴモデル、及びタスク固有に追加されたfeed forward network（フィードフォワードネットワーク）を用いてソーステキストを単語に分割する。内容選択部１１は、以下の式に基づいて、単語ｘ^Ｃ _ｎの重要度ｐ^ｅｘｔ _ｎを計算する。なお、ｐ^ｅｘｔ _ｎは、ソーステキストＸ^Ｃにおけるｎ番目の単語ｘ^Ｃ _ｎの重要度を示す。

【0022】

【数1】

但し、ＢＥＲＴ（）は、事前トレーニングされたＢＥＲＴの最後の隠れ状態である。

【0023】

【数2】

とｂ_１は、内容選択部１１の学習パラメータである。σは、シグモイド関数である。ｄ_ｂｅｒｔは、事前学習済みＢＥＲＴの最後の隠れ状態の次元である。

【0024】

図５は、各単語に対する重要度の推定を説明するための図である。図５では、ソーステキストＸ^ＣにＮ個の単語が含まれている例が示されている。この場合、内容選択部１１は、Ｎ個の単語のそれぞれの重要度ｐ^ｅｘｔ _ｎを計算する。

【0025】

続いて、内容選択部１１は、重要度ｐ^ｅｘｔ _ｎの大きい単語から順にＫ個の単語の集合（単語列）を抽出する（Ｓ１０２）。なお、Ｋは、上記したように出力長である。抽出された単語列は、参考テキストとして生成部１２に出力される。

【0026】

但し、ステップＳ１０１において、重要度は、以下の式（２）のｐ^ｅｘｔw _nとして計算されてもよい。この場合、ｐ^ｅｘｔw _nの大きい単語から順にＫ個の単語の集合（単語列）が参考テキストとして抽出される。

【0027】

【数3】

但し、Ｎ_Ｓｊは、ｊ番目の文Ｓ_ｊ∈Ｘ^Ｃの単語数である。この重み付けを使用することにより、文レベルの重要度を組み込むことができ、単語レベルの重要度ｐ^ｅｘｔ _ｎのみを使用する場合よりも流暢な参考テキストを抽出することができる。

【0028】

式（１）又は式（２）のいずれを使用する場合であっても、本実施の形態によれば、参考テキスト内の単語の数に応じて要約文の長さを制御できる。

【0029】

続いて、生成部１２は、参考テキスト及びソーステキストＸ^Ｃに基づいて、要約文を生成する（Ｓ１０３）。

【0030】

ステップＳ１０３の詳細について以下に説明する。図６は、第１の実施の形態における生成部１２による処理を説明するための図である。

【0031】

［ソーステキスト符号化部１２１］
ソーステキスト符号化部１２１は、ソーステキストＸ^Ｃを受け取り、

【0032】

【数4】

を出力する。ここで、ｄ_{ｍｏｄｅｌ}は、Ｔｒａｎｓｆｏｒｍｅｒのモデルサイズである。

【0033】

ソーステキスト符号化部１２１の埋め込み層は、各単語ｘ^Ｃ _ｎ（サイズＶ）のｏｎｅ－ｈｏｔベクトルを、Ｇｌｏｖｅ（「Jeffrey Pennington, Richard Socher, and Christopher D. Manning. 2014. Glove: Global vectors for word representation. In In EMNLP.」（以下、「参考文献２」という。））のような事前学習された重み行列

【0034】

【数5】

によって、ｄ_ｗｏｒｄ次元のベクトル列へ投影する。

【0035】

次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄ_ｗｏｒｄ次元の単語埋め込みをｄ_{ｍｏｄｅｌ}次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。

【0036】

ソーステキスト符号化部１２１のTransformer Endcoder Blockは、参考文献１のそれと同じ構造を有する。Transformer Endcoder Blockは、Multi-head self-attentionネットワークと、完全に接続されたfeed forward network（フィードフォワードネットワーク）とから構成される。各ネットワークは、residual connection（リジジュアル コネクション）を適用する。

【0037】

［参考テキスト符号化部１２２］
参考テキスト符号化部１２２は、それぞれの重要度を伴った上位Ｋ個の単語列である参考テキストＸ^ｐを受け取る。参考テキストＸ^ｐにおける単語の並び順は、ソーステキストの出現順に再配置される。参考テキスト符号化部１２２からの出力は、以下の通りである。

【0038】

【数6】

参考テキスト符号化部１２２の埋め込み層は、入力を除いてソーステキスト符号化部１２１の埋め込み層と同じである。

【0039】

参考テキスト符号化部１２２のTransformer Decoder Blockは、参考文献１のそれとほぼ同じである。参考テキスト符号化部１２２は、各エンコーダレイヤの２つのサブレイヤに加えて、エンコーダスタックの出力でマルチヘッドアテンションを実行するインタラクティブなアライメントレイヤを有する。residual connection（リジジュアル コネクション）は、ソーステキスト符号化部１２１のTransformer Endcoder Blockと同じ方法で適用される。

【0040】

［復号化部１２３］
復号化部１２３は、Ｍ^ｐと自己回帰プロセスとして生成された要約文Ｙの単語列とを受け取る。ここで、Ｍ^ｐ _ｔは、要約文を生成するためのガイドベクトルとして使用される。復号化部１２３からの出力は、以下の通りである。

【0041】

【数7】

但し、ｔ∈Ｔは、各デコードステップである。

【0042】

復号化部１２３の埋め込み層は、事前学習済みの重み行列Ｗ^ｅ _ｔを使用して、要約文Ｙにおけるｔ番目の単語ｙ_ｔをＭ^ｙ _ｔにマッピングする。埋め込み層は、Ｍ^ｙ _ｔとＭ^ｐ _ｔとを連結し、それをハイウェイネットワーク（highway network）（「Rupesh Kumar Srivastava, Klaus Greff, and Jurgen Schmidhuber. 2015. Highway networks. CoRR, 1505.00387.」）に引き渡す。したがって、連結された埋め込みは、

【0043】

【数8】

である。Ｗ^{ｍｅｒｇｅ}は、モデル次元のベクトルにマップされ、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２のようにＲｅＬＵを通過する。マッピングされたベクトルには位置エンコードが追加される。

【0044】

復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じ構造を有する。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。

【0045】

［合成部１２４］
合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。

【0046】

本実施の形態では、コピー分布として、復号化部１２３の最初のアテンションヘッドが使用される。したがって、最終的な語彙の分布は以下の通りである。

【0047】

【数9】

ここで、生成確率は、以下の通りに定義される。

【0048】

【数10】

ｐ（ｙ_ｔ｜ｚ_ｔ＝１，ｙ_{１：ｔ-１}，ｘ）は、コピー分布である。ｐ（ｚ_ｔ）は、ｙ_ｔがソーステキストからコピーされるかどうかの重みを表すコピー確率である。ｐ（ｚ_ｔ）は、以下の通り定義される。

【0049】

【数11】

なお、図４のステップＳ１０１における重要度の推定は、「斉藤いつみ, 西田京介, 大塚淳史, 西田光甫, 浅野久子, 富田準二、"クエリ・出力長を考慮可能な文書要約モデル"、言語処理学会第25回年次大会(NLP2019)、https://www.anlp.jp/proceedings/annual_meeting/2019/pdf_dir/P2-11.pdf」にて開示されている方法によって実現されてもよい。

【0050】

続いて、学習について説明する。図７は、第１の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図７中、図３と同一部分には同一符号を付し、その説明は省略する。

【0051】

学習時において、文生成装置１０は、更に、パラメータ学習部１３を有する。パラメータ学習部１３は、文生成装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４又はＧＰＵに実行させる処理により実現される。

【0052】

［内容選択部１１の学習データ］
例えば、「Sebastian Gehrmann, Yuntian Deng, and Alexander Rush. 2018. Bottom-up abstractive summarization. In EMNLP, pages 4098-4109.」（以下、「参考文献３」という。）のような擬似トレーニングデータを学習データとして用いる。当該学習データは、全てのソーステキストＸ^Ｃ _ｎの単語ｘ^Ｃ _ｎ及びラベルｒ_ｎのペア（ｘ^Ｃ _ｎ，ｒ_ｎ）で構成される。要約文でｘ^Ｃ _ｎが選択される場合、ｒ_ｎは１である。このペアのデータを自動的に作成するには、まず、「Wan-Ting Hsu, Chieh-Kai Lin, Ming-Ying Lee, Kerui Min, Jing Tang, and Min Sun. 2018. A unified model for extractive and abstractive summarization using inconsistency loss. In ACL (1), pages 132- 141.」と同じ方法でＲＯＵＧＥ－Ｒスコアを最大化するオラクルのソース文Ｓ^{ｏｒａｃｌｅ}を抽出する。次に、動的プログラミングアルゴリズムを使用して、リファレンスサマリとＳ^{ｏｒａｃｌｅ}間の単語ごとのアライメントを計算する。最後に、アライメントが取れた全ての単語に１のラベルを付与し、他の単語に０のラベルを付与する。

【0053】

［生成部１２の学習データ］
生成部１２の学習のためには、ソーステキスト、抽出された単語のゴールドセット、及びターゲットテキスト（要約文）の３つの組のデータ（Ｘ^Ｃ，Ｘ^ｐ，Ｙ）を作成する必要がある。具体的には、内容選択部１１を使用してオラクル文Ｓ^{ｏｒａｃｌｅ}を選択し、Ｓ^{ｏｒａｃｌｅ}の全ての単語ｘ^Ｃ _ｎに対してｐ^ｅｘｔ _ｎをスコアリングする。次に、ｐ^ｅｘｔ _ｎに従って上位Ｋ個の単語を選択する。なお、元の単語の順序はＸ^ｐで保持される。Ｋは、リファレンスサマリ長Ｔを使用して計算される。目的の長さに近い自然な要約文を取得するには、リファレンスサマリ長Ｔを個別のサイズ範囲に量子化する。本実施の形態では、サイズ範囲は５に設定される。

【0054】

［内容選択部１１の損失関数］
内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。

【0055】

【数12】

但し、Ｍは、学習例の数である。

【0056】

［生成部１２の損失関数］
生成部１２の主な損失は、クロスエントロピー損失である。

【0057】

【数13】

更に、参考テキスト符号化部１２２及び復号化部１２３のアテンションガイド損失を追加する。このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。

【0058】

【数14】

ｐ（ａ^ｓｕｍ _ｔ）及びｐ（ａ^ｓａｌ _ｌ）は、それぞれ復号化部１２３及び参考テキスト符号化部１２２のアテンションヘッドのトップである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。

【0059】

生成部１２の全体的な損失は、上記３つの損失の線形結合である。

【0060】

【数15】

λ_１及びλ_２は、後述の実験では０．５に設定された。

【0061】

上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。

【0062】

［実験］
第１の実施の形態について行った実験について説明する。

【0063】

＜データセット＞
ニュース要約の標準コーパスであるＣＮＮ－ＤＭデータセット（「Karl Moritz Hermann, Tomas Kocisky, Edward Grefenstette, Lasse Espeholt, Will Kay, Mustafa Suleyman, and Phil Blunsom. 2015. Teaching machines to read and comprehend. In Advances in Neural Information Processing Systems 28, pages 1693-1701.」（以下、「参考文献４」という。））を使用した。要約は、それぞれのＷｅｂサイトに表示される記事の箇条書きである。「Abigail See, Peter J. Liu, and Christopher D. Manning. 2017. Get to the point: Summarization with pointergenerator networks. In ACL (1), pages 1073-1083. （2017）」に従い、コーパスの匿名化されていないバージョンを使用し、ソースドキュメントを４００トークンに、ターゲットサマリーを１２０トークンに切り詰めた。データセットは、２８６８１７個のトレーニングペア、１３３６８個の検証ペア、及び１１４８７個のテストペアを含む。モデルのドメイン移転能力を評価するために、Ｎｅｗｓｒｏｏｍデータセットも使用した（「Max Grusky, Mor Naaman, and Yoav Artzi. 2018. Newsroom: A dataset of 1.3 million summaries with diverse extractive strategies. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 708-719. Association for Computational Linguistics.」）。

【0064】

ＣＮＮ／ＤＭデータセットで学習された生成部１２を使用しながら、Ｎｅｗｓｒｏｏｍデータセットで内容選択部１１を学習させた（参考文献３）。Ｎｅｗｓｒｏｏｍには、さまざまなニュースソース（３８の異なるニュースサイト）が含まれている。内容選択部１１の学習のために、全ての学習データから３０００００トレーニングペアをサンプリングした。テストペアのサイズは１０６３４９である。

【0065】

＜モデル構成＞
２つのデータセットに同じ構成を使用した。 内容選択部１１は、事前に学習されたＢＥＲＴラージモデルを使用した（「Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. 2018. Bert: Pre-training of deep bidirectional transformers for language understanding. CoRR.」）。２つのエポックのＢＥＲＴをｆｉｎｅ－ｔｕｎｉｎｇした。デフォルト設定は、ｆｉｎｅ－ｔｕｎｉｎｇのための他のパラメータに使用した。内容選択部１１及び生成部１２は、事前に学習された３００次元のＧｌｏＶｅ埋め込みを使用した。Ｔｒａｎｓｆｏｒｍｅｒ ｄ_{ｍｏｄｅｌ}のモデルサイズは５１２に設定された。Ｔｒａｎｓｆｏｒｍｅｒは、ソーステキスト符号化部１２１、参考テキスト符号化部１２２及び復号化部１２３のための４つのＴｒａｎｓｆｏｒｍｅｒブロックを含む。ヘッドの数は８で、feed forward network（フィードフォワードネットワーク）の次元の数は２０４８にした。ドロップアウト率は０．２に設定した。最適化には、β_１＝０．９、β_２＝０．９８、ε＝ｅ^－９であるＡｄａｍオプティマイザー（「Diederik P. Kingma and Jimmy Ba. 2015. Adam: A method for stochastic optimization. In International Conference on Learning Representations (ICLR).」）を使用した。参考文献１に従い、学習中に学習率を変化させた。ウォームアップステップを８０００に設定した。入力ボキャブラリのサイズを１０００００に、出力ボキャブラリのサイズを１０００に設定した。

【0066】

＜実験結果＞
表１に、非特許文献１と第１の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。

【0067】

【表1】

表１によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第１の実施の形態の方が非特許文献１よりも優れていることが分かる。

【0068】

上述したように、第１の実施の形態によれば、文を生成する際に考慮すべき情報（出力長）をテキストとして付加可能とすることができる。その結果、ソーステキスト（入力文）と、考慮すべき情報の特徴量と等価に扱うことが可能となる。

【0069】

なお、「Yuta Kikuchi, Graham Neubig, Ryohei Sasano, Hiroya Takamura, and Manabu Okumura. 2016. Controlling output length in neural encoder-decoders. In Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, pages 1328-1338. Association for Computational Linguistics.」では、長さｅｍｂｅｄｄｉｎｇを用いて長さの制御を行う．この方法では，長さに応じた単語の重要度を明示的に考慮することができず，長さの制御において出力文に含めるべき情報を適切にコントロールすることができない。一方、本実施の形態によれば、長さｅｍｂｅｄｄｉｎｇを用いずに、より直接的に出力長Ｋに応じて重要な情報をコントロールしながら高精度な要約文の生成が可能である。

【0070】

次に、第２の実施の形態について説明する。第２の実施の形態では第１の実施の形態と異なる点について説明する。第２の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

【0071】

図８は、第２の実施の形態における生成部１２の構成例を示す図である。図８中、図３と同一部分には同一符号を付し、その説明は省略する。

【0072】

図８では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２が相互参照する点が、図３と異なる。この相互参照は、ソーステキスト及び参考テキストが符号化される際に行われる。

【0073】

このように、第２の実施の形態では、生成部１２の構成が異なる。したがって、第２の実施の形態では、ステップＳ１０３における、参考テキスト及びソーステキストＸ^Ｃに基づいて要約文を生成する手順も第１の実施の形態と異なる。

【0074】

図９は、第２の実施の形態における生成部１２による処理を説明するための図である。図９に示されるように、第２の実施の形態では、ソーステキスト符号化部１２１及び参考テキスト符号化部１２２をまとめてジョイント符号化部１２５という。

【0075】

［ジョイント符号化部１２５］
まず、ジョイント符号化部１２５の埋め込み層は、単語ｘ^Ｃ _ｌ（サイズＶ）の各ｏｎｅ－ｈｏｔベクトルを、ＧｌｏＶｅなどの事前学習済みの重み行列

【0076】

【数16】

を使用して、ｄ_ｗｏｒｄ次元のベクトル列に投影する（参考文献２）。

【0077】

次に、埋め込み層は、完全に接続されたレイヤを使用して、ｄ_ｗｏｒｄ次元の単語の埋め込みをｄ_{ｍｏｄｅｌ}次元のベクトルにマッピングし、マッピングされた埋め込みをＲｅＬＵ関数に渡す。埋め込み層は、また、単語の埋め込みに位置エンコードを追加する（参考文献１）。

【0078】

ジョイント符号化部１２５のTransformer Endcoder Blockは、埋め込まれたソーステキスト及び参考テキストを、Ｔｒａｎｓｆｏｒｍｅｒブロックのスタックでエンコードする。このブロックは、参考文献１のそれと同じアーキテクチャを備える。これは、Multi-head self-attentionネットワークと完全に接続されたfeed forward network（フィードフォワードネットワーク）の２つのサブコンポーネントで構成される。各ネットワークは、residual connection（リジジュアル コネクション）を適用する。このモデルでは、ソーステキストと参考テキストの両方がエンコーダスタックで個別にエンコードされる。これらの出力をそれぞれ、

【0079】

【数17】

で示す。

【0080】

ジョイント符号化部１２５のTransformer dual encoder blocksは、エンコードされたソーステキストと参考テキストとの間のインタラクティブなアテンションを計算する。具体的には、最初にソーステキスト及び参考テキストをエンコードし、エンコーダスタックの他の出力（つまり、Ｅ^Ｃ _ｓ及びＥ^Ｐ _Ｓ）に対してマルチヘッドアテンションを実行する。ソーステキストと参考テキストのデュアルエンコーダスタックの出力を、それぞれ、

【0081】

【数18】

で示す。

【0082】

［復号化部１２３］
復号化部１２３の埋め込み層は、自己回帰プロセスとして生成された要約文Ｙの単語列を受け取る。復号化部１２３は、各デコードステップｔで、ジョイント符号化部１２５の埋め込み層と同じ方法で、単語ｙ_ｔの各ｏｎｅ－ｈｏｔベクトルを投影する。

【0083】

復号化部１２３のTransformer Decoder Blockは、参考文献１のそれと同じアーキテクチャを備える。このコンポーネントはテスト時に段階的に使用されるため、後続のマスクが使用される。復号化部１２３は、参考テキストがエンコードされた表現Ｍ^ｐに対してマルチヘッドアテンションを実行するデコーダブロックのスタックを使用する。復号化部１２３は、最初のスタックの上にあるソーステキストがエンコードされた表現Ｍ^Ｃのマルチヘッドアテンションを実行するデコーダブロックの別のスタックを使用する。１つ目は参考テキストの書き換えを実行し、２つ目は書き換えられた参考テキストを元のソース情報で補完する。スタックの出力は、

【0084】

【数19】

である。

【0085】

［合成部１２４］
合成部１２４は、Pointer-Generatorを用いて、コピーの分布に基づいてソーステキスト、参考テキスト及び復号化部１２３のいずれかの情報を選択し、選択された情報に基づいて要約文を生成する。

【0086】

ソーステキスト及び参考テキストのコピー分布は、以下の通りである。

【0087】

【数20】

但し、α^ｐ _ｔｋとα^Ｃ _ｔｎは、それぞれ復号化部１２３における最初のスタックの最後のブロックの最初のアテンションヘッドと、復号化部１２３における２番目のスタックの最後のブロックの最初のアテンションヘッドである。

【0088】

最終的な語彙の分布は以下の通りである。

【0089】

【数21】

続いて、学習について説明する。学習時においてパラメータ学習部１３が機能するのは、第１の実施の形態と同様である。

【0090】

［内容選択部１１及び生成部１２の学習データ］
内容選択部１１及び生成部１２のそれぞれの学習データは、第１の実施の形態と同様でよい。

【0091】

［内容選択部１１の損失関数］
内容選択部１１が実行する処理は、単純なバイナリ分類タスクであるため、バイナリクロスエントロピー損失を使用する。

【0092】

【数22】

但し、Ｍは、学習例の数である。

【0093】

［生成部１２の損失関数］
生成部１２の主な損失は、クロスエントロピー損失である。

【0094】

【数23】

更に、復号化部１２３のアテンションガイド損失を追加する。 このアテンションガイド損失は、推定されたアテンション分布を参照アテンションに導くように設計されている。

【0095】

【数24】

α^{ｐｒｏｔｏ} _{ｔ，ｎ（ｔ）}は、参考テキストのジョイントエンコーダスタックの最後のブロックの最初のアテンションヘッドである。ｎ（ｔ）は、要約単語列のｔ番目の単語に対応するソーステキスト内の絶対位置を示す。

【0096】

生成部１２の全体的な損失は、上記３つの損失の線形結合である。

【0097】

【数25】

λ_１及びλ_２は、後述の実験では０．５に設定された。

【0098】

上記より、パラメータ学習部１３は、上記した学習データに基づく内容選択部１１及び生成部１２の処理結果を、上記の損失関数によって評価し、当該損失関数が収束するまで内容選択部１１及び生成部１２のそれぞれの学習パラメータを更新する。当該損失関数が収束した際の学習パラメータの値が、学習済みパラメータとして利用される。

【0099】

［実験］
第２の実施の形態について行った実験について説明する。第２の実施の形態の実験に用いたデータセットは、第１の実施の形態と同じである。

【0100】

＜実験結果＞
表２に、非特許文献１と第２の実施の形態とのそれぞれのＲＯＵＧＥスコアを示す。

【0101】

【表2】

表２によれば、ＲＯＵＧＥ－１（Ｒ－１）、ＲＯＵＧＥ－２（Ｒ－２）及びＲＯＵＧＥ－Ｌ（Ｒ－Ｌ）の全ての観点において、第２の実施の形態の方が非特許文献１よりも優れていることが分かる。

【0102】

上述したように、第２の実施の形態によれば、第１の実施の形態と同様の効果を得ることができる。

【0103】

また、第２の実施の形態によれば、参考テキストに含まれる単語も、要約文の生成に用いることができる。

【0104】

次に、第３の実施の形態について説明する。第３の実施の形態では第１の実施の形態と異なる点について説明する。第３の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

【0105】

第３の実施の形態では、テキスト形式の文書（文の集合）である外部知識が格納された知識源ＤＢ２０から、ソーステキストに類似する情報を検索し、当該情報においてソーステキストとの関連性が高い上記Ｋ件のテキスト文及びその関連性の度合いを示す関連度を参考テキストとして用いることで、外部知識を考慮した要約を可能とし、入力文中で重要となる情報を外部知識に応じて直接的にコントロール可能とする例について説明する。

【0106】

図１０は、第３の実施の形態における文生成装置１０の機能構成例を示す図である。図１０中、図２と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。

【0107】

図１０において、文生成装置１０は、更に検索部１４を有する。検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０から情報を検索する。検索部１４によって検索された情報は、上記各実施の形態における考慮情報に相当する。すなわち、第３の実施の形態において、考慮情報は、外部知識（から、ソーステキストとの関連性に基づき作成される参考テキスト）である。

【0108】

図１１は、第３の実施の形態における文生成装置１０が実行する処理手順の一例を説明するためのフローチャートである。

【0109】

ステップＳ２０１において、検索部１４は、ソーステキストをクエリとして知識源ＤＢ２０を検索する。

【0110】

図１２は、知識源ＤＢ２０の構成例を示す図である。図１２には、（１）及び（２）の２つの例が示されている。

【0111】

（１）は、文生成装置１０が実行するタスクの入力文と出力文となるような文書のペアが知識源ＤＢ２０に記憶されている例を示す。図１２（１）では、当該タスクがタイトルの生成又は要約文の生成である場合の例として、ニュース記事とヘッドライン（又は要約文）とのペアが記憶されている例が示されている。

【0112】

（２）は、上記ペアのいずれか一方の文書（図１２の例ではヘッドラインのみ）が知識源ＤＢ２０記憶されている例を示す。

【0113】

いずれの場合であっても、知識源ＤＢ２０には大規模な知識（情報）が記憶されていることを想定する。

【0114】

ステップＳ２０１において、検索部１４は、このような知識源ＤＢ２０から、後述のリランキング可能な個数Ｋ'（３０～１０００個程度）の文書群をｅｌａｓｔｉｃｓｅａｒｃｈなどの高速な検索モジュールを用いて検索する。

【0115】

知識源ＤＢ２０が（１）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索、ソーステキストと、ニュース記事の類似度で検索、又はソーステキストと、ニュース記事＋ヘッドラインの類似度で検索、のいずれかの検索方法が考えられる。

【0116】

一方、知識源ＤＢ２０が（２）のような構成を有する場合、ソーステキストとヘッドラインの類似度で検索することが考えられる。類似度とは、例えば、同じ単語を含んでいる個数やコサイン類似度等、文書間の類似性を評価する公知の指標である。

【0117】

なお、本実施の形態では、（１）及び（２）のいずれの場合であっても、類似度が上記Ｋ'件のヘッドラインが検索結果として得られるとし、ヘッドラインは一つの文であるとする。以下、検索結果であるＫ'件の各文（ヘッドライン）を「知識源テキスト」という。

【0118】

続いて、内容選択部１１は、予め学習済みのニューラルネットワークである関連度計算モデルを用いて、各知識源テキストについて文レベル（知識源テキストごと）の関連度を計算する（Ｓ２０２）。なお、関連度計算モデルは、内容選択部１１の一部を構成してもよい。また、関連度は、ソーステキストとの関連性、類似性又は相関性の高さを示す指標であり、第１又は第２の実施の形態における重要度に相当する。

【0119】

図１３は、関連度計算モデルの第１の例を説明するための図である。図１３に示されるように、ソーステキスト及び知識源テキストは、それぞれＬＳＴＭに入力される。各ＬＳＴＭは、各テキストを構成する各単語を所定次元のベクトルに変換する。その結果、各テキストは、所定次元のベクトルの配列となる。なお、ベクトルの数（すなわち、ベクトルの配列長）Ｉは、単語数に基づいて定められる。例えば、Ｉは、３００等に設定され、単語数が３００に満たない場合は「ＰＡＤ」等、所定の単語を用いて３００単語に揃えるようにする。ここでは、便宜上、単語数＝ベクトル数とする。したがって、Ｉ個の単語を含むテキストの変換結果であるベクトルの配列長はＩとなる。

【0120】

マッチングネットワークは、ソーステキストのベクトル配列と知識源テキストのベクトル配列とを入力として、当該知識源テキストについての文レベルの関連度β（０≦β≦１）を計算する。なお、マッチングネットワークには、例えば、co-attention network（「Caiming Xiong, Victor Zhong, Richard Socher、DYNAMIC COATTENTION NETWORKS FOR QUESTION ANSWERING、Published as a conference paper at ICLR 2017」）等が用いられてもよい。

【0121】

図１４は、関連度計算モデルの第２の例を説明するための図である。図１４では、図１３と異なる点についてのみ説明する。

【0122】

図１４においては、マッチングネットワークが、知識源テキストに含まれる単語ｉごと（すなわち、ベクトルの配列の要素ごと）に、単語レベルの関連度ｐ_ｉ（０≦ｐ_ｉ≦１）を計算する点が異なる。このようなマッチングネットワークも、co-attention networkを用いて実現されてもよい。

【0123】

関連度計算モデルは、単語レベルの関連度ｐ_ｉの加重和によって、文レベルの関連度βを計算する。したがって、β＝Σｗ_ｉｐ_ｉ（ｉ＝１，…，単語数）となる。なお、ｗ_ｉは、ニューラルネットワークの学習可能なパラメータである。

【0124】

図１３又は図１４において説明した処理は、Ｋ'個の知識源テキストに対して実行される。したがって、各知識源テキストに対して関連度βが計算される。

【0125】

続いて、内容選択部１１は、図１３又は図１４のような方法によって計算した関連度βの大きい順に２以上の所定数（Ｋ個）の知識源テキストを連結した結果を参考テキストとして抽出する（Ｓ２０３）。

【0126】

続いて、生成部１２は、参考テキスト及びソーステキストに基づいて、要約文を生成する（Ｓ２０４）。生成部１２が実行する処理内容は、基本的に第１又は第２の実施の形態と同様でよい。但し、参考テキストの各単語へのアテンション確率α^ｐ _ｔｋを、単語レベルの関連度又は文レベルの関連度を用いて次のように重みづけしてもよい。なお、上記において、変数α^ｐ _ｔｋを_、アテンションヘッドとして定義したが、ここでは、α^ｐ _ｔｋの値について言及しているため、α^ｐ _ｔｋは、アテンション確率に相当する。また、以下では、文レベルの関連度又は単語レベルの関連度を、便宜上、βによって表記する。単語レベルの関連度及び文レベルの関連度のいずれか一方が使用されてもよいし、双方が使用されてもよい。

【0127】

文レベルの関連度を使う場合、例えば、アテンション確率α^ｐ _ｔｋは以下のように更新される。

【0128】

【数26】

左辺が、更新後のアテンション確率である。β_Ｓ（ｋ）は、単語ｋを含む文Ｓの関連度βである。

【0129】

なお、単語レベルの関連度を使う場合は、上記の式のβ_Ｓ（ｋ）に対して、単語ｋに対応する単語レベルの関連度ｐ_ｉを当てはめればよい。両方用いる場合は、例えば、上記の式（２）のように、文レベルの関連度で単語レベルの関連度に重みづけを行う等が考えられる。なお、ｐ_ｉは、文Ｓ単位に計算される。また、ｐ_ｉは、第１の実施の形態における重要度（式（１））と同じ役割を有する。更に、ｋは、参考テキスト（抽出された文Ｓの集合）の単語に対して振られる単語番号である。

【0130】

続いて、学習について説明する。図１５は、第３の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１５中、図７又は図１０と同一又は対応する部分には同一符号を付し、その説明は適宜省略する。

【0131】

第３の実施の形態において、内容選択部１１及び生成部１２の学習は、基本的に上記各実施の形態と同様でよい。ここでは、第３の実施の形態で用いられる関連度計算モデルの学習について２つの方法を説明する。

【0132】

第１の方法として、関連度βの計算結果と、正解ターゲットテキストからＲｏｕｇｅ等のスコアを用いて文レベルの関連度βの正解情報を定義する方法がある。

【0133】

第２の方法として、単語レベルの関連度の正解情報を、正解文（例えば、要約文等のターゲットテキスト）に、その単語が含まれているか否かの１／０で決定する方法がある。

【0134】

なお、上記では、文生成装置１０が検索部１４を有する例を示したが、知識源ＤＢ２０に含まれている外部知識が予め絞り込まれている場合、当該外部知識に含まれている全ての知識源テキストが内容選択部１１に入力されてもよい。この場合、文生成装置１０は検索部１４を有さなくてよい。

【0135】

上述したように、第３の実施の形態によれば、外部知識を用いることで、ソーステキストにない単語を含む要約文を効率的に生成することができる。当該単語は、知識源テキストに含まれる単語であり、知識源テキストはその名の通りテキストである。したがって、第３の実施の形態によっても、文を生成する際に考慮すべき情報をテキストとして付加可能とすることができる。

【0136】

なお、「Ziqiang Cao,Wenjie Li, Sujian Li, and FuruWei. 2018. Retrieve, rerank and rewrite: Soft template based neural summarization. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 152-161. Association for Computational Linguistics.」に開示された技術では、外部知識を考慮してターゲットテキストを生成できるものの、（１）外部知識に含まれる単語を、そのまま文生成に用いることができない。また、（２）外部知識の内容ごとの重要度を考慮できない。一方、第３の実施の形態では、（１）外部知識の文レベル・単語レベルの関連度を考慮し、（２）ＣｏｐｙＮｅｔｗｏｒｋ（合成部１２４）を用いることで、外部知識の重要個所を出力文に含めることが可能となる。

【0137】

次に、第４の実施の形態について説明する。第４の実施の形態では第１の実施の形態と異なる点について説明する。第４の実施の形態において特に言及されない点については、第１の実施の形態と同様でもよい。

【0138】

図１６は、第４の実施の形態における文生成装置１０の機能構成例を示す図である。図１６中、図２と同一又は対応する部分には同一符号を付している。図１６に示されるように、第４の実施の形態において、内容選択部１１は、考慮情報を入力しない。

【0139】

内容選択部１１は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒＥｎｃｏｄｅｒブロック（Ｅｎｃｏｄｅｒ_ｓａｌ）とｌ層の線形変換層からなる。内容選択部１１は、ソーステキストＸ^Ｃ中のｎ番目の単語ｘ^Ｃ _ｎの重要度ｐ^ｅｘｔ _ｎを以下の式に基づいて計算する。

【0140】

【数27】

ここで、Ｅｎｃｏｄｅｒ_ｓａｌ（）はＥｎｃｏｄｅｒ_ｓａｌの最終層の出力ベクトルを表す。Ｗ_１、ｂ_１、σは、数１に関連して説明した通りである。

【0141】

内容選択部１１は、ソーステキストＸ^ＣをＥｎｃｏｄｅｒ_ｓａｌに入力して得られる重要度ｐ^ｅｘｔ _ｎの高い順にＫ個の単語を参考テキストＸ^ｐとしてＸ^Ｃから抽出する。このとき、参考テキストＸ^ｐにおける単語の順序は、ソーステキストＸ^Ｃ内の順序を保持する。内容選択部１１は、参考テキストＸ^ｐを生成部１２へ入力する。すなわち、第４の実施の形態では、内容選択部１１による単語の重要度の予測値に基づいて抽出された単語列が追加のテキスト情報として生成部１２に明示的に与えられる。

【0142】

図１７は、第４の実施の形態における生成部１２の構成例を示す図である。図１７中、図３と同一又は対応する部分には同一符号を付している。図１７において、生成部１２は、符号化部１２６及び復号化部１２３を含む。符号化部１２６及び復号化部１２３については、図１８を参照して詳細に説明する。

【0143】

図１８は、第４の実施の形態におけるモデル構成例を示す図である。図１８中、図１６又は図１７と同一又は対応する部分には同一符号を付している。なお、図１８に示されるモデルを、便宜上、ＣＩＴ（Conditionalsummarization model with Important Tokens）モデルと呼ぶ。

【0144】

符号化部１２６は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒブロックからなる。符号化部１２６は、Ｘ^Ｃ＋Ｘ^ｐを入力とする。Ｘ^Ｃ＋Ｘ^ｐは、Ｘ^ＣとＸ^ｐの間には区切りを表す特殊トークンが挿入された文字列である。本実施の形態ではＥｎｃｏｄｅｒ_ｓａｌとしてＲｏＢＥＲＴａ（「Y. Liu et al. arXiv, 1907.11692, 2019.」）が初期値として用いられる。符号化部１２６は、入力Ｘ^Ｃ＋Ｘ^ｐを受け付け、Ｍ層のブロックを作用させた表現

【0145】

【数28】

を得る。なお、Ｎは、Ｘ^Ｃに含まれる単語数である。但し、第４の実施の形態では、Ｎに対してＮ＋Ｋが代入される。ここで、Ｋは、Ｘ^ｐに含まれる単語数である。ここで、符号化部１２６はｓｅｌｆ－ａｔｔｅｎｔｉｏｎと２層のフィードフォワードネットワーク（ＦＦＮ）からなる。Ｈ^Ｍ _ｅは、後述される復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎに入力される。

【0146】

復号化部１２３は、第１の実施の形態と同様でよい。すなわち、復号化部１２３は、Ｍ層のＴｒａｎｓｆｏｒｍｅｒ Ｄｅｃｏｄｅｒブロックからなる。Ｅｎｃｏｄｅｒの出力Ｈ^Ｍ _ｅとモデルが１ステップ前までに出力した系列｛ｙ_１，...，ｙ_ｔ－１｝を入力とし、Ｍ層のブロックを作用させた表現

【0147】

【数29】

を得る。復号化部１２３は、各ステップｔにおいて、ｈ^Ｍ _ｄｔに対し、語彙サイズＶ次元への線形変換を行い、確率が最大となるｙ_ｔを次のトークンとして出力する。復号化部１２３は、ｓｅｌｆ－ａｔｔｅｎｔｉｏｎ（図１８のブロックｂ１）、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ、２層のＦＦＮからなる。

【0148】

なお、Ｍｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎＴｒａｎｓｆｏｒｍｅｒブロックにおけるアテンション処理はすべてＭｕｌｔｉ－ｈｅａｄＡｔｔｅｎｔｉｏｎを用いる（「A. Vaswani et al. In NIPS, pages 5998-6008, 2017.」）。本処理はｋ個のアテンションヘッドの結合からなり、Ｍｕｌｔｉｈｅａｄ（Ｑ，Ｋ，Ｖ）＝Ｃｏｎｃａｔ（ｈｅａｄ１，...，ｈｅａｄｋ）Ｗ^ｏと表される。各ヘッドはｈｅａｄ_ｉ＝Ａｔｔｅｎｔｉｏｎ（ＱＷ^Ｑ _ｉ，ＫＷ^Ｋ _ｉ，ＶＷ^Ｖ _ｉ）である。ここで、符号化部１２６及び復号化部１２３の第ｍ層のｓｅｌｆ－ａｔｔｅｎｔｉｏｎでは、Ｑ，Ｋ，Ｖに同じベクトル表現Ｈ^ｍを与え、復号化部１２３のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎにおいては、ＱにＨ^ｍ _ｄ、ＫとＶにＨ^Ｍ _ｅをそれぞれ与える。

【0149】

各ヘッドのアテンション

【0150】

【数30】

における重み行列Ａは以下の式にて表される。

【0151】

【数31】

ここで、

【0152】

【数32】

である。

【0153】

続いて、学習について説明する。図１９は、第４の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図１９中、図７と同一部分には同一符号を付し、その説明は省略する。

【0154】

［生成部１２の学習データ及び損失関数］
生成部１２の学習データは、第１の実施の形態と同様でよい。生成部１２の損失関数は、ｃｒｏｓｓ ｅｎｔｒｏｐｙを用いて次のように定義される。Ｍは学習データの個数を表す。

【0155】

【数33】

［内容選択部１１の学習データ及び損失関数］
内容選択部１１はソーステキストの各単語位置ｎに対して予測ｐ^ｅｘｔ _ｎの出力を行うものであるため、疑似的に正解を与えることで教師あり学習が可能になる。通常、要約文の正解は、ソーステキストと要約文のペアのみであるため、ソーステキストの各トークンに１／０の正解は与えられていない。しかし、ソーステキストと要約文の双方に含まれている単語が重要な単語である、とみなして両者のトークン系列のアライメントをとることで重要トークンの正解を疑似的に作成できる（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。

【0156】

内容選択部１１の損失関数は、ｂｉｎａｒｙ ｃｒｏｓｓ ｅｎｔｒｏｐｙを用いて次のように定義される。

【0157】

【数34】

ここで、ｒ^ｍ _ｎは、ｍ番目のデータにおけるソーステキストのｎ番目の単語の重要度正解を表す。

【0158】

［パラメータ学習部１３］
第４の実施の形態において、パラメータ学習部１３は、重要度の学習データを用いて内容選択部１１を学習し、要約文Ｙの正解情報を用いて生成部１２を学習する。すなわち、内容選択部１１と生成部１２の学習は独立して行われる。

【0159】

パラメータ学習部１３は、損失関数Ｌ_ｇｅｎ＝Ｌ_{ｅｎｃｄｅｃ}＋Ｌ_ｓａｌとして、Ｌ_ｇｅｎが最小化されるように学習を行う。

【0160】

第１の実施の形態では、学習データ中のターゲットテキスト（要約文）の長さと、考慮情報である出力長とを揃えることで、「出力長に応じた単語の重要度」を学習していた。一方、第４の実施の形態では、学習データに考慮情報としての出力長は含まれない。そのため、内容選択部１１における単語の重要度の算出には出力長は特に考慮されず、「要約に重要な単語であるか否か」という観点のみで重要度が算出される。

【0161】

但し、第４の実施の形態にいても考慮情報として出力長を入力とし、出力長に基づいて抽出トークン数を定めることで、要約長を制御することができる。

【0162】

次に、第５の実施の形態について説明する。第５の実施の形態では第４の実施の形態と異なる点について説明する。第５の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。

【0163】

図２０は、第５の実施の形態における文生成装置１０の機能構成例を示す図である。図２０中、図１６と同一部分には同一符号を付している。

【0164】

第５の実施の形態における内容選択部１１は、個別に学習したＥｎｃｏｄｅｒ_ｓａｌから得られる単語レベルの重要度ｐ^ｅｘｔ _ｎを用いて文レベルの重要度ｐ^ｅｘｔ _Ｓｊを計算し、ソーステキストＸ^Ｃにおいてｐ^ｅｘｔ _Ｓｊが上位Ｐ番目までの文を結合したものを入力テキストＸ_ｓとして生成部１２へ入力する。文レベルの重要度ｐ^ｅｘｔ _Ｓｊは、数３に基づいて計算可能である。

【0165】

図２１は、第５の実施の形態における生成部１２の構成例を示す図である。図２１中、図１７と同一部分には同一符号を付している。また、図２２は、第５の実施の形態におけるモデル構成例を示す図である。図２２中、図１８と同一部分には同一符号を付している。

【0166】

図２１及び図２２に示されるように、第５の実施の形態における符号化部１２６は、入力テキストＸ_ｓを入力とする。なお、図２２に示されるモデルを、便宜上、ＳＥＧ（Sentence Extraction then Generation）モデルという。

【0167】

その他の点については、第４の実施の形態と同様である。

【0168】

次に、第６の実施の形態について説明する。第６の実施の形態では第４の実施の形態と異なる点について説明する。第６の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。

【0169】

図２３は、第６の実施の形態における文生成装置１０の機能構成例を示す図である。図２３中、図１６又は図１７と同一又は対応する部分には同一符号を付している。第６の実施の形態において、文生成装置１０は、内容選択部１１を有さない。一方、生成部１２は、符号化部１２６の代わりに内容選択符号化部１２７を有する。内容選択符号化部１２７は、符号化部１２６（エンコーダ）及び内容選択部１１のそれぞれの機能を兼ねる。換言すれば、内容選択部１１を兼ねた符号化部１２６が内容選択符号化部１２７に相当する。

【0170】

図２４は、第６の実施の形態におけるモデル構成例を示す図である。図２４中、図２３又は図１８と同一又は対応する部分には同一符号を付している。図２４には、（ａ）～（ｃ）の３つのモデルの例が示されている。便宜上、（ａ）をＭＴ（Multi-Task）モデルといい、（ｂ）をＳＥ（Selective Encoding）モデルといい、（ｃ）をＳＡ（Selective Attention）モデルという。

【0171】

（ａ）のＭＴモデルは、重要度ｐ^ｅｘｔ _ｎに対する正解データを追加利用し、内容選択符号化部１２７及び復号化部１２３（すなわち、生成部１２）を同時に学習する。すなわち、重要度モデルと文生成モデルとが同時に学習される。この点は、ＳＥモデル及びＳＡモデル、並びに以降に説明される各モデル（すなわち、ＣＩＴモデル及びＳＥＧモデル以外）において共通である。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒ_ｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＭＴモデルでは、符号化結果（Ｈ^Ｍ _ｅ）のみが復号化部１２３に入力される。

【0172】

復号化部１２３は、第４の実施の形態と同様でよい。

【0173】

ＳＥモデル（ｂ）は、重要度ｐ^ｅｘｔ _ｎを用いて内容選択符号化部１２７の符号化結果にバイアスをかける（「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」）。具体的には、復号化部１２３は、内容選択符号化部１２７のＥｎｃｏｄｅｒブロックの最終出力である符号化結果ｈ^Ｍ _ｅｎに対して下記のように重要度によって重み付けを行う。

【0174】

【数35】

ＳＥモデル（ｂ）では、復号化部１２３に入力するｈ^Ｍ _ｅｎをｈ^～Ｍ _ｅｎで置き換える（但し、ｈ^～は、ｈの上の～が付された記号を示す）。「Q. Zhou et al. In ACL, pages 1095-1104, 2017.」ではＢｉＧＲＵを用いているが、本実施の形態では公平な比較のためＴｒａｎｓｆｏｒｍｅｒを用いて復号化部１２３が実装される。ＳＥモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒ_ｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＥモデルでは、符号化結果（Ｈ^Ｍ _ｅ）及び重要度Ｐ^ｅｘｔ _ｎのみが復号化部１２３に入力される。また、ＳＥモデルでは、重要度の正解が与えられない。

【0175】

ＳＡモデル（ｃ）は、ＳＥモデルと異なり復号化部１２３側のアテンションを重み付けする。具体的には、復号化部１２３は、ｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎの第ｉヘッドの重み行列

【0176】

【数36】

の各ステップｔのアテンション確率

【0177】

【数37】

（Ａ_ｉの第ｔ行）をｐ^ｅｘｔ _ｎにより重み付けする。

【0178】

【数38】

なお、Ｇｅｈｒｍａｎｎらが提案した類似手法ではｐｏｉｎｔｅｒｇｅｎｅｒａｔｏｒのコピー確率を重み付けしている（「S. Gehrmann et al. In EMNLP, pages 4098-4109, 2018.」）。一方、事前学習Ｓｅｑ－ｔｏ－Ｓｅｑモデルはコピー機構を有さないため、本実施の形態では復号化部１２３の全ての層のｃｏｎｔｅｘｔ－ａｔｔｅｎｔｉｏｎ計算において、上記の重み付けされたアテンション確率を用いて計算が行われる。ＭＴモデルにおいて、内容選択符号化部１２７のＥｎｃｏｄｅｒ_ｓａｌは、第４の実施の形態における符号化部１２６のパラメータを共有する。なお、図２４より明らかなように、ＳＡモデルでは、符号化結果（Ｈ^Ｍ _ｅ）及び重要度Ｐ^ｅｘｔ _ｎのみが復号化部１２３に入力される。また、ＳＡモデルでは、重要度の正解が与えられない。

【0179】

なお、ＭＴモデルとＳＥモデル又はＭＴモデルとを組み合わせたモデルも、第６の実施の形態として有効である。

【0180】

ＳＥ＋ＭＴモデルは、ＳＥモデルの学習において重要度ｐ^ｅｘｔ _ｎに対する正解データを追加利用して要約との同時学習を行う。

【0181】

ＳＡ＋ＭＴ本モデルは、ＳＡモデルの学習において重要度ｐ^ｅｘｔ _ｎに対する正解データを追加利用して要約との同時学習を行う。

【0182】

図２５は、第６の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２５中、図２３又は図１９と同一又は対応する部分には同一符号を付している。

【0183】

上記したように、第６の実施の形態のパラメータ学習部１３は、内容選択符号化部１２７と復号化部１２３とを同時に学習する。

【0184】

また、パラメータ学習部１３は、ＳＥモデル及びＳＡモデルの場合は、重要度Ｐ^ｅｘｔ _ｎの正解情報を与えず、要約文Ｙの正解情報のみを用いて生成部１２（内容選択符号化部１２７及び復号化部１２３）を学習する。この場合、パラメータ学習部１３は、損失関数Ｌ_ｇｅｎ＝Ｌ_{ｅｎｃｄｅｃ}とし、Ｌ_ｇｅｎが最小化されるように学習を行う。

【0185】

一方、ＭＴモデルの場合、パラメータ学習部１３は、重要度Ｓの正解情報と、要約文Ｙの正解情報とを用いて、内容選択符号化部１２７及び生成部１２（すなわち、内容選択符号化部１２７及び復号化部１２３）をマルチタスク学習する。すなわち、内容選択符号化部１２７を重要度モデル（内容選択部１１）として学習する際には、重要度Ｐ^ｅｘｔ _ｎの正解情報（重要か否か）が教師データとされて、Ｘ^ｃから重要度Ｐ^ｅｘｔ _ｎを予測するタスクの学習が行われる。また、生成部１２（内容選択符号化部１２７＋復号化部１２３）をＳｅｑ２Ｓｅｑ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）モデルとして学習する場合は、入力文Ｘ^Ｃに対する正解要約文を教師データとして、Ｘ^Ｃから要約文Ｙを予測するタスクの学習が行われる。このマルチタスク学習の際に、内容選択符号化部１２７のパラメータが両タスクで共有される。なお、重要度Ｐ^ｅｘｔ _ｎの正解情報（疑似的な正解）は、第４の実施の形態において説明した通りである。この場合、パラメータ学習部１３は、損失関数Ｌ_ｇｅｎ＝Ｌ_{ｅｎｃｄｅｃ}＋Ｌ_ｓａｌとして、Ｌ_ｇｅｎが最小化されるように学習を行う。

【0186】

次に、第７の実施の形態について説明する。第７の実施の形態では第４の実施の形態と異なる点について説明する。第７の実施の形態において特に言及されない点については、第４の実施の形態と同様でもよい。

【0187】

図２６は、第７の実施の形態における文生成装置１０の機能構成例を示す図である。図２６中、図１６又は図２３と同一又は対応する部分には同一符号を付している。図２６の文生成装置１０は、内容選択部１１及び生成部１２を有する。生成部１２は、内容選択符号化部１２７及び復号化部１２３を含む。すなわち、第７の実施の形態の文生成装置１０は、内容選択部１１及び内容選択符号化部１２７の双方を有する。

【0188】

このような構成は、上記におけるＣＩＴモデル（又はＳＥＧモデル）と、ＳＥモデル若しくはＳＡモデル（又はＭＴモデル）との組み合わせにより実現可能である。以下においてはＣＩＴモデルとＳＥモデルとの組み合わせ（ＣＩＴ＋ＳＥモデル）と、ＣＩＴモデルとＳＡモデルとの組み合わせ（ＣＩＴ＋ＳＡモデル）とについて説明する。

【0189】

ＣＩＴ＋ＳＥモデルでは、ＣＩＴモデルのＸ^Ｃ＋Ｘ^ｐに対して、ＳＥモデルにより重要度

【0190】

【数39】

が教師無しで学習され、

【0191】

【数40】

に重み付けが行われる。すなわち、Ｘ^Ｃ＋Ｘ^ｐがＳＥモデルの内容選択符号化部１２７の入力とされ（ＸＣは内容選択部１１によって選択される）、Ｘ^Ｃ＋Ｘ^ｐに対する重要度ｐ^ｅｘｔが推定される。

【0192】

ＣＩＴ＋ＳＡモデルでは、ＣＩＴ＋ＳＥモデルと同様に、

【0193】

【数41】

が教師無しで学習され、

【0194】

【数42】

に重み付けが行われる。すなわち、ＣＩＴモデルのＸ^Ｃ＋Ｘ^ｐがＳＡモデルの内容選択符号化部１２７の入力とされ、Ｘ^Ｃ＋Ｘ^ｐに対する重要度ｐ^ｅｘｔが推定される
図２７は、第７の実施の形態における文生成装置１０の学習時における機能構成例を示す図である。図２７中、図２６又は図１９と同一又は対応する部分には同一符号を付している。

【0195】

第７の実施の形態においてパラメータ学習部１３が実行する処理は、第６の実施の形態と同様でよい。

【0196】

［実験］
第４の実施の形態から第７の実施の形態について行った実験について説明する。

【0197】

＜データセット＞
要約データセットにおいて代表的なＣＮＮ／ＤＭ（「K. M. Hermann et al. In NIPS, pages 1693-1701, 2015.」）とＸＳｕｍ（「S. Narayan et al. In EMNLP, pages 1797-1807, 2018.」）を用いた。ＣＮＮ／ＤＭは、３文程度の抽出率が高い要約データであり、ＸＳｕｍは、１文程度の短く抽出率が低い要約データである。評価は、要約自動評価で標準的に用いられるＲＯＵＧＥ値を用いて行った。各データの概要を表３に示す。要約平均長は、各データのｄｅｖセットをｆａｉｒｓｅｑ１のｂｙｔｅ－ｌｅｖｅｌＢＰＥ（「A. Radford et al. Language models are unsupervised multi-task learners. Technical report, OpenAI, 2019.」）にてサブワードに分割した単位で計算した。

【0198】

【表3】

＜学習設定＞
ｆａｉｒｓｅｑを用いて各モデルの実装を行った。７枚のNVIDIA V100 32GB GPUにより学習を行った。ＣＮＮ／ＤＭの学習では、「M. Lewis et al. arXiv, 1910.13461, 2019.」と同じ設定を用いた。ＸＳｕｍの学習については著者らに確認を取り、ＣＮＮ／ＤＭの設定からミニバッチの勾配累積に関するパラメータＵＰＤＡＴＥＦＲＥＱを２に変更した。また、学習時におけるＣＩＴモデルの内容選択部１１の抽出単語数Ｋは、ｄｅｖセットの精度を確認し、ＣＮＮ／ＤＭでは正解要約長を５単位でｂｉｎ分割した値、ＸＳｕｍでは固定長３０と決定した。なお、評価時はＣＮＮ／ＤＭではｄｅｖセットの平均要約長をＫとし、ＸＳｕｍでは学習時と同じ３０とした。また、ＸＳｕｍでは、重要単語列に重複を含まないように設定した。なお、学習時のＫの設定については、任意の固定値とする方法、任意の閾値を定め当該閾値以上の値とする方法、正解要約の長さＬに依存させる方法がある。Ｋの設定を正解要約の長さＬに依存させて学習を行う場合には、テスト時にＫの長さを変えることによって要約長をコントロールすることができる。

【0199】

＜実験結果＞
「重要度モデルを組み合わせることによって要約精度は向上するか？」に関する実験結果（各モデルのＲＯＵＧＥ値）を表４、表５に示す。

【0200】

【表4】

【0201】

【表5】

表４、表５に示す通り、両方のデータセットにおいてＣＩＴ＋ＳＥが最も良い結果となった。まず、ＣＩＴ単体でも精度が向上したことから、重要単語の結合が重要な情報を文生成モデル（生成部１２）に与える方法として優れていることがわかる。そして、ＣＩＴをＳＥやＳＡモデルと組み合わせることでさらなる精度の向上が確認できたことから、重要単語の中にはノイズも含まれるが、ソフトな重み付けを組み合わせることによって改善されていると考える。

【0202】

ＳＥ、ＳＡはいずれのデータでも精度が向上した。重要度正解を同時学習するＭＴ、ＳＥ＋ＭＴ、ＳＡ＋ＭＴはＣＮＮ／ＤＭでは精度が向上したが、ＸＳｕｍでは精度が低下した。これは重要度の疑似的正解の質の影響と考える。ＣＮＮ／ＤＭは要約が比較的長く抽出要素が強いため、疑似的正解を作成する際に単語同士のアライメントが取り易い。一方で、ＸＳｕｍデータは要約が短く、ソーステキスト以外の表現で記述されることが多いため、アライメントが取り難く、疑似的正解がノイズとして働いた。ＣＩＴにおいても、この影響によりＸＳｕｍにおける精度の向上幅はＣＮＮ／ＤＭよりも狭いが、性質の異なるデータでいずれも最も高い性能を示していることから、頑健に動作する手法と言える。

【0203】

なお、"our fine-tuning"は、本願発明者によるFine-tuning結果（ベースライン）を表す。また、表５における下線は、ベースラインモデルの改善の中での最高精度を表す。

【0204】

「重要度モデル単体のトークン抽出精度はどの程度か？」に関する実験結果を表６に示す。

【0205】

表６はＣＩＴの重要度ｐ^ｅｘｔによって上位に選択されたトークン列と要約テキストのＲＯＵＧＥ値を評価した結果である。

【0206】

【表6】

ＣＮＮ／ＤＭにおいては、重要単語の特定が適切に行われていることがわかる。抽出型要約の従来手法のＳＯＴＡであるＰｒｅｓｕｍ（「Y. Liu et al. In EMNLP-IJCNLP, pages 3728-3738, 2019.」）と比較しても、Ｒ１やＲ２で高い精度を出しており、単語レベルで重要な要素を抽出できていることがわかる。ＳＥモデルやＳＡモデルの内部的に学習されたｐ^ｅｘｔでは各単語の重要度に大きな差がなかったが、本モデルでは重要な単語を明示的に考慮することができる。一方で、ＸＳｕｍは抽出率の低いデータであるため、全体的に重要度モデルの精度が低い。このことが要約精度の向上がＣＮＮ／ＤＭよりも低くなっている原因と考える。今回検証した疑似的正解を与える手法は抽出率の高いデータにおいて特に効果を発揮したが、抽出率の低いデータにおいても重要度モデルの精度を向上させることでさらに精度向上が期待できる。

【0207】

なお、上記各実施の形態では、要約文の生成タスクを例として説明したが、他の各種の文生成タスクに対して上記各実施の形態が適用されてもよい。

【0208】

なお、上記各実施の形態において、学習時の文生成装置１０は、文生成学習装置の一例である。

【0209】

以上、本発明の実施の形態について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0210】

１０ 文生成装置
１１ 内容選択部
１２ 生成部
１３ パラメータ学習部
１４ 検索部
１５ 内容選択符号化部
２０ 知識源ＤＢ
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１２１ ソーステキスト符号化部
１２２ 参考テキスト符号化部
１２３ 復号化部
１２４ 合成部
１２５ ジョイント符号化部
１２６ 符号化部
Ｂ バス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】