特許 7413630 要約生成モデルの訓練方法、装置、デバイス及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】要約生成モデルの訓練方法、装置、デバイス及び記憶媒体

(51)【国際特許分類】

   G06F 16/38 20190101AFI20240109BHJP

   G06F 40/279 20200101ALI20240109BHJP

   G06F 40/216 20200101ALI20240109BHJP

【ＦＩ】

G06F16/38

G06F40/279

G06F40/216

【請求項の数】 11

(21)【出願番号】P 2022033961

(22)【出願日】2022-03-04

(65)【公開番号】P2023007372

(43)【公開日】2023-01-18

【審査請求日】2022-03-04

(31)【優先権主張番号】202110734020.1

(32)【優先日】2021-06-30

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ウ、ウェンハオ

(72)【発明者】

【氏名】リ、ウェイ

(72)【発明者】

【氏名】シャオ、シンヤン

(72)【発明者】

【氏名】リウ、ジアチェン

【審査官】酒井 恭信

(56)【参考文献】

【文献】特開２０１９－０５７０２３（ＪＰ，Ａ）

【文献】特開２０１９－０８３００２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００ － １６／９５８

Ｇ０６Ｆ ４０／２０ － ４０／５８

(57)【特許請求の範囲】

【請求項1】

コンピューターで実行される要約生成モデルの訓練方法であって、
文書サンプルに対応する文書表現を取得することと、
前記文書表現に基づいて、前記文書表現に対応する、ポジティブ要約表現とネガティブ要約表現とを含む要約表現を構築することと、
前記文書表現と、前記ポジティブ要約表現と、前記ネガティブ要約表現とに基づいて、総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練することと、を含み、
前記要約生成モデルはエンコーダとデコーダとを備え、
前記文書サンプルに対応する文書表現を取得することは、
前記エンコーダを使用して前記文書サンプルを処理して符号化表現を取得し、前記デコーダを使用して前記符号化表現を処理して復号化表現を取得し、
前記符号化表現及び／又は前記復号化表現を前記文書表現とする、
ことを含み、
前記文書表現は前記符号化表現と前記復号化表現とを含み、
前記文書表現と、前記ポジティブ要約表現と、前記ネガティブ要約表現とに基づいて総比較損失関数を構築することは、
前記符号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第１比較損失関数を構築し、
前記復号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第２比較損失関数を構築し、
前記第１比較損失関数及び前記第２比較損失関数に基づいて、総比較損失関数を構築する、ことを含む、
要約生成モデルの訓練方法。

【請求項2】

前記文書表現は前記復号化表現を含み、
前記文書表現に基づいて前記文書表現に対応するポジティブ要約表現とネガティブ要約表現とを含む要約表現を構築することは、
前記復号化表現に対応する生成テキストを取得し、
前記生成テキストに基づいてポジティブ要約サンプル及びネガティブ要約サンプルを構築し、
前記ポジティブ要約サンプルに対応するポジティブ要約表現、及び、前記ネガティブ要約サンプルに対応するネガティブ要約表現を取得する、
ことを含む請求項１に記載の要約生成モデルの訓練方法。

【請求項3】

前記生成テキストに基づいてポジティブ要約サンプルを構築することは、
前記生成テキストをループバック翻訳してループバック翻訳結果を取得し、前記ループバック翻訳結果を前記ポジティブ要約サンプルとする、
ことを含む請求項２に記載の要約生成モデルの訓練方法。

【請求項4】

前記生成テキストに基づいてネガティブ要約サンプルを構築することは、
前記生成テキストにエンティティ置換を行ってエンティティ置換結果を取得し、前記エンティティ置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストに代名詞置換を行って代名詞置換結果を取得し、前記代名詞置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストに感情置換を行って感情置換結果を取得し、前記感情置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストの類似テキストを取得し、前記類似テキストを前記ネガティブ要約サンプルとすること、及び
前記生成テキストに仮想的な対抗訓練を行って仮想的な対抗結果を取得し、前記仮想的な対抗結果を前記ネガティブ要約サンプルとすること、
のうちの少なくとも１つを含む請求項２または３に記載の要約生成モデルの訓練方法。

【請求項5】

要約生成モデルの訓練装置であって、
文書サンプルに対応する文書表現を取得する取得モジュールと、
前記文書表現に基づいて、前記文書表現に対応する、ポジティブ要約表現とネガティブ要約表現とを含む要約表現を構築する構築モジュールと、
前記文書表現と、前記ポジティブ要約表現と、前記ネガティブ要約表現とに基づいて、総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練する訓練モジュールと、を備え、
前記要約生成モデルはエンコーダ及びデコーダを備え、
前記取得モジュールは、
前記エンコーダを使用して前記文書サンプルを処理して符号化表現を取得し、
前記デコーダを使用して前記符号化表現を処理して復号化表現を取得し、
前記符号化表現及び／又は前記復号化表現を前記文書表現とし、
前記文書表現は前記符号化表現と前記復号化表現とを含み、
前記訓練モジュールは、
前記符号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第１比較損失関数を構築し、
前記復号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第２比較損失関数を構築し、
前記第１比較損失関数と前記第２比較損失関数とに基づいて、総比較損失関数を構築する、
要約生成モデルの訓練装置。

【請求項6】

前記文書表現は前記復号化表現を含み、
前記構築モジュールは、
前記復号化表現に対応する生成テキストを取得し、
前記生成テキストに基づいて、ポジティブ要約サンプル及びネガティブ要約サンプルを構築し、
前記ポジティブ要約サンプルに対応するポジティブ要約表現、及び、前記ネガティブ要約サンプルに対応するネガティブ要約表現を取得する、
請求項５に記載の要約生成モデルの訓練装置。

【請求項7】

前記構築モジュールは、
前記生成テキストをループバック翻訳してループバック翻訳結果を取得し、前記ループバック翻訳結果を前記ポジティブ要約サンプルとする、
請求項６に記載の要約生成モデルの訓練装置。

【請求項8】

前記構築モジュールは、
前記生成テキストにエンティティ置換を行ってエンティティ置換結果を取得し、前記エンティティ置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストに代名詞置換を行って代名詞置換結果を取得し、前記代名詞置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストに感情置換を行って感情置換結果を取得し、前記感情置換結果を前記ネガティブ要約サンプルとすること、
前記生成テキストの類似テキストを取得し、前記類似テキストを前記ネガティブ要約サンプルとすること、及び
前記生成テキストに仮想的な対抗訓練を行って仮想的な対抗結果を取得し、前記仮想的な対抗結果を前記ネガティブ要約サンプルとすること、
のうちの少なくとも１つを実行する請求項６または７に記載の要約生成モデルの訓練装置。

【請求項9】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、
前記メモリに前記少なくとも１つのプロセッサにより実行可能なプログラムが記憶されており、前記プログラムが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに請求項１から４のいずれか１項に記載の要約生成モデルの訓練方法を実行させる電子デバイス。

【請求項10】

コンピュータに請求項１から４のいずれか１項に記載の要約生成モデルの訓練方法を実行させるためのコンピュータプログラムを記憶する非一時的なコンピュータ可読記憶媒体。

【請求項11】

プロセッサに請求項１から４のいずれか１項に記載の要約生成モデルの訓練方法を実行させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術の分野に関し、具体的に自然言語処理、ディープラーニングなどの人工知能の分野に関し、特に要約生成モデルの訓練方法、装置、デバイス及び記憶媒体に関する。

【背景技術】

【0002】

自動要約は、１つ又は複数の文書に対して簡潔な要約を自動的に生成するように設計されている。生成された当該要約は、一貫性があり、スムーズで且つ元の文書の内容に忠実である必要がある。自動要約は抽出式要約と生成式要約に分類される。生成式要約は、ビッグデータ技術により人間による文章のまとめを模倣して入力文書を理解し、言語を編成して目標要約を生成することを目的とする。生成式要約の処理手順は、入力された文書に対応する要約を得るために要約生成モデルを用いて入力された文書を処理することを含むことができる。

【0003】

関連技術では、要約生成モデルを訓練する際に、損失関数として最尤確率関数を用いて訓練する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、要約生成モデルの訓練方法、装置、電子デバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様によれば、文書サンプルに対応する文書表現を取得し、前記文書表現に基づいて、前記文書表現に対応する、ポジティブ要約表現とネガティブ要約表現とを含む要約表現を構築し、前記文書表現、前記ポジティブ要約表現、前記ネガティブ要約表現に基づいて、総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練することを含む要約生成モデルの訓練方法を提供する。

【0006】

本開示の別の態様によれば、文書サンプルに対応する文書表現を取得する取得モジュールと、前記文書表現に基づいて、前記文書表現に対応する、ポジティブ要約表現及びネガティブ要約表現を含む要約表現を構築する構築モジュールと、前記文書表現、前記ポジティブ要約表現、前記ネガティブ要約表現に基づいて、総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練する訓練モジュールとを備える要約生成モデルの訓練装置を提供する。

【0007】

本開示の別の態様によれば、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信可能に接続されたメモリとを備え、前記メモリに前記少なくとも１つのプロセッサにより実行可能なコマンドが記憶されており、前記コマンドが前記少なくとも１つのプロセッサにより実行されると、前記少なくとも１つのプロセッサに上記のいずれか１項の態様に記載の方法を実行させる電子デバイスを提供する。

【0008】

本開示の別の態様によれば、コンピュータに上記のいずれか１項の態様に記載の方法を実行させるためのコンピュータコマンドを記憶した非一時的なコンピュータ可読記憶媒体を提供する。

【0009】

本開示の別の態様によれば、プロセッサにより実行されると、上記のいずれか１項の態様に記載の方法を実現するコンピュータプログラムを含むコンピュータプログラム製品を提供する。

【0010】

本開示の技術案によれば、要約生成モデルの精度を向上させることができる。

【0011】

理解すべきなのは、本セクションで説明される内容は、本開示の実施形態の重要な又は肝心な特徴を標識することでもなく、本開示の範囲を制限することでもない。本開示の他の特徴は、以下の明細書により容易に理解されるであろう。

【図面の簡単な説明】

【0012】

図面は、本技術案をより良く理解するためのものであり、本願に制限されない。図面において、

【図1】本開示の第１実施形態に係る概略図である。

【図2】本開示の第２実施形態に係る概略図である。

【図3】本開示の第３実施形態に係る概略図である。

【図4】本開示の第４実施形態に係る概略図である。

【図5】本開示の第４実施形態に係る概略図である。

【図6】本開示の第４実施形態に係る概略図である。

【図7】本開示の実施形態に係る要約生成モデルの訓練方法のいずれかを実現するための電子デバイスの概略図である。

【発明を実施するための形態】

【0013】

以下、図面に基づいて、本出願の例示的な実施例を説明する。理解を容易にするために、本出願の実施例の様々な詳細が含まれており、それらは単なる例示と見なされるべきである。従って、当業者は、本出願の範囲及び精神から逸脱することなく、本明細書に記載の実施形態に対して様々な変更及び修正を行うことができることを認識するはずである。同様に、簡明のために、以下の説明では、よく知られた機能と構造の説明は省略される。

【0014】

図１は、本開示の第１実施形態に係る概略図である。本実施形態は、以下のことを含む要約生成モデルの訓練方法を提供する。

【0015】

１０１において、文書サンプルに対応する文書表現を取得する。

【0016】

１０２において、前記文書サンプルに基づいて、前記文書サンプルに対応する、ポジティブ要約サンプルとネガティブ要約サンプルとを含む要約サンプルを取得する。

【0017】

１０３において、前記文書サンプル、前記ポジティブ要約サンプル、及び前記ネガティブ要約サンプルに基づいて総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練する。

【0018】

本実施形態の実行主体は、要約生成モデルの訓練装置であって良い。この訓練装置は、端末やサーバなどに配置されて良い。

【0019】

文書サンプルは、既存のデータセットから取得することができる。例えば、履歴収集又は構築により、既存の文書を含み得る大量の既存データを取得することができるため、既存の文書を文書サンプルとする。

【0020】

表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、データを記述するための情報である。例えば、画素点については、その表現はＲＧＢデータ又はＨＳＶデータであってよい。表現（ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）は、一般的にデータをベクトル形式で記述することができる。

【0021】

要約生成モデル（単にモデルと呼ぶことができる）とは、文書を処理して文書に対応する要約を得るためのモデルである。例えば、図２に示すように、適用段階では、要約生成すべき文書が要約生成モデルに入力され、要約生成モデルによりその文書を処理してその文書に対応する要約を出力する。文書に対応する要約とは、文書中のキー情報のことであり、要約生成モデルに基づいて生成された要約は、元の文書にはない新しい単語、フレーズなどを生成することができる。

【0022】

ポジティブ要約表現とは、文書サンプルに対するポジティブ要約サンプルの表現であり、ネガティブ要約表現とは、文書サンプルに対するネガティブ要約サンプルの表現である。

【0023】

ポジティブ要約サンプルとは、文書サンプルと語義的に一致する要約サンプルを意味し、ネガティブ要約サンプルとは、文書サンプルと語義的に一致しない要約サンプルを意味する。例えば、ある文書サンプルはある映画が良いと意味している場合、ある要約サンプルもその映画が良い、又は類似の語義、例えば素晴らしい、まあまあなどと意味すれば、その要約サンプルはポジティブ要約サンプルであり、ある要約サンプルがその映画が悪い、例えばひどいと意味すれば、その要約サンプルはネガティブ要約サンプルである。

【0024】

関連技術では、要約生成モデルを訓練する際、損失関数は一般に最尤確率関数を用いる。最尤確率関数はバイナリ関数であり、サンプルの予測表現と真表現に基づいて構築されている。しかし、最尤確率関数は統計的関係のみを反映するため、語義的関係を正確に反映することができず、要約生成モデルの精度に影響を与える。

【0025】

本開示実施形態では、要約生成モデルが訓練時に採用する損失関数は、ポジティブとネガティブサンプルの間の関係をよりよく比較するためにトリプルに基づいて構築された損失関数である比較損失（ｃｏｎｔｒａｓｔｉｖｅ ｌｏｓｓ）関数である。その後に現れる比較損失関数と区別するために、モデル訓練で最終的に採用される比較損失関数を総比較損失関数と呼ぶことができる。

【0026】

具体的には、総比較損失関数の基礎となるトリプルは、文書表現、ポジティブ要約表現、及びネガティブ要約表現を含む。上記のトリプルに基づく総比較損失関数の訓練目標は、語義的に関連性の強いサンプル表現の距離が近く、語義的に関連性の弱いサンプル表現の距離が遠いことである。このように、予測（即ちモデルを用いて文書の要約を生成する）を行う際に、ノイズが存在して生成される要約に多少のゆらぎがあっても、語義的に関連していないテキスト間の距離が離れているため、モデルにより語義的に関連性の良い要約を生成することができる。

【0027】

図３に示すように、文書が映画Ａに関する映画評価文書であり、その映画評価文書はＡが良い映画（ａ ｇｏｏｄ ｍｏｖｉｅ（Ａ））であることを示しているとすると、理想的には、映画評価文書に対応する要約は白丸で表現され、即ち要約：Ａは素晴らしい（ｍｏｖｉｅ Ａ ｉｓ ｇｒｅａｔ）である。ノイズがあっても生成される要約は斜線付き丸で表現され、即ち要約：Ａは非常に良い（Ａ ｉｓ ａｗｅｓｏｍｅ）又はＡはオーケー（Ｔｈｅ ｍｏｖｉｅ ｉｓ Ｏｋａｙ）である可能性がある。しかし、モデル訓練時に語義的に関連しないサンプル間の距離が離れているため、語義的に関連しない要約は生成されず、例えば黒丸で示された要約：Ａは悪い（Ｔｈｅ ｍｏｖｉｅ ｉｓ ａｗｆｕｌ）は生成されない。説明を簡単にするために、図３における各丸は多様体（ｍａｉｎｆｏｌｄ）空間内に表現されていることが理解できる。

【0028】

上記のトリプルに基づいて、トリプルに基づく総比較損失関数を構築することができる。その後、総比較損失関数に基づいて要約生成モデルを訓練することができ、すなわち、総比較損失関数が収束するまで、総比較損失関数に基づいてモデルパラメータを調整することができる。

【0029】

本実施形態では、文書表現、文書表現に対応するポジティブ要約表現、及び文書表現に対応するネガティブ要約表現に基づく総比較損失関数を構築し、この総比較損失関数に基づいて要約生成モデルを訓練することにより、モデル訓練時に比較学習を導入して要約生成モデルの精度を向上させることができる。

【0030】

図２に示すように、要約生成モデルは入力が１種類のテキスト（文書）であり、出力が他の種類のテキスト（要約）である。従って、要約生成モデルはシーケンス対シーケンス（ｓｅｑ２ｓｅｑ）モデルであって良い。シーケンス対シーケンスモデルは一般的にエンコーダ（ｅｎｃｏｄｅｒ）とデコーダ（ｄｅｃｏｄｅｒ）を含む。

【0031】

図４に示すように、要約生成モデルがエンコーダとデコーダを含む場合を例にする。適用段階では、文書をエンコーダに入力し、エンコーダにより文書を処理した後、符号化表現を取得する。その後、符号化表現をデコーダに入力し、デコーダにより処理された後に復号化表現を取得することができる。その後、復号化表現に基づいて、文書に対応する要約として、ルックアップテーブルなどの方法で復号化表現に対応するテキストを取得することができる。エンコーダ及びデコーダを含むシーケンス対シーケンスモデルは、Ｔｒａｎｓｆｏｒｍｅｒモデルのような関連技術におけるモデル構造を採用することができる。訓練段階では、入力された文書は文書サンプルと称され、文書サンプルに対応する符号化表現及び／又は復号化表現は文書表現とすることができる。

【0032】

エンコーダ及びデコーダに基づいて文書表現を取得することにより、シーケンス対シーケンスモデルのシナリオに適用することができる。

【0033】

図５は、本開示の第５実施形態に係る概略図である。本実施形態は要約生成モデルの訓練方法を提供する。当該方法は、図４に示す構成に合わせて以下のことを含む。

【0034】

５０１において、要約生成モデルにおけるエンコーダを使用して文書サンプルを処理して符号化表現を取得する。

【0035】

５０２において、要約生成モデルにおけるデコーダを使用して前記符号化表現を処理して復号化表現を得る。

【0036】

エンコーダ及びデコーダは、関連技術におけるＴｒａｎｓｆｏｒｍｅｒモデルのようなシーケンス対シーケンスモデルにおけるエンコーダ及びデコーダを使用することができる。

【0037】

５０３において、前記復号化表現に対応する生成テキストを取得する。

【0038】

ここで、復号化表現は一般に多次元ベクトルであり、ベクトルとテキストとの対応関係のテーブルをあらかじめ配置しておき、このテーブルをルックアップすることにより復号化表現に対応するテキストを生成テキストとして得ることができる。

【0039】

５０４において、前記生成テキストに基づいて、ポジティブ要約サンプル及びネガティブ要約サンプルを構築する。

【0040】

ここで、ループバック翻訳の方式を用いてポジティブ要約サンプルを得ることができる。

【0041】

即ち、前記生成テキストをループバック翻訳してループバック翻訳結果を得、前記ループバック翻訳結果を前記ポジティブ要約サンプルとすることができる。

【0042】

たとえば、生成テキストが中国語１であり、翻訳器を用いて中国語１に対応する英訳として英語０が得られ、更に翻訳器を用いて得られた英語０に対応する中国語翻訳が中国語２となる場合に、中国語２は中国語１のループバック翻訳結果となり、即ち中国語２は中国語１のポジティブ要約サンプルとして良い。

【0043】

ループバック翻訳により、構文は異なるが語義が一致するポジティブ要約サンプルを構築することができる。

【0044】

ここで、ネガティブ要約サンプルは、次のいずれか１つ以上を使用して取得することができる。

【0045】

（１）前記生成テキストをエンティティ置換してエンティティ置換結果を得、前記エンティティ置換結果を前記ネガティブ要約サンプルとする。

【0046】

例えば、生成テキストに地名エンティティ「北京」が含まれている場合、他の地名エンティティ、例えば「天津」でその地名エンティティ「北京」を置き換えてエンティティの関係上の誤りを構築し、置き換えられた「天津」を含むテキストをネガティブ要約サンプルとすることができる。

【0047】

（２）前記生成テキストに対して代名詞置換を行って代名詞置換結果を得、前記代名詞置換結果を前記ネガティブ要約サンプルとする。

【0048】

例えば、生成テキストに人称代名詞「彼」が含まれている場合には、「彼女」で置き換えて人称代名詞上の誤りを構築し、置き換えられた「彼女」を含むテキストをネガティブ要約サンプルとすることができる。

【0049】

（３）前記生成テキストを感情置換して感情置換結果を得、前記感情置換結果を前記ネガティブ要約サンプルとする。

【0050】

例えば、肯定文を否定文に置き換え、具体的には、テキスト中の「はい」を「いいえ」に置き換えて感情的な誤りを構築し、置き換えられた「いいえ」を含むテキストをネガティブ要約サンプルとする。

【0051】

（４）前記生成テキストの類似テキストを取得し、前記類似テキストを前記ネガティブ要約サンプルとする。

【0052】

ここで、類似テキストとは、生成テキストと強く類似したテキストを意味することができる。具体的には、生成テキストと既存の候補テキストとの類似度を計算し、類似度が最も高い（ｔｏｐ‐１）又はＮ（Ｎは設定可能）（ｔｏｐ‐Ｎ）個の高い候補テキストをネガティブ要約サンプルとすることができる。

【0053】

（５）前記生成テキストに仮想的な対抗処理を施して仮想的な対抗結果を得、前記仮想的な対抗結果を前記ネガティブ要約サンプルとする。

【0054】

仮想的な対抗は、入力に外乱を加えることにより、モデルの出力が外乱のない入力の出力と異なるようにすることを重要な一環とするデータ強化技術である。本実施形態では仮想的な対抗により、生成テキストに対応する表現に外乱を加え、外乱を加えた表現をネガティブ要約表現とすることができる。

【0055】

以上のネガティブ要約サンプルの構築技術により、事実誤りがあり表層的に区別されにくい強いネガティブ要約サンプルを構築することが可能となり、モデルの性能を有効に向上することができる。

【0056】

生成テキストに基づいてポジティブ要約サンプルとネガティブ要約サンプルを構築することにより、サンプル数を豊富にし、モデル効果を向上させることができる。

【0057】

５０５において、前記ポジティブ要約サンプルに対応するポジティブ要約表現、及び前記ネガティブ要約サンプルに対応するネガティブ要約表現を取得する。

【0058】

ここで、ポジティブ要約サンプルを例にすると、ｗｏｒｄ２ｖｅｃモデルや他のテキストからベクトルへの変換モデルを用いて、ポジティブ要約サンプルを対応するベクトル形式に変換してポジティブ要約表現とすることができる。ネガティブ要約表現も同様の方法で取得することができる。

【0059】

５０６において、前記符号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第１比較損失関数を構築し、前記復号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて、第２比較損失関数を構築し、前記第１比較損失関数と前記第２比較損失関数とに基づいて総比較損失関数を構築する。

【0060】

図４に示すように、ポジティブ要約表現をＰで表し、ネガティブ要約表現をＮで表す。本実施形態において、２つの語義比較が含まれている。１つは入力側語義比較と呼び、もう１つは出力側語義比較と呼ぶことができる。入力側語義比較の比較トリプルは、符号化表現、ポジティブ要約表現及びネガティブ要約表現を含み、出力側語義比較の比較トリプルは、復号化表現、ポジティブ要約表現及びネガティブ要約表現を含む。

【0061】

比較損失関数の具体的な形式は、必要に応じて設定できる。計算式の一つとして次のようになる。

【数1】

【数2】

【数3】

【0062】

ここで、

は総比較損失関数、

は第１比較損失関数、

は第２比較損失関数、

は符号化表現、

は復号化表現、

はポジティブ要約表現、

はネガティブ要約表現、ｎはネガティブ要約表現の総数、

は予め設定されたスーパーパラメータである。

【0063】

入力側語義比較により、復号化表現と符号化表現との事実の一致性を学習することができ、すなわち、１つの符号化表現と複数の復号化表現とを与えると、モデルは、正しくマッチングされた復号化表現に対してより大きな類似度を与え、誤ってマッチングされた復号化表現に対してより小さな類似度を与えることを学習することができる。出力側語義表現は、出力表現の間の類似度、即ち復号化表現と事実の一致性があるポジティブ要約表現の間の類似度が大きく、ポジティブ要約表現とネガティブ要約表現の類似度が小さいことを学習することができる。

【0064】

５０７において、前記総比較損失関数に基づいて要約生成モデルを訓練する。

【0065】

たとえば、総比較損失関数が収束するか、あらかじめ設定された反復回数に達するまで、総比較損失関数を用いて要約生成モデルのパラメータを調整する。

【0066】

本実施形態では、２つの語義比較により、要約生成モデルが事実的に誤った要約を生成する現象を緩和し、通常のｓｅｑ２ｓｅｑモデルよる要約に比べて原文により忠実で生成品質を保証することができる。また、本実施形態の要約生成モデルを用いると、訓練時の文書サンプルや予測時の文書の前処理や後処理が不要となり、訓練や予測の効率を向上させることができる。

【0067】

図６は、本開示の第４実施形態に係る概略図である。本実施形態は要約生成モデルの訓練装置を提供する。図６に示すように、要約生成モデルの訓練装置６００は、取得モジュール６０１と、構築モジュール６０２と、訓練モジュール６０３とを備える。

【0068】

取得モジュール６０１は、文書サンプルに対応する文書表現を取得する。構築モジュール６０２は、前記文書表現に基づいて、前記文書表現に対応する、ポジティブ要約表現及びネガティブ要約表現を含む要約表現を構築する。訓練モジュール６０３は、前記文書表現、前記ポジティブ要約表現、前記ネガティブ要約表現に基づいて総比較損失関数を構築し、前記総比較損失関数に基づいて要約生成モデルを訓練する。

【0069】

幾つかの実施形態では、前記要約生成モデルは、エンコーダ及びデコーダを備え、前記取得モジュール６０１は、具体的には、前記エンコーダを使用して前記文書サンプルを処理して符号化表現を取得し、前記デコーダを使用して前記符号化表現を処理して復号化表現を取得し、前記符号化表現及び／又は前記復号化表現を前記文書表現とする。

【0070】

幾つかの実施形態では、前記文書表現は、前記符号化表現及び前記復号化表現を含み、前記訓練モジュール６０３は、具体的に、前記符号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて第１比較損失関数を構築し、前記復号化表現、前記ポジティブ要約表現、及び前記ネガティブ要約表現に基づいて第２比較損失関数を構築し、前記第１比較損失関数と前記第２比較損失関数とに基づいて総比較損失関数を構築する。

【0071】

幾つかの実施形態では、前記文書表現は、前記復号化表現を含み、前記構築モジュール６０２は、具体的に、前記復号化表現に対応する生成テキストを取得し、前記生成テキストに基づいてポジティブ要約サンプル及びネガティブ要約サンプルを構築し、前記ポジティブ要約サンプルに対応するポジティブ要約表現、前記ネガティブ要約サンプルに対応するネガティブ要約表現を取得する。

【0072】

いくつかの実施形態では、前記構築モジュール６０２は、さらに具体的に、前記生成テキストをループバック翻訳してループバック翻訳結果を取得し、前記ループバック翻訳結果を前記ポジティブ要約サンプルとする。

【0073】

いくつかの実施形態では、前記構築モジュール６０２は、更に具体的に、前記生成テキストをエンティティ置換してエンティティ置換結果を取得し、前記エンティティ置換結果を前記ネガティブ要約サンプルとすること、前記生成テキストを代名詞置換して代名詞置換結果を取得し、前記代名詞置換結果を前記ネガティブ要約サンプルとすること、前記生成テキストを感情置換して感情置換結果を取得し、前記感情置換結果を前記ネガティブ要約サンプルとすること、前記生成テキストの類似テキストを取得し、前記類似テキストを前記ネガティブ要約サンプルとすること、前記生成テキストに仮想的な対抗訓練を実行して仮想的な対抗結果を取得し、前記仮想的な対抗結果を前記ネガティブ要約サンプルとすること、のうちの少なくとも１項を実行する。

【0074】

本実施形態では、文書表現、文書表現に対応するポジティブ要約表現、及び文書表現に対応するネガティブ要約表現に基づく総比較損失関数を構築し、この総比較損失関数に基づいて要約生成モデルを訓練することにより、モデル訓練時に比較学習を導入して要約生成モデルの精度を向上させることができる。

【0075】

理解すべきなのは、本開示の実施形態では、異なる実施形態における同一又は類似の内容を互いに参照することができる。

【0076】

理解すべきなのは、本開示の実施形態における「第１」、「第２」等は、単に区別するためのものであり、重要度の高低、タイミングの前後等を表すものではない。

【0077】

本開示の実施形態によれば、本開示は更に、電子デバイス、可読記憶媒体、及びコンピュータプログラム製品を提供する。

【0078】

図７は、本開示の実施形態を実施するために使用され得る例示的な電子デバイス７００の模式的なブロック図である。電子デバイスは、ラップトップ、デスクトップコンピュータ、ワークベンチ、サーバ、ブレードサーバ、大型コンピュータ、及び他の適切なコンピュータのような、様々な形態のデジタルコンピュータを表す。電子デバイスは更に、ＰＤＡ、携帯電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すことができる。本明細書に示す構成要素、それらの接続及び関係、ならびにそれらの機能は、単なる一例であり、本明細書に記載及び／又は要求された本開示の実現を制限することではない。

【0079】

図７に示すように、電子デバイス７００は、読み取り専用メモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム、又は記憶手段７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる演算手段７０１を含む。ＲＡＭ７０３には、電子デバイス７００の動作に必要な各種のプログラムやデータが記憶されてもよい。演算手段７０１、ＲＯＭ７０２及びＲＡＭ７０３は、バス７０４を介して接続されている。入出力（Ｉ／Ｏ）インターフェース７０５もバス７０４に接続されている。

【0080】

例えばキーボード、マウス等の入力手段７０６と、例えば様々なタイプのディスプレイ、スピーカ等の出力手段７０７と、例えば磁気ディスク、光ディスク等の記憶手段７０８と、例えばネットワークカード、モデム、無線通信トランシーバなどの通信手段７０９を含む電子デバイス７００の複数の構成要素は、Ｉ／Ｏインターフェース７０５に接続される。通信手段７０９は、電子デバイス７００が例えばインターネットのコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他のデバイスと情報／データを交換することを可能にする。

【0081】

演算手段７０１は、処理能力及び演算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってよい。演算手段７０１のいくつかの例は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）演算チップ、機械学習モデルアルゴリズムを実行する様々な演算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。演算手段７０１は、上述した様々な方法及び処理、例えば要約生成モデルの訓練方法を実行する。例えば、幾つかの実施形態では、要約生成モデルの訓練方法は、例えば記憶手段７０８のような機械可読媒体に物理的に組み込まれたコンピュータソフトウェアプログラムとして実装されてもよい。幾つかの実施形態では、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び／又は通信手段７０９を介して電子デバイス７００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ７０３にロードされ、演算手段７０１により実行されると、上述した要約生成モデルの訓練方法の１つ又は複数のステップを実行することができる。代替的に、他の実施形態では、演算手段７０１は、要約生成モデルの訓練方法を実行するように、他の任意の適切な方法で（例えば、ファームウェアを介する）構成されてもよい。

【0082】

本明細書で前述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせにおいて実装されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施されることを含んで良い。当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができる。当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであって、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、当該記憶システム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置にデータ及び命令を転送することができる。

【0083】

本開示の方法を実施するためのプログラムコードは、１つ又は複数のプログラミング言語の任意の組み合わせを用いて記述することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供することにより、プログラムコードがプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に指定された機能／動作を実行するようにすることができる。プログラムコードは、全てがマシン上で実行されても良く、一部がマシン上で実行されても良く、スタンドアロンパッケージとして一部的にマシン上で実行され且つ一部的にリモートマシン上で実行され、或いは全てがリモートマシン又はサーバ上で実行されても良い。

【0084】

本開示の文脈では、機械可読媒体は、有形の媒体であって、命令実行システム、装置又はデバイスにより使用され、或いは命令実行システム、装置又はデバイスと合わせて使用されるプログラムを含むか記憶することができる。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってよい。機械可読媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又はデバイス、あるいはこれらの任意の適切な組み合わせを含んで良いが、これらに限定されない。機械可読記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれらの任意の適切な組み合わせを含む。

【0085】

ユーザとのインタラクションを提供するために、本明細書に記載されたシステム及び技術は、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザにより入力をコンピュータに提供するキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）と備えるコンピュータ上に実施されてよい。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得る。例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であって良く、ユーザからの入力を任意の形式（音声入力、音声入力、又は触覚入力を含む）で受信して良い。

【0086】

本明細書に記載されたシステム及び技術は、バックエンド構成要素を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア構成要素を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド構成要素を含むコンピューティングシステム（例えば、グラフィカルユーザインターフェースもしくはウェブブラウザを有するクライアントコンピュータであり、ユーザは、当該グラフィカルユーザインターフェースもしくは当該ウェブブラウザを通じて本明細書で説明されるシステムと技術の実施形態とインタラクションすることができる）、そのようなバックエンド構成要素、ミドルウェア構成要素、もしくはフロントエンド構成要素の任意の組合せを含むコンピューティングシステムに実施されることが可能である。システムの構成要素は、任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によって相互に接続されることが可能である。通信ネットワークの例は、ローカルエリアネットワーク（「ＬＡＮ」）、ワイド・エリア・ネットワーク（「ＷＡＮ」）、インターネットワークを含む。

【0087】

コンピュータシステムは、クライアントとサーバを含み得る。クライアントとサーバは、一般的に互いから遠く離れており、通常は、通信ネットワークを通じてインタラクトする。クライアントとサーバとの関係は、相応するコンピュータ上で実行され、互いにクライアント－サーバの関係を有するコンピュータプログラムによって生じる。サーバはクラウドサーバ、クラウドコンピューティングサーバ又はクラウドホストとも呼ばれ、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、或いは「ＶＰＳ」と略称される）において管理が難しく、ビジネスの拡張性が弱いという欠点を解決するクラウドコンピューティングサービスシステムのホスト製品の１つであって良い。サーバは、分散システムのサーバであっても良く、ブロックチェーンを組み合わせたサーバであってもよい。

【0088】

以上で示された様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除できることを理解されたい。例えば、本出願に説明される各ステップは、並列の順序又は順次的な順序で実施されてもよいし、又は異なる順序で実行されてもよく、本出願で開示された技術案の望ましい結果が達成できる限り、ここで制限されない。

【0089】

上記の具体的な実施形態は本出願の保護範囲に対する制限を構成しない。設計要件及び他の要因に従って、様々な修正、組み合わせ、部分的組み合わせ及び置換を行うことができることを当業者は理解するべきである。本出願の精神及び原則の範囲内で行われる修正、同等の置換、改善は、何れも本出願の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】