特許 7414357 テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-05

(45)【発行日】2024-01-16

(54)【発明の名称】テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   G06F 40/279 20200101AFI20240109BHJP

   G06F 40/216 20200101ALI20240109BHJP

   G06F 40/56 20200101ALI20240109BHJP

【ＦＩ】

G06F40/279

G06F40/216

G06F40/56

【請求項の数】 8

(21)【出願番号】P 2019209171

(22)【出願日】2019-11-19

(65)【公開番号】P2021033994

(43)【公開日】2021-03-01

【審査請求日】2022-11-16

(31)【優先権主張番号】201910768816.1

(32)【優先日】2019-08-20

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】392026693

【氏名又は名称】株式会社ＮＴＴドコモ

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100158528

【弁理士】

【氏名又は名称】守屋 芳隆

(74)【代理人】

【識別番号】100137903

【弁理士】

【氏名又は名称】菅野 亨

(72)【発明者】

【氏名】グオ シーホン

(72)【発明者】

【氏名】グオ シンユ

(72)【発明者】

【氏名】リー アンシン

(72)【発明者】

【氏名】チン ラン

(72)【発明者】

【氏名】池田 大志

(72)【発明者】

【氏名】吉村 健

(72)【発明者】

【氏名】藤本 拓

【審査官】成瀬 博之

(56)【参考文献】

【文献】特開２０１８－１８１３４３（ＪＰ，Ａ）

【文献】特開２０１６－２０７１４１（ＪＰ，Ａ）

【文献】Abigail See 他2名，Get To The Point: Summarization with Pointer-Generator Networks[online]，arXiv:1704.04368v2，2017年04月25日，[2023年06月27日検索]，インターネット＜URL：https://arxiv.org/pdf/1704.04368.pdf＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／２０－４０／５８

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

ソーステキストに対し前処理を行って、複数の単語のための複数の単語ベクトルを生成するように配置される前処理ユニットと、
複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルを確定するように配置される文ベクトル確定ユニットと、
各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定するように配置される推奨確率確定ユニットと、
前記推奨確率分布に基づいて出力すべき単語を確定するように配置される出力ユニットと、を備え、
前記推奨確率確定ユニットは、関連性確定サブユニットをさらに含み、
前記関連性確定サブユニットは、
各文ベクトルに対し、当該文ベクトルを他の文ベクトルと組み合わせて、組合せ文ベクトルを生成し、
関連性行列を利用して前記組合せ文ベクトルを処理することにより、前記文ベクトルと前記他の文ベクトルとの関連性を確定するように配置され、
前記推奨確率確定ユニットは、調整サブユニットをさらに含み、
前記調整サブユニットは、
前記文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、前記文ベクトルの推奨係数を確定し、ここで、前記文ベクトルの推奨係数は、前記文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の合計として表されたものであり、
前記初期推奨重みベクトルの夫々に対し、当該初期推奨重みベクトルに対応する文ベクトルの推奨係数を利用して当該初期推奨重みベクトルを調整し、調整後の単語確率ベクトルを取得し、
調整後の単語確率ベクトルに基づいて前記複数の単語の推奨確率分布を確定するように配置される、
テキスト処理装置。

【請求項2】

前記文ベクトル確定ユニットは、
符号化ニューラルネットワークを利用して前記複数の単語ベクトルを処理して、各単語ベクトルにそれぞれ対応する現在の符号化隠れ状態ベクトルを確定し、
各初期推奨重みベクトルと前記現在の符号化隠れ状態ベクトルに基づいて、当該初期推奨重みベクトルに対応する文ベクトルを確定するように配置される、
請求項１に記載のテキスト処理装置。

【請求項3】

前記出力ユニットは、
前記現在の符号化隠れ状態ベクトルに基づいて、復号化ニューラルネットワークを利用して現在の復号化隠れ状態ベクトルを確定し、
前記現在の符号化隠れ状態ベクトルと前記現在の復号化隠れ状態ベクトルを利用して現在の単語確率分布を確定し、
前記現在の単語確率分布と前記推奨確率分布に基づいて、出力すべき単語を確定するように配置される、
請求項２に記載のテキスト処理装置。

【請求項4】

前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、
前記出力ユニットは、
前記推奨確率分布を利用して前記注意確率分布を調整し、調整後の注意確率分布を確定し、
前記生成確率分布と前記調整後の注意確率分布を重み付け加算して出力単語確率分布を確定し、
前記出力単語確率分布内の確率の最大である単語を出力すべき単語として確定するように配置される、
請求項３に記載のテキスト処理装置。

【請求項5】

前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、
前記出力ユニットは、
前記生成確率分布、前記注意確率分布及び前記推奨確率分布に用いられる重みを確定して、前記重みに基づいて出力単語確率分布を確定し、
前記出力単語確率分布の確率の最大である単語を出力すべき単語として確定するように配置される、
請求項３に記載のテキスト処理装置。

【請求項6】

テキスト処理装置が、ソーステキストに対し前処理を行って、複数の単語のための複数の単語ベクトルを生成することと、
前記テキスト処理装置が、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルを確定することと、
前記テキスト処理装置が、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定することと、
前記テキスト処理装置が、前記推奨確率分布に基づいて出力すべき単語を確定することと、を含み、
前記テキスト処理装置が、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整することは、前記テキスト処理装置が、各文ベクトルに対し、当該文ベクトルを他の文ベクトルと組み合わせて、組合せ文ベクトルを生成することと、関連性行列を利用して前記組合せ文ベクトルを処理することにより、前記文ベクトルと前記他の文ベクトルとの関連性を確定することと、を含み、
前記テキスト処理装置が、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整することは、さらに、前記テキスト処理装置が、前記文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、前記文ベクトルの推奨係数を確定することであって、ここで、前記文ベクトルの推奨係数は、前記文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の合計として表されたものであることと、前記初期推奨重みベクトルの夫々に対し、当該初期推奨重みベクトルに対応する文ベクトルの推奨係数を利用して当該初期推奨重みベクトルを調整し、調整後の単語確率ベクトルを取得することと、調整後の単語確率ベクトルに基づいて前記複数の単語の推奨確率分布を確定することと、を含む、
テキスト処理方法。

【請求項7】

プロセッサと、
コンピュータ読み取り可能なプログラム命令が記憶されるメモリと、を含み、
前記コンピュータ読み取り可能なプログラム命令が前記プロセッサにより実行されるとき、請求項６に記載のテキスト処理方法を実行する、
テキスト処理デバイス。

【請求項8】

コンピュータ読み取り可能な命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ読み取り可能な命令がコンピュータにより実行されるとき、前記コンピュータに請求項６に記載のテキスト処理方法を実行させる、
コンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、テキスト処理分野に関し、具体的に、テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

従来のテキストの生成過程において、テキストを生成するネットワークの出力コンテンツは、訓練データを学習した結果である。例えば、要約のようなテキストを生成するシーンでは、多くの訓練データの正解がテキストのコンテンツにおける前のいくつかの文に集中しているため、このような訓練データを用いて訓練されたネットワークも、テキストのコンテンツにおける前の文について新たなテキストコンテンツを生成する傾向にある。したがって、現在のテキスト処理方法では、テキストのコンテンツに対して要約及び抽出をする効率的な手段がない。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、テキストから要約を効率的に抽出し生成するためのテキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の１つの局面において、ソーステキストに対し前処理を行って、複数の単語のための複数の単語ベクトルを生成するように配置される前処理ユニットと、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルを確定するように配置される文ベクトル確定ユニットと、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定するように配置される推奨確率確定ユニットと、前記推奨確率分布に基づいて出力すべき単語を確定するように配置される出力ユニットと、を備えるテキスト処理装置が提供されている。

【0005】

いくつかの実施例において、前記文ベクトル確定ユニットは、符号化ニューラルネットワークを利用して前記複数の単語ベクトルを処理して、各単語ベクトルにそれぞれ対応する現在の符号化隠れ状態ベクトルを確定し、各初期推奨重みベクトルと前記現在の符号化隠れ状態ベクトルに基づいて、当該初期推奨重みベクトルに対応する文ベクトルを確定するように配置される。

【0006】

いくつかの実施例において、前記出力ユニットは、前記現在の符号化隠れ状態ベクトルに基づいて、復号化ニューラルネットワークを利用して現在の復号化隠れ状態ベクトルを確定し、前記現在の符号化隠れ状態ベクトルと前記現在の復号化隠れ状態ベクトルを利用して現在の単語確率分布を確定し、前記現在の単語確率分布と前記推奨確率分布に基づいて、出力すべき単語を確定するように配置される。

【0007】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、前記出力ユニットは、前記推奨確率分布を利用して前記注意確率分布を調整し、調整後の注意確率分布を確定し、前記生成確率分布と前記調整後の注意確率分布を重み付け加算して出力単語確率分布を確定し、出力単語確率分布内の確率の最大である単語を出力すべき単語として確定するように配置される。

【0008】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、前記出力ユニットは、前記生成確率分布、前記注意確率分布及び前記推奨確率分布に用いられる重みを確定して、前記重みに基づいて前記出力単語確率分布を確定し、出力単語確率分布の確率の最大である単語を出力すべき単語として確定するように配置される。

【0009】

いくつかの実施例において、推奨確率確定ユニットは、関連性確定サブユニットをさらに含み、前記関連性確定サブユニットは、各文ベクトルに対し、当該文ベクトルを他の文ベクトルと組み合わせて、組合せ文ベクトルを生成し、関連性行列を利用して前記組合せ文ベクトルを処理することにより、当該文ベクトルと当該他の文ベクトルとの関連性を確定するように配置される。

【0010】

いくつかの実施例において、推奨確率確定ユニットは、調整サブユニットをさらに含み、前記調整サブユニットは、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、当該文ベクトルの推奨係数を確定し、前記初期推奨重みベクトルの夫々に対し、当該初期推奨重みベクトルに対応する文ベクトルの推奨係数を利用して当該初期推奨重みベクトルを調整し、調整後の単語確率ベクトルを取得し、調整後の単語確率ベクトルに基づいて前記複数の単語の推奨確率分布を確定するように配置される。

【0011】

本開示の他の態様において、ソーステキストに対し前処理を行って、複数の単語のための複数の単語ベクトルを生成することと、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルを確定することと、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定することと、前記推奨確率分布に基づいて出力すべき単語を確定することとを含むテキスト処理方法が提供されている。

【0012】

いくつかの実施例において、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルを確定することは、符号化ニューラルネットワークを利用して前記複数の単語ベクトルを処理して、各単語ベクトルにそれぞれ対応する現在の符号化隠れ状態ベクトルを確定し、各初期推奨重みベクトルと前記現在の符号化隠れ状態ベクトルに基づいて、当該初期推奨重みベクトルに対応する文ベクトルを確定することを含む。

【0013】

いくつかの実施例において、前記推奨確率分布に基づいて出力すべき単語を確定することは、前記現在の符号化隠れ状態ベクトルに基づいて、復号化ニューラルネットワークを利用して現在の復号化隠れ状態ベクトルを確定し、前記現在の符号化隠れ状態ベクトルと前記現在の復号化隠れ状態ベクトルを利用して現在の単語確率分布を確定し、前記現在の単語確率分布と前記推奨確率分布に基づいて、出力すべき単語を確定することを含む。

【0014】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、ここで、前記現在の単語確率分布と前記推奨確率分布に基づいて、出力すべき単語を確定することは、前記推奨確率分布を利用して前記注意確率分布を調整し、調整後の注意確率分布を確定し、前記生成確率分布と前記調整後の注意確率分布を重み付け加算して出力単語確率分布を確定し、出力単語確率分布内の確率の最大である単語を出力すべき単語として確定することを含む。

【0015】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布及び注意確率分布を含み、ここで、前記現在の単語確率分布と前記推奨確率分布に基づいて、出力すべき単語を確定することは、前記生成確率分布、前記注意確率分布及び前記推奨確率分布に用いられる重みを確定して、前記重みに基づいて前記出力単語確率分布を確定し、出力単語確率分布の確率の最大である単語を出力すべき単語として確定することを含む。

【0016】

いくつかの実施例において、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性は、以下のように確定される。つまり、各文ベクトルに対し、当該文ベクトルを他の文ベクトルと組み合わせて、組合せ文ベクトルを生成し、関連性行列を利用して前記組合せ文ベクトルを処理することにより、当該文ベクトルと当該他の文ベクトルとの関連性を確定する。

【0017】

いくつかの実施例において、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定することは、推奨確率確定ユニットは、調整サブユニットをさらに含み、前記調整サブユニットは、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、当該文ベクトルの推奨係数を確定し、前記初期推奨重みベクトルの夫々に対し、当該初期推奨重みベクトルに対応する文ベクトルの推奨係数を利用して当該初期推奨重みベクトルを調整し、調整後の単語確率ベクトルを取得し、調整後の単語確率ベクトルに基づいて前記複数の単語の推奨確率分布を確定することを含む。

【0018】

本開示のさらに他の態様において、プロセッサと、コンピュータ読み取り可能なプログラム命令が記憶されるメモリと、を含み、前記コンピュータ読み取り可能なプログラム命令が前記プロセッサにより実行されるとき、上述したようなテキスト処理方法を実行するテキスト処理デバイスが提供されている。

【0019】

本開示のさらに他の態様において、コンピュータ読み取り可能な命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な命令がコンピュータにより実行されるとき、前記コンピュータに上述したようなテキスト処理方法を実行させるコンピュータ読み取り可能な記憶媒体が提供されている。

【発明の効果】

【0020】

本開示に係るテキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体をよれば、テキストにおける各単語と各単語からなる文との関連性に基づいて、テキストの要約の抽出方法によるテキストのコンテンツに対する理解力を向上させ、テキストのコンテンツをより好適に抽象化させ、要約し、テキストの要約を生成することができる。

【図面の簡単な説明】

【0021】

本発明の上記及び他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。図面は、本開示の実施例のさらなる理解を提供するために使用され、本明細書の一部を構成し、本開示の実施例と共に本開示を説明するために使用され、本開示を限定するものではない。なお、図面において、同一の符号は同一の構成要素又はステップを示す。

【図1】本開示による、テキスト処理方法の模式的なフローチャートを示す。

【図2】本開示の実施例による、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性を確定する模式図を示す。

【図3A】本開示の実施例による、出力単語確率分布の確定の模式図を示す。

【図3B】本開示の実施例による、生成確率分布と調整後の注意確率分布を利用して出力単語確率分布を確定する模式図を示す。

【図3C】本開示の実施例による、生成確率分布、注意確率分布及び推奨確率分布を利用して出力単語確率分布を確定する模式図を示す。

【図4】本開示の実施例による、テキスト処理装置の模式的なブロック図を示す。

【図5】本開示の実施例による、演算デバイスの模式図である。

【発明を実施するための形態】

【0022】

以下、本開示の実施例における技術的解決策を、本開示の実施例における添付図面と併せて、明確かつ完全に説明する。もちろん、説明された実施例は、本開示の一部の実施例にすぎず、全ての実施例ではない。本開示の実施例に基づいて、当業者が創造的な労力を要することなく得られる全ての他の実施例は、本開示の保護範囲に属する。

【0023】

特に定義されない限り、本明細書で使用される技術的または科学的用語は、本発明が属する技術分野における通常の技能を有する者によって理解される通常の意味である。本明細書で使用される「第１の」、「第２の」及び類似の用語は、いかなる順序、数、又は重要性も示すものではなく、異なる構成要素を区別するために使用されるだけである。同様に、「含む」または「備える」などの類似の単語は、その単語の前に存在する要素または物品が、その単語の後に存在する要素または物品およびその均等物を包含することを意味し、他の要素または物品を排除するものではない。「接続され」または「に接され」などの類似の用語は、物理的または機械的接続に限定されず、直接的または間接的のいずれであっても、電気的接続を含み得る。「上」、「下」、「左」、「右」などは、相対的な位置関係を示すためのものであり、記述されたオブジェクトの絶対的な位置が変化すると、相対的な位置関係も変化する可能性がある。

【0024】

図１は、本開示によるテキスト処理方法の模式的なフローチャートを示す。図１に示すように、ステップＳ１０２において、ソーステキストに対して前処理を行って、前記複数の単語のための複数の単語ベクトルを生成する。

【0025】

テキスト処理方法がコンピュータによって実行される場合、コンピュータはテキストデータを直接に処理できないため、ソーステキストを処理する際には、ソーステキストを数値型のデータに変換しておく必要がある。例えば、ソーステキストのコンテンツは、１つ又は複数の文であってもよい。前記前処理は、文を複数の単語に分割するように各文に対して単語分割処理を実行し、、複数の単語をそれぞれ所定次元の単語ベクトルに変換することを含む。例えば、ワード埋め込み(ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ)の方式によって、この変換を行うことができる。

【0026】

ステップＳ１０４において、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルＳを確定する。

【0027】

いくつかの実施例において、各時間ステップ(ｔｉｍｅ ｓｔｅｐ)について、符号化ニューラルネットワークを用いてステップＳ１０２において生成された複数の単語ベクトルを処理することにより、各単語ベクトルにそれぞれ対応する現在の符号化隠れ状態ベクトルを確定し得る。いくつかの実現形態において、符号化ニューラルネットワークは、長期や短期記憶(ｌｓｔｍ、ｌｏｎｇ ａｎｄ ｓｈｏｒｔ－ｔｅｒｍ ｍｅｍｏｒｙ)ネットワークとして実現され得る。符号化ニューラルネットワークは、単語ベクトルを符号化することができる任意の機械学習モデルとしても実現され得ることが理解されようである。

【0028】

ステップＳ１０２で生成された単語ベクトルを入力として、符号化ニューラルネットワークは、現在の時間ステップが各単語ベクトルｘ_１、ｘ_２、ｘ_３…のそれぞれに対応する現在の符号化隠れ状態ベクトルｈ_１、ｈ_２、ｈ_３…を出力することができる。符号化隠れ状態ベクトルの数と単語ベクトルの数は、同じであってもよいし、異なっていてもよい。例えば、ソーステキストからｋ個の単語ベクトルが生成される場合、符号化ニューラルネットワークは、このｋ個の単語ベクトルを処理することにより、ｋ個の対応する符号化隠れ状態ベクトルを生成することができる。ｋは１より大きい整数である。

【0029】

次に、各初期推奨重みベクトルと前記現在の符号化隠れ状態ベクトルに基づいて、当該初期推奨重みベクトルに対応する文ベクトルを確定する。

【0030】

いくつかの実施例では、初期推奨重みベクトルＷは、ベクトル［Ｗ_１、Ｗ_２…、ｗ_ｋ］として表され得る。ここで、Ｗの要素の数は、符号化隠れ状態ベクトルの数と同じである。ここで、初期推奨重みベクトルＷの各元素は、現在の符号化隠れ状態ベクトルを用いて文ベクトルを確定する際に用いる各符号化隠れ状態ベクトルの重み係数を表す。これらの重み係数を用いて、符号化ニューラルネットワークが入力する各単語ベクトルに対応する符号化隠れ状態ベクトルを組み合せて、各単語ベクトルの情報を含む文ベクトルを形成することができる。なお、ここで言う文ベクトルは、抽象的な文ベクトルであってもよい。抽象的な文ベクトルは、入力テキストに含まれる文の情報と一対一に対応しないものであってもよい。文ベクトルＳは、Ｓ１０２で生成された複数の単語ベクトルのうちの一部又は全部の単語ベクトルの情報を含んでもよい。

【0031】

いくつかの実現形態において、文ベクトルＳは、現在の符号化隠れ状態ベクトルｈ_１、ｈ_２…ｈ_ｋの重み平均値として表されてもよい。例えば、文ベクトルＳは、Ｗ＊ｈとして表され、ここで、Ｗ＝［ｗ_１、ｗ_２…、ｗ_ｋ］、ｈ＝［ｈ_１、ｈ_２…、ｈ_ｋ］^Ｔであってもよい。したがって、予め訓練された所定数の初期推奨重みベクトルＷ_１、Ｗ_２…、Ｗ_ｎを利用して、所定数の文ベクトルＳ_１、Ｓ_２…、Ｓ_ｎを得ることができる。ここで、ｎ、ｍは、１より大きい整数である。

【0032】

ステップＳ１０６において、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整して、前記複数の単語のための推奨確率分布を確定する。

【0033】

図２は、本開示の実施例による、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性を確定する模式図を示す。図２には、５つの単語ベクトルを例として本開示の原理が記述されるが、本開示の範囲は、これに限定されなく、他の任意の数の単語ベクトルを利用して本開示によるテキスト処理方法を実現しても良い。

【0034】

図２に示すように、ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５は、ソーステキストから生成された、ソーステキストにおける単語に対応する単語ベクトルである。符号化ニューラルネットワークを利用して、ｘ_１、ｘ_２、ｘ_３、ｘ_４、ｘ_５にそれぞれ対応する符号化隠れ状態ベクトルｈ_１、ｈ_２、ｈ_３、ｈ_４、ｈ_５を生成する。

【0035】

図２には、３つの初期推奨重みベクトルＷ_１、Ｗ_２、Ｗ_３を示す。なお、本開示はこれに限定されなく、他の任意の数の初期推奨重みベクトルを利用して本開示によるテキスト処理方法を実現しても良い。図２に示すように、初期推奨重みベクトルＷ_１、Ｗ_２、Ｗ_３を利用して文ベクトルＳ_１、Ｓ_２及びＳ_３を確定する。

【0036】

文ベクトルＳ_１、Ｓ_２、Ｓ_３の各文ベクトルに対し、当該文ベクトルを他の文ベクトルとを組み合わせて、組合せ文ベクトルを生成する。ここで、組合せ文ベクトルには組み合わせた少なくとも２つの文ベクトルの情報が含まれる。以下、２つの文ベクトルの間の関連性を確定することを例として本開示の原理を説明するが、当業者は、３つの以上の文ベクトルを組み合わせて組み合わせた文ベクトルの間の関連性を確定してもい。

【0037】

例えば、図２に示すように、文ベクトルＳ_１とＳ_２との関連性λ_１,２、文ベクトルＳ_１とＳ_３との関連性λ_１,３、及び文ベクトルＳ_２とＳ_３との関連性λ_２、３を計算することができる。

【0038】

いくつかの実現形態において、当該文ベクトルを他の文ベクトルと接続して、より次元の高い組合せ文ベクトルを得ることができる。例えば、文ベクトルＳの次元がｄである場合、文ベクトルＳ１とＳ２とを接続することにより、次元２ｄである組合せ文ベクトルＳ_１,２が得られる。ただし、ｄは１より大きい整数である。

【0039】

なお、Ｓ_１に対しＳ_１とＳ_２との関連性を計算する時、Ｓ_１を前、Ｓ_２を後で文ベクトルＳ_１とＳ_２を接続する。Ｓ_２に対しＳ_２とＳ_１との関連性を計算する時、Ｓ_２を前、Ｓ_１を後で文ベクトルＳ_２とＳ_１を接続する。そして、この場合、組合せ文ベクトルＳ_１,２と組合せ文ベクトルＳ_２,１とは異なる。

【0040】

他の実現形態において、２つの文ベクトルに対しベクトル間の演算を行って（例えば、加算、減算、ベクトル積など）組合せ文ベクトルを生成する。この場合、組合せ文ベクトルＳ_１,２と組合せ文ベクトルＳ_２,１とは同じであっても良い。

【0041】

実際には、当業者は、任意の方式で、少なくとも２つの文ベクトルの情報を組み合わせた組合せ文ベクトルを生成することができる。

【0042】

そして、関連性行列を利用して前記組合せ文ベクトルを処理することにより、当該文ベクトルと当該他の文ベクトルとの関連性を確定することができる。いくつかの実施例において、文ベクトルＳ_１とＳ_２との関連性λ_１,２は_、λ＝Ｓ_１,２＊Ｚとして表されてもよい。ここで、Ｓ_１,２が文ベクトルＳ_１とＳ_２の組合せ文ベクトルを示し、Ｚが訓練された関連性行列を示す。Ｚを利用してＳ_１とＳ_２との関連性係数λ_１,２を算出することができる。いくつかの実施例において、関連性行列Ｚは、組合せ文ベクトルＳ_１,２を実数としての関連性係数に投影することができる。

【0043】

上記の方法によって、文ベクトルＳ_１、Ｓ_２…、Ｓｎのうちの任意の２つの文ベクトルの間の関連性を計算することができる。

【0044】

上記の任意の１つの文ベクトルに対して、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、当該文ベクトルの推奨係数を確定することができる。いくつかの実現形態において、当該文ベクトルの推奨係数は、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の合計として表されてもよい。

【0045】

例えば、文ベクトルＳ_１の推奨係数は、Σλ_１＝λ_１,２＋λ_１,３＋…λ_１,ｍとして表され、文ベクトルＳ_２の推奨係数は、Σλ_２＝λ_２,１＋λ_２,３＋…λ_２,ｍとして表され、このように、各文ベクトルの推奨係数を確定することができる。

【0046】

他の実現形態において、文ベクトルの推奨係数は、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の加重和として表されても良い。予め確定された重み係数を利用して各文ベクトルとの他の文ベクトルとの関連性に対して重み付け加算を行ってもよい。

【0047】

上記の推奨係数は、調整後の単語確率ベクトルを取得するために、対応する文ベクトルを生成するための初期推奨重みベクトルの調整に用いられることができる。例えば、図２に示すように、文ベクトルＳ_１、Ｓ_２及びＳ_３に対応する推奨係数Σλ_１、Σλ_２及びΣλ_３を利用して初期推奨重みベクトルＷ_１、Ｗ_２、Ｗ_３を処理することができる。

【0048】

前述したように、推奨係数は、文ベクトルと他の文ベクトルとの関連性に基づいて確定されるものである。テキストの要約の生成過程でテキストのコンテンツを要約する必要があるため、他の文ベクトルとの関連性が高いほど、当該文ベクトルに含まれる単語ベクトルの情報がテキストのコンテンツの中で重要度が高く、その結果、テキストの要約の内容になる可能性が高いと考えられる。

【0049】

いくつかの実施例では、各文ベクトルの推奨係数を、当該文ベクトルに対応する単語確率ベクトルに掛けることにより、その単語確率ベクトルに含まれる、各単語ベクトルの符号化隠れ状態ベクトルに対する重み係数を調整することができる。例えば、調整後のｉ番目の単語確率ベクトルＷ_ｉ’は、Ｗ_ｉ’＝Σλ_ｉ＊Ｗ_ｉとして表され得る。

【0050】

各文ベクトルの推奨係数を利用して当該文ベクトルの単語確率ベクトルを調整した後、上記の方法により得た調整後の複数の単語確率ベクトルＷ’を利用して前記複数の単語の推奨確率分布を確定してもよい。

【0051】

いくつかの実施例において、推奨確率分布Ｐ_Ｖは、上記の方法により得た調整後の複数の単語確率ベクトルＷ’の和であるＰ_Ｖ＝ΣＷ_ｉ’として表されてもよい。いくつかの実現形態において、推奨確率分布Ｐ_Ｖは、調整後の複数の単語確率ベクトルＷ_ｉ’の加重和として表されてもよい。

【0052】

図１を参照し、ステップＳ１０８において、前記推奨確率分布に基づいて、出力すべき単語を確定してもよい。

【0053】

ステップＳ１０６で出力する推奨確率分布は、入力したソーステキスト内の各単語のソーステキストの中で重要度を示すことができ、ここで、推奨確率分布内の確率が大きいほど、現在の時間ステップについて、当該単語のソーステキスト内の重要度が高いと考える。そして、いくつかの例において、推奨確率分布内の確率の最大である単語を現在の時間ステップに出力すべき単語として確定してもよい。

【0054】

いくつかの実施例において、推奨確率基づいて、現在の生成式のネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ｎｅｔｗｏｒｋｓ）によって生成された単語確率分布を調整することにより、出力単語確率分布を確定してもよい。

【0055】

各時間ステップについて、前記現在の符号化隠れ状態ベクトルに基づいて、復号化ニューラルネットワークを利用して現在の復号化隠れ状態ベクトルを確定することができる。前記現在の符号化隠れ状態ベクトルと現在の復号化隠れ状態ベクトルを利用して現在の単語確率分布を確定することができる。前記現在の単語確率分布と前記推奨確率分布に基づいて、現在の時間ステップについての出力単語確率分布を確定し、出力単語確率分布から最大の確率を有する単語ベクトルに対応する単語を、現在の時間ステップに出力すべき単語として選定することができる。

【0056】

ここで、前記現在の単語確率分布は、注意（Ａｔｔｅｎｔｉｏｎ）確率分布であってもよい。前記注意確率分布は、前記入力テキストにおける単語がテキストの要約における単語となる確率分布を示す。

【0057】

図３Ａは、本開示の実施例による、出力単語確率分布の確定の模式図を示す。図３Ａに示すように、推奨確率分布Ｐ_Ｖを利用して前記注意確率分布を調整することで、調整後の注意確率分布を形成することができる。

【0058】

一実現形態において、現在の時間ステップについての符号化隠れ状態ベクトルと復号化隠れ状態ベクトルに基づいて注意確率分布を確定することができる。例えば、式（１）を利用して上記の注意確率分布を確定することができる。

【数1】

ここで、ｔは現在の時間ステップを示し、ａ^ｔは現在の時間ステップについての注意確率分布を示し、ｓｏｆｔｍａｘは正規化指数関数であり、ｅ^ｔは、式（２）により以下のように確定される。

【数2】

ここで、ｖ^Ｔ、Ｗ_ｈ、Ｗ_Ｓ、ｂ_ａｔｔｎは、ポインター生成ネットワーク（Ｐｏｉｎｔｅｒ－Ｇｅｎｅｒａｔｏｒ Ｎｅｔｗｏｒｋｓ）にける学習パラメータであり、ｈ_ｉは現在の符号化隠れ状態ベクトルであり、ｓ_ｔは現在の復号化隠れ状態ベクトルである。

【0059】

いくつかの実施例において、前記推奨確率分布を利用して前記注意確率分布を調整し、調整後の注意確率分布を確定する。

【0060】

例えば、式（３）を利用して調整後の注意確率分布ａ’を確定することができる。

【数3】

ここで、ｔは現在の時間ステップであり、ａ’^ｔは現在の時間ステップについての調整後の注意確率分布を示し、ｅ^ｔは式（２）により確定されたパラメータである。

【0061】

調整後の注意確率分布を利用して、前記入力テキストにおける単語がテキストの要約における単語となる確率分布を確定することができる。例えば、入力テキストから確率の最大である単語を出力すべき単語として選定する。

【0062】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布Ｐ_{ｖｏｃａｂ}をさらに含む。前記生成単語確率分布は、前記文字エンティティ辞書（ｔｅｘｔ ｅｎｔｉｔｙ ｄｉｃｔｉｏｎａｒｙ）における単語がテキストの要約における単語となる確率分布を示す。

【0063】

図３Ｂは、本開示の実施例による、生成確率分布と調整後の注意確率分布を利用して出力単語確率分布を確定する模式図を示す。

【0064】

いくつかの実施例において、コンテキストベクトルと現在の時間ステップについての復号化隠れ状態ベクトルに基づいて、上記の生成確率分布を確定することができる。例えば、さらに、式（４）と式（５）を利用して上記の生成確率分布Ｐ_{ｖｏｃａｂ}を確定することができる。

【数4】

ここで、Ｖ’、Ｖ、ｂ、ｂ’は、ポインター生成ネットワークにおける学習パラメータであり、ｈ_ｔ ^*は注意確率分布に基づいて確定されたコンテキストベクトルである。例えば、式（４）を利用して確定ｈ_ｔ ^*を確定することができる。

【数5】

ここで、ａ_ｉ ^ｔは式（１）で確定された注意確率分布ａ^ｔにおけるｉ番目の元素であり、ｈ_ｉは現在のｉ番目の符号化隠れ状態ベクトルである。

【0065】

そして、前記生成確率分布と前記調整後の注意確率分布を重み付け加算することにより、出力単語確率分布を確定することができる。

【0066】

いくつかの実施例において、現在の時間ステップについての符号化隠れ状態ベクトル、復号化隠れ状態ベクトル、注意確率分布及び１つ前の時間ステップでの復号化ニューラルネットワークの出力に基づいて、生成確率分布及び調整後の注意確率分布の第１の重みＰ_ｇｅｎを確定することができる。

【0067】

例えば、前記生成確率分布と前記調整後の注意確率分布に対して加重和を計算するための第１の重みＰ_ｇｅｎは、式（６）として表され得る。

【数6】

ここで、σは、活性化関数、例えばｓｉｇｍｏｉｄ関数を示し、ｗ_ｈ ^Ｔ、ｗ_ｓ ^Ｔ、ｗ_ｘ ^Ｔ及びｂ_ｐｔｒは訓練パラメータであり、ｈ_ｔ ^*は時間ステップｔに式（４）により確定したパラメータであり、ｓ_ｔは時間ステップｔでの復号化隠れ状態ベクトルであり、ｘ_ｔは時間ステップｔでの復号化ニューラルネットワークの入力、つまり、１つ前の時間ステップｔ－１での復号化ニューラルネットワークの出力である。式（６）により確定された第１の重みＰ_ｇｅｎはスカラーとして実現されてもよい。第１の重みＰ_ｇｅｎを利用して生成確率分布Ｐ_{ｖｏｃａｂ}と調整後の注意確率分布ａ’^ｔを重み平均して出力単語確率分布を取得することができる。

【0068】

図３Ｃは、本開示の実施例による、生成確率分布、注意確率分布及び推奨確率分布を利用して出力単語確率分布を確定する模式図を示す。

【0069】

図３Ｃに示すように、前記生成確率分布、前記注意確率分布及び前記推奨確率分布を重み付け加算して出力単語確率分布を確定することができる。一実現形態において、現在の時間ステップについての符号化隠れ状態ベクトル、復号化隠れ状態ベクトル、注意確率分布、推奨確率分布及び１つ前の時間ステップでの復号化ニューラルネットワークの出力に基づいて、前記生成確率分布、前記注意確率分布及び前記推奨確率分布を重み付け加算するための第２の重みＰ_ｇｅｎ２を確定することができる。

【0070】

式（７）と利用して前記生成確率分布、前記注意確率分布及び前記推奨確率分布を重み付け加算するための第２の重みＰ_ｇｅｎ２を確定することができる。

【数7】

ここで、σは活性化関数、例えばｓｉｇｍｏｉｄ関数を示し、ｗ_ｈ ^Ｔ、ｗ_ｓ ^Ｔ、ｗ_ｘ ^Ｔ、ｗ_Ｖ ^Ｔ及びｂ_ｐｔｒは訓練パラメータであり、ｈ_ｔ ^*は時間ステップｔに式（４）により確定されたパラメータであり、ｓ_ｔは時間ステップｔでの復号化隠れ状態ベクトルであり、ｘ_ｔは時間ステップｔでの復号化ニューラルネットワークの入力であり、つまり、１つ前の時間ステップｔ－１での復号化ニューラルネットワークの出力であり、Ｐ_Ｖは時間ステップｔでの推奨確率分布である。

【0071】

式（７）により確定された重みＰ_ｇｅｎ２は、３次元のベクトルとして実現し、ここで、当該３次元のベクトルにおける元素は、生成確率分布Ｐ_ｇｅｎ、それぞれ注意確率分布ａ_ｔ及び推奨確率分布Ｐ_Ｖの重み係数を示す。

【0072】

上記のテキスト処理で用いられるモデルの訓練パラメータは、予め定められた訓練データセットを用いて訓練されるものである。例えば、訓練データを上記のテキスト処理モデルに入力し、符号化ニューラルネットワーク、復号化ニューラルネットワーク、及び文ベクトル間の関連性を確定するための初期推奨重みベクトルを用いて、ソーステキストの単語ベクトルを処理することにより、上記のように訓練された出力単語確率分布を得ることができる。上記のテキスト処理モデルにおける訓練パラメータは、訓練された出力単語確率分布における正解の単語の確率損失を算出することにより調整されることができる。ここで、本開示に係るテキスト生成ネットワークの損失関数は、以下のように表され得る。

【数8】

ここで、ｗ_ｔ ^*は時間ステップｔについての正解単語の時間ステップｔでの訓練の出力単語確率分布の確率値であり、Ｔは生成シーケンス全体にわたる合計時間ステップである。テキスト生成ネットワークの全体的な損失は、生成シーケンス全体にわたるすべての時間ステップでの損失値を統計することによって確定されることができる。

【0073】

上記のテキスト処理モデルのパラメータに対する訓練は、上記の損失が最小になるようにテキスト処理モデルの訓練パラメータを調整することによって実現できる。

【0074】

本開示に係るテキスト処理方法によれば、例えば、テキストの要約のコンテンツを生成する際に、入力されたテキストにおける各単語からなる文ベクトルの間の相関性に基づいて、入力されたテキストにおける単語の当該テキストのコンテンツにおける重要度を確定することができ、テキストのコンテンツに対する単語の重要度に基づいて、生成されたテキストのコンテンツを確定するといった技術的効果を奏する。本開示では、要約を生成する場合を例に挙げて原理を説明したが、本開示の内容はこれに限定されない。本開示の原理から逸脱することなく、本開示に係るテキスト処理方法を、テキスト拡張、テキスト書き換え等の他の応用シーンに適用することもできる。

【0075】

図４は本開示の実施例によるテキスト処理装置の模式的なブロック図を示す。図４に示すように、テキスト処理装置４００は、前処理ユニット４１０と、文ベクトル確定ユニット４２０と、推奨確率確定ユニット４３０と、出力ユニット４４０とを含む。

【0076】

前処理ユニット４１０は、ソーステキストに対して前処理を行って、前記複数の単語のための複数の単語ベクトルを生成するように配置される。例えば、ワード埋め込み（ｗｏｒｄ ｅｍｂｅｄｄｉｎｇ）によりこの前処理を実現することができる。

【0077】

文ベクトル確定ユニット４２０は、複数の初期推奨重みベクトルと前記複数の単語ベクトルに基づいて、複数の文ベクトルＳを確定するように配置される。

【0078】

いくつかの実施例において、各時間ステップについて、符号化ニューラルネットワークを利用して前処理ユニット４１０により生成された複数の単語ベクトルを処理して、各単語ベクトルにそれぞれ対応する現在の符号化隠れ状態ベクトルを確定することができる。

【0079】

前処理ユニット４１０により生成された単語ベクトルを入力とし、符号化ニューラルネットワークは、現在の時間ステップに各単語ベクトルｘ_１、ｘ_２、ｘ_３…にそれぞれ対応する現在の符号化隠れ状態ベクトルｈ_１、ｈ_２、ｈ_３…を出力することができる。符号化隠れ状態ベクトルの数と単語ベクトルの数は、同じであってもよいし、異なってもよい。例えば、ソーステキストに基づいてｋ個の単語ベクトルを生成する場合、符号化ニューラルネットワークは、これらｋ個の単語ベクトルを処理して対応するｋ個の符号化隠れ状態ベクトルを生成する。ｋは１より大きい整数である。

【0080】

次に、各初期推奨重みベクトルと前記現在の符号化隠れ状態ベクトルに基づいて、当該初期推奨重みベクトルに対応する文ベクトルを確定することができる。

【0081】

いくつかの実施例において、初期推奨重みベクトルＷは、ベクトル［ｗ_１、ｗ_２…、ｗ_ｋ］として表され得る。ここで、Ｗの元素の数は符号化隠れ状態ベクトルの数と同じである。ここで、初期推奨重みベクトルＷにおける各元素は、現在の符号化隠れ状態ベクトルを利用して文ベクトルを確定する際の各符号化隠れ状態ベクトルための重み係数を示す。これらの重み係数を利用して、符号化ニューラルネットワーク入力から入力された各単語ベクトルの符号化隠れ状態ベクトルの情報を組み合わせることで、各単語ベクトル情報が含まれる文ベクトルを形成する。いくつかの実現形態において、文ベクトルＳは、現在の符号化隠れ状態ベクトルｈ_１、ｈ_２…ｈ_ｎの重み平均値として表され得る。そして、予め訓練された所定数の初期推奨重みベクトルＷ_１、Ｗ_２…、Ｗ_ｎを利用して所定数の文ベクトルＳ_１、Ｓ_２…、Ｓ_ｎを得る。

【0082】

推奨確率処理ユニット４３０は、各文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルとの関連性に基づいて前記複数の初期推奨重みベクトルを調整することにより、前記複数の単語のための推奨確率分布を確定するように配置される。

【0083】

図４に示すように、推奨確率処理ユニット４３０は、関連性確定サブユニット４３１及び調整サブユニット４３２を含む。

【0084】

関連性確定サブユニット４３１は、文ベクトルの間の関連性を確定するように配置される。例えば、各文ベクトルを他の文ベクトルと組み合わせて、組合せ文ベクトルを生成することができる。

【0085】

いくつかの実現形態において、当該文ベクトルを他の文ベクトルと接続して、より次元の高い組合せ文ベクトルを得ることができる。例えば、文ベクトルＳの次元がｄである場合、文ベクトルＳ_１とＳ_２を接続して２ｄ次元の組合せ文ベクトルＳ_１,２を取得する。ここで、ｄは１より大きい整数である。

【0086】

他の実現形態において、２つの文ベクトルのベクトル間の演算（例えば、加算、減算、ベクトル積等である）を行って組合せ文ベクトルを生成する。この場合、組合せ文ベクトルＳ_１,２と組合せ文ベクトルＳ_２,１とは、同じであってもよい。

【0087】

次に、関連性行列を利用して前記組合せ文ベクトルを処理することにより、当該文ベクトルと当該他の文ベクトルとの関連性を確定する。いくつかの実施例において、文ベクトルＳ_１とＳ_２との関連性λ_１,２は、λ＝Ｓ_１,２＊Ｚとして表され得る。ここで、Ｓ_１,２は文ベクトルＳ_１とＳ_２との組合せ文ベクトルであり、Ｚは訓練済みの関連性行列を示す。Ｚを利用してＳ_１とＳ_２との関連性係数λ_１,２を算出することができる。いくつかの実施例において、関連性行列Ｚは、組合せ文ベクトルＳ_１,２を実数としての関連性係数に投影することができる。

【0088】

上記の方法により、文ベクトルＳ_１、Ｓ_２…、Ｓ_ｎのうちの任意の２つの文ベクトルの間の関連性を算出することができる。

【0089】

調整サブユニット４３２は、上述した任意の文ベクトルに対し、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性に基づいて、当該文ベクトルの推奨係数を確定するように配置される。いくつかの実現形態において、当該文ベクトルの推奨係数は、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の合計として表されてもよい。

【0090】

他の実施例において、文ベクトルの推奨係数は、当該文ベクトルと前記複数の文ベクトルのうちの他の文ベクトルの夫々との関連性の加重和として表されてもよい。予め確定された重み係数を利用して、各文ベクトルと他の文ベクトルとの関連性を重み付け加算してもよい。

【0091】

上記推奨係数は、調整後の単語確率ベクトルを得るために、対応する文ベクトルを生成するための初期推奨重みベクトルの調整に用いられることができる。

【0092】

前述したように、推奨係数は、文ベクトルと他の文ベクトルとの関連性に基づいて確定されるものである。テキストの要約の生成過程でテキストのコンテンツを要約する必要があるため、他の文ベクトルとの関連性が高いほど、当該文ベクトルに含まれる単語ベクトルの情報がテキストのコンテンツの中で重要度が高く、その結果、テキストの要約の内容にる可能性が高いと考えられる。

【0093】

いくつかの実施例において、調整サブユニット４３２は、各文ベクトルの推奨係数を当該文ベクトルに対応する単語確率ベクトルに掛けることにより、その単語確率ベクトルに含まれる、各単語ベクトルの符号化隠れ状態ベクトルに対する重み係数を調整することができる。例えば、調整後のｉ番目の単語確率ベクトルＷ_ｉ’は、Ｗ_ｉ’＝Σλ_ｉ*Ｗ_ｉとして表され得る。

【0094】

各文ベクトルの推奨係数を利用して当該文ベクトルの単語確率ベクトルを調整した後、調整サブユニット４３２は、以上のように得た調整された複数の単語確率ベクトルＷ’に基づいて前記複数の単語の推奨確率分布を確定することができる。

【0095】

いくつかの実施例において、推奨確率分布Ｐ_Ｖは、上記の方法により得た調整後の複数の単語確率ベクトルＷ’の和であるＰ_Ｖ＝ΣＷ_ｉ’として表されてもよく、即ち、を利用する。いくつかの実現形態において、推奨確率分布Ｐ_Ｖは、調整後の複数の単語確率ベクトルＷ_ｉ’の加重和として表されてもよい。

【0096】

出力ユニット４４０は、前記推奨確率分布に基づいて出力すべき単語を確定するように構成される。

【0097】

いくつかの実施例において、推奨確率基づいて、現在の生成式のネットワークによって生成された単語確率分布を調整することにより、出力単語確率分布を確定してもよい。

【0098】

各時間ステップについて、前記現在の符号化隠れ状態ベクトルに基づいて、復号化ニューラルネットワークを利用して現在の復号化隠れ状態ベクトルを確定することができる。前記現在の符号化隠れ状態ベクトルと現在の復号化隠れ状態ベクトルを利用して現在の単語確率分布を確定することができる。前記現在の単語確率分布と前記推奨確率分布に基づいて、現在の時間ステップについての出力単語確率分布を確定し、出力単語確率分布から最大の確率を有する単語ベクトルに対応する単語を、現在の時間ステップに出力すべき単語として選定することができる。

【0099】

ここで、前記現在の単語確率分布は、注意確率分布ａ^ｔであってもよい。前記注意確率分布は、前記入力テキストおける単語がテキストの要約における単語となる確率分布を示す。一実現形態において、現在の時間ステップについての符号化隠れ状態ベクトルと復号化隠れ状態ベクトルに基づいて注意確率分布を確定することができる。

【0100】

いくつかの実施例において、前記推奨確率分布を利用して前記注意確率分布を調整することで、調整後の注意確率分布ａ’^ｔを確定することができる。調整後の注意確率分布を利用して、前記入力テキストにおける単語がテキストの要約における単語となる確率分布を確定することができる。例えば、入力テキストから確率の最大である単語を出力すべき単語として選定することができる。

【0101】

いくつかの実施例において、前記現在の単語確率分布は、生成確率分布Ｐ_{ｖｏｃａｂ}をさらに含む。前記生成単語確率分布は、前記文字エンティティ辞書における単語がテキストの要約における単語となる確率分布を示す。上記のコンテキストベクトルと現在の時間ステップについての復号化隠れ状態ベクトルに基づいて上記の生成確率分布を確定することができる。そして、前記生成確率分布と前記調整後の注意確率分布を重み付け加算することにより、出力単語確率分布を確定することができる。

【0102】

いくつかの実施例において、現在の時間ステップについての符号化隠れ状態ベクトル、復号化隠れ状態ベクトル、注意確率分布及び１つ前の時間ステップでの復号化ニューラルネットワークの出力に基づいて、生成確率分布及び調整後の注意確率分布の第１の重みＰ_ｇｅｎを確定することができる。

【0103】

いくつかの実施例において、前記生成確率分布、前記注意確率分布及び前記推奨確率分布を重み付け加算して出力単語確率分布を確定することができる。一実現形態において、現在の時間ステップについての符号化隠れ状態ベクトル、復号化隠れ状態ベクトル、注意確率分布、推奨確率分布及び１つ前の時間ステップでの復号化ニューラルネットワークの出力に基づいて、前記生成確率分布、前記注意確率分布及び前記推奨確率分布を重み付け加算するための第２の重みＰ_ｇｅｎ２を確定することができる。第２の重みＰ_ｇｅｎ２は、３次元のベクトルとして実現し、ここで、当該３次元のベクトルにおける元素は、それぞれ生成確率分布Ｐ_ｇｅｎ、注意確率分布ａ_ｔ及び推奨確率分布Ｐ_Ｖの重み係数を示す。

【0104】

上記のテキスト処理装置で用いられる訓練パラメータは、予め定められた訓練データセットを用いて訓練されるものである。例えば、訓練データを上記のテキスト処理装置に入力し、符号化ニューラルネットワーク、復号化ニューラルネットワーク、及び文ベクトル間の関連性を確定するための初期推奨重みベクトルを用いて、ソーステキストの単語ベクトルを処理することにより、上記のように訓練された出力単語確率分布を得ることができる。上記のテキスト処理モデルにおける訓練パラメータは、訓練された出力単語確率分布における正解の単語の確率損失を算出することにより調整されることができる。ここで、本開示に係るテキスト生成ネットワークの損失関数は、式（８）により示され得る。

【0105】

ここで、ｗ_ｔ ^*は時間ステップｔについての正解単語の時間ステップｔでの訓練後の出力単語確率分布の確率値であり、Ｔは生成シーケンス全体にわたる合計時間ステップである。テキスト生成ネットワークの全体的な損失は、生成シーケンス全体にわたるすべての時間ステップでの損失値を統計することによって確定されることができる。

【0106】

上記のテキスト処理装置のパラメータに対する訓練は、上記の損失が最小になるようにテキスト処理装置の訓練パラメータを調整することによって実現できる。

【0107】

本開示に係るテキスト処理装置によれば、例えば、テキストの要約のコンテンツを生成する際に、入力されたテキストにおける各単語からなる文ベクトルの間の相関性に基づいて、入力されたテキストにおける単語の当該テキストのコンテンツにおける重要度を確定することができ、テキストのコンテンツに対する単語の重要度に基づいて、生成されたテキストのコンテンツを確定するといった技術的効果を奏する。本開示では、要約を生成する場合を例に挙げて原理を説明したが、本開示の内容はこれに限定されない。本開示の原理から逸脱することなく、本開示に係るテキスト処理方法を、テキスト拡張、テキスト書き換え等の他の応用シーンに適用することもできる。

【0108】

なお、本開示の実施例による方法または装置は、図５に示されるコンピューティングデバイスのアーキテクチャによって実現されてもよい。図５は、コンピューティングデバイスのアーキテクチャを示す。図５に示されるように、コンピューティングデバイス５００は、バス５１０、１つまたは少なくとも２つのＣＰＵ５２０、読み取り専用メモリ(ＲＯＭ)５３０、ランダムアクセスメモリ(ＲＡＭ) ５４０、ネットワークに接続された通信ポート５５０、入力／出力コンポーネント５６０、ハードディスク５７０などを含んでもよい。コンピューティングデバイス５００での記憶デバイス、例えば、ＲＯＭ５３０またはハードディスク５７０には、ビデオにおいてターゲットを検出するための方法の処理および／または通信に利用される、本開示による様々なデータまたはファイル、ならびにＣＰＵによって実行されるプログラム命令が記憶されていることができる。コンピューティング装置５００は、ユーザインターフェース５８０も含んでもよい。もちろん、図５に示されるアーキテクチャは、単なる例示的なものであり、異なるデバイスを実現する場合、実際の必要に応じて、図５に示されるコンピューティングデバイスの１つまたは少なくとも２つの構成要素は省略されてもよい。

【0109】

本願の実施例は、コンピュータ読み取り可能な記憶媒体としても実装されてもよい。本願の実施例によるコンピュータ読み取り可能な記憶媒体は、コンピュータ可読命令を記憶している。コンピュータ読み取り可能な命令がプロセッサによって実行されるとき、上記の図面を参照して説明した本願の実施例による方法が実行されることができる。コンピュータ読み取り可能な記憶媒体は、例えば、揮発性メモリ及び／又は不揮発性メモリを含むが、これらに限定されない。揮発性メモリは、例えば、ランダムアクセスメモリ(ＲＡＭ)及び／又はキャッシュメモリ（ｃａｃｈｅ）などを含んでもよい。不揮発性メモリは、例えば、読み取り専用メモリ(ＲＯＭ)、ハードディスク、フラッシュメモリなどを含んでもよい。

【0110】

本明細書で開示された内容に対して、様々な変更および改良が行われ得ることは、当業者によって理解されるべきであろう。例えば、上記の様々な装置又は構成要素は、ハードウェアで、又はソフトウェア、ファームウェア、又はこれらの一部又は全部の組み合わせで実現されてもよい。

【0111】

また、本出願及び特許請求の範囲に示されるように、「１」、「１個」、及び／又は「１種類」及び／又は「当該」などの用語は、文脈上明らかにそうでないことを示しない限り、単数形のものではなく、複数形のものも含むことができる。一般に、「含む」及び「有する」という用語は、明示的に特定されたステップ及び要素を含むことを単に示唆するものであり、これらのステップ及び要素は排他的な羅列を構成するものではなく、方法又は装置は他のステップ又は要素を含むこともある。

【0112】

さらに、本明細書は、本開示の実施例によるシステムのいくつかのユニットに対する様々な参照を行うが、任意の数の異なるユニットが使用され、クライアント及び／又はサーバ上で実行されてもよい。前記ユニットは、単に例示的なものであり、そして前記システム及び方法の異なる態様には、異なるユニットを使用してもよい。

【0113】

また、本発明の実施例に係るシステムが実行する動作を説明するために、本発明の開示においてフローチャートを用いる。なお、前述又は後述した動作は、必ずしも順序通りに正確に実行されなくてもよい。逆に、様々なステップは、逆の順序にまたは同時に実行され得る。同時に、他の操作もこれらのプロセスに加えられ、またはこれらのプロセスから一つ又は複数のステップの動作が除去されてもよい。

【0114】

本明細書で使用される全ての用語（技術的及び科学的な用語を含み）は、特に定義されない限り、本発明が属する技術分野の当業者によって共通に理解されるのと同じ意味を持つ。一般的な辞書に定義されているような用語は、関連技術の文脈上の意味と一致する意味を持つものと解釈されるべきであり、本明細書で明らかに定義しない限り、理想的または極端な形式で解釈されるべきではない。

【0115】

以上、本発明を説明したが、本発明はこれらに限定されるものではない。本発明のいくつかの例示的な実施例を説明したが、本発明の新規な教示および利点から逸脱することなく、例示的な実施例に多くの変更を行うことができることは当業者には容易に理解されるべきである。したがって、このような全ての変更は特許請求で限定されている本発明の範囲に含まれることが意図される。上記は、本発明に対する説明であり、本発明が開示された特定の実施例に限定されるものと理解されるべきではなく、開示された実施例および他の実施例に対する変更は、添付の特許請求の範囲内に含まれることが意図されることを理解されたい。本発明は、特許請求の範囲およびそれと同等なものによって限定される。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】