特許 7133689 テキスト生成装置、テキスト生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-08-31

(45)【発行日】2022-09-08

(54)【発明の名称】テキスト生成装置、テキスト生成方法、およびプログラム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20220901BHJP

   G06F 16/906 20190101ALI20220901BHJP

【ＦＩ】

G06F40/56

G06F16/906

【請求項の数】 5

(21)【出願番号】P 2021121372

(22)【出願日】2021-07-26

【審査請求日】2021-07-26

(73)【特許権者】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】川前 徳章

【審査官】木村 大吾

(56)【参考文献】

【文献】特開２０１９－０４９９８０（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２６６７７８０（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

Ｇ０６Ｆ １６／００－１６／９５８

(57)【特許請求の範囲】

【請求項1】

アイテムの識別子、ユーザの識別子、ユーザによるアイテムに対するレビュー、およびユーザのアイテムに対する評価を学習データとして、アイテムの識別子とユーザの識別子を入力すると入力した識別子に相当するユーザによる入力した識別子に相当するアイテムに対するレビューを生成するとともに、同ユーザによる同アイテムに対する評価を生成するように学習した深層学習モデルと、
アイテムの識別子とユーザの識別子を前記深層学習モデルに入力し、前記ユーザによる前記アイテムに対するレビューと評価を出力する生成部を備え、
前記深層学習モデルは、アイテムと単語の分散ベクトルを入力して当該アイテムと単語に基づく第１ベクトルを出力するアスペクト層、ユーザと単語の分散ベクトルを入力して当該ユーザと単語に基づく第２ベクトルを出力するプリファレンス層、前記第１ベクトルと前記第２ベクトルを入力してトピックベクトルを出力するトピック層、前記第１ベクトルと前記第２ベクトルを入力し、前記第１ベクトルと前記第２ベクトルに重み付けして足し合わせた第３ベクトルを出力するゲート層、および前記第３ベクトルと前記トピックベクトルと一つ前の単語に基づいて次の単語を選択するテキスト生成層を備え、さらに、前記ユーザによるアイテムに対する評価を予測する評価予測層を備える
テキスト生成装置。

【請求項2】

請求項１に記載のテキスト生成装置であって、
前記深層学習モデルの出力する予測評価の誤差を最小化するとともに、前記深層学習モデルの出力する単語の確率関数の対数尤度を最大化するように前記深層学習モデルを学習する学習部を備える
テキスト生成装置。

【請求項3】

コンピュータが、
アイテムの識別子、ユーザの識別子、ユーザによるアイテムに対するレビュー、およびユーザのアイテムに対する評価を学習データとして、アイテムの識別子とユーザの識別子を入力すると入力した識別子に相当するユーザによる入力した識別子に相当するアイテムに対するレビューを生成するとともに、同ユーザによる同アイテムに対する評価を生成するように学習した深層学習モデルを保持して、
アイテムの識別子とユーザの識別子を前記深層学習モデルに入力し、前記ユーザによる前記アイテムに対するレビューと評価を出力し、
前記深層学習モデルは、アイテムと単語の分散ベクトルを入力して当該アイテムと単語に基づく第１ベクトルを出力するアスペクト層、ユーザと単語の分散ベクトルを入力して当該ユーザと単語に基づく第２ベクトルを出力するプリファレンス層、前記第１ベクトルと前記第２ベクトルを入力してトピックベクトルを出力するトピック層、前記第１ベクトルと前記第２ベクトルを入力し、前記第１ベクトルと前記第２ベクトルに重み付けして足し合わせた第３ベクトルを出力するゲート層、および前記第３ベクトルと前記トピックベクトルと一つ前の単語に基づいて次の単語を選択するテキスト生成層を備え、さらに、前記ユーザによるアイテムに対する評価を予測する評価予測層を備える
テキスト生成方法。

【請求項4】

請求項３に記載のテキスト生成方法であって、
コンピュータが、
前記深層学習モデルの出力する予測評価の誤差を最小化するとともに、前記深層学習モデルの出力する単語の確率関数の対数尤度を最大化するように前記深層学習モデルを学習する
テキスト生成方法。

【請求項5】

請求項１または２に記載のテキスト生成装置の各部としてコンピュータを動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、テキスト生成装置、テキスト生成方法、およびプログラムに関する。

【背景技術】

【0002】

商品を実際に手にとって確認できないＥＣサイトなどでは、ユーザは商品のレビューを参考にして購入する商品を選ぶことが多い。商品のレビューを数多く用意することで、売上増加に貢献できる。

【0003】

機械学習したモデルを用いてテキストを生成する技術が知られている。従来のテキスト生成モデルは、テキスト集合からテキストを構成する単語の統計的パターンを学習し、テキスト生成モデルにいくつかの単語を与えると、与えられた単語に続く単語を統計的パターンに基づいて予測する。

【先行技術文献】

【非特許文献】

【0004】

【文献】Quoc-Tuan Truong and Hady W. Lauw, "Multimodal Review Generation for Recommender Systems", WWW'19, 2019, pp. 1864-1874

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来方法では同じようなテキストばかりが生成されるため、ユーザおよびアイテムごとに異なる多彩なレビューを生成することが難しいという問題があった。

【0006】

本発明は、上記に鑑みてなされたものであり、多彩なレビューを自動生成することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様のテキスト生成装置は、アイテムの識別子、ユーザの識別子、ユーザによるアイテムに対するレビュー、およびユーザのアイテムに対する評価を学習データとして、アイテムの識別子とユーザの識別子を入力すると入力した識別子に相当するユーザによる入力した識別子に相当するアイテムに対するレビューを生成するとともに、同ユーザによる同アイテムに対する評価を生成するように学習した深層学習モデルと、アイテムの識別子とユーザの識別子を前記深層学習モデルに入力し、前記ユーザによる前記アイテムに対するレビューと評価を出力する生成部を備え、前記深層学習モデルは、アイテムと単語の分散ベクトルを入力して当該アイテムと単語に基づく第１ベクトルを出力するアスペクト層、ユーザと単語の分散ベクトルを入力して当該ユーザと単語に基づく第２ベクトルを出力するプリファレンス層、前記第１ベクトルと前記第２ベクトルを入力してトピックベクトルを出力するトピック層、前記第１ベクトルと前記第２ベクトルを入力し、前記第１ベクトルと前記第２ベクトルに重み付けして足し合わせた第３ベクトルを出力するゲート層、および前記第３ベクトルと前記トピックベクトルと一つ前の単語に基づいて次の単語を選択するテキスト生成層を備え、さらに、前記ユーザによるアイテムに対する評価を予測する評価予測層備える。

【0008】

本発明の一態様のテキスト生成方法は、コンピュータが、アイテムの識別子、ユーザの識別子、ユーザによるアイテムに対するレビュー、およびユーザのアイテムに対する評価を学習データとして、アイテムの識別子とユーザの識別子を入力すると識別子に相当するユーザによる識別子に相当するアイテムに対するレビューを生成するとともに、同ユーザによる同アイテムに対する評価を生成するように学習した深層学習モデルを保持して、アイテムの識別子とユーザの識別子を前記深層学習モデルに入力し、前記ユーザによる前記アイテムに対するレビューと評価を出力し、前記深層学習モデルは、アイテムと単語の分散ベクトルを入力して当該アイテムと単語に基づく第１ベクトルを出力するアスペクト層、ユーザと単語の分散ベクトルを入力して当該ユーザと単語に基づく第２ベクトルを出力するプリファレンス層、前記第１ベクトルと前記第２ベクトルを入力してトピックベクトルを出力するトピック層、前記第１ベクトルと前記第２ベクトルを入力し、前記第１ベクトルと前記第２ベクトルに重み付けして足し合わせた第３ベクトルを出力するゲート層、および前記第３ベクトルと前記トピックベクトルと一つ前の単語に基づいて次の単語を選択するテキスト生成層を備え、さらに、前記ユーザによるアイテムに対する評価を予測する評価予測層を備える。

【発明の効果】

【0009】

本発明によれば、多彩なレビューを自動生成できる。

【図面の簡単な説明】

【0010】

【図1】図１は、本実施形態のテキスト生成システムの構成の一例を示す図である。

【図2】図２は、本実施形態で提案する深層学習モデルの一例を示す図である。

【図3】図３は、学習処理の流れの一例を示すフローチャートである。

【図4】図４は、テキスト生成処理の流れの一例を示すフローチャートである。

【図5】図５は、テキスト生成アルゴリズムの一例を示す図である。

【発明を実施するための形態】

【0011】

［システム構成］
以下、本発明の実施の形態について図面を用いて説明する。

【0012】

図１は、本実施形態のテキスト生成システムの構成の一例を示す図である。同図に示すテキスト生成システム１は、学習部１０、生成部２０、データ保存部３０、および計算結果記憶部４０を備える。テキスト生成システム１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムはテキスト生成システム１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0013】

テキスト生成システム１は、客観的要素（ａｓｐｅｃｔ）と主観的要素（ｐｒｅｆｅｒｅｎｃｅ）をテキスト生成モデルに組み込み、客観的要素と主観的要素をテキストの生成に反映する。例えば、客観的要素はアイテム（商品）であり、主観的要素はユーザである。テキスト生成システム１に、ユーザの識別子（以下、ユーザと称する）とアイテムの識別子（以下、アイテムと称する）を入力すると、当該ユーザが当該アイテムについて書きそうなレビューを生成する。これにより、画一的なレビューでなく、ユーザおよびアイテムに応じた多彩なレビューを自動生成できる。

【0014】

学習部１０は、ユーザ、アイテム、ユーザによるアイテムに対するレビュー（テキスト）、およびユーザによるアイテムに対する評価を学習データとして入力し、テキスト生成条件（ユーザとアイテム）とテキストの客観的要素／主観的要素との対応を学習して、テキスト生成条件に合ったレビューを自動生成する深層学習モデルを構築する。

【0015】

生成部２０は、サービス事業者５から受け付けたユーザおよびアイテムをテキスト生成条件として深層学習モデルに入力し、ユーザのアイテム対するレビューを生成するとともに、ユーザのアイテム対する評価を予測する。サービス事業者５は、例えば、ＥＣサイトの運営事業者である。

【0016】

データ保存部３０は、ユーザ、アイテム、レビュー、および評価などの学習データを保持する。学習データは、実際にユーザがアイテムに対して記載したレビューおよび評価であり、サービス事業者５によって収集される。

【0017】

計算結果記憶部４０は、学習によって得られた深層学習モデルのパラメータ、ユーザやアイテムの分散ベクトル（分散埋め込み表現）などの計算結果を保持する。

【0018】

［提案モデル］
図２を参照し、本実施形態で提案するテキスト生成モデル（深層学習モデル）について説明する。同図に示すテキスト生成モデルは、長・短期記憶（ＬＳＴＭ）で構成されてテキストを生成するとともに、アイテムに対する評価を予測する。テキスト生成モデルは、アスペクトレイヤー、プリファレンスレイヤー、トピックコンポーネント、ゲートレイヤー、およびテキスト生成評価予測レイヤーを備える。

【0019】

アスペクトレイヤーは、アイテムとｔ番目の単語（文字列）の分散ベクトルの直和を入力し、式（１）により、ＬＳＭＴの隠れ状態ｈ_tを求める。

【0020】

【数1】

【0021】

ここで、Ｗ_*はプロジェクション行列であり、ｂ_*はバイアスである。σはシグモイド関数であり、φはｔａｎｈ関数である。ｆ_t，ｉ_t，ｏ_t，ｃ_tは、それぞれＬＳＭＴの忘却ゲート、入力ゲート、出力ゲート、記憶セルである。ｅ_w∈Ｅ^Wは単語の分散ベクトルであり、ｉｅ_i∈Ｅ^Iはアイテムの分散ベクトルである。

【0022】

また、アスペクトレイヤーは、アテンションメカニズムを適用し、ＬＳＴＭの出力ｈ_a,tをまとめて、式（２）により、アスペクトベクトルａ_a,tを計算する。

【0023】

【数2】

【0024】

ここで、ｖ_aはプロジェクションベクトルであり、Ｗ_a1,Ｗ_a2∈Ｒ^n×n、Ｗ_ai∈R^n×n+Mはプロジェクション行列であり、ｂ_aはバイアスである。ｈ_t∈Ｒⁿは位置ｔのＬＳＴＭの隠れ状態であり、ｈ_t（ｈのうえに～）∈Ｒⁿは位置ｔより前の位置＜ｔ(＝１，２，…，ｔ－１)のＬＳＴＭの隠れ状態である。

【0025】

プリファレンスレイヤーは、上記式（１）のｉｅ_iを式（３）のようにユーザの分散ベクトルｕｅ_u∈Ｅ^Uに置き換えて、ユーザと単語の分散ベクトルの直和を入力し、プリファレンスベクトルａ_p,tを計算する。

【0026】

【数3】

【0027】

なお、ａ_a,tは、アスペクト観点の単語の分散ベクトルに相当し、ａ_p,tは、プリファレンス観点の単語の分散ベクトルに相当する。

【0028】

トピックコンポーネントは、式（４）により、アスペクトレイヤーとプリファレンスレイヤーで得られたａ_a,tとａ_p,tを用いて、位置ｔのトピックベクトルｚ_tを計算する。

【0029】

【数4】

【0030】

ここで、Ｗ_zh∈Ｒ^^k×2nはプロジェクション行列であり、ｂ_hz∈Ｒ^kはバイアスである。

【0031】

ゲートレイヤーは、式（５）により、アスペクトレイヤーとプリファレンスレイヤーで得られたａ_a,tとａ_p,tをγ_u,tで重み付けして足し合わせてａ_u,i,tを計算する。

【0032】

【数5】

【0033】

ここで、Ｗ_γu∈Ｒ^1×M、Ｗ_γa∈Ｒ^1×nはプロジェクション行列であり、ｂ_γはバイアスである。γ_u,tが増加すれば、後段のテキスト生成において、プリファレンス（ユーザの主観）の影響が増加する。人手でγ_u,tを操作すると、生成されるテキストの主観的要素と客観的要素の影響度合いを変えることができる。

【0034】

テキスト生成評価予測レイヤーは、式（６）により、ゲートレイヤーで得られたａ_u,i,t、トピックコンポーネントで得られたトピックｚ_t、および前の位置の単語ｅ_wt-1を用いて、位置ｔの単語ｗ_tの出現確率を計算し、式（７）により、最も出現確率の高い単語を選択する。

【0035】

【数6】

【0036】

【数7】

【0037】

ここで、Ｗ_d∈Ｒ^V×n、Ｗ_da∈Ｒ^n×n、Ｗ_dw∈Ｒ^n×Mはプロジェクション行列であり、ｂ_dはバイアスである。

【0038】

また、テキスト生成評価予測レイヤーは、式（８）により、ユーザｕによるアイテムｉへの評価ｒ_u,i（ｒの上に＾）を計算する。

【0039】

【数8】

【0040】

ここで、φはｔａｎｈ関数である。Ｗ_l、ｂ_lは、評価を予測するｌ番目のニューラル層のプロジェクション行列とバイアスである。Ｗ_r、ｂ_rは、出力層のプロジェクション行列とバイアスである。評価の予測には、多層パーセプトロン（ＭＬＰ）を利用でき、テキスト生成評価予測レイヤーは、アイテムに対する評価を予測するＭＬＰを含む。

【0041】

［動作］
次に、図３のフローチャートを参照し、学習処理について説明する。

【0042】

ステップＳ１１にて、学習部１０は、データ保存部３０に保存されたユーザのアイテムに対するレビューと評価を取得し、レビューを単語に分割する。学習部１０は、アイテム、ユーザ、およびユーザのアイテムに対するレビューと評価を学習データとして用いる。

【0043】

ステップＳ１２にて、学習部１０は、評価予測に関する二乗誤差を最小化し、式（６）の確率関数の対数尤度を最大化するように、モデルのパラメータを更新する。具体的には、学習部１０は、式（９）の目的関数が最小となるように、モデルのパラメータを更新する。

【0044】

【数9】

【0045】

ここで、二重線の“１”は、ユーザｕがアイテムｉに評価を付けていたときは１、評価を付けていないときは０となるインジケータ関数である。λ_rとλ_dは評価を予測するコンポーネントとテキストを生成するコンポーネントとの間の重要性のバランスをとるためのハイパーパラメータである。Θ_rp，Θ_dpは評価を予測するコンポーネントとテキストを生成するコンポーネントのパラメータの集合である。“||・||”は、行列のフロベニウスノルムを示す。Ｒは、ユーザ－アイテム評価マトリックスである。ｒ_u,iは、ユーザｕがアイテムｉに実際に付けた評価である。ｒ_u,i（ｒの上にハット）は、評価の予測値である。ｄ_u,iは、ユーザｕのアイテムｉに対するレビューである。λ_rp，λ_dp，λ_u，λ_iはオーバーフィッティングを防止するための正則化パラメータである。

【0046】

学習部１０は、評価予測とテキスト生成を同時に学習するので、予測評価に応じたレビューを生成できる。

【0047】

次に、図４および図５を参照し、テキスト生成処理について説明する。図４は、生成部２０の処理の流れの一例を示すフローチャートである。図５は、テキスト生成処理のアルゴリズムの一例である。

【0048】

ステップＳ２１にて、生成部２０は、テキスト生成条件となるユーザｕとアイテムｉの識別子を入力し、ユーザの分散ベクトルｕｅ_uとアイテムの分散ベクトルｉｅ_iを求める。

【0049】

ステップＳ２２にて、生成部２０は、シードとなる最初の単語を数語入力する。例えば、最初は、テキストの始まりを示す“＜ｓｔｒ＞”を入力する。シードとなる単語の後は、生成部２０の出力した単語を入力する。

【0050】

生成部２０は、ユーザ、アイテム、および単語の分散ベクトルをモデルに入力すると、ステップＳ２３にて、アスペクトレイヤーとプリファレンスレイヤーにおいて、ａ_a,tとａ_p,tが求められる。

【0051】

ステップＳ２４にて、トピックコンポーネントにおいて、ｚ_tが求められる。

【0052】

ステップＳ２５にて、ゲートレイヤーにおいて、ａ_u,i,tが求められる。

【0053】

ステップＳ２６にて、テキスト生成評価予測レイヤーおいて、単語が出力される。

【0054】

ステップＳ２７にて、生成部２０は、テキストの生成が終了したか否か判定する。生成部２０は、テキストの終了を示す“＜ｅｎｄ＞”が出力された場合、または出力されたテキストが最大文字数Ｔに達した場合に、終了と判定する。テキストの生成が終了していない場合は、ステップＳ２２に戻り、次の単語の予測を開始する。

【0055】

ステップＳ２８にて、モデルから出力された単語が順につなげられて、レビューｄ（うえに＾）が生成される。

【0056】

ステップＳ２９にて、テキスト生成評価予測レイヤーおいて、ユーザがアイテムに付ける予測評価ｒ（うえに＾）が計算される。

【0057】

以上の処理により、ユーザとアイテムを条件としたレビューと評価が得られる。

【0058】

以上説明したように、本実施形態のテキスト生成システム１は、アイテムｉ、ユーザｕ、ユーザによるアイテムに対するレビューｄ、およびユーザのアイテムに対する評価ｒを学習データとして、ユーザｕとアイテムｉを入力するとユーザによるアイテムに対するレビューを生成するとともに、ユーザによるアイテムに対する評価を生成するように学習したテキスト生成モデルと、アイテムとユーザをテキスト生成モデルに入力し、ユーザによるアイテムに対するレビューと評価を出力する生成部２０を備える。テキスト生成モデルは、アイテムと単語の分散ベクトルを入力してａ_a,tを出力するアスペクトレイヤー、ユーザと単語の分散ベクトルを入力してａ_p,tを出力するプリファレンスレイヤー、ａ_a,tとａ_p,tを入力してｚ_tを出力するトピックコンポーネント、ａ_a,tとａ_p,tを入力し、ａ_a,tとａ_p,tに重み付けγ_u,tして足し合わせたａ_u,i,tを出力するゲートレイヤー、およびａ_u,i,tとｚ_tと一つ前の単語ｅ_ｗt-1に基づいて次の単語を選択するとともに、ユーザによるアイテムに対する評価を予測するテキスト生成評価予測レイヤーを備える。これにより、テキスト生成条件として入力したユーザとアイテムに応じた多彩なレビューを自動生成できる。

【0059】

本実施形態のテキスト生成システム１は、学習部１０が、予測評価の誤差を最小化するとともに、単語の確率関数の対数尤度を最大化するように、テキスト生成モデルを学習することにより、予測評価に応じたレビューを生成でき、生成するレビューの質の向上が期待できる。

【符号の説明】

【0060】

１ テキスト生成システム
１０ 学習部
２０ 生成部
３０ データ保存部
４０ 計算結果記憶部
５ サービス事業者

【要約】      （修正有）

【課題】多彩なレビューを自動生成するテキスト生成装置、テキスト生成方法及びプログラムを提供する。
【解決手段】テキスト生成システム１は、アイテム、ユーザ、ユーザによるアイテムに対するレビュー及びユーザのアイテムに対する評価を学習データとして、ユーザとアイテムを入力するとユーザによるアイテムに対するレビューを生成するとともに、ユーザによるアイテムに対する評価を生成するように学習した生成モデルと、アイテムとユーザを生成モデルに入力し、ユーザによるアイテムに対するレビューと評価を出力する生成部２０を備える。生成モデルは、アスペクト層、プリファレンス層、トピックコンポーネント、ゲート層及びテキスト生成評価予測層を備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】