特開 2023-135199 対話テキスト生成装置、対話テキスト生成方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023135199

(43)【公開日】2023-09-28

(54)【発明の名称】対話テキスト生成装置、対話テキスト生成方法、およびプログラム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20230921BHJP

   G06F 40/35 20200101ALI20230921BHJP

【ＦＩ】

G06F40/56

G06F40/35

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022040286

(22)【出願日】2022-03-15

(71)【出願人】

【識別番号】397065480

【氏名又は名称】エヌ・ティ・ティ・コムウェア株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(72)【発明者】

【氏名】川前 徳章

【テーマコード（参考）】

5B091

【Ｆターム（参考）】

5B091CA21

5B091EA01

(57)【要約】      （修正有）

【課題】発話のコンテキストを反映した発話を生成する対話テキスト生成技術を提供する。
【解決手段】対話システム１は、学習部１０と生成部２０を備える。学習部は、発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別毎に他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前の発話テキストの単語と属性を条件として、また、次の発話テキストの単語を出力結果として入力し、属性の予測精度を表す目的関数と前の発話テキストと次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する。生成部は、直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語を繋げて発話者の次の発話となる応答テキストを生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

発話に対する応答テキストを生成する対話テキスト生成装置であって、
発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストの単語を出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する学習部と、
直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する生成部を備える
対話テキスト生成装置。

【請求項2】

請求項１に記載の対話テキスト生成装置であって、
前記マルチビューアテンションメカニズムは、前記属性のトークンについては全てのトークンへのアクセスを可能とし、前記次の発話テキストの単語のトークンについては前記属性のトークンの全てと当該単語よりも前に出現した単語のトークンへのアクセスを可能とする自己アテンションマスクを備える
対話テキスト生成装置。

【請求項3】

請求項１または２に記載の対話テキスト生成装置であって、
前記学習部は、一連の対話における発話テキストを入力し、前記前の発話テキストと次の発話テキストを１つずつずらしながら学習する
対話テキスト生成装置。

【請求項4】

発話に対する応答テキストを生成する対話テキスト生成方法であって、
コンピュータが、
発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストの単語を出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習し、
直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する
対話テキスト生成方法。

【請求項5】

請求項４に記載の対話テキスト生成方法であって、
前記マルチビューアテンションメカニズムは、前記属性のトークンについては全てのトークンへのアクセスを可能とし、前記次の発話テキストの単語のトークンについては前記属性のトークンの全てと当該単語よりも前に出現した単語のトークンへのアクセスを可能とする自己アテンションマスクを備える
対話テキスト生成方法。

【請求項6】

請求項４または５に記載の対話テキスト生成方法であって、
一連の対話における発話テキストを入力し、前記前の発話テキストと次の発話テキストを１つずつずらしながら学習する
対話テキスト生成方法。

【請求項7】

請求項１ないし３のいずれかに記載の対話テキスト生成装置の各部としてコンピュータを動作させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対話テキスト生成装置、対話テキスト生成方法、およびプログラムに関する。

【背景技術】

【0002】

ＡＩの応用分野の一つである自然言語処理の世界ではテキストの自動生成が登場している。近年のＡＩで自動生成されたテキストは人間が書いたテキストと見分けるのが難しいぐらいの品質である。この応用として、人間と対話が可能な発話生成への適用が進んでいる。従来のモデルは一般的な会話が可能であるが、ビジネスやサービスへの適用には個々の領域にあわせてモデルをカスタマイズ（再学習）する必要がある。

【先行技術文献】

【非特許文献】

【0003】

【非特許文献1】Sergey Golovanov, Rauf Kurbanov, Sergey Nikolenko, Kyryl Truskovskyi, Alexander Tselousov, and Thomas Wolf, "Large-Scale Transfer Learning for Natural Language Generation", In ACL, 2019, 6053-6058

【非特許文献2】Yu Cao, Wei Bi, Meng Fang, and Dacheng Tao, D. "Pretrained Language Models for Dialogue Generation with Multiple Input Sources", In EMNLP, 2020, 909-917

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、再学習により一般的な発話への応答精度が低くなったり、生成する発話が言語として崩れてくることがあったり、再学習前のモデルとのバランスをとるのが難しいという課題がある。加えて発話のコンテキスト（発話者の属性やこれまでの発話内容）を再学習で反映するのが難しいという課題がある。

【0005】

本発明は、上記に鑑みてなされたものであり、再学習前のモデルと再学習後のモデルをバランスよく結合し、発話のコンテキストを反映した発話を生成する対話テキスト生成技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様の対話テキスト生成装置は、発話に対する応答テキストを生成する対話テキスト生成装置であって、発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストを出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する学習部と、直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する生成部を備える。

【発明の効果】

【0007】

本発明によれば、再学習前のモデルと再学習後のモデルをバランスよく結合し、発話のコンテキストを反映した発話を生成する対話テキスト生成技術を提供できる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態の対話システムの構成の一例を示す図である。

【図2】図２は、本実施形態で提案する深層学習モデルの一例を示す図である。

【図3】図３は、自己アテンションマスクの一例を示す図である。

【図4】図４は、学習処理の流れの一例を示すフローチャートである。

【図5】図５は、学習データの一例を示す図である。

【図6】図６は、対話生成処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

［システム構成］
以下、本発明の実施の形態について図面を用いて説明する。

【0010】

本実施形態の対話システムは、発話の生成を発話のコンテキスト（発話履歴や発話者の属性）を条件とする条件付きテキスト生成と解釈し、直前までの発話を含む発話テキストと発話者の属性（生成する発話テキストの発話者の属性）をコンテキストとして与えると、条件に応じた次の発話テキストを生成するシステムである。例えば、直前の発話テキストとして“Ｍａｙ Ｉ ｈｅｌｐ ｙｏｕ？”を入力し、発話者の属性として「発話者Ａ」を入力すると、“Ｙｅｓ， ｐｌｅａｓｅ．”のように、発話者Ａによる次の発話テキストを生成する。同じ発話テキストを与えても、発話者の属性を「発話者Ｂ」に変えて入力すると、“Ｎｏ， ｔｈａｎｋ ｙｏｕ．”のように、発話者の属性により異なる発話テキストを生成する。発話者の属性は、例えば、発話者の識別子、年齢、職業、あるいは場所などである。発話者の複数の属性が入力されてもよい。

【0011】

図１は、本実施形態の対話システムの構成の一例を示す図である。図１に示す対話システム１は、学習部１０、生成部２０、データ保存部３０、計算結果記憶部４０、および入出力部５０を備える。対話システム１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは対話システム１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリなどの記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0012】

学習部１０は、各発話に発話者の属性が付与された一連の発話テキストを学習データとして入力し、連続する２つの発話テキストを単語に分割し、前の発話テキストの単語と発話者の属性を条件として入力し、属性を単語と同じ意味空間に配置できるようにモデルを学習するとともに、前の発話テキストに対応する次の発話テキストを生成するようにモデルを学習する。

【0013】

生成部２０は、直前の発話テキストおよび発話者の属性を学習済みモデルに入力し、発話者の次の発話となる発話テキストを生成する。

【0014】

データ保存部３０は、一連の発話テキストを含む学習データを保持する。各発話には発話者の属性が付与されている。

【0015】

計算結果記憶部４０は、テキストを生成する深層学習モデル、学習によって得られた深層学習モデルのパラメータ、属性や単語の分散ベクトル（分散埋め込み表現）などの計算結果を保持する。

【0016】

入出力部５０は、ユーザ端末５から属性および発話文を入力して生成部２０へ送信し、生成部２０から生成した発話テキストを受信して応答文としてユーザ端末５に返却する。

【0017】

［提案モデル］
図２および図３を参照し、本実施形態で提案するモデルについて説明する。図２に示す提案モデルは、Ｔｒａｎｓｆｏｒｍｅｒにマルチビューアテンションメカニズムを導入した深層学習モデルである。提案モデルは直前の発話を含む発話テキストを条件として用い、提案モデルに発話テキスト（ＨＩＳＴＯＲＹ）と発話者の属性（ＡＴＴＲＩＢＵＴＥ）を入力すると、入力した発話者の属性による次の発話テキスト（ＵＴＴＥＲＡＮＣＥ）を自己回帰的に生成する。Ｔｒａｎｓｆｏｒｍｅｒは主に自然言語処理分野で用いられる深層学習モデルである。ＴｒａｎｓｆｏｒｍｅｒをＬｅｆｔ－ｔｏ－ｒｉｇｈｔ Ｌａｎｇｕａｇｅ ｍｏｄｅｌとして利用すると、入力した単語からその次に出現する単語を確率的に予測し、これを再帰的に繰り返すことでデキストを生成できる。マルチビューアテンションメカニズムは、単語間、属性間、または単語と属性間の関連度（Ａｔｔｅｎｔｉｏｎ）を計算する際に、属性は双方向で参照でき、単語は属性とテキスト内で以前に出現した単語のみを参照できるようにする仕組みである。マルチビューアテンションメカニズムは、トークン（属性および単語）ごとにコンテキストへのアクセスを制御するための異なる自己アテンションマスクを持つことで、Ｔｒａｎｓｆｏｒｍｅｒが属性側と単語側とでパラメータを共有できる。

【0018】

図３にマルチビューアテンションメカニズムで利用する自己アテンションマスクの一例を示す。図３の例では、自己アテンションマスクを、縦方向に参照元の単語ｈ、属性ａ、単語ｕを並べ、横方向に参照先の単語ｈ、属性ａ、単語ｕを並べて示した。ｈは発話履歴の単語のトークンに相当し、ａは属性のトークンに相当し、ｕは生成する発話（次の発話テキスト）の単語のトークンに相当する。黒丸は参照可能なトークンを示す。単語ｈは直前の発話テキストを構成する単語である。単語ｕは次の発話テキストを構成する単語である。単語ｈに関しては入力のみで出力がないので、単語ｈ，ｕと属性ａを参照しない。属性ａは、単語ｈ，ｕと属性ａの全てを参照できる。単語ｕは、単語ｈの全てと属性ａの全てと次の発話テキストにおいてそれまでに出現した単語ｕのみを参照できる。以下、マルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒについて説明する。

【0019】

アテンションとはトークン間（属性間、単語間、属性と単語間）の関連度を表すスコアである。各トークンがＱ（クエリ），Ｋ（キー），およびＶ（バリュー）のベクトルを持つ。次式のように、アテンションは、Ｖの加重和であり、その加重はＱとＫを使って計算される。本実施形態では、アテンションの計算にマルチビューアテンションメカニズムを導入し、別のトークンへのアクセスを制御した。

【0020】

【数1】

【0021】

Ｗ_l ^Q，Ｗ_l ^K，Ｗ_l ^V∈Ｒ^d _h ^×d _kは、Ｑ，Ｋ，Ｖ∈Ｒ^x×d _kのそれぞれを計算するための学習可能な重みである。ｄは、クエリとキーの共有次元数である。Ｍ∈Ｒ^x×xは自己アテンションマスクである。アテンションを求める際に、単語のトークンについては後続（ｉ＜ｊ）の単語を参照しないように無限に小さい値とする。ＨはＴｒａｎｓｆｏｒｍｅｒを構成するパラメータであり、次式で表される。

【0022】

【数2】

【0023】

Ｈ_a ⁰はＴｒａｎｓｆｏｒｍｅｒへの入力であって、各トークンについて、属性または単語の分散埋め込み表現（Ｔｏｋｅｎ Ｅｍｂｅｄｄｉｎｇ）、位置の分散埋め込み表現（Ｐｏｓｉｔｉｏｎａｌ Ｅｍｂｅｄｄｉｎｇ）、およびデータ形式の分散埋め込み表現（Ｓｅｇｍｅｎｔ Ｅｍｂｅｄｉｎｇ）を合わせたものである。Ｈ_a ^lはｌ番目のレイヤの出力であり、次のレイヤへの入力である。なお、図２中の［ＣＬＳ］は始まりを示すトークンである。［ＳＥＰ］は区切りを示すトークンである。［ＳＯＡ］は属性の始まりを示し、［ＥＯＡ］は属性の終わりを示すトークンである。［ＥＯＴ］はテキストの終わりを示すトークンである。

【0024】

提案モデルは、学習タスクとしてＭＡＮとＮＵＭを導入した。ＭＡＮにより属性を単語と同じ意味空間に配置できるようにモデルを学習する。ＭＡＭは次式で定義される。

【0025】

【数3】

【0026】

ここで、ζは学習するパラメータを表す。ｊ番目のテキストにおける属性群をａ_j＝｛ａ_j,1，・・・，ａ_j,i｝、単語群をｗ_j＝｛ｗ_j,1，・・・，ｗ_j,i｝とする。単語群は、直前の発話テキスト（ＨＩＳＴＯＲＹ）と次の発話テキスト（ＵＴＴＥＲＡＮＣＥ）の単語を含む。バックスラッシュを付したｍはｍ番目の属性をマスクしたことを表す。ＭＡＭは属性の一部を除いたときの属性の予測精度を表し、ＭＡＭによりマスクした属性を正しく推定できるようにモデルを学習できる。

【0027】

ＮＵＭは次式で定義される。

【0028】

【数4】

【0029】

連続する発話のスコアリング関数をｓ_ζ（ｈ_t，ｈ_t+1）とする。ＮＵＭは直前の発話テキストと次の発話テキストがどれだけ噛合っているかを評価する。ＮＵＭによりコンテキストにあった次の発話テキストの予測精度が向上するようにモデルを学習できる。

【0030】

モデルの学習は、以下の目的関数を最小化することで実施する。

【0031】

【数5】

【0032】

Ｌ_LMはＴｒａｎｓｆｏｒｍｅｒデコーダを学習するための目的関数であり、Ｌ_LMを最小化することで、自己回帰的に生成する単語の予測精度を向上できる。

【0033】

［動作］
次に、図４のフローチャートを参照し、学習処理について説明する。

【0034】

ステップＳ１１にて、学習部１０は、データ保存部３０から一連の発話テキストと属性を読み出す。図５に一連の発話テキストの一例を示す。一連の発話テキストの各発話に属性が付与されている。図５の例では、発話者を特定する識別子が付与されている。発話者の属性として複数の属性が付与されていてもよい。

【0035】

ステップＳ１２にて、学習部１０は、連続する２つの発話テキストを取得し、２つの発話テキストのそれぞれを形態素解析により単語に分割する。図５の例の場合、学習部１０は、最初に、発話者Ａの“Ｈｉ！”と発話者Ｂの“Ｍａｙ Ｉ ｈｅｌｐ ｙｏｕ？”を取得し、それぞれを単語に分割する。

【0036】

ステップＳ１３にて、学習部１０は、直前の発話テキストの単語、発話者の属性、および次の発話テキストの単語をモデルに入力し、上記で示した目的関数を最小化するようにモデルのパラメータを更新する。具体的には、学習部１０は、直前の発話テキストの単語をＨＩＳＴＯＲＹ、次の発話者の属性をＡＴＴＲＩＢＵＴＥ、次の発話テキストの単語をＵＴＴＥＲＡＮＣＥとしてモデルに入力する。発話者の属性は複数個入力してもよい。

【0037】

ステップＳ１４にて、学習部１０は、一連の発話テキストの全ての発話テキストについて処理したか否か判定する。処理していない発話テキストがある場合、学習部１０は、ステップＳ１２に戻り、発話テキストを１つずらして、次の発話テキストを含む連続する２つの発話テキストを取得して処理を続ける。具体的には、図５の例の場合、発話者Ｂの“Ｍａｙ Ｉ ｈｅｌｐ ｙｏｕ？”と発話者Ａの“Ｙｅｓ， ｐｌｅａｓｅ．”を取得して処理を続ける。

【0038】

本実施形態では、ターゲットとなるＵＴＴＥＲＡＮＣＥに対して、直前の発話テキストのみを用いることで、それ以前の全ての発話テキストを用いる従来技術よりも計算コストを抑制することができる。

【0039】

次に、図６のフローチャートを参照し、対話生成処理について説明する。

【0040】

ステップＳ２１にて、生成部２０は、ユーザ端末５から受信した直前の発話テキストと属性をモデルに入力する。直前の発話テキストは単語に分割されてモデルに入力される。

【0041】

ステップＳ２２にて、生成部２０は、モデルが再帰的に出力する単語を繋げて次の発話テキストを生成する。

【0042】

ステップＳ２３にて、生成部２０は、発話テキストの生成を終了するか否か判定する。例えば、連続する一連の会話を生成する場合、生成部２０は、ステップＳ２１に戻り、ステップ２２で生成した次の発話テキストを直前の発話テキストとして処理を続ける。

【0043】

生成部２０による発話テキスト生成処理が終了すると、生成された発話テキストは、入出力部５０からユーザ端末５へ返却される。

【0044】

以上説明したように、本実施形態の対話システム１は、学習部１０と生成部２０を備え、発話に対する応答テキストを生成するシステムである。学習部１０は、発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前の発話テキストの単語と属性を条件、次の発話テキストの単語を出力結果として入力し、属性の一部を除いたときの属性の予測精度を表す目的関数と前の発話テキストと次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する。生成部２０は、直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する。これにより、再学習前のモデルと再学習後のモデルをバランスよく結合し、発話のコンテキストを反映した発話を生成する対話システム１を提供できる。

【符号の説明】

【0045】

１ 対話システム
１０ 学習部
２０ 生成部
３０ データ保存部
４０ 計算結果記憶部
５０ 入出力部
５ ユーザ端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【手続補正書】

【提出日】2023-07-26

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

発話に対する応答テキストを生成する対話テキスト生成装置であって、
発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストの単語を出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する学習部と、
直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する生成部を備え、
前記マルチビューアテンションメカニズムは、前記属性のトークンについては全てのトークンへのアクセスを可能とし、前記次の発話テキストの単語のトークンについては前記属性のトークンの全てと当該単語よりも前に出現した単語のトークンへのアクセスを可能とする自己アテンションマスクを備えて、Ｔｒａｎｓｆｏｒｍｅｒがアテンションを求める際に、次の発話テキストの単語のトークンについては後続の単語のトークンを参照しないようにアテンションを無限に小さい値とする
対話テキスト生成装置。

【請求項2】

請求項１に記載の対話テキスト生成装置であって、
前記学習部は、一連の対話における発話テキストを入力し、前記前の発話テキストと次の発話テキストを１つずつずらしながら学習する
対話テキスト生成装置。

【請求項3】

発話に対する応答テキストを生成する対話テキスト生成方法であって、
コンピュータが、
発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストの単語を出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習し、
直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成し、
前記マルチビューアテンションメカニズムは、前記属性のトークンについては全てのトークンへのアクセスを可能とし、前記次の発話テキストの単語のトークンについては前記属性のトークンの全てと当該単語よりも前に出現した単語のトークンへのアクセスを可能とする自己アテンションマスクを備えて、Ｔｒａｎｓｆｏｒｍｅｒがアテンションを求める際に、次の発話テキストの単語のトークンについては後続の単語のトークンを参照しないようにアテンションを無限に小さい値とする
対話テキスト生成方法。

【請求項4】

請求項３に記載の対話テキスト生成方法であって、
一連の対話における発話テキストを入力し、前記前の発話テキストと次の発話テキストを１つずつずらしながら学習する
対話テキスト生成方法。

【請求項5】

請求項１または２に記載の対話テキスト生成装置の各部としてコンピュータを動作させるプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００６

【補正方法】変更

【補正の内容】

【0006】

本発明の一態様の対話テキスト生成装置は、発話に対する応答テキストを生成する対話テキスト生成装置であって、発話者の属性が付与された発話テキストを入力し、前の発話テキストと次の発話テキストから単語を抽出し、トークンの種別ごとに他のトークンへのアクセスを制御するマルチビューアテンションメカニズムを導入したＴｒａｎｓｆｏｒｍｅｒに前記前の発話テキストの単語と前記属性を条件、前記次の発話テキストの単語を出力結果として入力し、前記属性の一部を除いたときの前記属性の予測精度を表す目的関数と前記前の発話テキストと前記次の発話テキストとの噛合い度合いを表す目的関数を最小化するようにＴｒａｎｓｆｏｒｍｅｒを学習する学習部と、直前の発話テキストと発話者の属性を学習済みのＴｒａｎｓｆｏｒｍｅｒに入力し、Ｔｒａｎｓｆｏｒｍｅｒから再帰的に出力される単語をつなげて発話者の次の発話となる応答テキストを生成する生成部を備え、前記マルチビューアテンションメカニズムは、前記属性のトークンについては全てのトークンへのアクセスを可能とし、前記次の発話テキストの単語のトークンについては前記属性のトークンの全てと当該単語よりも前に出現した単語のトークンへのアクセスを可能とする自己アテンションマスクを備えて、Ｔｒａｎｓｆｏｒｍｅｒがアテンションを求める際に、次の発話テキストの単語のトークンについては後続の単語のトークンを参照しないようにアテンションを無限に小さい値とする。