特開 2024-28569 応答文生成装置、応答文生成モデル学習装置、それらの方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024028569

(43)【公開日】2024-03-04

(54)【発明の名称】応答文生成装置、応答文生成モデル学習装置、それらの方法、およびプログラム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20240226BHJP

【ＦＩ】

G06F40/56

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2024008193

(22)【出願日】2024-01-23

(62)【分割の表示】P 2022524741の分割

【原出願日】2020-05-20

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】水上 雅博

(72)【発明者】

【氏名】杉山 弘晃

(72)【発明者】

【氏名】成松 宏美

(72)【発明者】

【氏名】有本 庸浩

(72)【発明者】

【氏名】東中 竜一郎

(57)【要約】

【課題】個性の情報を入力することなく、個性を反映した応答文を生成する。
【解決手段】入力部（１１）は、入力文と、話者を表す話者識別子とを入力する。応答生成部（１２）は、入力文と話者識別子とを応答文生成モデルに入力することで入力文に対応する応答文を生成する。応答文生成モデルは、話者識別子から話者埋め込みベクトルを生成する話者モデルと、入力文から文ベクトルを生成するエンコーダと、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、文ベクトルと第１線形変換により変換された話者埋め込みベクトルとの要素積、およびデコーダの内部状態を表す内容ベクトルから、注意の傾向のベクトルである注意重みを計算し、注意重みと、文ベクトルと第１線形変換とは異なる第２線形変換により変換された話者埋め込みベクトルとの要素積とから注意ベクトルを生成する注意機構と、を含む。
【選択図】図３

【特許請求の範囲】

【請求項1】

入力文と、話者を表す話者識別子とを入力する入力部と、
前記入力文と前記話者識別子とを応答文生成モデルに入力することで前記入力文に対応する応答文を生成する応答文生成部と、
を含み、
前記応答文生成モデルは、
前記話者識別子から話者埋め込みベクトルを生成する話者モデルと、
前記入力文から文ベクトルを生成するエンコーダと、
前記入力文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、
前記文ベクトルと第１線形変換により変換された前記話者埋め込みベクトルとの要素積、および前記デコーダの内部状態を表す内容ベクトルから、前記注意の傾向のベクトルである注意重みを計算し、前記注意重みと、前記文ベクトルと前記第１線形変換とは異なる第２線形変換により変換された前記話者埋め込みベクトルとの要素積とから前記注意ベクトルを生成する注意機構と、を含む、
応答文生成装置。

【請求項2】

発話文と、前記発話文に応答する所定の話者の応答文と、前記話者を表す話者識別子とからなる学習データを記憶する記憶部と、
前記記憶部に記憶された発話文と話者識別子とを入力とし、前記入力された発話文の応答文を出力する応答文生成モデルを学習する学習部と、
を含み、
前記応答文生成モデルは、
前記話者識別子から話者埋め込みベクトルを生成する話者モデルと、
前記発話文から文ベクトルを生成するエンコーダと、
前記発話文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、
前記文ベクトルと第１線形変換により変換された前記話者埋め込みベクトルとの要素積、および前記デコーダの内部状態を表す内容ベクトルから、前記注意の傾向のベクトルである注意重みを計算し、前記注意重みと、前記文ベクトルと前記第１線形変換とは異なる第２線形変換により変換された前記話者埋め込みベクトルとの要素積とから前記注意ベクトルを生成する注意機構と、を含む、
応答文生成モデル学習装置。

【請求項3】

入力部が、入力文と、話者を表す話者識別子とを入力し、
応答文生成部が、前記入力文と前記話者識別子とを応答文生成モデルに入力することで前記入力文に対応する応答文を生成し、
前記応答文生成モデルは、
前記話者識別子から話者埋め込みベクトルを生成する話者モデルと、
前記入力文から文ベクトルを生成するエンコーダと、
前記入力文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、
前記文ベクトルと第１線形変換により変換された前記話者埋め込みベクトルとの要素積、および前記デコーダの内部状態を表す内容ベクトルから、前記注意の傾向のベクトルである注意重みを計算し、前記注意重みと、前記文ベクトルと前記第１線形変換とは異なる第２線形変換により変換された前記話者埋め込みベクトルとの要素積とから前記注意ベクトルを生成する注意機構と、を含む、
応答文生成方法。

【請求項4】

記憶部に、発話文と、前記発話文に応答する所定の話者の応答文と、前記話者を表す話者識別子とからなる学習データが記憶されており、
学習部が、前記記憶部に記憶された発話文と話者識別子とを入力とし、前記入力された発話文の応答文を出力する応答文生成モデルを学習し、
前記応答文生成モデルは、
前記話者識別子から話者埋め込みベクトルを生成する話者モデルと、
前記発話文から文ベクトルを生成するエンコーダと、
前記発話文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、
前記文ベクトルと第１線形変換により変換された前記話者埋め込みベクトルとの要素積、および前記デコーダの内部状態を表す内容ベクトルから、前記注意の傾向のベクトルである注意重みを計算し、前記注意重みと、前記文ベクトルと前記第１線形変換とは異なる第２線形変換により変換された前記話者埋め込みベクトルとの要素積とから前記注意ベクトルを生成する注意機構と、を含む、
応答文生成モデル学習方法。

【請求項5】

請求項１に記載の応答文生成装置もしくは請求項２に記載の応答文生成モデル学習装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、ユーザと対話を行う対話技術に関し、特に、個性を反映したシステム発話を生成する技術に関する。

【背景技術】

【0002】

対話システムの発展に伴い、個性やキャラクターといった特徴（以下、まとめて「個性」と呼ぶ）を対話システムに付与する需要が高まっている（例えば、非特許文献１）。従来の多くの商用対話システムはルール方式を用いており、個性を反映した応答ルールを事前に用意しておくことで、個性のある対話システムを構築していた。近年の対話システムでは、ニューラルネットワークを用いて応答を生成する方式（以下、「文生成方式」と呼ぶ）が一般化しており、文生成方式でも個性を考慮する手法の実現が期待されている。

【0003】

文生成方式で個性を考慮する場合に、応答に使える個性の情報を入力文と共に入力する方法がある。例えば、個性を考慮しない場合に「食べ物は何が好きですか？」という入力文に対して「カレーライスが好きです」という応答文を生成する対話システムがあるとする。ここで、個性を考慮する場合には、「食べ物は何が好きですか？」という入力文と共に「食べ物だと唐揚げが好き。趣味はサーフィン。犬を飼っている。」といった個性の情報を入力すれば、「唐揚げが好きです」という応答文を生成することができる。この手法では、一般的な発話と応答の関係を学習した上で、同時に入力された個性の情報が応答に直接利用できる場合に、その個性の情報を反映した応答文を生成する。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Ryuichiro Higashinaka, Masahiro Mizukami, Hidetoshi Kawabata, Emi Yamaguchi, Noritake Adachi, and Junji Tomita1, "Role play-based question-answering by real users for building chatbots with consistent personalities", Proceedings of the SIGDIAL 2018 Conference, pp. 264-272, Melbourne, Australia, July 2018.

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特定の個人特有の個性（例えば、織田信長や豊臣秀吉のような、個性がよく知られた人物の個性を対話システムに付与したい場合など）は、言語化が困難であったり、一般的な発話と応答の関係から外れた応答が必要になったりする場合がある。例えば、「来年はサル年ですね」という入力に対して、豊臣秀吉の個性を反映した応答をする場合、「ワシの年じゃな」や「誰がサルじゃ！！」といった応答文が生成されることが期待される。しかしながら、従来の手法では一般的な発話と応答の関係に対して個性の情報が反映できる場合でしか有効ではないため、「名前は豊臣秀吉。三英傑の一人。織田信長に仕え、天下統一も果たした。来年はサル年ですね」といった内容を入力としても、上記のような応答文を生成することはできない。

【0006】

この発明の目的は、上記のような技術的課題を鑑みて、個性の情報を入力することなく、個性を反映した応答文を生成することができる対話技術を提供することである。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、この発明の第一の態様の応答文生成装置は、入力文と、話者を表す話者識別子とを入力する入力部と、入力文と話者識別子とを応答文生成モデルに入力することで入力文に対応する応答文を生成する応答文生成部と、を含み、応答文生成モデルは、話者識別子から話者埋め込みベクトルを生成する話者モデルと、入力文から文ベクトルを生成するエンコーダと、入力文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、文ベクトルと第１線形変換により変換された話者埋め込みベクトルとの要素積、およびデコーダの内部状態を表す内容ベクトルから、注意の傾向のベクトルである注意重みを計算し、注意重みと、文ベクトルと第１線形変換とは異なる第２線形変換により変換された話者埋め込みベクトルとの要素積とから注意ベクトルを生成する注意機構と、を含む。

【0008】

この発明の第二の態様の応答文生成モデル学習装置は、発話文と、発話文に応答する所定の話者の応答文と、話者を表す話者識別子とからなる学習データを記憶する記憶部と、記憶部に記憶された発話文と話者識別子とを入力とし、入力された発話文の応答文を出力する応答文生成モデルを学習する学習部と、を含み、応答文生成モデルは、話者識別子から話者埋め込みベクトルを生成する話者モデルと、発話文から文ベクトルを生成するエンコーダと、発話文のどの部分に注目するかを表す注意の傾向に従って注意した内容である、注意の内容を表す注意ベクトルから応答文を生成するデコーダと、文ベクトルと第１線形変換により変換された話者埋め込みベクトルとの要素積、およびデコーダの内部状態を表す内容ベクトルから、注意の傾向のベクトルである注意重みを計算し、注意重みと、文ベクトルと第１線形変換とは異なる第２線形変換により変換された話者埋め込みベクトルとの要素積とから注意ベクトルを生成する注意機構と、を含む。

【発明の効果】

【0009】

この発明によれば、個性の情報を入力することなく、個性を反映した応答文を生成することができる。

【図面の簡単な説明】

【0010】

【図1】図１は応答文生成装置の機能構成を例示する図である。

【図2】図２は応答文生成方法の処理手順を例示する図である。

【図3】図３は応答文生成モデルの機能構成を例示する図である。

【図4】図４は応答文生成モデル学習装置の機能構成を例示する図である。

【図5】図５は応答文生成モデル学習方法の処理手順を例示する図である。

【図6】図６はコンピュータの機能構成を例示する図である。

【発明を実施するための形態】

【0011】

以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。

【0012】

文中で使用する記号「^－」は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記載している。

【0013】

［発明の概要］
この発明では、文生成方式を用いる対話システムにおいて、任意の話者を想定し、その話者の個性が反映した応答文を生成するように構成する。このとき、従来の文生成方式において個性を考慮するために必要とされていた個性の情報を不要とする。例えば、「来年はサル年ですね」という入力文から、豊臣秀吉の個性を反映した「誰がサルじゃ！！」という応答文を生成できるようにする。

【0014】

そのために、個性ごとに異なる発話と応答の関係を学習するためのニューラルネットワークにおいて、入力と出力の対応関係を学習する注意機構に対して、話者ごとの個性の特徴を考慮するための枠組みを導入し、個性ごとに特徴的な入力と出力の対応関係を学習する。例えば、「この人物ならサルという単語に注目しそうだ」とか「サルという単語からこういう意味を読み取りそうだ」といった、話者ごとに異なる注意の傾向を、応答文生成において実現する。これにより、個性を考慮した応答文生成の性能（すなわち、生成された応答文の品質）が向上する。

【0015】

［実施形態］
この発明の実施形態は、文生成方式を用いる対話システムにおいて、ユーザ発話に基づく入力文に対して応答文を生成する応答文生成装置および方法と、その応答文生成装置および方法において用いられる応答文生成モデルを学習する応答文生成モデル学習装置および方法とからなる。

【0016】

＜応答文生成装置＞
図１に示すように、実施形態の応答文生成装置１は、ユーザ発話の内容を表す入力文と、話者を一意に特定する話者識別子とを入力とし、入力文に対するシステム発話の内容を表す応答文を出力する。応答文生成装置１は、例えば、モデル記憶部１０、入力部１１、および応答文生成部１２を備える。この応答文生成装置１が、図２に例示する各ステップの処理を行うことにより実施形態の応答文生成方法が実現される。

【0017】

応答文生成装置１は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。応答文生成装置１は、例えば、中央演算処理装置の制御のもとで各処理を実行する。応答文生成装置１に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。応答文生成装置１は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。応答文生成装置１が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。

【0018】

モデル記憶部１０には、学習済みの応答文生成モデルが記憶されている。図３に示すように、応答文生成モデル１００は、入力文と話者識別子とを入力とし、応答文を出力する。応答文生成モデル１００は、例えば、話者モデル１０１、エンコーダ１０２、デコーダ１０３、および注意機構１０４を含む。入力文は、例えば、対話システムに対してユーザが発話した質問の内容を表す発話文である。話者識別子は、個性を反映させたい人物を一意に特定する識別子である。応答文は、例えば、入力文として与えられた質問文に対する対話システムからの回答の内容を表す発話文である。

【0019】

話者モデル１０１は、話者識別子を入力とし、その話者識別子を話者埋め込みベクトルに変換して出力する、学習済みのモデルである。話者モデル１０１は、例えば、参考文献１に記載されたSpeaker modelと呼ばれるモデルを用いることができる。
〔参考文献１〕Jiwei Li, Michel Galley, Chris Brockett, Georgios P Spithourakis, Jianfeng Gao, and Bill Dolan, "A persona-based neural conversation model," arXiv preprint, arXiv:1603.06155, 2016.

【0020】

エンコーダ１０２は、発話文を入力とし、その発話文を文ベクトルに変換して出力する。デコーダ１０３は、注意機構１０４が出力する注意ベクトルを用いて応答文を生成して出力する。エンコーダ１０２およびデコーダ１０３は、従来の文生成方式で用いられるエンコーダおよびデコーダと同じものである。従来の文生成方式については、参考文献２を参照されたい。
〔参考文献２〕Vinyals, Oriol, and Quoc Le, "A neural conversational model," arXiv preprint, arXiv:1506.05869, 2015.

【0021】

注意機構１０４は、話者モデル１０１が出力する話者埋め込みベクトル、エンコーダ１０２が出力する文ベクトル、およびデコーダ１０３の内部状態を表す内容ベクトルを入力とし、注意ベクトルを生成して出力する。注意機構１０４は、まず、話者埋め込みベクトルと文ベクトルと内容ベクトルとを用いて、入力文のどの部分に注目するか（以下、「注意の傾向」と呼ぶ）を表すベクトルである注意重みを生成する。次に、注意機構１０４は、注意重みと話者埋め込みベクトルと文ベクトルとを用いて、入力文に対して注意の傾向に従って注意した内容（以下、「注意の内容」と呼ぶ）を表す注意ベクトルを生成する。

【0022】

従来の文生成方式における注意機構との相違点は、注意重みの計算および注意ベクトルの計算において話者埋め込みベクトルを参照することである。これにより、個性に応じて、注意の傾向および注意の内容を変化させる。注意の傾向は、例えば、「豊臣秀吉はサルという単語に強く注目する」といった特徴である。注意の内容は、例えば、「豊臣秀吉はサルという単語をネガティブに捉える」といった特徴である。こうした特徴は、事前に人手で付与する必要はなく、注意の傾向および注意の内容が反映された学習データ、具体的には、話者と紐づけられた多数の文データを用意して学習データとすることで、注意ベクトルに反映される。

【0023】

注意機構１０４は、具体的には、以下の数式を計算する。

【0024】

【数1】

【0025】

ここで、○は要素積を表す演算子である。tはデコーダがt番目の単語を出力していることを示す変数である。iはエンコーダに入力されたN単語からなる入力文のうちi番目の単語であることを示す変数である。h_t ^(dec)はデコーダの内部状態を表すd次元の内容ベクトルである。なお、dは注意機構の計算部分のサイズ（次元数）である。H^(enc)はエンコーダが生成したN×d次元の文ベクトルである。h_i ^(enc)∈H^(enc)は文ベクトルのi番目の単語に対応する要素である。s_uは話者モデルが生成したd次元の話者埋め込みベクトルである。f(・)およびg(・)は相異なる線形変換である。f(・)およびg(・)は、1次の線形変換でもよいし、任意のM次の線形変換でもよいし、sigmoid関数やsoftsign関数等を用いて出力が0～1や-1～1などの一定の閾値に収まるような関数を定義してもよいし、これらを組み合わせてもよい。a_iは入力文のうちi番目の単語に対する注意重みである。

【0026】

すなわち、注意機構１０４は、以下のようにして、注意ベクトルを計算する。まず、注意重みa_iを計算するために、話者埋め込みベクトルs_uをM次の線形変換f(・)を用いて変換する。線形変換した話者埋め込みベクトルf(s_u)と、エンコードした文ベクトルH^(enc)の各要素h_i ^(enc)との要素積を計算して、^-h_i,k ^(enc)とする（数式の２行目に相当）。話者埋め込みベクトルs_uによって変形した^-h_i,k ^(enc)とデコーダの内容ベクトルh_t ^(dec)を用いて、i番目の注意重みa_iを計算する（数式の４行目に相当）。次に、注意ベクトルを計算するために、話者埋め込みベクトルs_uをM次の線形変換g(・)を用いて変換する。線形変換した話者埋め込みベクトルg(s_u)と、エンコードした文ベクトルH^(enc)の各要素h_i ^(enc)との要素積を計算して、^-h_i,v ^(enc)とする（数式の３行目に相当）。これらのエンコードした文ベクトルの各要素と線形変換した話者埋め込みベクトルにより計算される^-h_i,k ^(enc),^-h_i,v ^(enc)の添字k, vはそれぞれkey, valueの頭文字をとったものであり、注意機構では慣例的に重みをkey、重みをかけるベクトルをvalueと呼ぶためこのような添え字をとる。最後に、すべてのiについて注意重みa_iと^-h_i,v ^(enc)の積を計算し、それらの総和を求める。この総和が最終的な出力となる注意ベクトルである（数式の１行目に相当）。

【0027】

図２を参照して、実施形態の応答文生成装置１が実行する応答文生成方法の処理手続きを説明する。

【0028】

ステップＳ１１において、入力部１１へ、入力文と話者識別子とが入力される。入力部１１は、入力文と話者識別子とを応答文生成部１２へ出力する。

【0029】

ステップＳ１２において、応答文生成部１２は、入力部１１から入力文と話者識別子とを受け取り、入力文と話者識別子とをモデル記憶部１０に記憶された応答文生成モデルに入力することで、話者の個性が反映された応答文を得て出力する。応答文の出力では、応答文生成モデルの出力層から得られたベクトルに紐づく単語を出力することを繰り返すことで応答文となる単語列が得られる。応答文生成部１２は、得られた応答文を応答文生成装置１の出力とする。

【0030】

＜応答文生成モデル学習装置＞
図４に示すように、実施形態の応答文生成モデル学習装置２は、例えば、学習データ記憶部２０、モデル学習部２１、およびモデル記憶部１０を備える。この応答文生成モデル学習装置２が、図５に例示する各ステップの処理を行うことにより実施形態の応答文生成モデル学習方法が実現される。

【0031】

応答文生成モデル学習装置２は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。応答文生成モデル学習装置２は、例えば、中央演算処理装置の制御のもとで各処理を実行する。応答文生成モデル学習装置２に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。応答文生成モデル学習装置２は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。応答文生成モデル学習装置２が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。

【0032】

図５を参照して、実施形態の応答文生成モデル学習装置２が実行する応答文生成モデル学習方法の処理手続きを説明する。

【0033】

学習データ記憶部２０には、学習データが記憶されている。学習データは、例えば質問文である発話文と、所定の話者がその発話文に応答する応答文と、その話者を表す話者識別子とからなる。学習データは、対話システム等で実際に行われた対話を収集したものでもよいし、特定の人物を想定して人手で作成したものでもよいし、それらが混在していてもよい。

【0034】

ステップＳ２０において、応答文生成モデル学習装置２は、学習データ記憶部２０から学習データを読み出す。応答文生成モデル学習装置２は、読み出した学習データをモデル学習部２１へ入力する。

【0035】

ステップＳ２１において、モデル学習部２１は、入力された学習データを用いて、応答文生成モデル１００のニューラルネットワークの各パラメータを学習する。応答文生成モデルの学習方法は、参考文献２に開示されている、従来の入力と話者識別子を用いて出力を生成するモデルの学習方法と同様である。すなわち、モデルの出力文に対するsoftmax cross entropyを損失関数とし、損失を最小化するようにエンコーダ１０２、デコーダ１０３、および注意機構１０４のパラメータを学習する。注意機構１０４のパラメータの学習に際しては、パラメータf, gの更新を所定の回数、または、所定の条件を満たすまで繰り返す。同時に、話者識別子を話者埋め込みベクトルに変換する話者モデル１０１のパラメータを、従来のSpeaker modelと同様にして学習する。モデル学習部２１は、学習済みの応答文生成モデル１００のパラメータをモデル記憶部１０へ記憶する。

【0036】

［実験結果］
上記実施形態の効果を測定するために、非特許文献１に開示されているなりきり質問応答のデータを用いて実験を行った。具体的には、３名分のなりきりデータ５万件の質問応答ペアを学習データとし、２千件を評価データとした。注意機構の次元数dは512とし、エンコーダおよびデコーダはTransformerを用いた。注意機構はTransformer内の自己注意およびソースターゲット注意を置き換える形で、本実施形態の注意機構を実装した。学習データでモデルを学習し、評価データの質問文を与えて回答を生成した。評価尺度は、BLEU-1, BLEU-4, PPLを用いた。すなわち、本実施形態で生成された回答文と評価データの質問に紐づいた正解回答文とをBLEU-1, BLEU-4を用いて比較した（値は大きい方が良い）。また、正解回答文に対するモデルの生成確率（PPL: Perplexity）を計算した（値は小さい方が良い）。

【0037】

表１に実験結果を示す。すべての評価指標において、本実施形態の手法が最も良い評価となったことがわかる。

【0038】

【表1】

【0039】

以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。

【0040】

［プログラム、記録媒体］
上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図６に示すコンピュータの記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。

【0041】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、磁気記録装置、光ディスク等である。

【0042】

また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0043】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを一時的な記憶装置である記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0044】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】