ホーム > 特許ランキング > 株式会社野村総合研究所
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】質問回答装置
(51)【国際特許分類】
G06F 16/90 20190101AFI20240228BHJP
G06N 20/00 20190101ALI20240228BHJP
【ＦＩ】
G06F16/90 100
G06N20/00 130
【請求項の数】
8
(21)【出願番号】P 2020016325
(22)【出願日】2020-02-03
(65)【公開番号】P2021124824
(43)【公開日】2021-08-30
【審査請求日】2022-12-22
(73)【特許権者】
【識別番号】000155469
【氏名又は名称】株式会社野村総合研究所
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100080953
【弁理士】
【氏名又は名称】田中 克郎
(72)【発明者】
【氏名】中野 留里
(72)【発明者】
【氏名】岡田 智靖
【審査官】原 秀人
(56)【参考文献】
【文献】特開２０１０－００９１７７（ＪＰ，Ａ）
【文献】特開２０１９－０２８８３９（ＪＰ，Ａ）
【文献】特開２０１９－１５３０９３（ＪＰ，Ａ）
【文献】中辻 真，ディープラーニング活用事例と使いこなしの勘所 4 AIによる恋愛相談への回答生成 －答えのない回答生成への試み－，情報処理，日本，一般社団法人情報処理学会，2018年10月15日，第59巻 第11号 ，pp. 978-982
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｆ １６／００－１６／９５８
Ｇ０６Ｎ ２０／００
(57)【特許請求の範囲】
【請求項1】
問合せ文を取得する取得部と、学習用問合せ文に対する正例の学習用回答文及び前記学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて、前記学習用問合せ文と前記正例の学習用回答文との類似度が大きく、前記学習用問合せ文と前記負例の学習用回答文との類似度が小さくなるように学習処理を実行して生成された学習済みモデルを用いて、前記問合せ文と複数の回答候補文との類似度を算出する算出部と、
前記類似度に基づいて、前記複数の回答候補文から１又は複数の回答候補文を抽出する抽出部と、
を備える質問回答装置であって、
前記正例の学習用回答文は、複数の学習用回答文のうちから、前記学習用問合せ文に対する正例の学習用回答文としてサンプリングされ、
前記負例の学習用回答文は、前記複数の学習用回答文が前記正例の学習用回答文としてサンプリングされる頻度分布に応じて、前記複数の学習用回答文のうちから、前記学習用問合せ文に対する負例の学習用回答文としてそれぞれサンプリングされる、
質問回答装置。
【請求項2】
前記負例の学習用回答文は、前記複数の学習用回答文のそれぞれが前記正例の学習用回答文としてサンプリングされる回数に応じて、前記複数の学習用回答文のうちから、前記学習用問合せ文に対する負例の学習用回答文としてそれぞれサンプリングされる、請求項１に記載の質問回答装置。
【請求項3】
前記学習処理を実行して前記学習済みモデルを生成する学習部をさらに備える、請求項１に記載の質問回答装置。
【請求項4】
前記学習用問合せ文に含まれる複数のセンテンスのそれぞれをベクトル化して得られる複数の問合せセンテンスベクトルに基づいて、前記学習用問合せ文をベクトル化した問合せベクトルを生成する第１生成部と、前記学習用回答文をベクトル化した回答ベクトルを生成する第２生成部と、
をさらに備える請求項１から３のいずれか一項に記載の質問回答装置。
【請求項5】
前記算出部は、前記問合せ文を入力したユーザに関する情報に基づいてパラメータが変化する前記学習済みモデルを用いて、前記問合せ文と複数の回答候補文との類似度を算出する、請求項１から４のいずれか一項に記載の質問回答装置。
【請求項6】
前記ユーザに関する情報は、前記ユーザの属性を示す情報及び前記ユーザによる過去の問合せ履歴に関する情報の少なくともいずれかを含む、請求項５に記載の質問回答装置。
【請求項7】
前記第１生成部は、前記複数のセンテンスに含まれる最終センテンス以外のセンテンスの問合せセンテンスベクトルに基づいて生成されるコンテキストベクトルと、前記最終センテンスの問合せセンテンスベクトルとに基づいて、前記問合せベクトルを生成する、請求項４に記載の質問回答装置。
【請求項8】
前記問合せベクトル及び前記回答ベクトルの少なくともいずれかに、ノイズを付加する付加部、をさらに備える、請求項４又は７に記載の質問回答装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、質問回答装置に関する。
【背景技術】
【0002】
近年、ニューラルネットワークを用いてチャットボット等の対話システムを構築する研究が行われている。例えば、下記非特許文献１には、ユーザの過去の発話列から、現在の発話と関係付けられるトピックをアテンションモデルにより抽出し、ユーザの現在の発話を表すベクトルに反映する研究が記載されている。
【先行技術文献】
【非特許文献】
【0003】
【文献】奥井颯平、中辻真、“LSTMを用いたパーソナル対話技術”、2018年度人工知能学会全国大会（第３２回）、インターネット＜URL：https://confit.atlas.jp/guide/event-img/jsai2018/4G2-02/public/pdf＞
【発明の概要】
【発明が解決しようとする課題】
【0004】
非特許文献１では、質問文を表すベクトルと、その質問文に対する正しい回答文（正例）を表すベクトルとの類似度を大きくし、質問文を表すベクトルと、その質問文に対する正しくない回答文（負例）を表すベクトルとの類似度を小さくするように損失関数を定義して、ＬＳＴＭ（Long Short-Term Memory）をベースとしてモデルの学習を行っている。ここで、負例は、全ての回答文の中からランダムに選出されている。
【0005】
しかしながら、負例を一様乱数に基づきランダムに選出すると、モデルの精度が十分に向上しないことがあり、回答文の抽出が必ずしも高精度に行えない場合がある。なぜなら、学習用問合せ文に対する正例の学習用回答文の出現頻度に偏り（ベキ分布など、一様分布とは異なる分布特性）がある場合、正例とは異なる分布特性で負例が学習され、非効率的な学習結果となるからである。
【0006】
そこで、本発明は、回答文の抽出をより高い精度で行うことができる質問回答装置を提供する。
【課題を解決するための手段】
【0007】
本発明の一態様に係る質問回答装置は、問合せ文を取得する取得部と、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて、学習用問合せ文と正例の学習用回答文との類似度が大きく、学習用問合せ文と負例の学習用回答文との類似度が小さくなるように学習処理を実行して生成された学習済みモデルを用いて、問合せ文と複数の回答候補文との類似度を算出する算出部と、類似度に基づいて、複数の回答候補文から１又は複数の回答候補文を抽出する抽出部と、を備える。
【0008】
この態様によれば、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習された学習済みモデルによって、問合せ文と複数の回答候補文との類似度を算出することで、回答文の抽出をより高い精度で行うことができる。
【0009】
上記態様において、学習処理を実行して学習済みモデルを生成する学習部をさらに備えてもよい。
【0010】
この態様によれば、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習モデルの学習処理を実行することで、問合せ文と複数の回答候補文との類似度をより高精度に算出することができる学習済みモデルが得られる。
【0011】
上記態様において、負例の学習用回答文は、学習用回答文の正例の頻度分布に従ってサンプリングされてもよい。
【0012】
この態様によれば、学習用回答文の正例の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習モデルの学習処理を行うことで、問合せ文と複数の回答候補文との類似度をより高精度に算出することができる学習済みモデルが得られる。
【0013】
上記態様において、学習用問合せ文をベクトル化した問合せベクトルを生成する第１生成部と、学習用回答文をベクトル化した回答ベクトルを生成する第２生成部と、問合せベクトル及び回答ベクトルの少なくともいずれかに、ノイズを付加する付加部と、をさらに備えてもよい。
【0014】
この態様によれば、問合せベクトル及び回答ベクトルの少なくともいずれかにノイズを付加することで、学習済みモデルの汎化性能をより向上させることができる。
【0015】
上記態様において、算出部は、問合せ文を入力したユーザに関する情報に基づいてパラメータが変化する学習済みモデルを用いて、問合せ文と複数の回答候補文との類似度を算出してもよい。
【0016】
この態様によれば、問合せ文を入力したユーザに関する情報に基づいてパラメータが変化する学習済みモデルを用いることで、ユーザに応じた回答候補文が抽出できるようになる。
【発明の効果】
【0017】
本発明によれば、回答文の抽出をより高い精度で行うことができる質問回答装置を提供することができる。
【図面の簡単な説明】
【0018】
【図1】本発明の実施形態に係る質問回答システムのネットワーク構成を示す図である。
【図2】本実施形態に係る質問回答装置の機能ブロックを示す図である。
【図3】本実施形態に係る質問回答装置により用いられる学習済みモデルの概要を示す図である。
【図4】本実施形態に係る質問回答装置の物理的構成を示す図である。
【図5】本実施形態に係る質問回答装置により実行される処理の概要を示す図である。
【図6】本実施形態に係る質問回答装置により実行される学習前処理のフローチャートである。
【図7】本実施形態に係る質問回答装置により実行されるモデル学習処理のフローチャートである。
【図8】本実施形態に係る質問回答装置により実行される回答候補ベクトル化処理のフローチャートである。
【図9】本実施形態に係る質問回答装置により実行される問合せベクトル化処理のフローチャートである。
【図10】本実施形態に係る質問回答装置により実行される類似度算出処理のフローチャートである。
【発明を実施するための形態】
【0019】
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【0020】
図１は、本発明の実施形態に係る質問回答システム１００のネットワーク構成を示す図である。質問回答システム１００は、質問回答装置１０、ユーザ端末２０及びデータベースＤＢを含む。質問回答装置１０及びユーザ端末２０は、インターネット等の通信ネットワークＮを介して通信可能に接続され、質問回答装置１０及びデータベースＤＢは、任意のネットワークを介して通信可能に接続される。
【0021】
ユーザ端末２０は、汎用のコンピュータで構成され、例えばパーソナルコンピュータやスマートフォンで構成される。ユーザ端末２０は、ユーザから問合せ文の入力を受け付け、入力された問合せ文は、ユーザ端末２０から質問回答装置１０に送信される。
【0022】
質問回答装置１０は、汎用のコンピュータで構成され、例えばクラウドサーバで構成される。質問回答装置１０は、ユーザ端末２０から問合せ文を受信し、問合せ文をベクトル化して、複数の回答候補文のベクトルとの類似度を算出する。質問回答装置１０は、類似度が相対的に大きい１又は複数の回答候補文を抽出して、ユーザ端末２０に送信する。ここで、質問回答装置１０により参照されるデータは、質問回答装置１０及びデータベースＤＢに保存されている。
【0023】
データベースＤＢは、汎用のコンピュータで構成され、例えばクラウドストレージで構成される。データベースＤＢは、複数の回答候補文をベクトル化した回答ベクトル、質問回答装置１０により用いられる学習済みモデル及び学習済みモデルの学習に用いる学習用データ等を保存する。
【0024】
図２は、本実施形態に係る質問回答装置１０の機能ブロックを示す図である。質問回答装置１０は、取得部１１、第１生成部１２、第２生成部１３、算出部１４、抽出部１５及び学習部１６を備える。
【0025】
取得部１１は、ユーザ端末２０から問合せ文を取得する。問合せ文は、自然言語で記載された文章であり、例えば、業務に関する質問文であったり、コールセンターで受け付けた質問文であったりしてよい。
【0026】
第１生成部１２は、問合せ文をベクトル化した問合せベクトルを生成する。また、学習モデルの学習処理を行う場合、第１生成部１２は、学習用問合せ文をベクトル化した問合せベクトルを生成する。第１生成部１２は、任意の手法で文章をベクトル化してよいが、例えば、ｗｏｒｄ２ｖｅｃ（Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean, "Efficient Estimation of Word Representations in Vector Space," arXiv:1301.3781, 2013）、ＥＬＭｏ（Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer, "Deep contextualized word representations," arXiv:1802.05365, 2018）、ＢＥＲＴ（Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova, "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding," arXiv:1810.04805, 2018）等を用いてよい。
【0027】
第２生成部１３は、複数の回答候補文をベクトル化した複数の回答ベクトルを生成する。また、学習モデルの学習処理を行う場合、第２生成部１３は、学習用回答文をベクトル化した回答ベクトルを生成する。第２生成部１３は、任意の手法で文章をベクトル化してよいが、例えば、ｗｏｒｄ２ｖｅｃ、ＥＬＭｏ、ＢＥＲＴ等を用いてよい。
【0028】
算出部１４は、学習済みモデル１４ａを用いて、問合せ文と複数の回答候補文との類似度を算出する。ここで、学習済みモデル１４ａは、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて、学習用問合せ文と正例の学習用回答文との類似度が大きく、学習用問合せ文と負例の学習用回答文との類似度が小さくなるように学習処理を実行して生成されている。ここで、問合せ文と複数の回答候補文との類似度は、問合せ文をベクトル化した問合せベクトルと、複数の回答候補文をベクトル化した複数の回答ベクトルとのコサイン類似度であってよいが、他の類似度を用いてもよい。
【0029】
抽出部１５は、類似度に基づいて、複数の回答候補文から１又は複数の回答候補文を抽出する。抽出部１５は、複数の回答候補文を、問合せ文に対する類似度が大きい順に並べて、上位１又は複数の回答候補文を抽出する。
【0030】
本実施形態に係る質問回答装置１０によれば、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習された学習済みモデル１４ａによって、問合せ文と複数の回答候補文との類似度を算出することで、回答文の抽出をより高い精度で行うことができる。
【0031】
学習部１６は、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて、学習用問合せ文と正例の学習用回答文との類似度が大きく、学習用問合せ文と負例の学習用回答文との類似度が小さくなるように学習モデルの学習処理を実行し、学習済みモデル１４ａを生成する。学習部１６によって、学習用問合せ文に対する正例の学習用回答文及び学習用回答文の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習モデルの学習処理を実行することで、問合せ文と複数の回答候補文との類似度をより高精度に算出することができる学習済みモデル１４ａが得られる。
【0032】
負例の学習用回答文は、学習用回答文の正例の頻度分布に従ってサンプリングされてよい。例えば、学習用問合せ文が１００種類あり、学習用回答文が５０種類ある場合、学習用回答文は、正例として１回引用されたり、２回引用されたり、３回以上引用されたりする。学習部１６は、そのような学習用回答文の正例の頻度分布に従って、負例の学習用回答文をサンプリングしてよい。学習用回答文の正例の頻度分布に従ってサンプリングされた負例の学習用回答文を用いて学習モデルの学習処理を行うことで、問合せ文と複数の回答候補文との類似度をより高精度に算出することができる学習済みモデル１４ａが得られる。
【0033】
算出部１４は、問合せ文を入力したユーザに関する情報に基づいてパラメータが変化する学習済みモデル１４ａを用いて、問合せ文と複数の回答候補文との類似度を算出してよい。具体的には、Aaron Jaech, Mari Ostendorf, "Personalized Language Model for Query Auto-Completion," Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, 2018に記載されたFactorCellモデルを用いて、学習済みモデル１４ａのパラメータをユーザに応じて変化させてよい。ユーザに関する情報は、ユーザの属性を表す情報や、ユーザの過去の問合せ履歴に関する情報を含む。このように、問合せ文を入力したユーザに関する情報に基づいてパラメータが変化する学習済みモデル１４ａを用いることで、ユーザに応じた回答候補文が抽出できるようになる。
【0034】
第１生成部１２は、学習モデルの学習処理を行う場合、問合せベクトルにノイズを付加する付加部１２ａを含む。また、第２生成部１３は、学習モデルの学習処理を行う場合、回答ベクトルにノイズを付加する付加部１３ａを含む。ここで、付加部１２ａ及び付加部１３ａは、それぞれ、平均０、分散が所定の値である正規分布に従うノイズを問合せベクトル及び回答ベクトルに加えてよい。このように、問合せベクトル及び回答ベクトルの少なくともいずれかにノイズを付加することで、学習済みモデル１４ａの汎化性能をより向上させることができる。
【0035】
図３は、本実施形態に係る質問回答装置１０により用いられる学習済みモデル１４ａの概要を示す図である。学習済みモデル１４ａは、学習用問合せ文Ｙ1
q，Ｙ2
q，…，ＹE
q（Ｙi
qはそれぞれセンテンスを表し、複数の単語に対応するトークンを含む。）と、学習用回答文Ｙaについて、損失関数Ｌを最小化するようにパラメータを更新することで生成される。
【0036】
学習済みモデル１４ａは、学習用問合せ文及び学習用回答文をベクトル化するembeddingモデル１４ｂと、ベクトルｈtを出力するFactorCell LSTM１４ｃと、アテンション機構１４ｄとを含む。embeddingモデル１４ｂは、センテンスＹに含まれる単語のトークンｙtを、ｅt＝Ｅ（ｙt）＋δtによって、ベクトルｅtとする。ここで、Ｅは、ｗｏｒｄ２ｖｅｃ、ＥＬＭｏ、ＢＥＲＴ等のモデルによるベクトル化を表し、δtは、平均０、分散が所定の値である正規分布により生成されたノイズを表す。
【0037】
FactorCell LSTM１４ｃは、以下の数式（１）によって、センテンスのベクトルｅtから、中間表現のベクトルｈtを算出する。
【0038】
【数1】
【0039】
ここで、σはシグモイド関数であり、Ｗa及びＵa（ａ＝ｉ，ｆ，ｏ，ｃ）は、以下の数式（２）で表される重みパラメータである。また、ｂa（ａ＝ｉ，ｆ，ｏ，ｃ）は、バイアスパラメータである。
【0040】
【数2】
【0041】
ここで、Ｗa0、Ｕa0（ａ＝ｉ，ｆ，ｏ，ｃ）、Ｌ及びＲは、重みパラメータであり、ｕは、問合せ文を入力したユーザに関する情報を表すベクトルである。ベクトルｕは、例えば、ユーザの属性を表す１－ｈｏｔベクトルであってよい。また、×iは、テンソルのｉ番目の次元について積をとることを表す演算子である。
【0042】
アテンション機構１４ｄは、以下の数式（３）によって、コンテキストベクトルＣE,kを算出する。
【0043】
【数3】
【0044】
ここで、ｈE,kは、センテンスＹE
qのｋ番目のトークンに関するFactorCell LSTM１４ｃの中間表現ベクトルである。また、Ｖα、Ｗα、Ｕαは、重みパラメータである。
【0045】
学習部１６は、学習用問合せ文の最終センテンスＹE
qが入力されるFactorCell LSTM１４ｃの出力ｏqと、学習用回答文のセンテンスＹaが入力されるFactorCell LSTM１４ｃの出力ｏaとについて、以下の数式（４）で表される損失関数Ｌの値を最小化するように、誤差逆伝播法によってパラメータを更新することで、学習済みモデル１４ａの学習処理を行う。
【0046】
【数4】
【0047】
ここで、ｏa
+は、正例の学習用回答文に関するFactorCell LSTM１４ｃの出力であり、ｏa
-は、負例の学習用回答文に関するFactorCell LSTM１４ｃの出力である。負例の学習用回答文は、学習用回答文の正例の頻度分布に従ってサンプリングされてよい。なお、学習処理は、バッチ毎に行ってもよく、その場合、所定のバッチサイズについて損失関数の総和を求めてよい。
【0048】
図４は、本実施形態に係る質問回答装置１０の物理的構成を示す図である。質問回答装置１０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では質問回答装置１０が一台のコンピュータで構成される場合について説明するが、質問回答装置１０は、複数のコンピュータが組み合わされて実現されてもよい。また、図４で示す構成は一例であり、質問回答装置１０はこれら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
【0049】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、問合せ文に対する回答文を抽出するプログラム（質問回答プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
【0050】
ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、問合せ文をベクトル化した問合せベクトル、回答文をベクトル化した回答ベクトルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
【0051】
ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば質問回答プログラムや、書き換えが行われないデータを記憶してよい。
【0052】
通信部１０ｄは、質問回答装置１０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークＮに接続されてよい。
【0053】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。
【0054】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、取得した問合せ文や、抽出した回答候補文を表示してよい。
【0055】
質問回答プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。質問回答装置１０では、ＣＰＵ１０ａが質問回答プログラムを実行することにより、図２を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、質問回答装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【0056】
図５は、本実施形態に係る質問回答装置１０により実行される処理の概要を示す図である。質問回答装置１０により実行される処理は、大きく分けて、学習処理と、回答抽出処理とを含む。
【0057】
学習処理は、学習前処理Ｓ１、モデル学習処理Ｓ２及び回答候補ベクトル化処理Ｓ３を含む。学習前処理Ｓ１は、回答履歴データＤ１及び回答候補データＤ２を前処理して、評価用データＤ３及び学習用データＤ４をつくる処理である。モデル学習処理Ｓ２は、学習用データＤ４を用いて学習済みモデルを生成する処理であり、学習用モデル構造Ｄ５、問合せベクトル化用モデル構造Ｄ６、回答候補ベクトル化用モデル構造Ｄ７及び学習済みモデルＤ８をつくる処理である。回答候補ベクトル化処理Ｓ３は、回答候補データＤ２を、回答候補ベクトル化用モデル構造Ｄ７及び学習済みモデルＤ８を用いてベクトル化して、回答候補ベクトルＤ９をつくる処理である。
【0058】
回答抽出処理は、問合せベクトル化処理Ｓ４及び類似度算出処理Ｓ５を含む。問合せベクトル化処理Ｓ４は、ユーザ端末２０から受け付けた問合せクエリＤ１０を、問合せベクトル化用モデル構造Ｄ６及び学習済みモデルＤ８を用いてベクトル化して、問合せベクトルＤ１１をつくる処理である。類似度算出処理Ｓ５は、問合せベクトルＤ１１と、回答候補ベクトルＤ９との類似度を算出し、類似度スコアＤ１２をつくる処理である。質問回答装置１０は、類似度スコアＤ１２に基づいて、スコアが高い（問合せベクトルに対して類似度が高い）１又は複数の回答候補を抽出し、ユーザ端末２０に返送する。
【0059】
図６は、本実施形態に係る質問回答装置１０により実行される学習前処理Ｓ１のフローチャートである。はじめに、質問回答装置１０は、学習・評価用元データを、回答履歴データＤ１及び回答候補データＤ２から取得する（Ｓ１０）。ここで、回答履歴データＤ１及び回答候補データＤ２は、データベースＤＢに記憶されていてもよいし、質問回答装置１０に記憶されていてもよい。質問回答装置１０は、取得したデータを、学習用データと評価用データに分割して、評価用データＤ３として記憶する（Ｓ１１）。
【0060】
その後、質問回答装置１０は、学習用データについて、正例と負例のデータを生成する（Ｓ１２）。正例の学習用データは、問合せ文と、正しい回答文とのペアを含み、負例の学習用データは、問合せ文と、正しくない回答文とのペアを含む。ここで、質問回答装置１０は、学習用データに含まれる回答文の正例の頻度分布に従って、負例の学習用回答文をサンプリングしてよい。
【0061】
質問回答装置１０は、学習用データについて形態素解析を行い（Ｓ１３）、所定のルールに従って重要語を抽出する（Ｓ１４）。そして、質問回答装置１０は、重要語に基づいて新たな学習用データを生成することで、学習用データを拡張する（Ｓ１５）。このようにして拡張された学習用データは、学習用データＤ４として記憶される。なお、学習用データの拡張は必ずしも行われなくてもよい。
【0062】
図７は、本実施形態に係る質問回答装置１０により実行されるモデル学習処理Ｓ２のフローチャートである。質問回答装置１０は、学習用データＤ４を取得し（Ｓ２０）、学習用モデル構造を作成して、学習用モデル構造Ｄ５を記憶する（Ｓ２１）。ここで、学習用モデル構造Ｄ５は、FactorCell LSTM及びアテンション機構の構造を表す。
【0063】
質問回答装置１０は、問合せベクトル化用モデル構造を作成し、問合せベクトル化用モデル構造Ｄ６を記憶する（Ｓ２２）。また、質問回答装置１０は、回答候補ベクトル化用モデル構造を作成し、回答候補ベクトル化用モデル構造Ｄ７を記憶する（Ｓ２３）。ここで、問合せベクトル化用モデル構造Ｄ６及び回答候補ベクトル化用モデル構造Ｄ７は、ｗｏｒｄ２ｖｅｃ、ＥＬＭｏ、ＢＥＲＴ等の埋め込みモデルの構造を表す。
【0064】
その後、質問回答装置１０は、モデルパラメータの学習処理を行い、学習済みモデルＤ８を記憶する（Ｓ２４）。
【0065】
図８は、本実施形態に係る質問回答装置１０により実行される回答候補ベクトル化処理Ｓ３のフローチャートである。はじめに、質問回答装置１０は、学習済みモデルＤ８及び回答候補ベクトル化用モデル構造Ｄ７を取得し（Ｓ３０）、回答候補データＤ２について回答候補ベクトル化を行い、回答候補ベクトルＤ９を記憶する（Ｓ３１）。質問回答装置１０は、回答候補データＤ２を事前にベクトル化して、回答候補ベクトルＤ９を記憶しておくことで、問合せクエリを受け付けた場合に、都度回答候補をベクトル化する場合よりも高速に回答候補を抽出することができるようになる。
【0066】
図９は、本実施形態に係る質問回答装置１０により実行される問合せベクトル化処理Ｓ４のフローチャートである。はじめに、質問回答装置１０は、学習済みモデルＤ８及び問合せベクトル化用モデル構造Ｄ６を取得する（Ｓ４０）。そして、質問回答装置１０は、ユーザ端末２０から受け付けた問合せクエリＤ１０について問合せベクトル化を行い、問合せベクトルＤ１１を記憶する（Ｓ４１）。
【0067】
図１０は、本実施形態に係る質問回答装置１０により実行される類似度算出処理Ｓ５のフローチャートである。質問回答装置１０は、問合せベクトルＤ１１を取得し（Ｓ５０）、回答候補ベクトルＤ９を取得する（Ｓ５１）。ここで、回答候補ベクトルＤ９は、複数の回答候補のベクトルを含む。その後、質問回答装置１０は、問合せベクトルＤ１１と回答候補ベクトルＤ９とについて、類似度を算出し、類似度スコアＤ１２を記憶する（Ｓ５２）。ここで、類似度スコアは、問合せベクトルＤ１１と回答候補ベクトルＤ９とのコサイン類似度であってよいが、他の類似度を表すスコアであってもよい。
【0068】
最後に、質問回答装置１０は、類似度スコアＤ１２に基づいて、スコアが高い１又は複数の回答候補を抽出し、ユーザ端末２０に返送する。
【0069】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【0070】
１０…質問回答装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…取得部、１２…第１生成部、１２ａ…付加部、１３…第２生成部、１３ａ…付加部、１４…算出部、１４ａ…学習済みモデル、１５…抽出部、１６…学習部、２０…ユーザ端末、１００…質問回答システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
