知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149601
(43)【公開日】2023-10-13
(54)【発明の名称】推論装置、質問回答装置、対話装置、及び推論方法
(51)【国際特許分類】
G06F 16/90 20190101AFI20231005BHJP
G06N 3/08 20230101ALI20231005BHJP
【ＦＩ】
G06F16/90 100
G06N3/08
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2022058254
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100099933
【弁理士】
【氏名又は名称】清水 敏
(72)【発明者】
【氏名】鳥澤 健太郎
(72)【発明者】
【氏名】クロエツェー ジュリアン
(72)【発明者】
【氏名】水野 淳太
(72)【発明者】
【氏名】飯田 龍
(72)【発明者】
【氏名】大竹 清敬
(72)【発明者】
【氏名】呉 鍾勲
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175EA01
(57)【要約】
【課題】少ない計算資源により高速に、十分な精度をもって動作可能な推論装置を提供する。
【解決手段】推論装置５０は、第１入力のベクトル表現を出力する第１ニューラルネット８０と、第２入力のベクトル表現を出力する第２ニューラルネットとを含み、所定の関係にある第１及び第２入力の学習データを用いて、第１及び第２入力のベクトル表現が所定の関係にある場合に、ベクトル空間において近接して位置するように第１及び第２ニューラルネットを学習させ、学習済みの第２ニューラルネットの出力であるベクトル表現をクラスタ化し、第１入力のベクトル表現に基づき、クラスタの検索抽出が可能なようにあらかじめ構築されたデータベース８４をさらに含み、入力６０に対して第１ニューラルネット８０による入力のベクトル表現に基づいてデータベース８４から検索抽出されたクラスタの情報８８に基づき出力を推論する。
【選択図】図１
【解決手段】推論装置５０は、第１入力のベクトル表現を出力する第１ニューラルネット８０と、第２入力のベクトル表現を出力する第２ニューラルネットとを含み、所定の関係にある第１及び第２入力の学習データを用いて、第１及び第２入力のベクトル表現が所定の関係にある場合に、ベクトル空間において近接して位置するように第１及び第２ニューラルネットを学習させ、学習済みの第２ニューラルネットの出力であるベクトル表現をクラスタ化し、第１入力のベクトル表現に基づき、クラスタの検索抽出が可能なようにあらかじめ構築されたデータベース８４をさらに含み、入力６０に対して第１ニューラルネット８０による入力のベクトル表現に基づいてデータベース８４から検索抽出されたクラスタの情報８８に基づき出力を推論する。
【選択図】図１
【特許請求の範囲】
【請求項1】
第１の入力が供給され、この第１の入力のベクトル表現を出力する第１のニューラルネットワークと、
第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを含み、
少なくとも、所定の関係にある前記第１及び第２の入力の学習データを用いて、前記第１の入力のベクトル表現と前記第２の入力のベクトル表現が、前記所定の関係にある場合に、ベクトル空間において近接して位置するように前記第１及び第２のニューラルネットワークを学習させ、
学習済みの前記第２のニューラルネットワークの出力であるベクトル表現を、前記ベクトル空間上の位置に基づきクラスタ化し、前記第１の入力のベクトル表現に基づき、前記クラスタの検索抽出が可能なようにあらかじめ構築されたデータベースをさらに含み、
装置への入力に対して前記第１のニューラルネットワークによる前記入力のベクトル表現に基づいて前記データベースから検索抽出された前記クラスタの情報に基づき、前記所定の関係にある出力を推論する、推論装置。
第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを含み、
少なくとも、所定の関係にある前記第１及び第２の入力の学習データを用いて、前記第１の入力のベクトル表現と前記第２の入力のベクトル表現が、前記所定の関係にある場合に、ベクトル空間において近接して位置するように前記第１及び第２のニューラルネットワークを学習させ、
学習済みの前記第２のニューラルネットワークの出力であるベクトル表現を、前記ベクトル空間上の位置に基づきクラスタ化し、前記第１の入力のベクトル表現に基づき、前記クラスタの検索抽出が可能なようにあらかじめ構築されたデータベースをさらに含み、
装置への入力に対して前記第１のニューラルネットワークによる前記入力のベクトル表現に基づいて前記データベースから検索抽出された前記クラスタの情報に基づき、前記所定の関係にある出力を推論する、推論装置。
【請求項2】
請求項１記載の推論装置において、前記データベースは、それぞれのクラスタに含まれる出力のベクトル表現のセントロイドを用いて検索抽出されることを特徴とする推論装置。
【請求項3】
前記第１のニューラルネットワークは、前記第１の入力とこの第１の入力と前記所定の関係にある前記第２の入力の属するクラスタに関連したベクトル表現とに基づき、追加の学習がなされたことを特徴とする請求項１又は請求項２記載の推論装置。
【請求項4】
前記所定の関係は、質問とその質問に対する回答を含むものである、請求項１から請求項３のいずれか１項に記載の推論装置を含む質問回答装置。
【請求項5】
前記所定の関係は、発話とその発話に対する応答を含むものである、請求項１から請求項３のいずれか１項に記載の推論装置を含む対話装置。
【請求項6】
第１の入力が供給され、この第１の入力のベクトル表現を出力する第１のニューラルネットワークと、第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを準備するステップと、
少なくとも、所定の関係にある前記第１及び第２の入力の学習データを用いて、前記第１の入力のベクトル表現と前記第２の入力のベクトル表現が、前記所定の関係にある場合に、ベクトル空間において近接して位置するように前記第１及び第２のニューラルネットワークを学習させるステップと、
学習済みの前記第２のニューラルネットワークの出力であるベクトル表現を、前記ベクトル空間上の位置に基づきクラスタ化し、前記第１の入力のベクトル表現に基づき、前記クラスタの検索抽出が可能なようにあらかじめデータベースを構築するステップと、
入力に対して前記第１のニューラルネットワークによる前記入力のベクトル表現に基づいて前記データベースから検索抽出された前記クラスタの情報に基づき、前記所定の関係にある出力を推論するステップとを含む、推論方法。
少なくとも、所定の関係にある前記第１及び第２の入力の学習データを用いて、前記第１の入力のベクトル表現と前記第２の入力のベクトル表現が、前記所定の関係にある場合に、ベクトル空間において近接して位置するように前記第１及び第２のニューラルネットワークを学習させるステップと、
学習済みの前記第２のニューラルネットワークの出力であるベクトル表現を、前記ベクトル空間上の位置に基づきクラスタ化し、前記第１の入力のベクトル表現に基づき、前記クラスタの検索抽出が可能なようにあらかじめデータベースを構築するステップと、
入力に対して前記第１のニューラルネットワークによる前記入力のベクトル表現に基づいて前記データベースから検索抽出された前記クラスタの情報に基づき、前記所定の関係にある出力を推論するステップとを含む、推論方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は自然言語による推論装置、質問回答装置、対話装置、及び推論方法に関する。
【背景技術】
【0002】
従来知られている質問回答システムに、本件出願人が開発しウェブ上において提供しているシステム（ＷＩＳＤＯＭ Ｘ）がある。このシステムにおいては、主として入力された質問からキーワード群となる複数の内容語を抽出する。このキーワード群に基づき、インターネット等から収集したパッセージ（連続する７つ程度の文からなる文のまとまり）をいくつか選択する。得られたパッセージ群を質問とともにニューラルネットワークに入力することにより、質問に対する回答を含むか否かという観点からパッセージが分類される。回答が含まれると判断されたパッセージに関しては、そこから質問に対する回答となるフレーズ及び単語などを抽出し整形して回答を出力する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
質問回答システムの性格上、質問に対する回答を早期に行う必要がある。そのために、上記したシステムにおいては、あらかじめウェブをクロールしてウェブ上のデータをローカルの記憶装置に蓄積しておく。上記したキーワードベースの検索エンジンの検索範囲は、この記憶装置に記憶された情報であり、その結果、大量の回答候補が得られる。そのため、各回答候補が質問に対する回答を含むか否かの判定処理には大量のデータ処理が伴う。さらに、この処理の対象となるパッセージの各々がある程度のデータ量を持つ上、自然言語処理が必要となる関係上、大規模ニューラルネットワークが処理に使用される。その結果、最終的に行うべきデータ処理の総量は非常に大きなものとなる。したがって、従来の質問回答システムを稼働させるためには大きな計算資源が必要だったという問題がある。
【0004】
こうした事情は、質問回答システムに限らない。本件出願人は、質問に限らず一般的な入力に対して応答を行う対話システムも開発している。この対話システムにおいては、応答候補を作成するために、入力から複数の質問を生成し、その質問を上記した質問回答システムに投入してそれぞれ複数の回答を得る。その後、それらの回答から入力発話に対する応答を生成し、更には生成された複数の応答から最適な応答を一つ選ぶ処理を行っている。そのために必要なデータ処理の量は、質問回答システムのためのデータ処理の量を上回る。その結果、対話システムを稼働させるためには非常に大きな計算資源が必要だったという問題がある。
【0005】
それ故にこの発明は、従来のものより少ない計算資源により高速に、かつ十分な精度をもって動作可能な推論装置、質問回答装置、対話装置、及び推論方法を提供することである。
【課題を解決するための手段】
【0006】
この発明の第１の局面に係る推論装置は、第１の入力が供給され、この第１の入力のベクトル表現を出力する第１のニューラルネットワークと、第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを含み、少なくとも、所定の関係にある第１及び第２の入力の学習データを用いて、第１の入力のベクトル表現と第２の入力のベクトル表現が、所定の関係にある場合に、ベクトル空間において近接して位置するように第１及び第２のニューラルネットワークを学習させ、学習済みの第２のニューラルネットワークの出力であるベクトル表現を、ベクトル空間上の位置に基づきクラスタ化し、第１の入力のベクトル表現に基づき、クラスタの検索抽出が可能なようにあらかじめ構築されたデータベースをさらに含み、装置への入力に対して第１のニューラルネットワークによる入力のベクトル表現に基づいてデータベースから検索抽出されたクラスタの情報に基づき、所定の関係にある出力を推論する。
【0007】
好ましくは、データベースは、それぞれのクラスタに含まれる出力のベクトル表現のセントロイドを用いて検索抽出される。
【0008】
より好ましくは、第１のニューラルネットワークは、第１の入力とこの第１の入力と所定の関係にある第２の入力の属するクラスタに関連したベクトル表現とに基づき、追加の学習がなされる。
【0009】
この発明の第２の局面に係る質問回答装置は、上記したいずれかの推論装置を含み、所定の関係は、質問とその質問に対する回答を含むものである。
【0010】
この発明の第３の局面に係る対話装置は、上記したいずれかの推論装置を含み、所定の関係は、発話とその発話に対する応答を含むものである。
【0011】
この発明の第４の局面に係る推論方法は、第１の入力が供給され、この第１の入力のベ
クトル表現を出力する第１のニューラルネットワークと、第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを準備するステップと、少なくとも、所定の関係にある第１及び第２の入力の学習データを用いて、第１の入力のベクトル表現と第２の入力のベクトル表現が、所定の関係にある場合に、ベクトル空間において近接して位置するように第１及び第２のニューラルネットワークを学習させるステップと、学習済みの第２のニューラルネットワークの出力であるベクトル表現を、ベクトル空間上の位置に基づきクラスタ化し、第１の入力のベクトル表現に基づき、クラスタの検索抽出が可能なようにあらかじめデータベースを構築するステップと、入力に対して第１のニューラルネットワークによる入力のベクトル表現に基づいてデータベースから検索抽出されたクラスタの情報に基づき、所定の関係にある出力を推論するステップとを含む。
クトル表現を出力する第１のニューラルネットワークと、第２の入力が供給され、この第２の入力のベクトル表現を出力する第２のニューラルネットワークとを準備するステップと、少なくとも、所定の関係にある第１及び第２の入力の学習データを用いて、第１の入力のベクトル表現と第２の入力のベクトル表現が、所定の関係にある場合に、ベクトル空間において近接して位置するように第１及び第２のニューラルネットワークを学習させるステップと、学習済みの第２のニューラルネットワークの出力であるベクトル表現を、ベクトル空間上の位置に基づきクラスタ化し、第１の入力のベクトル表現に基づき、クラスタの検索抽出が可能なようにあらかじめデータベースを構築するステップと、入力に対して第１のニューラルネットワークによる入力のベクトル表現に基づいてデータベースから検索抽出されたクラスタの情報に基づき、所定の関係にある出力を推論するステップとを含む。
【0012】
この発明の第５の局面に係る質問回答装置は、複数レコードを含むデータベースを含み、複数レコードの各々は、質問に対する回答候補のリンク先と、当該回答候補のベクトル表現が属するクラスタの識別子とを含み、質問文が入力されたことに応答して、質問文を、当該質問文のベクトル表現である質問ベクトルに変換するためのニューラルネットワークと、回答候補の意味的表現ベクトルのクラスタの中で、当該クラスタの代表ベクトルが質問ベクトルと最も近い所定個数のクラスタを選択するクラスタ選択手段と、データベースにおいて、クラスタ選択手段により選択された所定個数のクラスタのいずれかの識別子を持つレコードに含まれるリンク先から、それぞれ回答候補を収集するための回答候補収集手段と、回答候補収集部により収集された回答候補の中から、所定の手順で質問文に対する回答を選択するための回答選択手段とを含む。
【0013】
好ましくは、質問回答装置はさらに、質問文を発した質問者の発話履歴を記憶するための発話履歴記憶手段と、発話履歴記憶手段と、質問文が入力されたことに応答して、当該質問を発した質問者の過去の発話履歴の１又は複数のトピック候補を発話履歴記憶手段に記憶された発話履歴に基づいて特定するためのトピック特定手段と、質問文がニューラルネットワークに入力されるに先立って、トピック特定手段により特定された１又は複数のトピックを表す情報を質問文に付加するためのトピック付加手段とをさらに含む。
【0014】
より好ましくは、回答候補の各々は、いずれも複数の連続する文を含む。
【0015】
この発明の第６の局面に係る対話装置は、上記した質問回答装置と、入力される発話のトピックを推定するトピック推定手段と、入力される発話にトピック推定手段により推定されたトピックを示す情報を付加し、質問として質問回答装置に入力するトピック付加手段と、発話に対する質問回答装置の出力を対話にふさわしく整形することにより、入力される発話に対する応答を生成するための応答生成手段とを含む。
【0016】
この発明の第７の局面に係る質問回答用モデルの訓練方法は、複数の質問文と、当該複数の質問文の各々に対する回答候補群とから、質問文と当該質問文に対応する回答候補との組み合わせからなる正例と、質問文と当該質問文に対応しない回答候補との組み合わせからなる負例とを生成することにより、学習データを準備するステップと、質問文を、当該質問文のベクトル表現である質問ベクトルに変換するための質問変換用ニューラルネットワークと、回答候補を、当該回答候補のベクトル表現である回答候補ベクトルに変換するための回答変換用ニューラルネットワークとを、Siameseネットワークにより訓練するステップと、訓練するステップにより訓練された回答変換用ニューラルネットワークを用いて、回答候補群に含まれる回答候補を、当該回答候補のベクトル表現である回答候補ベクトルに変換するステップと、変換するステップにより生成された回答候補ベクトルを所定個数のクラスタにクラスタリングし、回答候補の各々に、当該回答候補が属するクラスタの識別子を付与するステップと、複数の質問文の各々について、当該質問に対応する回答候補を含むクラスタの識別子を対応付けるステップと、複数の質問文の各々について質問変換用ニューラルネットワークの出力する質問ベクトルと、当該質問文に対応する回答候補が属するクラスタとの距離を表す所定の指標が小さくなるように質問変換用ニューラルネットワークの追加学習をするステップとを含む。
【0017】
好ましくは、質問回答用モデルの訓練方法はさらに、学習データを準備するステップに先立って、インターネットから複数の質問文を収集するステップを含む。
【0018】
より好ましくは、収集するステップは、学習データを準備するステップに先立って、インターネットから複数の質問文を、その前又は後の文とともに収集するステップと、複数の質問文の各々について、当該質問文について収集された前又は後の文に基づいて、質問文の関連するトピックを推定するステップとを含み、学習データを準備するステップは、複数の質問文の各々に、当該質問文の関連するトピックを付与するステップと、トピックが付与された複数の質問文と、回答候補群とから、質問文と当該質問文に対応する回答候補との組み合わせからなる正例と、質問文と当該質問文に対応しない回答候補との組み合わせからなる負例とを生成することにより、学習データを準備するステップとを含む。
【0019】
さらに好ましくは、質問回答用モデルの訓練方法はさらに、学習データを準備するステップに先立って、インターネットから複数の質問文の各々に対する回答候補群を収集するステップと、収集された回答候補群に含まれる回答候補の各々に関連付けて、当該回答候補のインターネット上のＵＲＬを記憶するステップとを含み、方法はさらに、回答候補の各々について、当該回答候補が属するクラスタの識別子と、当該回答候補のインターネット上のＵＲＬとを含む新たなレコードをデータベースに追加するステップを含む。
【0020】
この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【図面の簡単な説明】
【0021】
【発明を実施するための形態】
【0022】
以下の説明及び図面においては、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【0023】
第１ 第１実施形態
１．構成
Ａ．質問回答装置
図１に、この発明の第１実施形態に係る質問回答装置５０の機能的ブロック図を示す。図１を参照して、質問回答装置５０は、質問６０を受け取り、インターネット６２から回答候補となるパッセージ群を検索するための回答候補検索部６４と、回答候補検索部６４により検索されたパッセージ群を記憶するためのパッセージＤＢ（Ｄａｔａｂａｓｅ）６６とを含む。パッセージＤＢ６６に記憶されるパッセージ群は、従来のものと比較して限定された数である。質問回答装置５０はさらに、パッセージＤＢ６６に記憶されたパッセージ群に基づき、従来の手法と同様の手法を用いて質問６０に対する回答７０を生成し出力するための回答生成部６８を含む。回答生成部６８が回答７０を生成する手法は、この実施形態においては従来技術と全く同様である。ただし、回答生成部６８が処理する対象となるパッセージの数は、従来技術と比較してはるかに少ない。
１．構成
Ａ．質問回答装置
図１に、この発明の第１実施形態に係る質問回答装置５０の機能的ブロック図を示す。図１を参照して、質問回答装置５０は、質問６０を受け取り、インターネット６２から回答候補となるパッセージ群を検索するための回答候補検索部６４と、回答候補検索部６４により検索されたパッセージ群を記憶するためのパッセージＤＢ（Ｄａｔａｂａｓｅ）６６とを含む。パッセージＤＢ６６に記憶されるパッセージ群は、従来のものと比較して限定された数である。質問回答装置５０はさらに、パッセージＤＢ６６に記憶されたパッセージ群に基づき、従来の手法と同様の手法を用いて質問６０に対する回答７０を生成し出力するための回答生成部６８を含む。回答生成部６８が回答７０を生成する手法は、この実施形態においては従来技術と全く同様である。ただし、回答生成部６８が処理する対象となるパッセージの数は、従来技術と比較してはるかに少ない。
【0024】
この実施形態の特徴は、質問６０を受けた時点においてインターネット６２から検索するパッセージの数が限定されている点である。したがってパッセージＤＢ６６に記憶されるパッセージの数は少なく、回答生成部６８が必要とする計算資源も従来と比較してはるかに少なく済む。
【0025】
回答候補検索部６４は、質問６０を変換し、質問６０を表現するベクトルである質問ベクトル８２を出力するための質問ＢＥＲＴ８０を含む。質問ＢＥＲＴ８０は、あらかじめ学習済みだが、その学習については図２以降を参照して後述する。ここで、質問ＢＥＲＴ等は、ニューラルネットワークのＢｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓを含むものであり、ＢＥＲＴ、ＲｏＢＥＲＴａ等、Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒを含むニューラルネットワークであり、一般的に、言語資源による事前学習を経て、タスクに応じたファインチューニングの後に利用される。この実施形態におけるファインチューニング等については、後述する。
【0026】
回答候補検索部６４はさらに、セントロイドＤＢ８４を含む。セントロイドＤＢ８４は質問ＢＥＲＴ８０などの訓練過程において同時に生成される。セントロイドＤＢ８４を生成する方法については学習の説明の際にあわせて後述する。簡単に言えば、セントロイドＤＢ８４は、様々な質問に対する回答を含む多くのパッセージをベクトル化し、クラスタリングして、そのセントロイドをデータベース化したものである。セントロイドＤＢ８４の各レコードは、そのセントロイドが代表するクラスタのクラスタ識別子と、そのセントロイドのベクトル空間上の位置を表すベクトルとを含む。パッセージをベクトル化したものをパッセージベクトルと呼ぶ。パッセージベクトルと質問ベクトル８２とは同じ次元数のベクトルである。
【0027】
回答候補検索部６４はさらに、質問ベクトル８２を受けて、ベクトル空間内において質問ベクトル８２に最も近い所定個数のセントロイドのレコードをセントロイドＤＢ８４において検索し、検索された所定個数のセントロイドのクラスタ識別子８８をそれぞれ出力するための回答候補クラスタ特定部８６を含む。これらクラスタ識別子８８により表される各クラスタには、質問６０に対する回答を含む可能性が高いパッセージに対応するパッセージベクトルが含まれることが想定されている。なぜそのようになるかについては、質問ＢＥＲＴ８０の訓練に関する説明において明らかにする。
【0028】
回答候補検索部６４はさらに、あらかじめ様々な質問について、その回答候補となるパッセージを表す多数のパッセージレコードを記憶するための回答候補ＤＢ９０を含む。回答候補ＤＢ９０の各レコードは、あらかじめ作成された質問に対して、その回答が含まれていると考えられるパッセージをウェブからダウンロードした情報から作成される。より具体的には、各レコードは、パッセージが存在していたロケーションを示すＵＲＬと、そのパッセージベクトルが属するクラスタのクラスタ識別子とを含む。
【0029】
回答候補検索部６４はさらに、回答候補クラスタ特定部８６が出力するクラスタ識別子８８を受け、クラスタ識別子８８と一致するクラスタ識別子を持つレコードを回答候補ＤＢ９０において検索し、検索されたレコードのＵＲＬを回答候補ＵＲＬ群９４として出力するための回答候補検索部９２と、回答候補ＵＲＬ群９４に含まれるＵＲＬの各々にアクセスし、回答候補を含むと思われるパッセージを含むテキストをダウンロードして、パッセージを抽出し、パッセージＤＢ６６に蓄積するためのパッセージ検索部９６とを含む。
【0030】
前述したとおり、パッセージ検索部９６がアクセスするＵＲＬは、回答候補クラスタ特定部８６により特定されたセントロイドに対応するクラスタに属するものだけである。したがって、従来技術のようにウェブ全体からダウンロードした大量のデータにアクセスする必要はない。選択された個数のクラスタに属するＵＲＬからダウンロードしたものだけがアクセスの対象となる。そのため、回答生成部６８として従来のものと同じものを採用したとしても、必要な記憶容量も、計算資源もはるかに小さくて済む。
【0031】
Ｂ．学習装置
図２に、図１に示す質問ＢＥＲＴ８０の学習を行い、同時にセントロイドＤＢ８４及び回答候補ＤＢ９０の生成を行うための学習装置１５０の機能的構成を示す。図２を参照して、学習装置１５０は、インターネット６２から多数の質問と、各質問に対する回答候補を含む多数のパッセージとを収集するための質問・パッセージ収集部１６０と、質問・パッセージ収集部１６０が収集した質問を記憶するための質問ＤＢ１６２と、質問・パッセージ収集部１６０が収集したパッセージを記憶するためのパッセージＤＢ１６４とを含む。図２ではパッセージＤＢ１６４に蓄積されるパッセージを用いて、ＢＥＲＴの学習とパッセージのクラスタリングを行うようにしているが、これは別のＤＢ、例えばパッセージＤＢ１６４に蓄積されているパッセージの一部からなるＤＢを用いることもできる。
図２に、図１に示す質問ＢＥＲＴ８０の学習を行い、同時にセントロイドＤＢ８４及び回答候補ＤＢ９０の生成を行うための学習装置１５０の機能的構成を示す。図２を参照して、学習装置１５０は、インターネット６２から多数の質問と、各質問に対する回答候補を含む多数のパッセージとを収集するための質問・パッセージ収集部１６０と、質問・パッセージ収集部１６０が収集した質問を記憶するための質問ＤＢ１６２と、質問・パッセージ収集部１６０が収集したパッセージを記憶するためのパッセージＤＢ１６４とを含む。図２ではパッセージＤＢ１６４に蓄積されるパッセージを用いて、ＢＥＲＴの学習とパッセージのクラスタリングを行うようにしているが、これは別のＤＢ、例えばパッセージＤＢ１６４に蓄積されているパッセージの一部からなるＤＢを用いることもできる。
【0032】
質問ＤＢ１６２の各レコードは各質問に対応する。各レコードは、例えば、質問識別子と、その質問に対応するパッセージが主として属するクラスタのクラスタ識別子と、質問のテキストと、その質問が存在するインターネット上のＵＲＬとを含む。
【0033】
質問・パッセージ収集部１６０の各レコードは各パッセージに対応する。各レコードは、パッセージＩＤと、対応する質問ＩＤと、そのパッセージが存在するインターネット上のＵＲＬとを含む。
【0034】
学習装置１５０はさらに、図１に示す質問ＢＥＲＴ８０と同じ構成の、訓練対象の質問ＢＥＲＴ１６８と、質問ＢＥＲＴ１６８と同じ構成の回答候補ＢＥＲＴ１７０と、質問ＤＢ１６２及び質問・パッセージ収集部１６０に記憶されたデータを用いて、質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０の学習をＳｉａｍｅｓｅ ＢＥＲＴネットワーク（Siamese BERT Networks）により同時に行うためのＢＥＲＴ学習部１６６とを含む。Ｓｉａｍｅｓｅ ＢＥＲＴネットワークについては、以下の参考文献に記載がある。この実施形態におけるＳｉａｍｅｓｅ ＢＥＲＴネットワークの概略については図３を参照して後述する。なお、本発明は、Ｓｉａｍｅｓｅ ＢＥＲＴネットワークによる構成に限定されるものではなく、質問ＢＥＲＴ８０と回答候補ＢＥＲＴ１７０の出力であるベクトル表現の近い、遠いが学習データと整合していれば、問題ない。
【0035】
［参考文献］
Nils Reimers and Iryna Gurevych，”Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks，”[online]，令和元年8月27日，Arxiv.org，［令和４年３月１０日検索］，インターネット，＜https://arxiv.org/pdf/1908.10084＞
学習装置１５０はさらに、ＢＥＲＴ学習部１６６により学習が行われた回答候補ＢＥＲＴ１７０を用いて質問・パッセージ収集部１６０に含まれる各パッセージをパッセージベクトル化し、さらにクラスタリングして回答候補ＤＢ９０及びセントロイドＤＢ８４を生成するためのパッセージクラスタリング部１７２を含む。パッセージクラスタリング部１７２による回答候補ＤＢ９０の生成は、以下の手順に従って行われる。まず質問・パッセージ収集部１６０に含まれる各パッセージを回答候補ＢＥＲＴ１７０に入力することにより、回答候補ＢＥＲＴ１７０の出力に得られるベクトルに変換する。これらのベクトルは、各パッセージを表すパッセージベクトルである。パッセージクラスタリング部１７２はさらに、これらパッセージベクトルを所定個数のクラスタにクラスタリングする。このクラスタの個数は、あらかじめ定めておいてもよいし、クラスタ内のベクトルの分散の合計を最小にするなど、所定の基準により支障の出ない一定範囲内において決めるようにしてもよい。
Nils Reimers and Iryna Gurevych，”Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks，”[online]，令和元年8月27日，Arxiv.org，［令和４年３月１０日検索］，インターネット，＜https://arxiv.org/pdf/1908.10084＞
学習装置１５０はさらに、ＢＥＲＴ学習部１６６により学習が行われた回答候補ＢＥＲＴ１７０を用いて質問・パッセージ収集部１６０に含まれる各パッセージをパッセージベクトル化し、さらにクラスタリングして回答候補ＤＢ９０及びセントロイドＤＢ８４を生成するためのパッセージクラスタリング部１７２を含む。パッセージクラスタリング部１７２による回答候補ＤＢ９０の生成は、以下の手順に従って行われる。まず質問・パッセージ収集部１６０に含まれる各パッセージを回答候補ＢＥＲＴ１７０に入力することにより、回答候補ＢＥＲＴ１７０の出力に得られるベクトルに変換する。これらのベクトルは、各パッセージを表すパッセージベクトルである。パッセージクラスタリング部１７２はさらに、これらパッセージベクトルを所定個数のクラスタにクラスタリングする。このクラスタの個数は、あらかじめ定めておいてもよいし、クラスタ内のベクトルの分散の合計を最小にするなど、所定の基準により支障の出ない一定範囲内において決めるようにしてもよい。
【0036】
パッセージクラスタリング部１７２は、このようにしてパッセージベクトルをクラスタリングした後、各クラスタのセントロイドを決定する。さらに各セントロイドに、そのセントロイドが代表するクラスタの識別子を付与する。パッセージクラスタリング部１７２は、このようにして得られた各セントロイドに関する情報をレコード化しセントロイドＤＢ８４を生成する。具体的には、セントロイドＤＢ８４の各レコードは、クラスタ識別子と、そのセントロイドのベクトルとを含む。当然のことだがセントロイドのベクトルはパッセージベクトル及び質問ベクトルと同次元である。
【0037】
なお、パッセージクラスタリング部１７２は、回答候補ＤＢ９０の各レコードを以下のように生成する。パッセージクラスタリング部１７２は、質問・パッセージ収集部１６０の各レコードについて、そのレコードのパッセージから得られたパッセージベクトルの属するクラスタのクラスタ識別子と、そのレコードのＵＲＬとを一組にして回答候補ＤＢ９０にレコードを登録する。パッセージクラスタリング部１７２はまた、質問ＤＢ１６２の各レコードについて、その質問ＤＢ１６２に対して得られたパッセージが主として属するクラスタのセントロイドＩＤを付与する処理も行う。
【0038】
学習装置１５０はさらに、セントロイドＤＢ８４及び質問ＤＢ１６２を用いて、質問ＢＥＲＴ１６８の追加学習を行うための追加学習部１７４を含む。ＢＥＲＴ学習部１６６による学習がされた後の質問ＢＥＲＴ１６８は、追加学習部１７４による追加学習を受けて図１に示す質問ＢＥＲＴ８０となる。この追加学習の意味については図４及び図５を参照して後述する。
【0039】
図３に、図２に示すＢＥＲＴ学習部１６６の構成についてブロック図形式により示す。この学習における教師データは、質問及びパッセージと、そのパッセージがその質問に対する回答を含むか否かを示すラベルとを１組とする。ラベルは、例えばパッセージが質問に対する回答を含むときは１であり、さもなければ０とする。
【0040】
図３を参照して、ＢＥＲＴ学習部１６６は、学習データの質問と回答候補パッセージとを質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０にそれぞれ入力し、質問を表現するベクトル２００（Ｕ）と回答候補パッセージを表現するベクトル２０２（Ｖ）とに変換した後、ベクトルＵ及びベクトルＶの間のコサイン類似度を算出するためのコサイン類似度算出部２０４と、コサイン類似度算出部２０４の出力（［－１，１］の範囲）を［０，１］の範囲に正規化するための正規化処理部２０６と、正規化処理部２０６の出力と学習データのラベル２１０（０又は１）とに基づき、両者が一致する方向に質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０の各々のパラメータを誤差逆伝播法により更新するためのパラメータ更新部２０８とを含む。正規化処理部２０６による正規化は、例えば｛cos（Ｕ、Ｖ）＋１｝／２により行うことができる。なお、この実施形態においては、パラメータ更新部２０８における更新のための損失関数として平均二乗誤差を用いている。
【0041】
質問ＢＥＲＴ１６８は、ＢＥＲＴ２２０と、ＢＥＲＴ２２０の最終層の各要素について平均プーリングを行うことによりベクトル２００を出力するためのＰｏｏｌｉｎｇ層２２２とを含む。
【0042】
回答候補ＢＥＲＴ１７０は質問ＢＥＲＴ１６８と全く同じ構成である。すなわち、回答候補ＢＥＲＴ１７０は、ＢＥＲＴ２２０と同じ構成のＢＥＲＴ２３０と、ＢＥＲＴ２３０の最終層の各要素について平均プーリングを行うことによりベクトル２０２を出力するためのＰｏｏｌｉｎｇ層２３２とを含む。この段階においては、ＢＥＲＴ２２０とＢＥＲＴ２３０とのパラメータ構成は全て共通であり、それらの値の更新も互いに反映される。
【0043】
前述したとおり、質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０は同じ構成であり、かつパラメータの値も共通するようパラメータ更新部２０８による更新が行われる。ＢＥＲＴ学習部１６６は、こうした学習を全ての学習データに対して所定の終了条件が成立するまで繰り返す。その結果、回答候補ＢＥＲＴ１７０に与えられる回答候補パッセージが質問ＢＥＲＴ１６８に与えられる質問に対する回答を含む場合にはベクトル２００とベクトル２０２とが類似したベクトルとなり、そうでない場合には互いに異なるベクトルとなる。
【0044】
ただし、上記した学習を行った場合には以下のような問題が生じ得る。図４を参照して、例えばある質問に対する質問ＢＥＲＴ１６８による変換２５６の結果、ベクトル２５４が得られたものとする。一方、この質問に対する正しい回答を含むパッセージを回答候補ＢＥＲＴ１７０により変換した結果がベクトル２６０だとする。またベクトル２６０が属するのがクラスタ２５０であり、そのセントロイドがベクトル２７０だとする。
【0045】
一方、クラスタ２５０と異なるクラスタ２５２が存在し、そのセントロイドがベクトル２７２だとする。なお、図４はベクトルを２次元として考えているが、実際ははるかに次元数が高いことに注意する必要がある。
【0046】
この状況においては、ベクトル２５４とベクトル２６０との間のコサイン類似度は、ベクトル２５４とクラスタ２５２に含まれるどのベクトルとの間のコサイン類似度よりも大きい。しかし、ベクトル２５４と各セントロイドのベクトル２７０及び２７２とのコサイン類似度を考えると、ベクトル２５４とベクトル２７０との間のコサイン類似度２６４（ｃｏｓ１）と、ベクトル２５４とベクトル２７２との間のコサイン類似度２６２（ｃｏｓ２）との間にはｃｏｓ１＜ｃｏｓ２という関係が成立してしまうことになる。このような状況になると、図１に示す回答候補検索部９２が質問ベクトル８２と各クラスタのセントロイドとのコサイン類似度に基づいてクラスタを選択する以上、正しい処理が行えなくなる可能性がある。そこで、図２に示す追加学習部１７４により以下のような追加学習を行う。
【0047】
図５を参照して、追加学習においては、例えば質問ＢＥＲＴ１６８による変換により生成されるベクトルとベクトル２７０とのコサイン類似度が、ベクトル２７２とのコサイン類似度よりも大きくなるようにすればよい。そこで、質問ＢＥＲＴ１６８の追加学習により、質問ＢＥＲＴ１６８の変換２５６ではなく、得られるベクトル２８０がよりベクトル２７０に近づく変換２５８が実現されるように質問ＢＥＲＴ１６８のパラメータを更新する。すなわち、ベクトル２５４をベクトル２８２に相当する分だけ移動してベクトル２８０の位置に来るようにすればよい。ベクトル２８０とベクトル２７０のコサイン類似度２８６をｃｏｓ′１により表し、ベクトル２８０とベクトル２７２とのコサイン類似度２８４をｃｏｓ′２により表すとすれば、ｃｏｓ′１＞ｃｏｓ′２となるようにすればよい。
【0048】
そのため、この実施形態においては、追加学習部１７４は以下のような構成を持つ。図６を参照して、追加学習部１７４は、ある質問６０を質問ＢＥＲＴ１６８に入力してベクトル３１０を出力させ、一方、質問６０に対応するパッセージが主として属するクラスタのセントロイドのベクトルをベクトルＷとすると、ベクトル３１０とベクトルＷからなるベクトル３１２とのコサイン類似度を算出するためのコサイン類似度算出部３１４と、コサイン類似度算出部３１４の出力（［－１，１］の範囲）を［０，１］の範囲に正規化するための正規化処理部３１６と、正規化処理部３１６の出力がラベル「１」に近づくようにＢＥＲＴ２２０のパラメータを誤差逆伝播法により更新するためのパラメータ更新部３１８とを含む。コサイン類似度算出部３１４は図３に示すコサイン類似度算出部２０４と同じものである。正規化処理部３１６は図３に示す正規化処理部２０６と同じものである。またパラメータ更新部３１８は基本的には図３に示すパラメータ更新部２０８と同じものだが、質問ＢＥＲＴ１６８のＢＥＲＴ２２０のみのパラメータを更新する点においてパラメータ更新部２０８と異なる。追加学習部１７４は、この更新を、所定の終了条件が成立するまで繰り返し実行する。
【0049】
ラベル「１」は正解を示す。このような更新をすることにより、各質問のベクトルとその正しい回答を含むパッセージのベクトルとの間のコサイン類似度が大きくなるように、ＢＥＲＴ２２０のパラメータを更新できる。なお、この追加学習においては、正解パッセージのベクトルが属するクラスタのセントロイドに対して質問のベクトルが近く（コサイン類似度が大きくなるように）配置されるようになればよい。そのため、不正解のパッセージは使用せず、正解のパッセージに関する学習データのみを利用して学習を行えばよい。
【0050】
２．動作
上記した構成を持つ質問回答装置５０及び学習装置１５０は以下のように動作する。まず、質問ＢＥＲＴ８０の学習時の学習装置１５０について説明し、次に質問ＢＥＲＴ８０を用いた質問回答装置５０の動作について説明する。
上記した構成を持つ質問回答装置５０及び学習装置１５０は以下のように動作する。まず、質問ＢＥＲＴ８０の学習時の学習装置１５０について説明し、次に質問ＢＥＲＴ８０を用いた質問回答装置５０の動作について説明する。
【0051】
２－１．質問ＢＥＲＴ８０の学習
図２を参照して、質問ＢＥＲＴ８０の学習時には学習装置１５０は以下のように動作する。まず質問・パッセージ収集部１６０が、インターネット６２をクロールし、質問文を収集し質問ＤＢ１６２に記憶する。質問・パッセージ収集部１６０はさらに、質問ＤＢ１６２に記憶された質問文の各々について、その質問に対する回答を含むと考えられるパッセージをさらにインターネット６２から収集する。質問・パッセージ収集部１６０は、収集したパッセージを対応する質問と関連付けてパッセージＤＢ１６４に格納する。質問・パッセージ収集部１６０によるこれら処理は従来技術により実現できる。
図２を参照して、質問ＢＥＲＴ８０の学習時には学習装置１５０は以下のように動作する。まず質問・パッセージ収集部１６０が、インターネット６２をクロールし、質問文を収集し質問ＤＢ１６２に記憶する。質問・パッセージ収集部１６０はさらに、質問ＤＢ１６２に記憶された質問文の各々について、その質問に対する回答を含むと考えられるパッセージをさらにインターネット６２から収集する。質問・パッセージ収集部１６０は、収集したパッセージを対応する質問と関連付けてパッセージＤＢ１６４に格納する。質問・パッセージ収集部１６０によるこれら処理は従来技術により実現できる。
【0052】
次にＢＥＲＴ学習部１６６が、質問ＤＢ１６２に記憶された質問の各々と、これら質問に対してパッセージＤＢ１６４に記憶されたパッセージとから、正例と負例とからなる学習データを生成する。ＢＥＲＴ学習部１６６はこれら学習データを用いて質問ＢＥＲＴ１６８と回答候補ＢＥＲＴ１７０との学習をＳｉａｍｅｓｅ ＢＥＲＴネットワークにより同時に行う。
【0053】
より具体的には、図３を参照して、この学習における教師データは、質問及びパッセージと、そのパッセージがその質問に対する回答を含むか否かを示すラベルとを１組とする。ラベルは、例えばパッセージが質問に対する回答を含むときは１であり、さもなければ０である。
【0054】
ＢＥＲＴ学習部１６６は、学習データの質問と回答候補パッセージとを質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０にそれぞれ入力する。質問ＢＥＲＴ１６８のＢＥＲＴ２２０及びＰｏｏｌｉｎｇ層２２２は、質問をベクトル２００（Ｕ）に変換する。回答候補ＢＥＲＴ１７０のＢＥＲＴ２３０及びＰｏｏｌｉｎｇ層２３２は、回答候補パッセージをベクトル２０２（Ｖ）に変換する。コサイン類似度算出部２０４が、ベクトルＵ及びベクトルＶの間のコサイン類似度を算出し正規化処理部２０６に入力する。この値は［－１，１］の範囲である。正規化処理部２０６は、コサイン類似度算出部２０４の値を［０，１］の範囲に正規化してパラメータ更新部２０８に入力する。パラメータ更新部２０８は、正規化処理部２０６の出力と学習データのラベル２１０（０又は１）とに基づき、両者が一致する方向に質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０の各々のパラメータを誤差逆伝播法により更新する。質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０は同じ構成であり、かつパラメータの値も共通するようパラメータ更新部２０８による更新が行われる。
【0055】
ＢＥＲＴ学習部１６６は、こうした学習を全ての学習データに対して所定の終了条件が成立するまで繰り返す。その結果、回答候補ＢＥＲＴ１７０に与えられる回答候補パッセージが質問ＢＥＲＴ１６８に与えられる質問に対する回答を含む場合にはベクトル２００とベクトル２０２とが類似したベクトルとなり、そうでない場合には互いに異なるベクトルとなる。
【0056】
パッセージクラスタリング部１７２は、このように学習が終わった回答候補ＢＥＲＴ１７０を用いて、パッセージＤＢ１６４に記憶されたパッセージを全てパッセーベクトルに変換する。パッセージクラスタリング部１７２はさらに、それらパッセージベクトルをｋ平均法により所定個数のクラスタに分類する。これらクラスタにはそれぞれ識別子が割り当てられる。パッセージクラスタリング部１７２はさらに、各クラスタのセントロイドのベクトルを算出し、クラスタの識別子をセントロイドの識別子に割り当てる。パッセージクラスタリング部１７２は、こうして得られた各セントロイドについて、クラスタ識別子とそのセントロイドのベクトルとを組にしてセントロイドＤＢ８４に登録する。
【0057】
一方、パッセージクラスタリング部１７２は、各クラスタに属するパッセージベクトルに対応するパッセージのＵＲＬと、その属するクラスタの識別子とを組にしてレコードを回答候補ＤＢ９０に登録する。またパッセージクラスタリング部１７２は、質問ＤＢ１６２に記憶されている各質問のレコードに、その質問に対する回答を最も多く含むクラスタのクラスタ識別子を追加する。
【0058】
セントロイドＤＢ８４へのセントロイドの登録が完了すると、追加学習部１７４が、質問ＤＢ１６２に記憶されている各質問に対し、その質問に対応するセントロイドのベクトルをセントロイドＤＢ８４から読み出す。追加学習部１７４は各質問に対して、セントロイドＤＢ８４から読み出したセントロイドベクトルを正解データとして質問ＢＥＲＴ８０の追加学習を行う。所定の終了条件が成立した時点で質問ＢＥＲＴ８０の学習が終了する。
【0059】
より具体的には、図６を参照して、学習データは、質問と、質問に対する正しい回答を含むパッセージのパッセージベクトルが属するクラスタのセントロイドのベクトルＷと、ラベルである。この場合、ラベルの値は常に「１」である。
【0060】
質問は質問ＢＥＲＴ１６８に与えられる。質問ＢＥＲＴ１６８のＢＥＲＴ２２０及びＰｏｏｌｉｎｇ層２２２が質問を処理し、ベクトル３１０を出力する。ベクトル３１０はコサイン類似度算出部３１４の第１の入力に与えられる。一方、コサイン類似度算出部３１４の第２の入力には、ベクトルＷが与えられる。コサイン類似度算出部３１４は、第１の入力のベクトルと第２の入力のベクトルとの類似度を算出し正規化処理部３１６に与える。正規化処理部３１６はコサイン類似度算出部３１４の出力を［０，１］の範囲に正規化しパラメータ更新部３１８に与える。パラメータ更新部３１８は、この値がラベル（１）に近づくようにＢＥＲＴ２２０のパラメータを誤差逆伝播法により更新する。
【0061】
追加学習部１７４は、こうした追加学習を、所定の終了条件が終了するまで繰り返し実行する。
【0062】
この追加学習により、図４のような状態が発生する可能性が小さくなり、図５に示すように質問を質問ＢＥＲＴ８０によりベクトル化した質問ベクトルとのコサイン類似度が最も大きなセントロイドが、正しいクラスタ２５０のセントロイドのベクトル２７０となる可能性を高くできる。
【0063】
２－２．回答の生成
図１を参照して、追加学習後の質問ＢＥＲＴ８０を持つ回答候補検索部６４、及び回答候補検索部６４を含む質問回答装置５０は以下のように動作する。なお学習により、回答候補ＤＢ９０及びセントロイドＤＢ８４も既に得られている。
図１を参照して、追加学習後の質問ＢＥＲＴ８０を持つ回答候補検索部６４、及び回答候補検索部６４を含む質問回答装置５０は以下のように動作する。なお学習により、回答候補ＤＢ９０及びセントロイドＤＢ８４も既に得られている。
【0064】
対話相手から何らかの質問６０が入力されたものとする。質問６０は質問ＢＥＲＴ８０に与えられる。質問６０は同時に回答生成部６８にも与えられる。
【0065】
質問ＢＥＲＴ８０は質問６０が入力されたことに応答して、質問６０を表す質問ベクトル８２を出力する。回答候補クラスタ特定部８６は、質問ベクトル８２に最も近いセントロイドのベクトルをセントロイドＤＢ８４において検索しそのクラスタ識別子８８を出力する。
【0066】
回答候補検索部９２は回答候補ＤＢ９０を検索し、このクラスタ識別子８８を持つパッセージ（回答候補）を全て取り出し、回答候補ＵＲＬ群９４を出力する。パッセージ検索部９６は、これら回答候補ＵＲＬ群９４を受けて、インターネット６２の各ＵＲＬからパッセージをダウンロードしパッセージＤＢ６６に格納する。
【0067】
回答生成部６８は、パッセージＤＢ６６に格納されたパッセージ群の中から、質問６０に対する回答として最も適切なものを選択し、回答７０として出力する。回答生成部６８による回答の選択は従来の手法と全く同様である。
【0068】
３．効果
この第１実施形態によれば、オフラインの状態であらかじめ作成した回答候補ＤＢ９０、セントロイドＤＢ８４を用い、同様にオフラインの状態であらかじめ学習した質問ＢＥＲＴ８０を使用して、質問６０に対する回答候補をパッセージＤＢ６６に収集する。回答候補の数は、図１に示す回答候補クラスタ特定部８６により選択されたクラスタに属する回答候補に限定される。質問に対する回答時に、大量の回答回答候補に対してニューラルネットワークを適用して回答を選択する必要がない。そのため、必要な記憶容量も計算資源もはるかに小さく済むという効果がある。特に図１に示す例のように、回答候補ＤＢ９０がパッセージそのものではなくそのパッセージが存在するＵＲＬを記憶しているため、パッセージそのものを記憶する場合と比較してさらに記憶容量が小さく済み、処理が軽くできるという効果がある。また、パッセージ検索部９６によるインターネットからの各パッセージのダウンロードは並列処理が可能であり、質問６０に対して回答７０を生成するために要する時間を短くできるという効果もある。
この第１実施形態によれば、オフラインの状態であらかじめ作成した回答候補ＤＢ９０、セントロイドＤＢ８４を用い、同様にオフラインの状態であらかじめ学習した質問ＢＥＲＴ８０を使用して、質問６０に対する回答候補をパッセージＤＢ６６に収集する。回答候補の数は、図１に示す回答候補クラスタ特定部８６により選択されたクラスタに属する回答候補に限定される。質問に対する回答時に、大量の回答回答候補に対してニューラルネットワークを適用して回答を選択する必要がない。そのため、必要な記憶容量も計算資源もはるかに小さく済むという効果がある。特に図１に示す例のように、回答候補ＤＢ９０がパッセージそのものではなくそのパッセージが存在するＵＲＬを記憶しているため、パッセージそのものを記憶する場合と比較してさらに記憶容量が小さく済み、処理が軽くできるという効果がある。また、パッセージ検索部９６によるインターネットからの各パッセージのダウンロードは並列処理が可能であり、質問６０に対して回答７０を生成するために要する時間を短くできるという効果もある。
【0069】
なお、上記の構成に加えて、質問６０を行う主体の質問履歴（過去の複数の質問）を、参考情報として、回答動作を制御する（例えば、初心者向けの回答や、専門家向けの回答のように、回答のレベルを変更する）ように、構成することも可能である。
【0070】
第２ 第２実施形態
１．構成
第１実施形態は、質問に対する回答を与える質問回答装置に関している。しかしこの発明はそのような実施形態だけではなく、いわゆる対話装置に適用することもできる。対話装置においてシステムが受ける入力は質問とは限らない。しかし、入力に対する応答を検索するための手法としては、質問回答と同様の手法を利用できる。
１．構成
第１実施形態は、質問に対する回答を与える質問回答装置に関している。しかしこの発明はそのような実施形態だけではなく、いわゆる対話装置に適用することもできる。対話装置においてシステムが受ける入力は質問とは限らない。しかし、入力に対する応答を検索するための手法としては、質問回答と同様の手法を利用できる。
【0071】
対話装置において質問回答装置と異なるのは、相手の発話に対する応答を生成するときに、それまでの対話の履歴と関連する応答をすることが望ましいということである。この第２実施形態は、そのような対話システムに関する。
【0072】
Ａ．対話装置
図７に、この発明の第２実施形態に係る対話装置３５０の構成を示す。この対話装置３５０においても、第１実施形態の質問ＢＥＲＴ８０と同様の構成を持つ質問ＢＥＲＴ３８０を使用する。質問ＢＥＲＴ３８０の学習については図８以下を参照して後述する。
図７に、この発明の第２実施形態に係る対話装置３５０の構成を示す。この対話装置３５０においても、第１実施形態の質問ＢＥＲＴ８０と同様の構成を持つ質問ＢＥＲＴ３８０を使用する。質問ＢＥＲＴ３８０の学習については図８以下を参照して後述する。
【0073】
図７を参照して、対話装置３５０は、相手の発話３６２に応答して、発話３６２に対する応答として適切な応答候補をインターネット６２から検索する応答候補検索装置３６０と、応答候補検索装置３６０が検索した応答候補を記憶するためのパッセージＤＢ３６３と、パッセージＤＢ３６３に記憶された応答候補の中から発話３６２に対する応答として適切なものを選択し、応答３６６を生成し出力するための応答生成部３６４と、応答生成部３６４の出力を、対話に相応しい形に整形し出力するための応答整形部３６８とを含む。パッセージＤＢ３６３は、第１実施形態において使用されたものと同様の構成である。ただし、応答候補検索装置３６０が選択するパッセージが第１実施形態と異なってくるため、パッセージＤＢ３６３の記憶内容も第１実施形態とは異なる。対話には対話に相応しい発話スタイルがある。そのためこの実施形態においては応答整形部３６８により応答生成部３６４の出力を整形して出力する。
【0074】
応答候補検索装置３６０は、対話装置３５０と相手との対話の履歴を管理するための対話履歴管理部３７０と、対話履歴管理部３７０の管理する対話履歴を記憶する対話履歴ＤＢ３７２と、複数の内容語が入力されたことに応答して、その内容語を含む対話のトピックを示す情報を出力するためのトピックモデル３７４とを含む。トピックモデル３７４は例えば統計的モデルであり、あらかじめ学習済だとする。トピックモデルの学習には、例えば特開２０１５－０４５９１５号公報に記載の方法が利用できる。また、ニューラルネットワークによりトピックモデルを構築することもできる。トピックモデル３７４の出力は、例えばトピックを表す１又は複数の単語である。
【0075】
応答候補検索装置３６０はさらに、発話３６２に応答し、対話履歴ＤＢ３７２に記憶された情報とトピックモデル３７４とを使用して、発話３６２に相手との対話のトピックを示す情報を付与するためのトピック付与部３７６を含む。具体的には、トピック付与部３７６は、対話履歴ＤＢ３７２から相手との対話の履歴を読み出し、内容語を抽出する。トピック付与部３７６はこれらの内容語をトピックモデル３７４に与えて、トピックモデル３７４の出力する、トピックを表す１又は複数の単語を受け取る。トピック付与部３７６はさらに、発話３６２の後ろに、トピック付与部３７６から受け取った１又は複数の単語を付加して出力する。
【0076】
応答候補検索装置３６０はさらに、トピック付与部３７６の出力を受けて、第１実施形態における質問ベクトルと同様の質問ベクトル３８２を出力するための、第１実施形態における質問ＢＥＲＴ８０と同様の構成を持つ質問ＢＥＲＴ３８０と、第１実施形態にお
けるセントロイドＤＢ８４と同様にして得られたセントロイドＤＢ３７８と、質問ベクトル３８２に応答して、質問ベクトル３８２とのコサイン類似度が最も大きな所定個数のセントロイドベクトルをセントロイドＤＢ３７８において検索し、それらのクラスタ識別子３８８を出力するための応答候補クラスタ特定部３８６とを含む。セントロイドＤＢ３７８の構成自体は第１実施形態のセントロイドＤＢ８４と同じである。ただしこの第２実施形態においてはセントロイドＤＢ３７８の学習を第１実施形態とはやや異なる方法により行っている。そのため、ここではセントロイドＤＢ３７８をセントロイドＤＢ８４とは別のものとして記載している。
けるセントロイドＤＢ８４と同様にして得られたセントロイドＤＢ３７８と、質問ベクトル３８２に応答して、質問ベクトル３８２とのコサイン類似度が最も大きな所定個数のセントロイドベクトルをセントロイドＤＢ３７８において検索し、それらのクラスタ識別子３８８を出力するための応答候補クラスタ特定部３８６とを含む。セントロイドＤＢ３７８の構成自体は第１実施形態のセントロイドＤＢ８４と同じである。ただしこの第２実施形態においてはセントロイドＤＢ３７８の学習を第１実施形態とはやや異なる方法により行っている。そのため、ここではセントロイドＤＢ３７８をセントロイドＤＢ８４とは別のものとして記載している。
【0077】
応答候補検索装置３６０はさらに、第１実施形態における回答候補ＤＢ９０と同様の構成を持つ応答候補ＤＢ３９０と、応答候補クラスタ特定部３８６からのクラスタ識別子３８８に応答して応答候補ＤＢ３９０を検索し、クラスタ識別子３８８と一致するクラスタ識別子を持つ応答候補のレコードを全て読み出して応答候補ＵＲＬ群３９４として出力するための、第１実施形態のものと同じ構成の応答候補検索部３９２とを含む。
【0078】
応答候補検索装置３６０はさらに、応答候補ＵＲＬ群３９４を受けて、インターネット６２を検索し、各応答候補のレコードに格納されているＵＲＬから応答候補のパッセージをダウンロードしてパッセージＤＢ３６３に格納するための、これも第１実施形態のパッセージ検索部９６と同様のパッセージ検索部３９６を含む。
【0079】
Ｂ．学習装置
図８を参照して、応答候補検索装置３６０の質問ＢＥＲＴ３８０の学習を行うための学習装置４００は、インターネット６２をクロールして、質問をその前後のいくつかの文（以下、このように質問とその前後の文の集まりを質問パッセージという）とともにダウンロードし、さらに各質問に対する応答として適切なパッセージをダウンロードするための質問・パッセージ収集部４１０と、質問・パッセージ収集部４１０がダウンロードした質問パッセージを記憶するための質問パッセージＤＢ４１２と、質問・パッセージ収集部４１０がダウンロードしたパッセージを、質問と関係付けて記憶するための、図２に示すものと同様の構成を持つパッセージＤＢ１６４とを含む。
図８を参照して、応答候補検索装置３６０の質問ＢＥＲＴ３８０の学習を行うための学習装置４００は、インターネット６２をクロールして、質問をその前後のいくつかの文（以下、このように質問とその前後の文の集まりを質問パッセージという）とともにダウンロードし、さらに各質問に対する応答として適切なパッセージをダウンロードするための質問・パッセージ収集部４１０と、質問・パッセージ収集部４１０がダウンロードした質問パッセージを記憶するための質問パッセージＤＢ４１２と、質問・パッセージ収集部４１０がダウンロードしたパッセージを、質問と関係付けて記憶するための、図２に示すものと同様の構成を持つパッセージＤＢ１６４とを含む。
【0080】
学習装置４００はさらに、トピックモデル３７４と、質問パッセージＤＢ４１２に記憶された各質問パッセージ、パッセージＤＢ１６４に記憶されたパッセージ、及びトピックモデル３７４から得られるトピックに関する単語とを使用して作成した学習データにより、質問ＢＥＲＴ３８０及び応答候補ＢＥＲＴ４１８の学習をＳｉａｍｅｓｅ ＢＥＲＴネットワークにより実行するためのＢＥＲＴ学習部４１４を含む。第１実施形態における質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０と同様、質問ＢＥＲＴ３８０及び応答候補ＢＥＲＴ４１８も互いに同じ構成であり、学習時の一方のパラメータの更新は他方のパラメータの更新に反映される。実際には、質問ＢＥＲＴ３８０と応答候補ＢＥＲＴ４１８の構成は、第１実施形態の質問ＢＥＲＴ１６８及び回答候補ＢＥＲＴ１７０と同一であり、学習の結果、その内部のパラメータが異なってくる。
【0081】
学習装置４００はさらに、ＢＥＲＴ学習部４１４による訓練が終了した応答候補ＢＥＲＴ４１８を使用して、パッセージＤＢ１６４に記憶されているパッセージを所定個数のクラスタにクラスタリングし各クラスタにクラスタ識別子を付与するためのパッセージクラスタリング部１７２と、パッセージクラスタリング部１７２によりクラスタリングされた各応答候補に、その属するクラスタのクラスタ識別子を付して記憶する応答候補ＤＢ３９０と、パッセージクラスタリング部１７２によるクラスタリングの結果として得られた各クラスタのセントロイドベクトルと、その代表するクラスタのクラスタ識別子とを含むレコードを各クラスタについて記憶するためのセントロイドＤＢ３７８とを含む。なおパッセージクラスタリング部１７２は、質問パッセージＤＢ４１２に記憶されている各質問について、その質問に関するパッセージが最も多く属するクラスタのクラスタ識別子を質問パッセージＤＢ４１２の各質問のレコードに付与する。
【0082】
学習装置４００はさらに、質問パッセージＤＢ４１２に記憶された質問と、セントロイドＤＢ３７８に記憶された各クラスタのセントロイドに関する情報とを使用して質問ＢＥＲＴ３８０の追加学習を行うための追加学習部４２２を含む。質問ＢＥＲＴ３８０に対し追加学習部４２２による追加学習を行うことにより、図７に示す質問ＢＥＲＴ３８０が得られる。
【0083】
図９に、ＢＥＲＴ学習部４１４の機能的構成をブロック図形式により示す。図９を参照して、ＢＥＲＴ学習部４１４は、図８に示す質問パッセージＤＢ４１２に記憶された各質問とその質問を含む質問パッセージとを受け、トピックモデル３７４を使用してその質問を含む文脈のトピックを示す１又は複数の単語を質問に付与するためのトピック付与部４５０と、パッセージＤＢ１６４に記憶されている各応答候補パッセージに対し、トピックモデル３７４を使用してその応答候補パッセージのトピックを示す１又は複数の単語を応答候補パッセージに付与するためのトピック付与部４５２とを含む。トピック付与部４５０の出力、トピック付与部４５２の出力、及び応答候補パッセージが質問に対する応答を与えるパッセージであれば１であり、さもなければ０であるラベルとにより、質問ＢＥＲＴ３８０の学習データが生成される。
【0084】
質問ＢＥＲＴ４１６は、ＢＥＲＴ４８０と、ＢＥＲＴ４８０の最終層の各要素に対して平均プーリングを行ってベクトル４５４（Ｕ）を出力するためのＰｏｏｌｉｎｇ層４８２とを含む。同様に、応答候補ＢＥＲＴ４１８は、ＢＥＲＴ４９０と、ＢＥＲＴ４８４の最終層の各要素に対して平均プーリングを行ってベクトル４５６（Ｖ）を出力するためのＰｏｏｌｉｎｇ層４９２とを含む。
【0085】
ＢＥＲＴ学習部４１４はさらに、トピック付与部４５０の出力を質問ＢＥＲＴ４１６に、トピック付与部４５２の出力を応答候補ＢＥＲＴ４１８にそれぞれ与え、質問ＢＥＲＴ４１６の出力するベクトル４５４と応答候補ＢＥＲＴ４１８の出力するベクトル４５６とのコサイン類似度を算出するためのコサイン類似度算出部２０４と、コサイン類似度算出部２０４の出力する値（［－１，１］の範囲）を［０，１］の範囲に正規化するための正規化処理部２０６と、正規化処理部２０６により得られた正規化後のコサイン類似度がラベル２１０と等しくなる方向に、ＢＥＲＴ４８０及び４９０の各パラメータを更新するためのパラメータ更新部２０８とを含む。
【0086】
ＢＥＲＴ学習部４１４は、上記した学習データを用い、こうした更新処理を所定の終了条件が成立するまで繰り返し実行する機能を持つ。
【0087】
追加学習部４２２の構成は、第１の実施形態において図６に示した追加学習部１７４と実質的に同一である。ただしこの例においては、質問に対してその質問パッセージのトピックが付されている点が追加学習部１７４と異なる。
【0088】
２．動作
この第２実施形態においても、最初に図８に示す学習装置４００による質問ＢＥＲＴ４１６の学習、及びセントロイドＤＢ３７８と応答候補ＤＢ３９０の生成が行われる。さらに追加学習部４２２により質問ＢＥＲＴ４１６に対する追加学習が行われる。この結果、質問ＢＥＲＴ３８０が得られ、図７に示す対話装置３５０の処理が可能になる。
この第２実施形態においても、最初に図８に示す学習装置４００による質問ＢＥＲＴ４１６の学習、及びセントロイドＤＢ３７８と応答候補ＤＢ３９０の生成が行われる。さらに追加学習部４２２により質問ＢＥＲＴ４１６に対する追加学習が行われる。この結果、質問ＢＥＲＴ３８０が得られ、図７に示す対話装置３５０の処理が可能になる。
【0089】
２－１．質問ＢＥＲＴ３８０の学習
質問ＢＥＲＴ３８０の学習の流れは、概略、第１実施形態における質問ＢＥＲＴ８０の学習の流れと同様である。
質問ＢＥＲＴ３８０の学習の流れは、概略、第１実施形態における質問ＢＥＲＴ８０の学習の流れと同様である。
【0090】
図８を参照して、質問ＢＥＲＴ３８０の学習時には学習装置１５０は以下のように動作する。まず質問・パッセージ収集部４１０が、インターネット６２をクロールし、質問文及びその質問文の前後を含む質問パッセージを収集し質問パッセージＤＢ４１２に記憶する。質問・パッセージ収集部４１０はさらに、質問パッセージＤＢ４１２に記憶された質問文の各々について、その質問に対する応答を含むと考えられる複数のパッセージをさらにインターネット６２から収集する。質問・パッセージ収集部４１０は、収集したパッセージを質問パッセージＤＢ４１２に記憶された質問と関連付けてパッセージＤＢ１６４に格納する。質問・パッセージ収集部４１０によるこれら処理は従来技術により実現できる。
【0091】
次にＢＥＲＴ学習部４１４が、質問パッセージＤＢ４１２に記憶された質問の各々及びその質問パッセージと、これら質問に対してパッセージＤＢ１６４に記憶された応答候補であるパッセージとから、トピックモデル３７４を用いて正例と負例とからなる学習データを生成する。ＢＥＲＴ学習部４１４はこれら学習データを用いて質問ＢＥＲＴ４１６と応答候補ＢＥＲＴ４１８との学習をＳｉａｍｅｓｅ ＢＥＲＴネットワークにより同時に行う。
【0092】
パッセージクラスタリング部１７２は、このように学習が終わった応答候補ＢＥＲＴ４１８を用いて、パッセージＤＢ１６４に記憶されたパッセージを全てパッセージベクトルに変換する。パッセージクラスタリング部１７２はさらに、それらパッセージベクトルをｋ平均法により所定個数のクラスタに分類する。これらクラスタにはそれぞれ識別子が割り当てられる。パッセージクラスタリング部１７２はさらに、各クラスタのセントロイドのベクトルを算出し、クラスタの識別子をセントロイドの識別子に割り当てる。パッセージクラスタリング部１７２は、こうして得られた各セントロイドについて、クラスタ識別子とそのセントロイドのベクトルとを組にしてセントロイドＤＢ３７８に登録する。
【0093】
一方、パッセージクラスタリング部１７２は、各クラスタに属するパッセージベクトルに対応するパッセージのＵＲＬと、その属するクラスタの識別子とを組にしたレコードを応答候補ＤＢ３９０に登録する。またパッセージクラスタリング部１７２は、質問パッセージＤＢ４１２に記憶されている各質問のレコードに、その質問に対する応答を最も多く含むクラスタのクラスタ識別子を追加する。
【0094】
セントロイドＤＢ３７８へのセントロイドの登録が完了すると、追加学習部４２２が、質問パッセージＤＢ４１２に記憶されている各質問に対し、その質問に対応するセントロイドのベクトルをセントロイドＤＢ３７８から読み出す。追加学習部４２２は、各質問に対して、セントロイドＤＢ３７８から読み出したセントロイドベクトルを正解データとして質問ＢＥＲＴ３８０の追加学習を行う。所定の終了条件が成立した時点で質問ＢＥＲＴ３８０の学習が終了する。
【0095】
２－２．応答の生成
図７を参照して、追加学習後の質問ＢＥＲＴ３８０を持つ応答候補検索装置３６０、及び応答候補検索装置３６０を含む対話装置３５０は以下のように動作する。なお上記した学習により、応答候補ＤＢ３９０及びセントロイドＤＢ３７８も既に得られている。また、トピックモデル３７４としては学習に用いられたものと同じものを用いる。
図７を参照して、追加学習後の質問ＢＥＲＴ３８０を持つ応答候補検索装置３６０、及び応答候補検索装置３６０を含む対話装置３５０は以下のように動作する。なお上記した学習により、応答候補ＤＢ３９０及びセントロイドＤＢ３７８も既に得られている。また、トピックモデル３７４としては学習に用いられたものと同じものを用いる。
【0096】
対話相手から何らかの発話３６２が入力されたものとする。発話３６２はトピック付与部３７６、対話履歴管理部３７０及び応答生成部３６４に与えられる。対話履歴管理部３７０はこのようにして受けた過去の一定期間の対話の履歴を、各対話相手について対話履歴ＤＢ３７２に保存する。一方、トピック付与部３７６は、対話履歴ＤＢ３７２において対話相手の過去の発話履歴を検索し、それら発話から内容語を抽出する。トピック付与部３７６はさらに、これら内容語をトピックモデル３７４に入力し、それぞれトピックを表す１又は複数の単語をトピックモデル３７４の出力として受け取る。トピック付与部３７６は、これら１又は複数の単語を発話３６２の後ろに付加して質問ＢＥＲＴ３８０に入力する。
【0097】
質問ＢＥＲＴ３８０は、トピックが付加された発話３６２に応答して質問ベクトルを出力する。この質問ベクトルは応答候補クラスタ特定部３８６に与えられる。
【0098】
応答候補クラスタ特定部３８６は、質問ベクトル３８２に応答して、セントロイドＤＢ３７８に記憶されているセントロイドの中で、そのベクトルと質問ベクトル３８２との間のコサイン類似度が最も大きいものを、所定個数だけ選択し、それらのクラスタ識別子をクラスタ識別子８８として応答候補検索部３９２に与える。
【0099】
応答候補検索部３９２は応答候補ＤＢ３９０を検索し、このクラスタ識別子３８８のいずれかと等しいクラスタ識別子を持つパッセージ（応答候補）のレコードを全て取り出し、それらのＵＲＬをまとめて応答候補ＵＲＬ群３９４として出力する。パッセージ検索部３９６は、この応答候補ＵＲＬ群３９４を受けて、応答候補ＵＲＬ群３９４に含まれる各ＵＲＬを使用してインターネット６２にアクセスすることにより、応答候補のパッセージをダウンロードしパッセージＤＢ３６３に格納する。
【0100】
応答生成部３６４は、パッセージＤ３Ｂ６６に格納されたパッセージ群の中から、発話３６２に対する応答として最も適切なものを選択し、応答整形部３６８に与える。応答整形部３６８は、入力を対話に相応しい形式に整形して応答３６６として出力する。応答生成部３６４による応答の選択及び生成方法は従来の手法をそのまま利用できる。
【0101】
３．効果
この第２実施形態によれば、入力された発話に対する応答を生成するために処理するパッセージは、図７に示す応答候補クラスタ特定部３８６により選択された１又は複数の線路ロイドに対応するクラスタに属するベクトルに対応するものに限定される。そのため、最適な応答は、従来のように質問回答システムから得られた複数の回答をもとに生成された複数の応答候補から選択する必要がないので、応答生成部３６４が応答を生成する際に行う処理は、従来と比較して大幅に削減される。また、処理に必要な計算資源も大幅に削減される。また、実施形態１と異なり、応答候補パッセージを検索する際に、発話のトピックを情報として用いる。そのため、得られる応答は対話のトピックに相応しいものとなる。その結果、従来よりも少ない資源を用いて高速に、かつ十分な精度をもって動作可能な対話装置を提供できる。
この第２実施形態によれば、入力された発話に対する応答を生成するために処理するパッセージは、図７に示す応答候補クラスタ特定部３８６により選択された１又は複数の線路ロイドに対応するクラスタに属するベクトルに対応するものに限定される。そのため、最適な応答は、従来のように質問回答システムから得られた複数の回答をもとに生成された複数の応答候補から選択する必要がないので、応答生成部３６４が応答を生成する際に行う処理は、従来と比較して大幅に削減される。また、処理に必要な計算資源も大幅に削減される。また、実施形態１と異なり、応答候補パッセージを検索する際に、発話のトピックを情報として用いる。そのため、得られる応答は対話のトピックに相応しいものとなる。その結果、従来よりも少ない資源を用いて高速に、かつ十分な精度をもって動作可能な対話装置を提供できる。
【0102】
第３ コンピュータによる実現
図１０は、例えば図１に示す質問回答装置５０として動作するコンピュータシステムの外観図である。図１１は、図１０に示すコンピュータシステムのハードウェアブロック図である。図２に示す学習装置１５０、図７に示す対話装置３５０及び図８に示す学習装置４００についてもそれぞれ質問回答装置５０とほぼ同様の構成のコンピュータシステムにより実現できる。ここでは質問回答装置５０として動作するコンピュータシステムの構成についてのみ述べることとし、他の装置を実現するコンピュータシステムの構成の詳細については述べない。
図１０は、例えば図１に示す質問回答装置５０として動作するコンピュータシステムの外観図である。図１１は、図１０に示すコンピュータシステムのハードウェアブロック図である。図２に示す学習装置１５０、図７に示す対話装置３５０及び図８に示す学習装置４００についてもそれぞれ質問回答装置５０とほぼ同様の構成のコンピュータシステムにより実現できる。ここでは質問回答装置５０として動作するコンピュータシステムの構成についてのみ述べることとし、他の装置を実現するコンピュータシステムの構成の詳細については述べない。
【0103】
図１０を参照して、このコンピュータシステム９５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１００２を有するコンピュータ９７０と、いずれもコンピュータ９７０に接続された、ユーザと対話するためのキーボード９７４、マウス９７６、及びモニタ９７２とを含む。もちろんこれらはユーザ対話が必要となったときのための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。
【0104】
図１１を参照して、コンピュータ９７０は、ＤＶＤドライブ１００２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９９２と、ＣＰＵ９９０、ＧＰＵ９９２、ＤＶＤドライブ１００２に接続されたバス１０１０とを含む。コンピュータ９７０はさらに、バス１０１０に接続され、コンピュータ９７０のブートアッププログラムなどを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）９９６と、バス１０１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９９８と、バス１０１０に接続された不揮発性メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１０００とを含む。ＳＳＤ１０００は、ＣＰＵ９９０及びＧＰＵ９９２が実行するプログラム、並びにＣＰＵ９９０及びＧＰＵ９９２が実行するプログラムが使用するデータなどを記憶するためのものである。コンピュータ９７０はさらに、他端末との通信を可能とするネットワーク９８６（図７に示す応答生成部３６４）への接続を提供するネットワークＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１００８と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ９８４が着脱可能であり、ＵＳＢメモリ９８４とコンピュータ９７０内の各部との通信を提供するＵＳＢポート１００６とを含む。
【0105】
コンピュータ９７０はさらに、マイクロフォン９８２及びスピーカ９８０とバス１０１０とに接続され、ＣＰＵ９９０により生成されＲＡＭ９９８又はＳＳＤ１０００に保存された音声信号、映像信号及びテキストデータをＣＰＵ９９０の指示に従って読み出し、アナログ変換及び増幅処理をしてスピーカ９８０を駆動したり、マイクロフォン９８２からのアナログの音声信号をデジタル化し、ＲＡＭ９９８又はＳＳＤ１０００の、ＣＰＵ９９０により指定される任意のアドレスに保存したりする機能を持つ音声Ｉ／Ｆ１００４を含む。
【0106】
上記実施形態においては、図１に示す質問回答装置５０、図２に示す学習装置１５０、図７に示す対話装置３５０及び図８に示す学習装置４００などの各機能を実現するプログラムなどは、いずれも例えば図１１に示すＳＳＤ１０００、ＲＡＭ９９８、ＤＶＤ９７８又はＵＳＢメモリ９８４、若しくはネットワークＩ／Ｆ１００８及びネットワーク９８６を介して接続された図示しない外部装置の記憶媒体などに格納される。典型的には、これらのデータ及びパラメータなどは、例えば外部からＳＳＤ１０００に書込まれコンピュータ９７０の実行時にはＲＡＭ９９８にロードされる。
【0107】
このコンピュータシステムを、図１に示す質問回答装置５０、図２に示す学習装置１５０、図７に示す対話装置３５０及び図８に示す学習装置４００、並びにその各構成要素の機能を実現するよう動作させるためのコンピュータプログラムは、ＤＶＤドライブ１００２に装着されるＤＶＤ９７８に記憶され、ＤＶＤドライブ１００２からＳＳＤ１０００に転送される。又は、これらのプログラムはＵＳＢメモリ９８４に記憶され、ＵＳＢメモリ９８４をＵＳＢポート１００６に装着し、プログラムをＳＳＤ１０００に転送する。又は、このプログラムはネットワーク９８６を通じてコンピュータ９７０に送信されＳＳＤ１０００に記憶されてもよい。
【0108】
プログラムは実行のときにＲＡＭ９９８にロードされる。もちろん、キーボード９７４、モニタ９７２及びマウス９７６を用いてソースプログラムを入力し、コンパイルした後のオブジェクトプログラムをＳＳＤ１０００に格納してもよい。プログラムがスクリプト言語で記述されている場合には、キーボード９７４などを用いて入力したスクリプトをＳＳＤ１０００に格納してもよい。仮想マシン上において動作するプログラムの場合には、仮想マシンとして機能するプログラムを予めコンピュータ９７０にインストールしておく必要がある。音声認識及び音声合成などにはニューラルネットワークが使用される。質問回答装置５０及び対話装置３５０においては、学習済のニューラルネットワークを使用してもよいし、質問回答装置５０及び対話装置３５０をそれぞれ学習装置１５０及び４００として使用してニューラルネットワークの学習を行ってもよい。
【0109】
ＣＰＵ９９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスに従ってＲＡＭ９９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを命令により指定されるアドレスに従ってＲＡＭ９９８、ＳＳＤ１０００又はそれ以外の機器から読み出して命令により指定される処理を実行する。ＣＰＵ９９０は、実行結果のデータを、ＲＡＭ９９８、ＳＳＤ１０００、ＣＰＵ９９０内のレジスタなど、プログラムにより指定されるアドレスに格納する。アドレスによってはコンピュータから外部出力される。このとき、プログラムカウンタの値もプログラムによって更新される。コンピュータプログラムは、ＤＶＤ９７８から、ＵＳＢメモリ９８４から、又はネットワーク９８６を介して、ＲＡＭ９９８に直接にロードしてもよい。なお、ＣＰＵ９９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ９９０による命令実行時の解析結果に従って、ＧＰＵ９９２にディスパッチされる。
【0110】
コンピュータ９７０により上記した実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ９７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ９７０上において動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、コンピュータ９７０にインストールされる各種ツールキットのモジュール又はプログラムの実行環境により提供される場合もある。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方によって適切な機能又はモジュールなどをコンパイル時に静的にリンクすることにより、又は実行時に動的に呼出すことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ９７０の動作方法は周知である。したがって、ここではコンピュータ９７０の動作方法の説明は繰り返さない。
【0111】
なお、ＧＰＵ９９２は並列処理を行うことが可能であり、機械学習に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中に発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ９９０からＧＰＵ９９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ９９８の所定アドレスを介してＣＰＵ９９０に返され、プログラム中の所定の変数に代入される。
【0112】
第４ 変形例
上記実施形態においては、ＢＥＲＴの更新の終了条件として、所定の終了条件とだけ述べている。この場合の終了条件とは、例えば全ての学習データについて所定回数だけ使用してＢＥＲＴのパラメータ更新が終了したという条件である。別の条件としては、例えばパラメータの更新において、各パラメータの勾配がほぼゼロに等しくなったときという条件もあり得る。その他、終了条件としては様々なものが考えられる。
上記実施形態においては、ＢＥＲＴの更新の終了条件として、所定の終了条件とだけ述べている。この場合の終了条件とは、例えば全ての学習データについて所定回数だけ使用してＢＥＲＴのパラメータ更新が終了したという条件である。別の条件としては、例えばパラメータの更新において、各パラメータの勾配がほぼゼロに等しくなったときという条件もあり得る。その他、終了条件としては様々なものが考えられる。
【0113】
上記実施形態においては、ＢＥＲＴとしてＢＥＲＴラージを使用することを前提としている。しかしこの発明はＢＥＲＴラージに限定されるわけではない。ＢＥＲＴベースを使用してもよい。またＢＥＲＴと同様、トランスフォーマのエンコーダ又はそれに類似した要素を並べることにより、センテンスベースの変換が行えるようなモデルを使用してもよい。
【0114】
さらに、上記実施形態においては、図１に示す質問ＢＥＲＴ８０などにおいて、ＢＥＲＴの出力をベクトル化するために、平均プーリングを行っている。しかし、この発明はそのような実施形態には限定されない。平均プーリングに代えて、最大値プーリングを用いてもよい。
【0115】
上記実施形態においては、ＢＥＲＴの学習のための損失関数として平均二乗誤差を用いている。しかしこの発明はそのような実施形態には限定されない。尺度としてコサイン類似度ではなくソフトマックスを採用し、損失関数としてはクロスエントロピー誤差を用いてもよい。
【0116】
また、上記実施形態においては学習時のパッセージベクトルのクラスタリングにｋ平均法を用いている。しかしこの発明はそのような実施形態に限定されない。Related Minimum Variance基準によるクラスタリング、散布図基準によるクラスタリングなどを使用してもよい。
【0117】
また、上記実施形態においては、応答候補クラスタ特定部３８６には、トピックが付加された発話の質問ベクトルが与えられ、セントロイドＤＢ３７８のセントロイドから適切なセントロイドのクラスタ識別子を得ている。しかしそれに限らず、応答候補クラスタ特定部３８６に、発話に基づく質問ベクトルとベクトル表現されたこれまでの対話履歴を与えて、類似度（あるいは距離）からセントロイドを決定しそのクラスタ識別子を得るようにしてもよい。
【0118】
さらに、上記実施形態では、図１に示す回答候補ＤＢ９０及び図７に示す応答候補ＤＢ３９０には応答候補のＵＲＬが格納されている。しかしこの発明はそのような実施形態には限定されない。回答候補ＤＢ９０及び応答候補ＤＢ３９０に、応答候補のＵＲＬではなく、パッセージそのものを格納しておいてもよい。その場合には、回答候補検索部９２及び応答候補検索部３９２が出力するのは応答候補のＵＲＬ群ではなく応答候補のパッセージそのものとなる。したがって、図１に示すパッセージ検索部９６及び図７に示すパッセージ検索部３９６が必要なくなる。質問に対する回答時又は応答時にインターネット６２からパッセージをダウンロードする必要がなくなるので、処理量はより少なくなり、応答は上記第１実施形態及び第２実施形態よりも速くなる可能性が高い。
【0119】
さらに、図２及び図８に示すパッセージＤＢ１６４は、上記実施形態ではＢＥＲＴの学習が終了すると不要であり廃棄できる。しかし、パッセージＤＢ１６４に大量のパッセージを記憶しておいてもよいだけの余裕が記憶容量にあるならば、パッセージＤＢ１６４を残しておいてもよい。この場合、回答候補ＤＢ９０及び応答候補ＤＢ３９０に、応答候補のパッセージではなく、パッセージＤＢ１６４から該当パッセージを検索するのに必要な情報を格納しておけばよい。検索するのに必要な情報とは、例えばそのパッセージを含むレコードの識別子、又はそのパッセージが存在していたＵＲＬなどである。特にＵＲＬを格納しておくようにすると、パッセージＤＢ１６４にそのパッセージがあればパッセージＤＢ１６４からそのパッセージを取り出すことができ、もしもパッセージＤＢ１６４にそのパッセージがなければ、そのＵＲＬにアクセスしてそのパッセージをダウンロードできる。この場合には回答候補検索部９２及び応答候補検索部３９２が出力するのは応答候補のＵＲＬ群ではあるが、通常はインターネットにアクセスすることなく、ローカルに存在するパッセージＤＢ１６４からそのパッセージを読み出せる。したがって、応答は上記第１実施形態及び第２実施形態よりも速くなる可能性が高い。また、一部のパッセージをパッセージＤＢ１６４から削除したとしても、ＵＲＬが分かっているので、インターネットからそのパッセージをダウンロードできる。
【0120】
上記した第２実施形態では、対話装置３５０への入力に対する応答候補を含むと思われるパッセージをインターネット６２から検索し、それらパッセージを用いて応答生成部３６４において応答を生成している。しかし、この発明はそのような実施形態には限定されない。例えば発話３６２に対する応答として適切な応答候補があらかじめ準備できるなら、パッセージに代えて、そのような応答候補を応答候補ＤＢ３９０に記憶させておくことができる。発話３６２として様々なものを準備し、それらに対して適切な応答候補が定まれば、それを応答候補ＤＢ３９０に蓄積しておく。それら応答候補が大量に得られれば、それらを用いて第２実施形態で説明した手法により対話装置３５０が構築できる。この場合には、応答候補を含むと思われるパッセージから応答を生成するのではなく、あらかじめ発話に対する適切な応答であるものが集められ、それらから応答が生成される。したがって、応答は第２実施形態で説明した場合よりさらに適切なものとなる。
【0121】
そのように発話に対する応答として適切なものをあらかじめ集積する手法として以下のようなものが考えられる。まず、発話を構成する可能性のある名詞を大量に（例えば１００万語）選ぶ。これらの名詞の各々から既存の手法を用いて複数の質問を生成する。それら質問を第１実施形態の質問回答装置５０に入力する。質問回答装置５０の回答に基づいて、元の名詞を含む質問に相応しい応答を作成し、その質問と応答を図８の質問パッセージＤＢ４１２及びパッセージＤＢ１６４に蓄積する。後は第２実施形態と同様の手法で図７及び図８に示す質問ＢＥＲＴ３８０の訓練を行えばよい。発話に対する応答候補を含むと考えられるパッセージではなく、発話に対する応答として相応しい応答候補を使用して対話装置３５０が構築できる。このような変形例では、発話に対して最も適切と考えられる応答候補を事前に生成・選択することから、対話装置における計算処理の重い作業を事前に完了することができる。したがって、推論処理時の高速化及び計算資源の軽量化が図れる。
【0122】
なお、図７以下に示す第２実施形態では、訓練及び推論の双方においてトピックモデル３７４を用いている。しかし対話におけるトピック付与では、トピックモデル３７４を用いることが必須というわけではない。例えば対話履歴から何らかの条件を充足する単語など、又は対話履歴そのものを抽出し、トピック付与部３７６により発話３６２に付与してもよい。対話履歴を使用してトピックを特定するのではなく、あらかじめ行われる設定によりトピックを決定してもよい。例えば発話者が明示的にトピックを指定してもよい。また、トピック付与部３７６自体を省略してもよい。
【0123】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【0124】
５０ 質問回答装置
６４、９２ 回答候補検索部
６６、１６４、３６３ パッセージＤＢ
６８ 回答生成部
８０、１６８、３８０、４１６ 質問ＢＥＲＴ
８２、３８２ 質問ベクトル
８４、３７８ セントロイドＤＢ
８６ 回答候補クラスタ特定部
８８、３８８ クラスタ識別子
９０ 回答候補ＤＢ
９４ 回答候補ＵＲＬ群
９６、３９６ パッセージ検索部
１５０、４００ 学習装置
１６０、４１０ 質問・パッセージ収集部
１６２ 質問ＤＢ
１６６、４１４ ＢＥＲＴ学習部
１７０ 回答候補ＢＥＲＴ
１７２ パッセージクラスタリング部
１７４、４２２ 追加学習部
２０４、３１４ コサイン類似度算出部
２０６、３１６ 正規化処理部
２０８、３１８ パラメータ更新部
２１０ ラベル
２２０、２３０、４８０、４８４、４９０ ＢＥＲＴ
２２２、２３２、４８２、４９２ Ｐｏｏｌｉｎｇ層
２５０、２５２ クラスタ
３５０ 対話装置
３６０ 応答候補検索装置
３６２ 発話
３６４ 応答生成部
３６８ 応答整形部
３７０ 対話履歴管理部
３７２ 対話履歴ＤＢ
３７４ トピックモデル
３７６、４５０、４５２ トピック付与部
３８６ 応答候補クラスタ特定部
３９０ 応答候補ＤＢ
３９２ 応答候補検索部
３９４ 応答候補ＵＲＬ群
４１２ 質問パッセージＤＢ
４１８ 応答候補ＢＥＲＴ
６４、９２ 回答候補検索部
６６、１６４、３６３ パッセージＤＢ
６８ 回答生成部
８０、１６８、３８０、４１６ 質問ＢＥＲＴ
８２、３８２ 質問ベクトル
８４、３７８ セントロイドＤＢ
８６ 回答候補クラスタ特定部
８８、３８８ クラスタ識別子
９０ 回答候補ＤＢ
９４ 回答候補ＵＲＬ群
９６、３９６ パッセージ検索部
１５０、４００ 学習装置
１６０、４１０ 質問・パッセージ収集部
１６２ 質問ＤＢ
１６６、４１４ ＢＥＲＴ学習部
１７０ 回答候補ＢＥＲＴ
１７２ パッセージクラスタリング部
１７４、４２２ 追加学習部
２０４、３１４ コサイン類似度算出部
２０６、３１６ 正規化処理部
２０８、３１８ パラメータ更新部
２１０ ラベル
２２０、２３０、４８０、４８４、４９０ ＢＥＲＴ
２２２、２３２、４８２、４９２ Ｐｏｏｌｉｎｇ層
２５０、２５２ クラスタ
３５０ 対話装置
３６０ 応答候補検索装置
３６２ 発話
３６４ 応答生成部
３６８ 応答整形部
３７０ 対話履歴管理部
３７２ 対話履歴ＤＢ
３７４ トピックモデル
３７６、４５０、４５２ トピック付与部
３８６ 応答候補クラスタ特定部
３９０ 応答候補ＤＢ
３９２ 応答候補検索部
３９４ 応答候補ＵＲＬ群
４１２ 質問パッセージＤＢ
４１８ 応答候補ＢＥＲＴ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】