ホーム > 特許ランキング > 日本電信電話株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024071511
(43)【公開日】2024-05-24
(54)【発明の名称】装置、方法及びプログラム
(51)【国際特許分類】
G06F 16/90 20190101AFI20240517BHJP
G06F 40/56 20200101ALI20240517BHJP
G06F 40/279 20200101ALI20240517BHJP
G06N 20/00 20190101ALI20240517BHJP
【ＦＩ】
G06F16/90 100
G06F40/56
G06F40/279
G06N20/00 130
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2024047724
(22)【出願日】2024-03-25
(62)【分割の表示】P 2022533265の分割
【原出願日】2020-06-29
(71)【出願人】
【識別番号】000004226
【氏名又は名称】日本電信電話株式会社
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100124844
【弁理士】
【氏名又は名称】石原 隆治
(72)【発明者】
【氏名】大塚 淳史
(72)【発明者】
【氏名】西田 京介
(72)【発明者】
【氏名】西田 光甫
(72)【発明者】
【氏名】浅野 久子
(72)【発明者】
【氏名】富田 準二
(57)【要約】
【課題】機械読解により質問に対する応答を出力する際、複数の出力形式で出力する。
【解決手段】質問応答装置は、質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出部と、前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部とを有する。
【選択図】図３
【解決手段】質問応答装置は、質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出部と、前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部とを有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出部と、
前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、
前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部と
を有する質問応答装置。
前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、
前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部と
を有する質問応答装置。
【請求項2】
前記算出部により算出された前記関連性を示す情報を受け取り、前記複数の出力部が各出力形式で出力する各応答の確率分布を算出する指標算出部を更に有し、
前記選択部は、前記各応答の確率分布に基づき、予め定められた数の応答を選択する、請求項１に記載の質問応答装置。
前記選択部は、前記各応答の確率分布に基づき、予め定められた数の応答を選択する、請求項１に記載の質問応答装置。
【請求項3】
前記複数の出力部が各応答を出力する際に算出された情報を受け取り、前記複数の出力部それぞれに対するスコアを算出する複数の指標算出部を更に有し、
前記選択部は、前記複数の出力部それぞれに対するスコアに基づき、予め定められた数の応答を選択する、請求項１に記載の質問応答装置。
前記選択部は、前記複数の出力部それぞれに対するスコアに基づき、予め定められた数の応答を選択する、請求項１に記載の質問応答装置。
【請求項4】
質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出工程と、
前記算出工程において算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力工程と、
前記複数の出力工程において各出力形式で出力された各応答の中から、予め定められた数の応答を選択する選択工程と
を有する質問応答方法。
前記算出工程において算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力工程と、
前記複数の出力工程において各出力形式で出力された各応答の中から、予め定められた数の応答を選択する選択工程と
を有する質問応答方法。
【請求項5】
質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出工程と、
前記算出工程において算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力工程と、
前記複数の出力工程において各出力形式で出力された各応答の中から、予め定められた数の応答を選択する選択工程と
をコンピュータに実行させるための質問応答プログラム。
前記算出工程において算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力工程と、
前記複数の出力工程において各出力形式で出力された各応答の中から、予め定められた数の応答を選択する選択工程と
をコンピュータに実行させるための質問応答プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、質問応答装置、質問応答方法及び質問応答プログラムに関する。
【背景技術】
【0002】
ユーザが自然言語で入力した質問に対して、自動で応答する質問応答技術として、機械読解が知られている。機械読解とは、ユーザによる質問と、自然言語で記述された関連文書（「パッセージ」と称す）とを入力し、パッセージ中から抽出した情報に基づいて、入力された質問に対する応答を出力する技術である。
【0003】
当該機械読解により質問に対する応答を出力する際の出力形式は様々であり、一例として、
・パッセージから抽出した情報に基づいて、文生成により生成した回答文を出力する形式、
・パッセージから抽出した情報に基づいて、ＹＥＳ／ＮＯなどのラベルを出力する形式、
・パッセージから抽出した情報に基づいて生成した質問（回答を絞り込むための質問）を出力する形式、
等が挙げられる。
・パッセージから抽出した情報に基づいて、文生成により生成した回答文を出力する形式、
・パッセージから抽出した情報に基づいて、ＹＥＳ／ＮＯなどのラベルを出力する形式、
・パッセージから抽出した情報に基づいて生成した質問（回答を絞り込むための質問）を出力する形式、
等が挙げられる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Kyosuke Nishida, Itsumi Saito, Kosuke Nishida, Kazutoshi Shinoda, Atsushi Otsuka, Hisako Asano, and Junji Tomita, "Multi-style generative reading comprehension", In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019), pp. 2273-2284, 2019.
【非特許文献2】Kosuke Nishida，Kyosuke Nishida，Masaaki Nagata，Itsumi Saito，Atushi Otuka， Hisako Asano and Junji Tomita, "Answering while Summarizing: Multi-task Learning for Multi-hop QA with Evidence Extraction", Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL2019)， pp.2273- 2284．2019．
【非特許文献3】大塚淳史， 西田京介， 斉藤いつみ， 浅野久子， 富田準二， 佐藤哲司．質問意図の明確 化に着目した機械読解による質問応答手法の提案．人工知能学会論文誌，vol.34， no.5 A-J14，pp.1-12，2019．
【発明の概要】
【発明が解決しようとする課題】
【0005】
ここで、上記いずれの出力形式でも出力可能な機械読解を実現するには、それぞれの出力形式に対応する機械読解モデルを組み合わせることが考えられる。
【0006】
しかしながら、出力形式の数に応じた数の機械読解モデルをメモリ上に展開して実行させる構成とすると、装置内のリソースが大量に消費されることとなり、リソースに制約のある装置においては、実現可能性が低い。
【0007】
本開示は、機械読解により質問に対する応答を出力する際、複数の出力形式で出力可能な質問応答装置、質問応答方法及び質問応答プログラムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本開示の一態様によれば、質問応答装置は、
質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出部と、
前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、
前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部とを有する。
質問と、該質問に応答する際に用いられる関連文書とを入力として、該質問と該関連文書との関連性を示す情報を算出する算出部と、
前記算出部により算出された前記関連性を示す情報をそれぞれの入力として、互いに異なる出力形式で、前記質問に対する応答を出力する複数の出力部と、
前記複数の出力部が各出力形式で出力した各応答の中から、予め定められた数の応答を選択する選択部とを有する。
【発明の効果】
【0009】
本開示によれば、機械読解により質問に対する応答を出力する際、複数の出力形式で出力可能な質問応答装置、質問応答方法及び質問応答プログラムを提供することができる。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0012】
【0013】
図１に示すように、質問応答装置１００は、プロセッサ１０１、メモリ１０２、補助記憶装置１０３、Ｉ／Ｆ（Interface）装置１０４、通信装置１０５、ドライブ装置１０６を有する。なお、質問応答装置１００の各ハードウェアは、バス１０７を介して相互に接続されている。
【0014】
プロセッサ１０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ１０１は、補助記憶装置１０３にインストールされた各種プログラム（不図示）をメモリ１０２上に読み出して実行する。
【0015】
メモリ１０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ１０１とメモリ１０２とは、いわゆるコンピュータを形成し、プロセッサ１０１が、メモリ１０２上に読み出した各種プログラムを実行することで、当該コンピュータは各種機能を実現する。
【0016】
例えば、本実施形態において、プロセッサ１０１とメモリ１０２とにより形成されるコンピュータは、プロセッサ１０１が、メモリ１０２上に読み出した質問応答プログラムを実行することで、質問応答部１１０を実現する。なお、後述するように、質問応答部１１０は、質問応答装置１００内のコンピュータリソースの消費を抑えられるように構成されている。
【0017】
補助記憶装置１０３は、各種プログラムや、各種プログラムがプロセッサ１０１によって実行される際に用いられる各種データを格納する。例えば、本実施形態において、補助記憶装置１０３は、学習用データセット格納部１２０及びパッセージ格納部１３０を有し、各種データ（学習用データセット及びパッセージ（自然言語で記述された関連文書））を格納する。
【0018】
Ｉ／Ｆ装置１０４は、入力装置１４０及び出力装置１４１と、質問応答装置１００とを接続する接続デバイスである。Ｉ／Ｆ装置１０４は、質問応答装置１００に対する質問を、入力装置１４０を介して受け付ける。また、Ｉ／Ｆ装置１０４は、入力された質問に対して質問応答装置１００が生成した応答を、出力装置１４１を介して出力する。ここでいう入力装置１４０には、入力された質問を音声データに変換する装置や、テキストデータに変換する装置等が含まれる。同様に、ここでいう出力装置１４１には、音声データによる応答を出力する装置や、テキストデータによる応答を出力する装置等が含まれる。
【0019】
通信装置１０５は、ネットワークを介して他の装置と通信するための通信デバイスである。
【0020】
ドライブ装置１０６は記録媒体１４２をセットするためのデバイスである。ここでいう記録媒体１４２には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体１４２には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。
【0021】
なお、補助記憶装置１０３にインストールされる各種プログラムは、例えば、配布された記録媒体１４２がドライブ装置１０６にセットされ、該記録媒体１４２に記録された各種プログラムがドライブ装置１０６により読み出されることでインストールされる。あるいは、補助記憶装置１０３にインストールされる各種プログラムは、通信装置１０５を介してネットワークからダウンロードされることで、インストールされてもよい。
【0022】
同様に、補助記憶装置１０３が有する各格納部に格納される各種データは、例えば、配布された記録媒体１４２がドライブ装置１０６にセットされ、該記録媒体１４２に記録された各種データがドライブ装置１０６により読み出されることで格納される。あるいは、補助記憶装置１０３が有する各格納部に格納される各種データは、通信装置１０５を介してネットワークからダウンロードされることで、格納されてもよい。
【0023】
＜質問応答部の機能構成＞
次に、質問応答部１１０の機能構成の詳細について説明する。なお、説明に際しては、質問応答部１１０の機能構成の特徴を明確にするために、比較例として、まず、出力形式の数に応じた数の機械読解モデルを組み合わせて構築した質問応答部の機能構成について説明する。
次に、質問応答部１１０の機能構成の詳細について説明する。なお、説明に際しては、質問応答部１１０の機能構成の特徴を明確にするために、比較例として、まず、出力形式の数に応じた数の機械読解モデルを組み合わせて構築した質問応答部の機能構成について説明する。
【0024】
（１）比較例の質問応答部の機能構成
図２は、比較例の質問応答部の機能構成を示す図である。機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるようにするための構成として、比較例の質問応答部２００は、
・入力部２１０、
・複数の機械読解モデル（図２の例では、第１の機械読解モデル２２１～第３の機械読解モデル２２３）、
・選択部２３０、
を有する。
図２は、比較例の質問応答部の機能構成を示す図である。機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるようにするための構成として、比較例の質問応答部２００は、
・入力部２１０、
・複数の機械読解モデル（図２の例では、第１の機械読解モデル２２１～第３の機械読解モデル２２３）、
・選択部２３０、
を有する。
【0025】
入力部２１０は、入力された質問と、パッセージ（自然言語で記述された関連文書）とを、複数の機械読解モデルそれぞれに入力する。
【0026】
第１の機械読解モデル２２１は、パッセージから抽出した情報に基づいて、文生成により生成した回答文を、第１の応答として出力する。
【0027】
第２の機械読解モデル２２２は、パッセージから抽出した情報に基づいて生成した、ＹＥＳ／ＮＯなどのラベルを、第２の応答として出力する。
【0028】
第３の機械読解モデル２２３は、パッセージから抽出した情報に基づいて生成した質問（回答を絞り込むために生成した質問（改訂質問と称す））を、第３の応答として出力する。
【0029】
選択部２３０は、第１の機械読解モデル２２１～第３の機械読解モデル２２３それぞれから出力された応答のうち、予め定められた数の応答を選択して出力する。
【0030】
比較例の質問応答部２００に示すように、出力形式の数に応じた数の機械読解モデルを組み合わせることで、質問に対する応答を複数の出力形式で出力することができる。一方で、比較例の質問応答部２００の場合、以下のような問題がある。
・出力形式の数に応じた数の機械読解モデルをメモリ上に展開して実行させる構成のため、質問応答装置１００内のコンピュータリソースが大量に消費されることになる。
・第１の機械読解モデル２２１～第３の機械読解モデル２２３それぞれから出力された応答の中から、予め定められた数の応答を選択する際、適切な応答を選択することができない。第１の応答～第３の応答を比較するだけでは応答の優劣をつけられず、何らかの選択指標を算出する必要があるからである。
・出力形式の数に応じた数の機械読解モデルをメモリ上に展開して実行させる構成のため、質問応答装置１００内のコンピュータリソースが大量に消費されることになる。
・第１の機械読解モデル２２１～第３の機械読解モデル２２３それぞれから出力された応答の中から、予め定められた数の応答を選択する際、適切な応答を選択することができない。第１の応答～第３の応答を比較するだけでは応答の優劣をつけられず、何らかの選択指標を算出する必要があるからである。
【0031】
これに対して、第１の実施形態に係る質問応答装置１００の質問応答部１１０は、これらの問題を解決する構成を有する。以下に詳細に説明する。
【0032】
（２）質問応答部の機能構成
図３は、第１の実施形態に係る質問応答装置の質問応答部の機能構成の一例を示す図である。質問応答部１１０は、機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるようにしつつ、コンピュータリソースの消費を抑え、かつ、質問に対する複数の出力形式の応答の中から、適切な応答を選択できるようにするための構成として、
・入力部３１０、
・入力層として機能する理解層３２０、
・出力層として機能する、第１の出力層３２１、第２の出力層３２２、第３の出力層３２３、
・出力層として機能する、出力判断層３２４、
・選択部３３０、
を有する。
図３は、第１の実施形態に係る質問応答装置の質問応答部の機能構成の一例を示す図である。質問応答部１１０は、機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるようにしつつ、コンピュータリソースの消費を抑え、かつ、質問に対する複数の出力形式の応答の中から、適切な応答を選択できるようにするための構成として、
・入力部３１０、
・入力層として機能する理解層３２０、
・出力層として機能する、第１の出力層３２１、第２の出力層３２２、第３の出力層３２３、
・出力層として機能する、出力判断層３２４、
・選択部３３０、
を有する。
【0033】
このうち、入力部３１０は、入力された質問と、パッセージ（自然言語で記述された関連文書）とを、理解層３２０に入力する。
【0034】
また、理解層３２０は算出部の一例であり、質問とパッセージとを入力とし、質問とパッセージとの関連性を示す情報を深層学習のベクトル上で算出し、状態ベクトルまたは状態テンソルを出力する。なお、理解層３２０は、質問とパッセージとを入力し、質問とパッセージとの関連性を示す情報を算出できる構造であれば、任意の構造を採用することができる。
【0035】
例えば、理解層３２０は、ＲＮＮ（）を用いたＢｉＤＡＦ（非特許文献１参照）や、ＴｒａｎｓｆｏｒｍｅｒベースのＢＥＲＴ（非特許文献２参照）などを採用することができる。ただし、理解層３２０は、理解層３２０より後段の出力層（第１の出力層３２１～第３の出力層３２３、出力判断層３２４）の入力となる状態ベクトルまたは状態テンソルの形式に合わせた出力を行う構造を有している必要がある。
【0036】
第１の出力層３２１～第３の出力層３２３は出力部の一例であり、理解層３２０より出力された、質問とパッセージとの関連性を示す情報（状態ベクトルまたは状態テンソル）を入力として、応答（機械読解の出力結果）を出力する。
【0037】
図３の場合、第１の出力層３２１は、文生成により生成した回答文を、第１の応答として出力する。また、第２の出力層３２２は、ＹＥＳ／ＮＯなどのラベルを、第２の応答として出力する。更に、第３の出力層３２３は、入力された質問に対する回答を絞り込むための改訂質問を、第３の応答として出力する。
【0038】
なお、第１の出力層３２１～第３の出力層３２３は、それぞれ第１の応答～第３の応答を出力するにあたり、どのような深層学習の構造を有していてもよい。また、第１の出力層３２１～第３の出力層３２３が出力する出力形式は、回答文、ラベル、改訂質問に限定されず、他の出力形式の応答を出力してもよい。
【0039】
また、図３の例では、第１～第３の出力層を設置する構成としたが、設置する出力層の数は任意であり、また、同一の構造を有する出力層を複数設置してもよい。例えば、文生成のデコーダの構造を２つ設置し、一方の出力層は、文生成により回答文を生成するように学習した出力層とし、他方の出力層は、文生成により改訂質問を生成するように学習した出力層としてもよい。
【0040】
出力判断層３２４は指標算出部の一例であり、第１の出力層３２１～第３の出力層３２３から出力される各応答の確率分布を算出する。
【0041】
具体的には、出力判断層３２４は、出力形式の数Ｎ（図３の例では、Ｎ＝３）に対応する次元数のｓｏｆｔｍａｘ層を有する。Ｎ個の次元のｓｏｆｔｍａｘ層は、理解層３２０より状態ベクトルまたは状態テンソルを受け取り、各応答の確率分布を算出する。
【0042】
なお、かかる構成は、出力形式の数Ｎが固定されている場合に有効である。一方で、かかる構成は、出力形式の追加が必要になった場合には、ｓｏｆｔｍａｘ層の次元数が対応できないため、質問応答部１１０全体について、再学習処理を行う必要がある。
【0043】
選択部３３０は、第１の出力層３２１～第３の出力層３２３それぞれから出力された応答のうち、出力判断層３２４により算出された確率分布が上位Ｍ個（Ｍは予め定められた数、図３の例は、Ｍ＝１）の応答を選択し、出力装置１４１を介してユーザに出力する。
【0044】
このように、質問応答部１１０では、
・複数の出力形式に対して、共有の理解層を設置し（入力層を共通化し）、
・入力層（理解層）と出力層（第１の出力層３２１～第３の出力層３２３、出力判断層３２４）とを分離して、各層をモジュール化し、
・出力層に設置した出力判断層３２４より算出される、各応答の確率分布を選択指標として、選択部３３０が最終的に出力すべき応答を選択する、
構成とした。これにより、質問応答部１１０によれば、機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるとともに、
・入力層の共通化によりコンピュータリソースの消費を抑え、かつ、
・選択指標の算出により適切な応答を選択する、
ことが可能になる。
・複数の出力形式に対して、共有の理解層を設置し（入力層を共通化し）、
・入力層（理解層）と出力層（第１の出力層３２１～第３の出力層３２３、出力判断層３２４）とを分離して、各層をモジュール化し、
・出力層に設置した出力判断層３２４より算出される、各応答の確率分布を選択指標として、選択部３３０が最終的に出力すべき応答を選択する、
構成とした。これにより、質問応答部１１０によれば、機械読解により質問に対する応答を出力する際、複数の出力形式で出力できるとともに、
・入力層の共通化によりコンピュータリソースの消費を抑え、かつ、
・選択指標の算出により適切な応答を選択する、
ことが可能になる。
【0045】
＜質問応答部の学習方法＞
次に、質問応答部１１０の学習方法について説明する。質問応答部１１０に対して学習処理を行う学習フェーズにおいて、本実施形態に係る質問応答装置１００の質問応答部１１０は、まず、選択部３３０に代えて、比較／変更部４１０を設置する。続いて、本実施形態に係る質問応答装置１００の質問応答部１１０は、質問応答部１１０内に設置した各層（理解層３２０、第１の出力層３２１～第３の出力層３２３、出力判断層３２４）について学習処理を行う。
次に、質問応答部１１０の学習方法について説明する。質問応答部１１０に対して学習処理を行う学習フェーズにおいて、本実施形態に係る質問応答装置１００の質問応答部１１０は、まず、選択部３３０に代えて、比較／変更部４１０を設置する。続いて、本実施形態に係る質問応答装置１００の質問応答部１１０は、質問応答部１１０内に設置した各層（理解層３２０、第１の出力層３２１～第３の出力層３２３、出力判断層３２４）について学習処理を行う。
【0046】
その際、質問応答装置１００の質問応答部１１０では、個別の機械読解モデル（第１の機械読解モデル２２１～第３の機械読解モデル２２３）について学習処理を行う際に用いられる学習用データセットを使用する。
【0047】
具体的には、質問応答装置１００の質問応答部１１０は、まず、学習用データセットが、いずれの出力層についての学習処理に用いられるものであるかを示すフラグを設定する。
【0048】
続いて、質問応答装置１００の質問応答部１１０は、出力判断層３２４の正解データを学習用データセットに格納する。例えば、質問応答装置１００の質問応答部１１０は、設定したフラグに対応する次元の値を"１"、それ以外の次元の値を"０"とするベクトルデータを、出力判断層３２４の正解データとして学習用データセットに格納する。
【0049】
続いて、質問応答装置１００の質問応答部１１０は、設定したフラグに該当する出力層から出力された応答と、対応する正解データとの間で学習損失を算出し、算出した学習損失に基づき、設定したフラグに該当する出力層及び理解層のパラメータを更新する。このとき、質問応答装置１００の質問応答部１１０では、設定したフラグに該当する出力層以外の出力層から出力された応答については無視する。
【0050】
また、質問応答装置１００の質問応答部１１０は、出力判断層から出力されるベクトルデータと、対応する正解データとの間で学習損失を算出し、算出した学習損失に基づき、出力判断層のパラメータを更新する。
【0051】
図４は、第１の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第１の図である。図４の場合、学習用データセット４００＝"第１の出力層３２１についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部１１０により設定されているものとする。
【0052】
なお、図４に示すように、学習用データセット４００には、情報の項目として、"入力データ"、"第１の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージとが格納される。
・"第１の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて、文生成により生成する回答文の正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第１次元の値を"１"、第２次元及び第３次元の値を"０"とするベクトルデータが格納される。
・"入力データ"には、質問とパッセージとが格納される。
・"第１の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて、文生成により生成する回答文の正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第１次元の値を"１"、第２次元及び第３次元の値を"０"とするベクトルデータが格納される。
【0053】
図４において、入力部３１０が、学習用データセット４００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械読解の出力結果として、第１の応答～第３の応答が出力される。また、出力判断層３２４からは、Ｎ個の次元（図４の例ではＮ＝３）のベクトルデータが出力される。
【0054】
比較／変更部４１０では、第１の出力層３２１から出力された第１の応答（回答文）と、学習用データセット４００の"第１の出力層の正解データ"に格納された回答文との間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、第１の出力層３２１及び理解層３２０のパラメータを更新する。
【0055】
同様に、比較／変更部４１０では、出力判断層３２４から出力されたＮ個（図４の例ではＮ＝３）の次元のベクトルデータと、学習用データセット４００の"出力判断層の正解データ"に格納された第１次元～第３次元のベクトルデータとの間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、出力判断層３２４のパラメータを更新する。
【0056】
一方、図５は、第１の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第２の図である。図５の場合、学習用データセット５００＝"第２の出力層３２２についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部１１０により、設定されているものとする。
【0057】
なお、図５に示すように、学習用データセット５００には、情報の項目として、"入力データ"、"第２の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージとが格納される。
・"第２の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する、ＹＥＳ／ＮＯなどのラベルの正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第２次元の値を"１"、第１次元及び第３次元の値を"０"とするベクトルデータが格納される。
・"入力データ"には、質問とパッセージとが格納される。
・"第２の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する、ＹＥＳ／ＮＯなどのラベルの正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第２次元の値を"１"、第１次元及び第３次元の値を"０"とするベクトルデータが格納される。
【0058】
図５において、入力部３１０が、学習用データセット５００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械読解の出力結果として、第１の応答～第３の応答が出力される。また、出力判断層３２４からは、Ｎ個の次元（図５の例ではＮ＝３）のベクトルデータが出力される。
【0059】
比較／変更部４１０では、第２の出力層３２２から出力された第２の応答（ラベル）と、学習用データセット５００の"第２の出力層の正解データ"に格納されたラベルとの間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、第２の出力層３２２及び理解層３２０のパラメータを更新する。
【0060】
同様に、比較／変更部４１０では、出力判断層３２４から出力されたＮ個（図５の例ではＮ＝３）の次元のベクトルデータと、学習用データセット５００の"出力判断層の正解データ"に格納された第１次元～第３次元のベクトルデータとの間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、出力判断層３２４のパラメータを更新する。
【0061】
一方、図６は、第１の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第３の図である。図６の場合、学習用データセット６００＝"第３の出力層３２３についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部１１０により設定されているものとする。
【0062】
なお、図６に示すように、学習用データセット６００には、情報の項目として、"入力データ"、"第３の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージとが格納される。
・"第３の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する改訂質問の正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第３次元の値を"１"、第１次元及び第２次元の値を"０"とするベクトルデータが格納される。
・"入力データ"には、質問とパッセージとが格納される。
・"第３の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する改訂質問の正解データが格納される。
・"出力判断層の正解データ"には、"第１次元"～"第３次元"が含まれ、第３次元の値を"１"、第１次元及び第２次元の値を"０"とするベクトルデータが格納される。
【0063】
図６において、入力部３１０が、学習用データセット６００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械読解の出力結果として、第１の応答～第３の応答が出力される。また、出力判断層３２４からは、Ｎ個の次元（図６の例ではＮ＝３）のベクトルデータが出力される。
【0064】
比較／変更部４１０では、第３の出力層３２３から出力された第３の応答（改訂質問）と、学習用データセット６００の"第３の出力層の正解データ"に格納された改訂質問との間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、第３の出力層３２３及び理解層３２０のパラメータを更新する。
【0065】
同様に、比較／変更部４１０では、出力判断層３２４から出力されたＮ個（図６の例ではＮ＝３）の次元のベクトルデータと、学習用データセット６００の"出力判断層の正解データ"に格納された第１次元～第３次元のベクトルデータとの間で学習損失を算出する。また、比較／変更部４１０では、算出した学習損失に基づき、出力判断層３２４のパラメータを更新する。
【0066】
このように、質問応答装置１００の質問応答部１１０では、学習用データセット４００～６００を用いて、理解層３２０、第１の出力層３２１～第３の出力層３２３、出力判断層３２４について、順次、学習処理を行う。
【0067】
＜質問応答処理の流れ＞
次に、質問応答装置１００による質問応答処理の流れについて説明する。図７は、第１の実施形態に係る質問応答装置による質問応答処理の流れを示すフローチャートである。このうち、ステップＳ７０１～Ｓ７０３は、学習フェーズにおける処理を表し、ステップＳ７０４～Ｓ７０７は、応答フェーズにおける処理を表している。
次に、質問応答装置１００による質問応答処理の流れについて説明する。図７は、第１の実施形態に係る質問応答装置による質問応答処理の流れを示すフローチャートである。このうち、ステップＳ７０１～Ｓ７０３は、学習フェーズにおける処理を表し、ステップＳ７０４～Ｓ７０７は、応答フェーズにおける処理を表している。
【0068】
ステップＳ７０１において、質問応答部１１０は、学習用データセット４００を用いて、理解層３２０、第１の出力層３２１、出力判断層３２４について学習処理を行う。
【0069】
ステップＳ７０２において、質問応答部１１０は、学習用データセット５００を用いて、理解層３２０、第２の出力層３２２、出力判断層３２４について学習処理を行う。
【0070】
ステップＳ７０３において、質問応答部１１０は、学習用データセット６００を用いて、理解層３２０、第３の出力層３２３、出力判断層３２４について学習処理を行う。
【0071】
ステップＳ７０４において、質問応答部１１０の入力部３１０は、質問及びパッセージの入力を受け付け、入力された質問及びパッセージを、理解層３２０に入力する。
【0072】
ステップＳ７０５において、第１の出力層３２１～第３の出力層３２３は、理解層３２０より出力された状態ベクトルを入力として、第１の応答～第３の応答を出力する。
【0073】
ステップＳ７０６において、質問応答部１１０の出力判断層３２４は、理解層３２０より出力された状態ベクトルを入力として、第１の応答～第３の応答の確率分布を算出することで、選択指標を出力する。
【0074】
ステップＳ７０７において、質問応答部１１０の選択部３３０は、出力判断層３２４から出力された選択指標に基づいて、予め定められた上位Ｍ個の応答を選択し、選択した応答を出力する。
【0075】
＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る質問応答装置１００は、
・質問とパッセージとを入力として、質問とパッセージとの関連性を示す情報を算出する理解層を有する。
・理解層により算出された関連性を示す情報をそれぞれの入力として、互いに異なる出力形式である第１～第３の応答を出力する、第１の出力層～第３の出力層を有する。
・理解層により出力された関連性を示す情報に基づいて第１の応答～第３の応答の確率分布を算出する出力判断層を有する。更に、出力判断層により算出された第１の応答～第３の応答の確率分布を選択指標として、予め定められた数の応答を選択する選択部を有する。
以上の説明から明らかなように、第１の実施形態に係る質問応答装置１００は、
・質問とパッセージとを入力として、質問とパッセージとの関連性を示す情報を算出する理解層を有する。
・理解層により算出された関連性を示す情報をそれぞれの入力として、互いに異なる出力形式である第１～第３の応答を出力する、第１の出力層～第３の出力層を有する。
・理解層により出力された関連性を示す情報に基づいて第１の応答～第３の応答の確率分布を算出する出力判断層を有する。更に、出力判断層により算出された第１の応答～第３の応答の確率分布を選択指標として、予め定められた数の応答を選択する選択部を有する。
【0076】
これにより、第１の実施形態に係る質問応答装置１００によれば、質問に対する応答を複数の出力形式で出力できるとともに、コンピュータリソースの消費を抑え、かつ、適切な応答を選択することが可能になる。
【0077】
つまり、第１の実施形態によれば、機械読解により質問に対する応答を出力する際、複数の出力形式で出力可能な、実現可能性の高い質問応答装置、質問応答方法及び質問応答プログラムを提供することができる。
【0078】
［第２の実施形態］
上記第１の実施形態では、出力形式の数が固定であることを前提とし、新たな出力形式を追加する場合には、質問応答部１１０全体について、再学習処理を行うものとして質問応答部を構成した。
上記第１の実施形態では、出力形式の数が固定であることを前提とし、新たな出力形式を追加する場合には、質問応答部１１０全体について、再学習処理を行うものとして質問応答部を構成した。
【0079】
これに対して、第２の実施形態では、新たな出力形式が追加された場合でも、質問応答部１１０全体について、再学習処理を行う必要がないように質問応答部を構成する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。
【0080】
＜質問応答部の機能構成＞
はじめに、第２の実施形態に係る質問応答装置の質問応答部の機能構成について説明する。図８は、第２の実施形態に係る質問応答装置の質問応答部の機能構成の一例を示す図である。
はじめに、第２の実施形態に係る質問応答装置の質問応答部の機能構成について説明する。図８は、第２の実施形態に係る質問応答装置の質問応答部の機能構成の一例を示す図である。
【0081】
図３に示した機能構成との相違点は、図８の質問応答部８００の場合、第１の出力層３２１～第３の出力層３２３それぞれに対して、選択指標として、個別のスコアを算出する第１の出力判断層８０１～第３の出力判断層８０３が設置されている点である。また、図８の質問応答部８００の場合、選択部８１０の機能が、図３の選択部３３０の機能とは異なる点である。
【0082】
第１の出力判断層８０１は指標算出部の一例であり、第１の出力層３２１の状態ベクトルを受け取り、第１スコアとして、０～１．０のスカラ値を算出するロジット層を有する。
【0083】
同様に第２の出力判断層８０２は指標算出部の一例であり、第２の出力層３２２の状態ベクトルを受け取り、第２スコアとして、０～１．０のスカラ値を算出するロジット層を有する。
【0084】
同様に第３の出力判断層８０３は指標算出部の一例であり、第３の出力層３２３の状態ベクトルを受け取り、第３スコアとして、０～１．０のスカラ値を算出するロジット層を有する。
【0085】
選択部８１０は、第１の出力判断層８０１～第３の出力判断層８０３により算出された第１スコア～第３スコアに基づき、予め定められた上位Ｍ個のスコアに対応する応答を選択して出力する。
【0086】
このように、第２の実施形態に係る質問応答装置１００では、第１の出力層３２１～第３の出力層３２３それぞれに対する個別のスコアを算出する第１の出力判断層８０１～第３の出力判断層８０３を設置する。これにより、第２の実施形態によれば、新たな出力形式が追加された場合でも、追加された新たな出力層及び出力判断層と、理解層とについて学習処理を行えば足り、既に学習済みの出力層及び出力判断層について再学習処理を行う必要がなくなる。
【0087】
＜質問応答部の学習方法＞
次に、質問応答部８００の学習方法について説明する。質問応答部１１０に対して学習処理を行う学習フェーズにおいて、本実施形態に係る質問応答装置１００の質問応答部８００は、まず、選択部８１０に代えて、比較／変更部９１０を設置する。続いて、本実施形態に係る質問応答装置１００の質問応答部８００は、質問応答部８００内に設置した各層（理解層３２０、第１の出力層３２１～第３の出力層３２３、第１の出力判断層８０１～第３の出力判断層８０３）について学習処理を行う。
次に、質問応答部８００の学習方法について説明する。質問応答部１１０に対して学習処理を行う学習フェーズにおいて、本実施形態に係る質問応答装置１００の質問応答部８００は、まず、選択部８１０に代えて、比較／変更部９１０を設置する。続いて、本実施形態に係る質問応答装置１００の質問応答部８００は、質問応答部８００内に設置した各層（理解層３２０、第１の出力層３２１～第３の出力層３２３、第１の出力判断層８０１～第３の出力判断層８０３）について学習処理を行う。
【0088】
その際、質問応答装置１００では、上記第１の実施形態同様、個別の機械読解モデル（第１の機械読解モデル２２１～第３の機械読解モデル２２３）について学習処理を行う際に用いる学習用データセットを使用する。
【0089】
具体的には、質問応答装置１００の質問応答部８００は、まず、学習用データセットが、いずれの出力層についての学習処理に用いられるものであるかを示すフラグを設定する。
【0090】
続いて、質問応答装置１００の質問応答部８００は、第１の出力判断層８０１～第３の出力判断層８０３により算出される第１スコア～第３スコアの正解データを学習用データセットに格納する。例えば、質問応答装置１００の質問応答部８００は、設定したフラグに対応するスコアを"１．０"とする正解データを学習用データセットに格納する。
【0091】
続いて、質問応答装置１００の質問応答部８００は、設定したフラグに該当する出力層から出力された応答と、対応する正解データとの間で学習損失を算出し、算出した学習損失に基づき、設定したフラグに該当する出力層及び理解層のパラメータを更新する。このとき、質問応答装置１００の質問応答部８００は、設定したフラグに該当する出力層以外の出力層から出力された応答については無視する。
【0092】
また、質問応答装置１００の質問応答部８００は、設定したフラグに該当する出力判断層から出力されたスコアと、対応する正解データとの間で学習損失を算出し、算出した学習損失に基づき、設定したフラグに該当する出力判断層のパラメータを更新する。このとき、質問応答装置１００では、設定したフラグに該当する出力判断層以外の出力判断層から出力されたスコアについては無視する。
【0093】
図９は、第２の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第１の図である。図９の場合、学習用データセット９００＝"第１の出力層３２１及び第１の出力判断層８０１についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部８００により設定されているものとする。
【0094】
なお、図９に示すように、学習用データセット９００には、情報の項目として、"入力データ"、"第１の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージとが格納される。
・"第１の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて、文生成により生成する回答文の正解データが格納される。
・"出力判断層の正解データ"には、第１の出力判断層８０１から出力されるスコア（第１スコア）の正解データが格納される。
・"入力データ"には、質問とパッセージとが格納される。
・"第１の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて、文生成により生成する回答文の正解データが格納される。
・"出力判断層の正解データ"には、第１の出力判断層８０１から出力されるスコア（第１スコア）の正解データが格納される。
【0095】
図９において、入力部３１０が、学習用データセット９００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械読解の出力結果として、第１の応答～第３の応答が出力される。また、第１の出力判断層８０１～第３の出力判断層８０３からは、第１スコア～第３スコアが出力される。
【0096】
比較／変更部９１０では、第１の出力層３２１から出力された第１の応答（回答文）と、学習用データセット９００の"第１の出力層の正解データ"に格納された回答文との間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第１の出力層３２１及び理解層３２０のパラメータを更新する。
【0097】
同様に、比較／変更部９１０では、第１の出力判断層８０１から出力された第１スコアと、学習用データセット９００の"出力判断層の正解データ"の第１スコアに格納された値との間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第１の出力判断層８０１のパラメータを更新する。
【0098】
一方、図１０は、第２の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第２の図である。図１０の場合、学習用データセット１０００＝"第２の出力層３２２及び第２の出力判断層８０２についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部８００により設定されているものとする。
【0099】
なお、図１０に示すように、学習用データセット１０００には、情報の項目として、"入力データ"、"第２の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージとが格納される。
・"第２の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する、ＹＥＳ／ＮＯなどのラベルの正解データが格納される。
・"入力データ"には、質問とパッセージとが格納される。
・"第２の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する、ＹＥＳ／ＮＯなどのラベルの正解データが格納される。
【0100】
"出力判断層の正解データ"には、第２の出力判断層８０２から出力されるスコア（第２スコア）の正解データが格納される。
【0101】
図１０において、入力部３１０が、学習用データセット１０００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械読解の出力結果として、第１の応答～第３の応答が出力される。また、第１の出力判断層８０１～第３の出力判断層８０３からは、第１スコア～第３スコアが出力される。
【0102】
比較／変更部９１０では、第２の出力層３２２から出力された第２の応答（ラベル）と、学習用データセット１０００の"第２の出力層の正解データ"に格納されたラベルとの間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第２の出力層３２２及び理解層３２０のパラメータを更新する。
【0103】
同様に、比較／変更部９１０では、第２の出力判断層８０２から出力された第２スコアと、学習用データセット１０００の"出力判断層の正解データ"の第２スコアに格納された値との間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第２の出力判断層８０２のパラメータを更新する。
【0104】
一方、図１１は、第２の実施形態に係る質問応答装置の学習フェーズにおける動作例を示す第３の図である。図１１の場合、学習用データセット１１００＝"第３の出力層３２３及び第３の出力判断層８０３についての学習処理に用いられる学習用データセット"であることを示すフラグが、質問応答部８００により設定されているものとする。
【0105】
なお、図１１に示すように、学習用データセット１１００には、情報の項目として、"入力データ"、"第３の出力層の正解データ"、"出力判断層の正解データ"が含まれ、
・"入力データ"には、質問とパッセージが格納される。
・"第３の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する改訂質問の正解データが格納される。
・"出力判断層の正解データ"には、第３の出力判断層８０３から出力されるスコア（第３スコア）の正解データが格納される。
・"入力データ"には、質問とパッセージが格納される。
・"第３の出力層の正解データ"には、対応するパッセージから抽出した情報に基づいて生成する改訂質問の正解データが格納される。
・"出力判断層の正解データ"には、第３の出力判断層８０３から出力されるスコア（第３スコア）の正解データが格納される。
【0106】
図１１において、入力部３１０が、学習用データセット１１００の入力データ（質問とパッセージの組）を理解層３２０に入力すると、第１の出力層３２１～第３の出力層３２３からは、機械学習の出力結果として、第１の応答～第３の応答が出力される。また、第１の出力判断層８０１～第３の出力判断層８０３からは、第１スコア～第３スコアが出力される。
【0107】
比較／変更部９１０では、第３の出力層３２３から出力された第３の応答（改訂質問）と、学習用データセット１１００の"第３の出力層の正解データ"に格納された改訂質問との間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第３の出力層３２３及び理解層３２０のパラメータを更新する。
【0108】
同様に、比較／変更部９１０では、第３の出力判断層８０３から出力された第３スコアと、学習用データセット１１００の"出力判断層の正解データ"の第３スコアに格納された値との間で学習損失を算出する。また、比較／変更部９１０では、算出した学習損失に基づき、第３の出力判断層８０３のパラメータを更新する。
【0109】
＜質問応答処理の流れ＞
次に、第２の実施形態に係る質問応答装置１００による質問応答処理の流れについて説明する。図１２は、第２の実施形態に係る質問応答装置による質問応答処理の流れを示すフローチャートである。上記第１の実施形態において図７を用いて説明したフローチャートとの相違点は、ステップＳ１２０１～Ｓ１２０３である。
次に、第２の実施形態に係る質問応答装置１００による質問応答処理の流れについて説明する。図１２は、第２の実施形態に係る質問応答装置による質問応答処理の流れを示すフローチャートである。上記第１の実施形態において図７を用いて説明したフローチャートとの相違点は、ステップＳ１２０１～Ｓ１２０３である。
【0110】
ステップＳ１２０１において、質問応答部１１０は、学習用データセット９００を用いて、理解層３２０、第１の出力層３２１、第１の出力判断層８０１について学習処理を行う。
【0111】
ステップＳ１２０２において、質問応答部１１０は、学習用データセット１０００を用いて、理解層３２０、第２の出力層３２２、第２の出力判断層８０２について学習処理を行う。
【0112】
ステップＳ１２０３において、質問応答部１１０は、学習用データセット１１００を用いて、理解層３２０、第３の出力層３２３、第３の出力判断層８０３について学習処理を行う。
【0113】
＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る質問応答装置１００は、
・質問とパッセージとを入力として、質問とパッセージとの関連性を示す情報を算出する理解層を有する。
・理解層により算出された関連性を示す情報をそれぞれの入力として、互いに異なる出力形式である第１～第３の応答を出力する、第１の出力層～第３の出力層を有する。
・第１の出力層～第３の出力層の状態ベクトルを受け取り、第１の出力層～第３の出力層についての個別のスコア（第１スコア～第３スコア）を算出する、第１の出力判断層～第３の出力判断層を有する。更に、第１の出力判断層～第３の出力判断層により算出された第１スコア～第３スコアを選択指標として、予め定められた数の応答を選択する選択部を有する。
以上の説明から明らかなように、第２の実施形態に係る質問応答装置１００は、
・質問とパッセージとを入力として、質問とパッセージとの関連性を示す情報を算出する理解層を有する。
・理解層により算出された関連性を示す情報をそれぞれの入力として、互いに異なる出力形式である第１～第３の応答を出力する、第１の出力層～第３の出力層を有する。
・第１の出力層～第３の出力層の状態ベクトルを受け取り、第１の出力層～第３の出力層についての個別のスコア（第１スコア～第３スコア）を算出する、第１の出力判断層～第３の出力判断層を有する。更に、第１の出力判断層～第３の出力判断層により算出された第１スコア～第３スコアを選択指標として、予め定められた数の応答を選択する選択部を有する。
【0114】
これにより、第２の実施形態に係る質問応答装置１００によれば、第１の実施形態同様、質問に対する応答を複数の出力形式で出力できるとともに、コンピュータリソースの消費を抑え、かつ、適切な応答を選択することが可能になる。加えて、第２の実施形態に係る質問応答装置１００によれば、新たな出力形式が追加される場合でも、質問応答部全体について、再学習処理を行う必要がなくなる。
【0115】
つまり、第２の実施形態によれば、機械読解により質問に対する応答を出力する際、複数の出力形式で出力可能な、より実現可能性の高い質問応答装置、質問応答方法及び質問応答プログラムを提供することができる。
【0116】
［その他の実施形態］
上記第１の実施形態及び第２の実施形態では、それぞれ異なる出力判断層を設置する場合について説明したが、第１の実施形態における出力判断層を設置するか、第２の実施形態における出力判断層を設置するかの決定は任意である。例えば、設定するタスクや目的、質問応答装置のシステム構成等を加味して決定してもよい。
上記第１の実施形態及び第２の実施形態では、それぞれ異なる出力判断層を設置する場合について説明したが、第１の実施形態における出力判断層を設置するか、第２の実施形態における出力判断層を設置するかの決定は任意である。例えば、設定するタスクや目的、質問応答装置のシステム構成等を加味して決定してもよい。
【0117】
また、上記第１の実施形態及び第２の実施形態では、同一の質問応答装置１００において学習フェーズと応答フェーズとを実行するものとして説明した。しかしながら、学習フェーズと応答フェーズとは別体の装置で実行するように構成してもよい。この場合、応答フェーズを実行する装置は、学習用データセット格納部１２０を有している必要はなく、また、比較／変更部４１０、９１０が設置されることもない。
【0118】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0119】
１００ ：質問応答装置
１１０ ：質問応答部
１２０ ：学習用データセット格納部
１３０ ：パッセージ格納部
３１０ ：入力部
３２０ ：理解層
３２１ ：第１の出力層
３２２ ：第２の出力層
３２３ ：第３の出力層
３２４ ：出力判断層
３３０ ：選択部
４００～６００ ：学習用データセット
８０１ ：第１の出力判断層
８０２ ：第２の出力判断層
８０３ ：第３の出力判断層
８１０ ：選択部
９００～１１００ ：学習用データセット
１１０ ：質問応答部
１２０ ：学習用データセット格納部
１３０ ：パッセージ格納部
３１０ ：入力部
３２０ ：理解層
３２１ ：第１の出力層
３２２ ：第２の出力層
３２３ ：第３の出力層
３２４ ：出力判断層
３３０ ：選択部
４００～６００ ：学習用データセット
８０１ ：第１の出力判断層
８０２ ：第２の出力判断層
８０３ ：第３の出力判断層
８１０ ：選択部
９００～１１００ ：学習用データセット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2024-03-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う装置。
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う装置。
【請求項2】
前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を選択するための指標値を算出する指標算出部を有し、
前記算出部に、前記第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記指標算出部に入力された場合に、前記いずれかの応答を選択するための指標値が、前記指標算出部によって算出されるよう、前記算出部及び前記指標算出部に対して学習処理を行う、請求項１に記載の装置。
前記算出部に、前記第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記指標算出部に入力された場合に、前記いずれかの応答を選択するための指標値が、前記指標算出部によって算出されるよう、前記算出部及び前記指標算出部に対して学習処理を行う、請求項１に記載の装置。
【請求項3】
前記複数の出力部が各出力形式の応答を出力する際に算出する情報を受け取り、前記複数の出力部それぞれに対する指標値を算出する複数の指標算出部を有し、
前記算出部に、前記第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力され、前記複数の出力部が各応答を出力する際に算出した情報を、前記複数の指標算出部がそれぞれ受け取った場合に、前記指標値が、前記複数の指標算出部それぞれによって算出されるよう、前記複数の指標算出部に対して学習処理を行う、請求項１に記載の装置。
前記算出部に、前記第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力され、前記複数の出力部が各応答を出力する際に算出した情報を、前記複数の指標算出部がそれぞれ受け取った場合に、前記指標値が、前記複数の指標算出部それぞれによって算出されるよう、前記複数の指標算出部に対して学習処理を行う、請求項１に記載の装置。
【請求項4】
前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を選択する選択部を有する、請求項１に記載の装置。
【請求項5】
前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を、前記指標値に基づいて選択する選択部を有する、請求項２または３に記載の装置。
【請求項6】
コンピュータが、
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部として機能し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う方法。
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部として機能し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う方法。
【請求項7】
コンピュータを、
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部として機能させ、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行うプログラム。
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部として機能させ、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行うプログラム。
【請求項8】
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストと、前記第１テキストに対する各出力形式の応答とを用いて機械学習された、前記出力形式の数に応じた数の複数の機械学習済みモデルであって、それぞれが複数の層を有する前記機械学習済みモデルの、入力側の共通層により構成される算出部と、
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力する装置。
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力する装置。
【請求項9】
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力されることで、前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を選択するための指標値を算出する指標算出部、
を更に有する請求項８に記載の装置。
を更に有する請求項８に記載の装置。
【請求項10】
前記複数の出力部が各応答を出力する際に算出された情報を受け取り、前記複数の出力部それぞれに対する指標値を算出する複数の指標算出部を更に有する、請求項８に記載の装置。
【請求項11】
前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を選択する選択部を更に有する、請求項８に記載の装置。
【請求項12】
前記複数の出力部それぞれより出力される各出力形式の応答のうちのいずれかの応答を、前記指標値に基づいて選択する選択部を有する、請求項９または１０に記載の装置。
【請求項13】
コンピュータが、
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストと、前記第１テキストに対する各出力形式の応答とを用いて機械学習された、前記出力形式の数に応じた数の複数の機械学習済みモデルであって、それぞれが複数の層を有する前記機械学習済みモデルの、入力側の共通層により構成される算出部と、
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部として機能し、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力する方法。
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストと、前記第１テキストに対する各出力形式の応答とを用いて機械学習された、前記出力形式の数に応じた数の複数の機械学習済みモデルであって、それぞれが複数の層を有する前記機械学習済みモデルの、入力側の共通層により構成される算出部と、
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部として機能し、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力する方法。
【請求項14】
コンピュータを、
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストと、前記第１テキストに対する各出力形式の応答とを用いて機械学習された、前記出力形式の数に応じた数の複数の機械学習済みモデルであって、それぞれが複数の層を有する前記機械学習済みモデルの、入力側の共通層により構成される算出部と、
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部として機能させ、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力するプログラム。
自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストと、前記第１テキストに対する各出力形式の応答とを用いて機械学習された、前記出力形式の数に応じた数の複数の機械学習済みモデルであって、それぞれが複数の層を有する前記機械学習済みモデルの、入力側の共通層により構成される算出部と、
前記複数の機械学習済みモデルそれぞれの、出力側の層により構成される複数の出力部として機能させ、
前記複数の出力部は、前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の、前記算出部の出力がそれぞれ入力されることにより、対応する出力形式の応答を出力するプログラム。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【0001】
本開示は、装置、方法及びプログラムに関する。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【0008】
本開示の一態様によれば、装置は、
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う。
各々が複数の層を有する複数のモデルであって、自然言語で記述された第１テキストに対する応答を出力する際の出力形式の数に応じた数の前記複数のモデルの、入力側の共通層により構成される算出部と、
前記複数のモデルそれぞれの、出力側の層により構成される複数の出力部と、を有し、
前記算出部に、自然言語で記述された第１テキスト及び前記第１テキストに応答する際に用いられる第２テキストが入力された場合の前記算出部の出力が、前記複数の出力部それぞれに入力された場合に、前記複数の出力部から、対応する出力形式の応答が出力されるよう、前記算出部及び前記複数の出力部に対して学習処理を行う。