知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024080175
(43)【公開日】2024-06-13
(54)【発明の名称】質問生成装置、質問生成方法、およびプログラム
(51)【国際特許分類】
G06F 40/56 20200101AFI20240606BHJP
G06F 16/90 20190101ALI20240606BHJP
【ＦＩ】
G06F40/56
G06F16/90 100
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022193135
(22)【出願日】2022-12-01
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】弁理士法人 ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】秋元 康佑
(72)【発明者】
【氏名】竹岡 邦紘
【テーマコード（参考）】
5B091
5B175
【Ｆターム（参考）】
5B091CA21
5B091EA01
5B175DA01
5B175EA01
5B175HB03
(57)【要約】
【課題】曖昧性を軽減した質問を精度よく生成する。
【解決手段】質問生成装置（１）は、複数の回答が存在する第１質問を取得する取得部（１１）と、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成部（１２）と、回答がいくつ存在するかを検証する曖昧性検証部（１３）と、検証結果に基づき、第１質問よりも回答の数が少ない第２質問を出力する出力部（１４）と、を備える。
【選択図】図１
【解決手段】質問生成装置（１）は、複数の回答が存在する第１質問を取得する取得部（１１）と、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成部（１２）と、回答がいくつ存在するかを検証する曖昧性検証部（１３）と、検証結果に基づき、第１質問よりも回答の数が少ない第２質問を出力する出力部（１４）と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数の回答が存在する第１質問を取得する取得手段と、
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、
前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、
を備える質問生成装置。
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、
前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、
を備える質問生成装置。
【請求項2】
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、
請求項１に記載の質問生成装置。
請求項１に記載の質問生成装置。
【請求項3】
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルに、前記第１質問に対する複数の回答のうち少なくとも何れかの回答および当該回答に関連付けられた文章を入力することによって、前記第２質問を生成する、
請求項１または２に記載の質問生成装置。
請求項１または２に記載の質問生成装置。
【請求項4】
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルであって、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルによって生成された第１中間情報および第２中間情報を参照することによって、前記第２質問を生成し、
前記第１中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成され、
前記第２中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち前記第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される、
請求項１または２に記載の質問生成装置。
前記第１中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成され、
前記第２中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち前記第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される、
請求項１または２に記載の質問生成装置。
【請求項5】
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問を構成するトークンの並びが他の前記第２質問と類似する度合いを類似度として、回答がいくつ存在するかを検証する、
請求項２に記載の質問生成装置。
請求項２に記載の質問生成装置。
【請求項6】
前記質問生成手段は、前記複数の回答のそれぞれについて前記第２質問を生成する際に、当該第２質問が当該回答に対する質問として適切であるかの度合いを示す適切度を算出し、
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問の類似度が閾値以上であった場合、当該第２質問および当該他の前記第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する、
請求項２に記載の質問生成装置。
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問の類似度が閾値以上であった場合、当該第２質問および当該他の前記第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する、
請求項２に記載の質問生成装置。
【請求項7】
質問生成装置が、
複数の回答が存在する第１質問を取得することと、
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成することと、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証することと、
前記検証することにおける検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力することと、
を含む質問生成方法。
複数の回答が存在する第１質問を取得することと、
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成することと、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証することと、
前記検証することにおける検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力することと、
を含む質問生成方法。
【請求項8】
コンピュータを質問生成装置として機能させるプログラムであって、
前記コンピュータを、
複数の回答が存在する第１質問を取得する取得手段と、
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、
前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、
として機能させるプログラム。
前記コンピュータを、
複数の回答が存在する第１質問を取得する取得手段と、
前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、
複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、
前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、質問生成装置、質問生成方法、およびプログラムに関する。
【背景技術】
【0002】
質問の曖昧性を軽減するための技術が提案されている。質問の曖昧性とは、質問に対して複数の回答が存在することを示している。例えば、特許文献１には、質問の一部を欠損させた欠損質問とその回答を含む文章を入力すると当該質問が出力されるよう、質問生成モデルを学習させる技術が開示されている。当該質問生成モデルは、回答が複数存在する質問が入力されると、回答を絞り込むために不足する情報を追加した質問を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】国際公開第２０１９／２３５１０３号
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献１に記載の質問生成モデルでは、入力された質問に対して回答を絞り込むために不足する情報を追加する以外の手法によって曖昧性を軽減することができない。例えば、質問の曖昧性は、情報を追加するだけでなく、一部の情報の置換、削除等によっても軽減できる可能性がある。例えば、映画と書籍で公開されている作品Ａについて、「作品Ａが公開されたのはいつか」という曖昧な質問に対して、特許文献１に記載の質問生成装置は、質問における「公開」を「出版」または「上映開始」に変更する処理はできない。
【0005】
このように、特許文献１に記載の質問生成装置は、曖昧性を軽減した質問を精度よく生成できない場合がある、という問題がある。
【0006】
本発明の一態様は、上記の問題に鑑みてなされたものであり、その目的の一例は、曖昧性を軽減した質問を精度よく生成する技術を提供することである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る質問生成装置は、複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、を備える。
【0008】
本発明の一態様に係る質問生成方法は、質問生成装置が、複数の回答が存在する第１質問を取得することと、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成することと、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証することと、前記検証することにおける検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力することと、を含む。
【0009】
本発明の一態様に係るプログラムは、コンピュータを質問生成装置として機能させるプログラムであって、前記コンピュータを、複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、として機能させる。
【発明の効果】
【0010】
本発明の一態様によれば、曖昧性を軽減した質問を精度よく生成することができる。
【図面の簡単な説明】
【0011】
【図1】本発明の例示的実施形態１に係る質問生成装置の構成を示すブロック図である。
【図2】本発明の例示的実施形態１に係る質問生成方法の流れを示すフロー図である。
【図3】本発明の例示的実施形態２に係る質問生成装置の構成を示すブロック図である。
【図4】本発明の例示的実施形態２に係る質問生成部が実行する処理の例を示す図である。
【図5】本発明の例示的実施形態２に係る曖昧性検証部が実行する処理の一例を示す図である。
【図6】本発明の例示的実施形態２に係る出力部が実行する処理の一例を示す図である。
【図7】本発明の各例示的実施形態に係る質問生成装置のハードウェア構成の一例を示すブロック図である。
【発明を実施するための形態】
【0012】
〔例示的実施形態１〕
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
本発明の第１の例示的実施形態について、図面を参照して詳細に説明する。本例示的実施形態は、後述する例示的実施形態の基本となる形態である。
【0013】
【0014】
本例示的実施形態に係る質問生成装置１は、複数の回答が存在する第１質問を取得し、第１質問よりも回答の数が少ない第２質問を出力する装置である。以下では、質問に対して複数の回答が存在することを、質問が曖昧性を有するとも表現する。
【0015】
本例示的実施形態に係る質問生成装置１は、図１に示すように、取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４を備えている。取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４は、それぞれ本例示的実施形態において、取得手段、質問生成手段、曖昧性検証手段、および出力手段を実現する構成である。
【0016】
取得部１１は、複数の回答が存在する第１質問を取得する。取得部１１は、取得した第１質問を質問生成部１２に供給する。
【0017】
質問生成部１２は、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する。質問生成部１２は、生成した複数の第２質問を曖昧性検証部１３に供給する。
【0018】
曖昧性検証部１３は、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、検証結果を出力部１４に供給する。
【0019】
出力部１４は、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する。
【0020】
以上のように、本例示的実施形態に係る質問生成装置１においては、複数の回答が存在する第１質問を取得する取得部１１と、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成部１２と、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証部１３と、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する出力部１４と、を備える構成が採用されている。
【0021】
したがって、本例示的実施形態に係る質問生成装置１によれば、取得した第１質問よりも回答の数が少ない第２質問を出力するので、曖昧性を軽減した質問を精度よく生成することができるという効果が得られる。
【0022】
【0023】
（ステップＳ１１）
ステップＳ１１において、取得部１１は、複数の回答が存在する第１質問を取得する。取得部１１は、取得した第１質問を質問生成部１２に供給する。
ステップＳ１１において、取得部１１は、複数の回答が存在する第１質問を取得する。取得部１１は、取得した第１質問を質問生成部１２に供給する。
【0024】
（ステップＳ１２）
ステップＳ１２において、質問生成部１２は、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する。質問生成部１２は、生成した複数の第２質問を曖昧性検証部１３に供給する。
ステップＳ１２において、質問生成部１２は、複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する。質問生成部１２は、生成した複数の第２質問を曖昧性検証部１３に供給する。
【0025】
（ステップＳ１３）
ステップＳ１３において、曖昧性検証部１３は、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、検証結果を出力部１４に供給する。
ステップＳ１３において、曖昧性検証部１３は、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、検証結果を出力部１４に供給する。
【0026】
（ステップＳ１４）
ステップＳ１４において、出力部１４は、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する。
ステップＳ１４において、出力部１４は、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する。
【0027】
以上のように、本例示的実施形態に係る質問生成方法Ｓ１においては、取得部１１が複数の回答が存在する第１質問を取得するステップＳ１１と、質問生成部１２が複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成するステップＳ１２と、曖昧性検証部１３が複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証するステップＳ１３と、出力部１４が曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力するステップＳ１４と、を含む構成が採用されている。このため、本例示的実施形態に係る質問生成方法Ｓ１によれば、上述した質問生成装置１と同様の効果を奏する。
【0028】
〔例示的実施形態２〕
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
本発明の第２の例示的実施形態について、図面を参照して詳細に説明する。なお、例示的実施形態１にて説明した構成要素と同じ機能を有する構成要素については、同じ符号を付し、その説明を適宜省略する。
【0029】
【0030】
本例示的実施形態に係る質問生成装置３は、複数の回答が存在する第１質問を取得し、第１質問よりも回答の数が少ない第２質問を出力する装置である。換言すると、質問生成装置３は、第１質問よりも曖昧性が軽減された第２質問を出力する。
【0031】
本例示的実施形態に係る質問生成装置３は、図３に示すように、制御部３０、通信部３５、および記憶部３６を備えている。
【0032】
通信部３５は、データを送受信するインターフェースである。通信部３５が受信するデータの一例として、第１質問が挙げられる。また、通信部３５が送信するデータの一例として、第２質問が挙げられる。
【0033】
また、質問生成装置３は、通信部３５に替えて、または通信部３５に加えて、データの入力を受け付けるインターフェースであるデータ入力部、およびデータを出力するインターフェースであるデータ出力部を備える構成であってもよい。
【0034】
記憶部３６には、制御部３０が参照するデータが格納される。記憶部３６に格納されるデータの例として、第１質問、第１質問に対する複数の回答、第２質問、および後述する検証結果が挙げられる。
【0035】
（制御部３０）
制御部３０は、質問生成装置３が備える各構成要素を制御する。また、制御部３０は、図３に示すように、取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４を備えている。取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４は、それぞれ本例示的実施形態において、取得手段、質問生成手段、曖昧性検証手段、および出力手段を実現する構成である。
制御部３０は、質問生成装置３が備える各構成要素を制御する。また、制御部３０は、図３に示すように、取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４を備えている。取得部１１、質問生成部１２、曖昧性検証部１３、および出力部１４は、それぞれ本例示的実施形態において、取得手段、質問生成手段、曖昧性検証手段、および出力手段を実現する構成である。
【0036】
取得部１１は、通信部３５を介してデータを取得する。一例として、取得部１１は、通信部３５を介して複数の回答が存在する第１質問を取得する。また、取得部１１は、通信部３５を介して、第１質問に対する複数の回答を取得する構成であってもよい。取得部１１は、取得した第１質問を記憶部３６に格納する。
【0037】
質問生成部１２は、文字列が回答となる質問を生成する。一例として、質問生成部１２は、記憶部３６に格納されている第１質問に対する複数の回答のそれぞれについて、当該回答が示す文字列が回答となる第２質問を生成する。質問生成部１２が実行する処理の例について、後述する。
【0038】
曖昧性検証部１３は、質問に対して回答がいくつ存在するかを検証する。一例として、曖昧性検証部１３は、記憶部３６に格納されている複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、回答がいくつ存在するかを示す検証結果を記憶部３６に格納する。曖昧性検証部１３が実行する処理の例について、後述する。
【0039】
出力部１４は、通信部３５を介してデータを出力する。一例として、出力部１４は、記憶部３６に格納されている検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を、通信部３５を介して出力する。出力部１４が実行する処理の例について、後述する。
【0040】
（質問生成方法Ｓ２）
質問生成装置３が実行する質問生成方法Ｓ２は、上述した質問生成方法Ｓ１と同じであるため、再び図２を参照して説明する。
質問生成装置３が実行する質問生成方法Ｓ２は、上述した質問生成方法Ｓ１と同じであるため、再び図２を参照して説明する。
【0041】
（ステップＳ１１）
ステップＳ１１において、取得部１１は、複数の回答が存在する第１質問を取得する。取得部１１は、取得した第１質問を記憶部３６に格納する。
ステップＳ１１において、取得部１１は、複数の回答が存在する第１質問を取得する。取得部１１は、取得した第１質問を記憶部３６に格納する。
【0042】
（ステップＳ１２）
ステップＳ１２において、質問生成部１２は、記憶部３６に格納されている第１質問を取得し、第１質問に対する複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する。質問生成部１２は、生成した第２質問を記憶部３６に格納する。
ステップＳ１２において、質問生成部１２は、記憶部３６に格納されている第１質問を取得し、第１質問に対する複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する。質問生成部１２は、生成した第２質問を記憶部３６に格納する。
【0043】
ステップＳ１２において、質問生成部１２はまず、第１質問に対する複数の回答を取得する。質問生成部１２が第１質問に対する複数の回答を取得する方法の一例として、取得部１１を介して、ユーザから第１質問に対する複数の回答を取得する方法が挙げられる。
【0044】
質問生成部１２が第１質問に対する複数の回答を取得する方法の一例として、質問を入力として、当該質問の回答を出力する既知の質問応答モデルを用いる方法が挙げられる。この場合、質問生成部１２は、質問応答モデルに第１質問を入力し、第１質問に対する複数の回答を取得する。
【0045】
また、質問応答モデルが、質問に対する回答として適切であるかの度合いを示す適切度を出力する場合、質問生成部１２は、適切度が閾値以上の複数の回答、または、適切度が高い順に所定の数の回答を、第１質問に対する複数の回答としてもよい。
【0046】
（質問生成部１２が第２質問を生成する処理例１）
次に、質問生成部１２が第２質問を生成する方法の一例として、１の文字列を入力として、当該文字列を回答とする質問を生成する質問生成モデルＭを用いる方法が挙げられる。この場合、質問生成部１２は、第１質問に対する複数の回答の何れかを、質問生成モデルＭに入力する。そして、質問生成部１２は、質問生成モデルＭから出力された質問を、第２質問として生成する。
次に、質問生成部１２が第２質問を生成する方法の一例として、１の文字列を入力として、当該文字列を回答とする質問を生成する質問生成モデルＭを用いる方法が挙げられる。この場合、質問生成部１２は、第１質問に対する複数の回答の何れかを、質問生成モデルＭに入力する。そして、質問生成部１２は、質問生成モデルＭから出力された質問を、第２質問として生成する。
【0047】
質問生成モデルＭの例として、Ｔ５(Text-to-Text Transfer Transformer)、ＢＡＲＴ(Bidirectional Auto-Regressive Transformer)、およびＧＰＴ(Generative Pre-trained Transformer)が挙げられる。
【0048】
（質問生成部１２が第２質問を生成する処理例２）
質問生成部１２は、第２質問を生成する方法の他の例として、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭに、第１質問に対する複数の回答のうち少なくとも何れかの回答および当該回答に関連付けられた文章を入力することによって、第２質問を生成してもよい。
質問生成部１２は、第２質問を生成する方法の他の例として、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭに、第１質問に対する複数の回答のうち少なくとも何れかの回答および当該回答に関連付けられた文章を入力することによって、第２質問を生成してもよい。
【0049】
質問生成部１２は、質問生成モデルＭに入力する文章を、取得部１１を介してユーザから取得してもよい。
【0050】
また、質問生成部１２は、アクセス可能なネットワーク上の任意のサーバに格納されている文章を、質問生成モデルＭに入力する文章として取得してもよい。一例として、質問生成部１２は、アクセス可能なネットワーク上の任意のサーバに格納されている文章のうち、回答となる文字列を含む文章を、質問生成モデルＭに入力する文章として取得してもよい。さらに、質問生成部１２は、質問の回答となり得る文字列が主語となっている文章を、質問生成モデルＭに入力する文章として取得してもよい。
【0051】
また、質問生成部１２は、アクセス可能なネットワーク上の任意のサーバから、回答と同じカテゴリに属する記事を、質問生成モデルＭに入力する文章として取得してもよい。
【0052】
また、質問生成部１２は、回答が含まれている文章において、当該回答に対して他の文章にアクセスするよう設定されている場合、当該他の文章を、質問生成モデルＭに入力する文章として取得してもよい。
【0053】
このように、質問生成部１２は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭを用いて、第２質問を生成する。そのため、質問生成部１２は、第１の質問の回答を示す文字列が回答となる第２質問を精度よく生成することができる。
【0054】
（質問生成部１２が第２質問を生成する処理例３）
質問生成部１２は、質問生成モデルＭによって生成された、出力する質問を構成するトークンの並びの予測確率を示す中間情報を参照して、第２質問を生成してもよい。当該構成について、図４を参照して説明する。図４は本例示的実施形態に係る質問生成部１２が実行する処理の例を示す図である。
質問生成部１２は、質問生成モデルＭによって生成された、出力する質問を構成するトークンの並びの予測確率を示す中間情報を参照して、第２質問を生成してもよい。当該構成について、図４を参照して説明する。図４は本例示的実施形態に係る質問生成部１２が実行する処理の例を示す図である。
【0055】
図４の上側に示すように、質問生成部１２は、回答Ａ１および回答Ａ１に関連付けられた文章Ｐ１を、質問生成モデルＭに入力する。質問生成モデルＭからは、以下の式（１）を用いて算出された中間情報であって、質問文のトークン（単語）をｗ＿１，ｗ＿２，・・・，ｗ＿ｎとした場合に、次のトークンを予測する確率分布ｐ１が出力される。
ｐ１＝ｐ（ｗ＿ｔ｜Ｐ１，Ａ１，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（１）
ここで、Θは、質問生成モデルＭのパラメータである。
ｐ１＝ｐ（ｗ＿ｔ｜Ｐ１，Ａ１，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（１）
ここで、Θは、質問生成モデルＭのパラメータである。
【0056】
質問生成部１２は、質問生成モデルＭから出力される確率分布ｐ１を参照し、次のトークンとして出現する確率が高いトークンを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ１を作成する。
【0057】
同様に、図４の上から２番目に示すように、質問生成部１２は、回答Ａ２および文章Ｐ２を、質問生成モデルＭに入力する。質問生成モデルＭからは、以下の式（２）を用いて、次のトークンを予測する確率分布ｐ２が出力される。
ｐ２＝ｐ（ｗ＿ｔ｜Ｐ２，Ａ２，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（２）
質問生成部１２は、質問生成モデルＭから出力される確率分布ｐ２を参照し、次のトークンとして出現する確率が高いトークンを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ２を作成する。
ｐ２＝ｐ（ｗ＿ｔ｜Ｐ２，Ａ２，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（２）
質問生成部１２は、質問生成モデルＭから出力される確率分布ｐ２を参照し、次のトークンとして出現する確率が高いトークンを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ２を作成する。
【0058】
このように、質問生成部１２は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭが生成する中間情報を参照して、第２質問を生成する。そのため、質問生成部１２は、第１質問の回答を示す文字列が回答となる第２質問を精度よく生成することができる。
【0059】
（質問生成部１２が第２質問を生成する処理例４）
また、質問生成部１２は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭであって、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルＭによって生成された第１中間情報および第２中間情報を参照することによって、第２質問を生成してもよい。第１中間情報は、質問生成モデルＭに、第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成される。また、第２中間情報は、質問生成モデルＭに、第１質問に対する複数の回答のうち第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される。当該構成について、再び図４を参照して説明する。
また、質問生成部１２は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルＭであって、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルＭによって生成された第１中間情報および第２中間情報を参照することによって、第２質問を生成してもよい。第１中間情報は、質問生成モデルＭに、第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成される。また、第２中間情報は、質問生成モデルＭに、第１質問に対する複数の回答のうち第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される。当該構成について、再び図４を参照して説明する。
【0060】
図４の下側に示すように、質問生成部１２は、第１回答Ａ３および第１回答Ａ３に関連付けられた文章Ｐ３を、質問生成モデルＭに入力する。質問生成モデルＭからは、以下の式（３）を用いて算出された第１中間情報であって、質問文のトークンをｗ＿１，ｗ＿２，・・・，ｗ＿ｎとした場合に、次のトークンを予測する確率分布ｐ３が出力される。
ｐ３＝ｐ（ｗ＿ｔ｜Ｐ３，Ａ３，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（３）
同様に、質問生成部１２は、第１回答Ａ３とは異なる第２回答Ａ４および第２回答Ａ４に関連付けられた文章Ｐ４を、質問生成モデルＭに入力する。質問生成モデルＭからは、以下の式（４）を用いて算出された第２中間情報であって、質問文のトークンをｗ＿１，ｗ＿２，・・・，ｗ＿ｎとした場合に、次のトークンを予測する確率分布ｐ４が出力される。
ｐ４＝ｐ（ｗ＿ｔ｜Ｐ４，Ａ４，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（４）
次に、質問生成部１２は、第１中間情報および第２中間情報を参照し、曖昧性が軽減された第２質問Ｑ３を生成する。一例として、質問生成部１２は、回答Ａ＿ｉに注目する場合、トークンｗ＿ｔについて、確率分布ｐ（ｗ＿ｔ｜Ｐ＿ｉ，Ａ＿ｉ，ｗ＿１・・・）が大きく、異なる回答Ａ＿ｊに関する確率分布ｐ（ｗ＿ｔ｜Ｐ＿ｊ，Ａ＿ｊ，ｗ＿１・・・）が小さくなるトークンｗ＿ｔを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ３を作成する。
ｐ３＝ｐ（ｗ＿ｔ｜Ｐ３，Ａ３，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（３）
同様に、質問生成部１２は、第１回答Ａ３とは異なる第２回答Ａ４および第２回答Ａ４に関連付けられた文章Ｐ４を、質問生成モデルＭに入力する。質問生成モデルＭからは、以下の式（４）を用いて算出された第２中間情報であって、質問文のトークンをｗ＿１，ｗ＿２，・・・，ｗ＿ｎとした場合に、次のトークンを予測する確率分布ｐ４が出力される。
ｐ４＝ｐ（ｗ＿ｔ｜Ｐ４，Ａ４，ｗ＿１，ｗ＿２，・・・，ｗ＿｛ｔ－１｝，Θ） ・・・（４）
次に、質問生成部１２は、第１中間情報および第２中間情報を参照し、曖昧性が軽減された第２質問Ｑ３を生成する。一例として、質問生成部１２は、回答Ａ＿ｉに注目する場合、トークンｗ＿ｔについて、確率分布ｐ（ｗ＿ｔ｜Ｐ＿ｉ，Ａ＿ｉ，ｗ＿１・・・）が大きく、異なる回答Ａ＿ｊに関する確率分布ｐ（ｗ＿ｔ｜Ｐ＿ｊ，Ａ＿ｊ，ｗ＿１・・・）が小さくなるトークンｗ＿ｔを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ３を作成する。
【0061】
具体的には、質問生成部１２はまず、トークンｗ＿ｔについて、第１回答Ａ＿ｉおよび回答Ａ＿ｉに関連付けられた文章Ｐ＿ｉにおいて、次のトークンを予測する確率分布ｐ（ｗ＿ｔ｜Ｐ＿ｉ，Ａ＿ｉ，ｗ＿１・・・）を取得する。例えば、上述した第１回答Ａ３および回答Ａ３に関連付けられた文章Ｐ３の場合、質問生成部１２は第１中間情報である確率分布ｐ３を取得する。
【0062】
次に質問生成部１２は、質問生成モデルＭが出力できるトークンの集合中のトークンｗ＿ｔのそれぞれについて、第一回答Ａ＿ｉとは異なる第二回答Ａ＿ｊ、および回答Ａ＿ｊに関連付けられた文章Ｐ＿ｊを質問生成モデルＭに入力する。次に、質問生成部１２は、トークンｗ＿ｔのそれぞれについて、トークンｗ＿ｔが生成される確率ｐ（ｗ＿ｔ｜Ｐ＿ｊ, Ａ＿ｊ, ｗ＿１・・・）を取得する。
【0063】
続いて、質問生成部１２は、以下の式（５）を用いて、トークンｗ＿ｔが第一回答Ａ＿ｉのみについて生成されやすい程度を示す値であるｓ（ｗ＿ｔ）を算出する。
【0064】
【数1】
【0065】
そして、質問生成部１２は、以下の式（６）を用いて、回答Ａ＿ｉに注目した場合、トークンｗ＿ｔ＿１の次に出現する確率が高いトークンを選択する処理を再帰的に繰り返すことにより、第２質問Ｑ３を作成する。
【0066】
【数2】
【0067】
ここで、Ｖは質問生成モデルＭが出力できるトークンの集合である。
【0068】
このように、質問生成部１２は、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルＭによって生成された第１中間情報および第２中間情報を参照することによって、第２質問を生成する。そのため、質問生成部１２は、文字列が回答となる質問であって、曖昧性が軽減された質問を精度よく生成することができる。
【0069】
（ステップＳ１３）
ステップＳ１３において、曖昧性検証部１３は、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、回答がいくつ存在するかを示す検証結果を記憶部３６に格納する。曖昧性検証部１３が複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する方法について、図５を参照して説明する。図５は本例示的実施形態に係る曖昧性検証部１３が実行する処理の一例を示す図である。
ステップＳ１３において、曖昧性検証部１３は、複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する。曖昧性検証部１３は、回答がいくつ存在するかを示す検証結果を記憶部３６に格納する。曖昧性検証部１３が複数の第２質問のそれぞれについて、回答がいくつ存在するかを検証する方法について、図５を参照して説明する。図５は本例示的実施形態に係る曖昧性検証部１３が実行する処理の一例を示す図である。
【0070】
（曖昧性検証部１３が実行する処理例１）
曖昧性検証部１３が実行する処理の一例について、図５を参照して説明する。図５は、本例示的実施形態に係る曖昧性検証部１３が実行する処理の例を示す図である。図５は、取得部１１が、第１質問「地球にある国はなんですか」を取得し、質問生成部１２が、第１質問に対する複数の回答として、回答Ａ１「日本」、回答Ａ２「中国」、および回答Ａ３「カナダ」を取得した場合に、曖昧性検証部１３が実行する処理の例を示す図である。
曖昧性検証部１３が実行する処理の一例について、図５を参照して説明する。図５は、本例示的実施形態に係る曖昧性検証部１３が実行する処理の例を示す図である。図５は、取得部１１が、第１質問「地球にある国はなんですか」を取得し、質問生成部１２が、第１質問に対する複数の回答として、回答Ａ１「日本」、回答Ａ２「中国」、および回答Ａ３「カナダ」を取得した場合に、曖昧性検証部１３が実行する処理の例を示す図である。
【0071】
曖昧性検証部１３は、複数の第２質問のそれぞれについて、当該第２質問および他の第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証してもよい。一例として、曖昧性検証部１３は、質問生成部１２が生成した第２質問のそれぞれについて、第２質問を構成するトークンの並びが他の第２質問と類似する度合いを類似度として、回答がいくつ存在するかを検証してもよい。
【0072】
例えば、曖昧性検証部１３は、複数の第２質問のうち、トークンの並びが同じ第２質問が存在した場合、トークンの並びが同じ他の第２質問の数に基づき、第２質問の回答の数を示す検証結果を出力する。
【0073】
一例として、図５の上側に示すように、第１質問の回答Ａ１「日本」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ１「アジアにある国は何ですか」を生成した場合を想定する。
【0074】
同様に、第１質問の回答Ａ２「中国」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ２「アジアにある国はなんですか」を生成した場合を想定する。
【0075】
同様に、第１質問の回答Ａ３「カナダ」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ３「北米の国はなんですか」を生成した場合を想定する。
【0076】
この場合、第２質問Ｑ１および第２質問Ｑ３は、トークンの並びが同じである。そのため、曖昧性検証部１３は、第２質問Ｑ１「アジアにある国はなんですか」について、回答の数は「日本」および「中国」の２つであることを示す検証結果を出力する。
【0077】
次に、第２質問Ｑ３について、トークンの並びが同じである他の第２質問は生成されていない。そのため、曖昧性検証部１３は、第２質問Ｑ３「北米の国はなんですか」について、回答の数は「カナダ」の１つであることを示す検証結果を出力する。
【0078】
このように、第２質問とトークンの並びが同じ他の第２質問が存在した場合、曖昧性検証部１３は、当該第２の質問とトークンの並びが同じ他の第２質問の数を参照して、第２質問の回答の数を示す検証結果を出力する。そのため、曖昧性検証部１３は、第２質問の曖昧性を好適に検証することができる。
【0079】
（曖昧性検証部１３が実行する処理例２）
曖昧性検証部１３は、質問生成部１２が生成した複数の第２質問のそれぞれについて、当該第２質問を構成するトークンの並びが他の第２質問と類似する度合いを示す類似度を算出する。そして、曖昧性検証部１３は、当該類似度が閾値以上の第２質問の数に基づいて、第２質問の回答の数とする検証結果を出力してもよい。類似度を算出する構成の一例として、質問をベクトルに埋め込んだ場合のベクトル間のコサイン類似度を算出する類似度関数ｓｉｍを用いる構成が挙げられる。当該構成について、再び図５を参照して説明する。
曖昧性検証部１３は、質問生成部１２が生成した複数の第２質問のそれぞれについて、当該第２質問を構成するトークンの並びが他の第２質問と類似する度合いを示す類似度を算出する。そして、曖昧性検証部１３は、当該類似度が閾値以上の第２質問の数に基づいて、第２質問の回答の数とする検証結果を出力してもよい。類似度を算出する構成の一例として、質問をベクトルに埋め込んだ場合のベクトル間のコサイン類似度を算出する類似度関数ｓｉｍを用いる構成が挙げられる。当該構成について、再び図５を参照して説明する。
【0080】
一例として、図５の真ん中に示すように、第１質問の回答Ａ１「日本」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ１「アジアにある国は何ですか」を生成した場合を想定する。
【0081】
同様に、第１質問の回答Ａ２「中国」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ２「アジアにはどんな国がありますか」を生成した場合を想定する。
【0082】
同様に、第１質問の回答Ａ３「カナダ」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ３「北米の国はなんですか」を生成した場合を想定する。
【0083】
この場合、第２質問Ｑ１および第２質問Ｑ２には、共通する単語「アジア」、「国」が含まれているため、第２質問Ｑ１および第２質問Ｑ２の類似度は閾値以上になる。そのため、曖昧性検証部１３は、第２質問Ｑ１「アジアにある国は何ですか」について、回答の数は「日本」および「中国」の２つであることを示す検証結果を出力する。
【0084】
さらに、第２質問Ｑ３について、第２質問Ｑ３と類似する他の第２質問は生成されていない。そのため、曖昧性検証部１３は、第２質問Ｑ３「北米の国はなんですか」について、回答の数は「カナダ」の１つであることを示す検証結果を出力する。
【0085】
このように、曖昧性検証部１３は、第２質問を構成するトークンの並びが他の第２質問と類似する度合いを示す類似度が閾値以上の他の第２質問の数を参照して、第２質問の回答の数を示す検証結果を出力する。そのため、曖昧性検証部１３は、第２質問の曖昧性を好適に検証することができる。
【0086】
（曖昧性検証部１３が実行する処理例３）
質問生成部１２は、複数の回答のそれぞれについて第２質問を生成する際に、第２質問が回答に対する質問として適切であるかの度合いを示す適切度（以下、「スコア」とも称する）を算出する場合、曖昧性検証部１３は、適切度を参照して回答がいくつ存在するかを検証してもよい。より具体的には、曖昧性検証部１３は、複数の第２質問のそれぞれについて、当該第２質問および他の第２質問の類似度が閾値以上であった場合、当該第２質問および他の第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する。以下では一例として、スコアの閾値が「０．７」の場合について説明する。また、当該構成について、再び図５を参照して説明する。
質問生成部１２は、複数の回答のそれぞれについて第２質問を生成する際に、第２質問が回答に対する質問として適切であるかの度合いを示す適切度（以下、「スコア」とも称する）を算出する場合、曖昧性検証部１３は、適切度を参照して回答がいくつ存在するかを検証してもよい。より具体的には、曖昧性検証部１３は、複数の第２質問のそれぞれについて、当該第２質問および他の第２質問の類似度が閾値以上であった場合、当該第２質問および他の第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する。以下では一例として、スコアの閾値が「０．７」の場合について説明する。また、当該構成について、再び図５を参照して説明する。
【0087】
一例として、図５の下側に示すように、第１質問の回答Ａ１「日本」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ１「首都が東京の国はどこですか」を生成し、質問生成モデルＭがスコア「０．８」を出力した場合を想定する。
【0088】
同様に、第１質問の回答Ａ２「中国」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ２「首都が東京の国はどこですか」を生成し、質問生成モデルＭがスコア「０．２」を出力した場合を想定する。
【0089】
同様に、第１質問の回答Ａ３「カナダ」を質問生成モデルＭに入力し、質問生成部１２が第２質問Ｑ３「首都が東京の国はどこですか」を生成し、質問生成モデルＭがスコア「０．１」を出力した場合を想定する。
【0090】
この場合、曖昧性検証部１３はまず、検証対象の第２質問Ｑ１と、第２質問Ｑ２および第２質問Ｑ３と間の類似度が閾値以上であるか否かを判定する。第２質問Ｑ１と、第２質問Ｑ２、および第２質問Ｑ３とは、トークンの並びが同じであるため、曖昧性検証部１３は、第２質問Ｑ１と、第２質問Ｑ２および第２質問Ｑ３との間の類似度は閾値以上であると判定する。
【0091】
次に、曖昧性検証部１３は、検証対象の第２質問Ｑ１に対するスコアが、閾値以上であるか否かを判定する。検証対象の第２質問Ｑ１に対するスコアが閾値未満の場合は、曖昧性検証部１３は、第２質問Ｑ１が回答に対して不適切であると判定し、以下の処理を実行しない。図５の下側に示す例では、第２質問Ｑ１に対するスコアは「０．８」であるため、曖昧性検証部１３は、第２質問Ｑ１のスコアは閾値以上であると判定する。
【0092】
続いて、曖昧性検証部１３は、検証対象の第２質問Ｑ１と類似する第２質問であって、スコアが閾値以上の第２質問の数を算出する。図５の下側に示す例では、第２質問Ｑ１に類似する第２質問Ｑ２および第２質問Ｑ３に対してのスコアは、それぞれ「０．２」および「０．１」であり、閾値「０．７」未満である。そのため、曖昧性検証部１３は、第２質問Ｑ１と類似する第２質問であって、スコアが閾値以上の第２質問の数は０であると算出する。
【0093】
そして、曖昧性検証部１３は、第２質問Ｑ１に対する回答の数を示す検証結果を出力する。図５の下側に示す例では、第２質問Ｑ１と類似する第２質問であって、スコアが閾値以上の第２質問の数は０であったため、曖昧性検証部１３は、第２質問Ｑ１に対する回答の数は１であることを示す検証結果を出力する。
【0094】
このように、トークンの並びが他の第２質問と類似する第２質問が存在した場合、曖昧性検証部１３は、他の第２質問および第２質問が、それぞれ回答に対する質問として適切であるかの度合いを示す適切度が閾値以上であるか否かを判定する。そして、曖昧性検証部１３は、適切度が閾値以上の第２質問の数に基づいて、第２質問の回答の数を示す検証結果を出力する。そのため、曖昧性検証部１３は、他の第２質問と類似する第２質問が存在した場合、他の第２質問が質問として不適切な場合は、他の第２質問の回答は、第２質問の回答であると判定しない。したがって、曖昧性検証部１３は、第２質問の曖昧性を好適に検証することができる。
【0095】
（ステップＳ１４）
ステップＳ１４において、出力部１４は、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する。出力部１４が実行する処理の例を以下に記載する。
ステップＳ１４において、出力部１４は、曖昧性検証部１３による検証結果に基づき、複数の第２質問のうち、第１質問よりも回答の数が少ない第２質問を出力する。出力部１４が実行する処理の例を以下に記載する。
【0096】
（出力部１４が実行する処理の例１）
出力部１４が実行する処理の一例について、再び図５を参照して説明する。
出力部１４が実行する処理の一例について、再び図５を参照して説明する。
【0097】
上述したように、図５に示す例では、第１質問に対する複数の回答は、回答Ａ１「日本」、回答Ａ２「中国」、および回答Ａ３「カナダ」の３つである。そのため、出力部１４は、曖昧性検証部１３によって回答の数が３つ未満であると判定された第２質問を出力する。
【0098】
図５の上側に示す例では、第２質問Ｑ１に対する回答の数は２つであるため、出力部１４は、第２質問Ｑ１を出力する。また、第２質問Ｑ３に対する回答の数も１つであるため、出力部１４は、第２質問Ｑ３も出力する。
【0099】
他の例として、図５の真ん中に示す例では、第２質問Ｑ１に対する回答の数は２つである。そのため、出力部１４は、第２質問Ｑ１を出力する。また、第２質問Ｑ３に対する回答の数も１つであるため、出力部１４は、第２質問Ｑ３も出力する。
【0100】
さらに他の例として、図５の下側に示す例では、第２質問Ｑ１に対する回答の数は１つであるため、出力部１４は、第２質問Ｑ１を出力する。
【0101】
このように、出力部１４は、第１質問よりも回答の数が少ない第２質問を出力する。そのため、出力部１４は、曖昧性が軽減された第２質問を出力することができる。
【0102】
【0103】
図６の上側に示す例では、質問生成部１２によって、第２質問Ｑ１「地球にある国はなんですか」、第２質問Ｑ２「地球にある国はなんですか」、および第２質問Ｑ３「地球にある国はなんですか」が生成されている。第２質問Ｑ１、第２質問Ｑ２、および第２質問Ｑ３はトークンの並びが同じであるため、曖昧性検証部１３は、第２質問Ｑ１について、回答の数が「日本」、「中国」、および「カナダ」の３つであることを示す検証結果を出力する。出力部１４は、検証結果を参照し、第２質問Ｑ１について、回答の数が第１質問の回答の数と同じであると判定し、第２質問Ｑ１を出力しない。
【0104】
このように、出力部１４は、第１質問と回答の数が同じ第２質問を出力しない。そのため、出力部１４は、曖昧性が軽減された第２質問のみを出力することができる。
【0105】
（出力部１４が実行する処理の例３）
出力部１４は、回答の数が１つの第２質問のみを出力する構成であってもよい。当該構成について、再び図６を参照して説明する。
出力部１４は、回答の数が１つの第２質問のみを出力する構成であってもよい。当該構成について、再び図６を参照して説明する。
【0106】
図６の下側に示す例では、質問生成部１２によって、第２質問Ｑ１「アジアにある国はなんですか」、第２質問Ｑ２「アジアにはどんな国がありますか」、および第２質問Ｑ３「北米の国はなんですか」が生成されている。第２質問Ｑ１および第２質問Ｑ２については、共通する単語「アジア」、「国」が含まれているため、第２質問Ｑ１および第２質問Ｑ２の類似度は閾値以上になる。そのため、曖昧性検証部１３は、第２質問Ｑ１「アジアにある国はなんですか」について、回答の数は「日本」および「中国」の２つであることを示す検証結果を出力する。
【0107】
一方、第２質問Ｑ３については、類似する他の第２質問は生成されていない。そのため、曖昧性検証部１３は、第２質問Ｑ３「北米の国はなんですか」について、回答の数は「カナダ」の１つであることを示す検証結果を出力する。
【0108】
出力部１４は、検証結果を参照し、第２質問Ｑ１について、回答の数が１つではないと判定し、第２質問Ｑ１を出力しない。一方、出力部１４は、検証結果を参照し、第２質問Ｑ３について、回答の数が１つであると判定し、第２質問Ｑ３を出力する。
【0109】
上述した特許文献１に記載の技術では、上述したように、回答を絞り込むために不足する情報を追加した質問を出力する。しかしながら、欠損した情報を追加したとしても、必ずしも曖昧性が解消される（質問の回答が１つになる）とは限らない。例えば、特許文献１に記載の技術を用いて、「アジアにある国はなんですか」に対して、「アジアの東部にある国はなんですか」という質問を生成したとしても、質問の曖昧性は解消されない。
【0110】
一方、出力部１４は、回答の数が１つの第２質問のみを出力する。そのため、出力部１４は、曖昧性が解消された第２質問を出力することができる。
【0111】
（変形例１）
出力部１４は、出力する第２質問が複数存在する場合、第１質問との類似度が高い第２質問を優先して出力する構成であってもよい。類似度の算出方法については、上述した通りである。一方、出力部１４は、出力する第２質問が複数存在する場合、第１質問との類似度が低い第２質問を優先して出力する構成であってもよい。
出力部１４は、出力する第２質問が複数存在する場合、第１質問との類似度が高い第２質問を優先して出力する構成であってもよい。類似度の算出方法については、上述した通りである。一方、出力部１４は、出力する第２質問が複数存在する場合、第１質問との類似度が低い第２質問を優先して出力する構成であってもよい。
【0112】
（変形例２）
曖昧性検証部１３は、質問生成部１２が質問を生成する際に参照した文章の類似度を算出し、類似度が高い文章を参照して生成された第２質問について、回答の数を検証してもよい。例えば、図４に示す例において、文章Ｐ１と文章Ｐ２との類似度が高い場合、曖昧性検証部１３は、第２質問Ｑ１および第２質問Ｑ２について、回答の数を検証してもよい。当該構成により、曖昧性検証部１３が実行する処理量を減らすことができる。
曖昧性検証部１３は、質問生成部１２が質問を生成する際に参照した文章の類似度を算出し、類似度が高い文章を参照して生成された第２質問について、回答の数を検証してもよい。例えば、図４に示す例において、文章Ｐ１と文章Ｐ２との類似度が高い場合、曖昧性検証部１３は、第２質問Ｑ１および第２質問Ｑ２について、回答の数を検証してもよい。当該構成により、曖昧性検証部１３が実行する処理量を減らすことができる。
【0113】
〔ソフトウェアによる実現例〕
質問生成装置１、３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
質問生成装置１、３の一部又は全部の機能は、集積回路（ＩＣチップ）等のハードウェアによって実現してもよいし、ソフトウェアによって実現してもよい。
【0114】
後者の場合、質問生成装置１、３は、例えば、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータによって実現される。このようなコンピュータの一例（以下、コンピュータＣと記載する）を図７に示す。コンピュータＣは、少なくとも１つのプロセッサＣ１と、少なくとも１つのメモリＣ２と、を備えている。メモリＣ２には、コンピュータＣを質問生成装置１、３として動作させるためのプログラムＰが記録されている。コンピュータＣにおいて、プロセッサＣ１は、プログラムＰをメモリＣ２から読み取って実行することにより、質問生成装置１、３の各機能が実現される。
【0115】
プロセッサＣ１としては、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphic Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＭＰＵ（Micro Processing Unit）、ＦＰＵ（Floating point number Processing Unit）、ＰＰＵ（Physics Processing Unit）、ＴＰＵ（Tensor Processing Unit）、量子プロセッサ、マイクロコントローラ、又は、これらの組み合わせなどを用いることができる。メモリＣ２としては、例えば、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又は、これらの組み合わせなどを用いることができる。
【0116】
なお、コンピュータＣは、プログラムＰを実行時に展開したり、各種データを一時的に記憶したりするためのＲＡＭ（Random Access Memory）を更に備えていてもよい。また、コンピュータＣは、他の装置との間でデータを送受信するための通信インターフェースを更に備えていてもよい。また、コンピュータＣは、キーボードやマウス、ディスプレイやプリンタなどの入出力機器を接続するための入出力インターフェースを更に備えていてもよい。
【0117】
また、プログラムＰは、コンピュータＣが読み取り可能な、一時的でない有形の記録媒体Ｍに記録することができる。このような記録媒体Ｍとしては、例えば、テープ、ディスク、カード、半導体メモリ、又はプログラマブルな論理回路などを用いることができる。コンピュータＣは、このような記録媒体Ｍを介してプログラムＰを取得することができる。また、プログラムＰは、伝送媒体を介して伝送することができる。このような伝送媒体としては、例えば、通信ネットワーク、又は放送波などを用いることができる。コンピュータＣは、このような伝送媒体を介してプログラムＰを取得することもできる。
【0118】
〔付記事項１〕
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
本発明は、上述した実施形態に限定されるものでなく、請求項に示した範囲で種々の変更が可能である。例えば、上述した実施形態に開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。
【0119】
〔付記事項２〕
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
上述した実施形態の一部又は全部は、以下のようにも記載され得る。ただし、本発明は、以下の記載する態様に限定されるものではない。
【0120】
（付記１）
複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、を備える質問生成装置。
複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、を備える質問生成装置。
【0121】
（付記２）
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記１に記載の質問生成装置。
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記１に記載の質問生成装置。
【0122】
（付記３）
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルに、前記第１質問に対する複数の回答のうち少なくとも何れかの回答および当該回答に関連付けられた文章を入力することによって、前記第２質問を生成する、付記１または２に記載の質問生成装置。
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルに、前記第１質問に対する複数の回答のうち少なくとも何れかの回答および当該回答に関連付けられた文章を入力することによって、前記第２質問を生成する、付記１または２に記載の質問生成装置。
【0123】
（付記４）
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルであって、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルによって生成された第１中間情報および第２中間情報を参照することによって、前記第２質問を生成し、前記第１中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成され、前記第２中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち前記第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される、付記１または２に記載の質問生成装置。
前記質問生成手段は、１の文字列および１の文章を入力として、当該１の文字列が回答となる１の質問を出力するように学習済の質問生成モデルであって、出力する質問を構成するトークンの並びの予測確率を示す中間情報を生成する質問生成モデルによって生成された第１中間情報および第２中間情報を参照することによって、前記第２質問を生成し、前記第１中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち第１回答および当該第１回答に関連付けられた文章を入力することにより生成され、前記第２中間情報は、前記質問生成モデルに、前記第１質問に対する複数の回答のうち前記第１回答とは異なる第２回答および当該第２回答に関連付けられた文章を入力することにより生成される、付記１または２に記載の質問生成装置。
【0124】
（付記５）
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問を構成するトークンの並びが他の前記第２質問と類似する度合いを類似度として、回答がいくつ存在するかを検証する、付記２に記載の質問生成装置。
前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問を構成するトークンの並びが他の前記第２質問と類似する度合いを類似度として、回答がいくつ存在するかを検証する、付記２に記載の質問生成装置。
【0125】
（付記６）
前記質問生成手段は、前記複数の回答のそれぞれについて前記第２質問を生成する際に、当該第２質問が当該回答に対する質問として適切であるかの度合いを示す適切度を算出し、前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問の類似度が閾値以上であった場合、当該第２質問および当該他の前記第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する、付記２に記載の質問生成装置。
前記質問生成手段は、前記複数の回答のそれぞれについて前記第２質問を生成する際に、当該第２質問が当該回答に対する質問として適切であるかの度合いを示す適切度を算出し、前記曖昧性検証手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問の類似度が閾値以上であった場合、当該第２質問および当該他の前記第２質問のそれぞれの適切度が閾値以上であるか否かに基づいて、回答がいくつ存在するかを検証する、付記２に記載の質問生成装置。
【0126】
（付記７）
質問生成装置が、複数の回答が存在する第１質問を取得することと、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成することと、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証することと、前記検証することにおける検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力することと、を含む質問生成方法。
質問生成装置が、複数の回答が存在する第１質問を取得することと、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成することと、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証することと、前記検証することにおける検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力することと、を含む質問生成方法。
【0127】
（付記７ａ）
前記検証することにおいて、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記７に記載の質問生成方法。
前記検証することにおいて、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記７に記載の質問生成方法。
【0128】
（付記８）
コンピュータを質問生成装置として機能させるプログラムであって、前記コンピュータを、複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、として機能させるプログラム。
コンピュータを質問生成装置として機能させるプログラムであって、前記コンピュータを、複数の回答が存在する第１質問を取得する取得手段と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成手段と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証手段と、前記曖昧性検証手段による検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力手段と、として機能させるプログラム。
【0129】
（付記８ａ）
前記曖昧性判定手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記８に記載のプログラム。
前記曖昧性判定手段は、複数の前記第２質問のそれぞれについて、当該第２質問および他の前記第２質問が類似する度合いを示す類似度に基づいて、回答がいくつ存在するかを検証する、付記８に記載のプログラム。
【0130】
（付記９）
少なくとも１つのプロセッサを備え、前記プロセッサは、複数の回答が存在する第１質問を取得する取得処理と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成処理と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証処理と、前記曖昧性検証処理における検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力処理とを実行する質問生成装置。
少なくとも１つのプロセッサを備え、前記プロセッサは、複数の回答が存在する第１質問を取得する取得処理と、前記複数の回答のそれぞれについて、当該回答を示す文字列が回答となる第２質問を生成する質問生成処理と、複数の前記第２質問のそれぞれについて、回答がいくつ存在するかを検証する曖昧性検証処理と、前記曖昧性検証処理における検証結果に基づき、複数の前記第２質問のうち、前記第１質問よりも回答の数が少ない第２質問を出力する出力処理とを実行する質問生成装置。
【0131】
なお、この質問生成装置は、更にメモリを備えていてもよく、このメモリには、前記取得処理と、前記質問生成処理と、前記曖昧性検証処理、前記出力処理とを前記プロセッサに実行させるためのプログラムが記憶されていてもよい。また、このプログラムは、コンピュータ読み取り可能な一時的でない有形の記録媒体に記録されていてもよい。
【符号の説明】
【0132】
１、３ 質問生成装置
１１ 取得部
１２ 質問生成部
１３ 曖昧性検証部
１４ 出力部
１１ 取得部
１２ 質問生成部
１３ 曖昧性検証部
１４ 出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】