(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138678
(43)【公開日】2024-10-09
(54)【発明の名称】仮説生成装置及び仮説生成方法
(51)【国際特許分類】
G06F 40/279 20200101AFI20241002BHJP
G06F 40/56 20200101ALI20241002BHJP
G06F 16/90 20190101ALI20241002BHJP
【ＦＩ】
G06F40/279
G06F40/56
G06F16/90 100
【審査請求】未請求
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023049274
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】301022471
【氏名又は名称】国立研究開発法人情報通信研究機構
(74)【代理人】
【識別番号】100099933
【弁理士】
【氏名又は名称】清水 敏
(72)【発明者】
【氏名】飯田 龍
(72)【発明者】
【氏名】鳥澤 健太郎
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA01
5B175EA01
(57)【要約】
【課題】入力の内容に関連しつつも容易には思い付かない興味深い仮説が得られ、しかもその信頼性が高い仮説を生成できる仮説生成装置及び仮説生成方法を提供する。
【解決手段】仮説生成装置１００は、テキスト１１０の入力を受けて、当該テキスト１１０に関連する関連テキストを作成するための関連テキスト作成部１１４と、テキスト１１０と関連テキストとを入力として受け、テキスト１１０から仮説を生成するようにあらかじめ学習した仮説生成モデル１２２とを含む。
【選択図】図１
【解決手段】仮説生成装置１００は、テキスト１１０の入力を受けて、当該テキスト１１０に関連する関連テキストを作成するための関連テキスト作成部１１４と、テキスト１１０と関連テキストとを入力として受け、テキスト１１０から仮説を生成するようにあらかじめ学習した仮説生成モデル１２２とを含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
テキストの入力を受けて、当該テキストに関連する関連テキストを作成するための関連テキスト作成部と、
前記テキストと前記関連テキストとを入力として受け、前記テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルとを含む、仮説生成装置。
前記テキストと前記関連テキストとを入力として受け、前記テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルとを含む、仮説生成装置。
【請求項2】
前記関連テキスト作成部は、
前記テキストに基づいて１又は複数の質問を生成する質問生成部と、
前記質問生成部により生成された前記１又は複数の質問に対する回答を含むパッセージを、既存のテキストアーカイブから検索し、前記関連テキストとして出力するための質問応答部とを含む、請求項１に記載の仮説生成装置。
前記テキストに基づいて１又は複数の質問を生成する質問生成部と、
前記質問生成部により生成された前記１又は複数の質問に対する回答を含むパッセージを、既存のテキストアーカイブから検索し、前記関連テキストとして出力するための質問応答部とを含む、請求項１に記載の仮説生成装置。
【請求項3】
前記仮説生成装置はさらに、
入力された前記テキストに代えて、前記仮説生成モデルにより生成された前記仮説を前記関連テキスト作成部に入力して、前記仮説生成モデルにより新たな仮説を生成させる仮説連続生成部を含む、請求項１に記載の仮説生成装置。
入力された前記テキストに代えて、前記仮説生成モデルにより生成された前記仮説を前記関連テキスト作成部に入力して、前記仮説生成モデルにより新たな仮説を生成させる仮説連続生成部を含む、請求項１に記載の仮説生成装置。
【請求項4】
前記仮説生成装置はさらに、
入力された前記テキストと、前記仮説生成モデルにより生成された前記仮説とのいずれかを選択して前記関連テキスト作成部に入力する第１セレクタと、
前記仮説生成モデルへの入力として、入力された前記テキストと、前記仮説生成モデルにより生成された前記仮説とのいずれかを選択し、前記関連テキストとともに前記仮説生成モデルに入力して、前記仮説生成モデルにより新たな仮説を生成させる第２セレクタとを含む、請求項１に記載の仮説生成装置。
入力された前記テキストと、前記仮説生成モデルにより生成された前記仮説とのいずれかを選択して前記関連テキスト作成部に入力する第１セレクタと、
前記仮説生成モデルへの入力として、入力された前記テキストと、前記仮説生成モデルにより生成された前記仮説とのいずれかを選択し、前記関連テキストとともに前記仮説生成モデルに入力して、前記仮説生成モデルにより新たな仮説を生成させる第２セレクタとを含む、請求項１に記載の仮説生成装置。
【請求項5】
前記仮説生成装置はさらに、入力された前記テキストと、前記関連テキスト作成部により生成された前記関連テキストとのいずれかを選択して前記関連テキスト生成部に入力する入力セレクタを含む、請求項１に記載の仮説生成装置。
【請求項6】
コンピュータが、テキストの入力を受けて、当該テキストに関連する関連テキストを作成するステップと、
コンピュータが、前記テキストと前記関連テキストとを入力として受け、前記テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルに入力することにより新たな仮説を生成する仮説生成ステップとを含む、仮説生成方法。
コンピュータが、前記テキストと前記関連テキストとを入力として受け、前記テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルに入力することにより新たな仮説を生成する仮説生成ステップとを含む、仮説生成方法。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、仮説生成技術に関し、特に、多様な仮説を生成できる仮説生成装置及び仮説生成方法に関する。
【背景技術】
【0002】
将来起こり得る事象を予測することは、例えば学問、ビジネス、政治などの世界において大きな意味を持つ。そうした予測に基づいて、将来のチャンス及びリスクに基づいた適切な意思決定を行うことが可能になる。
【0003】
このような予測を文又は文章など、人間に理解可能な形態にしたものを、この明細書においては、「仮説」という。仮説を生成する技術は大きく２種類に分類される。第１は、ウェブから収集した大量のテキスト（以下、「ウェブテキスト」という。）から、人が書いた知識を抽出し、それらを連結して仮説とする技術である。第２は、深層学習の生成技術を利用した、自動的な仮説生成技術である。
【0004】
第１の技術として、後掲の特許文献１に開示された技術がある。特許文献１に開示された技術は、大量の日本語ウェブテキストから、「名詞＋助詞＋述語」というテキストの対で表された因果関係を表すと考えられる単語列を収集する。この単語列のうち、先行するテキストが原因を表し、後続するテキストが帰結を表す。第１の因果関係のテキストの帰結部が別の因果関係の原因部と一致すれば、第１の因果関係の原因部と第２の因果関係の帰結部とを連鎖させて新たな単語列を作成する。特許文献１においては、この単語列を「社会シナリオ」と呼んでいる。このようにして因果関係を連鎖させる処理を繰り返すことにより、大量の社会シナリオを生成できる。
【0005】
第２の技術としてはＣｈａｔＧＰＴと呼ばれる技術が知られている。この技術は、いわゆる深層学習により学習したニューラルネットワークからなる言語モデルに関する。具体的には、入力されたテキストをもとに、仮説をニューラルネットワークにより生成して出力する。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開２０１７－３７５４４号公報
【非特許文献】
【0007】
【非特許文献1】ＯｐｅｎＡＩ、“Ｉｎｔｒｏｄｕｃｉｎｇ ＣｈａｔＧＰＧ”、［ｏｎｌｉｎｅ］、ＯｐｅｎＡＩホームページ、［令和５年３月５日検索］、インターネット＜URL:https://openai.com/blog/chatgpt＞
【発明の概要】
【発明が解決しようとする課題】
【0008】
上記した従来技術のうち、第１の技術においては、もともと存在しているデータを仮説の生成に利用する。そのため、どこにも存在していないような仮説は生成されにくく、生成される仮説の信頼性は高い。しかしその半面、どこにも存在していないような仮説は得られないという問題がある。
【0009】
第２の技術においては、逆に、生成処理の出力として仮説が得られるため、どのような入力に対しても何らかの出力が得られ、しかもその出力が全く新しいものである可能性もある。しかし、第２の技術においては、得られる内容に制限がないため、どのような内容が生成されるかが、実際に結果が得られるまで分からないという問題がある。また出力が明らかに誤っていることがあるため、出力の信頼性が低く、またその出力が妥当か否かを確認することが難しいというも問題もある。
【0010】
したがって、この発明の目的は、入力の内容に関連しつつも容易には思い付かない興味深い仮説が得られ、しかもその信頼性が高い仮説を生成できる仮説生成装置及び仮説生成方法を提供することである。
【課題を解決するための手段】
【0011】
本発明の第１の局面に係る仮説生成装置は、テキストの入力を受けて、当該テキストに関連する関連テキストを作成するための関連テキスト作成部と、テキストと関連テキストとを入力として受け、テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルとを含む。
【0012】
好ましくは、関連テキスト作成部は、テキストに基づいて１又は複数の質問を生成する質問生成部と、質問生成部により生成された１又は複数の質問に対する回答を含むパッセージを、既存のテキストアーカイブから検索し、関連テキストとして出力するための質問応答部とを含む。
【0013】
より好ましくは、仮説生成装置はさらに、入力されたテキストに代えて、仮説生成モデルにより生成された仮説を関連テキスト作成部に入力して、仮説生成モデルにより新たな仮説を生成させる仮説連続生成部を含む。
【0014】
さらに好ましくは、仮説生成装置はさらに、入力されたテキストと、仮説生成モデルにより生成された仮説とのいずれかを選択して関連テキスト作成部に入力する第１セレクタと、仮説生成モデルへの入力として、入力されたテキストと、仮説生成モデルにより生成された仮説とのいずれかを選択し、関連テキストとともに仮説生成モデルに入力して、仮説生成モデルにより新たな仮説を生成させる第２セレクタとを含む。
【0015】
好ましくは、仮説生成装置はさらに、入力されたテキストと、関連テキスト作成部により生成された関連テキストとのいずれかを選択して関連テキスト作成部に入力する入力セレクタを含む。
【0016】
本発明の第２の局面に係る仮説生成方法は、コンピュータが、テキストの入力を受けて、当該テキストに関連する関連テキストを作成するステップと、コンピュータが、テキストと関連テキストとを入力として受け、テキストから仮説を生成するようにあらかじめ学習した仮説生成モデルに入力することにより新たな仮説を生成する仮説生成ステップとを含む。
【0017】
この発明の上記及び他の目的、特徴、局面及び利点は、添付の図面と関連して理解されるこの発明に関する次の詳細な説明から明らかとなるであろう。
【発明の効果】
【0018】
この発明によれば、入力の内容に関連しつつも容易には思い付かない興味深い仮説が得られ、しかもその信頼性が高い仮説を生成できる仮説生成装置及び仮説生成方法を提供できる。また、仮説が導かれる過程で使われた関連テキストを仮説とあわせて提示することにより、ユーザは仮説が導かれた理由及び根拠を推察できる。このように理由及び根拠を推察できる仮説は、根拠が全く分からない仮説よりも有用性が非常に高い。
【図面の簡単な説明】
【0019】
【図1】は、この発明の第１実施形態に係る仮説生成システムの機能的構成を示すブロック図である。
【図8】は、第１実施形態の変形例における学習データの構成とその生成プロセスとを示す模式図である。
【図9】は、第１実施形態の変形例における学習データの生成プロセスの他の例を示す模式図である。
【図10】は、第１実施形態の変形例における学習データの変形例を生成するための学習データ生成システムの機能的構成を示すブロック図である。
【図11】は、第２実施形態において使用される関連テキスト作成部の機能的構成を示すブロック図である。
【図12】は、第３実施形態において使用される関連テキスト作成部の機能的構成を示すブロック図である。
【図13】は、第４実施形態に係る仮説生成システムの機能的構成を示すブロック図である。
【図15】は、第５実施形態に係る仮説生成システムの機能的構成を示すブロック図である。
【図17】は、第５実施形態に係る仮説生成ニューラルネットワークの学習データを生成するための学習データ生成システムの機能的構成を示すブロック図である。
【図18】は、第６実施形態に係る仮説生成システムの機能的構成を示すブロック図である。
【図19】は、第７実施形態に係る仮説生成システムの機能的構成を示すブロック図である。
【図20】は、第８実施形態に係る仮説生成ニューラルネットワークのための学習データを生成する学習データ生成システムの機能的構成を示すブロック図である。
【図21】は、第９実施形態に係る仮説生成ニューラルネットワークのための学習データを生成する学習データ生成システムの機能的構成を示すブロック図である。
【図22】は、第１０実施形態に係る仮説生成ニューラルネットワークのための学習データを生成する学習データ生成システムの機能的構成を示すブロック図である。
【図23】は、第１１実施形態に係る仮説生成ニューラルネットワークのための学習データを生成する学習データ生成システムの機能的構成を示すブロック図である。
【図24】は、第１２実施形態に係る仮説生成ニューラルネットワークのための学習データの構成を示す模式図である。
【図25】は、第８実施形態、第９実施形態及び第１０実施形態において使用される類似度計算モデルのための学習システムの機能的構成を示すブロック図である。
【図26】は、第８実施形態、第９実施形態及び第１０実施形態における類似度計算のためのモデルの学習方法を説明するための模式図である。
【図28】は、第８実施形態、第９実施形態及び第１０実施形態における類似度計算の算出方法を説明する模式図である。
【図29】は、この発明の各実施形態に係る仮説生成システム及び学習データ生成システムなどを実現するためのコンピュータの外観図である。
【発明を実施するための形態】
【0020】
以下の説明及び図面では、同一の部品には同一の参照番号を付してある。したがって、それらについての詳細な説明は繰返さない。
【0021】
１．第１実施形態
［構成］
図１から図７を参照して、この発明の第１実施形態に係る仮説生成システム１００について説明する。図１を参照して、仮説生成システム１００は、入力テキスト１１０及びキーワード１１２を入力として受ける。この例においては、キーワード１１２は入力テキスト１１０と別のものとして示すが、後述するように、キーワード１１２を入力テキスト１１０から抽出するようにしてもよい。
［構成］
図１から図７を参照して、この発明の第１実施形態に係る仮説生成システム１００について説明する。図１を参照して、仮説生成システム１００は、入力テキスト１１０及びキーワード１１２を入力として受ける。この例においては、キーワード１１２は入力テキスト１１０と別のものとして示すが、後述するように、キーワード１１２を入力テキスト１１０から抽出するようにしてもよい。
【0022】
仮説生成システム１００は、入力テキスト１１０を受ける第１入力と、後述する用意既に作成された仮説のテキストを受ける第２入力とを持ち、最初は入力テキスト１１０を、それ以後の処理においては仮説のテキストを、それぞれ選択して出力するセレクタ１８０と、セレクタ１８０の出力とキーワード１１２とを入力として受けて、これらに基づいて、セレクタ１８０から入力されたテキストの関連テキストを生成するための関連テキスト作成部１１４と、関連テキスト作成部１１４により生成された関連テキストを記憶するための関連テキスト記憶部１１６とを含む。
【0023】
仮説生成システム１００はさらに、入力されたテキスト及び関連テキスト記憶部１１６に記憶された関連テキストのいずれかとに基づいて、仮説を生成して出力するよう予め学習済の仮説生成ニューラルネットワーク１２２と、仮説生成ニューラルネットワーク１２２が出力した仮説を記憶するための仮説記憶部１２４と、関連テキスト作成部１１４に記憶された複数の関連テキストのいずれかを選択して、仮説生成ニューラルネットワーク１２２への入力の一部として出力するためのセレクタ１２０とを含む。セレクタ１１８の第２入力には、仮説記憶部１２４に記憶された仮説のいずれかが入力される。また、セレクタ１１８の出力は、関連テキスト作成部１１４の入力とともに、仮説生成ニューラルネットワーク１２２の入力にも接続される。
【0024】
仮説生成システム１００はさらに、入力テキスト１１０の入力を第１段階とし、仮説生成ニューラルネットワーク１２２から仮説が出力された後を第２段階以降として、仮説生成ニューラルネットワーク１２２に入力テキスト１１０又は仮説記憶部１２４に記憶された仮説の一つと、セレクタ１２０により選択された関連テキストの一つとを組み合わせて仮説生成ニューラルネットワーク１２２に入力して新たな仮説を生成するよう、セレクタ１１８、１２０及び仮説生成ニューラルネットワーク１２２を制御するための仮説連続生成制御部１２６とを含む。
【0025】
なお、この例において、関連テキスト作成部１１４は、多段の繰り返しのいずれにおいても、セレクタ１１８の出力するテキストとともにキーワード１１２を使用して複数の関連テキストを出力する。しかしこの発明はそのような実施形態には限定されない。例えば、第１段階目は入力テキスト１１０及びキーワード１１２を入力とし、第２段階以降はセレクタ１１８により選択された仮説と、仮説から抽出したキーワードとを使用して複数の関連テキストを生成するようにしてもよい。また、第２段階以降はセレクタ１１８により選択された仮説と、最初に入力されたキーワード１１２と、さらに仮説から抽出されたキーワードとを入力に加えるようにしてもよい。
【0026】
図２に、図１の関連テキスト作成部１１４の機能的構成を示す。図２を参照して、関連テキスト作成部１１４は、セレクタ１１８の出力するテキストとキーワード１１２とを使用して、１又は複数の質問文１４２を生成するための質問生成部１４０と、例えば予めウェブから収集した大量のテキストを記憶するための大規模コーパス１４４と、質問文１４２の各々について、大規模コーパス１４４を検索して、その質問文に対する回答を含む１又は複数の文からなるパッセージである回答パッセージを大規模コーパス１４４から抽出し、それらをランキングし、適切な回答を含むパッセージを残すようにフィルタリングして出力するための質問応答部１４６とを含む。質問応答部１４６により大規模コーパス１４４から抽出された回答パッセージが関連テキスト作成部１１４に入力されたテキストに対する関連テキスト１４８となる。
【0027】
図３に仮説生成ニューラルネットワーク１２２の入出力の関係を示す。図３を参照して、仮説生成ニューラルネットワーク１２２には、入力の先頭を示す［ＣＬＳ］トークンと、入力されるテキスト（セレクタ１１８の出力）と、［ＳＥＰ］と、関連テキストと［ＳＥＰ］トークンとを連結した文字列が入力１７０として与えられる。なお、これら文字列を構成する各単語は、予め単語ＩＤに変換されているものとする。仮説生成ニューラルネットワーク１２２は、この入力１７０に対して、仮説である出力単語列１７２を出力するよう予め学習済である。なお、出力単語列１７２の先頭は［ＣＬＳ］トークンに対応するベクトルとなっている。この実施形態においては、このベクトルは使用しない。
【0028】
図２に示す質問生成部１４０としては、例えばルールベースのもの、ニューラルネットワークによる生成モデルを使用するものなどが考えられる。ルールベースの方法として、入力されたテキストの一部を疑問詞に置換する方法がある。この方法も言語によりそれぞれ変化する。日本語の場合、例えば入力されたテキスト内の名詞を「誰」「何」に変更したり、名詞及び名詞句を一部除外した上で、「なぜ」「どうやって」「いつ」などの文字列を付与したりすることにより疑問文を生成できる。又は、入力されたテキスト内の名詞に質問表現を追加することによっても疑問文が生成できる。質問表現としては「～は何をしたい」「～は何をする」「～で何を使うか」「～で何をする」「～には何がある」「～は何がよい」「～は何がまずい」「～はどうやってするか」「～はどうやって使うか」「～はなぜするか」「～はなぜ使うか」などがある。これらを名詞に付加することにより質問文が生成できる。
【0029】
逆に、入力されたテキストの前に「何で」「なぜ」「どうやって」「何を使って」などを付加したり、入力されたテキストの後ろに「とどうなる」「ことで何が起きる」「ことでどのようなトラブルが起きる」などの文字列を付加したりしてもよい。
【0030】
質問文の生成としてはさらに、入力されたテキストの一部を削除した上で、上記したいずれかの規則を適用することも可能である。この場合、入力されたテキストの一部が削除されるため、得られる質問文は入力されたテキストから生成したものよりも抽象的な質問となる。
【0031】
この実施形態においては、質問生成部１４０としてニューラルネットワークからなる生成モデルを用いる。このモデルの学習データとしては、入力と、その入力から得られる、入力と何からの形により関連した質問とを組にしたものを用いればよい。例えば、入力として「名古屋が好きです。」、出力として「名古屋のどんな観光スポットが好きですか。」を持つものが考えられる。
【0032】
学習データを人手により作成することも考えられる。しかし、この実施形態においては、ウェブテキストなどから大規模に機械的に学習データを作成する。この実施形態においては、質問生成部１４０の学習データは以下のようにして生成する。
【0033】
図４は、質問生成部２２０のニューラルネットワークのための学習ベクトルを生成するための学習データ生成システム２００の機能的構成を示すブロック図である。図４を参照して、学習データ生成システム２００は、大規模コーパス２１０と、大規模コーパス２１０に記憶されているテキストのうちの質問文に着目し、その質問文と、その質問文の直前の所定数の文からなる前文脈とを抽出するための質問文＋前文脈抽出部２１２とを含む。質問文の発見方法は、対象となる言語により異なる。例えば日本語であれば文末が「か。」により終わっているような文が質問文として取り扱うことができる。英語であれば、文頭が疑問詞により始まる文、又は、「Ｄｏ」若しくは「Ｄｏｅｓ」により始まる文を質問文として取り扱うことができる。
【0034】
学習データ生成システム２００はさらに、質問文＋前文脈抽出部２１２により抽出された質問文と前文脈との組の各々から学習データを生成するための学習データ生成部２１４と、学習データ生成部２１４により生成された学習データを記憶するための学習データ記憶部２１６と、学習データ記憶部２１６に記憶された学習データを使用して質問生成部２２０の学習を行うための学習処理部２１８とを含む。
【0035】
例えば、テキスト内に「風邪のような症状で熱っぽい感じがするのに、熱がないというのは、どういうことでしょうか。」という文があり、その直前に前文脈として「おかしいと思い、何度か計ったのですが、３６．５度～３７度で変わりません。体も相当しんどく、食欲もないし倦怠感も酷いので、仕事にも行けない状態です。体を起こすのもしんどく、病院にも行けていません。」という文章があったとすれば、前者、すなわち質問を出力、後者、すなわち前文脈を入力として学習データが生成される。
【0036】
質問生成部２２０の学習データの構造は、質問の前文脈と、質問文をペアにしたものである。すなわち、前文脈を質問生成部２２０に入力したときの質問生成部２２０の出力が、その前文脈に続く質問文を生成するように質問生成部２２０のパラメータの学習を行う。
【0037】
質問を含むテキストを利用した、質問文の自動生成方法としてはこれ以外にも様々なものが考えられる。上記した学習データに加え、出力に含まれる表現の一部（名詞など）を自動的に抽出し、それを入力に追加することも考えられる。こうすることにより、入力に与えられた表現を含むような質問を生成するようにニューラルネットワークの学習が行える。又は、質問のタイプ（なぜ型、何型、どうやって型など）を事前に特定し、質問のタイプを指定する情報を入力に加えることも考えられる。こうすることにより、特定のタイプの質問が生成されるように質問生成部２２０の学習を行える。この場合、１つの入力テキストに対して異なるタイプの質問を生成するよう、複数ある質問タイプそれぞれに対して質問生成部２２０の入力を作成してもよい。
【0038】
質問のタイプとしては、上記した以外にも、例えば記述のスタイル（常語、敬語）、テンス（時制。過去形か否か）、人称代名詞を含むか否か、要求か否か、などが考えられる。こうした質問のタイプは、例えば特定のキーワードとともに入力に付与してもよい。この処理の詳細については、図１６を参照して後述する。
【0039】
図５に、仮説生成ニューラルネットワーク１２２のための学習データを生成する学習データ生成システム２５０の構成を示す。図５を参照して、学習データ生成システム２５０は、予めウェブから収集した大量のウェブテキストを含むウェブテキストアーカイブ２６２と、ウェブテキストアーカイブ２６２から予め抽出された因果関係を表す単語列の対とそれを含むテキストパッセージとから生成され、整形、省略補完などの処理を経て得られた、所定の文間意味的関係を表すテキスト対を多数記憶するための文間意味的関係ＤＢ２６０とを含む。文間意味的関係は、例えば、先に記載した因果関係と同様、２つのテキストからなるテキスト対の間の特定の関係のことをいう。例えば解決策関係（第１テキストが課題、第２テキストがその課題に対する解決策）、目的－事態・動作・状態関係（第１テキストが目的、第２テキストがその目的のための事態、動作、状態）などがある。
【0040】
文間意味的関係ＤＢ２６０に含まれる各テキスト対は、いずれもウェブテキストアーカイブ２６２から抽出されたものであり、文間意味的関係ＤＢ２６０の各テキスト対には、ウェブテキストアーカイブ２６２の対応部分へのアクセス情報が付与されている。
【0041】
学習データ生成システム２５０はさらに、文間意味的関係ＤＢ２６０に含まれる各テキスト対に対し、そのテキスト対に付与されたアクセス情報に基づき、そのテキスト対を含むパッセージをウェブテキストアーカイブ２６２から抽出し、元のテキスト対と、抽出されたパッセージとから仮説生成ニューラルネットワーク１２２のための学習データを生成するための学習データ生成部２６４とを含む。学習データ生成部２６４により生成された学習データは学習データ記憶部２６６に格納される。学習部２６８がこの学習データを学習データ記憶部２６６から読み出して仮説生成ニューラルネットワーク１２２の学習を行う。
【0042】
学習データ生成部２６４は、文間意味的関係ＤＢ２６０から各テキスト対を含むレコードを読み出すためのレコード読出部２９０と、レコード読出部２９０により読み出されたレコードを、第１テキスト、第２テキスト及びアクセス情報に分割するためのレコード分割部２９２と、レコード分割部２９２により出力されるアクセス情報を使用して、ウェブテキストアーカイブ２６２からそのテキスト対を含むパッセージを読み出すための対応テキスト読出部２９４と、レコード分割部２９２が出力する第１テキスト及び第２テキストと、対応テキスト読出部２９４から出力されたパッセージとを使用して学習データの組み立てを行って出力するための学習データ組み立て部２９６とを含む。
【0043】
図６に、上記した文間意味的関係ＤＢ２６０のレコードとウェブテキストアーカイブ２６２のウェブテキストとの具体例を示す。図６を参照して、例えばウェブテキストアーカイブ２６２にパッセージ３００があるものとする。これを例えば予め学習済のニューラルネットワークによる文間意味的関係判定・生成処理３０２を実行することにより、文間意味的関係知識３０４が得られる。
【0044】
文間意味的関係知識３０４は、例えばパッセージ３００から因果関係にあるテキスト対を抽出する。これら各テキストに、例えば人手により、又は自動的に、パッセージ３００に存在する文字列３１０を主語として補うなどの省略補完を行ったりすることにより、原因部３２０と帰結部３２２とからなる因果関係に関する文間意味的関係知識３０４が得られる。他の文間関係についても同様である。
【0045】
図７に、文間意味的関係知識３０４及びウェブテキストから抽出されたパッセージ３００から学習データ３３０を得る過程を模式図的に示す。図７を参照して、文間意味的関係知識３０４の原因部３２０が学習データ３３０の入力３４０となる。パッセージ３００が学習データ３３０の関連テキスト３４２となる。そして、文間意味的関係知識３０４の帰結部３２２が学習データ３３０の出力３４４となる。
【0046】
［動作］
上記第１実施形態に係る仮説生成システム１００は以下のように動作する。図１を参照して、仮説連続生成制御部１２６は、セレクタ１１８が最初に第１入力への入力を選択するようセレクタ１１８を制御する。その結果、入力テキスト１１０とキーワード１１２とが仮説生成システム１００に入力される。キーワード１１２は関連テキスト作成部１１４に入力され、入力テキスト１１０は関連テキスト作成部とセレクタ１１８の第１入力とに入力される。
上記第１実施形態に係る仮説生成システム１００は以下のように動作する。図１を参照して、仮説連続生成制御部１２６は、セレクタ１１８が最初に第１入力への入力を選択するようセレクタ１１８を制御する。その結果、入力テキスト１１０とキーワード１１２とが仮説生成システム１００に入力される。キーワード１１２は関連テキスト作成部１１４に入力され、入力テキスト１１０は関連テキスト作成部とセレクタ１１８の第１入力とに入力される。
【0047】
図２を参照して、質問生成部１４０は、入力テキスト１１０とキーワード１１２とに基づいて１又は複数の質問文１４２を生成し質問応答部１４６に与える。質問応答部１４６は、与えられた１又は複数の質問文１４２の各々について、大規模コーパス１４４からその質問に対する回答を含む１又は複数の回答パッセージを抽出し、関連テキスト１４８として出力する。
【0048】
仮説連続生成制御部１２６は、セレクタ１２０が関連テキスト記憶部１１６の第１番目の関連テキストを選択するようにセレクタ１２０を制御し、セレクタ１１８の出力とセレクタ１２０の双方の出力を連結した単語列が仮説生成ニューラルネットワーク１２２に入力される。このとき、入力単語列の先頭には、［ＣＬＳ］トークンが付与され、セレクタ１１８の出力とセレクタ１２０の出力との間には分離のための［ＳＥＰ］トークンが挿入され、セレクタ１２０の出力の末尾には同じ［ＳＥＰ］トークンが付加される。
【0049】
この入力に対して、仮説生成ニューラルネットワーク１２２が出力する単語列は、仮説記憶部１２４に記憶される。仮説生成ニューラルネットワーク１２２の出力として複数を選択してもよい。同様の処理が、セレクタ１２０が選択する関連テキストを切り替えながら繰り返される。関連テキスト記憶部１１６に記憶された関連テキストの全てについて上記した処理が完了すると第１段階の処理が終了する。
【0050】
第２段階においては、仮説連続生成制御部１２６は、セレクタ１１８が第２入力を選択し、セレクタ１２０が第２の関連テキストを選択するようにセレクタ１１８及び１２０を制御する。セレクタ１１８は仮説記憶部１２４に記憶された第１の仮説を選択し、関連テキスト作成部１１４に入力する。関連テキスト作成部１１４は、この仮設のテキストとキーワード１１２とに基づいて、第１段階と同様に複数の関連テキストを作成し関連テキスト記憶部１１６に出力する。セレクタ１２０は、関連テキスト記憶部１１６に記憶された関連テキストのうち、先頭の関連テキストを選択して出力する。セレクタ１１８が出力する仮説のテキストと、セレクタ１２０が出力する関連テキストとを連結した単語列が仮説生成ニューラルネットワーク１２２に入力され、仮説生成ニューラルネットワーク１２２の出力が仮説記憶部１２４に記憶される。以下、関連テキスト記憶部１１６に記憶された全ての関連テキストを使用するように上記した処理が繰り返される。
【0051】
関連テキスト記憶部１１６に記憶された全ての関連テキストが使用されると、仮説連続生成制御部１２６は、セレクタ１１８が仮説記憶部１２４に記憶された第２の仮説を選択するようにセレクタ１１８を制御する。第２の仮説のテキストは関連テキスト作成部１１４に入力され、複数の関連テキストが作成されて関連テキスト記憶部１１６に記憶される。仮説連続生成制御部１２６は、セレクタ１２０が関連テキスト記憶部１１６の第１の関連テキストを選択し出力するようセレクタ１２０を制御する。セレクタ１１８の出力及びセレクタ１２０の出力は連結され、仮説生成ニューラルネットワーク１２２に与えられる。仮説生成ニューラルネットワーク１２２の出力は新たな仮説として仮説記憶部１２４に記憶される。その後、仮説連続生成制御部１２６は、セレクタ１２０が第２番目の関連テキストを選択するようにセレクタ１２０を制御し、上記した処理を実行する。
【0052】
このようにして、仮説記憶部１２４に記憶された各仮説に対して、その仮説とキーワード１１２とから生成された関連テキストが作成される。そして、その仮説と、関連テキスト記憶部１１６に記憶された全ての関連テキストが組み合わされて新たな仮説が生成される。こうした処理が繰り返される。
【0053】
こうした処理を行い、所定の終了条件が充足された時点において仮説の生成を終了する。終了条件とは、例えば生成された仮説の数が一定数を超えたというような条件である。
【0054】
以上のように、この実施形態によれば、入力テキスト１１０に対してキーワード１１２を追加して仮説生成システム１００に与え、関連テキスト作成部１１４においてキーワード１１２に基づいて複数の関連テキストを生成する。この関連テキストを入力テキスト１１０に付加して仮説生成ニューラルネットワーク１２２に入力する。こうした実験により、入力からは容易に予測できないような興味深い仮説が得られることが分かった。また、キーワードとして特定のキーワードを入力することにより、そのキーワードを含む仮説が得られる傾向があることも分かった。そして、それら仮説の生成の根拠が分かる。すなわち、各仮説を生成するために、質問応答を経由して関連テキストをウェブから取得し、それを利用して仮説を生成している。その結果、最終的に生成された仮説がなぜそのようになったのかを、仮説の作成の際に使用された関連テキストにより確認できる。その結果、各仮説の信頼性も高くなるという効果がある。
【0055】
１Ａ．第１変形例
上記第１実施形態において、仮説生成ニューラルネットワーク１２２の学習には、図７に示すように、入力となる単語列と、関連テキストの単語列と、出力となる単語列とからなる学習データが使用されている。しかし、この発明はそのような実施形態には限定されない。学習データには、入力３４０と出力３４４とが得られた文間意味的関係知識３０４のタイプ（例えば因果関係、解決策関係、目的－事態・動作・状態関係など）を示す情報を付加するようにしてもよい。図８にそのための学習データの生成過程を示す。
上記第１実施形態において、仮説生成ニューラルネットワーク１２２の学習には、図７に示すように、入力となる単語列と、関連テキストの単語列と、出力となる単語列とからなる学習データが使用されている。しかし、この発明はそのような実施形態には限定されない。学習データには、入力３４０と出力３４４とが得られた文間意味的関係知識３０４のタイプ（例えば因果関係、解決策関係、目的－事態・動作・状態関係など）を示す情報を付加するようにしてもよい。図８にそのための学習データの生成過程を示す。
【0056】
図８を参照して、この変形例においては、学習データ３６０は、文間意味的関係知識３０４の原因部３２０からなる入力３４０と、関連テキスト３４２及び文間意味的関係タイプ３７０と、出力３４４とを含む。関連テキスト３４２及び文間意味的関係タイプ３７０の組み合わせが関連テキストとして機能する。
【0057】
仮説生成ニューラルネットワーク１２２の学習をこのようにする場合、仮説生成時の入力には、第１実施形態と同様、図１に示す入力テキスト１１０と、関連テキストとに加え、意味的関係を表す単語又は記号を含ませる必要がある。この場合の意味的関係としては、利用者が仮説生成時に定めて常に同じ値（例えば因果関係を表す記号）を入力に付与するようにしてもよいし、仮説生成時に意味的関係を表す任意の値を入力に付与するようにしてもよい。前者の場合には、仮説生成時に定めた値に従った関係に基づく仮説が得られるし、後者の場合には、よりバラエティに富んだ仮説が得られる可能性が高くなる。
【0058】
１Ｂ．第２変形例
仮説生成ニューラルネットワークの学習データの生成方法は上記第１実施形態及び第１変形例には限定されない。例えば図９に示すような方法も考えられる。図９を参照して、ウェブテキストアーカイブ中に、因果関係として原因部３９４と帰結部３９６とを含むパッセージ３８０が存在するものとする。パッセージ３８０には、原因部３９４に対応するテキスト３９０と、帰結部３９６に対応するテキスト３９２とが存在する。
仮説生成ニューラルネットワークの学習データの生成方法は上記第１実施形態及び第１変形例には限定されない。例えば図９に示すような方法も考えられる。図９を参照して、ウェブテキストアーカイブ中に、因果関係として原因部３９４と帰結部３９６とを含むパッセージ３８０が存在するものとする。パッセージ３８０には、原因部３９４に対応するテキスト３９０と、帰結部３９６に対応するテキスト３９２とが存在する。
【0059】
学習データの生成においては、このパッセージ３８０を原因部３９４及び帰結部３９６の関連テキストとしてもよい。このような学習データを用いる場合には、原因部３９４とパッセージ３８０とを入力して、帰結部３９６を抽出する処理が学習できる。その結果、パッセージ内に原因部と帰結部とが含まれている場合、そのパッセージを関連テキストとして原因部とともに入力して仮説の生成を行えば、帰結部が出力として得られる確率が高くなる。
【0060】
このような処理を仮説生成のためのニューラルネットワークに実行させるための学習データを生成するシステムの１例を図１７に示す。図１７を参照して、この学習データ生成システム６８０は、ウェブテキストアーカイブなど、大量のテキストを記憶した大規模コーパス２１０と、大規模コーパス２１０から互いに特定の関係にあるテキストペアとそのテキストペア（例えば図９に示すテキスト３９０及び３９２）を含むパッセージ（図９に示すパッセージ３８０）とを抽出し、それらをランキングし、適切な回答を含むパッセージを残すようにフィルタリングして出力するためのテキストペア抽出部６９０とを含む。ここでいう特定の関係とは、因果関係、解決策関係、目的－事態・動作・状態関係などを含む。
【0061】
学習データ生成システム６８０はさらに、テキストペア抽出部６９０により抽出されたテキストペアを構成する２つのテキストの間の意味的関係を推定する意味的関係推定部６９４と、テキストペア抽出部６９０により抽出されたパッセージ３８０を使用して関連テキストを生成するための関連テキスト作成部６９２とを含む。関連テキスト作成部６９２は関連テキストを生成するとはいうものの、この例においては抽出されたパッセージ３８０をそのまま使用する。
【0062】
学習データ生成システム６８０はさらに、テキストペア抽出部６９０により抽出されたテキストペアのうち、第１文（因果関係の場合には原因部）を入力とし、抽出されたパッセージを関連テキストとし、第２文（因果関係の場合には帰結部）を出力としてこれらを連結することにより学習データを生成するための学習データ生成部６９６を含む。学習データ生成部６９６により出力された学習データを学習データ記憶部６９８に保存し、学習処理部７００がこの学習データを用いて仮説生成ニューラルネットワーク６０４の学習を行うことにより、仮説生成ニューラルネットワーク６０４が、入力に応答して、関連テキストに含まれている出力に相当する文を生成する処理を学習することになる。
【0063】
さらに、図９に戻り、パッセージ３８０内において、原因部３９４及び帰結部３９６に対応するテキスト３９０とテキスト３９２とからなるテキスト４００を削除するようにしてもよい。その結果得られたパッセージ３８２を関連テキストとして仮説生成ニューラルネットワーク６０４の学習を行う。
学習データをこのようにすることにより、入力＋関連テキストに基づいて、いずれにも記載されていない内容（入力に対する帰結）を出力するように仮説生成ニューラルネットワーク６０４の学習が行える。
学習データをこのようにすることにより、入力＋関連テキストに基づいて、いずれにも記載されていない内容（入力に対する帰結）を出力するように仮説生成ニューラルネットワーク６０４の学習が行える。
【0064】
１Ｃ．第３変形例
仮説生成ニューラルネットワークのための学習データは上記したものには限定されない。例えば、学習データの出力部に含まれる内容語又は句などを関連テキストとして入力に加えるようにしてもよい。図１０に、そのような学習を行う仮説生成ニューラルネットワーク４５２のための学習データを生成する学習データ生成システム４４０の機能的構成を示す。
仮説生成ニューラルネットワークのための学習データは上記したものには限定されない。例えば、学習データの出力部に含まれる内容語又は句などを関連テキストとして入力に加えるようにしてもよい。図１０に、そのような学習を行う仮説生成ニューラルネットワーク４５２のための学習データを生成する学習データ生成システム４４０の機能的構成を示す。
【0065】
図１０を参照して、学習データ生成システム４４０は、ウェブテキストアーカイブ２６２と、文間意味的関係ＤＢ２６０と、これらに記憶されている内容を使用して仮説生成ニューラルネットワーク４５２のための学習データを生成するための学習データ生成部４５０とを含む。
【0066】
学習データ生成部４５０は、レコード読出部２９０と、レコード読出部２９０により文間意味的関係ＤＢ２６０から読み出された文間意味的関係を表すレコードを、原因部と、帰結部と、アクセス情報とに分割するためのレコード分割部４６０と、レコード分割部４６０により出力されるアクセス情報を用いて、ウェブテキストアーカイブ２６２から処理中の因果関係の表現を含むパッセージである対応テキストを読み出すための対応テキスト読出部２９４と、レコード分割部４６０が出力する第２テキストから、第２テキストに含まれる内容語又は句を抽出するための内容語句抽出部４６２と、レコード分割部４６０が出力する第１テキスト及び第２テキストと、内容語句抽出部４６２が出力する語句と、対応テキスト読出部２９４から出力されたパッセージとを使用して学習データの組み立てを行って出力するための学習データ組み立て部４６４とを含む。
【0067】
このような学習データを使用して生成された学習データは学習データ記憶部２６６に記憶される。学習部２６８がこの学習データを使用して仮説生成ニューラルネットワーク４５２の学習を行う。仮説生成ニューラルネットワーク４５２による仮説生成時には、図１に示すものと同様の入力テキスト１１０と、キーワード１１２とを受けて関連テキストを生成した後、入力テキスト１１０と、関連テキストと、キーワード１１２とを仮説生成ニューラルネットワーク４５２に入力する。その結果、仮説生成ニューラルネットワーク４５２への出力として仮説が得られる。なおこの場合、キーワード１１２とは異なる別のキーワードを利用者に入力させるようにしてもよい。
【0068】
この変形例によれば、例えば「漁業」に関する仮説の生成結果を特に得たい場合には、その「漁業」というキーワードが含まれるように仮説生成ニューラルネットワーク４５２の学習が行えるようになる。その結果、特定の分野の仮説を特に得たい場合に、精度よく求める分野の仮説を得ることができる。
【0069】
２．第２実施形態
上記第１実施形態において、図１に示す関連テキスト作成部１１４は、図２に示すようにニューラルネットワークを用いた質問生成部１４０により質問文１４２を生成している。しかしこの発明はそのような実施形態には限定されない。
上記第１実施形態において、図１に示す関連テキスト作成部１１４は、図２に示すようにニューラルネットワークを用いた質問生成部１４０により質問文１４２を生成している。しかしこの発明はそのような実施形態には限定されない。
【0070】
図１１に、この第２実施形態に係る仮説生成システムにおいて図２に示す関連テキスト作成部１１４に代えて使用できる関連テキスト作成部４７０の機能的構成を示す。図１１を参照して、関連文生成部４７０は、入力されたキーワード１１２をキーにインターネット４７２上においてウェブ検索をし、そのキーワード１１２を含む複数の文からなるスニペット４８２を集めるためのウェブ検索部４８０を含む。この第２実施形態においては、このスニペット４８２を関連テキスト４７４として使用する。
【0071】
こうした実施の形態によっても、第１実施形態と同様の作用及び効果を得ることができる。
【0072】
３．第３実施形態
図１２に、この発明の第３実施形態に係る仮説生成システムにおいて使用される関連テキスト作成部４９０のさらに他の例を示す。図１に示す関連テキスト作成部１１４に代えて、この関連テキスト作成部４９０を使用してもこの発明に係る仮説生成システムを実現できる。
図１２に、この発明の第３実施形態に係る仮説生成システムにおいて使用される関連テキスト作成部４９０のさらに他の例を示す。図１に示す関連テキスト作成部１１４に代えて、この関連テキスト作成部４９０を使用してもこの発明に係る仮説生成システムを実現できる。
【0073】
図１２を参照して、関連テキスト作成部４９０は、入力テキスト１１０（図１を参照）からキーワードを抽出するためのキーワード抽出部５００と、キーワード抽出部５００により抽出されたキーワードに基づいて１又は複数の質問文１４２を生成するための質問生成部１４０と、質問文１４２の各々を使用して大規模コーパス１４４から質問文に対する回答を含むパッセージを抽出するための質問応答部１４６と、質問応答部１４６が抽出した回答を含むパッセージの各々から、内容語又は句などを抽出する単語抽出部５０２とを含む。単語抽出部５０２が抽出した単語又は句が関連テキスト４９２として使用される。
【0074】
このような実施形態によっても、第１の実施形態と同様に、入力にその関連テキストとしての単語又は句を追加して仮説生成ニューラルネットワークに入力できる。その結果、第１実施形態と同様の効果を得ることができる。
【0075】
４．第４実施形態
図１３に、この発明の第４実施形態に係る仮説生成システム５１０の機能的構成を示す。図１３を参照して、仮説生成システム５１０は、入力テキスト１１０の入力を受けて関連テキストを生成し出力する関連テキスト作成部５２０と、関連テキスト作成部５２０により生成された関連テキストを格納するための関連テキスト記憶部１１６と、関連テキスト記憶部１１６に記憶された複数の関連テキストの一つを順番に選択するためのセレクタ５２２と、入力テキスト１１０とセレクタ５２２の出力とを連結した入力を受けて、入力テキスト１１０に対する仮説を生成し出力するための、予め学習済の仮説生成ニューラルネットワーク５２４とを含む。
図１３に、この発明の第４実施形態に係る仮説生成システム５１０の機能的構成を示す。図１３を参照して、仮説生成システム５１０は、入力テキスト１１０の入力を受けて関連テキストを生成し出力する関連テキスト作成部５２０と、関連テキスト作成部５２０により生成された関連テキストを格納するための関連テキスト記憶部１１６と、関連テキスト記憶部１１６に記憶された複数の関連テキストの一つを順番に選択するためのセレクタ５２２と、入力テキスト１１０とセレクタ５２２の出力とを連結した入力を受けて、入力テキスト１１０に対する仮説を生成し出力するための、予め学習済の仮説生成ニューラルネットワーク５２４とを含む。
【0076】
仮説生成システム５１０はさらに、仮説生成ニューラルネットワーク５２４が出力した複数の仮説を記憶するための仮説記憶部１２４と、仮説生成ニューラルネットワーク５２４による仮説の生成と関連テキスト作成部５２０による関連テキストの生成と、セレクタ５２２による関連テキストの選択とを制御することにより、入力テキスト１１０のみから、仮説記憶部１２４に記憶された複数の仮説の各々と入力テキスト１１０とから、又は仮説の各々から、関連テキストを生成し、それら関連テキストと入力テキスト１１０とを組み合わせて仮説生成ニューラルネットワーク５２４に入力してさらに新たな仮説を生成するよう、関連テキスト作成部５２０の制御５３０及びセレクタ５２２の制御５２８を実行するための仮説連続生成制御部５２６とを含む。
【0077】
図１４を参照して、関連テキスト作成部５２０は、これまでに生成された仮説と入力テキスト１１０とを入力として受け、両者を組み合わせて新たな質問文５６２を生成するための質問生成部５６０と、質問文５６２に対する回答を含むパッセージを大規模コーパス１４４において検索して、質問文５６２に対する回答を含む回答パッセージを大規模コーパス１４４から抽出し、それらをランキングし、適切な回答を含むパッセージを残すようにフィルタリングして関連テキスト５４０として出力するための質問応答部１４６とを含む。
【0078】
質問生成部５６０における質問文５６２の生成方法は様々に考えられる。例えば入力テキスト１１０が「地球温暖化が進む」であり、前段までの処理により生成された仮説の一つが「海水温が上昇する」であるとする。両者を組み合わせた質問文の１例は、「地球温暖化が進み、海水温が上昇するのはなぜか？」のようなものである。このような質問文の生成は、単純に最初の入力と前段までの仮説の一つを組み合わせ、最後に「のはなぜか？」という文字列を追加するという処理により行える。同様にして他の形式の質問文も生成できる。
【0079】
関連テキスト作成部５２０は、例えばまだ仮説が生成されていないときには入力テキスト１１０のみを用いて質問文を生成する。仮説が生成された後は、新たに生成された仮説を入力テキスト１１０と組み合わせて質問文を生成する。
【0080】
質問文をこのように生成することにより、質問応答部１４６に与えられる質問文５６２は、質問として、対象がより明確な質問となる。その結果、質問応答部１４６が大規模コーパス１４４において検索して抽出する関連テキストは、入力に対して高い関連性を持ったものとなる可能性が高くなるという効果がある。
【0081】
５．第５実施形態
上記したように、この発明の仮説生成システムによれば、一つの入力に基づいて複数の仮説を得ることができる。上記実施の形態においてはそうした仮説と仮説との関係は特に明確に指定できるわけではない。もちろん、前段の仮説をもとに後続の仮説が生成されるという関係がある場合もある。しかし、一連の仮説をまとめて見たときに、そこには特に明確な繋がりが見いだせるというわけではない。
上記したように、この発明の仮説生成システムによれば、一つの入力に基づいて複数の仮説を得ることができる。上記実施の形態においてはそうした仮説と仮説との関係は特に明確に指定できるわけではない。もちろん、前段の仮説をもとに後続の仮説が生成されるという関係がある場合もある。しかし、一連の仮説をまとめて見たときに、そこには特に明確な繋がりが見いだせるというわけではない。
【0082】
しかし、一連の仮説の間に、推論又は議論の筋道のようなストーリー性があれば、一連の仮説の説得力が増すと考えられる。そのためにこの第５実施形態においては、カテゴリという概念を導入する。
【0083】
この実施形態における「カテゴリ」とは、前段の仮説と後段の仮説との間の仮説の内容の推移を示すためのものであり、先行する仮説と後続する仮説との間の意味的関係、推論の筋道、話題の筋道などを指定するものである。例えば「順接」「逆説」「例示」のようなものが考えられる。一連の仮説にわたり「順接→逆説→例示」のような仮説の推移を指定して順番に仮説を生成することにより、一連の仮説にストーリー性を持たせることが可能になる。その結果、ストーリーとしての盛り上がりを持った、より興味深い仮説が生成できる可能性がある。
【0084】
図１５に、第５実施形態に係る仮説生成システム５９０の機能的構成を示す。図１５を参照して、仮説生成システム５９０は、入力テキスト１１０を受ける第１入力と、入力テキスト１１０と異なる別の単語列（前段までの処理により生成された仮説）を受けるための第２入力とを持つセレクタ６００と、セレクタ６００の出力を受けるように接続され、入力に基づいて、入力に対する関連テキストを生成するための関連テキスト作成部５７０と、関連テキスト作成部５７０により生成された関連テキストを記憶するための関連テキスト記憶部５７２と、仮説生成ニューラルネットワーク６０４と、仮説生成ニューラルネットワーク６０４により出力される仮説を記憶するための仮説記憶部１２４とを含む。なお、この実施形態においてはキーワードの入力は使用していない。しかしこの発明はそのような実施形態には限定されず、第１実施形態と同様に、入力テキスト１１０に加えてキーワードの入力を受け、関連テキスト作成部５７０における関連テキストの作成において使用してもよい。
【0085】
関連テキスト作成部５７０の構成は図２に示す関連テキスト作成部１１４と同様であるが、質問生成部１４０を構成するニューラルネットワークに対する学習データの構成においてこの実施形態は第１実施形態と異なる。その点については後述する。
【0086】
仮説生成システム５９０はさらに、入力テキスト１１０を受ける第１入力と、仮説記憶部１２４に新たに記憶された仮説の一つとのいずれかを選択して仮説生成ニューラルネットワーク６０４の入力に与えるためのセレクタ６０２と、生成される仮説に順番に設定すべきカテゴリ列を記憶するためのカテゴリ設定記憶部６０８と、仮説記憶部１２４に新たな仮説が記憶されるたびに、セレクタ６００及び６０２を制御して処理段階に応じた入力を選択させるようにし、カテゴリ設定記憶部６０８に記憶されたカテゴリ列のうち、該当するカテゴリを示す情報（カテゴリ情報）を仮説生成ニューラルネットワーク６０４の入力に与える処理を行うための、仮説連続生成制御部６０６とを含む。
【0087】
仮説生成ニューラルネットワーク６０４には、セレクタ６０２の出力（入力テキスト１１０又は新規に生成された仮説）と、関連テキスト記憶部５７２に記憶された関連テキストの一つと、仮説連続生成制御部６０６からのカテゴリ情報とが与えられる。
【0088】
なお、関連テキスト記憶部５７２には複数の関連テキストが記憶されており、図１５には図示していないが、関連テキスト記憶部５７２からの出力には、関連テキスト記憶部５７２に記憶された関連テキストの一つを選択して仮説生成ニューラルネットワーク６０４に与えるためのセレクタが設けられる。このセレクタは仮説連続生成制御部６０６により制御され、例えばセレクタ６００により選択される仮説が切り替えられると、関連テキスト記憶部５７２に記憶された関連テキストを順番に選択して仮説生成ニューラルネットワーク６０４に与える。こうした処理により、新規な仮説が生成されると、少なくとも関連テキスト記憶部５７２に記憶された関連テキストと同じ数の仮説が新たに生成され仮説記憶部１２４に記憶されることになる。
【0089】
図１６に、図１５に示す関連テキスト作成部５７０に含まれる、質問文生成のためのニューラルネットワークのための学習データを生成する、学習データ生成システム６２０の機能的構成を示す。図１６を参照して、学習データ生成システム６２０は、大規模コーパス２１０から、質問文とその前文脈とを抽出するための質問文＋前文脈抽出部２１２と、質問文＋前文脈抽出部２１２により抽出された質問文とその前文脈とから質問文生成ニューラルネットワークの学習データを生成するための学習データ生成部６３０とを含む。大規模コーパス２１０及び質問文＋前文脈抽出部２１２の構成は、図４に示すものと同様である。
【0090】
学習データ生成部６３０は質問文＋前文脈抽出部２１２により抽出された質問文と前文脈とのテキストを互いに分離するためのテキスト分離部６４０と、テキスト分離部６４０により分離されたテキストのうち、質問文を受けて、その一部の表現を自動的に抽出し、その一部を変数に置き換えた表現を出力する一部表現抽出部６４２と、質問文のテキスト表現のスタイル（常語・敬語など）を特定し、そのスタイルを示す情報を出力するスタイル特定部６４４と、質問文の時制（テンス）を特定し、時制を表す情報を出力するテンス特定部６４６と、質問文の型（なぜ型、何型、どうやって型など）を特定し、質問文の型を示す情報を出力するための質問タイプ特定部６４８と、一部表現抽出部６４２の出力、スタイル特定部６４４の出力、テンス特定部６４６の出力、及び質問タイプ特定部６４８の出力を［ＳＥＰ］トークンにより互いに分離させて前文脈と連結し、さらに連結後の前文脈と質問文とを連結させて学習データ６３４として出力するための連結部６５０とを含む。
【0091】
このように前文脈に各種の情報を付与する場合、実際の質問生成時に、入力に対して、上記各種情報として所望の値を指定したものを付加することによって、意図した表現を含む質問、意図したスタイルの質問、意図した型の質問、意図した時制の質問などをニューラルネットワークにより生成させることが可能になる。図１６においては、各カテゴリを指定する値を組み合わせた例を示している。しかし、これらカテゴリは互いに独立である。したがって、学習データの作成時には、これらのカテゴリを表す値の一部のみを指定するようにしてもよい。
【0092】
なお、質問文＋前文脈抽出部２１２により抽出された質問文から名詞などを抽出し、それらを前文脈に追加することもできる。そうすることにより、入力に含まれる名詞を含む質問を質問生成のためのニューラルネットワークに生成させることができる。また、上記した情報以外にも、質問に人称代名詞を含ませるか否か、質問を要求型とするか否か、などを示す情報を前文脈に付加することもできる。
【0093】
６．第６実施形態
図１８に、この発明の第６実施形態に係る仮説生成システム７３０の機能的構成を示す。この仮説生成システム７３０は、入力テキスト１１０を受け、最初に関連テキストを生成した後、生成された関連テキストに基づいて新たな関連テキストを生成する、という処理を繰り返し実行する。所定の終了条件、例えば所定個数の関連テキストが生成された、という条件が成立した後、入力テキスト１１０が、生成済の関連テキストの各々とを組み合わされて仮説生成ニューラルネットワーク１２２に入力される。こうした処理により、長い仮説が生成される。
図１８に、この発明の第６実施形態に係る仮説生成システム７３０の機能的構成を示す。この仮説生成システム７３０は、入力テキスト１１０を受け、最初に関連テキストを生成した後、生成された関連テキストに基づいて新たな関連テキストを生成する、という処理を繰り返し実行する。所定の終了条件、例えば所定個数の関連テキストが生成された、という条件が成立した後、入力テキスト１１０が、生成済の関連テキストの各々とを組み合わされて仮説生成ニューラルネットワーク１２２に入力される。こうした処理により、長い仮説が生成される。
【0094】
図１８を参照して、仮説生成システム７３０は、入力テキスト１１０を受ける第１入力と、第２入力とを持つセレクタ７４０と、セレクタ７４０の出力を受け、セレクタ７４０の出力に基づいて１又は複数の関連テキストを生成するための関連テキスト作成部５７０と、関連テキスト作成部５７０により生成された関連テキストを記憶するための関連テキスト記憶部５７２とを含む。関連テキスト作成部５７０及び関連テキスト記憶部５７２の構成は、図１５に示したものと同様である。
【0095】
仮説生成システム７３０はさらに、関連テキスト記憶部５７２に記憶された関連テキストの一つを選択してセレクタ７４０の第２入力に与えることにより、関連テキスト作成部５７０に新たな関連テキストを生成させるためのセレクタ７４２と、関連テキスト作成部５７０による関連テキストの生成が完了した後、関連テキスト記憶部５７２に記憶されている関連テキストを順番に選択して出力するためのセレクタ１２０と、入力テキスト１１０とセレクタ１２０の出力を連結した入力を受けて仮説を生成するよう、予め学習済の仮説生成ニューラルネットワーク１２２と、仮説生成ニューラルネットワーク１２２により生成された仮説を記憶するための仮説記憶部１２４と、最初の仮説生成のサイクルとそれ以後のサイクルとにおいて、適切な入力を選択するようにセレクタ７４０及び１２０を制御して、仮説生成ニューラルネットワーク１２２に繰り返し仮説を生成させるための仮説生成制御部７４４とを含む。なお、この実施形態においては、１つの関連テキストから複数の関連テキストを得る、という処理を繰り返していく。この処理により、これら関連テキストはツリー状の関係を持って広がっていく。後述するように、仮説生成においては、このツリーのルートに相当する部分から葉の方向に向かう経路に沿って存在する一連の関連テキストを連鎖させ、それらから長い仮説を生成する。したがって、関連テキスト記憶部５７２には、各関連テキストについて、その関連テキストが、どの入力から得られたか、つまり入力テキスト１１０又は複数の関連テキストのいずれを入力として得られたかに関する情報も保持しておく。
【0096】
この実施形態において、仮説生成の最初のサイクルにおいては、セレクタ７４０は入力テキスト１１０を選択し、関連テキスト作成部５７０に入力する。関連テキスト作成部５７０はこの入力テキスト１１０に応答し１又は複数の関連テキストを生成する。関連テキスト記憶部５７２は、これら１又は複数の関連テキストを格納する。入力テキスト１１０からの関連テキストの生成が終了すると、セレクタ７４２は、これら複数の関連テキストを一つずつ選択して順番にセレクタ７４０の第２入力に与える。セレクタ７４０は、この関連テキストを関連テキスト作成部５７０に入力する。この結果、１又は複数の関連テキストが関連テキスト記憶部５７２に新たに格納される。
【0097】
このように関連テキスト記憶部５７２に記憶された関連テキストを用いて新たな関連テキストを作成する処理を繰り返していくと、やがて関連テキスト記憶部５７２に記憶された関連テキストの数が所定の数を超える。するとセレクタ７４２は新たな関連テキストの選択を終了する。
【0098】
セレクタ７４２による新たな関連テキストの選択が終了すると、セレクタ１２０は、関連テキスト記憶部５７２に格納されている関連テキストについて、上記したツリーにおいてルートから各葉に至る経路を順番に選択し、さらにその経路上の関連テキストを順番に選択して、つまり各経路上の関連テキストを連鎖させて入力テキスト１１０とともに仮説生成ニューラルネットワーク１２２に入力する。仮説生成ニューラルネットワーク１２２は、入力テキスト１１０と、セレクタ１２０が順番に出力する関連テキストとを入力として、それぞれ新たな仮説を生成する。仮説記憶部１２４は、これら生成された仮説を仮説記憶部１２４に記憶する。この新たな仮説は、互いに連鎖する関連テキストに基づいて得られた長い仮説となる。
【0099】
仮説生成ニューラルネットワーク１２２が関連テキスト記憶部５７２に記憶された互いに連鎖する関連テキストを全て使用して仮説を生成すると仮説生成システム７３０による仮説生成が終了する。
【0100】
この仮説生成システム７３０によれば、最初に複数の関連テキストが生成された後、それら複数の関連テキストの各々と入力テキスト１１０との組み合わせにより仮説が生成される。その結果、単純な処理により長い仮説を生成できるという効果がある。
【0101】
７．第７実施形態
図１９に、この発明の第７実施形態に係る仮説生成システム７７０の機能的構成を示す。図１９を参照して、仮説生成システム７７０は、図１に示すものと同様の関連テキスト作成部１１４、関連テキスト記憶部１１６、セレクタ１１８、１２０、及び仮説記憶部１２４と、セレクタ１１８の出力とセレクタ１２０の出力とを組み合わせて１文とする入力整形部７８０と、図１に示す仮説生成ニューラルネットワーク１２２と同様の機能を持つが、入力の形態として入力整形部７８０により整形された文を受けて仮説を生成するための仮説生成ニューラルネットワーク７８２と、入力テキスト１１０及びキーワード１１２の入力に応答して、複数の仮説を生成するよう、セレクタ１１８及び１２０を含む仮説生成システム７７０の各部を制御するための仮説連続生成制御部７８４とを含む。
図１９に、この発明の第７実施形態に係る仮説生成システム７７０の機能的構成を示す。図１９を参照して、仮説生成システム７７０は、図１に示すものと同様の関連テキスト作成部１１４、関連テキスト記憶部１１６、セレクタ１１８、１２０、及び仮説記憶部１２４と、セレクタ１１８の出力とセレクタ１２０の出力とを組み合わせて１文とする入力整形部７８０と、図１に示す仮説生成ニューラルネットワーク１２２と同様の機能を持つが、入力の形態として入力整形部７８０により整形された文を受けて仮説を生成するための仮説生成ニューラルネットワーク７８２と、入力テキスト１１０及びキーワード１１２の入力に応答して、複数の仮説を生成するよう、セレクタ１１８及び１２０を含む仮説生成システム７７０の各部を制御するための仮説連続生成制御部７８４とを含む。
【0102】
この仮説生成システム７７０が図１に示す仮説生成システム１００と異なるのは、仮説生成ニューラルネットワーク７８２の入力形式が図１の仮説生成ニューラルネットワーク１２２と異なる点、及びそのために入力整形部７８０を設けているという点である。そのほかの点においては、仮説生成システム７７０は、仮説生成システム１００と同じ構成を持つ。
【0103】
図１に示す仮説生成ニューラルネットワーク１２２への入力は、［ＣＬＳ］＋入力テキスト１１０の単語列＋［ＳＥＰ］＋関連テキストの単語列＋［ＳＥＰ］というものである。それに対して、入力整形部７８０は、入力テキスト１１０とセレクタ１２０からの関連テキストとを連結して自然な１文として仮説生成ニューラルネットワーク７８２への入力とする。例えば入力整形部７８０は、入力テキスト１１０とセレクタ１２０からの関連テキストとを組み合わせ、整形して「［ＣＬＳ］＋関連テキストの単語列＋「が、」＋入力テキスト１１０の単語列＋［ＳＥＰ］」という単語列を生成し仮説生成ニューラルネットワーク７８２に入力する。
【0104】
例として、入力テキスト１１０が「対話システムを開発する。」であり、キーワード１１２が「高齢者」であったとして、関連テキストとして「移動手段の確保で高齢者は困っている。」が得られたものとする。入力整形部７８０は、これら２つの文を連結し整形して、「移動手段の確保で高齢者は困っているが、対話システムを開発する。」という文を生成して仮説生成ニューラルネットワーク７８２への入力とする。
【0105】
仮説生成ニューラルネットワーク７８２としてこうした入力に基づいて仮説を生成するためには、学習データも上記した入力整形部７８０の出力と同型式にする必要がある。つまり、学習時にも関連テキスト記憶部１１６を記憶しておき、入力テキスト１１０と連結して１文としたものを仮説生成ニューラルネットワーク７８２への入力とする必要がある。
【0106】
８．第８実施形態
図２０に、この発明の第８実施形態に係る仮説生成ニューラルネットワーク８２６の学習のための学習データ生成システム８１０の機能的構成を示す。ここでは、学習の対象となる仮説生成ニューラルネットワーク８２６は、特に限定されないが、図１の実施形態に示す仮説生成ニューラルネットワーク１２２と同様の構成であると想定する。仮説生成ニューラルネットワーク８２６を使用して仮説を生成するシステムも図１に示す仮説生成システム１００と同様のものでよい。
図２０に、この発明の第８実施形態に係る仮説生成ニューラルネットワーク８２６の学習のための学習データ生成システム８１０の機能的構成を示す。ここでは、学習の対象となる仮説生成ニューラルネットワーク８２６は、特に限定されないが、図１の実施形態に示す仮説生成ニューラルネットワーク１２２と同様の構成であると想定する。仮説生成ニューラルネットワーク８２６を使用して仮説を生成するシステムも図１に示す仮説生成システム１００と同様のものでよい。
【0107】
この実施形態は、仮説生成ニューラルネットワーク８２６の学習データの生成方法に特徴を持つ。
【0108】
学習データ生成システム８１０は、文間意味的関係ＤＢ２６０と、文間意味的関係ＤＢ２６０に記憶されたテキスト対と、ウェブテキストアーカイブ２６２とに基づいて仮説生成ニューラルネットワーク８２６のための学習データを生成する学習データ生成部８２０とを含む。学習データ生成部８２０が生成した学習データは学習データ記憶部８２２に記憶される。学習部８２４が学習データ記憶部８２２に記憶された学習データを用いて仮説生成ニューラルネットワーク８２６の学習を行うことにより、仮説生成ニューラルネットワーク８２６が入力に応答して仮説を生成する。
【0109】
この実施形態においては、学習データの生成過程が第１実施形態における生成過程と異なる。その結果、仮説生成ニューラルネットワーク８２６は図１に示す仮説生成ニューラルネットワーク１２２とは異なる仮説を生成すると考えられる。
【0110】
学習データ生成部８２０は、文間意味的関係ＤＢ２６０の各レコードに含まれるテキスト対を読み出すレコード読出部８３０と、レコード読出部８３０により読み出されたレコードのテキストを第１文（因果関係の場合には原因部）及び第２文（因果関係の場合には帰結部）に分割するためのレコード分割部８３２とを含む。
【0111】
学習データ生成部８２０はさらに、レコード分割部８３２が出力する原因部を使用して１又は複数の質問文を生成するための質問生成部８３４と、質問生成部８３４により生成された１又は複数の質問の各々に対する回答を含む複数の回答パッセージをウェブテキストアーカイブ２６２において検索し、ウェブテキストアーカイブ２６２から抽出し、適切な回答を含むパッセージを残すようにフィルタリングして出力するための質問応答部８３６と、質問応答部８３６により出力された複数の回答パッセージを記憶するための応答記憶部８３８とを含む。
【0112】
学習データ生成部８２０はさらに、応答記憶部８３８に記憶されている複数の回答パッセージの各々と、レコード分割部８３２から出力される帰結部（仮説生成における出力に相当）との類似度を算出するための類似度算出部８４０と、類似度算出部８４０により複数の回答パッセージの各々について算出された類似度に基づいて、最も高い類似度に対応する回答パッセージを、原因部（入力）に対する関連テキストとして選択するための関連テキスト選択部８４２と、レコード分割部８３２により出力される原因部を入力、関連テキスト選択部８４２により選択された回答パッセージを関連テキスト、レコード分割部８３２により出力される帰結部を出力としてこれらを連結することにより、仮説生成ニューラルネットワーク８２６のための学習データを組み立てるための学習データ組み立て部８４４とを含む。
【0113】
【0114】
この実施形態によれば、原因部から質問生成部８３４が質問文を生成し、質問応答部８３６がその質問文に対する複数の回答パッセージをウェブテキストアーカイブ２６２から検索し、ウェブテキストアーカイブ２６２から抽出して、適切な回答を含むパッセージを残すようにフィルタリングする。そして、回答パッセージの中において帰結部と最も類似したものを類似度算出部８４０及び関連テキスト選択部８４２により選択する。その結果、原因部を入力、その原因部を持つ因果関係の帰結部に最も関連が深い関連テキスト、及びその因果関係の帰結部を組み合わせることにより、仮説生成ニューラルネットワーク８２６の学習データが作成される。
【0115】
９．第９実施形態
図２１に、この発明の第９実施形態に係る学習データ生成システム８５０の機能的構成を示す。第９実施形態において学習の対象となる仮説生成ニューラルネットワーク８６６は、特に限定されないが、図１の実施形態に示す仮説生成ニューラルネットワーク１２２と同様の構成であると想定する。仮説生成ニューラルネットワーク８６６を使用して仮説を生成するシステムも図１に示す仮説生成システム１００と同様のものでよい。
図２１に、この発明の第９実施形態に係る学習データ生成システム８５０の機能的構成を示す。第９実施形態において学習の対象となる仮説生成ニューラルネットワーク８６６は、特に限定されないが、図１の実施形態に示す仮説生成ニューラルネットワーク１２２と同様の構成であると想定する。仮説生成ニューラルネットワーク８６６を使用して仮説を生成するシステムも図１に示す仮説生成システム１００と同様のものでよい。
【0116】
この実施形態は、仮説生成ニューラルネットワーク８６６の学習データの生成方法に特徴を持つ。
【0117】
学習データ生成システム８５０は、第８実施形態と同様の文間意味的関係ＤＢ２６０と、文間意味的関係ＤＢ２６０に記憶されたテキスト対と、ウェブテキストアーカイブ２６２とに基づいて仮説生成ニューラルネットワーク８６６のための学習データを生成する学習データ生成部８６０とを含む。学習データ生成部８６０が生成した学習データは学習データ記憶部８６２に記憶される。学習部８６４が学習データ記憶部８６２に記憶された学習データを用いて仮説生成ニューラルネットワーク８６６の学習を行うことにより、仮説生成ニューラルネットワーク８６６が入力に応答して仮説を生成する。
【0118】
この実施形態においては、学習データの生成過程が第１実施形態における生成過程とも、第８実施形態とも異なる。その結果、仮説生成ニューラルネットワーク８６６は図１に示す仮説生成ニューラルネットワーク１２２とも、図２０に示す仮説生成ニューラルネットワーク８２６とも異なる仮説を生成すると考えられる。
【0119】
学習データ生成部８６０は、図２０に示すものと同様、文間意味的関係ＤＢ２６０の各レコードに含まれるテキスト対を読み出すレコード読出部８３０と、レコード読出部８３０により読み出されたレコードのテキストを第１文（因果関係の場合には原因部）及び第２文（因果関係の場合には帰結部）に分割するためのレコード分割部８３２とを含む。
【0120】
学習データ生成部８６０はさらに、レコード分割部８３２が出力する帰結部を使用して１又は複数の質問文を生成するための質問生成部８７０と、質問生成部８７０により生成された１又は複数の質問の各々に対する回答を含む複数の回答パッセージをウェブテキストアーカイブ２６２から抽出するための質問応答部８７２と、質問応答部８７２により抽出された複数の回答パッセージを記憶するための応答記憶部８７４とを含む。
【0121】
学習データ生成部８６０はさらに、応答記憶部８７４に記憶されている複数の回答パッセージの各々と、レコード分割部８３２から出力される原因部（仮説生成における入力に相当）との類似度を算出するための類似度算出部８７６と、類似度算出部８７６により複数の回答パッセージの各々について算出された類似度に基づいて、最も高い類似度に対応する回答パッセージを、関連テキストとして選択するための関連テキスト選択部８７８と、レコード分割部８３２により出力される原因部を入力、関連テキスト選択部８７８により選択された回答パッセージを関連テキスト、レコード分割部８３２により出力される帰結部を出力としてこれらを連結することにより、仮説生成ニューラルネットワーク８６６のための学習データを組み立てるための学習データ組み立て部８８０とを含む。
【0122】
【0123】
この実施形態によれば、帰結部から質問生成部８７０が質問文を生成し、質問応答部８７２がその質問文に対する複数の回答パッセージをウェブテキストアーカイブ２６２から抽出する。そして、回答パッセージの中において原因部と最も類似したものを類似度算出部８７６及び関連テキスト選択部８７８により選択する。その結果、因果関係の原因部に相当する入力テキストと、その因果関係の帰結部から得られた回答パッセージのうち、入力テキスト１１０に最も関連が深い関連テキストと、その因果関係の帰結部とを組み合わせることにより、仮説生成ニューラルネットワーク８２６の学習データが作成される。
【0124】
１０．第１０実施形態
図２２に、この発明の第１０実施形態の機能的構成を示す。図２２を参照して、この第１０実施形態に係る学習データ生成システム９２０は、仮説生成ニューラルネットワーク９３６のための学習データを生成するための学習データ生成部９３０を含む。学習データ生成部９３０が生成した学習データは、学習データ記憶部９３２に記憶される。学習部９３４が学習データ記憶部９３２に記憶された学習データを使用して仮説生成ニューラルネットワーク９３６の学習を行うことにより、仮説生成ニューラルネットワーク９３６を図１に示す仮説生成ニューラルネットワーク１２２に代えて使用できるようになる。
図２２に、この発明の第１０実施形態の機能的構成を示す。図２２を参照して、この第１０実施形態に係る学習データ生成システム９２０は、仮説生成ニューラルネットワーク９３６のための学習データを生成するための学習データ生成部９３０を含む。学習データ生成部９３０が生成した学習データは、学習データ記憶部９３２に記憶される。学習部９３４が学習データ記憶部９３２に記憶された学習データを使用して仮説生成ニューラルネットワーク９３６の学習を行うことにより、仮説生成ニューラルネットワーク９３６を図１に示す仮説生成ニューラルネットワーク１２２に代えて使用できるようになる。
【0125】
学習データ生成部９３０は、図２０に示す学習データ生成部８２０と、図２１に示す学習データ生成部８６０との構成要素を組み合わせた部分を含む。より具体的には、学習データ生成部９３０は、図２０に示すものと同様のレコード読出部８３０、レコード分割部８３２、質問生成部８３４、質問応答部８３６、ウェブテキストアーカイブ２６２、応答記憶部８３８、及び類似度算出部８４０を含む。学習データ生成部９３０はさらに、図２１に示すものと同様の質問生成部８７０、質問応答部８７２、応答記憶部８７４、及び類似度算出部８７６を含む。
【0126】
学習データ生成部９３０はさらに、類似度算出部８４０により算出された類似度が最も高い回答パッセージを応答記憶部８３８から、類似度算出部８７６により算出された類似度が最も高い回答パッセージを応答記憶部８７４から、それぞれ読み出し、いずれか類似度が高い方の回答パッセージを関連テキストして選択し出力する関連テキスト選択部９４０と、レコード分割部８３２が出力する原因部を入力、関連テキスト選択部９４０が出力する回答パッセージを関連テキスト、レコード分割部８３２が出力する帰結部を出力としてこれらを結合し、学習データとして学習データ記憶部９３２に保存するための学習データ組み立て部９４２とを含む。
【0127】
類似度算出部８４０及び８７６による類似度計算までは、それぞれ第８実施形態及び第９実施形態における処理と同じである。この学習データ生成部９３０においては、関連テキスト選択部９４０が、類似度算出部８４０が算出した類似度と、類似度算出部８７６が算出した類似度とを比較し、いずれか高い方の類似度に対応する回答パッセージを応答記憶部８３８又は応答記憶部８７４から読み出して学習データ組み立て部９４２に出力する。その結果、第８実施形態と第９実施形態とを組み合わせて、いずれか学習結果として適切な回答パッセージを関連テキストとした学習データが生成できる。
【0128】
１１．第１１実施形態
図２３に、この発明の第１１実施形態に係る、仮説生成ニューラルネットワーク９８６のための学習データを生成する学習データ生成システム９７０の構成を示す。この例においては、仮説生成ニューラルネットワーク９８６の学習データは、これまでの学習データ生成システムにより生成されるものと同様、入力と、関連テキストと、出力とを組み合わせたものである。しかし、この実施形態においては、関連テキストの構成の点において他の実施形態、特に第１０実施形態とは異なる。
図２３に、この発明の第１１実施形態に係る、仮説生成ニューラルネットワーク９８６のための学習データを生成する学習データ生成システム９７０の構成を示す。この例においては、仮説生成ニューラルネットワーク９８６の学習データは、これまでの学習データ生成システムにより生成されるものと同様、入力と、関連テキストと、出力とを組み合わせたものである。しかし、この実施形態においては、関連テキストの構成の点において他の実施形態、特に第１０実施形態とは異なる。
【0129】
図２３を参照して、この第１１実施形態に係る学習データ生成システム９７０は、仮説生成ニューラルネットワーク９８６のための学習データを生成する学習データ生成部９８０を含む。学習データ生成部９８０が生成した学習データは、学習データ記憶部９８２に記憶される。学習部９８４が、学習データ記憶部９３２に記憶された学習データを使用して仮説生成ニューラルネットワーク９８６の学習を行う。この結果、仮説生成ニューラルネットワーク９８６を、図１に示す仮説生成ニューラルネットワーク１２２に代えて使用できるようになる。
【0130】
図２３を参照して、この第１１実施形態に係る学習データ生成システム９２０は、仮説生成ニューラルネットワーク９３６のための学習データを生成するための学習データ生成部９３０を含む。学習データ生成部９３０が生成した学習データは、学習データ記憶部９３２に記憶される。学習部９３４が学習データ記憶部９３２に記憶された学習データを使用して仮説生成ニューラルネットワーク９３６の学習を行うことにより、仮説生成ニューラルネットワーク９３６を図１に示す仮説生成ニューラルネットワーク１２２に代えて使用できるようになる。
【0131】
学習データ生成部９８０は、図２０に示す学習データ生成部８２０と、図２１に示す学習データ生成部８６０との構成要素を組み合わせた部分を含む。より具体的には、学習データ生成部９３０は、図２０に示すものと同様のレコード読出部８３０、レコード分割部８３２、質問生成部８３４、質問応答部８３６、ウェブテキストアーカイブ２６２、応答記憶部８３８、類似度算出部８４０、及び関連テキスト選択部８４２を含む。学習データ生成部９３０はさらに、図２１に示すものと同様の質問生成部８７０、質問応答部８７２、応答記憶部８７４、類似度算出部８７６、及び関連テキスト選択部８７８を含む。
【0132】
学習データ生成部９８０はさらに、レコード分割部８３２が出力する原因部を入力、関連テキスト選択部８４２が出力する回答パッセージと関連テキスト選択部８７８が出力する回答パッセージとを組み合わせたものを関連テキスト、レコード分割部８３２が出力する帰結部を出力としてこれらを結合し、学習データとして学習データ記憶部９８２に保存するための学習データ組み立て部９９０とを含む。
【0133】
この第１１実施形態において、関連テキスト選択部８４２及び関連テキスト選択部８７８による回答パッセージの選択までは、それぞれ第８実施形態及び第９実施形態における処理と同じである。この学習データ生成部９８０においては、学習データ組み立て部９９０が、関連テキスト選択部８４２が選択した回答パッセージと、関連テキスト選択部８７８が選択した回答パッセージとを連結し、関連データとして学習データに組み込む点において第１０実施形態と異なる。この場合、回答パッセージと回答パッセージとの間には、［ＳＥＰ］が挿入される。
【0134】
図２４に、学習データ組み立て部９９０が出力する学習データの１例の構成を示す。図２４を参照して、この学習データ１０１０は、「［ＣＬＳ］＋「対話システムを開発する」（入力１０２０）＋［ＳＥＰ］＋第１関連テキスト１０２２＋［ＳＥＰ］＋第２関連テキスト１０２４＋［ＳＥＰ］＋「高齢者の移動を支援する」（出力１０２６）」という形式を持つ。第１関連テキスト１０２２及び第２関連テキスト１０２４は、それぞれ原因部及び帰結部から得られた回答パッセージのうちで、それぞれ原因部との間、及び帰結部との間の類似度が最も高いものである。
【0135】
実際の仮説生成時には、例えば、図１に示すような構成において、関連テキスト記憶部１１６に記憶されている関連テキストを２つ選択して［ＳＥＰ］を介して連結して入力テキスト１１０に付加して仮説生成ニューラルネットワーク９８６に入力することが考えられる。
【0136】
その結果、この第１１実施形態によれば、第８実施形態と第９実施形態とを第１０実施形態とは異なる形態により組み合わせて、学習結果として適切な回答パッセージを組み合わせて関連テキストとした学習データが生成できる。
【0137】
１２．類似度計算
この発明の第８実施形態、第９実施形態、第１０実施形態、及び第１１実施形態においては、例えば原因部と回答パッセージ、及び帰結部と回答パッセージの間の類似度を算出している。以下、図２５から図２８を参照して、この類似度の算出方法について説明する。
この発明の第８実施形態、第９実施形態、第１０実施形態、及び第１１実施形態においては、例えば原因部と回答パッセージ、及び帰結部と回答パッセージの間の類似度を算出している。以下、図２５から図２８を参照して、この類似度の算出方法について説明する。
【0138】
図２５を参照して、この実施形態においては、類似度の算出に、深層学習による学習を行う類似度計算モデル１０７０を使用する。図２５は類似度計算モデル１０７０の学習を行うための学習システム１０５０の機能的構成を示す。
【0139】
図２５を参照して、学習システム１０５０は、ウェブテキストアーカイブ２６２と、ウェブテキストアーカイブ２６２からトピックワードを抽出するトピックワード抽出部１０６０と、トピックワード抽出部１０６０により抽出されたトピックワードを記憶するためのトピックワード記憶部１０６２とを含む。
【0140】
ここで、トピックワードとは、特に限定さないが、例えば、ウェブテキストアーカイブ２６２において頻出する名詞であって、出現頻度が上位のＮ個の単語のことをいう。ただし事前に定めたストップワードはトピックワードとしては採用しない。
【0141】
学習システム１０５０はさらに、ウェブテキストアーカイブ２６２に記憶されたウェブテキストと、トピックワード記憶部１０６２に記憶されたトピックワードとに基づいて、類似度計算モデル１０７０の学習データを生成するための類似度計算モデル学習データ生成部１０６４とを含む。この実施形態における類似度計算モデル１０７０の機能は、文又はパッセージと、他の文又はパッセージとの類似度計算に使用される特徴ベクトルを、各文又は各パッセージについて出力する機能である。そのために必要な類似度計算モデル学習データ生成部１０６４の構成及び特徴ベクトルの構成については後述する。
【0142】
学習システム１０５０はさらに、類似度計算モデル学習データ生成部１０６４の生成する学習データを記憶するための学習データ記憶部１０６６と、学習データ記憶部１０６６に記憶された学習データを用いて、類似度計算モデル１０７０の学習を行うための学習部１０６８とを含む。
【0143】
図２６に、この実施形態において使用する類似度計算モデル１０７０の学習形態を模式的に示す。図２６を参照して、類似度計算モデル１０７０の学習には、入力テキストとその入力テキストについて算出される特徴ベクトルとを教師データとして使用する。
【0144】
類似度計算モデル１０７０はＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ）として知られる言語モデル１１００と、言語モデル１１００の出力のうち、先頭の「ＣＬＳ」に対応する出力を入力として受けるリニア層＋ソフトマックス層との組み合わせからなるベクトル出力部１１０２とを含む。言語モデル１１００として使用するＢＥＲＴは事前学習済であって、後述するような方法によりファインチューニングする。
【0145】
教師データ１１０４は、先頭と末尾にそれぞれ［ＣＬＳ］と［ＳＥＰ］が付加された入力テキストと、その入力テキストについて予め算出された特徴ベクトルとの組み合わせを含む。
【0146】
教師データ１１０４の特徴ベクトルは以下のようにして生成される。図２５に示すウェブテキストアーカイブ２６２から、特徴ベクトルの生成対象となる１文を入力文として抽出する。その１文の前後の１文をあわせた３文に出現するトピックワードを特定する。そして、それらトピックワードの数をｍとする。このとき、１つのトピックワードが３文の中に複数回種出現しても、そのトピックワードの数は１と考える。
【0147】
特徴ベクトルとして、トピックワード記憶部１０６２に記憶されたトピックワードの数と同じ数の要素を持つベクトルを用いる。上記３文に出現するトピックワードについては、対応する要素の値を１／ｍ、上記３文に出現しないトピックワードについては要素の値を０とする。こうして得られるベクトルが、上記入力文（１文）の特徴ベクトルである。
【0148】
ウェブテキストアーカイブ２６２に含まれる各文について、上記した方法により自動的に特徴ベクトルを予め算出できる。
【0149】
図２６を参照して、類似度計算モデル１０７０の学習（ファインチューニング）においては、教師データ１１０４の入力テキストを言語モデル１１００に入力する。類似度計算モデル１０７０のベクトル出力部１１０２の出力として出力ベクトル１１０６が得られる。学習においては、教師データ１１０４の特徴ベクトルと出力ベクトル１１０６との間において、以下の式により算出される損失Ｌの合計を最小とするように類似度計算モデル１０７０のパラメータの学習を行う。
【0150】
【数1】
【0151】
このようなファインチューニングを行うことにより、類似度計算モデル１０７０は、ある文が入力されると、その文を含む前後３文に出現するトピックワードを予測するようになる。
【0152】
図２７に、図２５に示す類似度計算モデル学習データ生成部１０６４を実現するプログラムの制御構造をフローチャート形式により示す。図２７を参照して、このプログラムは、初期処理を実行するステップ１１３０と、図２５に示すウェブテキストアーカイブ２６２内の各テキストについてステップ１１３４を実行するステップ１１３２と、ステップ１１３２が完了したことに応答して終了処理を実行し、このプログラムの実行を終了するステップ１１３６とを含む。
【0153】
ステップ１１３４は、処理対象のテキスト内の各文について、ステップ１１４２を実行するステップ１１４０を含む。
【0154】
ステップ１１４２は、処理対象の文について、図２５に示すトピックワード記憶部１０６２を参照しながら、その前後の文とあわせて、上記した方法により特徴ベクトルを生成するステップ１１５０と、ステップ１１５０に続き、対象の文とステップ１１５０において算出された特徴ベクトルとを組み合わせ、学習データのレコードを生成するステップ１１５２と、ステップ１１５２において生成された学習データのレコードを図２５に示す学習データ記憶部１０６６に保存してステップ１１４２の実行を終了するステップ１１５４とを含む。
【0155】
このプログラムを実行することにより、類似度計算モデル１０７０の学習データが生成できる。
【0156】
このようにして学習が行われた類似度計算モデル１０７０を用いて、ある文又はパッセージと、ある回答パッセージとの類似度を算出する方法について説明する。なお、以下の説明においては、例として図２０に示すように、応答記憶部８３８に記憶された仮説のパッセージ（仮説の出力単語列）の一つと、文間意味的関係ＤＢ２６０から読み出されたテキスト対のうちの帰結部との間の類似度を算出する場合について述べる。
【0157】
図２８を参照して、出力（帰結部）の単語列１１８０を類似度計算モデル１０７０に入力し、類似度計算モデル１０７０の出力として出力ベクトル１１８４が得られる。一方、対象となるパッセージの単語列１１８２を類似度計算モデル１０７０に入力し、同様に出力ベクトル１１８６が得られる。出力ベクトル１１８４と出力ベクトル１１８６とは同じ次元数のベクトルであり、これらの間のコサイン類似度が算出可能である。算出されたコサイン類似度を帰結部と対象パッセージとの類似度１１９０とする。対象パッセージの各々について、このコサイン類似度算出部１１８８が類似度１１９０の値を算出することにより、類似度が最大となるパッセージが特定できる。
【0158】
第８実施形態、第９実施形態、第１０実施形態及び第１１実施形態のいずれにおいても、この類似度計算モデル１０７０を利用して類似度が算出できる。
【0159】
【0160】
図２９を参照して、このコンピュータシステム１２５０は、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）ドライブ１３０２を有するコンピュータ１２７０と、いずれもコンピュータ１２７０に接続された、ユーザと対話するためのキーボード１２７４、マウス１２７６、及びモニタ１２７２とを含む。もちろんこれらはユーザ対話が必要となったときのための構成の一例であって、ユーザ対話に利用できる一般のハードウェア及びソフトウェア（例えばタッチパネル、音声入力、ポインティングデバイス一般）であればどのようなものも利用できる。
【0161】
図３０を参照して、コンピュータ１２７０は、ＤＶＤドライブ１３０２に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２９０と、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２９２と、ＣＰＵ１２９０、ＧＰＵ１２９２、ＤＶＤドライブ１３０２に接続されたバス１３１０と、バス１３１０に接続され、コンピュータ１２７０のブートアッププログラムなどを記憶するＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１２９６と、バス１３１０に接続され、プログラムを構成する命令、システムプログラム、及び作業データなどを記憶するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２９８と、バス１３１０に接続された不揮発性メモリであるＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）１３００とを含む。ＳＳＤ１３００は、ＣＰＵ１２９０及びＧＰＵ１２９２が実行するプログラム、並びにＣＰＵ１２９０及びＧＰＵ１２９２が実行するプログラムが使用するデータなどを記憶するためのものである。コンピュータ１２７０はさらに、他端末との通信を可能とするネットワーク１２８６への接続を提供するネットワークＩ／Ｆ１３０８と、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ１２８４が着脱可能で、ＵＳＢメモリ１２８４とコンピュータ１２７０内の各部との通信を提供するＵＳＢポート１３０６とを含む。
【0162】
コンピュータ１２７０はさらに、マイクロフォン１２８２、スピーカ１２８０及び図示しないモーションキャプチャ装置とバス１３１０とに接続され、ＣＰＵ１２９０により生成されＲＡＭ１２９８又はＳＳＤ１３００に保存された音声信号、映像信号及びテキストデータをＣＰＵ１２９０の指示に従って読み出し、アナログ変換及び増幅処理をしてスピーカ１２８０を駆動したり、マイクロフォン１２８２からのアナログの音声信号をデジタル化し、ＲＡＭ１２９８又はＳＳＤ１３００の、ＣＰＵ１２９０により指定される任意のアドレスに保存したり、モーションキャプチャ装置からのモーションキャプチャ信号を受信しＣＰＵ１２９０により指定されるアドレスに保存したりするための入出力Ｉ／Ｆ１３０４を含む。
【0163】
上記実施形態においては、上記した仮説生成システム１００、５１０、５９０、７３０、及び７７０、学習データ生成システム２００、２５０、６２０、６８０、８１０、８５０、９２０、９７０、及び１０５０、並びにその各構成要素の機能などを実現するためのプログラム、ニューラルネットワークのパラメータ並びにニューラルネットワークプログラムなどは、いずれも例えば図３０に示すＳＳＤ１３００、ＲＡＭ１２９８、ＤＶＤ１２７８、又はＵＳＢメモリ１２８４、若しくはネットワークＩ／Ｆ１３０８及びネットワーク１２８６を介して接続された、図示しない外部装置の記憶媒体などに格納される。典型的には、これらのデータ及びパラメータなどは、例えば外部からＳＳＤ１３００に書込まれ、コンピュータ１２７０による実行時にはＲＡＭ１２９８にロードされる。
【0164】
このコンピュータシステムを、上記した仮説生成システム１００、５１０、５９０、７３０、及び７７０、学習データ生成システム２００、２５０、６２０、６８０、８１０、８５０、９２０、９７０、及び１０５０、並びにその各構成要素の機能を実現するよう動作させるためのコンピュータプログラムは、ＤＶＤドライブ１３０２に装着されるＤＶＤ１２７８に記憶され、ＤＶＤドライブ１３０２からＳＳＤ１３００に転送される。又は、これらのプログラムはＵＳＢメモリ１２８４に記憶され、ＵＳＢメモリ１２８４をＵＳＢポート１３０６に装着し、プログラムをＳＳＤ１３００に転送する。又は、このプログラムはネットワーク１２８６を通じてコンピュータ１２７０に送信されＳＳＤ１３００に記憶されてもよい。
【0165】
プログラムは実行のときにＲＡＭ１２９８にロードされる。ニューラルネットワークの訓練及びテストには大量の計算が伴うため、特に数値計算を行う実体であるプログラム部分はスクリプト言語ではなくコンピュータのネイティブなコードからなるオブジェクトプログラムとして本発明の実施形態の各部を実現する方が好ましい。
【0166】
ＣＰＵ１２９０は、その内部のプログラムカウンタと呼ばれるレジスタ（図示せず）により示されるアドレスに従ってＲＡＭ１２９８からプログラムを読み出して命令を解釈し、命令の実行に必要なデータを、命令により指定されるアドレスに従ってＲＡＭ１２９８、ＳＳＤ１３００又はそれ以外の機器から読み出して、命令により指定される処理を実行する。ＣＰＵ１２９０は、実行結果のデータを、ＲＡＭ１２９８、ＳＳＤ１３００、ＣＰＵ１２９０内のレジスタなど、プログラムにより指定されるアドレスに格納する。このとき、プログラムカウンタの値もプログラムによって更新される。コンピュータプログラムは、ＤＶＤ１２７８から、ＵＳＢメモリ１２８４から、又はネットワークを介して、ＲＡＭ１２９８に直接にロードしてもよい。なお、ＣＰＵ１２９０が実行するプログラムの中で、一部のタスク（主として数値計算）については、プログラムに含まれる命令により、又はＣＰＵ１２９０による命令実行時の解析結果に従って、ＧＰＵ１２９２にディスパッチされる。
【0167】
コンピュータ１２７０との協働により上記した実施形態に係る各部の機能を実現するプログラムは、それら機能を実現するようコンピュータ１２７０を動作させるように記述され配列された複数の命令を含む。この命令を実行するのに必要な基本的機能のいくつかはコンピュータ１２７０上において動作するオペレーティングシステム（ＯＳ）若しくはサードパーティのプログラム、又はコンピュータ１２７０にインストールされる各種ツールキットのモジュールにより提供される。したがって、このプログラムはこの実施形態のシステム及び方法を実現するのに必要な機能全てを必ずしも含まなくてよい。このプログラムは、命令の中で、所望の結果が得られるように制御されたやり方により適切な機能又は「プログラミング・ツール・キット」の機能を静的にリンクすることで、又はプログラムの実行時に動的にそれら機能に動的リンクことにより、上記した各装置及びその構成要素としての動作を実行する命令のみを含んでいればよい。そのためのコンピュータ１２７０の動作方法は周知であるので、ここでは繰返さない。
【0168】
なお、ＧＰＵ１２９２は並列処理を行うことが可能であり、機械学習に伴う多量の計算を同時並列的又はパイプライン的に実行できる。例えばプログラムのコンパイル時にプログラム中において発見された並列的計算要素、又はプログラムの実行時に発見された並列的計算要素は、随時、ＣＰＵ１２９０からＧＰＵ１２９２にディスパッチされ、実行され、その結果が直接に、又はＲＡＭ１２９８の所定アドレスを介してＣＰＵ１２９０に返され、プログラム中の所定の変数に代入される。
【0169】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。
【符号の説明】
【0170】
１００、５１０、５９０、７３０、７７０ 仮説生成システム
１１０ 入力テキスト
１１２ キーワード
１１４、４７０、４９０、５２０、５７０、６９２ 関連テキスト作成部
１１６、５７２ 関連テキスト記憶部
１２２、４５２、５２４、６０４、７８２、８２６、８６６、９３６、９８６ 仮説生成ニューラルネットワーク
１２６、５２６、６０６、７８４ 仮説連続生成制御部
１４０、２２０、５６０、８３４、８７０ 質問生成部
１４４、２１０ 大規模コーパス
１４６、８３６、８７２ 質問応答部
１４８、３４２、４７４、４９２、５４０、１０２２、１０２４ 関連テキスト
２００、２５０、４４０、６２０、６８０、８１０、８５０、９２０、９７０ 学習データ生成システム
２１２ 質問文＋前文脈抽出部
２１４、２６４、４５０、６３０、６９６、８２０、８６０、９３０、９８０ 学習データ生成部
２６０ 文間意味的関係ＤＢ
２６８、８２４、８６４、９３４、９８４、１０６８ 学習部
３０４ 文間意味的関係知識
３７０ 文間意味的関係タイプ
１０７０ 類似度計算モデル
１１００ 言語モデル
１１８８ コサイン類似度算出部
１１０ 入力テキスト
１１２ キーワード
１１４、４７０、４９０、５２０、５７０、６９２ 関連テキスト作成部
１１６、５７２ 関連テキスト記憶部
１２２、４５２、５２４、６０４、７８２、８２６、８６６、９３６、９８６ 仮説生成ニューラルネットワーク
１２６、５２６、６０６、７８４ 仮説連続生成制御部
１４０、２２０、５６０、８３４、８７０ 質問生成部
１４４、２１０ 大規模コーパス
１４６、８３６、８７２ 質問応答部
１４８、３４２、４７４、４９２、５４０、１０２２、１０２４ 関連テキスト
２００、２５０、４４０、６２０、６８０、８１０、８５０、９２０、９７０ 学習データ生成システム
２１２ 質問文＋前文脈抽出部
２１４、２６４、４５０、６３０、６９６、８２０、８６０、９３０、９８０ 学習データ生成部
２６０ 文間意味的関係ＤＢ
２６８、８２４、８６４、９３４、９８４、１０６８ 学習部
３０４ 文間意味的関係知識
３７０ 文間意味的関係タイプ
１０７０ 類似度計算モデル
１１００ 言語モデル
１１８８ コサイン類似度算出部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】