特許 7737591 情報提供装置、情報収集システム、情報処理システム、情報生成方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-09-03

(45)【発行日】2025-09-11

(54)【発明の名称】情報提供装置、情報収集システム、情報処理システム、情報生成方法およびプログラム

(51)【国際特許分類】

   G06F 40/56 20200101AFI20250904BHJP

   G06F 40/44 20200101ALI20250904BHJP

【ＦＩ】

G06F40/56

G06F40/44

【請求項の数】 15

(21)【出願番号】P 2024029125

(22)【出願日】2024-02-28

(65)【公開番号】P2025092331

(43)【公開日】2025-06-19

【審査請求日】2024-03-08

(31)【優先権主張番号】P 2023202281

(32)【優先日】2023-11-29

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】524085710

【氏名又は名称】株式会社ＩＴＳＯ

(74)【代理人】

【識別番号】100218062

【弁理士】

【氏名又は名称】小野 悠樹

(72)【発明者】

【氏名】北川 伸一

(72)【発明者】

【氏名】井野 幸治

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】米国特許出願公開第２０２３／０１６１９７２（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１７１１３１４６（ＣＮ，Ａ）

【文献】中国特許出願公開第１１６９１１３１５（ＣＮ，Ａ）

【文献】中国特許出願公開第１１６７３８２９８（ＣＮ，Ａ）

【文献】中国特許出願公開第１１５０６２６１７（ＣＮ，Ａ）

【文献】谷口 大輔、外３名，大規模言語モデルにおける文生成方向に関する依存性の検証，言語処理学会第２９回年次大会 発表論文集 ［ｏｎｌｉｎｅ］，日本，言語処理学会，2023年05月16日，ｐ．２２００－２２０５

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

(57)【特許請求の範囲】

【請求項1】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部を具備し、
前記第１生成モデルは、所定の対象に関する信頼性の高い情報を訓練データとして訓練されたモデルであり、
前記第２生成モデルは、前記信頼性の高い情報以外の広範囲の内容にわたる情報を訓練データとして訓練されたモデルであり、
前記１以上の第１出力情報および前記１以上の第２出力情報は、前記応答情報の候補である
情報提供装置。

【請求項2】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部を具備し、
前記要求情報は、当該要求情報の候補となる複数の候補情報のうち前記利用者が選択した候補情報であり、
前記複数の候補情報は、前記入力情報および１以上の関連情報のそれぞれであり、
前記１以上の関連情報は、前記入力情報を含む第３プロンプトに対して訓練済の第３生成モデルが生成した、当該入力情報に関連する情報である
情報提供装置。

【請求項3】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部と、
前記第１出力情報および前記第２出力情報のそれぞれである２以上の出力情報の各々について、指標を特定する指標算定部とを具備し、
前記２以上の出力情報は、前記応答情報の候補であり、
前記指標は、前記要求情報に対する妥当性を示し、
前記応答生成部は、
前記２以上の出力情報のうち前記指標が所定の閾値を上回る出力情報が１つである場合には、当該閾値を上回った１つの出力情報に応じて前記応答情報を生成し、
前記２以上の出力情報のうち前記指標が前記閾値を上回る出力情報が複数ある場合には、当該閾値を上回った複数の出力情報を組み合わせた情報に応じて前記応答情報を生成する
情報提供装置。

【請求項4】

前記第１プロンプトは、前記第１出力情報の生成において参照される参考情報を含み、
前記応答情報は、前記指標が前記閾値を上回る出力情報がない場合には、前記参考情報が他の参考情報に変更された第１プロンプトに対して前記第１生成モデルが新たに生成した１以上の第１出力情報の各々と、前記１以上の第２出力情報の各々とについて特定された前記指標に応じて生成される
請求項３の情報提供装置。

【請求項5】

前記要求情報は、所定の対象に関する問い合わせを示す情報であり、
前記第１プロンプトは、前記対象を識別するための識別情報を含む
請求項１から３の情報提供装置。

【請求項6】

前記第１プロンプトは、前記応答情報の生成において参照される参考情報を含む
請求項１から３の情報提供装置。

【請求項7】

請求項１から３の情報提供装置から前記応答情報が提供された前記利用者の端末装置と通信可能なシステムであって、
前記応答情報について特定された妥当性の評価と、前記要求情報と、当該応答情報とを前記端末装置から取得する第１取得部と、
前記評価と前記要求情報と前記応答情報とを記憶装置に記憶する収集部と
を具備する情報収集システム。

【請求項8】

請求項１から３の情報提供装置から前記応答情報が提供された前記利用者の端末装置と通信可能なシステムであって、
前記入力情報を前記端末装置から取得する第１取得部と、
前記入力情報を含む第４プロンプトに対して訓練済の第４生成モデルが生成し、当該入力情報に関連する関連情報を取得する第２取得部と、
前記関連情報を含む第５プロンプトに対して訓練済の第５生成モデルが生成する回答情報を取得する第３取得部と、
前記関連情報と前記回答情報とを記憶装置に記憶する収集部と
を具備する情報収集システム。

【請求項9】

請求項１から３の情報提供装置と、
前記情報提供装置と通信可能な端末装置とを具備し、
前記端末装置は、前記利用者が入力した入力情報を受け付ける受付部と、前記情報提供装置が生成した前記応答情報を取得する取得部とを有する
を具備する情報処理システム。

【請求項10】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成し、
前記第１生成モデルは、所定の対象に関する信頼性の高い情報を訓練データとして訓練されたモデルであり、
前記第２生成モデルは、前記信頼性の高い情報以外の広範囲の内容にわたる情報を訓練データとして訓練されたモデルであり、
前記１以上の第１出力情報および前記１以上の第２出力情報は、前記応答情報の候補である
コンピュータシステムにより実現される情報生成方法。

【請求項11】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成し、
前記要求情報は、当該要求情報の候補となる複数の候補情報のうち前記利用者が選択した候補情報であり、
前記複数の候補情報は、前記入力情報および１以上の関連情報のそれぞれであり、
前記１以上の関連情報は、前記入力情報を含む第３プロンプトに対して訓練済の第３生成モデルが生成した、当該入力情報に関連する情報である
コンピュータシステムにより実現される情報生成方法。

【請求項12】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成し、
前記第１出力情報および前記第２出力情報のそれぞれである２以上の出力情報の各々について、指標を特定し、
前記２以上の出力情報は、前記応答情報の候補であり、
前記指標は、前記要求情報に対する妥当性を示し、
前記応答情報は、
前記２以上の出力情報のうち前記指標が所定の閾値を上回る出力情報が１つである場合には、当該閾値を上回った１つの出力情報に応じて生成され、
前記２以上の出力情報のうち前記指標が前記閾値を上回る出力情報が複数ある場合には、当該閾値を上回った複数の出力情報を組み合わせた情報に応じて生成される
コンピュータシステムにより実現される情報生成方法。

【請求項13】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部としてコンピュータシステムを機能させ、
前記第１生成モデルは、所定の対象に関する信頼性の高い情報を訓練データとして訓練されたモデルであり、
前記第２生成モデルは、前記信頼性の高い情報以外の広範囲の内容にわたる情報を訓練データとして訓練されたモデルであり、
前記１以上の第１出力情報および前記１以上の第２出力情報は、前記応答情報の候補である
プログラム。

【請求項14】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部としてコンピュータシステムを機能させ、
前記要求情報は、当該要求情報の候補となる複数の候補情報のうち前記利用者が選択した候補情報であり、
前記複数の候補情報は、前記入力情報および１以上の関連情報のそれぞれであり、
前記１以上の関連情報は、前記入力情報を含む第３プロンプトに対して訓練済の第３生
成モデルが生成した、当該入力情報に関連する情報である
プログラム。

【請求項15】

利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部、および、
前記第１出力情報および前記第２出力情報のそれぞれである２以上の出力情報の各々について、指標を特定する指標算定部としてコンピュータシステムを機能させ、
前記２以上の出力情報は、前記応答情報の候補であり、
前記指標は、前記要求情報に対する妥当性を示し、
前記応答生成部は、
前記２以上の出力情報のうち前記指標が所定の閾値を上回る出力情報が１つである場合には、当該閾値を上回った１つの出力情報に応じて前記応答情報を生成し、
前記２以上の出力情報のうち前記指標が前記閾値を上回る出力情報が複数ある場合には、当該閾値を上回った複数の出力情報を組み合わせた情報に応じて前記応答情報を生成する
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、利用者からの要求情報に対してより適切な応答情報を提示するための技術に関する。

【背景技術】

【0002】

近年では、自然言語処理が可能である大規模言語モデルを用いて、利用者が入力した情報に応じた情報を出力する技術が提案されている。対話データセットを用いて大規模言語モデルをファインチューニングすると、対話形式によるやり取りが可能になる。利用者は、このような大規模言語モデルに質問文を入力することで、当該質問文に対する回答文を得ることができる。具体的には、利用者からの質問文を含むプロンプトが大規模言語モデルに入力される。

【0003】

大規模言語モデルが出力する回答文は、利用者が入力する質問文の内容に大きく依存する。例えば、質問文における語彙の選択や言い回しが異なると、大規模言語モデルからの回答も相違し得る。したがって、質問文の内容によっては、利用者が所望する回答ではない回答文が出力されてしまう場合がある。以上の通り、大規模言語モデルからの出力が適切でないという場合が存在するという問題がある。

【0004】

そこで、大規模言語モデルからの出力を適切にするための各種の技術が提案されている。例えば、特許文献１には、利用者が入力した質問文に関連する参考情報を生成し、当該質問文と参考情報とを含むプロンプトを大規模言語モデルに入力することで、当該質問文に対する回答文を得る構成が開示されている。特許文献１では、たしかに、質問文のみを含むプロンプトを生成する構成と比較して、より具体的な回答文を生成することができると考えられる。

【先行技術文献】

【特許文献】

【0005】

【文献】特許第７３１３７５７号

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、特許文献１の技術では、質問文に対して適切な内容の回答文を利用者に提示するという観点からは更なる改善の余地がある。以上の事情を考慮して、本発明では、利用者からの要求情報に対してより適切な応答情報を利用者に提示することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一例に係る端末装置は、利用者が入力した入力情報を受け付ける受付部と、前記入力情報に応じた要求情報に対して生成された応答情報を取得する取得部とを具備し、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報である。

【0008】

本発明の一例に係る情報提供装置は、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部を具備する。

【0009】

本発明の一例に係る情報収集システムは、前述の端末装置と通信可能なシステムであって、前記応答情報について特定された妥当性の評価と、前記要求情報と、当該応答情報とを取得する第１取得部と、前記評価と前記要求情報と前記応答情報とを記憶装置に記憶する収集部とを具備する。

【0010】

本発明の一例に係る情報収集システムは、前述の端末装置と通信可能なシステムであって、前記入力情報を含む第４プロンプトに対して訓練済の第４生成モデルが生成し、当該入力情報に関連する関連情報を取得する第１取得部と、前記関連情報を含む第５プロンプトに対して訓練済の第５生成モデルが生成する回答情報を取得する第２取得部と、前記関連情報と前記回答情報とを記憶装置に記憶する収集部とを具備する。

【0011】

本発明に係る情報処理システムは、利用者が入力した入力情報を受け付ける受付部と、前記入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部と、前記応答情報を取得する取得部とを具備する。

【0012】

本発明の一例に係る情報取得方法は、利用者が入力した入力情報を受け付け、前記入力情報に応じた要求情報に対して生成された応答情報を取得し、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報であるコンピュータシステムにより実現される。

【0013】

本発明の一例に係るプログラムは、利用者が入力した入力情報を受け付ける受付部、および、前記入力情報に応じた要求情報に対して生成された応答情報を取得する取得部としてコンピュータシステムを機能させ、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報であるとしてコンピュータシステムを機能させる。

【図面の簡単な説明】

【0014】

【図1】第１実施形態に係る情報処理システムの構成を例示するブロック図である。

【図2】第１実施形態に係る端末装置の構成を例示するブロック図である。

【図3】第１実施形態に係る端末装置における制御装置の機能的な構成を例示するブロック図である。

【図4】第１実施形態に係る情報生成システムの構成を例示するブロック図である。

【図5】第１実施形態に係る情報生成システムにおける制御装置の機能的な構成を例示するブロック図である。

【図6】第１実施形態に係る情報生成システムの構成を例示するブロック図である。

【図7】第１実施形態に係る情報取得装置の構成を例示するブロック図である。

【図8】第１実施形態に係る第１処理装置の構成を例示するブロック図である。

【図9】第１実施形態に係る第１処理装置における制御装置の機能的な構成を例示するブロック図である。

【図10】第１実施形態に係る第２処理装置の構成を例示するブロック図である。

【図11】第１実施形態に係る第２処理装置における制御装置の機能的な構成を例示するブロック図である。

【図12】第１実施形態に係る情報提供装置の構成を例示するブロック図である。

【図13】第１実施形態に係る情報提供装置における制御装置の機能的な構成を例示するブロック図である。

【図14】情報処理システムの全体が実行する処理の手順を例示するフローチャートである。

【図15】第１実施形態に係る入力情報および関連情報を示す図である。

【図16】第１実施形態に係る情報提供システムが実行する処理の手順を例示するフローチャートである。

【図17】第１実施形態に係る第１出力情報および第２出力情報を示す図である。

【図18】第１実施形態に係る情報提供装置の応答生成部が実行する処理の手順を例示するフローチャートである。

【図19】第２実施形態に係る情報処理システムの構成を例示するブロック図である。

【図20】第２実施形態に係る情報収集システムの構成を例示するブロック図である。

【図21】第２実施形態に係る情報収集システムにおける制御装置の機能的な構成を例示するブロック図である。

【図22】第３実施形態に係る情報収集システムにおける制御装置の機能的な構成を例示するブロック図である。

【発明を実施するための形態】

【0015】

＜第１実施形態＞
図１は、第１実施形態に係る情報処理システム１００の構成を例示するブロック図である。第１実施形態に係る情報処理システム１００は、端末装置１０と情報管理システム２０とを具備するコンピュータシステムである。情報管理システム２０は、端末装置１０の利用者Ｕに各種の情報を提供する。情報管理システム２０は、情報生成システム３０と情報提供システム４０とを具備する。

【0016】

概略的には、情報管理システム２０は、利用者Ｕからの要求情報に対する情報（以下「応答情報」という）Ｒを当該利用者Ｕに提供する。典型的には、要求情報は、利用者Ｕが所望する情報を要求するための情報であり、応答情報Ｒは、要求情報に対する応答（典型的には要求情報により要求された情報）を示す情報である。以下の説明では、要求情報が所定の対象に対する問い合わせであり、応答情報Ｒが当該問い合わせに対する回答である場合を例示する。所定の対象とは、例えば各種の製品やサービスである。第１実施形態では、特定の製品（以下「対象製品」という）を所定の対象とする場合を便宜的に例示する。対象製品は、例えば所定の目的で使用されるソフトウェアである。

【0017】

端末装置１０と情報管理システム２０とは、例えば移動体通信網またはインターネット等の通信網９００を介して相互に通信可能である。

【0018】

端末装置１０は、例えばスマートフォンまたはタブレット端末等の可搬型の情報装置、またはパーソナルコンピュータ等の可搬型または据置型の情報装置により実現される。一方で、情報生成システム３０と情報提供システム４０とは、例えばサーバシステムで実現される。

【0019】

［端末装置１０］
図２は、端末装置１０に構成を例示するブロック図である。図２に例示される通り、端末装置１０は、制御装置１１と記憶装置１２と通信装置１３と表示装置１４と操作装置１５とを具備する。

【0020】

制御装置１１は、端末装置１０の動作を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１１が構成される。

【0021】

記憶装置１２は、制御装置１１が実行するプログラムと、制御装置１１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置１２として利用される。なお、例えば、端末装置１０に対して着脱される可搬型の記録媒体、または、制御装置１１が通信網９００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置１２として利用されてもよい。

【0022】

通信装置１３は、通信網９００を介して情報管理システム２０と通信する通信機器である。なお、端末装置１０とは別体の通信装置１３を、当該端末装置１０に対して有線または無線により接続してもよい。

【0023】

表示装置１４は、制御装置１１による制御のもとで各種の情報を表示する。例えば、液晶表示パネルまたは有機ＥＬパネル等の各種の表示パネルが、表示装置１４として利用される。なお、情報処理システム１００とは別体の操作装置１５または表示装置１４が、端末装置１０に対して有線または無線により接続されてもよい。

【0024】

操作装置１５は、利用者Ｕによる操作を受付ける入力機器である。例えば、利用者Ｕが操作する操作子、または、利用者Ｕによる接触を検知するタッチパネルが、操作装置１５として利用される。なお、端末装置１０とは別体の操作装置１５が、端末装置１０に対して有線または無線により接続されてもよい。操作装置１５は、利用者Ｕが当該操作装置１５に対する操作入力した各種の情報を受付ける。なお、操作装置１５は、音声により利用者Ｕからの入力を受付ける収音装置（マイク）であってもよい。

【0025】

図２は、記憶装置１２に記憶されたプログラムを制御装置１１が実行することで実現される機能を例示するブロック図である。制御装置１１は、問い合わせに対する回答を提供するための複数の機能（受付部１１１，プロンプト生成部１１２，取得部１１３，提示部１１４）を実現する。

【0026】

受付部１１１は、操作装置１５に対する操作により利用者Ｕが入力した各種の情報を受付ける。第１に、受付部１１１は、利用者Ｕが入力した入力情報を受付ける。入力情報は、利用者Ｕが所望する情報を要求するための情報である。第１実施形態の入力情報は、対象製品に関する問い合わせを示す情報である。問い合わせの内容（利用者Ｕが所望する情報）は、任意であり、例えば、対象製品の使い方、対象製品の特定の機能または対象製品を使用していて発生したエラーに関する内容が想定される。利用者Ｕは、操作装置１５に対する操作により、問い合わせを示す文章（テキスト）を入力する。

【0027】

第２に、受付部１１１は、利用者Ｕが入力した要求情報を受付ける。第１実施形態の要求情報は、入力情報および１以上の関連情報Ｇのうち、利用者Ｕが選択した情報である。すなわち、入力情報と１以上の関連情報Ｇとは、要求情報の候補である。

【0028】

関連情報Ｇは、入力情報と同様に、利用者Ｕが所望する情報を要求するための情報であり、当該入力情報に関連する情報である。関連情報Ｇは、典型的には、入力情報と同種の内容（例えば問い合わせ）を示す情報である。入力情報の内容と関連情報Ｇの内容とは類似するとも換言できる。入力情報および当該入力情報に関連する１以上の関連情報Ｇから利用者Ｕが選択した情報である要求情報は、入力情報に応じた情報である。関連情報Ｇの詳細は、後述する。

【0029】

第３に、受付部１１１は、利用者Ｕが入力した識別情報を受付ける。識別情報は、例えば、対象製品の名称、種類、バージョンや製品番号などの各種の情報である。なお、識別情報として、対象製品の利用者Ｕを識別するための情報を含んでもよい。

【0030】

プロンプト生成部１１２は、利用者Ｕが入力した各種の情報を含むプロンプトＰを生成する。プロンプトＰは、情報管理システム２０に対する要求である。プロンプト生成部１１２が生成したプロンプトＰは、通信装置１３から情報管理システム２０に送信される。

【0031】

第１に、プロンプト生成部１１２は、入力情報を含むプロンプトＰ1（「第３プロンプト」の例示）を生成する。具体的には、プロンプトＰ1は、入力情報に関連する１以上の関連情報Ｇを要求するためのプロンプトである。プロンプトＰ1は、情報管理システム２０（情報生成システム３０）に送信される。なお、入力情報を含むプロンプトＰ1とは、入力情報を直接的に含む場合と、入力情報に応じた情報（例えば入力情報を加工や修正した情報）として入力情報を間接的に含む場合とが包含される。

【0032】

第２に、プロンプト生成部１１２は、要求情報を含むプロンプトＰz2，Ｐ3を生成する。なお、要求情報を含むプロンプトＰz2，Ｐ3とは、要求情報を直接的に含む場合と、要求情報に応じた情報（例えば要求情報を加工や修正した情報）として要求情報を間接的に含む場合とが包含される。

【0033】

具体的には、プロンプトＰz2およびプロンプトＰ3の各々は、要求情報に対する出力情報Ｗを要求するためのプロンプトである。出力情報Ｗは、応答情報Ｒ（すなわち回答）の候補となる情報である。すなわち、プロンプトＰz2，Ｐ3は、応答情報Ｒを要求するためのプロンプトであるとも換言できる。

【0034】

プロンプトＰz2，Ｐ3は、情報管理システム２０（情報提供システム４０）に送信される。プロンプトＰz2について１以上の出力情報（以下「第１出力情報」という）Ｗ1が生成され、プロンプトＰ3について１以上の出力情報（以下「第２出力情報」という）Ｗ2が生成される。情報管理システム２０で生成された複数の出力情報Ｗ（Ｗ1，Ｗ2）を用いて、要求情報に対する応答情報Ｒを生成する。出力情報Ｗおよび応答情報Ｒの詳細は、後述する。

【0035】

第１実施形態では、実際には、プロンプトＰz2から生成されるプロンプトＰ2について１以上の第１出力情報Ｗ1が生成される。プロンプトＰ2の生成は、情報提供システム４０において行われる。第１実施形態では、プロンプトＰ2に含まれる情報とプロンプトＰ3に含まれる情報とが相違する構成を例示する。プロンプトＰ2とプロンプトＰ3とに共通して、要求情報と識別情報とは含まれる。

【0036】

一方で、プロンプトＰ2は、要求情報および識別情報に加えて、第１出力情報Ｗ1の生成において参照される参考情報を含む。後述の情報提供システム４０において、端末装置１０から送信されたプロンプトＰz2に参考情報が付与されることでプロンプトＰ2が生成される。参考情報は、情報処理システム１００が第１出力情報Ｗ1（応答情報の候補）を生成するにあたって参照する情報である。具体的には、参考情報は、例えば、対象製品を詳細に説明する情報である。例えば、対象製品の用途、目的、機能、構成、技術仕様、および、使用・設定方法などが記載されたドキュメントが参考情報として例示される。なお、第１実施形態において、プロンプトＰ2は、「第１プロンプト」の例示であり、プロンプトＰ3は、「第２プロンプト」の例示である。

【0037】

取得部１１３は、上述した各種のプロンプトＰ1－Ｐ3により生成された情報を取得する。第１実施形態の取得部１１３は、情報管理システム２０からプロンプトＰ1－Ｐ3により生成された情報を、通信装置１３により受信することで取得する。

【0038】

第１に、取得部１１３は、入力情報を含むプロンプトＰ1に対して生成された１以上の関連情報Ｇを取得する。第２に、取得部１１３は、入力情報および１以上の関連情報Ｇのうち利用者Ｕが選択した情報である要求情報に対して生成された応答情報Ｒを取得する。

【0039】

提示部１１４は、各種の情報（例えば関連情報Ｇや応答情報Ｒ）を利用者Ｕに提示する。具体的には、提示部１１４は、各種の情報を表示装置１４により表示することで利用者Ｕに提示する。ただし、提示部１１４による情報の提示は、表示による提示には限定されず、例えば音声よる提示であってもよい。

【0040】

第１に提示部１１４は、プロンプトＰ1により生成された１以上の関連情報Ｇを利用者Ｕに提示する。具体的には、入力情報とともに１以上の関連情報Ｇが利用者Ｕに提示される。

【0041】

［情報生成システム３０］
図４は、情報生成システム３０の構成を例示するブロック図である。情報生成システム３０は、入力情報に関連する１以上の関連情報Ｇを生成するための装置である。例えば、端末装置１０と通信網９００を介して通信可能なサーバシステムが情報生成システム３０として例示される。

【0042】

図４に例示される通り、情報生成システム３０は、例えば、制御装置３１と記憶装置３２と通信装置３３とを具備する。

【0043】

制御装置３１は、情報生成システム３０の動作を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置３１が構成される。

【0044】

記憶装置３２は、制御装置３１が実行するプログラムと、制御装置３１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置３２として利用される。例えば、情報生成システム３０に対して着脱される可搬型の記録媒体、または、制御装置３１が通信網９００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置３２として利用されてもよい。

【0045】

通信装置３３は、通信網９００を介して端末装置１０と通信する通信機器である。なお、情報生成システム３０とは別体の通信装置３３を、情報生成システム３０に対して有線または無線により接続してもよい。

【0046】

図５は、記憶装置３２に記憶されたプログラムを制御装置３１が実行することで実現される機能を例示するブロック図である。第１実施形態の制御装置３１は、入力情報に関連する１以上の関連情報Ｇを生成するための複数の機能（取得部３１１，関連情報生成部３１２）を実現する。

【0047】

取得部３１１は、端末装置１０から送信される入力情報を通信装置３３により受信することで取得する。具体的には、取得部３１１は、入力情報を含むプロンプトＰ1を取得する。

【0048】

関連情報生成部３１２は、入力情報に関連する１以上の関連情報Ｇを生成する。第１実施形態では、訓練済みの生成モデルＭ1が関連情報Ｇの生成に利用される。関連情報生成部３１２は、入力情報を含むプロンプトＰ1を生成モデルＭ1に入力することで１以上の関連情報Ｇを生成する。プロンプトＰ1は、生成モデルＭ1に入力情報に関連する１以上の関連情報Ｇを生成することを指示するプロンプトであるとも換言できる。

【0049】

関連情報生成部３１２が生成した１以上の関連情報Ｇは、通信装置３３により端末装置１０に送信され、利用者Ｕに提示される。上述した通り、入力情報とともに１以上の関連情報Ｇが利用者Ｕに提示される。

【0050】

生成モデルＭ1は、例えばTransformerモデル（系列変換モデル）で構成される。ただし、生成モデルＭ1は、その他の任意の形式のニューラルネットワーク（例えば再帰型ニューラルネットワークや畳込ニューラルネットワーク）で構成されてもよい。また、複数種の深層ニューラルネットワークの組合せにより生成モデルＭ1が構成されてもよい。

【0051】

第１実施形態では、大量のテキストデータを用いて事前に訓練され、単語の出現確率がモデル化された大規模言語モデル（ＬＬＭ：Large Language Model）を生成モデルＭ1として用いる構成を例示する。大規模言語モデルは、自然言語処理が可能である。特に、対話データセットを用いて大規模言語モデルをファインチューニングした対話型の大規模言語モデルを生成モデルＭとして用いることが好適である。対話型の大規模言語モデルによれば、対話形式のテキストを生成可能である。対話型の大規模言語モデルとしては、例えばChatGPT（OpenAI社製），Bard（Google社製），Bing AI（マイクロソフト社製）などの公知の任意のモデルが生成モデルＭ1として利用され得る。生成モデルＭ1は、例えば想定される入力情報（プロンプトＰ1）と当該入力情報に対する関連情報Ｇ（回答）との組み合わせを複数含むデータセットによりファインチューニングされていることが好ましい。なお、生成モデルＭ1として、入力情報と関連情報Ｇとの関係を機械学習により学習した学習済モデルを用いてもよい。

【0052】

以上の説明から理解される通り、生成モデルＭ1は、入力情報に対して統計的に妥当な関連情報Ｇを出力する。なお、生成モデルＭ1を規定する複数のパラメータは、複数の訓練データを利用した機械学習（特に深層学習）により設定されて記憶装置３２に保持される。なお、第３実施形態において後述するデータベースＤ2を生成モデルＭ1が参照することや、データベースＤ2の情報を生成モデルＭ1の訓練データとして使用することが可能である。

【0053】

［情報提供システム４０］
図６は、情報提供システム４０の構成を例示するブロック図である。情報提供システム４０は、入力情報に応じた要求情報に対して応答情報Ｒを生成する装置である。すなわち、問い合わせに対する回答が情報提供システム４０により生成される。例えば、端末装置１０と通信網９００を介して通信可能なコンピュータシステムが情報提供システム４０として例示される。

【0054】

図６に例示される通り、情報提供システム４０は、第１処理装置４１と第２処理装置４２と情報提供装置４３と情報取得装置４４とを具備する。情報提供装置４３は、第１処理装置４１および第２処理装置４２の各々と通信網９００を介して相互に通信可能である。

【0055】

情報取得装置４４は、端末装置１０から送信されるプロンプトＰz2からプロンプトＰ2を生成するためのサーバシステムである。第１実施形態の情報取得装置４４は、プロンプトＰz2に参考情報を付与することでプロンプトＰ2を生成する。すなわち、プロンプトＰ2は、要求情報と識別情報と参考情報とを含むプロンプトである。情報取得装置４４は、端末装置１０および第１処理装置４１と通信網９００を介して通信可能である。例えば、制御装置４４１と記憶装置４４２と通信装置４４３とで情報取得装置４４が構成される。

【0056】

通信装置４４３は、端末装置１０から送信されたプロンプトＰz2を受信し、プロンプトＰz2から生成されたプロンプトＰ2を第１処理装置４１に送信する。

【0057】

制御装置４４１は、プロンプトＰz2からプロンプトＰ2を生成する。具体的には、プロンプトＰz2に含まれる要求情報と識別情報とに応じた参考情報を取得し、当該参考情報をプロンプトＰz2に付与することでプロンプトＰ2を生成する。参考情報を取得する方法は、特に限定されないが、以下の説明では、制御装置４４１が、記憶装置４４２に事前に登録されたデータテーブル（以下「参考情報テーブル」という）Ｄqを用いて参考情報を取得する構成を例示する。

【0058】

参考情報テーブルＤqには、例えば、識別情報と要求情報に含まれ得る文字列（以下「対象文字列」という）との組み合わせ毎に、参考情報が対応づけられて登録されている。要求情報に含まれ得る対象文字列は、例えば対象製品の問い合わせの対象となり得る機能などを表す文字列（単語を含む）である。図７に例示される通り、参考情報テーブルＤqでは、識別情報と対象文字列との組み合わせ毎に、相異なる参考情報が対応付けられている。なお、複数の組み合わせについて共通の参考情報を登録してもよいし、１つの組み合わせについて、複数の参考情報を登録してもよい。そして、参考情報テーブルＤqにおいて、プロンプトＰz2に含まれる要求情報中の文字列と識別情報とが一致する（または類似度が高い）参考情報が取得される。ただし、制御装置４４１は、生成モデルに要求情報と識別情報を入力することで参考情報を取得してもよい。当該生成モデルは、例えば生成モデルＭ1と同様に、Transformerモデルや任意の形式のニューラルネットワークで構成される。

【0059】

図８は、第１処理装置４１の構成を例示するブロック図である。第１処理装置４１は、プロンプトＰ2に対して１以上の第１出力情報Ｗ1を生成するサーバシステムである。第１出力情報Ｗ1は、上述した通り、応答情報Ｒ（回答）の候補である。具体的には、第１処理装置４１は、制御装置４１１と記憶装置４１２と通信装置４１３とを具備する。

【0060】

制御装置４１１は、第１処理装置４１の動作を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置４１１が構成される。

【0061】

記憶装置４１２は、制御装置４１１が実行するプログラムと、制御装置４１１が使用する各種のデータとを記憶する単数または複数のメモリである。例えば半導体記録媒体および磁気記録媒体等の公知の記録媒体、または複数種の記録媒体の組合せが、記憶装置４１２として利用される。例えば、情報提供システム４０に対して着脱される可搬型の記録媒体、または、制御装置４１１が通信網９００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置４１２として利用されてもよい。

【0062】

通信装置４１３は、通信網９００を介して端末装置１０と通信する通信機器である。なお、情報提供システム４０とは別体の通信装置４１３を、第１処理装置４１に対して有線または無線により接続してもよい。

【0063】

図９は、記憶装置４１２に記憶されたプログラムを制御装置４１１が実行することで実現される機能を例示するブロック図である。第１実施形態の制御装置４１１は、要求情報に応じた１以上の第１出力情報Ｗ1を生成するための複数の機能（取得部１４１，処理部１４２）を実現する。

【0064】

取得部１４１は、情報取得装置４４から送信される要求情報を通信装置４１３により受信することで取得する。具体的には、取得部１４１は、情報取得装置４４から送信されるプロンプトＰ2を取得する。プロンプトＰ2には、上述した通り、要求情報および識別情報に加えて、参考情報が含まれる。

【0065】

処理部１４２は、要求情報に対する１以上の第１出力情報Ｗ1を生成する。第１出力情報Ｗ1の生成には、訓練済みの生成モデルＭ2が利用される。具体的には、処理部１４２は、生成モデルＭ2に取得部１４１が取得したプロンプトＰ2を入力することで１以上の第１出力情報Ｗ1を生成する。第１実施形態の生成モデルＭ2は、要求情報に対する第１出力情報Ｗ1を、識別情報と参考情報とを加味して生成する。プロンプトＰ2は、要求情報に対する１以上の第１出力情報Ｗ1を識別情報と参考情報とを踏まえて生成することを指示するプロンプトであるとも換言できる。生成モデルＭ2の詳細は後述する。処理部１４２が生成した第１出力情報Ｗ1は、通信装置４１３により情報提供装置４３に送信される。

【0066】

図１０は、第２処理装置４２の構成を例示するブロック図である。第２処理装置４２は、プロンプトＰ3に対して１以上の第２出力情報Ｗ2を生成するサーバシステムである。第２出力情報Ｗ2は、上述した通り、第１出力情報Ｗ1と同様に、応答情報Ｒ（回答）の候補である。具体的には、第２処理装置４２は、制御装置４２１と記憶装置４２２と通信装置４２３とを具備する。

【0067】

制御装置４２１と記憶装置４２２と通信装置４２３とは、例えば、第１処理装置４１の制御装置４１１と記憶装置４１２と通信装置４１３とについて説明したのと同様の構成が採用される。

【0068】

図１１は、記憶装置４２２に記憶されたプログラムを制御装置４２１が実行することで実現される機能を例示するブロック図である。第１実施形態の制御装置４２１は、要求情報に応じた１以上の第２出力情報Ｗ2を生成するための複数の機能（取得部２４１，処理部２４２）を実現する。

【0069】

取得部２４１は、端末装置１０から送信される要求情報を通信装置４２３により受信することで取得する。具体的には、取得部２４１は、端末装置１０から送信されるプロンプトＰ3を取得する。プロンプトＰ3には、上述した通り、要求情報および識別情報を含む。なお、第１実施形態では、参考情報はプロンプトＰ3には含まれない。

【0070】

処理部２４２は、要求情報に対する１以上の第２出力情報Ｗ2を生成する。第２出力情報Ｗ2の生成には、訓練済みの生成モデルＭ3が利用される。具体的には、処理部２４２は、生成モデルＭ3に取得部２４１が取得したプロンプトＰ3を入力することで１以上の第２出力情報Ｗ2を生成する。第１実施形態の生成モデルＭ3は、要求情報に対する１以上の第２出力情報Ｗ2を識別情報を加味して生成する。プロンプトＰ3は、要求情報に対する１以上の第２出力情報Ｗ2を識別情報を踏まえて生成することを指示するプロンプトであるとも換言できる。処理部２４２が生成した第２出力情報Ｗ2は、通信装置４２３により情報提供装置４３に送信される。

【0071】

以下、生成モデルＭ2および生成モデルＭ3について説明する。生成モデルＭ2，Ｍ3は、生成モデルＭ1で上述したのと同様に、例えばTransformerモデルで構成される。第１実施形態では、大量のテキストデータ（訓練データ）を用いて事前に訓練され、単語の出現確率がモデル化された大規模言語モデルを生成モデルＭ2，Ｍ3として用いる構成を例示する。

【0072】

大規模言語モデルは、自然言語処理が可能である。特に、対話データセットを用いて大規模言語モデルをファインチューニングした対話型の大規模言語モデルを生成モデルＭ2，Ｍ3として用いることが好適である。対話型の大規模言語モデルによれば、対話形式のテキストを生成可能である。対話型の大規模言語モデルとしては、例えばChatGPT（OpenAI社製），Bard（Google社製），Bing AI（マイクロソフト社製）などの公知の任意のモデルが生成モデルＭ2，Ｍ3として利用され得る。生成モデルＭ2と生成モデルＭ3とは、同種のモデルであってもよいし、異種のモデルであってもよい。なお、生成モデルＭ2，Ｍ3を規定する各種のパラメータは、複数の訓練データを利用した機械学習（特に深層学習）により設定されて記憶装置４１２，４２２に保持される。

【0073】

生成モデルＭ2の確立には、対象製品に関する各種のデータが訓練データとして用いられる。第１実施形態では、例えば、想定される要求情報（プロンプトＰ2）と当該要求情報に対する第１出力情報Ｗ1（回答）との組み合わせを複数含むデータセットが訓練データとして用いられる。特に、対象製品に関する信頼性の高い情報が訓練データとして好ましく用いられる。なお、事前に大量のテキストデータで訓練された生成モデルに対象製品に関する訓練データを用いてファインチューニングすることで生成モデルＭ2を確立してもよい。

【0074】

対象製品に関する信頼性の高い情報とは、例えば、後述する情報収集システム５０において収集する情報（データベースＤ1，Ｄ2に記憶される情報）である。また、例えば、対象製品の製造元や販売元が公開または収集した情報も対象製品に関する信頼性の高い情報である。なお、情報収集システム５０において収集する情報を第１出力情報Ｗ1の生成において生成モデルＭ2が参照することも可能である。

【0075】

第１実施形態の生成モデルＭ3の確立には、主に、一般的に公開（例えばウェブサイト、書籍、学術論文や新聞で公開）されている各種のデータが訓練データとして用いられる。生成モデルＭ3の確立に利用される訓練データは、一般的に公開されている対象製品に関する情報を含んでもよいが、対象製品以外の広範囲の内容にわたる情報である。第１実施形態の生成モデルＭ3は、生成モデルＭ2よりも広範囲の情報により訓練されているが、生成モデルＭ2のように対象製品に関する信頼性の高い情報を訓練データとした訓練がされていないモデルであるとも換言できる。

【0076】

以上の説明から理解される通り、第１実施形態では、生成モデルＭ2と生成モデルＭ3とは、訓練データが相違する。生成モデルＭ2には、対象製品に特化した情報（すなわち特定の対象に関連するものとして選別された情報）が訓練データとして用いられ、生成モデルＭ3には、一般的に公開されている広範囲の情報が訓練データとして用いられる。生成モデルＭ2の訓練に用いられる訓練データは、生成モデルＭ3の訓練に用いられる訓練データよりも限定（内容的な限定）された情報であるとも換言できる。生成モデルＭ2は対象製品の情報に特化した回答（第１出力情報Ｗ1）を生成できるのに対して、生成モデルＭ3は対象製品以外の広範囲の情報も踏まえた上で回答（第２出力情報Ｗ2）を生成できる。ただし、生成モデルＭ2の確立において、対象製品に関する各種のデータ以外に、生成モデルＭ3と同様に一般的に公開されている広範囲にわたる情報を訓練データとして用いてもよい。

【0077】

図１２は、情報提供装置４３の構成を例示するブロック図である。情報提供装置４３は、要求情報に対する応答情報Ｒを生成するサーバシステムである。具体的には、情報提供装置４３は、制御装置４３１と記憶装置４３２と通信装置４１３とを具備する。

【0078】

制御装置４３１と記憶装置４３２と通信装置４３３とは、例えば、第１処理装置４１の制御装置４１１と記憶装置４１２と通信装置４１３とについて説明したのと同様の構成が採用される。

【0079】

図１３は、記憶装置４３２に記憶されたプログラムを制御装置４３１が実行することで実現される機能を例示するブロック図である。第１実施形態の制御装置４３１は、要求情報に対する応答情報Ｒを生成するための複数の機能（取得部３４１，指標算定部３４２，応答生成部３４３）を実現する。

【0080】

取得部３４１は、第１処理装置４１から送信された１以上の第１出力情報Ｗ1と、第２処理装置４２から送信された１以上の第２出力情報Ｗ2とを通信装置４３３により受信することで取得する。

【0081】

指標算定部３４２は、取得部３４１が取得した１以上の第１出力情報Ｗ1の各々および取得部３４１が取得した１以上の第２出力情報Ｗ2の各々について、要求情報に対する妥当性を示す指標Ｋを特定する。すなわち、出力情報Ｗ毎（第１出力情報Ｗ1毎および第２出力情報Ｗ2毎）に指標Ｋが特定される。

【0082】

指標Ｋは、要求情報に対して出力情報Ｗがどの程度妥当（適切）であるかを表す指標であり、例えば数値（例えば点数）である。例えば、点数が高いほど出力情報Ｗの妥当性が高く、点数が低いほど出力情報Ｗの妥当性は低い。

【0083】

第１実施形態では、指標Ｋの算定には、生成モデルＭ4が用いられる。具体的には、指標算定部３４２は、生成モデルＭ4に、第１出力情報Ｗ1の各々について要求情報と当該第１出力情報Ｗ1とを入力し、第２出力情報Ｗ2の各々について要求情報と当該第２出力情報Ｗ2とを入力することで、出力情報Ｗ毎に指標Ｋを特定する。

【0084】

生成モデルＭ4は、生成モデルＭ1について上述したのと同様に、Transformerモデルで構成され、例えば大規模言語モデルや、出力情報Ｗと要求情報と指標Ｋとの関係とを機械学習により学習した学習済モデルを用いてもよい。生成モデルＭ4がTransformerモデルである場合には、例えば想定される出力情報Ｗと当該出力情報Ｗに対する指標Ｋとの組み合わせを複数含むデータセットにより学習されていることが好ましい。以上の説明から理解される通り、生成モデルＭ4は、出力情報Ｗに対して統計的に妥当な指標Ｋを出力する。なお、生成モデルＭ4を規定する複数のパラメータは、複数の訓練データを利用した機械学習（特に深層学習）により設定されて記憶装置４３２に保持される。

【0085】

応答生成部３４３は、要求情報に対する応答情報Ｒを生成する。具体的には、応答生成部３４３は、プロンプトＰ2に対して生成モデルＭ2が生成した１以上の第１出力情報Ｗ1と、プロンプトＰ3に対して生成モデルＭ3が生成した１以上の第２出力情報Ｗ2とに応じて、要求情報に対する応答情報Ｒを生成する。

【0086】

第１実施形態の応答生成部３４３は、１以上の第１出力情報Ｗ1の各々および１以上の第２出力情報Ｗ2の各々について特定された指標Ｋに応じて、応答情報Ｒを生成する。具体的には、応答生成部３４３は、１以上の第１出力情報Ｗ1の各々および１以上の第２出力情報Ｗ2の各々について特定された指標Ｋと、閾値とを比較した結果に応じて、応答情報Ｒを生成する。本実施形態では、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2のうち指標Ｋが閾値を上回る出力情報Ｗの個数に応じて、応答情報Ｒを生成する方法を相違させる

【0087】

応答情報Ｒを生成する方法は、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2のうち指標Ｋが閾値を上回る出力情報Ｗが１つである場合と、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2のうち指標Ｋが閾値を上回る出力情報Ｗが複数ある場合と、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2のうち指標Ｋが閾値を上回る出力情報Ｗがない場合とで相違する。以上の３つの場合について、応答生成部３４３が応答情報Ｒを生成する具体的な方法は後述する。なお、閾値は、情報提供システム４０の管理者により任意に設定される。応答生成部３４３により特定された応答情報Ｒは、通信装置４３３により端末装置１０に送信される。

【0088】

以上の説明から理解される通り、応答情報Ｒは、要求情報を含むプロンプトＰ2に対して訓練済みの生成モデルＭ2が生成した１以上の第１出力情報Ｗ1と、要求情報を含むプロンプトＰ3に対して訓練済みの生成モデルＭ3が生成した１以上の第２出力情報Ｗ2とに応じて生成された情報である。

【0089】

図１４は、情報処理システム１００の全体が実行する処理の具体的な手順を例示するフローチャートである。端末装置１０の利用者Ｕは、対象製品について所望する情報を要求（問い合わせ）するための入力情報を操作装置１５に対する操作により入力する。図１５には、利用者Ｕが入力した入力情報の一例が図示されている。図１５では、対象製品の機能Ｘにおいて発生したエラーについて問い合わせることを示す入力情報を例示する。

【0090】

端末装置１０の受付部１１１は、利用者Ｕが入力した入力情報を受付ける（ＳA1）。プロンプト生成部１１２は、入力情報を含むプロンプトＰ1を生成し（ＳA2）、当該プロンプトＰ1を通信装置１３から情報生成システム３０に送信する（ＳA3）。プロンプトＰ1は、上述した通り、入力情報に関連する１以上の関連情報Ｇを要求するためのプロンプトＰである。

【0091】

情報生成システム３０の取得部３１１は、端末装置１０から送信されたプロンプトＰ1を通信装置３３により受信することで取得する（ＳB1）。関連情報生成部３１２は、取得部３１１が取得したプロンプトＰ1に対して１以上の関連情報Ｇを生成する（ＳB2）。入力情報の内容から統計的に妥当な関連情報Ｇ（入力情報の内容から関連する可能性が高いと推定される関連情報Ｇ）が生成される。関連情報生成部３１２は、生成した１以上の関連情報Ｇを通信装置３３から端末装置１０に送信する（ＳB3）。

【0092】

図１５には、関連情報生成部３１２が生成する関連情報Ｇの一例も図示されている。図１５では、３つの関連情報Ｇ（Ｇ1，Ｇ2，Ｇ3）が生成された場合を例示する。図１５に例示される通り、関連情報Ｇは、入力情報に関連（類似）する情報であり、入力情報と同様に機能Ｘに関する問い合わせを示す情報である。例えば、入力情報の内容（例えば機能Ｘで発生したエラーや要求する情報）をより具体化した関連情報Ｇ1や、入力情報の内容に関連する内容（例えば機能Ｘに関連する機能Ｘ1，Ｘ2で発生したエラーに関する内容）の関連情報Ｇ2，Ｇ3が想定される。

【0093】

端末装置１０の取得部１１３は、情報生成システム３０が送信した１以上の関連情報Ｇを通信装置１３により受信する（ＳA4）。提示部１１４は、入力情報と１以上の関連情報Ｇを表示装置１４により表示することで利用者Ｕに提示する（ＳA5）。すなわち、図１５に例示した入力情報および３つの関連情報Ｇ（Ｇ1，Ｇ2，Ｇ3）が表示装置１４により表示される。利用者Ｕは、表示装置１４により表示された入力情報および３つの関連情報Ｇから、最も適切であると考えられる情報を要求情報として選択する。要求情報の選択は操作装置１５に対する操作で行われる。受付部１１１は、利用者Ｕが操作装置１５に対する操作により入力（選択）した要求情報を受付ける（ＳA6）。

【0094】

なお、利用者Ｕは、入力情報および１以上の関連情報Ｇのうち選択した情報を修正した上で要求情報としてもよい。また、利用者Ｕが選択した情報を端末装置１０において加工（例えば変換や他の情報との結合など）した上で要求情報としてもよい。すなわち、要求情報は、入力情報または関連情報Ｇそのものである場合と、入力情報または関連情報Ｇに応じた情報である場合とがある。

【0095】

さらに、利用者Ｕは、問い合わせ対象（対象製品）を識別する識別情報を操作装置１５に対する操作により入力する。例えば、事前に準備された複数の選択肢から識別情報（例えば対象製品のバージョンなど）を選択することで入力してもよいし、利用者Ｕが任意の識別情報を入力してもよい。なお、複数の選択肢は、表示装置１４により表示される。受付部１１１は、利用者Ｕが操作装置１５に対する操作により入力した識別情報を受付ける（ＳA7）。

【0096】

プロンプト生成部１１２は、要求情報と識別情報とを含むプロンプトＰz2，Ｐ3を生成する（ＳA8）。プロンプト生成部１１２は、生成したプロンプトＰz2，Ｐ3を通信装置１３から情報提供システム４０に送信する（ＳA9）。

【0097】

情報提供システム４０（第１処理装置４１，第２処理装置４２，情報提供装置４３，情報取得装置４４）は、端末装置１０から送信されたプロンプトＰz2，Ｐ3を受信すると、応答情報Ｒを生成する処理を実行する（ＳC1）。図１６は、ステップＳC1の詳細な手順を例示するフローチャートである。

【0098】

図１６に例示される通り、情報取得装置４４の制御装置４４１は、端末装置１０から送信されたプロンプトＰz2を通信装置４４３により受信することで取得する（ＳC01）。次に、制御装置４４１は、プロンプトＰz2からプロンプトＰ2を生成する（ＳC02）。具体的には、制御装置４４１は、プロンプトＰz2に参考情報を付与することで、要求情報と識別情報と参考情報とを含むプロンプトＰ2を生成する。上述した通り、参考情報は、参考情報テーブルＤqを用いて取得される。例えば、プロンプトＰ2の参考情報に含まれる文字列（以下「検索文字列」という）に一致する（または類似度が高い）対象文字列と、プロンプトＰ2の識別情報に一致する（または類似度が高い）識別情報とが対応付けられた参考情報が、参考情報テーブルＤqから取得される。例えば、要求情報が「Ａの製品からＢの製品に切り替えました。機能Ｘの有効化手順を教えてください。」という内容の場合には、「機能Ｘの有効化手順」という文字列が検索文字列とされ得る。なお、異なる複数の検索文字列を使用して複数の参考情報を取得してもよい。そして、制御装置４４１は、プロンプトＰ2を第１処理装置４１に送信する（ＳC03）。

【0099】

第１処理装置４１の取得部１４１は、情報取得装置４４から送信されたプロンプトＰ2を通信装置４１３により受信することで取得する（ＳC11）。処理部１４２は、取得部１４１が取得したプロンプトＰ2に対して１以上の第１出力情報Ｗ1を生成する（ＳC12）。具体的には、処理部１４２は、プロンプトＰ2を生成モデルＭ2に入力することで１以上の第１出力情報Ｗ1を生成する。処理部１４２は、生成した１以上の第１出力情報Ｗ1を情報提供装置４３に送信する（ＳC13）。

【0100】

第２処理装置４２の取得部２４１は、端末装置１０から送信されたプロンプトＰ3を通信装置４２３により受信することで取得する（ＳC21）。処理部２４２は、取得部２４１が取得したプロンプトＰ3に対して１以上の第２出力情報Ｗ2を生成する（ＳC22）。具体的には、処理部２４２は、プロンプトＰ3を生成モデルＭ3に入力することで１以上の第２出力情報Ｗ2を生成する。取得部２４１は、生成した１以上の第２出力情報Ｗ2を情報提供装置４３に送信する（ＳC23）。なお、ステップＳC11-ＳC13とステップＳC21-ＳC23とは、並行して行ってもよいし、前後して行ってもよい。

【0101】

図１７には、第１出力情報Ｗ1と第２出力情報Ｗ2とが例示されている。図１７では、２つの第１出力情報Ｗ1（Ｗ11，Ｗ12）が生成され、１つの第２出力情報Ｗ2が生成された場合を例示する。出力情報Ｗ1，Ｗ2は、応答情報Ｒ（回答）の候補である。

【0102】

情報提供装置４３の取得部３４１は、第１処理装置４１から送信された１以上の第１出力情報Ｗ1と、第２処理装置４２から送信された１以上の第２出力情報Ｗ2とを通信装置４３３により受信することで取得する（ＳC31，ＳC32）。なお、ステップＳC31およびステップＳC32の先後は任意であり、並行して行われてもよい。

【0103】

指標算定部３４２は、１以上の第１出力情報Ｗ1の各々および１以上の第２出力情報Ｗ2の各々について、要求情報に対する妥当性を示す指標Ｋを特定する（ＳC33）。以下の説明では、指標Ｋが点数（１００点満点）である場合を例示する。指標Ｋの特定には、生成モデルＭ4が利用される。具体的には、複数の出力情報Ｗ（Ｗ11，Ｗ12，Ｗ2）の各々について要求情報と当該出力情報Ｗとを生成モデルＭ4に入力することで指標Ｋが特定される。図１７に例示される通り、出力情報Ｗ毎に指標Ｋ（点数）が特定される。

【0104】

応答生成部３４３は、取得部３４１が取得した１以上の第１出力情報Ｗ1と１以上の第２出力情報Ｗ2とに応じて応答情報Ｒを生成する処理（以下「応答生成処理」という）を実行する（ＳC34）。本実施形態の応答生成処理では、１以上の第１出力情報Ｗ1の各々および１以上の第２出力情報Ｗ2の各々について特定された指標Ｋに応じて、応答情報Ｒを生成する。図１８は、応答生成処理の具体的な手順を例示するフローチャートである。

【0105】

まず、応答生成部３４３は、複数の出力情報Ｗ(Ｗ1，Ｗ2)のうち指標Ｋが閾値を上回る出力情報Ｗがあるか否かを判定する（ＳC34-1）。複数の出力情報Ｗのうち指標Ｋが閾値を上回る出力情報Ｗがあった場合（ＳC34-1;YES）、応答生成部３４３は、応答情報Ｒを生成する（ＳC34-2）。指標Ｋが閾値を上回る出力情報Ｗが１つである場合には、当該１つの出力情報Ｗに応じて応答情報Ｒが生成される。出力情報Ｗに応じて生成される応答情報Ｒは、出力情報Ｗそのものである場合に加えて、例えば、出力情報Ｗを加工や修正した情報や、出力情報Ｗにその他の情報を追加した情報で場合も想定される。

【0106】

指標Ｋが閾値を上回る出力情報Ｗが複数あった場合には、当該複数の出力情報Ｗに応じて応答情報Ｒが生成される。複数の出力情報Ｗに応じて生成される応答情報Ｒは、例えば複数の出力情報Ｗを組み合わせた情報そのものである場合の他に、例えば、当該組み合わせた情報を加工や修正した情報や、当該複数の出力情報Ｗにその他の情報を追加した情報である場合も想定される。

【0107】

一方で、複数の出力情報Ｗのうち指標Ｋが閾値を上回る出力情報Ｗがなかった場合（ＳC34-1;NO）、応答生成部３４３は、ＳC34-1の処理を所定回数（例えば２回）繰り返したか否かを判定する（ＳC34-3）。ＳC34-1の処理が所定回数にわたり繰り返されていない場合（ＳC34-3;NO）、図１６のステップＳC02に戻り、再度プロンプトＰ2が生成される。具体的には、情報取得装置４４は、参考情報を他の参考情報に変更したプロンプトＰ2を生成する。第１実施形態の情報取得装置４４は、参考情報テーブルＤqを用いて、検索文字列を変更した上で参考情報を再度取得する。例えば、要求情報が「Ａの製品からＢの製品に切り替えました。機能Ｘの有効化手順を教えてください。」という内容の場合においては、例えば前回のステップＳC02において「機能Ｘの有効化手順」という文字列が検索文字列とされた場合には、「Ｂの製品における機能Ｘの有効化手順」という文字列が検索文字列とされ得る。すなわち、検索文字列は、要求情報に含まれる複数の単語を組み合わせた文字列であってもよい。変更後の検索文字列は、例えば、前回の検索文字列にその他の単語や文字列を組み合わせた文字列（すなわち変更の前後で一部が重複する文字列）や、前回の検索文字列とは完全に異なる文字列である。なお、変更後のプロンプトＰ2は、新たに取得した参考情報とともに、変更前のプロンプトＰ2の参考情報を含んでもよい。一方で、要求情報と識別情報とは維持される。変更後のプロンプトＰ2が第１処理装置４１に送信される（ＳC03）。

【0108】

次に、第１処理装置４１は、図１６のステップＳC11-ＳC13を再度行う。そして、情報提供装置４３は、変更後のプロンプトＰ2に対して生成された１以上の第１出力情報Ｗ1を取得し（ＳC31）、ステップＳC33およびステップＳC34を実行する。プロンプトＰ2を変更する処理は、第１出力情報Ｗ1を更新する処理であるとも換言できる。なお、第２出力情報Ｗ2を受信するステップＳC32と、ステップＳC33における第２出力情報Ｗ2について指標Ｋを算定する処理は、プロンプトＰ3には変更がないため省略される。すなわち、第２出力情報Ｗ2は更新されず維持される。

【0109】

情報提供装置４３の応答生成部３４３は、更新後の１以上の第１出力情報Ｗ1の各々について特定された指標Ｋと、維持された１以上の第２出力情報Ｗ2の各々の指標Ｋ（すなわち前回のステップＳC33で特定された指標Ｋ）とについて、図１８のステップＳC34-1を実行する。すなわち、応答生成部３４３は、指標Ｋが閾値を上回る出力情報Ｗがなかった場合には、参考情報が他の参考情報に変更されたプロンプトＰ2に対して生成モデルＭ2が新たに生成した１以上の第１出力情報Ｗ1の各々と、維持された１以上の第２出力情報Ｗ2の各々とについて特定された指標Ｋに応じて、応答情報Ｒを生成する。

【0110】

図１７の例示では、例えば、閾値が８０点に設定されている場合には、第１出力情報Ｗ11に応じて応答情報Ｒが生成され、閾値が７０点に設定されている場合には、第１出力情報Ｗ11と第１出力情報Ｗ12に応じて応答情報Ｒが生成され、閾値が９５点に設定されている場合には、応答情報Ｒが生成されずに、プロンプトＰ2が更新される。

【0111】

それに対して、図１８のＳC34-1の処理が所定回にわたり数繰り返された場合（ＳC34-3;YES）、応答生成部３４３は、応答情報Ｒを生成する（ＳC34-2）。この場合には、要求情報に対する妥当な情報が生成できなかったことを示す回答（すなわち所望する情報を利用者Ｕに提供できないことを示す回答）が応答情報Ｒとして生成される。なお、指標Ｋが閾値を上回る出力情報がない場合には、ステップＳC34-3の処理を行うことなく、ステップＳC34-2に遷移して応答情報Ｒ（要求情報に対する妥当な情報が生成できなかったことを示す回答）を生成する構成も採用される。

【0112】

以上の説明から理解される通り、応答生成部３４３は、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2の各々について特定された指標Ｋと、閾値とを比較した結果に応じて、応答情報Ｒを生成する。そして、当該指標Ｋが閾値を上回る出力情報Ｗの個数に応じて応答情報Ｒを生成する方法を相違させる。具体的には、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2のうち指標Ｋが閾値を上回る出力情報Ｗが１つである場合と、当該閾値を上回る出力情報Ｗが複数ある場合と、閾値を上回る出力情報Ｗがない場合とで、応答情報Ｒを生成する方法が相違する。

【0113】

図１４に例示される通り、応答生成部３４３により生成された応答情報Ｒは、通信装置４３３から端末装置１０に送信される（ＳC2）。端末装置１０の取得部１１３は、通信装置１３により応答情報Ｒを受信することで取得する（ＳA10）。そして、提示部１１４は、取得部１１３が取得した応答情報Ｒを表示装置１４により表示することで利用者Ｕに提示する（ＳA11）。

【0114】

第１実施形態では、プロンプトＰ2に対して生成モデルＭ2が生成した１以上の第１出力情報Ｗ1と、プロンプトＰ3に対して生成モデルＭ3が生成した１以上の第２出力情報Ｗ2とに応じて生成された応答情報Ｒが取得できるから、例えば１つの生成モデルが生成した出力情報Ｗに応じて生成された応答情報Ｒを取得して利用者Ｕに提供される構成と比較して、利用者Ｕからの要求情報に対してより適切な応答情報Ｒを利用者Ｕに提示することが可能になる。

【0115】

＜第２実施形態＞
第２実施形態について説明する。以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0116】

図１９は、第２実施形態に係る情報処理システム１００の構成を例示するブロック図である。第２実施形態に係る情報処理システム１００は、第１実施形態の情報管理システム２０に情報収集システム５０を追加した構成である。その他の構成は、第１実施形態と同様である。情報管理システム２０は、利用者Ｕに応答情報Ｒが提示された後に各種の情報を収集するためのコンピュータシステムである。

【0117】

第２実施形態では、要求情報に対する応答情報Ｒが提示された後に、応答情報Ｒの妥当性について特定される。第２実施形態では、例えば利用者Ｕが、要求情報に対して生成された応答情報Ｒについて、操作装置１５に対する操作により妥当性の評価（以下「フィードバック評価」という）を特定（入力）する。フィードバック評価は、例えば、要求情報に対して応答情報Ｒがどの程度適切であったか示す指標（以下「評価指標」という）と、利用者Ｕが応答情報Ｒの妥当性に関して任意に入力できる文章（以下「評価文」という）とを含む。評価指標は、例えば、妥当性の評価を複数段階に区分した選択肢（例えば「良い」「普通」「悪い」）から選択した指標であってもよいし、利用者Ｕが任意に入力できる点数であってもよい。ただし、フィードバック評価は、利用者Ｕではなく、処理装置（図示略）が行ってもよい。処理装置は、例えば生成モデルを用いて応答情報Ｒに対するフィードバック評価を出力する。このような生成モデルには、例えば、応答情報Ｒとフィードバック評価との関係が機械学習されたモデルや、大規模言語モデルが用いられる。

【0118】

端末装置１０の受付部１１１は、特定されたフィードバック評価を受付ける。そして、端末装置１０は、フィードバック評価を含む情報（以下「評価情報」という）Ｆを情報収集システム５０に送信する。評価情報Ｆは、評価の対象となった応答情報Ｒと当該応答情報Ｒに対応する要求情報とを含む。さらに、第２実施形態の評価情報Ｆは、識別情報を含む。なお、評価情報Ｆは、その他の情報（例えば入力情報、関連情報Ｇ、参考情報や出力情報Ｗ）を含んでもよい。

【0119】

図２０は、情報収集システム５０の構成を例示するブロック図である。情報収集システム５０は、利用者Ｕに応答情報Ｒを提示した後に各種の情報を収集するコンピュータシステムである。具体的には、情報収集システム５０は、制御装置５１と記憶装置５２と通信装置５３とを具備する。

【0120】

制御装置５１は、情報収集システム５０の動作を制御する単数または複数のプロセッサである。記憶装置５２は、制御装置５１が実行するプログラムと、制御装置５１が使用する各種のデータとを記憶する単数または複数のメモリである。通信装置５３は、通信網９００を介して端末装置１０と通信する通信機器である。制御装置５１と記憶装置５２と通信装置５３とは、例えば、第１処理装置４１の制御装置４１１と記憶装置４１２と通信装置４１３とについて説明したのと同様の構成が採用される。

【0121】

図２１は、記憶装置５２に記憶されたプログラムを制御装置５１が実行することで実現される機能を例示するブロック図である。制御装置５１は、利用者Ｕに応答情報Ｒを提示した後に各種の情報を収集するための複数の機能（取得部５１１，収集部５１２）を実現する。

【0122】

取得部５１１は、端末装置１０から送信された評価情報Ｆを通信装置５３により受信する。すなわち、取得部５１１（「第１取得部」の例示）は、利用者Ｕが入力した入力情報に応じた要求情報に対して生成された応答情報Ｒについて特定された妥当性の評価（フィードバック評価）と、当該要求情報と、当該応答情報Ｒとを取得する要素として機能する。

【0123】

収集部５１２は、取得部５１１が取得した評価情報Ｆを記憶装置６０に記憶する。評価情報Ｆに含まれるフィードバック評価と要求情報と応答情報Ｒと識別情報とを記憶装置６０に記憶される。例えば、記憶装置６０に記憶されたデータベースＤ1に、フィードバック評価と要求情報と応答情報Ｒと識別情報とが対応付けて登録される。

【0124】

記憶装置６０は、例えば情報収集システム５０が通信網９００を介してアクセス可能な記録媒体（例えばクラウドストレージ）が、記憶装置６０として利用される。記憶装置６０は、第１実施形態で上述した通り、第１処理装置４１の処理部１４２（生成モデルＭ2）がアクセス可能であることが好ましい。なお、情報収集システム５０の記憶装置５２を記憶装置６０として用いてもよい。

【0125】

記憶装置６０に評価情報Ｆを記憶する前に、評価情報Ｆの内容を確認する処理がある。第１に、フィードバック評価が適切であるか否かの確認が行われる。例えば、要求情報、識別情報および応答情報Ｒを踏まえて、フィードバック評価が適切か否か（すなわち評価が妥当であるが否か）が確認される。フィードバック評価が適切か否かの確認は、例えば情報収集システム５０の管理者が行ってもよいし、コンピュータシステムで構成される処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いてフィードバック評価が適切か否かの確認をする。このような生成モデルには、例えば、要求情報、識別情報、応答情報Ｒおよびフィードバック評価と、当該フィードバック評価の妥当性との関係が機械学習されたモデルや、大規模言語モデルが用いられる。

【0126】

フィードバック評価が適切でないと判断された場合、フィードバック評価が適切に修正される。フィードバック評価の修正は、例えば情報収集システム５０の管理者が行ってもよいし、処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いてフィードバック評価を修正する。このような生成モデルには、例えば、要求情報、識別情報、応答情報Ｒおよびフィードバック評価と、修正後のフィードバック評価との関係が機械学習されたモデルや、大規模言語モデルが用いられる。

【0127】

第２に、応答情報Ｒが要求情報に対して適切であるか否かの確認が行われる。例えば、要求情報、識別情報およびフィードバック評価を踏まえて、応答情報Ｒが適切か否か（すなわち応答情報Ｒが妥当であるが否か）が確認される。応答情報Ｒが適切か否かの確認は、例えば情報収集システム５０の管理者が行ってもよいし、コンピュータシステムで構成される処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いて応答情報Ｒが適切か否かの確認をする。このような生成モデルには、例えば、要求情報、識別情報、および応答情報Ｒと、当該応答情報Ｒの妥当性との関係が機械学されたモデルや、大規模言語モデルが用いられる。

【0128】

応答情報Ｒが適切でないと判断された場合、応答情報Ｒが適切に修正される。応答情報Ｒの修正は、例えば情報収集システム５０の管理者が行ってもよいし、処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いて応答情報Ｒを修正する。このような生成モデルには、例えば、要求情報、識別情報、フィードバック評価および応答情報Ｒと、修正後の応答情報Ｒとの関係が機械学習されたモデルや、大規模言語モデルが用いられる。

【0129】

本実施形態の収集部５１２は、フィードバック評価が適切でないと判断された場合には、適切に修正された当該フィードバック評価を記憶装置６０に記憶し、応答情報Ｒが入力情報に対して適切でないと判断された場合には、適切に修正された応答情報Ｒを記憶装置６０に記憶する。フィードバック評価および応答情報Ｒが適切である場合には、修正は行わずに記憶装置６０に記憶される。

【0130】

なお、収集部５１２は、さらに、フィードバック評価が適切であるか否かと、修正前のフィードバック評価（フィードバック評価が適切でない場合）とを記憶装置に６０に記憶してもよい。同様に、収集部５１２は、応答情報Ｒが適切であるか否かと、修正前の応答情報Ｒ（応答情報Ｒが適切でない場合）とを記憶装置に６０に記憶してもよい。

【0131】

第３実施形態の構成によれば、フィードバック評価が適切でないと判断された場合には、適切に修正された当該フィードバック評価を記憶装置６０に記憶され、応答情報Ｒが要求情報に対して適切でないと判断された場合には、適切に修正された応答情報Ｒが記憶装置６０に記憶される。そして、記憶装置６０（データベースＤ1）に記憶された情報は、第１処理装置４１の生成モデルＭ2の訓練データに用いることや、第１処理装置４１が参照することが可能である。したがって、第１処理装置４１がより高精度に第１出力情報Ｗ1の生成を行うことが可能になる。なお、例えば、要求情報と応答情報Ｒ（すなわち第１出力情報Ｗ1）との組み合わせが生成モデルＭ2の訓練データとして用いられる。また、生成モデルＭ2がデータベースＤ1を参照して要求情報に対する第１出力情報Ｗ1を取得してもよい。

【0132】

＜第３実施形態＞

【0133】

図２２は、第３実施形態に係る情報収集システム５０の記憶装置５２に記憶されたプログラムを制御装置５１が実行することで実現される機能を例示するブロック図である。

【0134】

第３実施形態の制御装置５１は利用者Ｕに応答情報Ｒを提示した後に各種の情報を収集するための複数の機能として、取得部５１１および収集部５１２に加えて、プロンプト生成部５１３および情報生成部５１４を実現する。なお、情報生成部５１４の機能は、情報収集システム５０と相互に通信可能な別体の装置に搭載してもよい。

【0135】

第１に、第３実施形態の取得部５１１（「第１取得部」の例示）は、利用者Ｕが入力した入力情報を取得する。プロンプト生成部５１３は、入力情報を含むプロンプトＰ4（「第４プロンプト」の例示）を生成する。具体的には、プロンプトＰ4は、入力情報に関連する関連情報を生成することを要求する情報である。なお、プロンプトＰ4においては、複数の関連情報を生成すること要求してもよい。第３実施形態における関連情報は、第１実施形態で説明した関連情報Ｇと同様の情報である。すなわち、関連情報は、入力情報と同様に、利用者Ｕが所望する情報を要求するための情報である。

【0136】

プロンプト生成部５１３で生成されたプロンプトＰ4は、情報生成部５１４に入力され、入力情報に関連する関連情報が生成される。情報生成部５１４（「第２取得部」の例示）は、訓練済の生成モデルＭ5（「第４生成モデル」の例示）を用いて、関連情報を生成（取得）する。

【0137】

次に、プロンプト生成部５１３は、関連情報を含むプロンプトＰ5（「第５プロンプト」の例示）を生成する。具体的には、プロンプトＰ5は、関連情報に対する回答情報を生成することを要求するための情報である。回答情報は、関連情報に対する応答（典型的には関連情報により要求された情報）を示す情報である。関連情報が問い合わせを示す情報である場合には、回答情報は当該問い合わせに対する回答を示す情報である。回答情報は、第１出力情報Ｗ1と同じ内容（問い合わせに対する回答）である。

【0138】

プロンプト生成部５１３で生成されたプロンプトＰ5は、情報生成部５１４に入力され、関連情報に対する回答情報が生成される。情報生成部５１４（「第３取得部」の例示）は、訓練済の生成モデルＭ6（「第５生成モデル」の例示）を用いて、回答情報を生成（取得）する。

【0139】

なお、第３実施形態では、関連情報を生成する情報生成部５１４が、入力情報を含むプロンプトＰ4に対して生成モデルＭ5が生成し、当該入力情報に関連する関連情報を取得する要素（第２取得部）として機能し、回答情報を生成する情報生成部５１４が、関連情報を含むプロンプトＰ5に対して生成モデルＭ6が生成する回答情報を取得する要素（第３取得部）として機能する。ただし、情報生成部５１４の機能が外部の装置に搭載される場合には、当該装置が生成した関連情報と回答情報とを受信することで取得する要素が第２取得部および第３取得部としてそれぞれ機能する。

【0140】

収集部５１２は、取得部５１１が取得した入力情報と、情報生成部５１４が生成した関連情報および回答情報とを記憶装置６０に記憶する。例えば、記憶装置６０に記憶されたデータベースＤ2に、入力情報と関連情報と回答情報とが対応付けて登録される。ただし、入力情報を記憶装置６０に記憶することは必須ではない。

【0141】

記憶装置６０に入力情報と関連情報と回答情報とを記憶する前に、回答情報が適切であるか否かの確認が行われる。例えば、関連情報の内容を踏まえて、回答情報が適切か否か（すなわち回答情報が妥当であるが否か）が確認される。回答情報が適切か否かの確認は、例えば情報収集システム５０の管理者が行ってもよいし、コンピュータシステムで構成される処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いて回答情報が適切か否かの確認をする。このような生成モデルには、例えば、関連情報および回答情報と、当該回答情報の妥当性との関係が機械学されたモデルや、大規模言語モデルが用いられる。

【0142】

回答情報が適切でないと判断された場合、回答情報が適切に修正される。回答情報の修正は、例えば情報収集システム５０の管理者が行ってもよいし、処理装置が行ってもよい。処理装置（図示略）は、例えば生成モデルを用いて回答情報を修正する。このような生成モデルには、例えば、関連情報および回答情報と、修正後の回答情報との関係が機械学習されたモデルや、大規模言語モデルが用いられる。

【0143】

第３実施施形態の収集部５１２は、回答情報が関連情報に対して適切でないと判断された場合には、適切に修正された当該回答情報を記憶装置６０に記憶する。回答情報が適切である場合には、修正は行わずに記憶装置６０に記憶される。なお、収集部５１２は、さらに、回答情報が適切であるか否かと、修正前の回答情報（回答情報が適切でない場合）とを記憶装置に６０に記憶してもよい。

【0144】

第３実施形態の構成によれば、回答情報が適切でないと判断された場合には、適切に修正された当該回答情報が記憶装置６０に記憶される。そして、記憶装置６０（データベースＤ2）に記憶された情報は、情報生成システム３０（生成モデルＭ1）の訓練データに用いることや、情報生成システム３０が参照することが可能である。したがって、情報生成システム３０がより高精度に関連情報Ｇの生成を行うことが可能になる。例えば、入力情報と関連情報との組み合わせが生成モデルＭ1の訓練データとして用いられる。また、回答情報は第１出力情報Ｗ1と同じ内容であるから、関連情報（すなわち要求情報の候補）と回答情報（すなわち第１出力情報Ｗ1）との組み合わせを生成モデルＭ2の訓練データとして用いもよい。さらに、生成モデルＭ1がデータベースＤ2を参照して入力情報に対する関連情報を取得してもよいし、生成モデルＭ2がデータベースＤ2を参照して要求情報に対する第１出力情報Ｗ1を取得してもよい。

【0145】

なお、生成モデルＭ5と生成モデルＭ6とは、共通の１つの生成モデルであってもよい。また、生成モデルＭ5が生成モデルＭ1と共通であってもよいし、生成モデルＭ6が生成モデルＭ2と共通であってもよい。また、入力情報に対して生成された関連情報が適切であるか否かを判断し、当該関連情報が適切でないと判断された場合には、関連情報を修正した上で記憶装置６０に記憶してもよい。

【0146】

＜変形例＞
以上に例示した各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を適宜に併合することも可能である。

【0147】

（１）前述の各形態では、問い合わせの対象が特定の対象製品である場合を例示したが、当該対象はサービスであってもよい。サービスには、例えば、水道、ガス、電気、銀行、医療、宿泊、教育や交通に関する各種のサービスが含まれる。参考情報や識別情報の内容は、対象の種類に応じて適宜に変更し得る。例えば、問い合わせの対象がサービス（例えば水道、ガス、電気）である場合には、識別情報としては、そのサービスについて契約しているプランや契約者を識別するための情報が例示され、参考情報としては、サービスの提供元が収集した情報（利用者が契約しているプランの詳細や過去の使用履歴など）、または、サービスの提供元が一般に公開している情報が参考情報として例示される。また、対象製品は、ソフトウェアには限定されず、家電、ゲーム、食品などの各種の製品が想定される。

【0148】

（２）前述の各形態において、情報生成システム３０または情報提供システム４０の機能の一部を端末装置１０に搭載してもよい。例えば、関連情報生成部３１２、処理部１４２、処理部２４２、指標算定部３４２および応答生成部３４３の一部または全部を端末装置１０に搭載してもよい。例えば、応答生成部３４３を端末装置１０に搭載する構成では、応答情報Ｒを取得する取得部１１３は、応答情報Ｒを生成する要素（すなわち応答生成部３４３）である。すなわち、取得部１１３は、応答情報Ｒを外部の装置から受信することで取得する要素である場合（第１実施形態－第３実施形態）と、応答情報Ｒを生成することで取得する要素の場合（応答生成部３４３が端末装置１０に搭載される構成）とがある。同様に、取得部１１３は、関連情報Ｇを外部の装置から受信することで取得する要素である場合（第１実施形態－第３実施形態）と、関連情報Ｇを生成することで取得する要素の場合（関連情報生成部３１２が端末装置１０に搭載される構成）とがある。

【0149】

（３）前述の各形態において、１以上の関連情報Ｇを生成する構成は必須ではない。すなわち、関連情報Ｇを利用者Ｕに提示することなく、入力情報を要求情報としてもよい。入力情報に応じた要求情報は、入力情報そのもの場合（入力情報を修正や加工した情報の場合を含む）と、入力情報に関連した関連情報Ｇの場合（関連情報Ｇを修正や加工
した情報の場合を含む）とを含む。

【0150】

（４）前述の各形態において、プロンプト生成部１１２の機能の一部または全部が端末装置１０に以外の装置（例えば情報生成システム３０や情報提供システム４０）に搭載される場合も想定される。例えば、プロンプトＰz2，Ｐ3を生成する機能が情報提供システム４０に搭載される場合には、端末装置１０から情報提供システム４０には、プロンプトＰz2，Ｐ3の生成に必要な情報（例えば要求情報や識別情報）が送信される。

【0151】

また、前述の各形態では、情報取得装置４４がプロンプトＰz2からプロンプトＰ2を生成したが、プロンプトＰ2を生成する機能は、例えば端末装置１０や第１処理装置４１に設けてもよい。

【0152】

（５）前述の各形態において、プロンプトＰ2に識別情報と参考情報とが含まれることは必須ではない。ただし、識別情報と参考情報とがプロンプトＰ2に含まれることで、生成モデルＭ2が高精度（すなわち要求情報に対して妥当性が高い）に第１出力情報Ｗ1を生成することができる。なお、プロンプトＰ2が参考情報を含まない場合には、情報提供システム４０から情報取得装置４４は省略され、端末装置１０からプロンプトＰz2（「第１プロンプト」の例示）が第１処理装置４１に直接的に送信される。同様に、プロンプトＰ3に識別情報が含まれることも必須ではない。また、プロンプトＰ3が参考情報を含んでもよい。また、プロンプトＰz2とプロンプトＰ3とに識別情報を付与するのは、端末装置１０には限定されず、情報管理システム２０が行ってもよい。

【0153】

（６）前述の各形態において、応答生成部３４３が指標Ｋに応じて応答情報Ｒを生成することは必須ではない。以上の構成では、指標算定部３４２は省略される。例えば、生成した複数の出力情報Ｗの全てを組み合わせた応答情報Ｒが生成される構成や、１つの第１出力情報Ｗ1と１つの第２出力情報Ｗ2とを組み合わせた応答情報Ｒが生成される構成が採用される。また、第１出力情報Ｗ1と第２出力情報Ｗ2との類似度（一致率）とを算定して、当該類似度に応じて応答情報Ｒを生成してもよい。例えば、類似度が所定の閾値を上回る場合には、第２出力情報Ｗ2を含む応答情報Ｒを生成し、類似度が所定の閾値を下回る場合には、第１出力情報Ｗ1を含む応答情報Ｒを生成してもよい。

【0154】

（７）前述の形態において、応答生成部３４３は、１以上の第１出力情報Ｗ1および１以上の第２出力情報Ｗ2の各々について特定された指標Ｋのうち、指標Ｋが最大となる出力情報Ｗ（または指標Ｋが降順で所定の順位までの複数の出力情報Ｗ）に応じて応答情報Ｒを生成してもよい。すなわち、各出力情報Ｗの指標Ｋと閾値とを比較した結果に応じて応答情報Ｒを生成することは必須ではない。

【0155】

（８）前述の各形態において、入力情報を入力して最終的な応答情報Ｒを得られるまでの処理の流れを利用者Ｕが確認できるようにしてもよい。例えば、利用者Ｕが入力した入力情報と、当該入力情報から生成された関連情報Ｇと、入力情報および関連情報Ｇから利用者Ｕが選択した要求情報と、当該要求情報に対する応答情報Ｒとを、利用者Ｕが確認できるようにする。これらの情報は、端末装置１０の記憶装置１２または端末装置１０から通信網９００を介してアクセス可能な記憶装置に記憶される。

【0156】

（９）前述の各形態において、情報生成システム３０、情報管理システム２０、第１処理装置４１、第２処理装置４２、情報提供装置４３、情報取得装置４４および情報収集システム５０の各々は、単独の装置であっても複数の装置から構成されるコンピュータシステムであってもよい。

【0157】

（１０）前述の形態に係る情報処理システム（端末装置，情報生成システム，情報管理システム，情報取得装置，第１処理装置，第２処理装置，情報提供装置，情報収集システム）は、コンピュータ（具体的には制御装置）とプログラムとの協働により実現される。前述の形態に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体を含み得る。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体を除外するものではない。また、通信網を介した配信の形態でプログラムをコンピュータに提供することも可能である。

【0158】

＜付記＞
以上に例示した形態から、例えば以下の構成が把握される。

【0159】

［１］利用者が入力した入力情報を受け付ける受付部と、前記入力情報に応じた要求情報に対して生成された応答情報を取得する取得部とを具備し、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報である端末装置。

【0160】

以上の構成によれば、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、当該要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された応答情報を取得できるから、例えば、要求情報を含むプロンプトに対して１つの生成モデルが生成した出力情報に応じた応答情報が取得される構成と比較して、利用者からの要求情報にして対してより適切な応答情報を利用者に提示することができる。

【0161】

［２］前記要求情報は、所定の対象に関する問い合わせを示す情報であり、前記第１生成モデルは、当該対象に関する信頼性の高い情報を訓練データとして訓練されたモデルである［１］の端末装置。

【0162】

以上の構成では、第１モデルが所定の対象に関する信頼性の高い情報を訓練データとして訓練されたモデルであるから、対象に関する信頼性の高い情報を踏まえて第１出力情報を生成できる。

【0163】

［３］前記応答情報は、前記１以上の第１出力情報の各々および前記１以上の第２出力情報の各々について特定された指標に応じて生成された情報であり、前記指標は、前記要求情報に対する妥当性を示す［１］の端末装置。

【0164】

以上の構成によれば、１以上の第１出力情報の各々および１以上の第２出力情報の各々について特定された指標に応じて応答情報が生成され、当該指標は要求情報に対する妥当性を示すから、要求情報に対する妥当性を加味して生成された応答情報を利用者に提示することができる。

【0165】

［４］前記応答情報は、前記指標と閾値とを比較した結果に応じて生成される［３］の端末装置。

【0166】

以上の構成では、指標と閾値とを比較した結果に応じて応答情報が生成されるから、例えば、指標が閾値を上回る１以上の出力情報（すなわち妥当性が高い出力情報）に応じて生成される応答情報を利用者に提示することができる。

【0167】

［５］前記応答情報が生成される方法は、前記１以上の第１出力情報の各々および前記１以上の第２出力情報の各々のうち、前記指標が前記閾値を上回る出力情報の個数に応じて相違する［４］の端末装置。

【0168】

以上の構成では、１以上の第１出力情報の各々および１以上の第２出力情報の各々のうち指標が閾値を上回る出力情報の個数に応じて生成される方法が相違する応答情報を利用者に提示することができる。

【0169】

［６］前記応答情報が生成される方法は、前記１以上の第１出力情報および前記１以上の第２出力情報のうち前記指標が前記閾値を上回る出力情報が１つである場合と、前記１以上の第１出力情報および前記１以上の第２出力情報のうち前記指標が前記閾値を上回る出力情報が複数ある場合と、前記１以上の第１出力情報および前記１以上の第２出力情報のうち前記指標が前記閾値を上回る出力情報がない場合とで相違する［５］の端末装置。

【0170】

以上の構成では、１以上の第１出力情報および１以上の第２出力情報のうち指標が閾値を上回る出力情報が１つである場合と、１以上の第１出力情報および１以上の第２出力情報のうち指標が閾値を上回る出力情報が複数ある場合と、１以上の第１出力情報および１以上の第２出力情報のうち指標が閾値を上回る出力情報がない場合とで生成される方法が相違する応答情報を利用者に提示することができる。

【0171】

［７］前記応答情報は、前記閾値を上回る出力情報が１つである場合には、当該１つの出力情報に応じて生成され、前記閾値を上回る出力情報が複数ある場合には、当該複数の出力情報に応じて生成される［６］の端末装置。

【0172】

以上の構成では、閾値を上回る出力情報が１つである場合には、当該１つの出力情報に応じて応答情報が生成され、閾値を上回る出力情報が複数ある場合には、当該複数の出力情報に応じて応答情報が生成されるから、妥当性が高い出力情報が複数ある場合には、当該複数の出力情報を全て加味した応答情報を利用者に提示することができる。

【0173】

［８］前記第１プロンプトは、前記第１出力情報の生成において参照される参考情報を含み、前記応答情報は、前記閾値を上回る出力情報がない場合には、前記参考情報が他の参考情報に変更された第１プロンプトに対して前記第１生成モデルが新たに生成した１以上の第１出力情報の各々と、前記１以上の第２出力情報の各々とについて特定された前記指標に応じて生成される［７］の端末装置。

【0174】

以上の構成では、閾値を上回る出力情報がない場合には、参考情報が他の参考情報に変更された第１プロンプトに対して第１生成モデルが新たに生成した１以上の第１出力情報の各々と、１以上の第２出力情報の各々とについて特定された指標に応じて応答情報が生成される。したがって、妥当性が高い出力情報が得られなかった場合には、新たな１以上の第１出力情報（すなわち更新された１以上の第１出力情報）を応答情報の生成に利用することができる。

【0175】

［９］前記取得部は、前記入力情報を含む第３プロンプトに対して訓練済の第３生成モデルが生成し、当該入力情報に関連する１以上の関連情報を取得し、前記要求情報は、前記入力情報および前記１以上の関連情報のうち前記利用者が選択した情報である［１］から［８］の端末装置。

【0176】

以上の構成では、要求情報が入力情報および１以上の関連情報のうち利用者が選択した情報であるから、複数の選択肢（入力情報および１以上の関連情報）のうち利用者が所望する情報を要求情報として応答情報が生成される。したがって、例えば、利用者が入力した入力情報が要求情報とされる構成と比較して、利用者の意図に沿った応答情報を取得することができる。

【0177】

［１０］前記要求情報は、所定の対象に関する問い合わせを示す情報であり、前記第１プロンプトは、前記対象を識別するための識別情報を含む［１］の端末装置

【0178】

以上の構成では、要求情報が所定の対象に関する問い合わせを示す情報であり、第１プロンプトは当該対象を識別するための識別情報を含むから、要求情報に対する応答情報を高精度に生成できる。

【0179】

［１１］前記第１プロンプトは、前記応答情報の生成において参照される参考情報を含む［１］から［７］の端末装置。

【0180】

以上の構成では、第１プロンプトは応答情報の生成において参照される参考情報を含むから、要求情報に対する応答情報を高精度に生成できる。

【0181】

［１２］利用者が入力した入力情報を受け付ける受付部と、前記入力情報を含む第３プロンプトに対して訓練済の第３生成モデルが生成し、当該入力情報に関連する１以上の関連情報を取得する取得部とを具備する端末装置。

【0182】

以上の構成では、利用者が入力した入力情報を受け付ける受付部と、入力情報を含む第３プロンプトに対して訓練済の第３生成モデルが生成し、当該入力情報に関連する１以上の関連情報を取得する取得部とを具備するから、利用者に入力情報に関連する１以上の関連情報を提供することができる。したがって、例えば複数の選択肢（入力情報および１以上の関連情報）のうち利用者が所望する情報である要求情報を含むプロンプトを生成することができる。ひいては、要求情報に対してより適切な応答情報を利用者に提示することができる。

【0183】

［１３］利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部を具備する情報提供装置。

【0184】

以上の構成では、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、要求情報に対する応答情報が生成される。したがって、例えば、要求情報を含むプロンプトに対して１つの生成モデルが生成した出力情報に応じた応答情報が取得される構成と比較して、要求情報にして対してより適切な情報を利用者に提示することができる。

【0185】

［１４］利用者が入力した入力情報を含む第３プロンプトを訓練済の第３生成モデルに入力することで、当該入力情報に関連する１以上の関連情報を生成する関連情報生成部を具備する情報生成システム。

【0186】

以上の構成では、利用者が入力した入力情報を含む第３プロンプトを第３生成モデルに入力することで、１以上の関連情報が生成されるから、利用者に入力情報に関連する１以上の関連情報を提供することができる。したがって、例えば複数の選択肢（入力情報および１以上の関連情報）のうち利用者が所望する情報である要求情報を含むプロンプトを生成することができる。ひいては、要求情報に対してより適切な応答情報を利用者に提示することができる。

【0187】

［１５］利用者が入力した入力情報に応じた要求情報に対して生成された応答情報について特定された妥当性の評価と、当該要求情報と、当該応答情報とを取得する第１取得部と、前記評価と前記要求情報と前記応答情報とを記憶装置に記憶する収集部とを具備する情報収集システム。

【0188】

以上の構成では、利用者が入力した入力情報に応じた要求情報に対して生成された応答情報について特定された妥当性の評価と、当該要求情報と、当該応答情報とが記憶装置に記憶される。したがって、記憶装置に記憶される当該評価と要求情報と応答情報とを、例えば、第１生成モデルの訓練データとして用いることや、第１生成モデルが第１出力情報を生成する際に参照することが可能である。すなわち、第１生成モデルが高精度に第１出力情報の生成を行うことが可能になる。ひいては、要求情報に対してより適切な応答情報を利用者に提示することができる。

【0189】

［１６］前記収集部は、前記評価が適切でないと判断された場合には、適切に修正された当該評価を前記記憶装置に記憶し、前記応答情報が前記要求情報に対して適切でないと判断された場合には、適切に修正された当該応答情報を前記記憶装置に記憶する［１４］の情報収集システム。

【0190】

以上の構成では、評価が適切でないと判断された場合には、適切に修正された当該評価を記憶装置に記憶し、応答情報が要求情報に対して適切でないと判断された場合には、適切に修正された応答情報を記憶装置に記憶される。したがって、第１生成モデルが高精度に第１出力情報の生成を行うことが可能になるという効果が顕著になる。

【0191】

［１７］利用者が入力した入力情報を含む第４プロンプトに対して訓練済の第４生成モデルが生成し、当該入力情報に関連する関連情報を取得する第１取得部と、前記関連情報を含む第５プロンプトに対して訓練済の第５生成モデルが生成する回答情報を取得する第２取得部と、前記関連情報と前記回答情報とを記憶装置に記憶する収集部とを具備する情報収集システム。

【0192】

以上の構成では、利用者が入力した入力情報を含む第４プロンプトに対して訓練済の第４生成モデルが生成し、当該入力情報に関連する関連情報と、当該関連情報を含む第５プロンプトに対して訓練済の第５生成モデルが生成する回答情報とが記憶装置に記憶される。したがって、記憶装置に記憶される関連情報と回答情報とを、例えば、第３生成モデルの訓練データに用いることや、第３生成モデルが関連情報を生成する際に参照することが可能である。したがって、第３生成モデルが高精度に関連情報の生成を行うことが可能になる。

【0193】

［１８］前記収集部は、前記回答情報が前記関連情報に対して適切でないと判断された場合には、適切に修正された当該回答情報を前記記憶装置に記憶する［１６］の情報収集システム。

【0194】

以上の構成では、回答情報が前記関連情報に対して適切でないと判断された場合には、適切に修正された当該回答情報が記憶装置に記憶されるから、第３生成モデルが高精度に関連情報の生成を行うことが可能になるという効果が顕著である。

【0195】

［１９］利用者が入力した入力情報を受け付ける受付部と、前記入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて、前記要求情報に対する応答情報を生成する応答生成部と、前記入力情報に応じた要求情報に対して生成された応答情報を取得する取得部とを具備する情報処理システム。

【0196】

以上の構成では、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、当該要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された応答情報を取得できるから、例えば、要求情報を含むプロンプトに対して１つの生成モデルが生成した出力情報に応じた応答情報が取得される構成と比較して、利用者からの要求情報にして対してより適切な応答情報を利用者に提示することができる。

【0197】

［２０］利用者が入力した入力情報を受け付け、前記入力情報に応じた要求情報に対して生成された応答情報を取得し、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報であるコンピュータシステムにより実現される情報取得方法。

【0198】

以上の構成では、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、当該要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された応答情報を取得できるから、例えば、要求情報を含むプロンプトに対して１つの生成モデルが生成した出力情報に応じた応答情報が取得される構成と比較して、利用者からの要求情報にして対してより適切な応答情報を利用者に提示することができる。

【0199】

［２１］利用者が入力した入力情報を受け付ける受付部、および、前記入力情報に応じた要求情報に対して生成された応答情報を取得する取得部としてとしてコンピュータシステムを機能させ、前記応答情報は、前記要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、前記要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された情報であるとしてコンピュータシステムを機能させるプログラム。

【0200】

以上の構成では、利用者が入力した入力情報に応じた要求情報を含む第１プロンプトに対して訓練済みの第１生成モデルが生成した１以上の第１出力情報と、当該要求情報を含む第２プロンプトに対して訓練済みの第２生成モデルが生成した１以上の第２出力情報とに応じて生成された応答情報を取得できるから、例えば、要求情報を含むプロンプトに対して１つの生成モデルが生成した出力情報に応じた応答情報が取得される構成と比較して、利用者からの要求情報にして対してより適切な応答情報を利用者に提示することができる。

【0201】

なお、［１２］の情報提供装置、［１３］の情報提供装置、［１４］の情報生成システム、および、［１５］［１７］の情報収集システムでそれぞれ実行される方法の発明としても特定される。また、［１２］の情報提供装置、［１３］の情報生成システム、［１５］［１７］の情報収集システム、および、［１９］の情報処理システムをそれぞれ機能させるプログラムの発明としても特定される。

【符号の説明】

【0202】

１０ ：端末装置
１１ ：制御装置
１２ ：記憶装置
１３ ：通信装置
１４ ：表示装置
１５ ：操作装置
２０ ：情報管理システム
３０ ：情報生成システム
３１ ：制御装置
３２ ：記憶装置
３３ ：通信装置
４０ ：情報提供システム
４１ ：第１処理装置
４２ ：第２処理装置
４３ ：情報提供装置
４４ ：情報取得装置
５０ ：情報収集システム
５１ ：制御装置
５２ ：記憶装置
５３ ：通信装置
６０ ：記憶装置
１００ ：情報処理システム
１１１ ：受付部
１１２ ：プロンプト生成部
１１３ ：取得部
１１４ ：提示部
１４１ ：取得部
１４２ ：処理部
２４１ ：取得部
２４２ ：処理部
３１１ ：取得部
３１２ ：関連情報生成部
３４１ ：取得部
３４２ ：指標算定部
３４３ ：応答生成部
４１１ ：制御装置
４１２ ：記憶装置
４１３ ：通信装置
４２１ ：制御装置
４２２ ：記憶装置
４２３ ：通信装置
４３１ ：制御装置
４３２ ：記憶装置
４３３ ：通信装置
５１１ ：取得部
５１２ ：収集部
５１３ ：プロンプト生成部
５１４ ：情報生成部
９００ ：通信網
Ｆ ：フィードバック評価
Ｇ ：関連情報
Ｋ ：指標
Ｍ1-Ｍ6 ：生成モデル
Ｐ1-Ｐ6 ：プロンプト
Ｗ1，Ｗ2 ：出力情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】