特許 7633633 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-12

(45)【発行日】2025-02-20

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20250213BHJP

【ＦＩ】

G06F16/90 100

【請求項の数】 10

(21)【出願番号】P 2024116002

(22)【出願日】2024-07-19

(65)【公開番号】P2025017338

(43)【公開日】2025-02-05

【審査請求日】2024-07-19

(31)【優先権主張番号】P 2023120201

(32)【優先日】2023-07-24

(33)【優先権主張国・地域又は機関】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】510058391

【氏名又は名称】株式会社調和技研

(74)【代理人】

【識別番号】100140936

【弁理士】

【氏名又は名称】高橋 功一

(72)【発明者】

【氏名】▲高▼松 一樹

(72)【発明者】

【氏名】島田 敦子

【審査官】松尾 真人

(56)【参考文献】

【文献】特開２０２３－０１１５２４（ＪＰ，Ａ）

【文献】中国特許出願公開第１１６４１４９９０（ＣＮ，Ａ）

【文献】米国特許第１１５１６１５８（ＵＳ，Ｂ１）

【文献】特開２０２２－１８０２８２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ４０／２０－４０／５８

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

大規模言語モデルに入力された質問データに対する回答データを前記大規模言語モデルから取得することが可能な情報処理装置であって、
前記大規模言語モデルにおいて所定の文字列に関する知識が一定の基準に到達しているか否かを示す判定情報と当該文字列と当該文字列の説明情報とを関連付けて保持するデータベースにおいて、前記質問データに含まれる文字列のうちから、前記基準に到達していない判定情報が関連付けられている第１文字列を抽出する抽出部と、
前記第１文字列と前記第１文字列に関連付けられている前記説明情報とを前記質問データに含めた入力データを前記大規模言語モデルに入力して当該質問データに対する回答データを前記大規模言語モデルから取得する制御部と
を備える情報処理装置。

【請求項2】

前記データベースは、複数の前記文字列間の関係性をツリー構造で示す階層構造情報を前記文字列毎に関連付けて保持し、
前記抽出部は、前記ツリー構造において、前記第１文字列を基準として、前記第１文字列から上層側に連結されている文字列のうちから、前記基準に到達していない判定情報が関連付けられている１又は複数の第２文字列を抽出し、
前記制御部は、前記第１文字列及び前記第２文字列と、前記第１文字列及び前記第２文字列のそれぞれに関連付けられている前記説明情報とを前記入力データに含める
請求項１に記載の情報処理装置。

【請求項3】

前記文字列は、特定分野において使用される用語であり、
前記ツリー構造は、前記特定分野における抽象を上層とし、具象を下層とするツリー構造であり、
前記抽出部は、前記ツリー構造において、前記第１文字列が属する上層側の文字列のうちから前記第２文字列を抽出する
請求項２に記載の情報処理装置。

【請求項4】

前記抽出部は、前記特定分野において使用される特定情報を保持する特定情報データベースにおいて、前記質問データに含まれる文字列に関連する前記特定情報を抽出し、
前記制御部は、前記第１文字列と、前記第１文字列に関連付けられている前記説明情報と、前記第１文字列に関連する前記特定情報とを前記入力データに含める
請求項３に記載の情報処理装置。

【請求項5】

判定対象となる前記文字列である判定対象文字列の説明情報に対する質問を作成する旨の第１質問データを前記大規模言語モデルに入力して当該第１質問データに対する回答データに含まれる質問を前記大規模言語モデルから取得し、前記質問に対して回答する旨の第２質問データを前記大規模言語モデルに入力して当該第２質問データに対する回答データを前記大規模言語モデルから取得し、当該回答データに含まれる回答結果に基づいて前記判定対象文字列の判定情報を設定する判定情報設定部をさらに備える
請求項１に記載の情報処理装置。

【請求項6】

前記判定情報設定部は、前記判定対象文字列の説明情報に対して肯定又は否定の何れかで回答可能な質問を複数作成する旨の前記第１質問データを前記大規模言語モデルに入力して当該第１質問データに対する回答データを前記大規模言語モデルから取得し、当該回答データに含まれる複数の質問に対して肯定又は否定の何れかで回答する旨の前記第２質問データを前記大規模言語モデルに入力して当該第２質問データに対する回答データを前記大規模言語モデルから取得し、当該回答データに含まれる回答結果に基づいて前記判定対象文字列の判定情報を設定する
請求項５に記載の情報処理装置。

【請求項7】

前記特定分野において使用される特定情報に含まれる用語の抽出と用語間の関係性を示すグラフ情報の生成とを指示する第３質問データを前記大規模言語モデルに入力して当該第３質問データに対する回答データを前記大規模言語モデルから取得し、当該回答データに含まれる用語に対する説明を生成する旨の第４質問データを前記大規模言語モデルに入力して当該第４質問データに対する回答データを前記大規模言語モデルから取得し、前記第４質問データに対する回答データに含まれる用語に対する説明を用いて前記データベースにおける前記説明情報を設定する設定部をさらに備える
請求項３に記載の情報処理装置。

【請求項8】

前記特定分野において使用される特定情報に含まれる用語の抽出と用語間の関係性を示すグラフ情報の生成とを指示する第３質問データを前記大規模言語モデルに入力して当該第３質問データに対する回答データを前記大規模言語モデルから取得し、当該回答データに含まれる用語及びグラフ情報に基づいて前記ツリー構造を設定する設定部をさらに備える
請求項３に記載の情報処理装置。

【請求項9】

大規模言語モデルに入力された質問データに対する回答データを前記大規模言語モデルから取得することが可能な情報処理方法であって、
コンピュータが、前記大規模言語モデルにおいて所定の文字列に関する知識が一定の基準に到達しているか否かを示す判定情報と当該文字列と当該文字列の説明情報とを関連付けて保持するデータベースにおいて、前記質問データに含まれる文字列のうちから、前記基準に到達していない判定情報が関連付けられている第１文字列を抽出する抽出処理と、
コンピュータが、前記第１文字列と前記第１文字列に関連付けられている前記説明情報とを前記質問データに含めた入力データを前記大規模言語モデルに入力して当該質問データに対する回答データを前記大規模言語モデルから取得する制御処理と
を含む情報処理方法。

【請求項10】

大規模言語モデルに入力された質問データに対する回答データを前記大規模言語モデルから取得することが可能なコンピュータに実行させるプログラムであって、
前記大規模言語モデルにおいて所定の文字列に関する知識が一定の基準に到達しているか否かを示す判定情報と当該文字列と当該文字列の説明情報とを関連付けて保持するデータベースにおいて、前記質問データに含まれる文字列のうちから、前記基準に到達していない判定情報が関連付けられている第１文字列を抽出する抽出手順と、
前記第１文字列と前記第１文字列に関連付けられている前記説明情報とを前記質問データに含めた入力データを前記大規模言語モデルに入力して当該質問データに対する回答データ前記大規模言語モデルからを取得する制御手順と
をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、機械学習の技術の進歩は著しく、大量の情報を用いて汎用的に学習して生成されたいわゆる大規模言語モデル（Large Language Models）を用いて、ユーザの問い合わせに対する回答を生成するようなサービス等も提供され始めている（例えば、非特許文献１）。

【先行技術文献】

【非特許文献】

【0003】

【文献】「Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｃｏｍｍａｎｄｉｎｇ ｖｉａ Ｐｒｏｇｒａｍ Ｓｙｎｔｈｅｓｉｓ」、［online］、［令和５年７月４日検索］、インターネット（URL: https://arxiv.org/abs/2306.03460）

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した従来技術では、大規模言語モデルを利用して質問データに対する回答データを取得することが可能である。しかし、大規模言語モデルは、汎用的な学習データにより学習を行ったモデルであるため、いわゆる社内用語や専門用語、最新の用語等は未学習であることが多い。そのため、問い合わせの中に未知の単語や用語等が含まれていると極端に回答の精度が劣化するおそれもある。

【0005】

本発明は、大規模言語モデルを利用して質問データに対する回答データを取得する場合に、その回答データの質を高めることを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様は、大規模言語モデルに入力された質問データに対する回答データを前記大規模言語モデルから取得することが可能な情報処理装置であって、前記大規模言語モデルにおいて所定の文字列に関する知識が一定の基準に到達しているか否かを示す判定情報と当該文字列と当該文字列の説明情報とを関連付けて保持するデータベースにおいて、前記質問データに含まれる文字列のうちから、前記基準に到達していない判定情報が関連付けられている第１文字列を抽出する抽出部と、前記第１文字列と前記第１文字列に関連付けられている前記説明情報とを前記質問データに含めた入力データを前記大規模言語モデルに入力して当該質問データに対する回答データを前記大規模言語モデルから取得する制御部とを備える情報処理装置、その各処理を含む情報処理方法、及び、その各処理をコンピュータに実行させるプログラムである。

【発明の効果】

【0007】

本発明によれば、大規模言語モデルを利用して質問データに対する回答データを取得する場合に、その回答データの質を高めることができる。

【図面の簡単な説明】

【0008】

【図1】本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】本発明の一実施形態に係る情報処理システムを構成する管理サーバのハードウェア構成の一例を示す図である。

【図3】本発明の一実施形態に係る情報処理システムを構成する管理サーバ、ユーザ端末、言語モデルサーバの機能的構成の一例を示す図である。

【図4】本発明の一実施形態に係る情報処理システムにかかる事前知識の内容の一例を説明するためのイメージ図である。

【図5】本発明の一実施形態に係る情報処理システムにかかる事前知識の階層化構造の一例を説明するためのイメージ図である。

【図6】本発明の一実施形態に係る情報処理システムを構成するユーザ端末に表示される画像の一例を示す図である。

【図7】本発明の一実施形態に係る情報処理システムを構成する管理サーバに表示される画像の一例を示す図である。

【図8】本発明の一実施形態に係る情報処理システムを構成するユーザ端末に表示される画像の一例であり、図６の例とは異なる例を示す図である。

【図9】本発明の一実施形態に係る情報処理システムを構成する管理サーバにおいて、事前知識の確認時に実行される各種処理の流れの一例を示す図である。

【図10】本発明の一実施形態に係る情報処理システムを構成する管理サーバ、ユーザ端末、言語モデルサーバにおいて、問い合わせ又はリクエスト時に実行される各種処理の流れの一例を示す図である。

【図11】業務知識ＤＢ及び事前知識ＤＢの構成例を示す図である。

【図12】ＬＬＭが既知か未知かを判定する判定例を示す図である。

【図13】ＬＬＭが既知か未知かを判定する判定例を示す図である。

【図14】既知未知判定処理の一例を示すフローチャートである。

【図15】用語集の各用語に関するナレッジグラフを作成する流れを示す図である。

【図16】用語集の各用語に関するナレッジグラフを作成する流れを示す図である。

【図17】ナレッジグラフを表示する場合の表示例を示す図である。

【図18】用語集の各用語に関するナレッジグラフを作成する流れを示す図である。

【図19】用語集の各用語に関するナレッジグラフを作成する流れを示す図である。

【図20】ナレッジグラフを表示する場合の表示例を示す図である。

【図21】事前知識生成処理の一例を示すフローチャートである。

【図22】質問に対する回答を出力する場合の例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら本発明の実施形態について説明する。

【0010】

［情報処理システムの構成例］
図１は、本発明の一実施形態に係る情報処理システムの構成の一例を示す図である。

【0011】

図１に示す情報処理システムは、管理サーバ１と、ユーザ端末２と、言語モデルサーバ３とを含み構成される。管理サーバ１と、ユーザ端末２と、言語モデルサーバ３とは、インターネット等の所定のネットワークＮを介して相互に接続されている。なお、ネットワークＮは必須の構成要素ではないし、例えば、ＮＦＣ（Near Field Communication）、ブルートゥース（登録商標）、ＬＡＮ（Local Area Network）等が利用されてもよい。

【0012】

管理サーバ１は、汎用的なＰＣ（Personal Computer）等により構成され、本システムの管理者等により管理される。管理サーバ１は、例えば、ユーザからの問い合わせ又はリクエストに関する情報を取得し、言語モデルサーバ３に対して、回答の生成に必要となる各種情報を送信する。また、管理サーバ１は、言語モデルサーバ３から送信されてきた問い合わせ又はリクエストに対する回答に関する情報を取得し、その情報をユーザ端末２へ送信する。

【0013】

ユーザ端末２は、汎用的なＰＣやスマートフォン等により構成され、本システムの適用対象となるサービスの提供を希望するユーザにより使用される。ユーザ端末２は、例えば、ユーザにより入力された問い合わせ又はリクエストに関する情報を管理サーバ１へ送信する。また、ユーザ端末２は、管理サーバ１から送信されてきた問い合わせ又はリクエストに対する回答に関する情報を取得し、その情報を出力部１３０（図３参照）等に表示する。

【0014】

言語モデルサーバ３は、各種大規模言語モデルの管理者等により管理される。

【0015】

ここで、大規模言語モデルとは、様々な分野や言語にわたる大量の情報により学習された学習済みモデルであり、典型的には、ＧＰＴ（Generative Pre-Trained Transformer）（例えば、ＧＰＴ－３．５、ＧＰＴ－４、ＧＰＴ－４ Ｔｕｒｂｏ、ＧＰＴ－４ｏ（Omni））、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）、Ｔｒａｎｓｆｏｒｍｅｒ－ＸＬ等が含まれる。なお、ここで言う大規模言語モデルの例は、あくまでも例示であり、今後も開発され、利用され得る各種言語モデルが広く含まれるものとする。

【0016】

＜ハードウェア構成＞
図２は、本発明の一実施形態に係る情報処理システムの管理サーバを構成するハードウェア構成の一例を示す図である。

【0017】

図２に示すように、管理サーバ１は、制御部１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、バス１４と、入出力インターフェース１５と、出力部１６と、入力部１７と、記憶部１８と、通信部１９と、ドライブ２０と、を備えている。

【0018】

制御部１１は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、及び半導体メモリを含むマイクロコンピュータ等で構成され、ＲＯＭ１２に記録されているプログラム、または、記憶部１８からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。

【0019】

ＲＡＭ１３には、制御部１１が各種の処理を実行する上において必要な情報等も適宜記憶される。

【0020】

制御部１１、ＲＯＭ１２およびＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、出力部１６、入力部１７、記憶部１８、通信部１９、ドライブ２０が接続されている。

【0021】

出力部１６は、各種液晶ディスプレイやスピーカ等で構成され、各種情報を画像や音声として出力する。

【0022】

入力部１７は、キーボードやマウス等で構成され、各種情報を入力する。

【0023】

記憶部１８は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等で構成され、各種データを記憶する。本実施形態では、例えば、各種プログラムや各種データベースを含む各種情報が記憶されている。

【0024】

通信部１９は、インターネットを含むネットワークＮを介して他の装置との間で行う通信を制御する。

【0025】

ドライブ２０は、必要に応じて設けられる。ドライブ２０には磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２０によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１８にインストールされる。またリムーバブルメディア３１は、記憶部１８に記憶されている各種データも、記憶部１８と同様に記憶することができる。

【0026】

なお、ユーザ端末２及び言語モデルサーバ３のハードウェア構成は、上述の管理サーバ１のハードウェア構成と基本的に同様とすることができるので説明を省略する。

【0027】

図３は、本発明の一実施形態に係る情報処理システムを構成する管理サーバ、ユーザ端末、言語モデルサーバの機能的構成の一例を示す図である。

【0028】

図３に示すように、管理サーバ１の制御部１１では、各種プログラム等を実行することにより、入力情報取得部６０と、事前知識管理部６１と、事前知識絞り込み部６２と、提供情報生成部６３と、回答情報管理部６４とが機能する。

【0029】

また、記憶部１８の一領域には、事前知識ＤＢ（Data Base）３００が設けられている。事前知識ＤＢ３００には、事前に対象の単語が所定の言語モデルにおいて既知か未知かという確認の結果と、それぞれの単語の関係性を示す情報とが合わせて格納されているものとする。なお、事前知識ＤＢ３００に格納されている情報の詳細は、例えば、図４及び図５を参照しながら後述する。また、事前知識ＤＢ３００及び業務知識ＤＢ３５０については、図１１を参照して詳細に説明する。

【0030】

管理サーバ１の入力情報取得部６０は、問い合わせ又はリクエストに関するテキスト情報又は音声情報を取得する。

【0031】

具体的に入力情報取得部６０は、ユーザ端末２から送信されてくる問い合わせ又はリクエストの内容に関する情報（以下、「入力情報」と呼ぶ）を、通信部１９を介して取得する。

【0032】

管理サーバ１の事前知識管理部６１は、ユーザからの問い合わせ又はリクエストの事前に確認される事前知識に関する各種処理を実行する。事前知識管理部６１には、事前知識確認部８０と、階層化管理部８１とが設けられている。

【0033】

管理サーバ１の事前知識確認部８０は、所定の言語モデルにおいて、所定の単語に関する知識が一定の基準に到達しているか否かの確認に関する情報を取得する。

【0034】

具体的に事前知識確認部８０は、例えば、事前に行われる所定の単語の問い合わせ又はリクエストを行うための情報（以下、「事前知識情報」と呼ぶ）を生成し、事前知識情報を言語モデルサーバ３へ送信する。ここで、所定の単語とは、例えば、管理サーバ１の管理者等が自社のビジネスで利用する業界用語や技術用語等の任意の単語が選択される。そして、事前知識確認部８０は、言語モデルサーバ３により生成された事前知識情報に対する回答に関する情報を取得し、例えば、その回答の内容が一定の基準に達している場合にはその単語を既知と判定し、一定の基準に達していない場合にはその単語を未知と判定する。

【0035】

なお、事前知識確認部８０による判定の基準は、本システムの管理者等の任意であるが、例えば、「〇〇という単語について１００文字程度で完結に説明してください。」という質問を行い、それに対する回答を、（その分野の知識を有する）人が評価してその結果を入力させる、要約等の内容を自動で評価するシステムを利用する等の方法で行うことができる。

【0036】

管理サーバ１の階層化管理部８１は、対象となる単語のそれぞれの関係性を階層構造として保持し、その単語の確認の結果のそれぞれと、その単語のそれぞれの関係性とを合わせて管理する。

【0037】

具体的に階層化管理部８１は、対象となる単語それぞれの関係性を生成する。また、階層化管理部８１は、事前知識確認部８０によるそれぞれの単語に対する確認の結果と、それぞれの単語の関係性を階層化して管理する。また、階層化管理部８１は、管理している各種情報を、事前知識情報として、事前知識ＤＢ３００に格納する。

【0038】

管理サーバ１の事前知識絞り込み部６２は、入力情報取得部６０で取得された入力情報及び事前知識ＤＢ３００に格納されている事前知識情報の内容に基づいて、後述する提供情報の一部として言語モデルサーバ３に提供する単語の候補（以下、「提供単語候補」と呼ぶ）を決定する。また、事前知識絞り込み部６２は、提供単語候補として決定した単語の上位の階層の単語を提供単語候補に追加する。

【0039】

管理サーバ１の提供情報生成部６３は、事前知識絞り込み部６２による絞り込みの結果や入力情報取得部６０で取得された入力情報等の各種情報に基づいて、問い合わせ又はリクエストに対する回答の精度を向上させるために、管理サーバ１が言語モデルサーバ３に提供する情報（以下、「提供情報」と呼ぶ）を生成する。また、提供情報生成部６３は、生成した提供情報を言語モデルサーバ３へ送信する。なお、提供情報生成部６３で生成される提供情報の具体的な内容やイメージは、図７等を参照しながら、後述する。

【0040】

管理サーバ１の回答情報管理部６４は、テキスト情報又は音声情報に基づいて、問い合わせ又はリクエストに対する回答に関する情報を取得する。

【0041】

具体的に回答情報管理部６４は、言語モデルサーバ３から送信されてくる問い合わせ又はリクエストに対する回答に関する情報（以下、「回答情報」と呼ぶ）を、通信部１９を介して取得する。また、回答情報管理部６４は、取得した回答情報を、ユーザ端末２へ送信する。

【0042】

図３に示すように、ユーザ端末２の制御部１００では、各種プログラム等を実行することにより、入力情報管理部１２０と、回答情報管理部１２１とが機能する。

【0043】

ユーザ端末２の入力情報管理部１２０は、ユーザからの問い合わせ又はリクエストに関する入力情報を受け付ける。また、入力情報管理部１２０は、受け付けた入力情報を、管理サーバ１へ送信する。

【0044】

ユーザ端末２の回答情報管理部１２１は、管理サーバ１から送信されてきた回答情報を、通信部１１０を介して取得する。また、回答情報管理部１２１は、取得した回答情報を、ユーザ端末２の出力部１３０に表示する。

【0045】

図３に示すように、言語モデルサーバ３の制御部１６０では、各種プログラム等を実行することにより、提供情報等取得部１８０と、回答情報生成部１８１とが機能する。

【0046】

言語モデルサーバ３の提供情報等取得部１８０は、管理サーバ１から送信されてきた提供情報を、通信部１７０を介して取得する。また、提供情報等取得部１８０は、管理サーバ１から送信されてきた事前知識情報を、通信部１７０を介して取得する。

【0047】

言語モデルサーバ３の回答情報生成部１８１は、提供情報等取得部１８０で取得された提供情報に基づいて、ユーザからの問い合わせ又はリクエストに対する回答に関する情報（以下、「回答情報」と呼ぶ）を生成する。回答情報生成部１８１は、生成した回答情報を管理サーバ１へ送信する。

【0048】

また、回答情報生成部１８１は、提供情報等取得部１８０で取得された事前知識情報に対する回答に関する情報を生成し、その情報を管理サーバ１へ送信する。

【0049】

図４は、本発明の一実施形態に係る情報処理システムにかかる事前知識の一例を説明するためのイメージ図である。

【0050】

ここで、大規模言語モデルについて補足する。大規模言語モデルは、上述の通り、一般に汎用的な情報を用いて学習された学習済みモデルであることから、一般的な用語や単語の回答は精度の高い内容となりやすい。他方、上述の通り、社内情報、専門的な情報、最新の情報等の学習は不足しやすく、高い精度での回答が難しい。そのため、大規模言語モデルが、例えば、専門的な問い合わせ又はリクエストや最新の動向等に関する問い合わせ又はリクエストに対して高い精度で回答を行おうとすると、例えば、不足しやすい情報を大規模言語モデルに与える等の工夫が必要となる。

【0051】

図４の例では、ラビット、ラビット（３代目）、ＲＢ３－Ａ、ＲＢ３－Ｂ、ＲＢ３－Ｃ、エコトク車、コンパクトカーという単語に関して、単語のＩＤ、区分、説明、ＬＬＭ判定（言語モデルによる既知か未知かの判定結果）のそれぞれが表示されている。

【0052】

具体的に図４の例では、ラビットが、主として社内で利用される特有の用語であり、「ラビットはＡ自動車が生産販売するコンパクトカーである」との説明が表示されている。

【0053】

また、図４の例では、ラビットは、ＬＬＭ判定で未知と表示されており、これは、上述の事前知識確認部８０による判定により、ラビットに対する大規模言語モデルによる回答が一定の基準に達していなかった旨を示している。

【0054】

図４の例において、ラビット（３代目）は、主として社内で利用される特有の用語であり、「現行のラビットは２０２３年から販売を開始した。エコトク車である。」との説明が表示されている。また、図４の例では、ラビット（３代目）は、ＬＬＭ判定で未知である。

【0055】

図４の例において、ＲＢ３－Ａは、主として社内で利用される特有の用語であり、「ラビット（３代目）の最上位グレードである。」との説明が表示されている。また、ＲＢ３－Ａは、ＬＬＭ判定で未知である。

【0056】

図４の例において、ＲＢ３－Ｂは、主として社内で利用される特有の用語であり、「ラビット（３代目）の中間グレードである。」との説明が表示されている。また、ＲＢ３Ｂは、ＬＬＭ判定で未知である。

【0057】

図４の例において、ＲＢ３－Ｃは、主として社内で利用される特有の用語であり、「ラビット（３代目）の廉価グレードである。」との説明が表示されている。また、ＲＢ３Ｃは、ＬＬＭ判定で未知である。

【0058】

図４の例において、エコトク車は、主として業界全体として利用される用語であり、「環境性能Ｓをクリアした自動車の総称。補助金率が５０％である。」との説明が表示されている。また、エコトク車は、ＬＬＭ判定で未知である。

【0059】

他方、図４の例において、コンパクトカーは、主として業界全体として利用される用語であり、「乗用車の形状の１つ。明確な定義はないが、全長４、４００ｍｍ級未満の小型車に用いられることが多い。」との説明が表示されている。また、コンパクトカーは、ＬＬＭ判定で既知である。

【0060】

なお、ラビット、ラビット（３代目）、ＲＢ３－Ａ、ＲＢ３－Ｂ、ＲＢ３－Ｃ、エコトク車、コンパクトカーの単語の名称や各種説明等は、本実施形態の説明のために作成した架空の内容である。実際に本システムの適用対象となる単語の名称や定義、ＬＬＭ判定の結果等は本システムの管理者等の任意である。

【0061】

さらに、本システムは、このような事前知識を階層化して管理することもできる。図５は、本発明の一実施形態に係る情報処理システムにかかる事前知識の階層化構造の一例を説明するためのイメージ図である。

【0062】

図５の例では、図４に示したラビット３１３、ラビット（３代目）３１４、ＲＢ３－Ａ（３１５）、ＲＢ３－Ｂ（３１６）、ＲＢ３－Ｃ（３１７）、エコトク車３１２、コンパクトカー３１１の各単語の関係性が構造的に表示されている。具体的には図５に示す通り、ラビット（３代目）３１４は、ＲＢ３－Ａ（３１５）、ＲＢ３－Ｂ（３１６）、ＲＢ３－Ｃ（３１７）の上位語に該当する。ラビット３１３は、ラビット（３代目）３１４の上位語に該当する。エコトク車３１２は、ラビット３１３の上位語に該当する。コンパクトカー３１１は、ラビット３１３の上位語に該当する。このように本システムは、各単語を階層化して管理することで、事前知識の絞り込みを行うことが可能となる。これにより、本システムは、回答に必要な範囲の事前知識のみを効率的に大規模言語モデルに送ることができる。

【0063】

続いて、図６を参照しながら、実際にユーザがユーザ端末２を利用して問い合わせ又はリクエストを行う方法の一例を説明する。図６は、本発明の一実施形態に係る情報処理システムを構成するユーザ端末に表示される画像の一例を示す図である。

【0064】

図６の例では、「質問の内容を入力して下さい。」という定型メッセージが表示されるとともに、ユーザにより入力された「ラビットのオーディオについてオプションには何が選べるか教えてください。」という入力メッセージが表示されている。このように、ユーザは、ユーザ端末２を利用して任意のメッセージを入力し、例えば、図６の確定ボタン１３１等を押下することで、問い合わせ又はリクエストの内容を確定することができる。

【0065】

これに対して、図７を参照しながら、このような問い合わせ又はリクエストに対して管理サーバ１で行われる具体的な処理の一例を説明する。図７は、本発明の一実施形態に係る情報処理システムを構成する管理サーバに表示される画像の一例を示す図である。

【0066】

なお、本実施形態では、ＲＢ３－Ａの仕様書の１０ページ目にオプションについての記載があり、この情報により図６に示す問い合わせ又はリクエストの内容に十分な回答を生成できる。

【0067】

図７の例では、図６の「ラビットのオーディオについてオプションには何が選べるか教えてください。」という問い合わせ又はリクエストに対して、言語モデルサーバ３へ送る提供情報として、「＃作業指示」７３１、「＃事前知識」７３２、「＃参照情報」７３３、「＃問い合わせ内容」７３４のそれぞれに関する具体的な情報が表示されている。

【0068】

「＃作業指示」７３１として提供される情報には、言語モデルサーバ３による回答の精度を向上させるために寄与し得る補足的な指示やユーザへの可読性を高めるための指示等が含まれる。

【0069】

具体的に図７の例では、「以下の事前知識、製品仕様書を元に問い合わせに対して回答してください。最後に、以下の形式で、参考になったドキュメントを示してください。参考ドキュメント：＜ドキュメント名＞製品仕様書から、問い合わせに対応する情報が得られない場合は、「対応する情報が見つかりませんでした」と回答してください。」という指示が作業指示として表示されている。

【0070】

「＃事前知識」７３２として提供される情報には、言語モデルサーバ３の回答の精度を向上させるために必要であり、言語モデルサーバ３が未知の単語に関する情報等が含まれる。具体的に図７の例では、ラビット、ラビット（３代目）、ＲＢ３－Ａ、エコトク車という単語に関する説明が事前知識として表示されている。

【0071】

重要な点は、本システムは、言語モデルサーバ３が未知のすべての単語の情報を事前知識として提供するわけではなく、提供する事前知識の絞り込みを行うことができる点である。例えば、本システムは、図６の「ラビットのオーディオについてオプションには何が選べるか教えてください。」という問い合わせ又はリクエストに関して、ラビットという単語を事前知識として提供が必要な単語の候補として抽出する。ラビットという単語は、図４に示す通り、言語モデルサーバ３が未知の単語である。また、本システムは、ＲＢ３－Ａの仕様書にオプションについての記載があることからＲＢ３－Ａという単語を事前知識として提供が必要な単語の候補として抽出する。同様にＲＢ３－Ａという単語は、言語モデルサーバ３が未知の単語である。

【0072】

ここで、図５に示す各単語の階層を参照すると、ラビット（３代目）３１４という単語はＲＢ３－Ａ（３１５）という単語の上位語である。また、エコトク車３１２及びコンパクトカー３１１という単語はラビット３１３という単語の上位語である。一般に、下位概念にあたる単語の意味が未知の場合、上位概念にあたる単語の意味も知らなければ正確な回答を生成することが難しいと考えられることから、本システムは、それぞれの単語の上位語であるラビット（３代目）３１４、エコトク車３１２、コンパクトカー３１１という単語のうち、言語モデルサーバ３が未知であるラビット（３代目）３１４、エコトク車３１２を事前知識として提供が必要な単語の候補として追加する。

【0073】

他方、ＲＢ３－Ｂ（３１６）及びＲＢ３－Ｃ（３１７）は、ラビット３１３の下位概念にあたる単語であり、事前知識として提供が必要な単語の候補となる単語の何れとの関係においても上位語に当たらない。そのため、本システムは、ＲＢ３－Ｂ（３１６）及びＲＢ３－Ｃ（３１７）の単語に関する情報を事前知識として言語モデルサーバ３に提供しない。本システムは、このような事前知識の絞り込みを行うことで、効率的に必要な情報のみを事前知識として言語モデルサーバ３に提供する。

【0074】

「＃参照情報」７３３として提供される情報には、問い合わせ又はリクエストの内容に応じて参照するべき補足的な情報が含まれる。図７の例では、ＲＢ３－Ａの仕様書の１０ページ目にオプションについての記載があることからＲＢ３－Ａの仕様書に関する情報が参照情報として提供される。

【0075】

「＃問い合わせ内容」７３４として提供される情報には、ユーザにより入力された問い合わせ又はリクエストの内容に関する情報が含まれる。図７の例では、図６の「ラビットのオーディオについてオプションには何が選べるか教えてください。」という問い合わせ又はリクエストの内容が問い合わせ内容として提供される。なお、図７に示した作業指示、事前知識、参照情報、問い合わせ内容に関する情報は、いずれも提供情報に含まれ得る。

【0076】

続いて、図８を参照しながら、生成される回答７４０の内容を簡単に説明する。図８は、本発明の一実施形態に係る情報処理システムを構成するユーザ端末に表示される画像の一例であり、図６の例とは異なる例を示す図である。

【0077】

図８の例では、ユーザによる「ラビットのオーディオについてオプションには何が選べるか教えてください。」という問い合わせ又はリクエストの内容が表示されるとともに、その問い合わせ又はリクエストに対する回答７４０として、
ラビットのオーディオは、以下のオプションが利用可能です。
（１）純正ナビ Ａ自動車 １０万 ４ｉｎｃｈモニタのカーナビです。
（２）オーディオ Ａ自動車 ５万 オーディオのみのシステムです
（３）ハイグレードセット Ｙオーディオ ２０万 Ｙ社スピーカシステムとのセット提供です。
参考ドキュメント： ＲＢ３－Ａ 製品仕様書 ｐ１０
という回答７４０が表示されている。このような回答７４０に関する回答情報は、言語モデルサーバ３により生成されて最終的にはユーザ端末２の出力部１３０に表示される。

【0078】

図９は、本発明の一実施形態に係る情報処理システムを構成する管理サーバ１において、事前知識の確認時に実行される各種処理の流れの一例を示す図である。

【0079】

ステップＳ１において、事前知識確認部８０は、所定の単語に関する問い合わせ又はリクエストを行うための事前知識情報を生成し、事前知識情報を言語モデルサーバ３へ送信する。

【0080】

ステップＳ２において、事前知識確認部８０は、言語モデルサーバ３により生成された事前知識情報に対する回答を取得し、その回答の内容が一定の基準に達している場合にはその単語を既知と判定し、一定の基準に達していない場合にはその単語を未知と判定する。

【0081】

ステップＳ３において、階層化管理部８１は、対象となる単語それぞれの関係性を生成する。

【0082】

ステップＳ４において、階層化管理部８１は、事前知識確認部８０によるそれぞれの単語に対する確認の結果と、それぞれの単語の関係性を階層化して管理する。

【0083】

ステップＳ５において、階層化管理部８１は、管理している各種情報を事前知識情報として、事前知識ＤＢ３００に格納する。これにより、事前知識確認処理は終了する。

【0084】

図１０は、本発明の一実施形態に係る情報処理システムを構成する管理サーバ１、ユーザ端末２、言語モデルサーバ３において、問い合わせ又はリクエスト時に実行される各種処理の流れの一例を示す図である。

【0085】

ステップＳ２１において、ユーザ端末２の入力情報管理部１２０は、ユーザからの問い合わせ又はリクエストに関する入力情報を受け付ける。

【0086】

ステップＳ２２において、ユーザ端末２の入力情報管理部１２０は、受け付けた入力情報を、管理サーバ１へ送信する。

【0087】

ステップＳ４１において、管理サーバ１の入力情報取得部６０は、ユーザ端末２から送信されてくる問い合わせ又はリクエストの内容に関する入力情報を、通信部１９を介して取得する。

【0088】

ステップＳ４２において、管理サーバ１の事前知識絞り込み部６２は、入力情報取得部６０で取得された入力情報及び事前知識ＤＢ３００に格納されている事前知識情報の内容に基づいて、提供情報の一部として言語モデルサーバ３に提供する提供単語候補を決定する。

【0089】

ステップＳ４３において、管理サーバ１の事前知識絞り込み部６２は、提供単語候補として決定した単語の上位の階層の単語を提供単語候補に追加する。

【0090】

ステップＳ４４において、管理サーバ１の提供情報生成部６３は、事前知識絞り込み部６２による絞り込みの結果や入力情報取得部６０で取得された入力情報等の各種情報に基づいて、問い合わせ又はリクエストに対する回答の精度を向上させるために、管理サーバ１が言語モデルサーバ３に提供する提供情報を生成する。

【0091】

ステップＳ４５において、管理サーバ１の提供情報生成部６３は、生成した提供情報を言語モデルサーバ３へ送信する。

【0092】

ステップＳ６１において、言語モデルサーバ３の提供情報等取得部１８０は、管理サーバ１から送信されてきた提供情報を、通信部１７０を介して取得する。

【0093】

ステップＳ６２において、言語モデルサーバ３の回答情報生成部１８１は、提供情報等取得部１８０で取得された提供情報に基づいて、ユーザからの問い合わせ又はリクエストに対する回答情報を生成する。

【0094】

ステップＳ６３において、言語モデルサーバ３の回答情報生成部１８１は、生成した回答情報を管理サーバ１へ送信する。

【0095】

ステップＳ４６において、管理サーバ１の回答情報管理部６４は、言語モデルサーバ３から送信されてくる問い合わせ又はリクエストに対する回答に関する回答情報を、通信部１９を介して取得する。

【0096】

ステップＳ４７において、管理サーバ１の回答情報管理部６４は、取得した回答情報を、ユーザ端末２へ送信する。

【0097】

ステップＳ２３において、ユーザ端末２の回答情報管理部１２１は、管理サーバ１から送信されてきた回答情報を、通信部１１０を介して取得する。

【0098】

ステップＳ２４において、ユーザ端末２の回答情報管理部１２１は、取得した回答情報を、ユーザ端末２の出力部１３０に表示する。これにより、管理サーバ、ユーザ端末、言語モデルサーバにおいて、問い合わせ又はリクエスト時に実行される各種処理は終了する。

【0099】

以上本発明の一実施形態について説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。

【0100】

［他の実施形態］
ここで、大規模言語モデル等を用いた問い合わせ又はリクエスト対応を行う際に利用される手法について簡単に補足する。

【0101】

一般的に大規模言語モデル等による問い合わせ又はリクエスト対応では、類似検索と呼ばれる検索手法が利用される。この類似検索の手法は、いくつか存在するが、例えば、各分割されたドキュメントに対して、エンベッティングと呼ばれるベクトルの数値表現を計算し、それを検索のインデックスとして取り扱うことで検索を実行するベクトルを基準とした手法や、キーワードを基準とした、ｎ－ｇｒａｍ（Ｎグラム）、ＴＦ－ＩＤＦ、ＢＭ２５等の手法が知られている。本システムは、これらの類似検索の手法を含む、任意の手法を採用して、各種検索を実行することができる。

【0102】

また、上述の実施形態では説明を省略したが、問い合わせ又はリクエストとは、単に質問を意味するのではなく、要望、提言、意見等が広く含まれるものとする。具体的に例えば、音声情報の書き起こしや内容の要約の要望、議事録の作成の要望、キャッチコピーやニュースリリースの創作支援の要望、マニュアルなどの校正の要望、商品レビューの内容分析の要望等の幅広い概念も上述の問い合わせ又はリクエストの概念に含まれる。なお、この場合本システムは、例えば、ドキュメント等の検索を行わず、単に指示情報等を大規模言語モデルに送信してもよい。

【0103】

また、上述の実施形態では、大規模言語モデルが１種類のみの場合を例として説明したが、限定されない。本システムは複数種類の大規模言語モデルを利用して、本システムを提供してもよい。その場合、例えば、本システムは、それぞれの大規模言語モデルの種類ごとに事前知識を取得し、管理していてもよい。

【0104】

また、上述の実施形態（特に図５の実施形態）において、本システムは、事前知識を階層化して管理するものとして説明したが、限定されない。本システムは、事前知識を階層化せず、例えば、ハイパーリンクのように簡易的な構造として管理してもよい。

【0105】

また、上述の実施形態において、本システムは、事前知識の管理に際して上位または下位の概念のみを用いるものとして説明したが、限定されない。本システムは、例えば、構成要素や非構成要素、属性、同族語等の単語それぞれの関係性を表現する任意の概念を用いて事前知識を管理してもよい。

【0106】

また、上述の実施形態において、本システムは自動車関連の問い合わせ又はリクエストに回答する事例を説明したが、例示であり、限定されない。本システムは、例えば、製造業、サービス業、物流、行政手続き等業界や種別等に限られず各種各様の問い合わせ又はリクエストに対応可能である。

【0107】

具体的には、例えば、本システムを以下のような態様で適用することができる。

【0108】

例えば、本システムは、広告の業界や金融業界等での適用において、クライアントとユーザ間での相互理解の補助に利用することができる。

【0109】

例えば、本システムは、薬品業界や薬局業務等での適用において、薬剤師資格のない従業員等への業務連絡等の補助に利用することができる。

【0110】

例えば、本システムは、学術領域等での適用において、科研費や補助金の申請にかかる書類の作成等を補助することができる。また、例えば、本システムは、学術領域等での適用において、ユーザの論文検索や論文作成等の補助にも利用できる。

【0111】

例えば、本システムは、税関や検疫業務等への適用において、申請内容の調査や申請書類の作成等を補助することができる。

【0112】

例えば、本システムは、行政等の領域への適用において、法案の調査や確認等を補助することができる。

【0113】

例えば、本システムは、任意の業界等での適用において、従業員間の業務の引継ぎ等を補助することができる。

【0114】

また、上述の実施形態では簡易的な説明に留めたが、本システムの効果の一つは、問い合わせ又はリクエストへの回答に必要十分な事前知識を大規模言語モデル等に提供することにより、大規模言語モデル等の有限な処理環境でも回答の質を高めることである。なお、仮に大規模言語モデル等の処理環境が比較的大きい場合であっても、本システムは、事前知識の提供により演算効率を向上させることができるため、演算の時間やコストを低下させることができる。

【0115】

また、上述の実施形態において、問い合わせ、リクエスト、回答はいずれもテキスト情報として入力又は出力されるものとして説明したが、限定されない。本システムは、音声情報として問い合わせ又はリクエストの情報を取得してもよいし、回答情報を音声情報として出力してもよい。

【0116】

また、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。

【0117】

換言すると、図３等の機能的構成は例示に過ぎず、特に限定されない。

【0118】

即ち、上述した一連の処理を全体として実行できる機能が情報処理システムに備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは図３等の例に限定されない。また、機能ブロックの存在場所も、図３等の例に限定されず、任意でよい。

【0119】

また、１つの機能ブロックは、ハードウェア単体で構成されてもよいし、ソフトウェア単体で構成されてもよいし、それらの組み合わせで構成されてもよい。

【0120】

また、上述の実施形態において、本システムにかかる各種ハードウェア（例えば、管理サーバ１、ユーザ端末２、言語モデルサーバ３）は単一のハードウェア装置として存在しているものとして説明したが、限定されない。本システムに関する各種ハードウェアは、複数のハードウェア装置により構成されてもよい。

【0121】

さらに言えば、本システムにかかる各種ハードウェアは、いわゆるクラウド型のシステムのようにＷｅｂ等を介して各種処理を実行し、処理結果を各種ハードウェアに送る等の構成を採用してもよい。

【0122】

また、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。

【0123】

また、コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータであってもよい。

【0124】

すなわち、例えば、上述の実施形態における各種ハードウェアには、任意のコンピュータ、任意のスマートフォン等の携帯端末等が自由に採用されてもよい。

【0125】

また、このようなプログラムを含む記録媒体は、ユーザ等にプログラムを提供するために装置本体とは別に提供される図示せぬリムーバブルメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成されてもよい。

【0126】

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理は勿論、並列的又は個別に実行されてもよい。また、上述の実施形態で記載するステップは、一部が省略されてもよい。

【0127】

また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味している。

【0128】

これらの他の実施形態を採用した場合においても、本実施形態の作用効果は発揮される。また、本実施形態と他の実施形態、及び他の実施形態同士を適宜組み合わせることも可能である。

【0129】

［本実施形態の構成例］
以上を換言すると、本発明が適用される情報処理装置は、次のような構成を有していれば足り、各種各様な実施の形態を取ることができる。

【0130】

即ち、本発明の第１の態様は、所定の問い合わせ又はリクエストに関する回答の生成に利用し得る情報処理システムであって、前記問い合わせ又は前記リクエストに関するテキスト情報又は音声情報を取得する入力情報取得手段（例えば、入力情報取得部６０）と、所定の言語モデルにおいて、所定の単語に関する知識が一定の基準に到達しているか否かの確認に関する情報を取得する確認情報取得手段（例えば、事前知識確認部８０）と、前記単語の前記確認の結果のそれぞれを管理する確認情報管理手段（例えば、階層化管理部８１）と、前記テキスト情報又は前記音声情報に基づいて、前記問い合わせ又は前記リクエストに対する前記回答に関する情報を取得する回答情報取得手段（例えば、回答情報管理部６４）と、を備える情報処理システムであれば足りる。

【0131】

また、第１の態様において、前記回答情報取得手段は、前記言語モデルが生成した前記回答に関する情報を取得してもよい。

【0132】

また、第１の態様において、前記確認情報管理手段は、前記単語のそれぞれの関係性を含めて、前記単語の前記確認の結果のそれぞれを管理してもよい。

【0133】

また、第１の態様において、前記確認情報管理手段は、前記単語のそれぞれの前記関係性を階層構造として保持し、前記単語の前記確認の結果のそれぞれと、前記単語のそれぞれの前記関係性とを合わせて管理してもよい。

【0134】

また、本発明の第２の態様は、所定の問い合わせ又はリクエストに関する回答の生成に利用し得るコンピュータが実行する情報処理方法であって、前記問い合わせ又は前記リクエストに関するテキスト情報又は音声情報を取得する入力情報取得ステップと、所定の言語モデルにおいて、所定の単語に関する知識が一定の基準に到達しているか否かの確認に関する情報を取得する確認情報取得ステップと、前記単語の前記確認の結果のそれぞれを管理する確認情報管理ステップと、前記テキスト情報又は前記音声情報に基づいて、前記問い合わせ又は前記リクエストに対する前記回答に関する情報を取得する回答情報取得ステップと、を含む情報処理方法であれば足りる。

【0135】

また、本発明の第３の態様は、所定の問い合わせ又はリクエストに関する回答の生成に利用し得るコンピュータに、前記問い合わせ又は前記リクエストに関するテキスト情報又は音声情報を取得する入力情報取得ステップと、所定の言語モデルにおいて、所定の単語に関する知識が一定の基準に到達しているか否かの確認に関する情報を取得する確認情報取得ステップと、前記単語の前記確認の結果のそれぞれを管理する確認情報管理ステップと、前記テキスト情報又は前記音声情報に基づいて、前記問い合わせ又は前記リクエストに対する前記回答に関する情報を取得する回答情報取得ステップと、を含む処理を実行させるプログラムであれば足りる。

【0136】

［本実施形態の背景技術及び課題］
近年、機械学習の技術の進歩は著しく、大量の情報を用いて汎用的に学習して生成されたいわゆる大規模言語モデル（Ｌａｒｇｅ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｓ）を用いて、ユーザの問い合わせに対する回答を生成するようなサービスなども提供され始めている（例えば、非特許文献１）。

【0137】

ここで、従来、チャットボット等で問い合わせや質問に回答する場合、あらかじめ質問等に対する回答を準備して、問い合わせの内容にもっとも近い質問等に対する回答を返答するという方法が行われてきた。しかし、あらかじめ問い合わせに対する回答を準備しておく方法は、そもそも準備等に要する負荷が高く、また、過去に行われていないような問い合わせに正しい回答を行うことが難しいという問題があった。

【0138】

これに対して、近年、試みられている方法が、いわゆる大規模言語モデル等を活用する方法である。この方法では、問い合わせに対する回答を準備する代わりにドキュメントを一定のサイズ以下に分割し（この分割したドキュメントを、「チャンク」と呼ぶ）、チャンクに対して類似検索等の手法を適用することで、回答を事前に準備しなくても、それなりに精度の高い回答を生成することができる。

【0139】

例えば、非特許文献１によれば、大規模言語モデルをテキストからテキストへの変換だけでなく、異なるＡＰＩで利用するための方法が開示されている（非特許文献１を参照）。

【0140】

しかし、大規模言語モデルは汎用的な学習データにより学習を行ったモデルであるため、いわゆる社内用語や専門用語、最新の用語等は未学習である。そのため、問い合わせの中に未知の単語や用語等が含まれていると極端に回答の精度が劣化するような場合もある。さらに言えば、大規模言語モデルに入力（送信）できる情報（プロンプト）も有限である。

【0141】

本実施形態は、このような状況に鑑みてなされたものであり、所定の問い合わせ又はリクエストに対する回答の質を高め得る技術を提供することを目的とする。

【0142】

［大規模言語モデルについて］
ここで、大規模言語モデル（ＬＬＭ）は、ＡＩ（Artificial Intelligence）モデル（例えば、機械学習されて生成される機械学習モデル）の一例である。なお、本実施形態で示す学習は、多量のデータに基づいて、これらのデータの背後にある規則性を見出すことを意味するものとする。また、本実施形態で示す学習により生成されるＡＩモデルは、各種の学習アルゴリズムにより生成される。ＬＬＭとして、例えば、ＣｈａｔＧＰＴ、Ｂａｒｄ、Ｌｌａｍａ（Large Language Model Meta AI）、Ｇｅｍｉｎｉ、Ｃｌａｕｄｅ等を用いることが可能である。なお、これらは一例であり、他のＡＩモデルを使用してもよい。また、本実施形態では、言語モデルサーバ３により実現されるＬＬＭをＬＬＭ５００（図１２等参照）と称して説明する。

【0143】

［業務知識及び事前知識について］
次に、本実施形態で用いられるドメイン知識（例えば、業界知識）、業務知識及び事前知識について説明する。一般に、ＬＬＭ５００は一般常識的な知識は保持するが、特有の知識（例えば、会社固有の知識、業界固有の知識）を有しないことが多い。例えば、自動車会社のような認知度が高い分野であれば、ある程度の概念をＬＬＭ５００が有する可能性があるが、一般的とは言えない分野（例えば、特定の産業向けの製造装置等）の知識をＬＬＭ５００が有しないことが多い。

【0144】

また、ＬＬＭ５００が知識を有している場合でも、事前学習した時点での知識でとどまるため、新しい概念や規制の変化等、最新の動向にはＬＬＭ５００が追従できないことも想定される。このため、特有の知識（例えば、専門的なドキュメント）に基づく問い合わせ応答業務では、ドメイン知識（例えば、業界知識）についてもＬＬＭ５００に与える必要がある。そこで、本実施形態では、ＬＬＭ５００に与える必要があるドメイン知識（例えば、事前知識）を選択して抽出することにより、ＬＬＭ５００に必要となる事前知識を適切に渡すことが可能であり、回答の質を高めることが可能である。

【0145】

ここで、業務知識は、特定の組織に特化して知られている内容（認識、理解されている内容）を意味する。例えば、業務知識は、その特定の組織で業務に使用される設計書、仕様書、マニュアル等の書類に記載されている各種文章、各種用語等から導き出される内容を意味する。なお、特定の組織は、例えば、会社等である。また、特定の組織に対応する業界は、例えば、特定の組織が自動車の製造会社又は販売会社であれば、自動車業界を意味する。

【0146】

事前知識は、業務知識を得るために知られている内容、業務知識を補うために知られている内容（例えば、認識、理解されている内容）等を意味する。例えば、事前知識は、特定の組織に対応する業界で業務に使用される設計書、仕様書、マニュアル等の書類を読む際に知識を補うための各種文章、各種用語等の内容を意味する。言い換えると、事前知識は、業務知識としてＬＬＭ５００に渡す設計書等の内部文書を読み解くために必要な知識を意味する。例えば、事前知識として、業界固有の知識、社内の製品名、略称等の用語集のようなものが想定される。なお、ＬＬＭ５００は、大規模言語モデルであり、言語モデルサーバ３（図１等参照）に対応する。

【0147】

［業務知識ＤＢ及び事前知識ＤＢの構成例］
図１１は、記憶部１８（図３参照）に格納される業務知識ＤＢ３５０及び事前知識ＤＢ３００の構成例を示す図である。図１１（Ａ）には、業務知識ＤＢ３５０の構成例を示し、図１１（Ｂ）には、事前知識ＤＢ３００の構成例を示す。また、図１１（Ｃ）には、仕様書（ＲＢ３－Ａ）３５１の１０ページ目に記載されている内容を簡略化して示す。なお、図３、図１１では、業務知識ＤＢ３５０及び事前知識ＤＢ３００を管理サーバ１（記憶部１８）に保持させる例を示すが、管理サーバ１の外部機器に保持させ、その外部機器から管理サーバ１が必要に応じて各ＤＢの内容を取得してもよい。また、図１１では、自動車等の製造販売を行う業界に対応する業務に関する知識を業務知識とし、自動車等の製造販売を行うＡ自動車において主に使用される知識を事前知識とする例を示す。

【0148】

業務知識ＤＢ３５０には、上述した業務知識に対応する各情報が格納される。例えば、用語集５３１、用語集５５１、仕様書（ＲＢ－Ａ）３５１等が格納される。用語集５３１、用語集５５１は、Ａ自動車が製造販売する自動車等に関する各種用語、各用語の説明等が記載されている。なお、用語集５３１の内容例については図１５に示す。また、用語集５５１の内容例については図１８に示す。

【0149】

仕様書（ＲＢ３－Ａ）３５１は、Ａ自動車が製造販売するラビット（３代目）の最上位グレードであるＲＢ３－Ａの仕様書である。例えば、図１１（Ｃ）に示すように、仕様書（ＲＢ３－Ａ）３５１の１０ページ目には、オプションについての記載がある。

【0150】

なお、図１１（Ｂ）に示す事前知識ＤＢ３００には、図４に示す構成以外にｓｒｃ＿ｉｄ３０６、ｄｓｔ＿ｉｄ３０７を追加した点が異なる。すなわち、事前知識ＤＢ３００は、識別情報３０１と、区分３０２と、用語３０３と、説明３０４と、ＬＬＭ判定３０５と、ｓｒｃ＿ｉｄ３０６と、ｄｓｔ＿ｉｄ３０７とが関連付けて格納されているデータベースである。

【0151】

識別情報３０１は、各単語を識別するための識別情報（例えば、ＩＤ）である。区分３０２は、各単語がどこで主に使用されるかを示す情報である。図１１（Ｂ）では、各単語が、主として社内で使用される特有の用語である場合（「社内」を表示）と、主として業界全体として使用される用語である場合（「業界」を表示）とを示す。

【0152】

用語３０３は、事前知識に対応する文字列である。なお、用語３０３に格納される文字列は、特殊な内容、専門的な内容等となるため、「用語」の文字を使用して説明するが、用語の代わりに、単語、文字列等と称してもよい。なお、文字列は、文字、数値、記号、符号等の文字を並べたものを意味する。

【0153】

説明３０４は、用語３０３に格納されている用語を説明するための文章である。この文章は、例えば、用語３０３に格納されている用語を説明するための既存の用語集等の書類に基づいてユーザが作成して格納可能である。なお、用語集等の書類に含まれる各用語の説明を、その書類に含まれる各文章、各文字等に基づいて、自動で生成可能な文章作成技術を用いて、各説明を格納してもよい。なお、ＬＬＭ５００を用いて説明３０４の情報を自動で生成する例については、図１５～図２１を参照して詳細に説明する。

【0154】

ＬＬＭ判定３０５は、用語３０３に格納されている用語が、ＬＬＭ５００において既知か未知かの判定結果を示す情報である。なお、ＬＬＭ判定３０５に格納される情報については、上述したように、専門家による確認結果を用いて手動で格納してもよく、ＬＬＭ５００を用いて自動で格納してもよい。なお、ＬＬＭ５００を用いてＬＬＭ判定３０５の情報を自動で生成する例については、図１２～図１４を参照して詳細に説明する。

【0155】

ｓｒｃ＿ｉｄ３０６及びｄｓｔ＿ｉｄ３０７は、各用語をツリー構造で管理する場合に用いられる階層構造情報である。ｓｒｃ＿ｉｄ３０６は、ソースｉｄを意味し、ｄｓｔ＿ｉｄ３０７は、ディスティネーションｉｄを意味する。すなわち、用語３０３に格納されている各用語のうち、下位側に連結される用語の識別情報３０１がｓｒｃ＿ｉｄ３０６に格納され、上位側に連結される用語の識別情報３０１がｄｓｔ＿ｉｄ３０７に格納される。例えば、図５に示すように、ラビット３１３の下位側に連結される用語はラビット（三代目）３１４であるため、図１１（Ｂ）に示す識別情報３０１「１」の用語３０３「ラビット」に対応するｓｒｃ＿ｉｄ３０６にはラビット（三代目）の識別情報３０１「２」が格納される。同様に、図５に示すように、ラビット３１３の上位側に連結される用語はコンパクトカー３１１及びエコトク車３１２であるため、図１１（Ｂ）に示す識別情報３０１「１」の用語３０３「ラビット」に対応するｄｓｔ＿ｉｄ３０７には、コンパクトカーの識別情報３０１「７」と、エコトク車の識別情報３０１「６」とが格納される。

【0156】

このように、知識を業務知識と事前知識に分け、ＬＬＭ５００に与える業務知識について、必要となる情報を限定することが可能である。なお、図１１では、業務知識と事前知識の２段階にする例を示すが、３段階以上の多段階としてもよい。また、上述したように、事前知識を階層構造とすることにより、必要最小限の事前知識をＬＬＭ５００に適切に与えることが可能である。

【0157】

なお、高度な処理能力を持つが一般的な知識しか持たないＬＬＭと、ネットワーク規模が小さいが専門分野の知識を学習させたＬＬＭとを使い分けることも想定される。この場合には、ＬＬＭ判定３０５の項目は、利用するＬＬＭ毎に用意することが好ましい。これにより、同じドメイン知識を複数のＬＬＭに利用する場合にも効率的に適用可能である。

【0158】

［事前知識の生成例］
図４等では、対象用語（用語３０３）がＬＬＭにおいて既知か未知かという確認を、人間の評価に基づいて行う例を示した。例えば、候補の事前知識（例えば、対象用語「ラビット」）について、事前に「ラビットという単語について１００文字程度で完結に説明してください。」という質問をＬＬＭ５００に対して行い、ＬＬＭ５００からの出力結果（対象用語「ラビット」の説明）を取得する。この場合には、上述した質問以外の背景情報等をＬＬＭ５００には与えず、ＬＬＭ５００の知識のみを問うようにする。

【0159】

次に、専門家が、事前知識（例えば、対象用語「ラビット」）と、ＬＬＭ５００からの出力結果（対象用語「ラビット」の説明）とを確認する。この場合に、その説明（ＬＬＭ５００からの出力結果）が妥当であるか軽微な修正で済む程度の内容であるかを確認する。そして、その説明（ＬＬＭ５００からの出力結果）が妥当である場合、又は、軽微な修正で済む程度の内容である場合には、ＬＬＭ５００からの出力結果（対象用語「ラビット」の説明）を採用し、ＬＬＭ判定３０５（図１１（Ｂ）参照）を既知と設定する。一方、その説明（ＬＬＭ５００からの出力結果）の内容が専門家の判断と異なる場合には、ＬＬＭ判定３０５（図１１（Ｂ）参照）を未知と設定し、専門家が妥当な説明を設定する。

【0160】

このような確認については、自動で実行することも可能である。そこで、以下では、対象用語がＬＬＭ５００において既知か未知かの確認を自動で実行する例を示す。

【0161】

図１２、図１３は、事前知識ＤＢ３００の用語３０３（図１１（Ｂ）参照）に格納されている各用語について、ＬＬＭ５００が既知か未知かを判定する場合の例を模式的に示す図である。図１２、図１３では、用語３０３「ラビット」についてＬＬＭ５００が既知か未知かを判定する場合の例を示す。ここでは、対象となる事前知識（例えば、用語３０３「ラビット」）について、説明３０４を用いてその説明をＬＬＭ５００に入力し、Ｙｅｓ／Ｎｏで回答できる質問（回答５０２）を生成させる例を示す。

【0162】

図１２には、プロンプト５０１をＬＬＭ５００に入力し、この入力に対してＬＬＭ５００が回答５０２を出力する例を示す。プロンプト５０１には、「＃指示」及び「＃文章」が含まれる。「＃指示」には、Ｙｅｓ／Ｎｏで回答できる質問を作成する旨の指示が含まれる。また、「＃文章」には、事前知識ＤＢ３００の用語３０３「ラビット」に関連付けられている説明３０４「ラビットはＡ自動車が生産販売するコンパクトカーである」が挿入される。

【0163】

このように、事前知識ＤＢ３００の用語３０３に関連付けられている説明３０４を含むプロンプト５０１をＬＬＭ５００に入力することによりＬＬＭ５００から回答５０２を得ることが可能である。

【0164】

図１３には、図１２に示す回答５０２を含むプロンプト５１１をＬＬＭ５００に入力し、この入力に対してＬＬＭ５００が回答５１２を出力する例を示す。プロンプト５１１には、「＃指示」及び「＃質問」が含まれる。「＃指示」には、図１２で生成された質問（Ｙｅｓ／Ｎｏで回答できる質問）に対してＹｅｓ／Ｎｏで回答する旨の指示が含まれる。また、「＃質問」には、図１２で生成された質問（回答５０２）が挿入される。

【0165】

このように、ＬＬＭ５００から得られた回答５０２を含むプロンプト５１１をＬＬＭ５００に入力することによりＬＬＭ５００から回答５１２を得ることが可能である。この回答５１２に基づいて、事前知識確認部８０（図３参照）は、ＬＬＭ判定３０５を既知又は未知の何れかに設定可能である。例えば、ＬＬＭ５００から回答が適切に回答できたものである場合（例えば、全問正解の場合）には、ＬＬＭ判定３０５として既知を設定可能である。一方、ＬＬＭ５００から回答５１２が適切に回答できたものでない場合（例えば、少なくとも１問が不正解、又は、不明回答の場合）には、ＬＬＭ判定３０５として未知を設定可能である。

【0166】

図１３に示す例では、ＬＬＭ５００からの回答５１２に「Ｎｏ、Ｎｏ、私はその情報を持っていません。」が含まれる。すなわち、２問が不正解、１問が不明回答である。このため、図１２、図１３に示す例では、用語３０３「ラビット」についてＬＬＭが未知であると判定される。すなわち、ＬＬＭ判定３０５に「未知」が格納される。

【0167】

このように、既存の単語集等の事前知識が整備され、用語説明が存在するような場合には、ＬＬＭ判定を自動で行うことが可能である。なお、事前知識の用語がリストアップされているものの、用語説明が存在しない場合等には、後述するように、ＬＬＭ５００を用いて用語説明を生成することが可能であるため、その用語説明を用いて、ＬＬＭ判定を自動で行うことが可能である。

【0168】

［管理サーバの動作例］
図１４は、管理サーバ１における既知未知判定処理の一例を示すフローチャートである。また、この既知未知判定処理は、記憶部１８（図３参照）に記憶されているプログラムに基づいて、制御部１１（図３参照）により実行される。また、この既知未知判定処理は、例えば、既知未知判定処理を開始する開始操作がされたタイミングで実行される。また、この既知未知判定処理では、図１～図１３を適宜参照して説明する。

【0169】

ステップＳ６０１において、事前知識確認部８０は、事前知識ＤＢ３００に格納されている用語３０３のうちから、判定対象となる用語（対象用語）を取得する。例えば、事前知識確認部８０は、事前知識ＤＢ３００に格納されている用語３０３のうち、ＬＬＭ判定３０５に情報が格納されていない用語を識別情報３０１の順序で取得する。

【0170】

ステップＳ６０２において、事前知識確認部８０は、ステップＳ６０１で取得された対象用語に関連付けて事前知識ＤＢ３００に格納されている説明３０４を取得する。例えば、対象用語として「ラビット」が取得された場合には、「ラビット」に格納されている説明３０４「ラビットはＡ自動車が生産販売するコンパクトカーである」が取得される。

【0171】

ステップＳ６０３において、事前知識確認部８０は、ステップＳ６０２で取得された説明に関して、Ｙｅｓ／Ｎｏで回答可能な質問と、その回答とを複数組作成する旨のプロンプトをＬＬＭ５００に入力し、その回答をＬＬＭ５００から取得する。例えば、事前知識確認部８０は、図１２に示すプロンプト５０１をＬＬＭ５００に入力し、その回答５０２をＬＬＭ５００から取得する。なお、回答５０２は、ステップＳ６０５の判定処理で使用されるためメモリに保持される。

【0172】

ステップＳ６０４において、事前知識確認部８０は、ステップＳ６０３で取得したＬＬＭ５００からの回答に含まれる質問（Ｙｅｓ／Ｎｏで回答可能な質問）に対してＹｅｓ／Ｎｏで回答する旨の指示を含むプロンプトをＬＬＭ５００に入力し、その回答をＬＬＭ５００から取得する。例えば、事前知識確認部８０は、図１３に示すプロンプト５１１をＬＬＭ５００に入力し、その回答５１２をＬＬＭ５００から取得する。

【0173】

ステップＳ６０５において、事前知識確認部８０は、ステップＳ６０４で取得したＬＬＭ５００からの回答が全て正解であるか否かを判定する。ＬＬＭ５００からの回答が全て正解である場合には、ステップＳ６０６に進む。一方、ＬＬＭ５００からの回答が全て正解でない場合（すなわち、少なくとも一部が不正解、又は、不明回答）には、ステップＳ６０７に進む。例えば、ＬＬＭ５００からの回答５０２（図１２参照）に含まれる回答（Ｙｅｓ／Ｎｏ）は「Ｙｅｓ，Ｎｏ，Ｙｅｓ」である。また、ＬＬＭ５００からの回答５１２（図１３参照）に含まれる３つの回答は「Ｎｏ，Ｎｏ，私はその情報を持っていません。」である。また、これらを比較して一致する回答は正解であり、不一致の回答は不正解である。図１３に示す例では、回答５１２に含まれる３つの回答「Ｎｏ，Ｎｏ，私はその情報を持っていません。」のうち、２番目のみが正解（「Ｎｏ」）であり、１番目は不正解（「Ｙｅｓ」及び「Ｎｏ」）であり、３番目は不明回答である。この場合には、ＬＬＭ５００からの回答が全て正解でないと判定され、ステップＳ６０７に進む。なお、ここで示す判定基準は一例であり、他の判定基準を用いて判定処理を実行してもよい。例えば、ステップＳ６０４で取得したＬＬＭ５００からの回答のうち、閾値以上が正解である場合に、対象用語をＬＬＭ５００は既知であると判定してもよい。

【0174】

ステップＳ６０６において、事前知識確認部８０は、対象用語をＬＬＭ５００は既知であると判定する。

【0175】

ステップＳ６０７において、事前知識確認部８０は、対象用語をＬＬＭ５００は未知であると判定する。

【0176】

ステップＳ６０８において、事前知識確認部８０は、対象用語に対するＬＬＭ５００の既知未知の判定結果を事前知識ＤＢ３００のＬＬＭ判定３０５に格納する。例えば、対象用語「ラビット」に対して「未知」が判定された場合には、事前知識確認部８０は、用語３０３「ラビット」に関連付けられているＬＬＭ判定３０５に「未知」を格納する。

【0177】

［ナレッジグラフの構築例］
図５では、事前知識に関する各用語を階層化して管理する例を示した。具体的には、事前知識に関する各用語を、関係性を含めたネットワーク構造とする例を示した。この場合には、上位、下位等のエンティティ（用語）間に関係性を保持させる。ここで、エンティティは、固有名詞等の固有の表現等を意味する。また、図５等では、ＬＬＭ５００が把握していない情報については、その情報を基準として上位側に辿っていき、その上位の各情報をＬＬＭ５００に渡す例を示した。

【0178】

ここでは、図５を参照して説明する。例えば、ＬＬＭ５００に入力する文章に「ＲＢ３－Ａ」３１５が出てきた場合を想定する。この場合には、「ＲＢ３－Ａ」３１５の上位側の用語（エンティティ）を辿っていく。図５に示す例では、「ＲＢ３－Ａ」３１５の上位側の用語（エンティティ）として、「ラビット（３代目）」３１４、「ラビット」３１３、「エコトク車」３１２、「コンパクトカー」３１１が存在する。なお、上述したように、各エンティティ（事前知識に関する用語）を、ＬＬＭ５００が認知しているか否かについては、事前に確認された判定結果がＬＬＭ判定３０５（図１１（Ｂ）参照）に格納されている。図１１（Ｂ）を参照すると、ＬＬＭ判定３０５に「既知」が格納されている用語３０３は「コンパクトカー」３１１のみであり、他は「未知」である。このように、ＬＬＭ５００に入力する文章に、ＬＬＭ判定３０５「未知」の用語「ＲＢ３－Ａ」３１５が出てきた場合でも、その用語を基準として上位に辿っていくと、ＬＬＭ判定３０５「既知」の用語に辿り着く。すなわち、事前知識に関する各用語については、対象用語を基準としてその上位に辿っていくと、ＬＬＭ５００が把握している概念にたどり着く場合がある。

【0179】

図５に示す例では、対象用語を「ＲＢ３－Ａ」３１５とする場合には、「コンパクトカー」３１１のようにＬＬＭ判定３０５「既知」のエンティティに到達する。又は、「エコトク車」３１２のように、その上位に情報が登録されていないエンティティに到達する。このように、ＬＬＭ判定３０５「既知」のエンティティに到達するか、又は、上位に情報が登録されていないエンティティに到達した場合には、対象用語「ＲＢ３－Ａ」３１５を基準としてその各エンティティ（「コンパクトカー」３１１、「エコトク車」３１２）に到達するまでの各エンティティ（「ラビット（３代目）」３１４、「ラビット」３１３、「コンパクトカー」３１１又は「エコトク車」３１２）に関連する各情報をＬＬＭ５００に渡す。ＬＬＭ５００が把握している用語とこれの下位階層の用語（対象用語）とに関連する情報（例えば、説明３０４）をＬＬＭ５００に渡すことにより、その下位階層の用語をＬＬＭ５００が把握可能となる。また、このように、対象用語とこれに関連する上位階層の用語とに関連する情報（例えば、説明３０４）のみをＬＬＭ５００に渡すことにより、ＬＬＭ５００に渡す情報量を最小化することが可能である。

【0180】

［用語を自動で階層化する例］
上述したように、各用語を階層化する作業を手作業で実行すると、その作業が煩雑となる。そこで、以下では、ＬＬＭ５００を利用して各用語を階層構造とするための情報を生成する例を示す。

【0181】

例えば、ＬＬＭ５００を利用してナレッジグラフを作成することが可能である。ここで、ナレッジグラフは、各種情報をグラフ構造により表すグラフである。このナレッジグラフは、ノード（例えば、エンティティ）と、そのノードを繋ぐエッジ（例えば、エンティティ間の関係性）とで構成される。

【0182】

図１５、図１６は、ＬＬＭ５００を利用して用語集５３１に含まれる各用語に関するナレッジグラフを作成する際の流れを模式的に示す図である。

【0183】

図１７は、ＬＬＭ５００を利用して生成されたナレッジグラフを表示する場合の表示例を示す図である。

【0184】

図１５には、ＬＬＭ５００に入力される入力データ５３０の一例を示す。入力データ５３０には、用語集５３１及びプロンプト５３２が含まれる。

【0185】

用語集５３１は、業務知識（仕様書等）のドキュメントの一例である。例えば、用語集５３１は、Ａ自動車が生産販売する自動車に関する用語集の一例である。なお、用語集５３１は、業務知識ＤＢ３５０（図１１（Ａ）参照）に格納されている。例えば、各用語及びその説明等が含まれる用語集５３１を用いることが可能である。

【0186】

プロンプト５３２は、ＬＬＭ５００を利用して、用語集５３１に含まれる各用語に関するナレッジグラフを作成するためのプロンプトの一例であり、「＃指示」及び「＃出力形式」を含む。例えば、「＃指示」には、ナレッジグラフを作成する旨の指示が含まれる。また、「＃出力形式」には、ＪＳＯＮ（JavaScript（登録商標） Object Notation）で出力する旨と、ノードにはｉｄ、ｎａｍｅ、ｄｅｓｃｒｉｐｔｉｏｎの属性を持たせる旨と、エッジにはｓｒｃ_ｉｄ、ｄｓｔ_ｉｄ、ｒｅｌａｔｉｏｎの属性を持たせる旨と、エッジは概念の具象から抽象の方向になるようにする旨との指示が含まれる。

【0187】

なお、ＪＳＯＮは、多数の要素が複雑な構造で組み合わせられたデータを簡潔な表記で書き表すことが可能な記法である。なお、ＪＳＯＮ以外にＭａｒｋｄｏｗｎ記法等を用いてもよい。

【0188】

ｉｄは、各ノードを識別するための識別情報である。ｉｄとして、例えば、通し番号等を用いることが可能である。ｎａｍｅは、各ノードに対応するエンティティを示す情報である。例えば、ｎａｍｅとして、用語集５３１に含まれる各用語が抽出される。ｄｅｓｃｒｉｐｔｉｏｎは、各ノードに対応するエンティティの説明（用語説明）を示す情報である。例えば、事前知識ＤＢ３００（図１１（Ｂ）参照）に格納されている用語３０３がｎａｍｅに対応し、説明３０４がｄｅｓｃｒｉｐｔｉｏｎに対応する。

【0189】

ｓｒｃ＿ｉｄは、ソースのｉｄ（関係元のｉｄ）を意味する。また、ｄｓｔ＿ｉｄは、ディスティネーションのｉｄ（関係先のｉｄ）を意味する。すなわち、ｓｒｃ＿ｉｄ及びｄｓｔ＿ｉｄにより、エッジが指し示すノード（ノードのｉｄ）を特定可能となる。また、ｓｒｃ＿ｉｄ及びｄｓｔ＿ｉｄにより、各ノードの上下関係を特定可能である。例えば、事前知識ＤＢ３００（図１１（Ｂ）参照）に格納されているｓｒｃ＿ｉｄ３０６がｓｒｃ＿ｉｄに対応し、ｄｓｔ＿ｉｄ３０７がｄｓｔ＿ｉｄに対応する。

【0190】

また、概念の具象（下位）から抽象（上位）の方向になるようにエッジをする旨のプロンプト５３２を用いることにより、図１７に示すように、下位概念の用語から上位概念の用語の方向を指し示す矢印が生成される。

【0191】

このように、用語集５３１及びプロンプト５３２が含まれる入力データ５３０をＬＬＭ５００に入力すると、入力データ５３０に対する出力データ５３４（図１６参照）がＬＬＭ５００から出力される。

【0192】

図１６には、入力データ５３０に対する出力データ５３４の一例を示す。出力データ５３４には、用語集５３１から抽出された各用語（ｎａｍｅ）と、これに関する属性情報（ｄｅｓｃｒｉｐｔｉｏｎ）と、これらに関連するエッジ情報（ｓｒｃ_ｉｄ、ｄｓｔ_ｉｄ、ｒｅｌａｔｉｏｎ）とが含まれる。また、図１７には、出力データ５３４に基づいて表示されるグラフ情報を示す。

【0193】

図１７に示すように、各用語５４１～５４６の関係が視覚的に容易に把握可能となる。これにより、用語集５３１に含まれる各用語を確認する作業を容易とすることが可能である。

【0194】

このように、事前知識ＤＢ３００の各用語を階層化する場合に、その作業を自動化することが可能である。また、事前知識ＤＢ３００の用語３０３、説明３０４のそれぞれに情報を格納する場合に、その作業を自動化することが可能である。

【0195】

［用語説明の判定例］
図１６に示す出力データ５３４に含まれる各用語と、これに対応する説明とについては、事前知識ＤＢ３００の用語３０３、説明３０４のそれぞれに格納することが可能である。ただし、これらの用語、説明については、専門家による評価、又は、ＬＬＭ５００等を用いた評価をし、その評価結果に基づいて適宜修正等をすることが好ましい。そこで、以下では、出力データ５３４に含まれる用語、説明等について評価する例を示す。

【0196】

例えば、出力データ５３４に含まれる各用語（ノード）に対する説明を生成する旨のプロンプトをＬＬＭ５００に入力し、その出力結果を取得する。例えば、出力データ５３４に含まれる用語「ラビット」について「ラビットという単語について１００文字程度で完結に説明してください。」という質問を含むプロンプトをＬＬＭ５００に入力し、その出力結果を取得する。この場合には、用語集５３１等の背景情報等をＬＬＭ５００に与えず、ＬＬＭ５００の知識のみを問うようにすることが好ましい。すなわち、各用語に対する用語説明を予備知識なしでＬＬＭ５００にそれぞれ生成させることが好ましい。

【0197】

次に、出力データ５３４に含まれる用語、これに対応する説明と、出力データ５３４に含まれる用語に対する説明を生成する旨のプロンプトに対する出力結果（用語の説明）とを比較し、これらの一致度、類似度等に基づいて、出力データ５３４に含まれる用語とこれに対応する説明が妥当であるか否かを判定可能である。それらが一致した場合、又は、類似度が基準値以上である場合（すなわち、類似度が高い）には、出力データ５３４に含まれる用語とこれに対応する説明が妥当であると判定可能である。一方、それらの類似度が基準値未満である場合（すなわち、類似度が低い）には、出力データ５３４に含まれる用語とこれに対応する説明が妥当ではなく修正が必要であると判定可能である。この類似判定処理については、公知の判定処理を用いることが可能である。

【0198】

また、専門家が、用語「ラビット」と、ＬＬＭ５００からの出力結果（ラビットの説明）とを確認して判定してもよい。例えば、ＬＬＭ５００からの出力結果であるラビットの説明が妥当であるか、軽微な修正で済むと専門家が判定した場合には、その説明を採用する。すなわち、用語「ラビット」を事前知識ＤＢ３００の用語３０３に格納し、この「ラビット」に対応する説明３０４にＬＬＭ５００からの出力結果（ラビットの説明）を格納する。

【0199】

一方、ＬＬＭ５００からの出力結果であるラビットの説明が専門家の判断と異なる場合には、その説明を専門家が修正したり、妥当な説明を新たに作成したりして、ラビットの妥当な説明を設定する。このように、ラビットの説明として、意味の異なる説明を専門家が抽出し、妥当な説明を設定することが可能である。また、意味が異なる説明が専門家により抽出された場合には、その説明に対応する用語をＬＬＭ５００が理解（学習）していないと判定し、その用語に対するＬＬＭ判定３０５に「未知」を格納してもよい。

【0200】

なお、以上では、専門家が、用語（例えば、ラビット）と、ＬＬＭ５００からの出力結果（例えば、ラビットの説明）とを確認する例を示したが、これに限定されない。例えば、用語集５３１に対応するデータベース（例えば、用語、その説明等を含む）が存在する場合には、その用語（例えば、ラビット）に対応するデータベースの内容（例えば、ラビットの説明）と、ＬＬＭ５００からの出力結果（例えば、ラビットの説明）とを突合して両者の類似性を判定してもよい。この場合には、公知の文字突合処理を採用することが可能である。また、用語集５３１に対応するデータベースが存在しない場合でも、用語集５３１の内容と、用語（例えば、ラビット）と、ＬＬＭ５００からの出力結果（例えば、ラビットの説明）とを突合して両者の類似性を判定してもよい。この場合には、例えば、ＬＬＭを用いた突合処理、公知の文字突合処理等を採用することが可能である。

【0201】

図１８、図１９は、ＬＬＭ５００を利用して用語集５５１に含まれる各用語に関するナレッジグラフを作成する際の流れを模式的に示す図である。また、図２０は、ＬＬＭ５００を利用して生成されたナレッジグラフを表示する場合の表示例を示す図である。なお、図１８～図２０に示す例は、図１５～図１７の用語集５３１の代わりに用語集５５１を用いる例であり、他の部分は、図１５～図１７に対応する。このため、図１８～図２０に関するここでの説明を省略する。

【0202】

［管理サーバの動作例］
図２１は、管理サーバ１における事前知識生成処理の一例を示すフローチャートである。また、この事前知識生成は、記憶部１８（図３参照）に記憶されているプログラムに基づいて、制御部１１（図３参照）により実行される。また、この事前知識生成は、例えば、事前知識生成処理を開始する開始操作がされたタイミングで実行される。また、この事前知識生成処理では、図１～図２０を適宜参照して説明する。

【0203】

ステップＳ６１１において、事前知識確認部８０は、業界知識情報を取得する。例えば、事前知識確認部８０は、業務知識ＤＢ３５０に格納されている各情報のうち、事前知識生成に必要となる情報（例えば、用語集５３１、用語集５５１）を取得する。

【0204】

ステップＳ６１２において、事前知識確認部８０は、ステップＳ６１１で取得された業界知識情報に含まれる用語の抽出と、その用語間の関係性を示すグラフ情報の生成とを指示するプロンプトをＬＬＭ５００に入力し、ＬＬＭ５００からの回答を取得する。例えば、図１５、図１６に示すように、用語集５３１を含む入力データ５３０をＬＬＭ５００に入力し、ＬＬＭ５００からの回答として、出力データ５３４を取得する。

【0205】

ステップＳ６１３において、事前知識確認部８０は、ステップＳ６１２で取得された回答に含まれる用語に対する説明を生成する旨のプロンプトをＬＬＭ５００に入力し、ＬＬＭ５００からの回答を取得する。例えば、図１６に示す出力データ５３４に含まれる各用語（ノード）に対する説明を生成する旨のプロンプトをＬＬＭ５００に入力し、その出力結果を取得する。この場合には、用語集等の背景情報等をＬＬＭ５００に与えず、ＬＬＭ５００の知識のみを問うようにすることが好ましい。

【0206】

ステップＳ６１４において、事前知識確認部８０は、ステップＳ６１２で取得したＬＬＭ５００からの回答に含まれる用語の説明と、ステップＳ６１３で取得したＬＬＭ５００からの回答に含まれる用語の説明とを比較し、各用語に対する説明を評価する評価処理を実行する。この場合には、上述したように、各説明を比較して両者の類似性を判定し、その類似度に基づいて各用語に対する説明を評価することが可能である。また、各用語集に対応するデータベースの内容と、各用語と、各用語の説明とを突合して両者の類似性を判定してもよく、ＬＬＭを用いた突合処理、公知の文字突合処理等を採用して判定してもよい。また、少なくとも一部を専門家に確認させ、その確認結果を反映させてもよい。

【0207】

ステップＳ６１５において、事前知識確認部８０は、ステップＳ６１４での評価処理において、各用語に対する説明が全て基準以上であったか否かを判定する。各用語に対する説明が全て基準以上であった場合には、ステップＳ６１６に進む。一方、各用語に対する説明のうちの少なくとも一部が基準未満であった場合には、ステップＳ６１７に進む。

【0208】

ステップＳ６１６において、事前知識確認部８０は、ステップＳ６１３での評価処理で評価された各用語、各用語に対する説明を事前知識ＤＢ３００の用語３０３、説明３０４にそれぞれ格納する。

【0209】

ステップＳ６１７において、事前知識確認部８０は、ステップＳ６１３での評価処理において、基準未満と判定された用語の説明をユーザ（例えば、専門家）に提示する。なお、ステップＳ６１３での評価処理において、基準以上と判定された各用語、各用語に対する説明については、事前知識ＤＢ３００の用語３０３、説明３０４にそれぞれ格納してもよい。また、基準未満と判定され、ユーザ（例えば、専門家）に提示された各用語、各用語に対する説明については、そのユーザによる確認、修正等がされた後に、事前知識ＤＢ３００の用語３０３、説明３０４にそれぞれ格納することが可能である。

【0210】

このように、事前知識ＤＢ３００の用語３０３、説明３０４のそれぞれに情報を格納する場合に、その作業を自動化することが可能である。

【0211】

［ユーザの質問に対してＬＬＭが回答する例］
図２２は、ユーザＵ１の質問７１０に対してＬＬＭ５００が回答７４０を出力する場合の例を模式的に示す図である。図２２では、ユーザＵ１の質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に対してＬＬＭ５００が回答７４０を出力する場合の例を示す。また、ここでは、図１０に示すシーケンスチャートを参照して説明する。また、業務知識ＤＢ３５０に格納される情報群７２０は、例えば、図１１（Ａ）に示す用語集５３１、５５１、仕様書（ＲＢ３－Ａ）３５１である。また、図１０では、ユーザからの問い合わせ又はリクエストに対する回答を言語モデルサーバ３から取得する例を示すが、ここでは、図２２に示す例と同様に、ユーザＵ１からの質問７１０をＬＬＭ５００（言語モデルサーバ３）から取得する例を示す。なお、質問には、問い合わせ又はリクエストに相当する概念が含まれる。

【0212】

ステップＳ２１において、ユーザ端末２の入力情報管理部１２０は、ユーザＵ１からの質問７１０に関する入力情報「ラビットのオーディオについてオプションには何が選べるか教えてください。」を受け付ける。例えば、テキスト情報の入力、音声情報の入力等によりユーザＵ１からの質問７１０が受け付けられる。

【0213】

ステップＳ２２において、ユーザ端末２の入力情報管理部１２０は、受け付けた入力情報を、管理サーバ１へ送信する。

【0214】

ステップＳ４１において、管理サーバ１の入力情報取得部６０は、ユーザ端末２から送信された入力情報を、通信部１９を介して取得する。

【0215】

ステップＳ４２において、管理サーバ１の事前知識絞り込み部６２は、入力情報取得部６０で取得された入力情報と、事前知識ＤＢ３００に格納されている事前知識情報とを用いて、プロンプト（提供情報）の一部として言語モデルサーバ３に提供する提供単語候補を決定する。例えば、事前知識ＤＢ３００に格納されている用語３０３のうちから、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語「ラビット」が提供単語候補として抽出される。

【0216】

ステップＳ４３において、管理サーバ１の事前知識絞り込み部６２は、提供単語候補として決定した単語の上位の階層の単語を提供単語候補に追加する。例えば、ステップＳ４２で提供単語候補として抽出された用語「ラビット」に繋がる上位の用語「エコトク車」が提供単語候補に追加される。なお、後述するように、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語「オプション」に関連する用語「ＲＢ３－Ａ」と、この用語「ＲＢ３－Ａ」に繋がる上位の用語「ラビット（３代目）」、「ラビット」、「エコトク車」を提供単語候補に追加してもよい。

【0217】

ステップＳ４４において、管理サーバ１の提供情報生成部６３は、事前知識絞り込み部６２による絞り込みの結果、入力情報取得部６０で取得された入力情報等の各種情報に基づいて、問い合わせ又はリクエストに対する回答の精度を向上させるために、管理サーバ１が言語モデルサーバ３に提供するプロンプト（提供情報）を生成する。

【0218】

具体的には、提供情報生成部６３は、事前知識絞り込み部６２による絞り込みの結果と、事前知識ＤＢ３００に格納されている事前知識情報と、業務知識ＤＢ３５０に格納されている業務知識情報とを用いて、ＬＬＭ５００に入力するプロンプト７３０を決定する。なお、図２２に示すプロンプト７３０は、図７に示すプロンプト７３０に対応するものであり、矩形内の情報の一部を省略して示す。

【0219】

図７で示したように、プロンプト７３０には「＃作業指示」７３１、「＃事前知識」７３２、「＃参照情報」７３３、「＃問い合わせ内容」７３４が含まれる。「＃作業指示」７３１には、ユーザＵ１からの質問７１０に対する回答を生成するための具体的な指示が格納される。例えば、「＃作業指示」７３１は、問い合わせ応答業務での定型のプロンプトである。なお、図７に示すプロンプトは一例であり、これに限定されない。ユーザＵ１からの質問７１０に対する回答を生成することが可能な他のプロンプトを用いてもよい。

【0220】

「＃問い合わせ内容」７３４には、ユーザＵ１からの質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」が格納される。なお、問い合わせ内容は、これに限定されない。Ａ自動車会社が、スポーツカーからＳＵＶ、業務用のバンまで多様な車種を販売する自動車会社である場合には、これらに関する各問い合わせ内容に適用することが可能である。また、例えば、製造業に限らず、サービス業から行政までの各種分野の問い合わせ内容に適用が可能である。すなわち、本実施形態は、特定の業界に限定されるものではない。

【0221】

「＃事前知識」７３２には、事前知識ＤＢ３００に格納されている用語３０３、説明３０４が格納される。上述したように、事前知識ＤＢ３００に格納されている用語３０３のうちから、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語「ラビット」が抽出され、この用語「ラビット」と、用語「ラビット」に繋がる上位の用語「エコトク車」とが提供単語候補として特定される。このため、用語「ラビット」及び「ラビット」の説明と、用語「エコトク車」及び「エコトク車」の説明とが「＃事前知識」７３２に格納される。

【0222】

なお、図７で説明したように、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語のうち、業務知識ＤＢ３５０に格納されている情報に関連する用語が含まれる場合には、その用語に関連する用語３０３を抽出してもよい。例えば、業務知識ＤＢ３５０に格納されているＲＢ３－Ａの仕様書（仕様書（ＲＢ３－Ａ）３５１）の１０ページ目（図１１（Ｃ）参照）には、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語「オプション」についての記載がある。この場合には、事前知識ＤＢ３００に格納されている用語３０３のうちから、用語「オプション」に関連する用語「ＲＢ３－Ａ」が抽出され、この用語「ＲＢ３－Ａ」と、用語「ＲＢ３－Ａ」に繋がる上位の用語「ラビット（３代目）」、「ラビット」、「エコトク車」と、これらの各説明とが特定される。このため、用語「ＲＢ３－Ａ」、「ラビット（３代目）」、「ラビット」、「エコトク車」と、これらの各説明とが「＃事前知識」７３２に格納される。

【0223】

「＃参照情報」７３３には、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に関連して参照するべき補足的な情報（コンテキスト）が含まれる。上述したように、業務知識ＤＢ３５０に格納されているＲＢ３－Ａの仕様書（仕様書（ＲＢ３－Ａ）３５１）には、質問７１０「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語「オプション」についての記載がある。この場合には、業務知識ＤＢ３５０に格納されている仕様書（ＲＢ３－Ａ）３５１が「＃参照情報」７３３に格納される。ただし、この場合には、仕様書（ＲＢ３－Ａ）３５１のうちの関連部分（例えば、オーディオについてオプションの記載がある部分）のみを格納することが好ましい。なお、関連部分については、公知の文字認識処理等により「オーディオ」「オプション」等の記載がある文章部分等を抽出することが可能である。

【0224】

なお、図３では、事前知識絞り込み部６２及び提供情報生成部６３を異なる処理部として構成し、図１０では、ステップＳ４２で事前知識絞り込み部６２が提供単語候補を決定し、ステップＳ４３で事前知識絞り込み部６２がその提供単語候補として決定した単語の上位の階層の単語を提供単語候補に追加し、ステップＳ４４で提供情報生成部６３がプロンプト（提供情報）を生成する例を示したが、これに限定されない。例えば、事前知識絞り込み部６２及び提供情報生成部６３を同一の処理部（制御部）として構成し、ステップＳ４２～Ｓ４４の各処理を、制御部（事前知識絞り込み部６２、提供情報生成部６３）による一連の処理として実行してもよい。

【0225】

ステップＳ４５において、管理サーバ１の提供情報生成部６３は、生成したプロンプト（提供情報）を言語モデルサーバ３（ＬＬＭ５００）へ送信する。

【0226】

ステップＳ６１において、言語モデルサーバ３の提供情報等取得部１８０は、管理サーバ１から送信されてきたプロンプト（提供情報）を、通信部１７０を介して取得する。

【0227】

ステップＳ６２において、言語モデルサーバ３の回答情報生成部１８１は、提供情報等取得部１８０で取得されたプロンプト（提供情報）に基づいて、ユーザＵ１からの質問７１０に対する回答情報（回答７４０）を生成する。

【0228】

ステップＳ６３において、言語モデルサーバ３の回答情報生成部１８１は、生成した回答情報（回答７４０）を管理サーバ１へ送信する。

【0229】

ステップＳ４６において、管理サーバ１の回答情報管理部６４は、言語モデルサーバ３から送信された回答情報（回答７４０）を、通信部１９を介して取得する。

【0230】

ステップＳ４７において、管理サーバ１の回答情報管理部６４は、取得した回答情報（回答７４０）を、ユーザ端末２へ送信する。

【0231】

ステップＳ２３において、ユーザ端末２の回答情報管理部１２１は、管理サーバ１から送信されてきた回答情報（回答７４０）を、通信部１１０を介して取得する。

【0232】

ステップＳ２４において、ユーザ端末２の回答情報管理部１２１は、取得した回答情報（回答７４０）を、ユーザ端末２の出力部１３０に表示する。例えば、図８に示すように、回答７４０が出力部１３０に表示される。

【0233】

［本実施形態における効果例］
上述したように、質問内容に含まれる「ラビットのオーディオについてオプションには何が選べるか教えてください。」について「ラビット」が自動車の車種名と分からない場合には、ＬＬＭ５００の回答の質が大きく劣化する可能性がある。そこで、質問内容とともに、Ａ自動車が扱っている多数の車種に関する事前知識をＬＬＭ５００に全て渡すことも考えられる。しかし、ＬＬＭ５００に渡せる情報量は制限されているため、多数の車種に関する事前知識をＬＬＭ５００に全て渡すことは困難である。

【0234】

そこで、本実施形態では、質問の回答に必要な範囲内の事前知識を抽出することにより、ＬＬＭ５００に渡せる有限な情報量の範囲内でも必要な事前知識を渡すことが可能であり、回答の質を高めることができる。例えば、ＬＬＭ５００が把握していない事前知識をＬＬＭ５００に事前に確認することが可能である。すなわち、それぞれの事前知識をＬＬＭ５００が正しく回答できるかを事前に確認することが可能である。そして、ＬＬＭ５００が把握していない事前知識のみをＬＬＭ５００に渡すことが可能であり、プロンプト生成を効率化することが可能である。この場合に、階層構造情報に基づいて、ＬＬＭ５００が把握していない事前知識を芋づる式に抽出してＬＬＭ５００に渡すことが可能である。また、例えば、ＬＬＭ５００を変更する場合、又は、ＬＬＭ５００がバージョンアップした場合等においても、把握していない事前知識をＬＬＭ５００に対して再検証することでＬＬＭ５００の進化に追随することが可能である。

【0235】

また、ＬＬＭ５００は、プロンプトの情報量に応じて処理時間、計算コストを長く要することがある。このため、例えば、ＬＬＭ５００に渡せる情報量が多い場合でも、質問の回答に必要な範囲内の事前知識を抽出することにより、ＬＬＭ５００の計算効率を向上させることが可能であり、演算に係る費用を低減させることが可能である。

【0236】

また、本実施形態では、事前知識ＤＢ３００の各用語を階層化する場合に、その作業を自動化することが可能である。また、事前知識ＤＢ３００の用語３０３、説明３０４のそれぞれに情報を格納する場合に、その作業を自動化することが可能である。

【0237】

［他の機器、他のシステムにおいて処理を実行させる例］
以上では、抽出処理、制御処理等を管理サーバ１（情報処理装置の一例）において実行する例を示したが、それらの各処理の全部または一部を他の機器において実行してもよい。この場合には、それらの各処理の一部を実行する各機器により情報処理システムが構成される。例えば、サーバ、ユーザが使用可能な機器（例えば、スマートフォン、タブレット端末、パーソナルコンピュータ）、インターネット等の所定のネットワークを介して接続可能なサーバ等の各種情報処理装置、各種電子機器を用いて各処理の少なくとも一部を実行させることができる。

【0238】

また、管理サーバ１等の機能を実行可能な情報処理システムの一部（または全部）については、インターネット等の所定のネットワークを介して提供可能なアプリケーションにより提供されてもよい。このアプリケーションは、例えばＳａａＳ（Software as a Service）である。

【0239】

［本実施形態の構成例及びその効果］
ここで、管理サーバ１、ユーザ端末２、言語モデルサーバ３の各構成については、上述した組合せ以外に、必要に応じて適宜組合せることが可能である。そこで、以下で示す各構成例についても各種組合せを考慮した構成としてもよい。

【0240】

管理サーバ１（情報処理装置の一例）は、言語モデルサーバ３（又はＬＬＭ５００）（大規模言語モデルの一例）に入力された質問データ（例えば、「ラビットのオーディオについてオプションには何が選べるか教えてください。」）に対する回答データ（例えば、図８に示す回答７４０）を言語モデルサーバ３（又はＬＬＭ５００）から取得することが可能な情報処理装置である。管理サーバ１は、言語モデルサーバ３（又はＬＬＭ５００）において用語３０３（所定の文字列の一例）に関する知識が一定の基準に到達しているか否かを示すＬＬＭ判定３０５（判定情報の一例）と、用語３０３と、その説明３０４（説明情報の一例）とを関連付けて保持する事前知識ＤＢ３００（データベースの一例）において、質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる各用語（例えば、ラビット、オーディオ、オプション）（文字列の一例）のうちから、ＬＬＭ判定３０５「未知」（基準に到達していない判定情報の一例）が関連付けられている第１文字列「ラビット」を抽出する事前知識絞り込み部６２（抽出部の一例）と、第１文字列「ラビット」と第１文字列「ラビット」に関連付けられている説明３０４（説明情報の一例）「ラビットはＡ自動車が生産販売するコンパクトカーである」とを質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含めたプロンプト７３０（入力データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してその質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に対する回答データ（例えば、図８に示す回答７４０）を言語モデルサーバ３（又はＬＬＭ５００）から取得する提供情報生成部６３、回答情報管理部６４（制御部の一例）とを備える。例えば、図７、図２２に示すように、プロンプト７３０を言語モデルサーバ３（又はＬＬＭ５００）に入力し、その質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に対する回答データ（例えば、図８に示す回答７４０）を取得することが可能である。また、本実施形態に係る情報処理方法は、それらの各処理を含む情報処理方法である。また、本実施形態に係るプログラムは、それらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、管理サーバ１が実行可能な各機能をコンピュータに実現させるプログラムである。

【0241】

この構成によれば、質問の回答に必要な範囲内の事前知識を抽出することにより、言語モデルサーバ３（又はＬＬＭ５００）に渡せる有限な情報量の範囲内でも必要な事前知識を渡すことが可能であり、回答の質を高めることができる。

【0242】

また、事前知識ＤＢ３００（データベースの一例）は、複数の用語３０３（文字列の一例）間の関係性をツリー構造で示す階層構造情報（ｓｒｃ＿ｉｄ３０６、ｄｓｔ＿ｉｄ３０７）を用語３０３（文字列の一例）毎に関連付けて保持してもよい。事前知識絞り込み部６２（抽出部の一例）は、事前知識ＤＢ３００のツリー構造において、抽出された用語「ラビット」（第１文字列の一例）を基準として、用語「ラビット」から上層側に連結されている文字列（エコトク車、コンパクトカー）のうちから、用語に関する知識が一定の基準に到達していないＬＬＭ判定３０５「未知」（判定情報の一例）が関連付けられている用語「エコトク車」（１又は複数の第２文字列の一例）を抽出する。提供情報生成部６３（制御部の一例）は、用語「ラビット」及び用語「エコトク車」と、用語「ラビット」及び用語「エコトク車」のそれぞれに関連付けられている説明３０４（説明情報の一例）とをプロンプト７３０（入力データの一例）に含めてもよい。例えば、図７、図２２に示すように、プロンプト７３０を言語モデルサーバ３（又はＬＬＭ５００）に入力し、その質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に対する回答データ（例えば、図８に示す回答７４０）を取得することが可能である。

【0243】

この構成によれば、階層構造情報に基づいて、ＬＬＭ５００が把握していない事前知識を芋づる式に抽出することにより、言語モデルサーバ３（又はＬＬＭ５００）に渡せる有限な情報量の範囲内でも必要な事前知識を適切に渡すことが可能であり、回答の質を高めることができる。

【0244】

上述した文字列を、特定分野（例えば、特定の組織（会社等）に対応する業界（例えば、特定の組織が自動車の製造会社又は販売会社であれば、自動車業界））において使用される用語としてもよい。事前知識ＤＢ３００のツリー構造を、その特定分野における抽象を上層とし、具象を下層とするツリー構造としてもよい。事前知識絞り込み部６２（抽出部の一例）は、事前知識ＤＢ３００のツリー構造において、抽出された用語「ラビット」（第１文字列の一例）が属する上層側の文字列のうちから用語「エコトク車」（第２文字列の一例）を抽出する。

【0245】

この構成によれば、階層構造情報に基づいて、ＬＬＭ５００が把握していない特定分野の用語を芋づる式に抽出することにより、言語モデルサーバ３（又はＬＬＭ５００）に渡せる有限な情報量の範囲内でも必要な用語を適切に渡すことが可能であり、回答の質を高めることができる。

【0246】

事前知識絞り込み部６２（抽出部の一例）は、特定分野において使用される特定情報を保持する業務知識ＤＢ３５０（特定情報データベースの一例）において、質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる用語（文字列の一例）（例えば、ラビット、オーディオ、オプション）に関連する特定情報（例えば、用語「オプション」についての記載があるＲＢ３－Ａの仕様書の１０ページ目（図１１（Ｃ）参照））を抽出してもよい。提供情報生成部６３（制御部の一例）は、第１文字列「ラビット」と、第１文字列「ラビット」と第１文字列に関連付けられている説明３０４（説明情報の一例）「ラビットはＡ自動車が生産販売するコンパクトカーである」と、第１文字列「ラビット」に関連する特定情報（例えば、ＲＢ３－Ａの仕様書の１０ページ目）とをプロンプト７３０（入力データの一例）に含めてもよい。

【0247】

この構成によれば、言語モデルサーバ３（又はＬＬＭ５００）が把握していない特定分野の用語に関連する特定情報をプロンプト７３０に含めることにより、特定分野の用語とこれに関連する特定情報とを言語モデルサーバ３（又はＬＬＭ５００）が把握することが可能であり、言語モデルサーバ３（又はＬＬＭ５００）からの回答の質を高めることができる。

【0248】

判定対象となる用語（文字列の一例）である判定対象用語（判定対象文字列用語の一例）（例えば、「ラビット」）の説明情報に対する質問を作成する旨のプロンプト５０１（図１２参照）（第１質問データの一例）を大規模言語モデルに入力してプロンプト５０１に対する回答５０２（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その回答５０２に含まれる質問（例えば、ラビットは自動車ですか？Ｙｅｓ、…、ラビットはＡ自動車が生産販売していますか？Ｙｅｓ）に対して回答する旨のプロンプト５１１（図１３参照）（第２質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してプロンプト５１１に対する回答５１２（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その回答５１２に含まれる回答結果（例えば、Ｎｏ、Ｎｏ、私はその情報を持っていません。）に基づいて判定対象用語（例えば、「ラビット」）のＬＬＭ判定３０５（判定情報の一例）を設定する事前知識確認部８０（判定情報設定部の一例）をさらに備えてもよい。図１２、図１３に示す例では、判定対象用語「ラビット」のＬＬＭ判定３０５には「未知」が設定される。

【0249】

この構成によれば、言語モデルサーバ３（又はＬＬＭ５００）において用語３０３（所定の文字列の一例）に関する知識が一定の基準に到達しているか否かを示すＬＬＭ判定３０５を設定する場合に、その設定作業を自動化することが可能である。これにより、ＬＬＭ判定３０５の設定を迅速に精度よく実行することが可能である。

【0250】

事前知識確認部８０（判定情報設定部の一例）は、判定対象用語（判定対象文字列用語の一例）（例えば、「ラビット」）の説明情報に対して肯定（ＹＥＳ）又は否定（ＮＯ）の何れかで回答可能な質問を複数作成する旨のプロンプト５０１（図１２参照）（第１質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してプロンプト５０１に対する回答５０２（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その回答５０２に含まれる複数の質問（例えば、ラビットは自動車ですか？Ｙｅｓ、…、ラビットはＡ自動車が生産販売していますか？Ｙｅｓ）に対して肯定（ＹＥＳ）又は否定（ＮＯ）の何れかで回答する旨のプロンプト５１１（図１３参照）（第２質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してプロンプト５１１に対する回答５１２（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その回答５１２に含まれる回答結果（例えば、Ｎｏ、Ｎｏ、私はその情報を持っていません。）に基づいて判定対象用語（例えば、「ラビット」）のＬＬＭ判定３０５（判定情報の一例）を設定してもよい。図１２、図１３に示す例では、判定対象用語「ラビット」のＬＬＭ判定３０５には「未知」が設定される。

【0251】

この構成によれば、言語モデルサーバ３（又はＬＬＭ５００）において用語３０３（所定の文字列の一例）に関する知識が一定の基準に到達しているか否かを示すＬＬＭ判定３０５を設定する場合に、肯定（ＹＥＳ）又は否定（ＮＯ）の何れかで回答可能な質問を用いて自動で設定することが可能である。これにより、ＬＬＭ判定３０５の設定を迅速に精度よく実行することが可能である。

【0252】

上述した特定分野において使用される用語集５３１（図１５参照）（特定情報の一例）に含まれる用語（エンティティ）の抽出と、用語間の関係性を示すグラフ情報の生成とを指示する入力データ５３０（図１５参照）（第３質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力して入力データ５３０に対する出力データ５３４（図１６参照）（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その出力データ５３４に含まれる用語に対する説明を生成する旨のプロンプト（ステップＳ６１３（図２１参照）で示す）（第４質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してそのプロンプト（第４質問データ）に対する回答データを言語モデルサーバ３（又はＬＬＭ５００）から取得し、その回答データに含まれる用語に対する説明を用いて事前知識ＤＢ３００（データベースの一例）における説明３４０（説明情報の一例）を設定する事前知識確認部８０（設定部の一例）をさらに備えてもよい。

【0253】

この構成によれば、事前知識ＤＢ３００の説明３４０を設定する場合に、その設定作業を自動化することが可能である。これにより、説明３４０の設定を迅速に精度よく実行することが可能である。

【0254】

上述した特定分野において使用される用語集５３１（図１５参照）（特定情報の一例）に含まれる用語（エンティティ）の抽出と、用語間の関係性を示すグラフ情報の生成とを指示する入力データ５３０（図１５参照）（第３質問データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力して入力データ５３０に対する出力データ５３４（図１６参照）（回答データの一例）を言語モデルサーバ３（又はＬＬＭ５００）から取得し、その出力データ５３４に含まれる用語及びグラフ情報に基づいて事前知識ＤＢ３００（データベースの一例）におけるツリー構造を設定する事前知識確認部８０（設定部の一例）をさらに備えてもよい。

【0255】

この構成によれば、事前知識ＤＢ３００の各用語を階層化する場合に、その作業を自動化することが可能である。これにより、各用語を階層化する場合に、その階層化処理を迅速に精度よく実行することが可能である。

【0256】

本実施形態に係る情報処理方法は、言語モデルサーバ３（又はＬＬＭ５００）（大規模言語モデルの一例）に入力された質問データ（例えば、「ラビットのオーディオについてオプションには何が選べるか教えてください。」）に対する回答データ（例えば、図８に示す回答７４０）を言語モデルサーバ３（又はＬＬＭ５００）から取得することが可能な情報処理方法である。言語モデルサーバ３（又はＬＬＭ５００）において用語３０３（所定の文字列の一例）に関する知識が一定の基準に到達しているか否かを示すＬＬＭ判定３０５（判定情報の一例）と、用語３０３と、その説明３０４（説明情報の一例）とを関連付けて保持する事前知識ＤＢ３００（データベースの一例）において、質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含まれる各用語（例えば、ラビット、オーディオ、オプション）（文字列の一例）のうちから、ＬＬＭ判定３０５「未知」（基準に到達していない判定情報の一例）が関連付けられている第１文字列「ラビット」を抽出する抽出処理（ステップＳ４２）と、第１文字列「ラビット」と第１文字列「ラビット」に関連付けられている説明３０４（説明情報の一例）「ラビットはＡ自動車が生産販売するコンパクトカーである」とを質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に含めたプロンプト７３０（入力データの一例）を言語モデルサーバ３（又はＬＬＭ５００）に入力してその質問データ「ラビットのオーディオについてオプションには何が選べるか教えてください。」に対する回答データ（例えば、図８に示す回答７４０）を言語モデルサーバ３（又はＬＬＭ５００）から取得する制御処理（ステップＳ４２～Ｓ４６）とを含む。また、本実施形態に係るプログラムは、それらの各処理をコンピュータに実行させるプログラムである。言い換えると、本実施形態に係るプログラムは、管理サーバ１が実行可能な各機能をコンピュータに実現させるプログラムである。

【0257】

この構成によれば、質問の回答に必要な範囲内の事前知識を抽出することにより、言語モデルサーバ３（又はＬＬＭ５００）に渡せる有限な情報量の範囲内でも必要な事前知識を渡すことが可能であり、回答の質を高めることができる。

【0258】

なお、本実施形態で示した各処理手順は、本実施形態を実現するための一例を示したものであり、本実施形態を実現可能な範囲で各処理手順の一部の順序を入れ替えてもよく、各処理手順の一部を省略したり他の処理手順を追加したりしてもよい。

【0259】

なお、本実施形態で示した各処理は、各処理手順をコンピュータに実行させるためのプログラムに基づいて実行されるものである。このため、本実施形態は、それらの各処理を実行する機能を実現するプログラム、そのプログラムを記憶する記録媒体の実施形態としても把握することができる。例えば、情報処理装置に新機能を追加するためのアップデート処理により、そのプログラムを情報処理装置の記憶装置に記憶させることができる。これにより、そのアップデートされた情報処理装置に本実施形態で示した各処理を実施させることが可能となる。

【0260】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。

【符号の説明】

【0261】

１…管理サーバ、 ２…ユーザ端末、 ３…言語モデルサーバ、 １１…制御部、 ６０…入力情報取得部、 ６１…事前知識管理部、 ６２…事前知識絞り込み部、 ６３…提供情報生成部、 ６４…回答情報管理部、 ８０…事前知識確認部、 ８１…階層化管理部、 １００…制御部、 １２０…入力情報管理部、 １２１…回答情報管理部、 １６０…制御部、 １８０…提供情報等取得部、 １８１…回答情報生成部、 ３００…事前知識ＤＢ、 ３５０…業務知識ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】