特許 7586541 情報処理装置及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-11

(45)【発行日】2024-11-19

(54)【発明の名称】情報処理装置及び情報処理システム

(51)【国際特許分類】

   G06F 16/90 20190101AFI20241112BHJP

   G06Q 30/0217 20230101ALI20241112BHJP

   G06N 20/00 20190101ALI20241112BHJP

   G06N 3/0475 20230101ALI20241112BHJP

【ＦＩ】

G06F16/90 100

G06Q30/0217

G06N20/00

G06N3/0475

【請求項の数】 21

(21)【出願番号】P 2023171681

(22)【出願日】2023-10-02

【審査請求日】2024-05-28

【早期審査対象出願】

(73)【特許権者】

【識別番号】523447959

【氏名又は名称】株式会社Ｐｒｅｆｅｒｒｅｄ Ｅｌｅｍｅｎｔｓ

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100118876

【弁理士】

【氏名又は名称】鈴木 順生

(74)【代理人】

【識別番号】100202429

【弁理士】

【氏名又は名称】石原 信人

(72)【発明者】

【氏名】岡野原 大輔

【審査官】早川 学

(56)【参考文献】

【文献】特開２０１９－１９２０７３（ＪＰ，Ａ）

【文献】国際公開第２０２１／０７５０９１（ＷＯ，Ａ１）

【文献】特開２０１８－１００８９６（ＪＰ，Ａ）

【文献】特開２０２１－０８６２１５（ＪＰ，Ａ）

【文献】特開２０２０－０６７９１１（ＪＰ，Ａ）

【文献】特開２０２２－１３７１４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

1又は複数のメモリと、
1又は複数のプロセッサと、
を備え、
前記1又は複数のプロセッサは、
生成モデルである第1モデルによって回答が生成される質問を取得し、
データ群から、前記質問に対する回答の生成のために前記第1モデルによって用いられる情報を、前記質問に基づいて取得し、
前記第1モデルによる前記回答の生成に用いられる前記情報の提供者に、ロイヤリティを付与する、
情報処理装置。

【請求項2】

前記1又は複数のプロセッサは、前記情報について、前記情報の利用回数を管理する、
請求項1に記載の情報処理装置。

【請求項3】

前記1又は複数のプロセッサは、前記情報について、前記情報が前記回答の生成に用いられた日時を管理する、
請求項1に記載の情報処理装置。

【請求項4】

前記1又は複数のプロセッサは、前記情報について、前記情報が利用される契機となった質問、前記情報を利用して第1モデルによって生成された回答、を管理する、
請求項1に記載の情報処理装置。

【請求項5】

前記ロイヤリティは、前記第1モデルによる前記回答の生成における前記情報の貢献度に応じた額である、
請求項1に記載の情報処理装置。

【請求項6】

前記ロイヤリティは、一律の額である、
請求項1に記載の情報処理装置。

【請求項7】

前記1又は複数のプロセッサは、前記第1モデルによる前記回答の生成における前記情報の貢献度に応じて、前記ロイヤリティを前記情報の提供者に付与する、
請求項1に記載の情報処理装置。

【請求項8】

前記1又は複数のプロセッサは、
前記第1モデルによる前記回答の生成に用いられた前記情報の提供者を示す情報を、当該提供者が提供した情報を用いて前記回答が生成されたことを前記回答の受領者が識別できる態様で出力する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項9】

前記1又は複数のプロセッサは、前記情報で補強された前記第１モデル、及び、前記情報で補強されていない前記第１モデル、を用いて、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項10】

前記第1モデルは、確率モデルである、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項11】

前記第1モデルは、言語モデルである、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項12】

前記1又は複数のプロセッサは、
前記情報を用いて前記第1モデルによって前記質問に対する回答を生成する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項13】

前記1又は複数のプロセッサは、
前記質問に対する回答の生成に前記第1モデルによって用いられる情報を検索するための第2データを取得し、
前記第2データを検索エンジンに入力して検索を実行することで、前記データ群から前記情報を取得する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項14】

前記第2データは、前記質問を前記第1モデルに入力して取得されたデータであり、
前記回答は、前記第2データに基づいて前記検索エンジンを用いて取得された情報を、前記第1モデルに入力して生成されたデータである、
請求項13に記載の情報処理装置。

【請求項15】

前記1又は複数のプロセッサは、少なくとも、
前記情報で補強された前記第1モデルを利用して生成されるデータが、前記情報で補強されていない前記第1モデルを利用して生成されるデータよりも正当性が高い場合に、前記第1モデルによる前記回答の生成における前記情報の貢献度がより高くなるように前記情報の前記貢献度を算出する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項16】

前記1又は複数のプロセッサは、少なくとも、
前記情報で補強された前記第1モデルを利用して生成されるデータの分布と、前記情報で補強されていない前記第1モデルを利用して生成されるデータの分布と、に基づいて、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項17】

前記1又は複数のプロセッサは、
提供された情報の提供者ごとに、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項18】

前記データ群は、少なくともその一部のデータが、当該データの前記提供者により機密に管理される、
請求項1から請求項7のいずれかに記載の情報処理装置。

【請求項19】

1又は複数のメモリと、
1又は複数のプロセッサと、
を備え、
前記1又は複数のプロセッサは、
生成モデルである第1モデルによって回答が生成される質問を取得し、
データ群から、前記質問に対する回答の生成のために前記第1モデルによって用いられる情報を、前記質問に基づいて検索エンジンに取得させ、
前記第1モデルを用いて生成された、前記情報に基づく前記質問に対する回答を出力し、
前記第1モデルによる前記回答の生成に用いられる前記情報の提供者に、ロイヤリティが付与される、
情報処理装置。

【請求項20】

1又は複数のメモリと、
1又は複数のプロセッサと、
を備え、
前記1又は複数のプロセッサは、
生成モデルである第1モデルによって回答が生成される質問を取得し、
データ群から、前記質問に対する回答の生成のために前記第1モデルによって用いられる情報を、前記質問に基づいて取得し、
前記第1モデルを用いて前記情報に基づく前記質問に対する回答を生成し、
前記第1モデルによる前記回答の生成に用いられる前記情報の提供者に、ロイヤリティを付与する、
情報処理システム。

【請求項21】

1又は複数のプロセッサによって実行される情報処理方法であって、
生成モデルである第1モデルによって回答が生成される質問を取得し、
データ群から、前記質問に対する回答の生成のために前記第1モデルによって用いられる情報を、前記質問に基づいて取得し、
前記第1モデルを用いて前記情報に基づく前記質問に対する回答を生成し、
前記第1モデルによる前記回答の生成に用いられる前記情報の提供者に、ロイヤリティを付与する、
情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置及び情報処理システムに関する。

【背景技術】

【0002】

機械学習により訓練されたモデルを用いた言語モデルである大規模言語モデル (LLM: Large Language Model) は、種々の用途において活用され始めている。大規模言語モデルの一用途として、入力に対して情報を検索して、大規模言語モデルによる出力の生成にその検索された情報を利用する、Retrieval Augmented Generation（RAG）と呼ばれる手法が知られている。

【先行技術文献】

【非特許文献】

【0003】

【文献】S. Borgeaud, et.al., “Improving language models by retrieving from trillions of tokens”, arXiv.org:2112.04426v3, 7 February 2022, https://arxiv.org/pdf/2112.04426v3.pdf

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示の実施形態が解決しようとする限定されない課題の1つは、大規模言語モデル等の基盤モデルや生成モデルによる出力の生成に利用される情報を評価することである。

【課題を解決するための手段】

【0005】

一実施形態によれば、情報処理装置は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。前記1又は複数のプロセッサは、第1モデルによって回答が生成される質問を取得し、前記質問に基づいて、データ群から、前記質問に対する回答の生成に前記第1モデルによって用いられる情報を取得し、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する。

【0006】

一実施形態によれば、情報処理システムは1又は複数の情報処理装置を備える。前記1又は複数の情報処理装置は、第1モデルによって回答が生成される質問に対応する第1データを取得し、前記質問第1データに基づいて、データ群から、前記質問第1データに対する回答の生成に前記第1モデルによって用いられる情報を取得し、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する。前記質問第1データに対する回答の生成をする1又は複数の前記情報処理装置と、前記情報の貢献度を算出する1又は複数の前記情報処理装置は、別の情報処理装置であるか、又は、少なくとも一部が同一の情報処理装置である。

【図面の簡単な説明】

【0007】

【図1】一実施形態に係る処理の概略を示す図。

【図2】一実施形態に係る貢献度算出処理の一例を示す図。

【図3】一実施形態に係る貢献度算出処理の一例の擬似コードを示す図。

【図4】一実施形態に係る情報の管理の一例を示す図。

【図5】一実施形態に係る情報処理システムにおける少なくとも一部を構成する情報処理装置の実装例を示す図。

【発明を実施するための形態】

【0008】

本開示の実施形態により解決しようとする課題は、上記に記載した課題に限定されるものではなく、さらに限定されないいくつかの課題の例として、実施形態において記載した効果に対応する課題、とすることもできる。すなわち、本開示の実施形態の説明において記載された効果のうち任意の少なくとも1つに対応する課題を本開示における解決しようとする課題とすることができる。

【0009】

以下、図面を参照して本発明の実施形態について説明する。図面及び実施形態の説明は一例として示すものであり、本発明を限定するものではない。

【0010】

例えば、本開示においては、主に言語モデルとしての情報である文字、文章等のテキストのデータを用いる場合について説明するが、本発明の実施形態は、これに限定されることなく、画像、音声、動画、センサデータ等のデータに対しても適用することができる。これらのデータは、適切にトークナイズされることにより、以下に説明する形態において同様に適用することができる。

【0011】

検索結果を利用する大規模言語モデルは、検索される情報に係る多量のデータが必要となる。さらに、このデータは、検索する対象となる分野において広い領域をカバーする必要があるとともに、どの程度検索結果として用いられたか、すなわち、どの程度有用なデータであったかが重要となる。

【0012】

有用度の高いデータを取得するために、検索に用いるデータの提供者にデータの有用性に応じた貢献度を付与し、この貢献度に応じてインセンティブを与えることも考えられる。適切な貢献度を設定することにより、全体的な検索データの質を向上させることが可能となる。

【0013】

図1は、一実施形態に係る処理の概略を模式的に示す図である。この図の処理は、例えば、1又は複数のコンピュータに搭載されている1又は複数のプロセッサ、及び、1又は複数の記憶装置 (コンピュータに備えられる場合を含む) を備える情報処理システムにおいて実行されてもよい。それぞれのデータの送受信、それぞれのデータの格納箇所は、システムの構成により矛盾の発生しない範囲において任意に設定することができる。

【0014】

以下において、情報処理システム内の少なくとも1つのプロセッサの処理として説明しているが、特に、少なくとも1つのプロセッサ、との限定がない場合においても、少なくとも1つのプロセッサが処理を実行することを示していることもあるし、情報処理システム全体としての処理の流れを示していることもある。これらは、本開示における技術的思想の範囲内において、適切に読み替えることができる。

【0015】

情報処理システムは、事前学習データを用いて訓練済みの確率モデルである第1モデルを用いて入力データである第1データに対する出力データである第3データを生成して出力するシステムである。第1モデルは、例えば、基盤モデル、又は、生成モデルであってよい。

【0016】

第1データは、例えば、第1モデルに対して質問をするためのテキストであり、プロンプトと呼ばれる。第1データは、文脈に応じて、第1モデルによって回答が生成される質問と読み替えることができる。本開示において、「質問」は、ユーザからの質問とユーザからの指示のいずれを概念的に含んでよい。また、本開示において、「質問」は、ユーザから入力されたデータと、そのデータに所定の処理を行うことで得られる処理後のデータのいずれを概念的に含んでよい。

【0017】

第1データは、上述したように画像、音声、動画、センサデータのいずれを含んでよい。第3データは、例えば、質問に対する回答を示すテキストである。本開示において、「回答」は、質問に対する回答と指示に対する応答のいずれを概念的に含んでよい。また、本開示において、「回答」は、第1モデルによって生成されたデータと、そのデータに所定の処理を行うことで得られる処理後のデータのいずれを概念的に含んでよい。第3データは、第1データと同様に、画像、音声、動画、センサデータのいずれを含んでよい。また、第1データ及び第3データともに、これらのデータに限定されるものではなく、他の形式のデータであってもよい。

【0018】

第1モデルは、情報処理システム内の記憶装置に格納され、情報処理システム内のプロセッサがこの記憶装置を参照することで形成される。情報処理システムは、プロセッサにより形成された第1モデルを用いて、推論を実行する。

【0019】

情報処理システムは、まず、第1データを入力データとして受信する (S10) 。データの入力は、各種インタフェースを介して情報処理システム内の少なくとも1つのプロセッサに対して実行されてもよい。情報処理システム内の少なくとも1つのプロセッサは、例えば、ユーザから入力された第1データを入力データとして受信してよい。

【0020】

ユーザから入力される第1データは、例えば、ユーザが情報端末のユーザインタフェースを介して入力あるいは指定したデータであり、キーボードで入力したテキスト、文章中において選択されたテキスト、マウスでドラッグ＆ドロップした画像、又は、マイクで収音した音声等であってもよい。ここで、ユーザの情報端末は、情報処理装置の一例であり、情報処理システムを構成する一要素である。

【0021】

情報処理システム内の少なくとも1つのプロセッサは、入力データとして受信した第1データに基づいて、第3データを生成するために必要となる検索を実行するための第2データを取得する (S12) 。第2データは、例えば、検索エンジンに入力するためのクエリである。この第2データを用いて検索された情報は、第3データの出力を決定する際の追加入力として利用される。すなわち、第2データは、第1データに対する回答に係る情報を検索するためのデータである。

【0022】

情報処理システム内の少なくとも1つのプロセッサは、例えば、第1データを学習済み第1モデルに入力することで第1データをトークン化し、取得したトークンに基づいて、検索に必要となるクエリを第2データとして取得してもよい。限定されない一例として、第1モデルは、大規模言語モデルであってもよく、この場合、プロセッサは、入力された質問文等を示す第1データに対して、第3データを生成するための検索クエリをトークン化された第1データから抽出することで第2データを取得する。

【0023】

また、情報処理システム内の少なくとも1つのプロセッサは、例えば、第1データをベクトル化し、取得したベクトルを、検索に必要となるクエリである第2データとして取得してよい。また、情報処理システム内の少なくとも1つのプロセッサは、例えば、第1データそのものを、検索に必要となるクエリである第2データとして取得してよい。また、情報処理システム内の少なくとも1つのプロセッサは、後述する検索エンジンに対するクエリである第2データを、第1データに基づいて取得するために、従前の方法を用いてよい。

【0024】

情報処理システム内の少なくとも1つのプロセッサは、取得された第2データをクエリとして、検索エンジンを用いて第3データを生成するために必要となる情報を検索する (S14) 。検索エンジンは、第1モデルと同様に情報処理システム内の記憶装置に格納され、情報処理システム内の少なくとも1つのプロセッサがこの記憶装置を参照することで形成される。情報処理システムは、プロセッサにより形成された検索エンジンを用いて必要となる情報の検索を実行する。

【0025】

情報処理システムは、検索エンジンに第2データを入力し、データ群から、第3データを生成するために利用する情報を取得する (S16) 。検索エンジンの処理は、情報処理システム内の少なくとも1つのプロセッサにより実行されてもよい。この処理により、情報処理システムは、限定されない一例として、この処理において第1データに基づいて、データ群から第1データに対する回答の生成に用いる情報を取得することができる。

【0026】

検索エンジンによる処理は、例えば、データ群内の情報である検索対象のデータをキーとし、クエリに対するキーを抽出することで実行することができる。なお、検索エンジンによるキーの検索は、所定の手法に限定されるものではなく、一般的なクエリに対するキーの取得の手法を用いることができる。

【0027】

また、キー及びクエリは、それぞれ符号化されていてもよい。一例として、検索エンジンは、符号化されたキーと符号化されたクエリから定義される関数を用いて検索を実行することができる。このキー及びクエリ符号化も、第1モデルの事前学習のタイミングにおいて、併せてあらかじめ学習しておくことができる。

【0028】

限定されない一例として第1モデルが大規模言語モデルである場合には、情報処理システム内の少なくとも1つのプロセッサは、トークン化されたテキストから検索に必要なクエリを生成し、このクエリを用いてデータ群のキーを参照することで、入力されたテキストに対する回答に必要となるテキストを含んでもよい情報を抽出することができる。

【0029】

また、この検索エンジンは、例えば、キーワードマッチング、アテンション機構により形成されたモデル、又は、強化学習による学習手法により形成されたモデル等の任意の手法により形成されたエンジンであってもよい。もっとも、これらに限定されるものではなく、他の手法により形成されたエンジンであってもよい。

【0030】

情報処理システム内の少なくとも1つのプロセッサは、検索エンジンが検索した結果を第1モデルにおける出力データの生成に反映する (S18) 。

【0031】

情報処理システム内の少なくとも1つのプロセッサは、 S10 で受信した入力データ、及び、第1モデルにおいて出力データである第3データを生成するために検索により取得された情報に基づいて、第3データを生成する (S20) 。すなわち、情報処理システム内の少なくとも1つのプロセッサは、この情報を用いて第1モデルによって第1データに対する回答を生成することができる。

【0032】

情報処理システム内の少なくとも1つのプロセッサは、生成された第3データ (回答） を、 S10 で第1データを入力したユーザの情報端末に出力してよい。出力された第3データ (回答) は、例えば、ユーザの情報端末に表示されたり、情報端末において音声で読み上げられたり、情報端末を介して印刷されたり、等してよい。

【0033】

例情報処理システム内の少なくとも1つのプロセッサは、例えば、入力データ、及び、検索により取得された情報を、第1モデルに入力することで、事前学習データに基づく知識の他にこの情報を利用した応答又は回答を第3データとして生成することができる。一例として、情報処理システム内の少なくとも1つのプロセッサは、入力データ、及び、検索により取得された情報を、所定フォーマットのプロンプトに加工し、このプロンプトを第1モデルに入力して第3データを生成してもよい。

【0034】

限定されない他の例として、情報処理システム内の少なくとも1つのプロセッサは、検索により取得された情報を、第1モデルの内部計算への入力として第1モデルに取り込み、その第1モデルに、入力データをプロンプトとして入力して第3データを生成してよい。この別例において、情報の取り込み口は、第1モデルのアーキテクチャによって適宜設計され、例えば、第1モデルの入力層、中間層、出力層のいずれであってよい。

【0035】

本開示において、検索により取得された情報を第1モデルに入力する或いは第1モデルに取り込むこと、または、そのような第1モデルから第3データを出力すること、を、検索結果（検索により取得された情報）で第1モデルを補強する、又は、第1モデルの出力を検索により補強する、と呼ぶことがある。

【0036】

第3データは、例えば、第1データに対する第1モデルの出力を、検索により補強したデータとして生成される。このように生成される第3データは、例えば、単純に第1モデルを用いる場合と比較して、より新たな情報を反映したデータとすることができる。

【0037】

第1モデルは、データ群において設定されている符号化されているキーの情報を用いて第3データを生成することができる。限定されない一例として第1モデルが大規模言語モデルである場合には、第1モデルは、入力されたテキストに対する検索結果としての情報を、符号化された埋め込みベクトルとして取得し、この符号化された埋め込みベクトルの情報を、出力データに反映することで、質問等に対する回答として、より精度の高いテキスト等を生成することができる。

【0038】

情報処理システム内の少なくとも1つのプロセッサは、データ群から取得されて、第3データを生成するために利用した情報について、貢献度を算出して付与する (S22) 。貢献度は、情報の有用性を評価するための指標の一例である。貢献度は、データ群に情報が提供されたタイミングにおいて付与されてもよい。この処理により、情報処理システムは、限定されない一例として、第1モデルによる回答の生成における情報の貢献度を算出することができる。

【0039】

以上が本開示に係る貢献度算出処理を含む情報処理システムの全体的な処理の流れである。次に、情報処理システムにおけるデータ群におけるそれぞれの情報に対する貢献度の算出について詳しく説明する。情報処理システムは、検索対象となるデータ群に対して情報が提供されるタイミング、又は、上記の第3データが生成されるタイミングにおいて、当該情報の貢献度を算出することができる。

【0040】

図2は、第1段階の貢献度算出の処理の一例を示すフローチャートである。情報処理システムは、第1段階の貢献度付与として、第1データが入力されて第3データを生成したタイミングで当該情報に貢献度を設定することができる。

【0041】

もっとも、情報処理システムは、このタイミングよりも後のタイミングで第1段階の貢献度を算出することもできる。さらに別の例として、情報処理システムは、第1モデルにおいて検索エンジンにより検索されたデータを第3データの生成に用いると決定したタイミングで第1段階の貢献度を算出することもできる。

【0042】

第1段階目の貢献度付与は、データ群に提供された情報が、データ群を検索して生成される第3データの分布に対してどの程度の影響を及ぼすかを示す評価を取得するものである。

【0043】

換言すると、検索で補強して第3データを生成する場合において、この第1段階の貢献度は、生成されるデータ全体に対して、提供された情報がどの程度の影響を及ぼしうるかを示す必要条件の指標とすることができる。

【0044】

ユーザが第1モデル及び検索エンジンを用いて第3データを取得しようとするタイミングにおいて、情報処理システム内の少なくとも1つのプロセッサは、提供された情報に対して貢献度を設定することができる。

【0045】

情報処理システム内の少なくとも1つのプロセッサは、適切なインタフェースを介してデータ提供者から提供される情報を受け付ける (S100) 。情報は、例えば、ニュース記事、人事情報・技術情報を含む社内文書、健康情報、画像データセット、動画データセット、実験データセット、ゲノムデータ、機密情報一般といった情報であってもよいし、これらに限定されるものではない。

【0046】

入出力データと同様に、提供者から提供される情報もテキストに限定されるものではなく、画像、音声、動画、センサデータ等のデータを少なくとも含む情報であってもよい。

【0047】

これらの情報の提供者は、例えば、データ群の分野に関するユーザであってもよいし、ニュース記事等であればニュースの発信者等、社内文書であれば提供した企業等又は提供した部署等とすることができる。

【0048】

提供者であるユーザからの指定により、情報処理システムは、決められたデータベース、記憶装置、又は、ドメインに存在するウェブサイトにアップロードされた情報を自動的にクローリングすることでデータの提供を受け付けることもできる。この場合、キュレーションサイト等において他の提供者から提供された情報の場合には、これらの情報に対しては、当該キュレーションサイトが参照した情報の提供元を提供者とし、当該キュレーションサイト等を提供者とすることを除外することもできる。

【0049】

提供された情報は、一例として、情報処理システム内の記憶領域に新たに格納してもよいし、別例として、情報処理システム外の記憶領域に新たに格納してもよい。さらにまた、情報処理システムが、既に情報が格納されている情報処理システム外の記憶領域 (例えば、ユーザが指定した場所) の情報を参照する形態であってもよい。

【0050】

情報処理システム内の少なくとも1つのプロセッサは、このように提供者が提供する情報を、任意の場所に格納することができる。例えば、情報は、セキュリティが必要な記憶領域に格納されていてもよく、この場合、提供者が情報処理システムに対して情報にアクセスすることを許可することで実装することもできる。

【0051】

情報処理システム内の少なくとも1つのプロセッサは、図4に(A)のケース又は(B)のケースとして限定されない例で提示される管理データのように、受け付けた情報と、各種の関連情報と、を紐づけて管理してよい。

【0052】

情報処理システム内の少なくとも1つのプロセッサは、例えば、(A)に例示されるように、提供された各情報について、その情報を一意に特定するための情報 (情報ID） 、その情報の提供者を一意に特定するための情報 (提供者ID） 、第1モデルによる回答の生成におけるその情報の利用回数、その情報の利用に応じて提供者に付与されるロイヤリティの合計額、をデータベースの1レコードに登録することで、情報ID、提供者ID、利用回数、ロイヤリティ合計額、を紐づけて管理することができる。

【0053】

また、情報処理システム内の少なくとも1つのプロセッサは、例えば、(B)に例示されるように、第1モデルによる回答の生成においてその情報が利用された日時 (利用日時) 、第1モデルによる回答の生成におけるその情報の貢献度、その貢献度に応じたロイヤリティの額、その情報が利用される契機となった質問 (第1データ) 、その情報を利用して第1モデルによって生成された回答 (第3データ) 、をデータベースの1レコードに登録することで、利用日時、貢献度、ロイヤリティ額、質問、回答、を紐づけて管理することができる。

【0054】

情報処理システム内の少なくとも1つのプロセッサは、各情報について、当該情報に係るこれら関連情報の全て又は一部を、管理データを参照して取得してよい。情報処理システム内の少なくとも1つのプロセッサは、例えば、情報の提供者又は提供者の情報処理装置からの要求に応じて、当該情報に係るこれら関連情報の全て又は一部を、当該情報の提供者又は提供者の情報処理端末に提供してもよい。

【0055】

情報処理システム内の少なくとも1つのプロセッサは、第1モデルを用いるユーザからの入力データである第1データを受け付け、この第1データに対する第3データを生成する (S102) 。情報処理システム内の少なくとも1つのプロセッサは、ユーザの入力した第1データから第2データを生成し、検索エンジンを用いて第2データに基づいた検索を実行する。

【0056】

情報処理システム内の少なくとも1つのプロセッサは、提供された情報を検索対象データとして用いて検索して得た検索結果を反映して生成される第3データの分布と、検索を実行せずに生成されるデータである第4データの分布と、に基づいて、第1段階における貢献度を算出する (S104) 。言い換えれば、情報処理システム内の少なくとも1つのプロセッサは、検索結果で補強された第1モデルと、検索結果で補強されていない第1モデルと、を用いて、貢献度を算出することができる。

【0057】

情報処理システム内の少なくとも1つのプロセッサは、例えば、検索結果で補強された第1モデルと、検索結果で補強されていない第1モデルと、を比較することで、貢献度を算出することができる。ここで第4データは実際に生成されなくともよい。

【0058】

情報処理システム内の少なくとも1つのプロセッサは、例えば、第3データの分布と、第4データの分布との距離、又は、距離に準ずる量を用いて第1段階の貢献度を算出する。情報処理システムは、限定されない一例として、第3データの分布と、第4データの分布とのKL情報量 (Kullback-Leibler Divergence) を距離に準ずる量として用いて貢献度を算出してもよい。もちろん、情報処理システムは、これ以外の距離、又は、統計量を用いて貢献度を算出することができる。

【数1】

【0059】

KL情報量は、式(1)で示される。ここで、Pは、提供された情報を含むデータ群を用いた検索を実行して生成される第3データの分布、P’は、検索を実行しないで生成される第4データの分布を示す。情報処理システムは、確率分布に基づいたサンプリングしたデータを用いることで、KL情報量を取得することができる。

【0060】

情報処理システム内の少なくとも1つのプロセッサは、1つのプロンプト (第1データ) に対して、情報が提供された後のデータ群を用いた検索を実行し、確率分布Pにしたがった第3データのサンプルSを取得する。情報処理システム内の少なくとも1つのプロセッサは、上記1つのプロンプト (第1データ) に対するこの作業を複数回、例えば、N回繰り返し、分布PにしたがったサンプルS₁、S₂、・・・、S_Nを取得する。

【0061】

情報処理システム内の少なくとも1つのプロセッサは、第3データの分布におけるそれぞれのサンプルの確率P(S_i)と、第4データの分布におけるそれぞれのサンプルの確率P’(S_i)と、に基づいて、提供されたデータがどの程度貢献をしているかを示す第1段階の貢献度としてKL情報量を取得することができる。

【数2】

【0062】

情報処理システム内の少なくとも1つのプロセッサは、サンプリングした結果を式(2)のように離散化した表現で表すことで、KL情報量を算出する。すなわち、情報処理システムは、KL情報量を近似する値を算出してよい。なお、式(2)と別式によってKL情報量を近似する値を算出してよい。サンプリングは、例えば、モンテカルロサンプリングにしたがって実行されてもよい。

【0063】

図3は、この式(2)に基づいたKL情報量取得の処理の一例を示す擬似コードである。

【0064】

情報処理システム内の少なくとも1つのプロセッサは、KL情報量を示す変数sumを初期化する。

【0065】

情報処理システム内の少なくとも1つのプロセッサは、N個のサンプルを分布から抽出する。情報処理システムは、例えば、上述したように、1つのプロンプトに対する第3データの生成 (サンプル生成) をN回繰り返すことで、N個のサンプルを取得する。また、限定されない別の例として、情報処理システムは、N回のサンプル生成をするのではなく、Nよりも十分多くの第3データを生成し、この生成される第3データの中からランダムにN個のサンプルを抽出してもよい。

【0066】

情報処理システム内の少なくとも1つのプロセッサは、抽出されたサンプルに対して、第3データの分布P及び第4データの分布P’における当該サンプルが生成される確率P(S_i)、P’(S_i)をそれぞれ取得する。抽出したN個のサンプルに対してそれぞれの確率の対数の差dを算出し、この差dのN個のサンプルに亘る和sumを算出することで第1段階の貢献度を算出することができる。なお、情報処理システムは、sumをNで除算して規格化してもよい。

【0067】

このようなKL情報量は、例えば、第1モデルの訓練において用いられた事前学習データに含まれないデータを用いた出力が新たに提供された情報により適切に補間された出力として第1モデルを介して提供しうることを示す指標とすることができる。換言すると、このKL情報量が大きい値になるほど、事前学習データに含まれていないデータを情報の提供者が適切に提供できているとすることができる。

【0068】

逆に、第3データの分布 (分布形状) 及び第4データの分布 (分布形状） の相違が小さく、KL情報量の差が小さい場合には、提供された情報がすでに訓練において用いられている可能性が高いことを示す。すなわち、提供されたデータを用いた検索を実行しても、既に訓練されている第1モデルを、検索処理をすることなく実行した場合にも同等の回答が取得できることを意味する。

【0069】

総サンプル数Nを十分に大きな所定値とすることで、式(2)の近似値としてKL情報量を求めることができる。情報処理システム内の少なくとも1つの情報処理装置は、この離散化されたKL情報量を第1段階の貢献度として用いてもよいし、取得されたKL情報量になんらかの演算、例えば、重み付けをする等の演算をすることで、第1段階の貢献度を算出してもよい。

【0070】

情報処理システム内の少なくとも1つのプロセッサは、例えば、図4に例示されるように、第1段階の貢献度を、当該情報を提供した提供者に反映し、この提供者 (提供者ID) と、当該情報 (情報ID) と、を、1つのレコードによって直接的に、又は、複数のレコードによって間接的に、紐付けて格納してよい (S106) 。また、情報処理システム内の少なくとも1つのプロセッサは、例えば図4の(A)のような管理データにおいて、検索により取得された情報について、その利用回数を1つ加算してもよい。提供者に対する貢献度は、それまでに提供された情報に対する貢献度との和をとる等、累積して、提供者に対する第1段階の総貢献度とするといったこともできる。

【0071】

また、情報処理システム内の少なくとも1つのプロセッサは、古い情報ほど重み付けを軽くするといった重み付けをしたり、ある程度の時間が経過した情報は総貢献度の対象から削除したりすることも可能である。このように時系列に沿った処理をすることで、古い情報を参酌しつつも、より新しい情報に重みをつけた情報を提供することも可能となる。

【0072】

以上のように、上記の形態による情報処理システムは、データ群に対して新たな検索対象となる情報が提供された場合に、当該提供されたデータに対して適切な貢献度を設定することができる。さらには、提供者ごとに貢献度を合算して処理することもできる。情報処理システムは、データ提供者に対して、提供されたデータが出力に影響を及ぼしうるか否かの必要条件として第1段階の貢献度を用いることができる。

【0073】

なお、上記においては、第3データの確率分布Pから出発したが、これに限定されるものではない。例えば、第4データの確率分布P’から出発し、P’に基づいてサンプルP’(S_i’)を取得し、このS_i’に対する第3データを確率分布PからサンプリングしたP(S_i’)を取得したKL情報量 KL(P’||P) を用いて貢献度を算出してもよい。

【0074】

また、KL情報量が高くなる確率分布Pを形成する提供情報は、第1モデルの再学習用の学習データとして用いてもよい。このようなデータを学習用のデータとして反映することで、第1モデルにおける出力データの精度の向上を図ることもできる。

【0075】

また、情報処理システムは、複数回の図3の処理を繰り返し行って、KL情報量が所定値よりも高くなった回数により貢献度を算出してもよい。

【0076】

なお、第1段階の貢献度の算出は、上記の例に限定されるものではない。以下にさらなるいくつかの例を挙げるが、これらにも限定されるものではなく、適切に検索を用いた場合の情報の補完性を反映できる他の手法であってもよい。

【0077】

情報処理システムは、プロンプト (第1データ) を、検索結果で補強された第1モデルに入力してデータ (例えば、テキスト) を生成し、このデータが補強前 (検索結果を用いない場合) の第1モデルから出力される尤度を算出し、この尤度に基づいて第1段階の貢献度を算出することができる。情報処理システムは、例えば、この尤度の逆数を第1段階の貢献度とすることができる。

【0078】

情報処理システムは、プロンプト (第1データ) を、検索結果で補強された第1モデル及び検索結果で補強されていない第1モデルのそれぞれに入力してデータを生成し、これら2つのデータを、データを潜在変数にエンコードするモデル (一例として機械学習による訓練済みモデル) に入力し、それぞれの潜在変数に基づいた第1段階の貢献度を算出してもよい。情報処理システムは、例えば、潜在変数の潜在空間における2つの潜在変数間のユークリッド距離、あるいは、2つの潜在変数のコサイン類似度を1から引いた値、といった指標を第1段階の貢献度とすることができる。

【0079】

情報処理システムは、プロンプト (第1データ) を入力した場合における第3データの分布Pに対する第4データの分布P’のクロスエントロピーに基づいて第1段階の貢献度を算出することができる。情報処理システムは、例えば、このクロスエントロピーを第1段階の貢献度としてもよいし、クロスエントロピーを規格化した量を第1段階の貢献度としてもよい。

【0080】

次に、提供された情報が回答に及ぼす影響に加えて、回答に対して有用なデータであったか否かを第2段階の貢献度として算出する処理について説明する。情報処理システムは、第2段階の貢献度の算出を、上記の第1段階の貢献度の算出と同様に情報が提供されたタイミング (図2の S104 のタイミング) で実行してもよいし、別の例として実際にユーザからの要求により第1モデルと検索エンジンを用いた第3データの生成を実行するタイミング (図1の S22 のタイミング) において実行してもよい。

【0081】

情報処理システム内の少なくとも1つのプロセッサは、提供されたデータが実際に結果に有用に貢献したか否かを評価して第2段階の貢献度を算出することができる。この第2段階の評価は、例えば、第1モデルとは異なる第2モデルを用いて実現することもできる。情報処理システムは、例えば、評価用に学習された評価モデルであり、第1モデルの入力 (第1データ) と出力 (第3データ又は第4データ) を入力すると、結果が正しい (正当性、有効性、又は、妥当性が高い） ほど、より高い評価値を返すモデルとして訓練された第2モデルを評価器として用いることができる。

【0082】

例えば、第1モデルの入力がユーザからの質問であり、第1モデルの出力がその質問に対する回答として出力される場合、評価器である第2モデルは、その出力が質問に対する回答となっているのか、すなわち、その出力の、質問に対する回答としての正当性、有効性、又は、妥当性を評価してよい。これらのうち少なくとも1つの評価は、その出力の内容の回答としての正しさ、又は、その出力が回答としての体裁 (文体） を保てているかその程度、を評価項目として含んでよく、自然言語処理であれば、評価器は、意味解析や文脈解析を行うことで、各評価項目を評価してよい。

【0083】

また、生成された回答の正当性、有効性、又は、妥当性を評価するとは、生成された回答そのものを評価することも、その回答を生成する、検索結果で補強された第1モデルからの出力 (第3データ） と、検索結果で補強されていない第1モデルからの出力 (第4データ) と、を比較することによって評価することも概念的に含む。

【0084】

情報処理システム内の少なくとも1つのプロセッサは、例えば、第2モデルを用いて、提供されたデータを検索データとして用いて生成される第3データの確率分布Pと、検索を実行しないで生成される第4データの確率分布P’とを用いて、以下に示すように期待値として貢献度を算出することができる。

【数3】

【0085】

ここで、C(S)は、サンプルSに対する評価器の出力値であり、E(・)は、期待値を示す。情報処理システムは、確率分布Pにしたがって得られるサンプルSのCの期待値と、確率分布P‘にしたがったサンプルS’のCの期待値と、を用いて算出する。より具体的には、確率変数S～P(S)、S’～P’(S’)において1つ以上の複数回のサンプリングをして、それらの平均を用いてC(S)、C(S’)の期待値が算出される。

【0086】

このように、情報処理システムは、確率分布PとP’に基づいてサンプリングし、評価値の期待値を算出することで、第2段階の貢献度を算出することができる。言い換えれば、情報処理システムは、検索結果で補強された第1モデルと、検索結果で補強されていない第1モデルと、第1モデルによって生成される回答を評価する第2モデルと、を用いて、貢献度を算出することができる。評価値を出力する第2モデルは、任意の手法で訓練することができる。この第2モデルにより算出された評価値は、上述したように答えが正しい程高い値を出力する。

【0087】

このため式(3)によれば、情報処理システムは、提供された情報を検索に用いて生成される第3データの確率分布における評価の期待値と、検索を実行しないで生成される第4データの確率分布における評価の期待値と、の差を第2段階の貢献度として算出することができる。

【0088】

すなわち、提供された情報を検索に用いた場合に、回答が正しくなるほど、第2段階の貢献度は、大きい値となる。

【0089】

以上のように、上記の形態による情報処理システムは、データ群に提供された情報が回答においてどの程度正当性、有効性、妥当性を有するか、どの程度正しい回答を得られるのに効果的であるかを反映した貢献度を算出することができる。

【0090】

情報処理システムは、第1段階の貢献度と、第2段階の貢献度と、を合わせて用いることができるし、又は、いずれか一方の貢献度だけを用いることもできる。情報処理システムは、上記のような貢献度を設定することで、情報提供者に対して、第1段階の貢献度において情報のカバー率を向上させるような情報の提供を促し、第2段階の貢献度において回答されるデータの正当性、有効性、妥当性を向上させるような情報の提供を促すことができる。

【0091】

上記において算出された貢献度は、限定されない一例として、情報提供者に対するロイヤリティとしてペイバック等のなんらかの処理を実現する指標として用いることができる。情報処理システムは、例えば、情報の貢献度に応じた額のロイヤリティ (金銭あるいはそれに相当する報酬) を、その情報の提供者に付与してよい。ロイヤリティは、インセンティブ、報奨金、使用料、ポイントなどを含む概念である。ロイヤリティを情報提供者に付与するとは、例えば、ロイヤリティの額を、情報提供者の識別コードと紐付けることで行ってもよいし、他の方法で行ってもよい。

【0092】

上記において情報処理システムは、検索によりデータ群から取得されて第1モデルによる回答の生成に利用される情報の提供者にロイヤリティを付与する場合に、そのロイヤリティの額の大きさを、その情報の貢献度に応じて決定する。ロイヤリティの付与の方法は、上記の例に限定されない。

【0093】

情報処理システムは、例えば、検索によりデータ群から取得されて第1モデルによる回答の生成に利用される情報について、その情報の貢献度を算出せず、貢献度の大きさによらず、その情報の提供者に一律の額のロイヤリティを付与してもよい。

【0094】

あるいは、情報処理システムは、例えば、検索によりデータ群から取得されて第1モデルによる回答の生成に利用される情報について、その情報の貢献度を算出し、その貢献度が一定の貢献度を越えた場合にその情報の提供者に一律の額のロイヤリティを付与してもよい。

【0095】

すなわち、情報処理システムは、第1モデルによって回答が生成される質問 (第1データ) を取得し、その質問に基づいて、データ群から質問に対する回答 (第3データ) の生成に用いる情報を検索によって取得し、その情報の提供者にロイヤリティを付与するよう、構成されてよい。

【0096】

情報処理システムは、第1モデルを用いた回答の生成と、検索エンジンを用いた検索システムと、検索エンジンに用いられるデータ群と、に大きく分けることができる。情報処理システムは、このうち、いずれかをAPI (Application Programming Interface) として提供することもできる。

【0097】

例えば、全体として、第1モデルの入出力に関するAPIを提供し、情報提供者により提供された情報を検索対象として用いた検索補強つきの回答を取得するシステムを提供することができる。

【0098】

例えば、検索エンジンの入出力に関するAPIを提供し、情報提供者により提供された情報を検索対象として用いるシステムを提供することができる。

【0099】

例えば、データ群へのアクセスに関するAPIを提供し、検索エンジンの検索に用いるデータにアクセスするための経路をシステムとして提供することができる。

【0100】

このように、システムの切り分けは任意とすることができる。上記のようないずれのAPIの提供においても、上記の実施形態による情報処理システムによれば、データの提供者に対して適切な貢献度を付与することが可能となる。

【0101】

すなわち、情報処理システムは、第1モデル、検索エンジン、又は、データ群における少なくとも一部のサブデータ群、のうち、少なくとも1つを備える形態であってもよい。

【0102】

また、情報処理システムは、複数の異なる情報処理装置として、第3データを生成する情報処理装置と、貢献度を算出する情報処理装置と、を備えていてもよいし、同一の情報処理装置において第3データの生成と、貢献度の算出とを実現できる形態であってもよい。すなわち、情報処理システムは、1又は複数の情報処理装置を備え、これらの情報処理装置における本開示における処理は、この1又は複数の情報処理装置に対して適切に分散され、又は、集約されて実行することができる。

【0103】

情報処理システムが第1モデルを有する場合、貢献度を設定する情報処理装置は、システムが有する第1モデルから出力された第2データを情報処理システムの内外にある検索エンジンに渡して取得したデータを用いる第1モデルからの出力である第3データと、第1モデルから検索を実行しないで出力される第4データと、から、上記の貢献度を算出することができる。データ群におけるそれぞれのデータ (情報） にIDを付与して、このID (情報ID) に対して貢献度を設定し、また、同一の提供者からの提供データをIDから取得してそれらの貢献度をまとめることもできる。

【0104】

情報処理システムが検索エンジンを有する場合、貢献度を設定する情報処理システムは、情報処理システムの内外にある第1モデルからの出力に基づいて第3データ、第4データを取得して、貢献度を設定することができる。第3データを生成するタイミングにおいて、情報処理システム内にある検索エンジンを用いた結果を第1モデルへと渡すことができる。

【0105】

情報処理システムがデータ群の少なくとも一部を有する場合、貢献度を設定する情報処理システムは、情報が提供されたタイミングにおいて情報処理システムの内外にある第1モデル及び検索エンジンを用いて第3データと第4データとを取得して貢献度を設定してデータ群のそれぞれの提供された情報に付与することができる。

【0106】

データ群は、まとめて備えられる必要は無く、その一部が機密に格納され、暗号化されたキーにアクセスするためのAPIを提供していてもよい。例えば、複数の企業における機密データをそれぞれの企業において機密に格納しておき、それらデータにアクセスするための経路及びインタフェースが準備されているような形態であってもよい。

【0107】

この場合、それぞれの企業に存在するサブデータ群は、それぞれ外部から隠蔽することができるので、第1モデルを用いた回答を望んでいるユーザからは、どの企業のデータに基づいた検索を用いているかを検知することはできない。一方で、情報処理システムは、データ群のデータに紐付けられているID (情報ID） を参照することで、どのサブデータ群から取得した情報に基づいた回答であるかを把握することができる。

【0108】

なお、情報処理システムは、第1モデルによる回答の生成に利用された情報 (検索によって取得された情報) の提供者を示す情報 (例えば、提供者ID、提供者の名を示す文字列、及び／又は、URLなどの情報の入手先又は入手元を示す文字列、等) を、回答がその提供者が提供した情報を参照して生成されたとことが、回答を受け取ったユーザが識別できる態様で、出力してもよい。

【0109】

また、情報処理システムは、第1モデルによる回答の生成に利用された情報 (検索によって取得された情報) の提供者を示す情報 (例えば、提供者ID、提供者の名を示す文字列、及び／又は、URLなどの情報の入手先又は入手元を示す文字列、等) を、その提供者が提供した情報を参照して (利用して) その回答が生成されたことをその回答を受け取ったユーザ (回答の受領者) が識別できる態様 (例えば、回答とともに出力する等) で出力してよい。提供者を示す情報は、テキストや画像などであってよい。

【0110】

情報処理システムは、実際に運用している間にこのように把握したソースとなるサブデータ群を有する情報提供者に、回答として用いられた回数、頻度等に基づいて、貢献度を付与していくことも可能である。

【0111】

いずれの場合においても、第1モデルは、種々の形態を有することができる。上記で説明したように、大規模言語モデルとして、文章又は単語等などのテキストを入力して、文章又は単語等などのテキストを出力するモデルであってもよい。別の例として、第1モデルは、テキストを入力すると画像又は映像を出力するモデル、画像又は映像を入力するとテキストを出力するモデル、画像又は映像を入力すると画像又は映像を入力するモデル、グラフ情報を入力するとグラフ情報を出力するモデル、グラフ情報を入力するとテキスト又は画像又は映像を出力するモデル、テキスト又は画像又は映像を入力するとグラフ情報を出力するモデル、等であってもよい。もちろん、第1モデルは、これら以外のモデルであってもよい。

【0112】

前述の実施形態における訓練済モデルは、例えば、説明したように訓練した上で、さらに、一般的な手法により蒸留されたモデルを含む概念であってもよい。

【0113】

以下において、実施形態における各装置とは、情報処理システム内に存在する少なくとも1つの装置であってもよい。装置は、例えば、情報処理システムにおいてデータ群に情報が提供されるタイミングで貢献度を設定する装置、若しくは、第3データを生成するタイミングで貢献度を設定する装置、であってもよいし、第1モデルを利用する装置、若しくは、検索エンジンを利用する装置、であってもよいし、又は、これらのうちの少なくとも複数の動作を併せて実行する装置、であってもよい。

【0114】

前述した実施形態における各装置(情報処理システムに備えられる情報処理装置)の一部又は全部は、ハードウェアで構成されていてもよいし、CPU (Central Processing Unit) 又はGPU (Graphics Processing Unit) 等が実行するソフトウェア (プログラム) の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、前述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、CD-ROM (Compact Disc-Read Only Memory) 、USB (Universal Serial Bus) メモリ等の非一時的な記憶媒体 (非一時的なコンピュータ可読媒体) に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアの処理の全部又は一部がASIC (Application Specific Integrated Circuit) 又はFPGA (Field Programmable Gate Array) 等の回路に実装されることにより、当該ソフトウェアによる情報処理がハードウェアにより実行されてもよい。

【0115】

ソフトウェアを収納する記憶媒体は、光ディスク等の着脱可能なものでもよいし、ハードディスク又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし (主記憶装置または補助記憶装置等) 、コンピュータ外部に備えられてもよい。

【0116】

図5は、前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) のハードウェア構成の一例を示すブロック図である。各装置は、一例として、プロセッサ 71と、主記憶装置 72 (メモリ) と、補助記憶装置 73 (メモリ) と、ネットワークインタフェース 74 と、デバイスインタフェース 75 と、を備え、これらがバス 76 を介して接続されたコンピュータ 7 として実現されてもよい。

【0117】

図5のコンピュータ 7 は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図5では、1台のコンピュータ 7 が示されているが、ソフトウェアが複数台のコンピュータにインストールされて、当該複数台のコンピュータそれぞれがソフトウェアの同一の又は異なる一部の処理を実行してもよい。この場合、コンピュータそれぞれがネットワークインタフェース 74 等を介して通信して処理を実行する分散コンピューティングの形態であってもよい。つまり、前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) は、1又は複数の記憶装置に記憶された命令を1台又は複数台のコンピュータが実行することで機能を実現するシステムとして構成されてもよい。また、端末から送信された情報をクラウド上に設けられた1台又は複数台のコンピュータで処理し、この処理結果を端末に送信するような構成であってもよい。

【0118】

前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) の各種演算は、1又は複数のプロセッサを用いて、又は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。また、本開示の処理、手段等の一部又は全部は、ネットワークを介してコンピュータ ７ と通信可能なクラウド上に設けられたプロセッサ及び記憶装置の少なくとも一方により実現されてもよい。このように、前述した実施形態における各装置は、１台又は複数台のコンピュータによる並列コンピューティングの形態であってもよい。

【0119】

プロセッサ 71 は、少なくともコンピュータの制御又は演算のいずれかを行う電子回路 (処理回路、Processing circuit、Processing circuitry、CPU、GPU、FPGA、ASIC等) であってもよい。また、プロセッサ 71 は、汎用プロセッサ、特定の演算を実行するために設計された専用の処理回路又は汎用プロセッサと専用の処理回路との両方を含む半導体装置等のいずれであってもよい。また、プロセッサ 71 は、光回路を含むものであってもよいし、量子コンピューティングに基づく演算機能を含むものであってもよい。

【0120】

プロセッサ 71 は、コンピュータ7の内部構成の各装置等から入力されたデータやソフトウェアに基づいて演算処理を行ってもよく、演算結果や制御信号を各装置等に出力してもよい。プロセッサ 71 は、コンピュータ 7 のOS (Operating System) や、アプリケーション等を実行することにより、コンピュータ ７ を構成する各構成要素を制御してもよい。

【0121】

前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) は、1又は複数のプロセッサ 71 により実現されてもよい。ここで、プロセッサ 71 は、1チップ上に配置された1又は複数の電子回路を指してもよいし、2つ以上のチップあるいは2つ以上のデバイス上に配置された1又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

【0122】

主記憶装置 72 は、プロセッサ 71 が実行する命令及び各種データ等を記憶してもよく、主記憶装置 72 に記憶された情報がプロセッサ 71 により読み出されてもよい。補助記憶装置 73 は、主記憶装置 72 以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ又は不揮発性メモリのいずれでもよい。前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) において各種データ等を保存するための記憶装置は、主記憶装置 72 又は補助記憶装置 73 により実現されてもよく、プロセッサ 71 に内蔵される内蔵メモリにより実現されてもよい。例えば、前述した実施形態における情報処理システムに備えられる情報処理装置の記憶部は、主記憶装置 72 又は補助記憶装置 73 により実現されてもよい。

【0123】

前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) が、少なくとも1つの記憶装置 (メモリ) と、この少なくとも1つの記憶装置に接続 (結合) される少なくとも1つのプロセッサで構成される場合、記憶装置1つに対して、少なくとも1つのプロセッサが接続されてもよい。また、プロセッサ1つに対して、少なくとも1つの記憶装置が接続されてもよい。また、複数のプロセッサのうち少なくとも1つのプロセッサが、複数の記憶装置のうち少なくとも1つの記憶装置に接続される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置がプロセッサと一体になっている構成 (例えば、L1キャッシュ、L2キャッシュを含むキャッシュメモリ) を含んでもよい。

【0124】

ネットワークインタフェース 74 は、無線又は有線により、通信ネットワーク 8 に接続するためのインタフェースである。ネットワークインタフェース 74 は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース 74 により、通信ネットワーク 8 を介して接続された外部装置 9A と情報のやり取りが行われてもよい。なお、通信ネットワーク8は、WAN (Wide Area Network) 、LAN (Local Area Network) 、PAN (Personal Area Network) 等のいずれか、又は、それらの組み合わせであってよく、コンピュータ 7 と外部装置 9A との間で情報のやりとりが行われるものであればよい。WANの一例としてインターネット等があり、LANの一例としてIEEE 802.11やイーサネット (登録商標) 等があり、PANの一例としてBluetooth (登録商標) やNFC (Near Field Communication) 等がある。

【0125】

デバイスインタフェース 75 は、外部装置 9B と直接接続するUSB等のインタフェースである。

【0126】

外部装置 9A は、コンピュータ 7 とネットワークを介して接続されている装置である。外部装置 9B は、コンピュータ 7 と直接接続されている装置である。

【0127】

外部装置 9A 又は外部装置 9B は、一例として、入力装置であってもよい。入力装置は、例えば、カメラ、マイクロフォン、モーションキャプチャ、各種センサ等、キーボード、マウス又はタッチパネル等のデバイスであり、取得した情報をコンピュータ 7 に与える。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の入力部とメモリとプロセッサを備えるデバイスであってもよい。

【0128】

また、外部装置 9A 又は外部装置 9B は、一例として、出力装置でもよい。出力装置は、例えば、LCD (Liquid Crystal Display) 、有機EL (Electro Luminescence) パネル等の表示装置であってもよいし、音声等を出力するスピーカ等であってもよい。また、パーソナルコンピュータ、タブレット端末又はスマートフォン等の出力部とメモリとプロセッサを備えるデバイスであってもよい。

【0129】

また、外部装置 9A 又は外部装置 9B は、記憶装置 (メモリ) であってもよい。例えば、外部装置 9A は、ネットワークストレージ等であってもよく、外部装置 9B は、HDD等のストレージであってもよい。

【0130】

また、外部装置 9A 又は外部装置 9B は、前述した実施形態における各装置 (情報処理システムに備えられる情報処理装置) の構成要素の一部の機能を有する装置でもよい。つまり、コンピュータ 7 は、外部装置 9A 又は外部装置 9B に処理結果の一部又は全部を送信してもよいし、外部装置 9A 又は外部装置 9B から処理結果の一部又は全部を受信してもよい。

【0131】

本明細書 (請求項を含む) において、「a、b及びcの少なくとも1つ (一方) 」又は「a、b又はcの少なくとも1つ (一方) 」の表現 (同様な表現を含む) が用いられる場合は、a、b、c、a - b、a - c、b - c 又はa - b - cのいずれかを含む。また、a - a、a - b - b、a - a - b - b - c - c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a - b - c - dのようにdを有する等、列挙された要素 （a、b及びc） 以外の他の要素を加えることも含む。

【0132】

本明細書 (請求項を含む) において、「データを入力として／を用いて／データに基づいて／に従って／に応じて」等の表現(同様な表現を含む)が用いられる場合は、特に断りがない場合、データそのものを用いる場合や、データに何らかの処理を行ったもの (例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等) を用いる場合を含む。また、「データを入力として／を用いて／データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合 (同様な表現を含む) 、特に断りが無い場合、当該データのみに基づいて当該結果が得られる場合や、当該データ以外の他のデータ、要因、条件及び／又は状態等にも影響を受けて当該結果が得られる場合を含む。また、「データを出力する」旨が記載されている場合 (同様な表現を含む) 、特に断りがない場合、データそのものを出力として用いる場合や、データに何らかの処理を行ったもの (例えば、ノイズ加算したもの、正規化したもの、データから抽出した特徴量、データの中間表現等) を出力として用いる場合を含む。

【0133】

本明細書 (請求項を含む) において、「接続される (connected) 」及び「結合される (coupled) 」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的 (electrically) な接続／結合、通信的 (communicatively) な接続／結合、機能的 (operatively) な接続／結合、物理的 (physically) な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

【0134】

本明細書 (請求項を含む) において、「AがBするよう構成される (A configured to B) 」との表現が用いられる場合は、要素Aの物理的構造が、動作Bを実行可能な構成を有するとともに、要素Aの恒常的 (permanent) 又は一時的 (temporary) な設定 (setting / configuration) が、動作Bを実際に実行するように設定 (configured / set) されていることを含んでよい。例えば、要素Aが汎用プロセッサである場合、当該プロセッサが動作Bを実行可能なハードウェア構成を有するとともに、恒常的 (permanent) 又は一時的 (temporary) なプログラム (命令) の設定により、動作Bを実際に実行するように設定 (configured) されていればよい。また、要素Aが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造等が動作Bを実際に実行するように構築 (implemented) されていればよい。

【0135】

本明細書 (請求項を含む) において、含有又は所有を意味する用語 (例えば、「含む (comprising / including) 」及び「有する (having) 」等) が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、 open-ended な用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

【0136】

本明細書 (請求項を含む) において、ある箇所において「1つ又は複数 (one or more) 」又は「少なくとも1つ (at least one) 」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) が用いられているとしても、後者の表現が「1つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現 (a 又は an を冠詞とする表現) は、必ずしも特定の数に限定されないものとして解釈されるべきである。

【0137】

本明細書において、ある実施形態の有する特定の構成について特定の効果 (advantage / result) が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の1つ又は複数の実施形態についても当該効果が得られると理解されるべきである。但し、当該効果の有無は、一般に種々の要因、条件及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件及び／又は状態等が満たされたときに実施形態に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

【0138】

本明細書 (請求項を含む) において、「最大化する (maximize) ／最大化 (maximization) 」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化する (minimize) ／最小化 (minimization) 」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化する (optimize) ／最適化 (optimization) 」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。

【0139】

本明細書 (請求項を含む) において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書 (請求項を含む) において、「1又は複数のハードウェアが第1処理を行い、前記1又は複数のハードウェアが第2処理を行う」等の表現 (同様な表現を含む) が用いられている場合、第1処理を行うハードウェアと第2処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第1処理を行うハードウェア及び第2処理を行うハードウェアが、前記1又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は、電子回路を含む装置等を含んでもよい。

【0140】

本明細書 (請求項を含む) において、複数の記憶装置 (メモリ) がデータの記憶を行う場合、複数の記憶装置のうち個々の記憶装置は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。また、複数の記憶装置のうち一部の記憶装置がデータを記憶する構成を含んでもよい。

【0141】

以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。特許請求の範囲に規定された内容及びその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲において、種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した実施形態において、数値又は数式を説明に用いている場合、これらは例示的な目的で示されたものであり、本開示の範囲を限定するものではない。また、実施形態で示した各動作の順序も、例示的なものであり、本開示の範囲を限定するものではない。

【要約】

【課題】提供したデータに応じた適切な貢献度を設定する。
【解決手段】情報処理装置は、1又は複数のメモリと、1又は複数のプロセッサと、を備える。前記1又は複数のプロセッサは、第1モデルによって回答が生成される質問を取得し、前記質問に基づいて、データ群から、前記質問に対する回答の生成に前記第1モデルによって用いられる情報を取得し、前記第1モデルによる前記回答の生成における前記情報の貢献度を算出する。
【選択図】図1

【図1】

【図2】

【図3】

【図4】

【図5】