特許 7530134 情報処理装置、プログラム及び情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-07-30

(45)【発行日】2024-08-07

(54)【発明の名称】情報処理装置、プログラム及び情報処理方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240731BHJP

   G06F 16/90 20190101ALI20240731BHJP

   G06N 3/0475 20230101ALI20240731BHJP

   G06N 3/09 20230101ALI20240731BHJP

【ＦＩ】

G06N20/00 130

G06F16/90 100

G06N3/0475

G06N3/09

【請求項の数】 13

(21)【出願番号】P 2024054860

(22)【出願日】2024-03-28

【審査請求日】2024-04-02

【早期審査対象出願】

(73)【特許権者】

【識別番号】521030168

【氏名又は名称】株式会社Ｃｉｔａｄｅｌ ＡＩ

(74)【代理人】

【識別番号】110001139

【氏名又は名称】ＳＫ弁理士法人

(74)【代理人】

【識別番号】100130328

【弁理士】

【氏名又は名称】奥野 彰彦

(74)【代理人】

【識別番号】100130672

【弁理士】

【氏名又は名称】伊藤 寛之

(72)【発明者】

【氏名】ソン ケニー イジョ

【審査官】千葉 久博

(56)【参考文献】

【文献】国際公開第２０２０／２４０９８１（ＷＯ，Ａ１）

【文献】中国特許出願公開第１１７４０９１０９（ＣＮ，Ａ）

【文献】Rebecca Li, 外2名，“ＬＬＭをゼロからトレーニングするためのベストプラクティス”，第７回 ＡＩ・人工知能 ＥＸＰＯ［春］ ，2023年05月10日，p.1-23

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｆ １６／９０

Ｇ０６Ｎ ３／０４７５

Ｇ０６Ｎ ３／０９

(57)【特許請求の範囲】

【請求項1】

生成ＡＩを用いたコンテンツ生成システムを検証する情報処理装置であって、
前記コンテンツ生成システムは、プロンプトを入力する入力者からの入力者入力情報を受け付けてシステム入力情報として前記生成ＡＩに送信し、当該システム入力情報に対する前記生成ＡＩからのＡＩ出力情報を取得して、当該ＡＩ出力情報に基づいてシステム出力情報を前記入力者に提供するものであり、
制御手段と、記憶手段とを備え、
前記制御手段は、出力情報取得部と、出力情報検証部と、フィードバック情報取得部と、履歴情報記録部と、報酬モデル学習部と、を備え、
前記出力情報取得部は、前記ＡＩ出力情報を取得し、
前記出力情報検証部は、前記ＡＩ出力情報を検証し、
前記フィードバック情報取得部は、前記システム出力情報に対する前記入力者からのフィードバック情報を取得し、
前記履歴情報記録部は、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として前記記憶手段に記録し、
前記報酬モデル学習部は、前記履歴情報に基づいて報酬モデルを学習させる、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記制御手段は、入力情報取得部をさらに備え、
前記入力情報取得部は、前記入力者入力情報及び前記システム入力情報の少なくとも一方を取得し、
前記履歴情報記録部は、前記ＡＩ出力情報及び前記フィードバック情報に加えて、前記入力者入力情報及び前記システム入力情報の少なくとも一方を前記履歴情報として前記記憶手段に記録し、
前記報酬モデル学習部は、当該履歴情報に基づいて前記報酬モデルを学習させる、情報処理装置。

【請求項3】

請求項２に記載の情報処理装置であって、
前記入力情報取得部及び前記フィードバック情報取得部は、予め前記コンテンツ生成システムにＡＰＩを提供しておき、当該ＡＰＩを用いて、前記コンテンツ生成システムから、前記入力者入力情報及び前記システム入力情報の少なくとも一方と、前記フィードバック情報とをそれぞれ取得する、情報処理装置。

【請求項4】

請求項１に記載の情報処理装置であって、
前記出力情報取得部は、予め前記コンテンツ生成システムにＡＰＩを提供しておき、当該ＡＰＩを用いて前記コンテンツ生成システムから前記ＡＩ出力情報を取得する、情報処理装置。

【請求項5】

請求項１に記載の情報処理装置であって、
前記制御手段は、出力情報提示部をさらに備え、
前記出力情報提示部は、前記出力情報検証部の検証結果に基づいて、前記システム出力情報とともに、又は前記システム出力情報に代えて、前記検証結果を前記入力者に提示する、情報処理装置。

【請求項6】

請求項１に記載の情報処理装置であって、
前記報酬モデル学習部は、学習フェーズにおいて、前記ＡＩ出力情報と当該ＡＩ出力情報に対する評価とに基づいて前記報酬モデルを予め学習させ、
前記出力情報検証部は、提供フェーズにおいて、前記報酬モデルを用いて前記ＡＩ出力情報を検証し、
前記報酬モデル学習部は、前記提供フェーズにおいて、前記履歴情報に基づいて前記報酬モデルを更新する、情報処理装置。

【請求項7】

請求項６に記載の情報処理装置であって、
前記制御手段は、入力情報取得部をさらに備え、
前記入力情報取得部は、前記学習フェーズにおいて、前記入力者入力情報及び前記システム入力情報の少なくとも一方を取得し、
前記報酬モデル学習部は、前記学習フェーズにおいて、前記入力者が入力する学習用データセットについての前記入力者入力情報及び前記システム入力情報の少なくとも一方と、これに対する前記ＡＩ出力情報と、当該ＡＩ出力情報に対する評価とに基づいて前記報酬モデルを学習させる、情報処理装置。

【請求項8】

請求項６に記載の情報処理装置であって、
前記出力情報検証部は、前記提供フェーズにおいて、前記報酬モデルを用いた検証に加えて、前記ＡＩ出力情報の有害性、正確性及び感情の少なくとも１つをさらに検証する、情報処理装置。

【請求項9】

請求項２に記載の情報処理装置であって、
前記制御手段は、入力情報検証部をさらに備え、
前記入力情報検証部は、前記入力者入力情報の有害性及び感情の少なくとも１つを検証する、情報処理装置。

【請求項10】

請求項１に記載の情報処理装置であって、
前記報酬モデル学習部は、単一入力者ごと又は同じグループに所属する複数の入力者ごとに前記報酬モデルを学習させる、情報処理装置。

【請求項11】

請求項１～請求項１０のいずれかに記載の情報処理装置であって、
前記生成ＡＩは大規模言語モデルであり、前記コンテンツ生成システムは文章生成システムである、情報処理装置。

【請求項12】

生成ＡＩを用いたコンテンツ生成システムを検証する情報処理方法であって、
前記コンテンツ生成システムは、プロンプトを入力する入力者からの入力者入力情報を受け付けてシステム入力情報として前記生成ＡＩに送信し、当該システム入力情報に対する前記生成ＡＩからのＡＩ出力情報を取得して、当該ＡＩ出力情報に基づいてシステム出力情報を前記入力者に提供するものであり、
出力情報取得処理と、出力情報検証処理と、フィードバック情報取得処理と、履歴情報記録処理と、報酬モデル学習処理とを行い、
前記出力情報取得処理では、前記ＡＩ出力情報を取得し、
前記出力情報検証処理では、前記ＡＩ出力情報を検証し、
前記フィードバック情報取得処理では、前記システム出力情報に対する前記入力者からのフィードバック情報を取得し、
前記履歴情報記録処理では、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として記憶手段に記録し、
前記報酬モデル学習処理では、前記履歴情報に基づいて報酬モデルを学習させる、情報処理方法。

【請求項13】

生成ＡＩを用いたコンテンツ生成システムを検証するプログラムであって、
前記コンテンツ生成システムは、プロンプトを入力する入力者からの入力者入力情報を受け付けてシステム入力情報として前記生成ＡＩに送信し、当該システム入力情報に対する前記生成ＡＩからのＡＩ出力情報を取得して、当該ＡＩ出力情報に基づいてシステム出力情報を前記入力者に提供するものであり、
コンピュータに、出力情報取得処理と、出力情報検証処理と、フィードバック情報取得処理と、履歴情報記録処理と、報酬モデル学習処理とを実行させ、
前記出力情報取得処理では、前記ＡＩ出力情報を取得し、
前記出力情報検証処理では、前記ＡＩ出力情報を検証し、
前記フィードバック情報取得処理では、前記システム出力情報に対する前記入力者からのフィードバック情報を取得し、
前記履歴情報記録処理では、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として記憶手段に記録し、
前記報酬モデル学習処理では、前記履歴情報に基づいて報酬モデルを学習させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、プログラム及び情報処理方法に関する。

【背景技術】

【0002】

近年、大規模言語モデル（ＬＬＭ）を用いて文章生成を行うアプリケーションやサービスが開発されている。例えば、特許文献１には、ＬＬＭからの回答文の正確性を高めるため、ＬＬＭに入力するための質問文（プロンプト）を生成する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許７３１３７５７号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、プロンプトを改善したとしても、依然としてＬＬＭやＬＬＭを用いた文章生成システムが不適当な回答文を生成するおそれがあり、文章生成システムを安全に提供あるいは使用することができなかった。また、このような望まない結果を出力する問題は、ＬＬＭ及びこれに対応する文章生成システムに限らず、画像・動画生成ＡＩ等の他の生成ＡＩ及び対応するコンテンツ生成システムでも生じていた。

【0005】

本発明はこのような事情に鑑みてなされたものであり、生成ＡＩを用いたコンテンツ生成システムの信頼性を向上させるための情報処理装置を提供するものである。

【課題を解決するための手段】

【0006】

本発明によれば、以下の発明が提供される。
［１］生成ＡＩを用いたコンテンツ生成システムを検証する情報処理装置であって、制御手段と、記憶手段とを備え、前記制御手段は、出力情報取得部と、出力情報検証部と、フィードバック情報取得部と、履歴情報記録部と、報酬モデル学習部と、を備え、前記出力情報取得部は、前記コンテンツ生成システムへプロンプトを入力する入力者からの入力に対する前記生成ＡＩからのＡＩ出力情報を取得し、前記出力情報検証部は、前記ＡＩ出力情報を検証し、前記フィードバック情報取得部は、前記コンテンツ生成システムからのシステム出力情報に対する前記入力者からのフィードバック情報を取得し、前記履歴情報記録部は、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として前記記憶手段に記録し、前記報酬モデル学習部は、前記履歴情報に基づいて報酬モデルを学習させる、情報処理装置。
［２］［１］に記載の情報処理装置であって、前記制御手段は、入力情報取得部をさらに備え、前記入力情報取得部は、前記入力者から前記コンテンツ生成システムへの入力者入力情報及び前記コンテンツ生成システムから前記生成ＡＩへのシステム入力情報の少なくとも一方を取得し、前記履歴情報記録部は、前記ＡＩ出力情報及び前記フィードバック情報に加えて、前記入力者入力情報及び前記システム入力情報の少なくとも一方を前記履歴情報として前記記憶手段に記録し、前記報酬モデル学習部は、当該履歴情報に基づいて前記報酬モデルを学習させる、情報処理装置。
［３］［２］に記載の情報処理装置であって、前記入力情報取得部及び前記フィードバック情報取得部は、予め前記コンテンツ生成システムにＡＰＩを提供しておき、当該ＡＰＩを用いて、前記コンテンツ生成システムから、前記入力者入力情報及び前記システム入力情報の少なくとも一方と、前記フィードバック情報とをそれぞれ取得する、情報処理装置。
［４］［１］～［３］のいずれかに記載の情報処理装置であって、前記出力情報取得部は、予め前記コンテンツ生成システムにＡＰＩを提供しておき、当該ＡＰＩを用いて前記コンテンツ生成システムから前記ＡＩ出力情報を取得する、情報処理装置。
［５］［１］～［４］のいずれかに記載の情報処理装置であって、前記制御手段は、出力情報提示部をさらに備え、前記出力情報提示部は、前記出力情報検証部の検証結果に基づいて、前記システム出力情報とともに、又は前記システム出力情報に代えて、前記検証結果を前記入力者に提示する、情報処理装置。
［６］［１］～［５］のいずれかに記載の情報処理装置であって、前記報酬モデル学習部は、学習フェーズにおいて、前記ＡＩ出力情報と当該ＡＩ出力情報に対する評価とに基づいて前記報酬モデルを予め学習させ、前記出力情報検証部は、提供フェーズにおいて、前記報酬モデルを用いて前記ＡＩ出力情報を検証し、前記報酬モデル学習部は、前記提供フェーズにおいて、前記履歴情報に基づいて前記報酬モデルを更新する、情報処理装置。
［７］［６］に記載の情報処理装置であって、前記制御手段は、入力情報取得部をさらに備え、前記入力情報取得部は、前記学習フェーズにおいて、前記入力者から前記コンテンツ生成システムへの入力者入力情報及び前記コンテンツ生成システムから前記生成ＡＩへのシステム入力情報の少なくとも一方を取得し、前記報酬モデル学習部は、前記学習フェーズにおいて、前記入力者が入力する学習用データセットについての前記入力者入力情報及び前記システム入力情報の少なくとも一方と、これに対する前記ＡＩ出力情報と、当該ＡＩ出力情報に対する評価とに基づいて前記報酬モデルを学習させる、情報処理装置。
［８］［６］又は［７］に記載の情報処理装置であって、前記出力情報検証部は、前記提供フェーズにおいて、前記報酬モデルを用いた検証に加えて、前記ＡＩ出力情報の有害性、正確性及び感情の少なくとも１つをさらに検証する、情報処理装置。
［９］［２］又は［３］に記載の情報処理装置であって、前記制御手段は、入力情報検証部をさらに備え、前記入力情報検証部は、前記入力者入力情報の有害性及び感情の少なくとも１つを検証する、情報処理装置。
［１０］［１］～［９］のいずれかに記載の情報処理装置であって、前記報酬モデル学習部は、単一入力者ごと又は同じグループに所属する複数の入力者ごとに前記報酬モデルを学習させる、情報処理装置。
［１１］［１］～［１０］のいずれかに記載の情報処理装置であって、前記生成ＡＩは大規模言語モデルであり、前記コンテンツ生成システムは文章生成システムである、情報処理装置。
［１２］生成ＡＩを用いたコンテンツ生成システムを検証する情報処理方法であって、出力情報取得処理と、出力情報検証処理と、フィードバック情報取得処理と、履歴情報記録処理と、報酬モデル学習処理とを行い、前記出力情報取得処理では、前記コンテンツ生成システムへプロンプトを入力する入力者からの入力に対する前記生成ＡＩからのＡＩ出力情報を取得し、前記出力情報検証処理では、前記ＡＩ出力情報を検証し、前記フィードバック情報取得処理では、前記コンテンツ生成システムからのシステム出力情報に対する前記入力者からのフィードバック情報を取得し、前記履歴情報記録処理では、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として記憶手段に記録し、前記報酬モデル学習処理では、前記履歴情報に基づいて報酬モデルを学習させる、情報処理方法。
［１３］生成ＡＩを用いたコンテンツ生成システムを検証するプログラムであって、コンピュータに、出力情報取得処理と、出力情報検証処理と、フィードバック情報取得処理と、履歴情報記録処理と、報酬モデル学習処理とを実行させ、前記出力情報取得処理では、前記コンテンツ生成システムへプロンプトを入力する入力者からの入力に対する前記生成ＡＩからのＡＩ出力情報を取得し、前記出力情報検証処理では、前記ＡＩ出力情報を検証し、前記フィードバック情報取得処理では、前記コンテンツ生成システムからのシステム出力情報に対する前記入力者からのフィードバック情報を取得し、前記履歴情報記録処理では、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として記憶手段に記録し、前記報酬モデル学習処理では、前記履歴情報に基づいて報酬モデルを学習させる、プログラム。

【発明の効果】

【0007】

本発明によれば、生成ＡＩを用いたコンテンツ生成システムの信頼性を向上させることが可能となっている。

【図面の簡単な説明】

【0008】

【図1】本発明の第１実施形態に係る情報処理装置１００を含むシステムの全体構成を示す図である。

【図2】図２Ａは、図１の情報処理装置１００のハードウェア構成を示すブロック図であり、図２Ｂは、ユーザ端末４００のハードウェア構成を示すブロック図である。

【図3】図２Ａの情報処理装置１００の制御手段１の機能構成を示すブロック図である。

【図4】ユーザＵがコンテンツ生成システム２００を使用する際の、ユーザ端末４００、コンテンツ生成システム２００、生成ＡＩ３００及び情報処理装置１００の間で行われる処理を示すシーケンス図である。

【図5】図１のユーザ端末４００の表示手段４０５に表示される、コンテンツ生成システム２００の出力する比較画面例Ｄ１である。

【図6】図１のユーザ端末４００の表示手段４０５に表示される、コンテンツ生成システム２００の出力する画面例Ｄ２である。

【図7】図１のユーザ端末４００の表示手段４０５に表示される、コンテンツ生成システム２００の出力する比較画面例Ｄ３である。

【図8】図１のユーザ端末４００の表示手段４０５に表示される、情報処理装置１００の出力する画面例Ｄ４である。

【発明を実施するための形態】

【0009】

以下、本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴について独立して発明が成立する。

【0010】

１．第１実施形態
１．１ 情報処理装置１００を含むシステムの全体構成
図１は、本発明の一実施形態に係る情報処理装置１００及び、これを適用するコンテンツ生成システム２００、生成ＡＩ３００、さらにはコンテンツ生成システム２００を用いるユーザＵが使用するユーザ端末４００を含むシステムの全体構成を示す図である。ここで、本実施形態に係る情報処理装置１００が適用される生成ＡＩ３００は、ＬＬＭ（大規模言語モデル）であり、コンテンツ生成システム２００は、当該生成ＡＩ３００を用いてコンテンツとしての文章を生成する文章生成システムである。

【0011】

ＬＬＭは、より具体的には、大量のテキストデータから学習し、人間が書くようなテキストを生成するＡＩであり、例えば、文章の補完、質問への回答、エッセイの作成など、プロンプトとして入力した指示や質問に対して、レスポンスとして文章を返してくれるものである。

【0012】

また、コンテンツ生成システム２００は、より具体的には、ユーザ端末４００を介して入力者としてのユーザＵからユーザ入力情報（入力者入力情報）の入力を受け付け、当該入力者入力情報を適宜加工したうえでシステム入力情報として生成ＡＩ３００に送信し、生成ＡＩからＡＩ出力情報を取得して、これをシステム出力情報としてユーザＵに提供するものである。また、本実施形態の情報処理装置１００を適用するコンテンツ生成システム２００としては、例えば、コールセンター、営業部門、技術部門など、同じ業種等の組織ごとに作成又はカスタマイズされたものが挙げられる。カスタマイズのためには、回答マニュアルや業務マニュアル等、組織独自のデータが取り込まれ、ユーザ入力情報を加工してシステム入力情報とする際や、ＡＩ出力情報を加工してシステム出力情報にする際に用いられる。ただし、コンテンツ生成システム２００は、個人ごとにカスタマイズされても良い。

【0013】

そして、本実施形態の情報処理装置１００は、このようなコンテンツ生成システム２００が不適当な回答文を出力しないか、つまりコンテンツ生成システム２００の背後で動作する生成ＡＩ３００が不適当な回答文を出力しないかを検証するために用いられる装置である。以下、本実施形態の情報処理装置１００について具体的に説明する。なお、本実施形態において、これら情報処理装置１００、コンテンツ生成システム２００、生成ＡＩ３００及びユーザ端末４００はネットワークＮを介して接続される。

【0014】

１．２ 情報処理装置１００のハードウェア構成
図２Ａは、情報処理装置１００のハードウェア構成を示すブロック図である。図２Ａに示すように、情報処理装置１００は、具体的には、制御手段１と、記憶手段２と、通信手段３とを備える。

【0015】

制御手段１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の１以上のプロセッサで構成され、記憶手段２に記憶された所定のプログラムを実行することにより、情報処理装置１００全体の動作を制御する。なお、制御手段１は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等の他のプロセッサを含んでいてもよい。また、制御手段１の少なくとも一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路であっても良い。

【0016】

記憶手段２の一部は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成されており、制御手段１による各種プログラムに基づく処理の実行時のワークエリア等として用いられる。また、記憶手段２の一部は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性メモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）であり、各種データ及び制御手段１の処理に利用されるプログラム等を保存する。なお、記憶手段２の少なくとも一部は、外部クラウドや分散ストレージから構成されていても良い。

【0017】

記憶手段２に記憶されるプログラムは、例えば、情報処理装置１００の基本的な機能を実現するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）、各種ハードウェア制御するためのドライバ、各種機能を実現するためのプログラム等であって、本実施形態に係るコンピュータプログラムを含む。

【0018】

また、本実施形態の記憶手段２には、図２Ａに示されるように、履歴情報ＨＳ及び報酬モデルＲＭも記憶されている。履歴情報ＨＳは、システム入力情報と、ＡＩ出力情報と、システム出力情報に対するユーザＵのフィードバックであるフィードバック情報とを含む情報である。また、報酬モデルＲＭは、生成ＡＩ３００の出力（回答）を評価するためのモデルであり、本実施形態では、上記履歴情報ＨＳに基づいて学習される。履歴情報ＨＳ及び報酬モデルＲＭの詳細については、後述する。

【0019】

通信手段３は、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃｏｎｔｒｏｌｌｅｒ）であり、ネットワークＮに接続する機能を有する。なお、通信手段３は、ＮＩＣに代えて又はＮＩＣと共に、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、無線ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）に接続する機能、例えばＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離の無線通信、及び赤外線通信等を可能とする機能を有してもよい。情報処理装置１００は、ネットワークＮを介してコンテンツ生成システム２００及びユーザ端末４００と接続され、各種データの送受信を行うことができる。

【0020】

これら制御手段１、記憶手段２及び通信手段３は、バス４を介して相互に電気的に接続されている。したがって、制御手段１は、記憶手段２へのアクセス及び通信手段３を介して、コンテンツ生成システム２００やユーザ端末４００等との通信等を行うことができる。

【0021】

なお、情報処理装置１００は、図２に示すような１つの装置によって構成される必要はなく、所謂クラウドや分散コンピューティングの技術等を用いた、複数の装置によって実現されてもよい。また、記憶手段２が記憶する各種データ（情報）も、図示のように１つのデータベースで構成される必要はなく、分散データベースによって構成されても良い。

【0022】

１．３ ユーザ端末４００のハードウェア構成
図２Ｂは、ユーザ端末４００のハードウェア構成を示すブロック図である。ユーザ端末４００は、コンテンツ生成システム２００を用いるユーザＵが用いる端末であり、例えば、パーソナルコンピュータ（ＰＣ）、スマートフォンやタブレット端末、車載端末等の情報処理端末とされる。図２Ｂに示すように、ユーザ端末４００は、具体的には、制御手段４０１と、記憶手段４０２と、通信手段４０３と、入力手段４０４と、表示手段４０５とを備える。これらの各構成は、バス４０６を介して相互に電気的に接続されている。

【0023】

制御手段４０１、記憶手段４０２及び通信手段４０３の一般的な構成は、上述した情報処理装置１００のものと同じであるため、その説明を省略する。

【0024】

入力手段４０４は、ユーザＵの入力を受け付ける装置であり、マウス、キーボード、タッチパネル、マイクロフォン等の各種入力手段で構成される。表示手段４０５は、液晶ディスプレイやタッチパネルディスプレイ等であり、ユーザＵに対し画像等を表示する。

【0025】

１．４ 情報処理装置１００の（制御手段１）の機能構成
図３に示すように、情報処理装置１００の制御手段１は、入力情報取得部１０と、出力情報取得部１１と、フィードバック情報取得部１２と、履歴情報記録部１３と、報酬モデル学習部１４と、出力情報提示部１５と、入力情報検証部１６と、出力情報検証部１７とを備える。本実施形態の情報処理装置１００は、これらの機能構成により、コンテンツ生成システム２００（生成ＡＩ３００）が不適当な回答文を出力しないかを検証する。以下、各機能構成について説明する。

【0026】

なお、本実施形態において、情報処理装置１００による検証機能は、ＡＰＩを介してコンテンツ生成システム２００と情報をやり取りすることで提供される。また、図１及び以下の説明において、「ユーザ入力情報」「システム入力情報」「ＡＩ出力情報」「システム出力情報」「フィードバック情報」はそれぞれ、文脈に応じて、ユーザＵが入力し又はユーザＵに提示される自然言語そのものを指すこともあり、送受信あるいは記憶手段２に記録するために電子化（符号化）されたものを指すこともある。さらには、これらの情報は、暗号化されていることも好適である。

【0027】

入力情報取得部１０は、入力情報取得処理（図４のステップＳ４参照）として、ＡＰＩ（Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）を用いて、コンテンツ生成システム２００から生成ＡＩ３００へのシステム入力情報を取得する。具体的には、入力情報取得部１０は、予めコンテンツ生成システム２００にＡＰＩを提供しておき、コンテンツ生成システム２００が生成ＡＩ３００へシステム入力情報を送信すると、同時に又はその前後のタイミングでコンテンツ生成システム２００に情報処理装置１００への当該システム入力情報の送信も実行させる。

【0028】

出力情報取得部１１は、出力情報取得処理（図４のステップＳ１０参照）として、ＡＰＩを用いて、生成ＡＩ３００からコンテンツ生成システム２００へのＡＩ出力情報を取得する。具体的には、出力情報取得部１１は、予めコンテンツ生成システム２００にＡＰＩを提供しておき、コンテンツ生成システム２００が生成ＡＩ３００からＡＩ出力情報を取得すると、同時に又はその後のタイミングでコンテンツ生成システム２００に情報処理装置１００への当該ＡＩ出力情報の送信を実行させる。

【0029】

フィードバック情報取得部１２は、フィードバック情報取得処理（図４のステップＳ１８参照）として、ＡＰＩを用いて、システム出力情報に対するユーザＵからのフィードバック情報を取得する。具体的には、フィードバック情報取得部１２は、予めコンテンツ生成システム２００にＡＰＩを提供しておき、コンテンツ生成システム２００がユーザ端末４００からフィードバック情報を取得すると、同時に又はその後のタイミングでコンテンツ生成システム２００に情報処理装置１００への当該フィードバック情報の送信を実行させる。なお、フィードバック情報とは、コンテンツ生成システム２００がユーザ端末４００の表示手段４０５を介してユーザＵに提示したシステム出力情報、言い換えると、ユーザＵが入力したプロンプトに対するレスポンスについてのユーザＵによる評価の情報である。本実施形態において、フィードバック情報は、具体的には例えば、「良い／悪い」の２段階の評価（無回答を含めると３段階の評価）の情報とされる。ただし、それ以上の多段階の評価（例えば、０点～１００点といった数値での評価）であっても良く、文章による評価であっても良い。

【0030】

履歴情報記録部１３は、履歴情報記録処理（図４のステップＳ５，Ｓ１１及びＳ１９参照）として、入力情報取得部１０が取得したシステム入力情報、出力情報取得部１１が取得したＡＩ出力情報及び、フィードバック情報取得部１２が取得したフィードバック情報を、履歴情報ＨＳとして記憶手段２に記録する。より具体的には、履歴情報記録部１３は、ユーザＵがプロンプトを入力してレスポンスを得、当該レスポンスに対するフィードバックをする一連の流れにおいて取得したシステム入力情報、ＡＩ出力情報及びフィードバック情報を関連付けて、履歴情報ＨＳとして記録する。

【0031】

報酬モデル学習部１４は、報酬モデル学習処理（図４のステップＳ２０参照）として、履歴情報記録部１３が記録した履歴情報ＨＳに基づいて報酬モデルＲＭを学習させる。本実施形態において、報酬モデルＲＭの学習には、学習フェーズにおける事前学習と提供フェーズにおける更新が含まれる。ここで、学習フェーズにおける事前学習は、主にユーザＵがコンテンツ生成システム２００を使用する前の報酬モデルＲＭの学習であり、提供フェーズにおける更新は、ユーザＵが実際にコンテンツ生成システム２００を使用するなかでの報酬モデルＲＭの更新である。

【0032】

学習フェーズにおける事前学習は、具体的には、コンテンツ生成システム２００の開発者やコンテンツ生成システム２００を運用する運用者、コンテンツ生成システム２００のβ版ユーザ、さらには本実施形態に係る情報処理装置１００の提供者など、ユーザＵとは別の入力者に学習用データセットとして多数のプロンプト（最低でも数百件のプロンプト）を入力させ、当該入力者からプロンプト（つまりシステム入力情報）ごとにＡＩ出力情報及びシステム出力情報に対する評価（フィードバック情報）を得ることで実施される。ここで、フィードバックをもらう入力者は１人であってもよく、２人以上であっても良い。ただし、１つの報酬モデルＲＭは、単一入力者ごと又は同じ目的でコンテンツ生成システム２００を使用する組織（グループ）に所属する複数の入力者ごとに作成され、学習される。また、人間ではなく、他の生成ＡＩに評価をさせることで報酬モデルＲＭを学習させるようなことも考えられる。

【0033】

一方、提供フェーズにおける更新は、具体的には、ユーザＵがコンテンツ生成システム２００を使用して履歴情報ＨＳが追加されるごと、つまり、ユーザＵがプロンプトを入力してレスポンスを得、当該レスポンスに対するフィードバックをする一連の流れごと、あるいは履歴情報ＨＳが所定量蓄積されるごと（例えば、１００回のフィードバックが得られるごと）に実行される。

【0034】

出力情報提示部１５は、出力情報検証部１７の検証結果に基づいて、出力情報提示処理として、ユーザ端末４００の表示手段４０５を介し、システム出力情報とともに、又はシステム出力情報に代えて、出力情報検証部１７による検証結果をユーザＵに提示する（図６の警告文Ｗを参照）。ここで、「システム出力情報に代えて」というのは、出力情報検証部１７の検証結果が好ましくなくユーザＵにシステム出力情報を提示するべきではないと判断した場合には、当該システム出力情報は表示手段４０５に表示させないということである。なお、具体的な検証結果の提示の方法については、後述する。また、出力情報提示部１５は、履歴情報ＨＳに基づき、コンテンツ生成システム２００の入出力の統計情報を提示する（図８参照）。

【0035】

入力情報検証部１６は、入力情報検証処理（図４のステップＳ６参照）として、入力情報取得部１０が取得したユーザ入力情報を検証する。本実施形態の入力情報検証部１６は、具体的には、図３に示すように、入力有害性フィルタ１６ａと入力感情フィルタ１６ｂとを備え、ユーザ入力情報の有害性及び感情を検証するよう構成される。ここで、「ユーザ入力情報の有害性」とは、ユーザ入力の中に差別や偏見など不適切な用語や表現が含まれる状態のことであり、「ユーザ入力情報の感情」とは、ユーザ入力から推測されるポジティブな感情表現あるいはネガティブな感情表現のことである。なお、入力情報検証部１６は、入力有害性フィルタ１６ａと入力感情フィルタ１６ｂのいずれかのみを備えていても良い。また、入力情報検証部１６は、これら以外のフィルタを追加で備えていても良い。

【0036】

出力情報検証部１７は、出力情報検証処理（図４のステップＳ１３参照）として、出力情報取得部１１が取得したＡＩ出力情報を検証する。本実施形態の出力情報検証部１７は、具体的には、図３に示すように、出力有害性フィルタ１７ａと、出力感情フィルタ１７ｂと、ファクトチェックフィルタ１７ｃと、報酬モデルフィルタ１７ｄとを備える。出力有害性フィルタ１７ａは、ＡＩ出力情報の有害性を検証し、出力感情フィルタ１７ｂは、ＡＩ出力情報の感情を検証する。ここで、「ＡＩ出力情報の有害性」とは、ＡＩ出力の中に差別や偏見など不適切な用語や表現が含まれる状態のことであり、「ＡＩ出力情報の感情」とは、ＡＩ出力から推測されるポジティブな感情表現あるいはネガティブな感情表現のことである。また、ファクトチェックフィルタ１７ｃは、ＡＩ出力情報の内容が事実に沿ったものであるか（正確性）を検証するものであり、事実との一致度合いが出力される。加えて、報酬モデルフィルタ１７ｄは、報酬モデルＲＭを用いてＡＩ出力情報を検証する。報酬モデルフィルタ１７ｄは、具体的には、システム入力情報に対してコンテンツ生成システム２００が出力するシステム出力情報（基本的に生成ＡＩ３００が出力するＡＩ出力情報と同じもの）を評価（例えば、０点～１点での数値評価）する。ただし、報酬モデルフィルタ１７ｄによるシステム出力情報の評価は、例えば、Ａ，Ｂ，Ｃなどのクラス分けとすることもできる。報酬モデルフィルタ１７ｄによるＡＩ出力情報の検証については、後述する。なお、出力情報検証部１７は、出力感情フィルタ１７ｂ、ファクトチェックフィルタ１７ｃ及び報酬モデルフィルタ１７ｄの少なくとも１つを備えていなくても良い。また、出力情報検証部１７は、これら以外のフィルタを追加で備えていても良い。

【0037】

なお、上述した各機能構成及び処理は、情報処理装置１００に適宜インストールされるソフトウェア（いわゆるアプリを含む）によって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、制御手段１がソフトウェアを構成するプログラムを実行することによって各種機能を実現することができる。また、単一のソフトウェアではなく、複数のソフトウェアによって実現されていても良い。

【0038】

プログラムを実行することで実現される場合、当該プログラムは、情報処理装置１００が内蔵する記憶手段２に格納してもよく、コンピュータが読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶装置に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。もしくは、ハードウェアによって実現する場合、ＡＳＩＣ、ＳＯＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。また、上述した機能構成のうちの少なくとも一部の機能構成を、ソフトウェア又はハードウェアによって、入力を受け付けるユーザ端末４００等で処理されるようにしてもよい。

【0039】

また、上述した機能構成は、複数のコンピュータによって実現してもよく、その場合、上述した各機能構成は、複数のコンピュータに分散して配置してもよい。

【0040】

１．５ 情報処理装置１００による情報処理方法
次に、図４のシーケンス図及び図５～図８の画面例Ｄ１～Ｄ４を用いて、本実施形態の情報処理装置１００がコンテンツ生成システム２００の出力（生成ＡＩ３００の出力）を検証する情報処理方法を説明する。なお、図４のシーケンス図には、情報処理装置１００の処理だけでなく、ユーザ端末４００、コンテンツ生成システム２００及び生成ＡＩ３００の処理も含まれている。また、上述したように、本実施形態の情報処理装置１００による検証は、ＡＰＩを介してコンテンツ生成システム２００との間で必要な情報を送受信することで実現される。

【0041】

本実施形態の情報処理方法は、具体的には、まず、ステップＳ１において、ユーザ端末４００が入力手段４０４を介してユーザＵからコンテンツ生成システム２００への入力、すなわちプロンプトを受け付ける。次に、ステップＳ２において、ユーザ端末４００は、受け付けたユーザ入力情報をコンテンツ生成システム２００に送信する。次に、コンテンツ生成システム２００は、ステップＳ３において、必要に応じてユーザ入力情報を加工する。ここで、コンテンツ生成システム２００によるユーザ入力情報の加工には、例えば、ユーザＵが入力したプロンプトに、ＲＡＧ（Ｒｅｔｒｉｅｖａｌ Ａｕｇｍｅｎｔｅｄ Ｇｅｎｅｒａｔｉｏｎ）の仕組みを使って補足情報を付加する等が考えられる。

【0042】

次に、ステップＳ４において、コンテンツ生成システム２００は、当該加工したユーザ入力情報をシステム入力情報として情報処理装置１００に送信し、情報処理装置１００の制御手段１の入力情報取得部１０は、当該システム入力情報を取得する。

【0043】

次に、制御手段１の履歴情報記録部１３は、ステップＳ５において、入力情報取得部１０の取得した履歴情報ＨＳとして記憶手段２に記録する。また、制御手段１の入力情報検証部１６は、ステップＳ６において、システム入力情報を検証し、ステップＳ７において、システム入力情報の検証結果をコンテンツ生成システム２００に送信する。なお、情報処理装置１００による検証結果をどのように活用するかは、コンテンツ生成システム２００側で自由に設定できる。例えば、入力に有害な言葉や文が含まれた場合に、ユーザＵに警告することや、当該ユーザＵからの入力の生成ＡＩ３００への送信をブロックするなどが想定される。

【0044】

次に、コンテンツ生成システム２００は、ステップＳ８において、システム入力情報の検証結果が当該システム入力情報を生成ＡＩ３００に送信するべきではないというものでない限り、当該システム入力情報を生成ＡＩ３００に送信する。生成ＡＩ３００は、ステップＳ９において、プロンプトとしてシステム入力情報を受け取り、レスポンスとしてＡＩ出力情報をコンテンツ生成システム２００に送信する。

【0045】

次に、ステップＳ１０において、コンテンツ生成システム２００は、生成ＡＩ３００から取得したＡＩ出力情報を情報処理装置１００に送信し、情報処理装置１００の制御手段１の出力情報取得部１１は、当該ＡＩ出力情報を取得する。

【0046】

次に、制御手段１の履歴情報記録部１３は、ステップＳ１１において、出力情報取得部１１の取得したＡＩ出力情報を履歴情報ＨＳとして記憶手段２に記録する。また、制御手段１の出力情報検証部１７は、ステップＳ１２において、ＡＩ出力情報を検証し、ステップＳ１３において、検証結果をコンテンツ生成システム２００に送信する。

【0047】

次に、コンテンツ生成システム２００は、ステップＳ１４において、情報処理装置１００から取得したＡＩ出力情報の検証結果に基づいてＡＩ出力情報を加工し、ユーザ端末４００に送信するシステム出力情報を生成する。生成されたシステム出力情報は、ステップＳ１５においてユーザ端末４００に送信され、表示手段４０５に表示される。

【0048】

なお、図５は、ユーザＵがコンテンツ生成システム２００のプロンプト入力欄Ａ１に「日本で最も小さい都道府県はどこですか？」と質問し、レスポンス欄Ａ２に「最も小さい都道府県は北海道です。」と回答が表示された比較画面例Ｄ１である。ここで、最も小さい都道府県は実際には北海道ではないので、この回答は適切ではない回答と言える。生成ＡＩ３００がＡＩ出力情報としてこのような回答を出力した場合、情報処理装置１００の出力情報検証部１７は、例えば当該ＡＩ出力情報をハルシネーション（つまり、もっともらしい誤情報）の可能性がある出力であると判断し、出力情報提示部１５は、当該検証結果をコンテンツ生成システム２００に送信する。これにより、コンテンツ生成システム２００は、図６の画面例Ｄ２に示すように、ＡＩ出力情報を加工し、ハルシネーションの可能性のある出力である旨の注意喚起の警告文Ｗを追加したシステム出力情報を生成することが可能となる。

【0049】

また、図７は、図５のような生成ＡＩ３００の誤った回答に対してユーザＵがプロンプト入力欄Ａ１にて誤りを指摘した結果、生成ＡＩ３００がＡＩ出力情報としてユーザＵに対して有害な回答（悪口）をした例を示す比較画面例Ｄ３である。生成ＡＩ３００がＡＩ出力情報としてこのような回答を出力した場合、情報処理装置１００の出力情報検証部１７は、例えば当該ＡＩ出力情報をユーザＵに提示するべきではない出力であると判断し、当該検証結果をコンテンツ生成システム２００に送信する。これにより、コンテンツ生成システム２００は、ユーザＵに対して有害な回答を提示することを回避することが可能となる。この場合、コンテンツ生成システム２００は、ＡＩ出力情報に代えて、例えば、問題のある出力であったため出力内容を表示することはできない旨のシステム出力情報を生成することができる。

【0050】

次に、ステップＳ１６において、ユーザ端末４００は、入力手段４０４を介してユーザＵからシステム出力情報に対するフィードバック（例えば、良い／悪いの２段階評価）を受け付ける。そして、ステップＳ１７において、ユーザ端末４００は、受け付けたフィードバック情報をコンテンツ生成システム２００に送信する。コンテンツ生成システム２００は、ステップＳ１８において当該フィードバック情報を情報処理装置１００に送信し、制御手段１のフィードバック情報取得部１２は、当該フィードバック情報を取得する。

【0051】

次に、制御手段１の履歴情報記録部１３は、ステップＳ１９において、フィードバック情報取得部１２の取得したフィードバック情報を履歴情報ＨＳとして記憶手段２に記録する。なお、履歴情報記録部１３は、ステップＳ５におけるシステム入力情報、ステップＳ１１におけるＡＩ出力情報及びこのステップＳ１９におけるフィードバック情報を関連付けて記録するようになっている。

【0052】

最後に、ステップＳ２０において、制御手段１の報酬モデル学習部１４は、記録された履歴情報ＨＳに基づいて、報酬モデルＲＭを更新する。

【0053】

以上のようなステップＳ１～Ｓ２０の一連のステップにより、本実施形態の情報処理方法では、ユーザＵがコンテンツ生成システム２００を使用してフィードバックを提供する度に、あるいは履歴情報ＨＳが所定量蓄積された度に、報酬モデルＲＭが更新されるようになっている。

【0054】

なお、情報処理装置１００の出力情報提示部１５は、図８に示すように、記録された履歴情報ＨＳに基づいて、コンテンツ生成システム２００の入出力の最新の統計情報をＷｅｂページや電子メール等でユーザＵに提示することも可能である。図８に示す画面例Ｄ４では、ＡＩ出力情報の有害性（テキストの有害性）についての統計データが示されている。

【0055】

１．６ 作用効果
（１）本実施形態に係る情報処理装置１００によれば、出力情報取得部１１が生成ＡＩ３００からのＡＩ出力情報を取得し、出力情報検証部１７が報酬モデルＲＭに基づいてＡＩ出力情報を検証するようになっている。そして、フィードバック情報取得部１２が、コンテンツ生成システム２００を介してユーザＵからのシステム出力情報に対するフィードバック情報を取得し、履歴情報記録部１３がＡＩ出力情報とともにフィードバック情報を履歴情報ＨＳとして記録し、報酬モデル学習部１４が当該履歴情報ＨＳに基づいて報酬モデルＲＭを学習・更新するようになっている。本実施形態に係る情報処理装置１００は、このような構成となっていることから、フィードバック情報により日々更新される報酬モデルＲＭに基づいて出力情報検証部１７によるコンテンツ生成システム２００（システム出力情報）の検証を行うことができ、日々変化する社会の中でのコンテンツ生成システム２００の信頼性を向上させることが可能となっている。

【0056】

（２）本実施形態に係る情報処理装置１００は、入力情報取得部１０がシステム入力情報を取得し、ＡＩ出力情報及びフィードバック情報とともに履歴情報ＨＳとして記録して、報酬モデル学習部１４が当該履歴情報ＨＳに基づいて報酬モデルＲＭを学習・更新するようになっている。このように、報酬モデルＲＭの学習及び更新にシステム入力情報も用いることで、報酬モデルＲＭの学習・更新の精度を向上させることが可能となっている。

【0057】

（３）本実施形態に係る情報処理装置１００は、入力情報取得部１０、出力情報取得部１１及びフィードバック情報取得部１２がそれぞれＡＰＩを介してコンテンツ生成システム２００から対応する情報を取得するよう構成されている。これにより、生成ＡＩ３００やユーザ端末４００から直接情報を取得できない場合でも、出力情報検証部１７によるコンテンツ生成システム２００の検証及び報酬モデルＲＭを学習・更新を行うことが可能となっている。なお、ＡＰＩの設計によりコンテンツ生成システム２００が情報処理装置１００に各情報を提供する際に、当該情報を暗号化（ベクトル化）するようにすることも好適である。これにより、コンテンツ生成システム２００の開発者や運用者、各ユーザＵは、安心して情報処理装置１００を利用することが可能である。

【0058】

（４）本実施形態に係る情報処理装置１００は、出力情報提示部１５が、コンテンツ生成システム２００によるシステム出力情報とともに、又はシステム出力情報に代えて、出力情報検証部１７による検証結果をユーザＵが用いるユーザ端末４００の表示手段４０５に表示するようになっている。これにより、コンテンツ生成システム２００のユーザＵは、コンテンツ生成システム２００によるレスポンス（あるいは、生成ＡＩによるレスポンス）が信頼できるものであるかを判断することができる。

【0059】

（５）本実施形態に係る情報処理装置１００は、報酬モデル学習部１４が学習フェーズにおいて学習用データセットにより報酬モデルＲＭを予め学習させ、その後の提供フェーズにおいて、出力情報検証部１７が学習させた報酬モデルＲＭを用いて前記ＡＩ出力情報を検証するよう構成されている。これにより、情報処理装置１００を適用したコンテンツ生成システム２００のユーザＵへの提供の当初から、ユーザＵ向けにカスタマイズされた検証結果を出力することが可能となっている。

【0060】

（６）本実施形態に係る情報処理装置１００において、制御手段１は、出力情報検証部１７が報酬モデルフィルタ１７ｄに加えて出力有害性フィルタ１７ａ、出力感情フィルタ１７ｂ及びファクトチェックフィルタ１７ｃも備えている。これにより、ユーザＵのフィードバックに基づいてチューニングされる報酬モデルフィルタ１７ｄによる検証に限らない、総合的な検証を行うことが可能となっている。

【0061】

（７）さらに、本実施形態の制御手段１は、入力有害性フィルタ１６ａと入力感情フィルタ１６ｂとを備えた入力情報検証部１６も備えており、適切ではないユーザ入力情報及びこれに基づいたＡＩ出力情報（システム出力情報）と、これに対するフィードバック情報とにより、報酬モデルＲＭが適切でない学習をしてしまうことを回避することが可能となっている。加えて、適切ではない入力からコンテンツ生成システム２００を保護することも可能となっている。

【0062】

（８）本実施形態において、報酬モデル学習部１４は、単一ユーザＵごと又は同じ目的でコンテンツ生成システム２００を使用するグループに所属する複数のユーザＵ（入力者）ごとに報酬モデルＲＭを作成し、事前学習及び更新するようになっている。これにより、報酬モデルＲＭは単一ユーザあるいはグループの目的に沿うよう生成・更新されるため、検証結果が微調整され、すべてのユーザＵが同じ報酬モデル（汎用の報酬モデル）を用いる場合と比較して、使用するユーザＵに精度の高い検証結果を提供することが可能となっている。

【0063】

（９）本実施形態において、情報処理装置１００を適用するコンテンツ生成システム２００は文章生成システムであり、生成ＡＩ３００はＬＬＭ（大規模言語モデル）である。ここで、ＬＬＭやこれを用いた文章生成システムによる不適切なレスポンス（回答）は、不適切性が取り上げられやすいため、近年特に問題となっている。そして、外部のＬＬＭサービスを用いるコンテンツ生成システム２００の開発者や運用者等は、不適切なレスポンスが報告されると、ＬＬＭサービス側で対応がなされるまでシステムの提供中止を余儀なくされたり、システム側での問題に対する対応に追われたりするおそれがあった。この点、本実施形態に係る情報処理装置１００によれば、コンテンツ生成システム２００でも生成ＡＩ３００でもない第３者の立場でコンテンツ生成システム２００及び生成ＡＩ３００の出力を検証するとともに、報酬モデルＲＭを日々更新するようになっている。これにより、コンテンツ生成システム２００開発者や運用者等が自ら不適切なレスポンスに対応しなくても、安心してシステムを提供することが可能となっている。

【0064】

３．変形例
なお、本発明は、以下の態様でも実施可能である。

【0065】

上記実施形態において、情報処理装置１００は、生成ＡＩ３００を用いたコンテンツ生成システム２００として、ＬＬＭ（大規模言語モデル）を用いた文章生成システムを検証するよう構成されていた。しかしながら、本発明の情報処理装置１００は、画像を生成するＡＩを用いた画像生成システムや動画を生成するＡＩを用いた動画生成システム、さらには、音楽を生成するＡＩを用いた音楽生成システムを検証するものであっても良い。

【0066】

上記実施形態において、情報処理装置１００は、履歴情報記録部１３が履歴情報ＨＳとして、出力情報取得部１１の取得したＡＩ出力情報に加えて入力情報取得部１０の取得したユーザ入力情報も、フィードバック情報取得部１２の取得したフィードバック情報とともに記録し、当該履歴情報ＨＳに基づいて報酬モデル学習部１４が報酬モデルＲＭを学習及び更新するよう構成されていた。しかしながら、履歴情報記録部１３がＡＩ出力情報とフィードバック情報に基づいて、すなわち、ユーザ入力情報には基づかずに報酬モデルＲＭを学習及び更新するようにしても良い。

【0067】

本実施形態の入力情報取得部１０は、コンテンツ生成システム２００が生成ＡＩ３００に送信する加工済みのプロンプトをＡＩ入力情報として取得するよう構成されていた。しかしながら、入力情報取得部１０は、これに代えて、ユーザ端末４００がコンテンツ生成システム２００に送信する生のプロンプト（ユーザＵが入力したプロンプトそのもの）をＡＩ入力情報として取得しても良い。この場合、報酬モデルＲＭは、ＡＩ出力情報及びフィードバック情報に加えて、当該情報に基づいて学習、更新される。

【0068】

上記実施形態において、入力情報取得部１０、出力情報取得部１１及びフィードバック情報取得部１２は、それぞれＡＰＩを介してコンテンツ生成システム２００から対応する情報を取得するよう構成されていた。しかしながら、本発明に係る入力情報取得部１０、出力情報取得部１１及びフィードバック情報取得部１２の情報の取得方法はこれに限定されない。例えば、入力情報取得部１０とフィードバック情報取得部１２の少なくとも一方が、ユーザ端末４００からネットワークＮを介して直接対応する情報を取得しても良い。例えば、Ｗｅｂブラウザを介して取得することや、ウィルスソフトのような端末に常駐するアプリケーションを用いて取得することが考えられる。また、出力情報取得部１１が生成ＡＩ３００から直接回答を取得しても良い。さらに、情報処理装置１００が直接コンテンツ生成システム２００から入力を受け付け、当該入力を生成ＡＩ３００にプロンプトとして送信するとともに、生成ＡＩ３００からのレスポンスを情報処理装置１００が直接受け付け、当該レスポンスをコンテンツ生成システム２００に送信することも可能である。この場合、情報処理装置１００は、コンテンツ生成システム２００と生成ＡＩ３００の間に配置される、コンテンツ生成システム２００あるいは生成ＡＩ３００に対してのいわばファイアウォールとして機能する。

【0069】

上記実施形態では、情報処理装置１００の出力情報取得部１１がＡＩ出力情報を取得し、ＡＩ出力情報をユーザ入力情報及びフィードバック情報とともに履歴情報ＨＳとして記録して報酬モデルＲＭの学習に用いていた。しかしながら、出力情報取得部１１がＡＩ出力情報に代えてシステム出力情報を取得して、履歴情報ＨＳとして記録して報酬モデルＲＭの学習に用いることも可能である。ただし、システム出力情報に情報処理装置１００の出力情報提示部１５が送信した検証結果がすでに含まれている場合、これを出力情報検証部１７が再度検証するとループが発生してしまうため、システム出力情報から生成ＡＩ３００の出力のみを抽出して検証等を実行することが必要である。

【0070】

上記実施形態では、出力情報提示部１５は、出力情報検証部１７による検証結果をコンテンツ生成システム２００に送信し、コンテンツ生成システム２００のシステム上でＡＩ出力情報を加工して警告文Ｗを表示させる構成であった（図６参照）。しかしながら、出力情報検証部１７による検証結果は、コンテンツ生成システム２００とは別に、例えばＷｅｂブラウザやポップアップ、プッシュ通知等により表示させることも可能である。また、コンテンツ生成システム２００のシステム上に表示させ、さらに、Ｗｅｂブラウザ等で別途統計データとともに確認できるようにすることも好適である。

【0071】

上記実施形態の報酬モデル学習部１４は、情報処理装置１００をコンテンツ生成システム２００に適用した後、当該コンテンツ生成システム２００がユーザＵに提供される前に報酬モデルＲＭを事前学習させていた。しかしながら、本発明に係る情報処理装置１００は、報酬モデルＲＭを事前学習させずにユーザＵに提供することも可能である。この場合、ユーザＵからのフィードバックのみにより報酬モデルＲＭが学習されることになる。

【0072】

上記実施形態において、情報処理装置１００は、入力情報取得部１０によるシステム入力情報の取得と出力情報取得部１１によるＡＩ出力情報の取得とを異なるタイミング（ステップＳ４／ステップＳ１０）で実行していた。しかしながら、システム入力情報の取得とＡＩ出力情報の取得とを同時に行うことも可能である。この場合、その後のシステム入力情報及びＡＩ出力情報の履歴情報ＨＳとしての記録及び検証も、同時に実行することができる。

【0073】

上記実施形態では、システム出力情報のうち、生成ＡＩ３００による回答（ＡＩ出力情報）に対してユーザＵからフィードバックをもらうことが想定されていたが、これとは別に、出力情報提示部１５が提提示した出力情報検証部１７による検証結果に対してもフィードバックをもらうようにしても良い。

【0074】

上記実施形態において、情報処理装置１００は、コンテンツ生成システム２００とネットワークＮを介して接続され、いわゆるウェブサービスとしてコンテンツ生成システム２００（生成ＡＩ３００）の検証を行うものであった。しかしながら、情報処理装置１００は、コンテンツ生成システム２００と同じローカルネットワーク上あるいは同じプライベートクラウド上にオンプレミスで構成されても良い。

【0075】

上記実施形態において、コンテンツ生成システム２００及び生成ＡＩ３００は、それぞれユーザ端末４００とネットワークＮを介して接続され、ユーザＵに各種機能を提供するものであった。しかしながら、これらコンテンツ生成システム２００及び生成ＡＩ３００はそれぞれ、ユーザ端末４００、具体的には、ＰＣ・携帯端末・自動車・医療機器などのローカルデバイス上に搭載された集積回路上で動くシステム、いわゆるエッジＡＩとして提供されるものであっても良い。この場合、情報処理装置１００も、少なくとも一部の機能要素をこれらと同じユーザ端末４００（ローカルデバイス）上にオンプレミスで配置することができる。また、生成ＡＩ３００がネットワークＮ上にあり、コンテンツ生成システム２００のみがユーザ端末４００上にある場合も、情報処理装置１００をコンテンツ生成システム２００と同じデバイス上にオンプレミスで設置することが可能である。

【符号の説明】

【0076】

１ ：制御手段
２ ：記憶手段
３ ：通信手段
４ ：バス
１０ ：入力情報取得部
１１ ：出力情報取得部
１２ ：フィードバック情報取得部
１３ ：履歴情報記録部
１４ ：報酬モデル学習部
１５ ：出力情報提示部
１６ ：入力情報検証部
１６ａ ：入力有害性フィルタ
１６ｂ ：入力感情フィルタ
１７ ：出力情報検証部
１７ａ ：出力有害性フィルタ
１７ｂ ：出力感情フィルタ
１７ｃ ：ファクトチェックフィルタ
１７ｄ ：報酬モデルフィルタ
１００ ：情報処理装置
２００ ：コンテンツ生成システム
３００ ：生成ＡＩ
４００ ：ユーザ端末
４０１ ：制御手段
４０２ ：記憶手段
４０３ ：通信手段
４０４ ：入力手段
４０５ ：表示手段
４０６ ：バス
Ａ１ ：プロンプト入力欄
Ａ２ ：レスポンス欄
ＨＳ ：履歴情報
Ｎ ：ネットワーク
ＲＭ ：報酬モデル
Ｕ ：ユーザ
Ｗ ：警告文

【要約】

【課題】生成ＡＩを用いたコンテンツ生成システムの信頼性を向上させるための情報処理装置を提供する。
【解決手段】本発明によれば、生成ＡＩを用いたコンテンツ生成システムを検証する情報処理装置であって、制御手段と、記憶手段とを備え、前記制御手段は、出力情報取得部と、出力情報検証部と、フィードバック情報取得部と、履歴情報記録部と、報酬モデル学習部と、を備え、前記出力情報取得部は、前記コンテンツ生成システムへプロンプトを入力する入力者からの入力に対する前記生成ＡＩからのＡＩ出力情報を取得し、前記出力情報検証部は、前記ＡＩ出力情報を検証し、前記フィードバック情報取得部は、前記コンテンツ生成システムからのシステム出力情報に対する前記入力者からのフィードバック情報を取得し、前記履歴情報記録部は、前記ＡＩ出力情報と前記フィードバック情報とを履歴情報として前記記憶手段に記録し、前記報酬モデル学習部は、前記履歴情報に基づいて報酬モデルを学習させる、情報処理装置が提供される。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】