特許 7601986 プロンプト入力支援システム、プロンプト入力支援方法及びプロンプト入力支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-09

(45)【発行日】2024-12-17

(54)【発明の名称】プロンプト入力支援システム、プロンプト入力支援方法及びプロンプト入力支援プログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241210BHJP

【ＦＩ】

G06N20/00

【請求項の数】 6

(21)【出願番号】P 2023178390

(22)【出願日】2023-10-16

【審査請求日】2023-10-16

(73)【特許権者】

【識別番号】592131906

【氏名又は名称】みずほリサーチ＆テクノロジーズ株式会社

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田 誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田 博宣

(72)【発明者】

【氏名】相澤 祐一

(72)【発明者】

【氏名】鋤田 大日

(72)【発明者】

【氏名】笠間 俊夫

【審査官】新井 則和

(56)【参考文献】

【文献】Higher performance and lower cost than any single LLM.，martian, [online]，2022年08月10日，[検索日 2024.07.31], Retrieved from the Internet : <url: https://withmartian.com/>

【文献】３つのLLMモデル（ChatGPT／Bard／LLaMA2）に同じプロンプトを試して比較してみました！，Vext, [online]，2023年07月26日，[検索日 2024.08.15], Retrieved from the Internet : <url: https://www.vext.co.jp/vextblog/230703-2/>

【文献】大規模自然言語モデル(LLM)をお試し利用できるツールを作ってみた，brainpad, [online]，2023年06月21日，[検索日 2024.08.15], Retrieved from the Internet : <url: https://www.brainpad.co.jp/doors/contents/01_tech_2023-06-21-153039/>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムであって、
前記制御部が、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補にノイズを加えて、複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択することを特徴とするプロンプト入力支援システム。

【請求項2】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムであって、
前記制御部が、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補に追加する参照データにノイズを加え、
前記ノイズを加えた参照データとともに、前記プロンプト候補を複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択することを特徴とするプロンプト入力支援システム。

【請求項3】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムを用いて、前記生成系ＡＩへのプロンプトの入力を支援するプロンプト入力支援方法であって、
前記制御部が、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補にノイズを加えて、複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択することを特徴とするプロンプト入力支援方法。

【請求項4】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムを用いて、前記生成系ＡＩへのプロンプトの入力を支援するプロンプト入力支援方法であって、
前記制御部が、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補に追加する参照データにノイズを加え、
前記ノイズを加えた参照データとともに、前記プロンプト候補を複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択することを特徴とするプロンプト入力支援方法。

【請求項5】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムを用いて、前記生成系ＡＩへのプロンプトの入力を支援するプロンプト入力支援プログラムであって、
前記制御部を、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補にノイズを加えて、複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択する手段として機能させるためのプロンプト入力支援プログラム。

【請求項6】

複数の生成系ＡＩに接続される制御部を備えたプロンプト入力支援システムを用いて、前記生成系ＡＩへのプロンプトの入力を支援するプロンプト入力支援プログラムであって、
前記制御部を、
プロンプト候補毎に特徴量を算出し、
前記プロンプト候補に追加する参照データにノイズを加え、
前記ノイズを加えた参照データとともに、前記プロンプト候補を複数の生成系ＡＩに入力したレスポンスを取得し、
前記特徴量に関連付けて、前記レスポンスにおける前記ノイズの影響に応じた評価結果を取得し、
新規プロンプトを取得した場合、前記評価結果に基づいて、前記レスポンスを取得する生成系ＡＩを選択する手段として機能させるためのプロンプト入力支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、生成系ＡＩを利用するためのプロンプト入力支援システム、プロンプト入力支援方法及びプロンプト入力支援プログラムに関する。

【背景技術】

【0002】

今日、各種分野で、生成系ＡＩが利用されつつある（例えば、非特許文献１。）。この生成系ＡＩは、指示を与えたり、質問をしたりするために使用されるテキストであるプロンプトに応答することにより、レスポンスとしてテキスト、画像、その他のメディアを生成する。この生成系ＡＩモデルは、テキストデータの膨大なデータセットでトレーニングされた機械学習モデルである大規模言語モデルを用いる。そして、入力された訓練データの規則性や構造を学習し、入力されたプロンプトに対して、同様の特性を持つ新しいデータを生成する。

【先行技術文献】

【非特許文献】

【0003】

【文献】みずほリサーチ＆テクノロジーズ株式会社、“ＧＰＴTM活用支援サービス「ATHEUS for Generative AI」”，［online］，２０２３年５月１日，みずほリサーチ＆テクノロジーズ株式会社、［令和５年８月１１日検索］，インターネット＜URL：https://www.mizuho-rt.co.jp/ai_powerhouse/technology/technology/technology-03/gptatheus-for-generative-ai.html＞

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、大規模言語モデルは、学習に用いたデータセットや、学習方法によって異なる。更に、同じ意味のプロンプトであっても、表記が変動すれば、異なるレスポンスを生成することがある。レスポンスがプロンプトの表記変動の影響を受ける場合、的確なレスポンスを取得できないことがある。

【課題を解決するための手段】

【0005】

上記課題を解決するプロンプト入力支援システムは、複数の生成系ＡＩに接続される制御部を備える。そして、前記制御部が、プロンプト候補毎に特徴量を算出し、前記プロンプト候補を複数の生成系ＡＩに入力したレスポンスを取得し、前記特徴量に関連付けて、前記レスポンスの評価結果を取得し、新規プロンプトを取得した場合、前記評価結果に基づいて、レスポンスを取得する生成系ＡＩを選択する。

【発明の効果】

【0006】

本発明によれば、ノイズの影響を受けにくいレスポンスを得ることができる。

【図面の簡単な説明】

【0007】

【図1】実施形態のプロンプト入力支援システムの説明図。

【図2】実施形態のハードウェア構成の説明図。

【図3】実施形態の処理手順の説明図。

【図4】実施形態の処理手順の説明図。

【発明を実施するための形態】

【0008】

図１～図４に従って、プロンプト入力支援システム、プロンプト入力支援方法及びプロンプト入力支援プログラムを具体化した一実施形態を説明する。本実施形態では、生成系ＡＩのロバスト性を評価する場合を想定する。
図１に示すように、本実施形態のプロンプト入力支援システムは、ネットワークで相互に接続されたユーザ端末１０、支援サーバ２０、複数のＡＩシステム３０を用いる。

【0009】

（ハードウェア構成例）
図２は、ユーザ端末１０、支援サーバ２０、ＡＩシステム３０等として機能する情報処理装置Ｈ１０のハードウェア構成例である。

【0010】

情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を有する。なお、このハードウェア構成は一例であり、他のハードウェアを有していてもよい。

【0011】

通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。

【0012】

入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイやタッチパネル等である。

【0013】

記憶装置Ｈ１４は、ユーザ端末１０、支援サーバ２０、ＡＩシステム３０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。

【0014】

プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて、ユーザ端末１０、支援サーバ２０、ＡＩシステム３０における各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各種処理に対応する各種プロセスを実行する。例えば、プロセッサＨ１５は、ユーザ端末１０、支援サーバ２０、ＡＩシステム３０のアプリケーションプログラムが起動された場合、後述する各処理を実行するプロセスを動作させる。

【0015】

プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行なうものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行なう専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、例えば、以下で構成し得る。

【0016】

〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路
〔３〕それらの組み合わせ、を含む回路（circuitry）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。

【0017】

（各情報処理装置の機能）
図１を用いて、ユーザ端末１０、支援サーバ２０、ＡＩシステム３０の機能を説明する。

【0018】

ユーザ端末１０は、本システムを利用するユーザが用いるコンピュータ端末である。
支援サーバ２０は、生成系ＡＩのロバスト性を評価するためのコンピュータシステムである。この支援サーバ２０は、制御部２１、基本情報記憶部２２、評価情報記憶部２３を備えている。

【0019】

制御部２１は、後述する処理（管理段階、評価段階、予測段階等を含む処理）を行なう。このためのプロンプト入力支援プログラムを実行することにより、制御部２１は、管理部２１１、評価部２１２、予測部２１３等として機能する。

【0020】

管理部２１１は、複数の生成系ＡＩを利用する処理を実行する。
評価部２１２は、生成系ＡＩのロバスト性を評価する処理を実行する。
予測部２１３は、プロンプトに対して、ロバスト性が高いベストプラクティス（ＡＩシステム３０）を用いて、レスポンスを生成する処理を実行する。

【0021】

基本情報記憶部２２には、ロバスト性を評価するための基本情報が記録されている。基本情報は、準備段階処理の前に登録される。この基本情報には、ロバスト性を評価するためのプロンプトや、プロンプトに付加する複数のノイズが記録される。

【0022】

プロンプトは、ＡＩシステム３０からレスポンスを取得するための質問である。
ノイズは、プロンプトの内容を変更するための情報である。ノイズとしては、例えば、文字列の追加や変更等を用いる。このノイズは、プロンプトの内容（目的）は変わらないが、表記を変動させるものである。例えば、ノイズとして、文章中の所定位置の単語を予測する穴埋めを目的とするプロンプトにおいて、所定位置にスペースを追加したり、マスク記号を配置したりするものである。また、ノイズには、自然発生的に生じた変動や、人為的に追加された変動を含む。

【0023】

評価情報記憶部２３には、レスポンスを取得するために用いるベストプラクティスが記録される。このベストプラクティスは、準備段階処理が行なわれ、各ＡＩシステム３０の評価結果を取得した場合に記録される。評価情報記憶部２３には、プロンプトの特徴量に対して、ベストプラクティスが記録される。

【0024】

プロンプトの特徴量は、プロンプトの内容を示すデータである。例えば、分散表現を用いることができる。
ベストプラクティスは、プロンプトの特徴量に応じて、安定したロバスト性を有するレスポンスを得られるＡＩシステム３０を特定するための情報（例えば、ＡＩ識別子、アドレス）が記録される。

【0025】

ＡＩシステム３０は、プロンプトに対してレスポンスを生成する生成系ＡＩである。ＡＩシステム３０は、生成系ＡＩの構造を決定する要素である計算モデルやパラメータに応じて、個別に構成される。

【0026】

（準備段階処理）
図３を用いて、準備段階処理を説明する。
まず、支援サーバ２０の制御部２１は、プロンプト毎に以下の処理を実行する。

【0027】

ここでは、支援サーバ２０の制御部２１は、プロンプトの取得処理を実行する（ステップＳ１１）。具体的には、制御部２１の管理部２１１は、基本情報記憶部２２から、評価に用いるプロンプト候補を取得する。そして、管理部２１１は、プロンプト候補の特徴量を算出する。

【0028】

次に、支援サーバ２０の制御部２１は、ノイズ毎に以下の処理を実行する。
ここでは、支援サーバ２０の制御部２１は、ノイズの取得処理を実行する（ステップＳ１２）。具体的には、制御部２１の管理部２１１は、基本情報記憶部２２から、プロンプト候補に付加するノイズを取得する。

【0029】

そして、支援サーバ２０の制御部２１は、ノイズの付加処理を実行する（ステップＳ１３）。具体的には、管理部２１１は、処理対象のプロンプト候補に、基本情報記憶部２２から取得したノイズを付加する。

【0030】

次に、支援サーバ２０の制御部２１は、ＡＩシステム毎に、レスポンスの取得処理を実行する（ステップＳ１４）。具体的には、制御部２１の評価部２１２は、評価対象のＡＩシステム３０を、順次特定する。そして、評価部２１２は、ノイズを付加したプロンプト候補を、評価対象のＡＩシステム３０に送信し、レスポンスを取得し、仮記憶する。
そして、以上の処理を、すべてのノイズについて終了するまで繰り返す。

【0031】

次に、支援サーバ２０の制御部２１は、ロバスト評価処理を実行する（ステップＳ１５）。具体的には、制御部２１の評価部２１２は、各ＡＩシステム３０からのレスポンスについて、ノイズの影響を比較する。ここでは、評価部２１２は、異なるノイズを含めたプロンプト候補に対して、レスポンスの違いを特定する。

【0032】

次に、支援サーバ２０の制御部２１は、ベストプラクティスの登録処理を実行する（ステップＳ１６）。具体的には、制御部２１の評価部２１２は、ノイズを含めた場合にも、一定の評価基準に基づいて、変動が最小と評価できるＡＩシステム３０を特定する。そして、評価部２１２は、評価情報記憶部２３に、プロンプト候補の特徴量に関連付けて、ベストプラクティスとして、特定したＡＩシステム３０を登録する。
そして、以上の処理を、すべてのプロンプト候補について終了するまで繰り返す。

【0033】

（予測段階）
次に、図４を用いて、予測段階処理を説明する。

【0034】

ここでは、支援サーバ２０の制御部２１は、プロンプトの取得処理を実行する（ステップＳ２１）。具体的には、制御部２１の管理部２１１は、ユーザ端末１０から、ユーザが入力した新規プロンプトを取得する。そして、管理部２１１は、取得した新規プロンプトの特徴量を算出する。

【0035】

次に、支援サーバ２０の制御部２１は、ベストプラクティスの選択処理を実行する（ステップＳ２２）。具体的には、制御部２１の管理部２１１は、プロンプトの特徴量に対応するベストプラクティスを、評価情報記憶部２３から取得する。

【0036】

次に、支援サーバ２０の制御部２１は、ベストプラクティスへの入力処理を実行する（ステップＳ２３）。具体的には、制御部２１の予測部２１３は、ベストプラクティスのＡＩシステム３０に、ユーザ端末１０から取得したプロンプトを入力する。

【0037】

次に、支援サーバ２０の制御部２１は、レスポンスの取得処理を実行する（ステップＳ２４）。具体的には、制御部２１の予測部２１３は、ＡＩシステム３０からレスポンスを取得し、ユーザ端末１０に出力する。

【0038】

（実施形態の作用）
ノイズの影響が少ないベストプラクティスのＡＩシステム３０を用いるので、ロバスト性が高いレスポンスを取得できる。

【0039】

（実施形態の効果）
（１）本実施形態においては、支援サーバ２０の制御部２１は、プロンプトの取得処理（ステップＳ１１）、ノイズの取得処理（ステップＳ１２）を実行する。これにより、表現を変更した複数のプロンプトを生成することができる。
（２）本実施形態においては、支援サーバ２０の制御部２１は、ＡＩシステム３０毎に、レスポンスの取得処理を実行する（ステップＳ１４）。これにより、同じプロンプトの内容について、異なる生成系ＡＩのレスポンスを取得することができる。

【0040】

（３）本実施形態においては、支援サーバ２０の制御部２１は、ロバスト評価処理を実行する（ステップＳ１５）。これにより、プロンプトにおけるノイズの影響を評価することができる。

【0041】

（４）本実施形態においては、支援サーバ２０の制御部２１は、ベストプラクティスの登録処理を実行する（ステップＳ１６）。そして、支援サーバ２０の制御部２１は、ベストプラクティスの選択処理を実行する（ステップＳ２２）。これにより、プロンプトにおけるノイズの影響が少ない生成系ＡＩを選択することができる。

【0042】

（５）本実施形態においては、支援サーバ２０の制御部２１は、レスポンスの取得処理を実行する（ステップＳ２４）。これにより、ロバスト性を有するレスポンスを取得することができる。

【0043】

本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・上記実施形態では、ユーザ端末１０、支援サーバ２０、複数のＡＩシステム３０を用いる。ハードウェア構成は、これらに限定されるものではない。例えば、ＡＩシステム３０を、支援サーバ２０内に設けるようにしてもよい。

【0044】

・上記実施形態では、ノイズとして、プロンプトに文字列を追加する。ノイズの追加方法は、これに限定されるものではない。例えば、プロンプトに対して、参照データを検索して必要な知識を取り出して追加するようにしてもよい。この場合には、ネットワーク上で公開されているサイトや、データベースから取得した参照データにノイズを加えてもよい。

【0045】

・上記実施形態では、支援サーバ２０の制御部２１は、プロンプトの取得処理を実行する（ステップＳ２１）。この場合、管理部２１１は、プロンプトの特徴量を算出する。プロンプトの特徴量は分散表現に限定されるものではない。例えば、プロンプトの種類や分野を用いてもよい。

【0046】

・上記実施形態では、支援サーバ２０の制御部２１は、ロバスト評価処理を実行する（ステップＳ１５）。この評価を、ユーザから評価結果を取得して評価情報記憶部２３に記録するようにしてもよい。
・上記実施形態では、支援サーバ２０の制御部２１は、ロバスト評価処理を実行する（ステップＳ１５）。ここでは、評価部２１２は、異なるノイズを含めたプロンプト候補に対して、レスポンスの違いを特定する。これに代えて、ノイズを含めないプロンプトに対するレスポンスを基準にして、異なるノイズを含めたプロンプト候補に対するレスポンスとの違いを用いて、ロバスト性を評価してもよい。この場合には、ノイズを含めないプロンプトに対するレスポンスとの差異が小さいレスポンスを出力する生成系ＡＩが、ロバスト性が高いと判定する。
・上記実施形態では、支援サーバ２０の制御部２１は、準備段階処理を実行する。この準備段階処理は、新たな生成系ＡＩを検知した場合に行なうようにしてもよい。

【符号の説明】

【0047】

１０…ユーザ端末、２０…支援サーバ、２１…制御部、２１１…管理部、２１２…評価部、２１３…予測部、２２…基本情報記憶部、２３…評価情報記憶部、３０…ＡＩシステム。

【要約】

【課題】ノイズの影響を受けにくいレスポンスを得るためのプロンプト入力支援システム、プロンプト入力支援方法及びプロンプト入力支援プログラムを提供する。
【解決手段】支援サーバ２０は、複数のＡＩシステム３０に接続される制御部２１を備える。そして、制御部２１が、プロンプト候補毎に特徴量を算出し、プロンプト候補を複数のＡＩシステム３０に入力したレスポンスを取得し、特徴量に関連付けて、レスポンスの評価結果を取得する。制御部２１は、新規プロンプトを取得した場合、評価結果に基づいて、レスポンスを取得するＡＩシステム３０を選択する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】