特許 7644881 情報処理方法、プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-03-05

(45)【発行日】2025-03-13

(54)【発明の名称】情報処理方法、プログラム及び情報処理システム

(51)【国際特許分類】

   G06F 16/17 20190101AFI20250306BHJP

   G06F 16/38 20190101ALI20250306BHJP

【ＦＩ】

G06F16/17 200

G06F16/38

【請求項の数】 11

(21)【出願番号】P 2024089950

(22)【出願日】2024-06-03

【審査請求日】2024-06-03

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(72)【発明者】

【氏名】坂根 裕

(72)【発明者】

【氏名】佐藤 彰洋

【審査官】早川 学

(56)【参考文献】

【文献】特開２０２３－１８２３０９（ＪＰ，Ａ）

【文献】特開２０１９－０５３４３３（ＪＰ，Ａ）

【文献】特開２０１８－１５１９６９（ＪＰ，Ａ）

【文献】特許第７４７１０４４（ＪＰ，Ｂ１）

【文献】特表２０２２－５２０７３１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｆ ４０／００－４０／５８

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

(57)【特許請求の範囲】

【請求項1】

情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、
を含む情報処理方法。

【請求項2】

所定の前記バージョン識別子を指定すると、当該バージョン識別子に対応する前記入力情報を前記レポジトリから取得する取得ステップとを含む、
請求項１に記載の情報処理方法。

【請求項3】

前記バージョン識別子が異なる複数の前記入力情報をそれぞれ前記学習済みモデルへ入力した結果同士を比較及び評価の少なくとも一方を行う、
請求項１に記載の情報処理方法。

【請求項4】

前記レポジトリ内に、前記入力情報に対応するブランチ情報を格納する、
請求項１に記載の情報処理方法。

【請求項5】

前記格納ステップは、取得した前記入力情報に基く前記学習済みモデルから出力情報を当該入力情報に紐付けて前記レポジトリに格納する、
請求項１に記載の情報処理方法。

【請求項6】

前記入力情報に応じて前記学習済みモデルからの前記出力情報を得るために必要な追加情報を生成し、当該追加情報を付加した前記入力情報を取得する、
請求項５に記載の情報処理方法。

【請求項7】

前記出力情報に対応する前記バージョン識別子を生成しかつ前記レポジトリに格納する、
請求項５に記載の情報処理方法。

【請求項8】

前記入力情報及び前記出力情報の少なくとも一方を閲覧可能に出力する出力ステップと、を含む、
請求項５に記載の情報処理方法。

【請求項9】

前記入力情報を、自然言語による検索条件情報にて検索を実施する検索ステップと、を含む、
請求項１に記載の情報処理方法。

【請求項10】

情報処理装置に、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、
を含む情報処理方法を実行させるためのプログラム。

【請求項11】

情報処理装置が実行する情報処理システムであって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成部と、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納実行部と、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新部と、
を有する情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、学習済みモデルを利用したデバイスが開示されている。このデバイスでは、セキュアなコンポーネントでパラメータと学習済みモデルのバージョン情報を管理し、学習済みモデルへ入力する入力情報に基づいて学習済みモデルを展開しかつ学習済みモデルによる処理を実行する。これにより、外部攻撃から保護しつつ学習済みモデルを利用した処理を行う。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１０１８０７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、学習済みモデルを用いて情報処理を行う場合、学習済みモデルからの処理結果を所望するものとするために入力情報の調整を行うことがあるが、効率よく入力情報の調整を行う場合には変更履歴の管理を行うことが好ましい。

【0005】

本発明は、上記事実を考慮し、所望する処理結果を効率良く得ることを目的とする。

【課題を解決するための手段】

【0006】

一実施形態に係る情報処理方法によれば、情報処理装置が実行する情報処理方法であって、情報処理装置が実行する情報処理方法であって、学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、を含む。

【0007】

一実施形態に係る情報処理方法によれば、情報処理装置が実行する情報処理方法であって、学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得ステップと、前記入力情報及び前記タグ情報をレポジトリに格納する格納ステップと、を含む。

【0008】

一実施形態に係るプログラムによれば、情報処理装置に、学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、を含む情報処理方法を実行させる。

【0009】

一実施形態に係るプログラムによれば、情報処理装置に、学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得ステップと、前記入力情報及び前記タグ情報をレポジトリに格納する格納ステップと、を含む情報処方法を実行させる。

【0010】

一実施形態に係る情報処理システムによれば、情報処理装置が実行する情報処理システムであって、学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成部と、前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納部と、前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新部と、を有する。

【0011】

一実施形態に係る情報処理システムによれば、情報処理装置が実行する情報処理システムであって、学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得部と、前記入力情報及び前記タグ情報をレポジトリに格納する格納部と、を有する。

【発明の効果】

【0012】

一実施形態によれば、所望する処理結果を効率良く得ることができる。

【図面の簡単な説明】

【0013】

【図1】第一実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】第一実施形態に係るサーバのハードウェア構成の一例を示す図である。

【図3】第一実施形態に係るサーバの機能構成の一例を示す図である。

【図4】第一実施形態に係る情報処理システムの処理の流れの一例を示す図である。

【図5】第二実施形態に係るサーバの機能構成の一例を示す図である。

【図6】第二実施形態に係る情報処理システムの処理の流れの一例を示す図である。

【図7】第三実施形態に係るサーバの機能構成の一例を示す図である。

【図8】第三実施形態に係る情報処理システムの処理の流れの一例を示す図である。

【発明を実施するための形態】

【0014】

（第一実施形態）
以下、図１～図４を用いて、本発明に係る情報処理システムの第一実施形態について説明する。なお、各図において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0015】

（システム概要）
まず、本実施形態に係る情報処理システム１０の概要について説明する。本実施形態に係る情報処理システム１０は、学習済みモデルへ入力するための入力情報の管理を行うためのシステムである。この入力情報は、本実施形態では一例として、学習済みモデルとしての大規模言語モデルへ入力するプロンプトとされている。このプロンプトは、自然言語、動画像、音声等のデータによるものである。また、プロンプトは、その少なくとも一部が変更や追加が可能ないわゆるテンプレートも含む。

【0016】

（システム構成）
図１は、本実施形態に係る情報処理システム１０の構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１０は、ネットワークＮを介して相互に通信可能に接続された、情報処理装置としてのサーバ１２と、情報処理装置としての利用者端末１４と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。

【0017】

利用者端末１４は、ユーザＵにより各種情報の入力及び表示のための操作を行う情報処理装置の一例である。利用者端末１４は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、ウェアラブルデバイス、又はこれらの組み合わせであってもよい。

【0018】

サーバ１２は、利用者端末１４から入力された情報を取得し、当該情報を基に処理を行い結果を出力する情報処理装置の一例である。サーバ１２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、又はこれらの組み合わせであってもよい。サーバ１２の具体的な構成及び作用については、後述する。

【0019】

（ハードウェア構成）
図２は、サーバ１２のハードウェア構成を示すブロック図である。サーバ１２は、バスＢを介して相互に通信可能に接続された、プロセッサ１２０と、メモリ１２２と、ストレージ１２４と、通信Ｉ／Ｆ１２６と、入出力Ｉ／Ｆ１２８と、ドライブ装置１３４と、を備える。

【0020】

プロセッサ１２０は、ストレージ１２４に記憶された各種プログラムをメモリ１２２に展開して実行することにより、サーバ１２の各構成を制御し、サーバ１２の機能を実現する。プロセッサ１２０が実行するプログラムは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び後述するプログラム２２０を含むが、これに限られない。プロセッサ１２０がこれらプログラムを実行することにより、本実施形態に係る状態可視化方法の一部が実現される。プロセッサ１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はこれらの組み合わせである。

【0021】

メモリ１２２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ＲＡＭ）、又はこれらの組み合わせである。

【0022】

ストレージ１２４は、ＯＳ、後述する各種プログラム、及び各種のデータを記憶する。ストレージ１２４は、例えば、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｉｅｓ）、又はこれらの組み合わせである。

【0023】

通信Ｉ／Ｆ１２６は、サーバ１２を、ネットワークＮを介して、利用者端末１４を含む外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１２６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）に準拠したアダプタであるが、これに限られない。

【0024】

入出力Ｉ／Ｆ１２８は、サーバ１２に入力装置１３２及び出力装置１３０を接続するためのインタフェースである。入力装置１３２は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１３０は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。

【0025】

ドライブ装置１３４は、ディスクメディア１３６のデータを読み書きする。ドライブ装置１３４は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１３６は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、又はこれらの組み合わせである。

【0026】

なお、本実施形態において、プログラムは、サーバ１２の製造段階でメモリ１２２又はストレージ１２４に書き込まれてもよいし、ネットワークＮを介してサーバ１２に提供されてもよいし、ディスクメディア１３６などの非一時的でコンピュータ読み取り可能な記録媒体を介してサーバ１２に提供されてもよい。

【0027】

また、利用者端末１４のハードウェア構成については、上述したサーバ１２のハードウェア構成と略同一の構成とされているため、詳細な説明については省略する。

【0028】

（機能構成）
次に、サーバ１２の機能構成について説明する。図３は、サーバ１２の機能構成の一例を示す図である。各種プログラムを実行する際に、サーバ１２は上記のハードウェア資源を用いて、各種の機能を実現する。サーバ１２は、サーバ１２が実現する機能構成として、通信部２０と、記憶部２２と、制御部２４と、を有している。各機能構成は、プロセッサ１２０がメモリ１２２又はストレージ１２４に記憶されたプログラム２２０を読み出し、実行することで実現される。

【0029】

通信部２０は、通信Ｉ／Ｆ１２６により実現される。通信部２０は、ネットワークＮを介して、利用者端末１４との間で情報の送受信を行う。通信部２０は、利用者端末１４から入力された情報を受信する。また、通信部２０は、利用者端末１４に対して情報を送信し、利用者端末１４からユーザＵによるリクエストを受信する。さらに、通信部２０は、外部のシステムとＡＰＩ等を利用して情報の送受信を行う。

【0030】

記憶部２２は、メモリ１２２及びストレージ１２４により実現される。記憶部２２には、プログラム２２０と、学習済みモデル２２２と、プロンプトＤＢ２２４と、ユーザ情報ＤＢ２２６と、処理結果ＤＢ２２８と、が格納される。

【0031】

学習済みモデル２２２は、少なくとも一つの学習済み機械学習モデルにより構成されている。この学習済みモデル２２２は、前述のように一例として大規模言語モデルとされ、インターネット上の記事、書籍及びウェブサイトなどからの大量のテキストデータを学習させたモデルとされており、入力情報としてプロンプトと称されるテキストデータを入力すると、プロンプトに応じた情報処理を実行し結果としてテキストデータを含む各種データ生成し当該データを出力情報として出力する。なお、学習済みモデル２２２は、それぞれ記憶部２２ではなく外部の通信可能なサーバ等に格納されたものであってもよい。

【0032】

また、学習済みモデル２２２は、後述するプロンプトのテンプレートについて、必要に応じて追加情報を生成する。すなわち、プロンプトのテンプレートの内容が更新された場合に更新前と更新後のプロンプトのテンプレートによる出力情報同士を比較し評価することでプロンプトのテンプレート自体の評価を行う場合、当該テンプレートに沿った追加情報を生成する。一例として、プロンプトのテンプレートが「以下のとおり翻訳を行ってください。原文の言語： 、翻訳後の言語： 、翻訳後の文章の調子（ビジネス向け、カジュアル、一般利用者にわかりやすく、など）： 、翻訳の対象となる文章： 」となっている場合、このテンプレートにおいては、「原文の言語」、「翻訳後の言語」、「翻訳後の文章の調子（ビジネス向け、カジュアル、一般利用者にわかりやすく、など）」、「翻訳の対象となる文章」にプレースホルダが設定されている。このプレースホルダは、後でユーザーが具体的な情報を入力するために設けられた一時的なスペースや目印等である。学習済みモデル２２２は、追加情報としてこのプレースホルダに対応する情報を生成する。前述の例では、一例として、「原文の言語」に対して、「英語」、「翻訳後の言語」に対して「日本語」、「翻訳後の文章の調子（ビジネス向け、カジュアル、一般利用者にわかりやすく、など）」に対して「ビジネス向け」、「翻訳の対象となる文章」に対して「Ａ ｐｉｃｔｕｒｅ ｉｓ ｗｏｒｔｈ ａ ｔｈｏｕｓａｎｄ ｗｏｒｄｓ．」等の追加情報を生成する。この追加情報をテンプレートに付加してプロンプトとして学習済みモデル２２２へ入力することにより、出力情報を取得することができる。

【0033】

さらに、学習済みモデル２２２は、内容が更新される前の（テンプレートを基にした）プロンプトと、内容が更新された（テンプレートを基にした）プロンプトとで出力情報がどのように変化するか比較し、その出力情報がプロンプトの意図に沿っているか否かを評価する。換言すると、プロンプトのテンプレートの更新が所望する出力情報を得られるか否かを判定できる。この比較評価については、学習済みモデル２２２に評価を実行する指示のプロンプトと共に出力情報を入力することで実施するが、これに限らず、外部の通信可能に接続された学習済みモデルにて評価を実行する構成としてもよい。これにより、異なる視点での評価や客観的な評価をすることができる。

【0034】

入力情報は、前述のように学習済みモデル２２２への処理を指示するプロンプトとされており、自然言語によるテキストデータとされている。この入力情報は、ユーザＵにより入力されるが、これに限らず、システムが自動で生成したものや改変したものでもよい。

【0035】

プロンプトＤＢ２２４は、ユーザＵが入力したプロンプトを示す情報が格納されるデータベースである。プロンプトは、自然言語とされており、プロンプトＤＢ２２４には一例として、プロンプトと、当該プロンプトが入力された際のアカウント情報（後述）とが紐付けられて格納されている。また、プロンプトＤＢ２２４は、プロンプトのすべてだけではなく追加情報を入力させるための余地を残したプロンプトの少なくとも一部も格納される。このプロンプトの少なくとも一部は、プロンプトのテンプレートに相当する。そして、テンプレートに対して追加入力情報が入力された状態のものがプロンプトに相当する。

【0036】

プロンプトＤＢ２２４には、プロンプト（テンプレートも含む、以下同）に対応したバージョン識別子も併せて格納される。バージョン識別子は、プロンプトのバージョンを一意に識別するための任意のテキストデータとされており、プロンプトの内容が更新されるとこれに伴って新たに生成される（詳細は後述）バージョン識別子もプロンプトＤＢ２２４に格納される。

【0037】

ユーザ情報ＤＢ２２６は、情報処理システム１０を利用するにあたり利用登録したユーザＵ及びマネージャＭ等の各種情報が格納されるデータベースである。格納される各種情報の例として、一意に識別するためのユーザ識別情報、興味情報などのユーザ嗜好情報、これまでの利用状況など含むユーザ履歴情報、職業、役職、権限などのユーザ属性情報などが含まれる。

【0038】

処理結果ＤＢ２２８は、プロンプトに基いて処理を実行した結果（処理の実行結果及び処理結果とも言う）を示す情報を格納するデータベースである。処理結果は、テキスト情報や画像情報を含む各種情報であり、処理結果ＤＢ２２８には、処理結果、プロンプト及びユーザ情報が互いに紐付けられて格納されている。また、処理結果ＤＢ２２８は、複数の異なるバージョン識別子にそれぞれ対応するプロンプトを学習済みモデル２２２へ入力して得られる出力情報同士を評価及び比較の少なくとも一方が格納される。

【0039】

制御部２４は、プロセッサ１２０がメモリ１２２（図２参照）からプログラム２２０を読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部２４は、情報取得部２４２と、情報処理部２４４と、出力部２４６と、を備える。

【0040】

情報取得部２４２は、情報処理部２４４での処理において必要となる各種情報を取得する。具体的には、記憶部２２や外部の通信可能に接続されたデータベース等を含む格納部に格納されたプロンプトやユーザＵが入力するプロンプトを取得する。なお、取得する各種プロンプトはテキストデータに限らず、音声入力、ジェスチャ、ハードウェアの操作、アイトラッキング、生体センサ等各種センサからの情報を利用するものでもよい。

【0041】

また、情報取得部２４２は、記憶部２２や外部の通信可能に接続されたデータベース等格納されたプロンプトの検索を実行するための各種情報を取得する。すなわち、情報取得部２４２は、利用者端末１４やＡＰＩ等を利用して通信可能に接続された外部のシステム等から各種情報として検索の実行指示情報、検索条件情報を取得する。この検索条件情報は、プロンプトの内容を含む自然言語によるキーワードやタグ、バージョン識別子、ブランチ識別子、ブランチ名（詳細は後述する）、作成者、作成日時等のメタデータに基づくものである。つまり、情報取得部２４２は、請求項１５、１６に記載の「入力情報取得部」に相当する。また、検索条件情報は、検索キーワード、検索語、検索フレーズ、クエリ、検索入力情報とも言い換えることができる。

【0042】

情報処理部２４４は、プロンプトに基づいて学習済みモデル２２２による情報処理を行う。学習済みモデル２２２は、その内部に蓄積された知識に基づいて、プロンプトに対応する回答や生成結果を出力する。

【0043】

また、情報処理部２４４は、取得されたプロンプトを常時監視し、プロンプトの内容が格納部に格納されている既存のプロンプトと一致するかどうかを判定する。この判定は、一例として、プロンプトのハッシュ値やチェックサムを生成し、既存のプロンプトデータと比較し、一致するプロンプトが存在しない場合、新たなプロンプトとして扱うように実施される。これ以外にも、キーワードマッチング、学習済みモデル２２２を利用した自然言語処理、ユーザやシステムによるフィードバック情報の利用、等により一致判定を行ってもよい。そして、同一のプロンプトが存在しない場合、情報処理部２４４は新たなプロンプトとして当該プロンプトに対して一意のバージョン識別子を生成する。このバージョン識別子は、プロンプトを識別するために用いられ、一例として、現在の日時やランダムな値を利用して、一意性を保証する識別子を生成する。さらに、情報処理部２４４は、生成されたバージョン識別子とともに、新たなプロンプトを格納部に格納する。なお、情報処理部２４４は、学習済みモデル２２２からの出力情報に対してもバージョン識別子を生成可能とされている。

【0044】

さらにまた、情報処理部２４４は、必要に応じてプロンプトのテンプレート内のプレースホルダに対応する追加情報を生成する。具体的には、情報処理部２４４は、テンプレートのプレースホルダの抽出し、プレースホルダに挿入されるべき追加情報を生成する。追加情報は、動的に生成されたデータ（例として外部から取得した最新情報）や静的なデータ（固定された情報）が含まれ、プレースホルダに対して指定されているデータ形式（例として「ＮＡＭＥ」，「ＤＡＴＥ」，「ＴＩＭＥ」など）に応じて生成される。なお、学習済みモデル２２２にテンプレートと、プレースホルダに応じた追加情報を生成する指示とをプロンプトとして入力して、その出力情報を利用して追加情報を得てもよい。また、情報処理部２４４は、必要に応じてユーザＵに追加情報の入力を求めてもよい。これはチャット形式でシステムとユーザＵが会話するなどのインタラクティブなシステムで特に有効である。そして、生成された追加情報をプレースホルダに挿入することで、より具体的かつカスタマイズされたプロンプトが形成される。

【0045】

また、情報処理部２４４は、異なるバージョンのプロンプトに基づいた出力結果同士を比較し評価を行う。この比較評価により、バージョン毎のパフォーマンスや有用性の違いを明確にすることができる。

【0046】

さらに、情報処理部２４４は、ユーザＵまたはシステムから取得した実行指示情報、検索条件情報に基づいて、格納部内のプロンプトを検索するためのクエリを生成し、実行する。検索結果は、対応するプロンプトのリストやメタデータとして利用者端末１４を通じてユーザＵに提供される。さらにまた、情報処理部２４４は、特定のバージョン識別子に対応するにプロンプトに対してユーザＵの操作に応じてブランチを作成し、そのブランチ情報についてもプロンプトＤＢ２２４へ格納可能とされている。すなわち、特定（オリジナル）のバージョン識別子を参照して、ユーザＵのブランチ作成操作に基づく新しい入力情報が作成され、それに対する新規のバージョン識別子が生成される。生成されたバージョン識別子とオリジナルのバージョン識別子を関連付けて、ブランチ情報としてのブランチ識別子及びブランチ名の少なくとも一方が生成される。この情報はプロンプトＤＢ２２４に格納される。つまり、情報処理部２４４は、請求項１５、１６に記載の「バージョン識別子生成部」、「格納実行部」及び「更新部」に相当する。

【0047】

以上、情報処理部２４４がプロンプトやテンプレート等の入力情報、出力情報及びバージョン識別子の管理を行うと共に、プロンプトＤＢ２２４にて入力情報及びバージョン識別子を格納しかつ処理結果ＤＢ２２８にて出力情報を格納することから、プロンプトＤＢ２２４と処理結果ＤＢ２２８と情報処理部２４４が連携することで、レポジトリとして機能する。

【0048】

出力部２４６は、情報処理部２４４の処理結果を利用者端末１４に出力するように制御する。

【0049】

（情報処理システム１０が実行する処理）
次に、情報処理システム１０の作用について説明する。図４は、情報処理システム１０による処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム２２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。なお、図示しないが、プロセッサ１２０は、情報処理システム１０の作動終了操作情報、又は実行中の判定処理において利用者端末１４より操作終了の情報（これらを単に「終了操作」と称する）を受信した場合は、処理中のプログラム２２０に基づく処理を終了する。

【0050】

プロセッサ１２０は、入力情報を取得したか否かを判定する（ステップＳ１００）。入力情報を取得していない場合（ステップＳ１００：ＮＯ）、プロセッサ１２０は、後述するステップＳ１３０へ処理を移行する。一方、入力情報を取得した場合（ステップＳ１００：ＹＥＳ）、プロセッサ１２０は、当該入力情報の内容が格納部に格納されている既存の入力情報と一致するかどうかを判定する（ステップＳ１０２）。一致する場合、つまり新しい入力情報でない場合（ステップＳ１０２：ＹＥＳ）、プロセッサ１２０は、後述するステップＳ１０８へ処理を移行する。一方、一致しない場合、つまり新しい入力情報である場合（ステップＳ１０２：ＮＯ）、プロセッサ１２０は、当該入力情報に対してバージョン識別子を生成し（ステップＳ１０４）、当該入力情報とバージョン識別子とを格納部へ格納する（ステップＳ１０６）。なお、上述したステップＳ１００の処理が請求項１に記載の「入力情報取得ステップ」に相当する。また、ステップＳ１０４の処理が請求項１に記載の「バージョン識別子生成ステップ」に相当する。さらに、ステップＳ１０６の処理が請求項１に記載の「格納ステップ」に相当する。

【0051】

プロセッサ１２０は、入力情報の更新の有無を監視し（ステップＳ１０８）、更新の有無を判定する（ステップＳ１１０）。更新が無い場合（ステップＳ１１０：ＮＯ）、プロセッサ１２０は、後述するステップＳ１３０へ処理を移行する。一方、更新がある場合（ステップＳ１１０：ＹＥＳ）、プロセッサ１２０は、更新された入力情報に対してバージョン識別子を生成し（ステップＳ１１２）、更新された入力情報とバージョン識別子とを格納部へ格納する（ステップＳ１１４）。なお、ステップＳ１０８からステップＳ１１４の処理が請求項１に記載の「更新ステップ」に相当する。

【0052】

プロセッサ１２０は、入力情報に対して追加情報が必要か否か（つまり入力情報がプレースホルダを有するテンプレートであるか否か）を判定する（ステップＳ１１６）。追加情報が必要ではない場合（ステップＳ１１６：ＮＯ）、プロセッサ１２０は、後述するステップＳ１２０へ処理を移行する。一方、追加情報が必要である場合（ステップＳ１１６：ＹＥＳ）、プロセッサ１２０は、追加情報を生成する（ステップＳ１１８）。

【0053】

プロセッサ１２０は、入力情報を学習済みモデル２２２へ入力し（ステップＳ１２０）、学習済みモデル２２２からの出力情報を取得する（ステップＳ１２２）。そして、プロセッサ１２０は、取得した出力情報に対してバージョン識別子を生成する（ステップＳ１２４）。

【0054】

プロセッサ１２０は、バージョンが異なる入力情報に対応する出力情報同士を比較する（ステップＳ１２６）。このバージョンが異なるものについては、最新のバージョンのものと直前のバージョンのものとの比較でもよいし、任意の異なるバージョン同士のものとの比較でもよい。プロセッサ１２０は、比較結果から出力情報ひいては入力情報を評価し（ステップＳ１２８）、評価結果を入力情報と紐づけて格納部に格納する（ステップＳ１３０）。

【0055】

プロセッサ１２０は、検索の実行指示情報及び検索条件情報を取得したか否かを判定する（ステップＳ１３２）。取得していない場合（ステップＳ１３２：ＮＯ）、プロセッサ１２０は、プログラム２２０に基づく処理を終了する。一方、取得した場合（ステップＳ１３２：ＹＥＳ）、プロセッサ１２０は、検索を実行し（ステップＳ１３４）、当該検索結果を利用者端末１４に表示するように出力して（ステップＳ１３６）、プログラム２２０に基づく処理を終了する。なお、ステップＳ１３２からステップＳ１３６の処理が請求項２に記載の「取得ステップ」に相当する。また、ステップＳ１３２からステップＳ１３４の処理が請求項１１に記載の「検索ステップ」に相当する。なお、図示しないが、検索結果を基にユーザＵがブランチ作成操作を行う場合には、当該操作に応じてブランチ識別子及びブランチ名が生成され、プロンプトＤＢ２２４へ格納される。

【0056】

（第一実施形態の作用効果）
本実施形態に係る情報処理システム１０によれば、学習済みモデル２２２へ入力するための入力情報を取得する入力情報取得ステップと、入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、入力情報及び当該入力情報に対応するバージョン識別子をレポジトリに格納する格納ステップと、レポジトリ内の入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の入力情報とこれに対応するバージョン識別子をレポジトリ内に格納する更新ステップと、を実行する。したがって、入力情報取得ステップにより取得された入力情報は、その都度バージョン識別子生成ステップによって一意のバージョン識別子が生成される。これにより、異なるバージョンの入力情報が識別可能となり、各バージョンの変更履歴が明確に管理される。また、格納ステップにより、取得された入力情報とそのバージョン識別子がレポジトリに格納される。これによって、入力情報のバージョンごとに保存されるため、過去のバージョンと現行のバージョンを区別して追跡することが可能になる。この履歴管理により、どのバージョンの入力情報が学習済みモデルに対して利用されたかを容易に識別できる。さらに、更新ステップにより、レポジトリ内の入力情報が更新される度に、新たなバージョン識別子が生成され、更新後の入力情報とともにレポジトリに格納される。これにより、入力情報の調整履歴が体系的に管理されるため、効率的に入力情報の変更や調整が行える。この履歴をもとに、過去の変更内容を参照し、最適なプロンプトを迅速に生成することが可能となる。このようにして管理された入力情報とそのバージョン履歴により、適切なバージョンの入力情報を選定して学習済みモデル２２２に供給することが可能となる。その結果、所望する処理結果を効率よく得ることができる。また、版管理された情報に基づいて処理結果を比較・評価することで、最適なプロンプトの生成と調整が促進される。これにより、学習済みモデルによる情報処理の効果を最大限に引き出すことができる。

【0057】

また、情報処理システム１０が実行するステップとして、所定のバージョン識別子を指定すると、当該バージョン識別子に対応する入力情報をレポジトリから取得する取得ステップとを含むことから、ユーザや他のシステムが所望するバージョン識別子を指定することで、指定されたバージョンの入力情報を正確にレポジトリから取得することができる。これにより、特定のバージョンの履歴や変更内容を容易に追跡し、参照することが可能となる。

【0058】

さらに、情報処理システム１０は、バージョン識別子が異なる複数の入力情報をそれぞれ学習済みモデル２２２へ入力した結果同士を比較及び評価の少なくとも一方を行うことから、バージョン識別子が異なる複数の入力情報を学習済みモデルに入力することにより、それぞれのプロンプトバージョンの性能が比較・評価される。これにより、どのバージョンが最も高精度な結果を生成するのかを特定し、モデルの精度を向上させるためのフィードバックを得ることが可能である。また、複数の入力情報バージョンを比較することで、最適なプロンプトの形態を見いだし、そのプロンプトを標準化することができる。これにより、最適なプロンプトが効率的に生成され、所望の処理結果を迅速に達成することが可能となる。さらに、情報処理システム１０において、異なるバージョンの入力情報を用いた結果の比較を通じて、データの多様性とモデルのロバスト性を評価することができる。多様な条件下での学習済みモデル２２２の動作を確認し、システム全体の耐障害性や信頼性を向上させるための手がかりを得ることができる。さらにまた、複数バージョンの履歴を比較することにより、各バージョンの入力情報がどのように処理結果に影響を与えたかを詳細に分析できる。これにより、各バージョンの改善点や変更内容の影響を特定し、さらなる改善策を講じることができる。また、バージョン識別子ごとの入力情報を利用して結果を比較することで、学習済みモデル２２２のチューニングや再学習の材料とすることができる。これにより、学習済みモデル２２２の性能向上および安定運用が実現する。さらに、比較評価の結果を用いて、ユーザＵにとって最も有用なプロンプトバージョンを選定し提供することが可能となる。これにより、ユーザ体験の最適化が図られ、満足度の向上が期待できる。さらにまた、バージョン間の比較評価を自動化することにより、プロンプトの生成から評価、フィードバック、適応までの一連のプロセスを効率的に実行できる。これにより、システムは常に最新の最適なプロンプトを選定し活用する。このフィードバックループの形成により、プロンプトの品質が継続的に向上し、学習済みモデル２２２の性能が最適化される。

【0059】

また、情報処理システム１０における格納ステップは、取得した入力情報に基く学習済みモデルから出力情報を当該入力情報に紐付けてレポジトリに格納することから、入力情報と出力情報の関連性が明確化される。これにより、どの入力情報がどの出力情報をもたらしたのかを容易に追跡・理解することができる。さらに、入力情報とそれに対応する出力情報が一体となって保存されるため、必要に応じて迅速かつ効率的に参照・再利用することが可能である。これにより、過去の処理結果をもとに新たな分析や改善が容易に行える。さらにまた、入力情報と紐付けられた出力情報をレポジトリに格納することにより、特定の出力結果に基づいた検索が容易に行える。これにより、特定の条件に一致する入力情報およびその出力結果を迅速に取得することができる。

【0060】

さらに、情報処理システム１０は、入力情報に応じて学習済みモデル２２２からの出力情報を得るために必要な追加情報を生成し、当該追加情報を付加した入力情報を取得することから、プレースホルダを有するテンプレート形式の入力情報であっても当該テンプレートのプレースホルダ内に生成した追加情報を付加して学習済みモデル２２２に入力することで、当該テンプレートが所望する処理結果を得ることができるか否かを判定することが可能となる。換言すると、テンプレートを含む入力情報の評価と改良が効率的に行える。各バージョンの入力情報に対する評価結果を基に、新たな入力情報の改善ポイントが明確になるため、継続的な改良サイクルを形成することができる。

【0061】

さらにまた、出力情報に対応するバージョン識別子を生成しかつレポジトリに格納することから、各出力情報が一意に識別可能となる。これにより、どの入力情報に対してどの出力情報が生成されたかを容易に追跡できる。

【0062】

また、入力情報及び出力情報の少なくとも一方を閲覧可能に出力する出力ステップと、を含むことから、入力情報に対する学習済みモデルの出力結果を比較・評価することが可能となる。これにより、最適なプロンプトを選定し、学習済みモデルやシステム全体の応答精度を向上させることができる。

【0063】

さらに、レポジトリ内に、入力情報に対応するブランチ情報を格納することから、各バージョン識別子に基づいて複数の異なる修正版を評価したり、多様なシナリオに基づいて入力情報を展開したりすることが可能になる。これにより、所望する処理結果を一層効率よく得ることができる。

【0064】

さらにまた、入力情報を、自然言語による検索条件情報にて検索を実施する検索ステップと、を含むことから、ユーザＵは自身の質問や要求をそのままの形で入力できるため、ストレスなく検索を進めることができる。これにより、ユーザＵの満足度を向上させることができる。

【0065】

なお、入力情報を自然言語による検索条件情報にて検索するために、入力情報について予め構造化されたメタデータ等を付与してもよい。具体的な例として、入力情報に「意図」、「テーマ」、「分類」等のコンテキスト情報をメタデータとして、ユーザＵ等により手動又は学習済みモデル２２２により自動での付与を行い、これをベクトル化する。そして、検索ステップにて入力された検索条件情報もベクトル化して、ベクトル間の類似度が高い入力情報を取得する。これにより、検索精度をより高めることができる。

【0066】

（第二実施形態）
次に、図５、図６を用いて、本発明の第二実施形態に係る情報処理システム５００について説明する。第二実施形態に係る情報処理システム５００は、基本的な構成は第一実施形態と同様とされ、入力情報におけるタグ情報を取得し格納部に格納される点に特徴がある。なお、第一実施形態と同一の構成ついては、同一符号を付してその説明を省略する。

【0067】

（機能構成）
情報処理システム５００におけるサーバ７０の機能構成について説明する。図５は、サーバ７０の機能構成の一例を示す図である。各種プログラムを実行する際に、サーバ７０は第一実施形態のサーバ１２と同様のハードウェア資源を用いて、各種の機能を実現する。サーバ７０は、サーバ７０が実現する機能構成として、通信部２０と、記憶部７２と、制御部７４と、を有している。各機能構成は、プロセッサ１２０がメモリ１２２又はストレージ１２４に記憶されたプログラム７２０を読み出し、実行することで実現される。

【0068】

記憶部７２は、メモリ１２２及びストレージ１２４により実現される。記憶部７２には、プログラム７２０と、学習済みモデル２２２と、プロンプトＤＢ７２４と、ユーザ情報ＤＢ２２６と、処理結果ＤＢ２２８と、が格納される。

【0069】

プロンプトＤＢ７２４は、第一実施形態のプロンプトＤＢ２２４と同様にユーザＵが入力したプロンプトを示す情報、テンプレート及びバージョン識別子が格納される。また、プロンプトＤＢ７２４は、タグ情報も格納される。タグ情報については後述する。

【0070】

制御部７４は、プロセッサ１２０がメモリ１２２（図２参照）からプログラム７２０を読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部７４は、情報取得部７４２と、情報処理部７４４と、出力部２４６と、を備える。

【0071】

情報取得部７４２は、第一実施形態の情報取得部２４２と同様、情報処理部７４４での処理において必要となる各種情報や、プロンプトの検索のための各種情報を取得する。また、情報取得部７４２は、タグ情報を取得する。情報取得部７４２が取得するタグ情報は、ユーザＵが直接入力したタグの情報であり、一例として、入力情報が技術に関するものである場合にタグ情報として「技術」とユーザＵが直接入力したものを取得する。このユーザＵが直接タグ情報を入力する形式は、キーワード等を直接入力ものや、事前に定義された情報を選択して入力するものなどが含まれる。また、情報取得部７４２は、ユーザＵが直接入力したタグ情報以外にも、情報処理部７４４が生成するタグ情報（詳細は後述）を取得する。つまり、情報取得部７４２は、請求項１６に記載の「入力情報取得部」、「タグ情報取得部」に相当する。

【0072】

情報処理部７４４は、第一実施形態の情報処理部２４４と同様、プロンプトに基づいて学習済みモデル２２２による情報処理、取得されたプロンプトを常時監視、プロンプトのテンプレート内のプレースホルダに対応する追加情報を生成、異なるバージョンのプロンプトに基づいた出力結果同士を比較し評価の実行、格納部内のプロンプトを検索を行う。また、情報処理部７４４は、タグ情報を生成し格納部へ格納する。情報処理部７４４が生成するタグ情報は、入力情報からキーワード抽出により生成されたもの、学習済みモデル２２２を利用して生成されたもの、外部のタグ付けサービスをＡＰＩ連携等により利用したものなどが含まれる。なお、タグ情報の具体例として、以下のようなカテゴリがある。まず、入力情報の主題やテーマに基づくタグとして、「技術」、「ビジネス」、「健康」、「教育」、「エンターテインメント」などが含まれる。また、入力情報におけるユーザＵの意図や目的を反映するタグとして、「質問」、「提案」、「問題解決」、「情報検索」、「フィードバック」などが挙げられる。次に、入力情報の感情やトーンに基づくタグとして、「ポジティブ」、「ネガティブ」、「中立」、「疑問」、「感謝」などがある。さらに、入力情報の具体的な用途に基づくタグとして、「マーケティング」、「商品レビュー」、「カスタマーサポート」、「教育資料」、「プロジェクト管理」などが含まれる。加えて、入力情報に含まれる特定のキーワードやフレーズに基づくタグも挙げられる。例としては、「機械学習」、「ＡＰＩ」、「ヘルスケア」、「ブロックチェーン」、「リーダーシップ」などがある。また、入力情報が対象とするユーザー層や市場に基づくタグとして、「初心者向け」、「専門家向け」、「学生向け」、「企業向け」、「一般向け」などが挙げられる。さらに、入力情報が特定の地域や場所に関連する場合のタグとして、「日本」、「アメリカ」、「東京」、「ニューヨーク」、「地域情報」などが考えられる。それ以外にも、入力情報が特定の時間や期間に関連する場合のタグとして、「２０２３年」、「今週」、「次月」、「年間イベント」、「歴史」などが含まれる。これらのタグ情報は、入力情報の内容や目的に応じて適切に生成され、管理される。具体的には、例として「技術に関する最新のＡＩ技術について解説してください。」という入力情報に対しては、「技術」、「ＡＩ」、「教育」、「専門家向け」などのタグが生成される。このようにして、タグ情報を用いることで、入力情報の検索や分類が容易になり、情報処理システムの効率が向上する。つまり、情報処理部７４４は、請求項１６に記載の「格納実行部」に相当する。

【0073】

（情報処理システム５００が実行する処理）
次に、情報処理システム５００の作用について説明する。図６は、情報処理システム５００による処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム７２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。なお、第一実施形態と同一の処理については、同一符号を付してその説明を省略する。

【0074】

ステップＳ１０２にて新しい入力情報である場合（ステップＳ１０２：ＮＯ）、プロセッサ１２０は、タグ情報が利用者端末１４を通じてユーザＵから入力されたか否かを判定する（ステップＳ２００）。入力された場合（ステップＳ２００：ＹＥＳ）、プロセッサ１２０は、ステップＳ１０４へ処理を移行し、ステップＳ１０６にて格納部に当該タグ情報を含めて格納する。一方、入力されていない場合（ステップＳ２００：ＮＯ）、プロセッサ１２０は、入力情報を基にタグ情報を生成する（ステップＳ２０２）し、その後ステップＳ１０４へ処理を移行し、ステップＳ１０６にて格納部に当該タグ情報を含めて格納する。なお、ステップＳ２０２の処理が請求項１０に記載の「タグ生成ステップ」に相当する。

【0075】

（第二実施形態の作用効果）
本実施形態に係る情報処理システム５００においても、入力情報におけるタグ情報を取得し格納部に格納される点等以外は第一実施形態と同様の構成とされているので、第一実施形態と同様の作用効果が得られる。また、情報処理システム５００は、学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得ステップと、入力情報及びタグ情報をレポジトリに格納する格納ステップとを有することから、レポジトリに格納されたタグ情報を利用することで、特定の条件に合致する入力情報の検索やフィルタリングが迅速に行える。これにより、必要なデータを効率的に取得し、分析や処理がスムーズに行える。また、タグ情報を活用することで、ユーザーは自身の入力情報に基づいて適切なタグを設定し、後から簡単に情報を検索・参照することができる。これにより、システムの使いやすさが向上し、ユーザーエクスペリエンスが向上する。

【0076】

さらに、情報処理システム５００は、入力情報を基にタグ情報を生成するタグ生成ステップと、を含むことから、手動でのタグ付け作業が大幅に削減され、効率的なデータ処理が可能となる。これにより、ユーザＵや管理者等の負担が軽減され、システム全体の運用効率の向上を図ることができる。また、自動タグ生成により、一貫性のあるタグ付けが可能となる。これにより、異なるユーザーや時期に応じても、タグ付けの基準が統一され、データの整合性と精度が向上する。

【0077】

なお、上述した実施形態では、入力情報を基にタグ情報を生成するタグ生成ステップが含まれた構成とされているが、これに限らず、タグ情報を生成せずにユーザＵが直接入力したタグ情報や他のシステム等のタグ情報を取得するのみの構成としてもよい。

【0078】

（第三実施形態）
次に、図７、図８を用いて、本発明の第三実施形態に係る情報処理システム６００について説明する。第三実施形態に係る情報処理システム６００は、基本的な構成は第一実施形態と同様とされ、入力情報に対するフィードバック情報を取得する点に特徴がある。なお、第一実施形態と同一の構成ついては、同一符号を付してその説明を省略する。

【0079】

（機能構成）
情報処理システム６００におけるサーバ８０の機能構成について説明する。図７は、サーバ８０の機能構成の一例を示す図である。各種プログラムを実行する際に、サーバ８０は第一実施形態のサーバ１２と同様のハードウェア資源を用いて、各種の機能を実現する。サーバ８０は、サーバ８０が実現する機能構成として、通信部２０と、記憶部８２と、制御部８４と、を有している。各機能構成は、プロセッサ１２０がメモリ１２２又はストレージ１２４に記憶されたプログラム８２０を読み出し、実行することで実現される。

【0080】

記憶部８２は、メモリ１２２及びストレージ１２４により実現される。記憶部８２には、プログラム８２０と、学習済みモデル２２２と、プロンプトＤＢ８２４と、ユーザ情報ＤＢ２２６と、処理結果ＤＢ２２８と、が格納される。

【0081】

プロンプトＤＢ８２４は、第一実施形態のプロンプトＤＢ２２４と同様にユーザＵが入力したプロンプトを示す情報、テンプレート及びバージョン識別子が格納される。また、プロンプトＤＢ８２４は、フィードバック情報も格納される。フィードバック情報については後述する。

【0082】

制御部８４は、プロセッサ１２０がメモリ１２２（図２参照）からプログラム７２０を読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部８４は、情報取得部８４２と、情報処理部８４４と、出力部２４６と、を備える。

【0083】

情報取得部８４２は、第一実施形態の情報取得部２４２と同様、情報処理部８４４での処理において必要となる各種情報や、プロンプトの検索のための各種情報を取得する。また、情報取得部８４２は、フィードバック情報を取得する。つまり、情報取得部８４２は、請求項１９に記載の「フィードバック情報取得部」に相当する。情報取得部８４２が取得するフィードバック情報は、ユーザＵが直接入力した入力情報に対するフィードバックの情報であり、一例として、満足度や精度に関する定量的な評価がある。この評価の具体的な例として、１（非常に不満）から５（非常に満足）までの評価スコアなどが挙げられる。さらに、入力情報やその処理結果に対する具体的な意見や感想を表すコメントもフィードバック情報に含まれる。例えば、「説明がわかりやすかった」や「もう少し詳細な情報が欲しい」といったコメントが含まれる。次に、単純な肯定・否定を表すフィードバックとして、サムズアップ（いいね、など）またはサムズダウン等が挙げられる。また、フィードバックとして追加的にタグ情報を付けることも可能であり、「役に立った」、「関連性が高い」、「具体的」といったタグ情報でもよい。さらに、ユーザーが入力情報や結果を利用した時間もフィードバック情報に含まれる。これにより、情報の有用性や関与度を測定することができる。使用時間は例えば５分、１０分、３０分といった形で記録される。さらにまた、提供された複数の結果からユーザＵが選択した結果もフィードバック情報として利用できる。また、入力情報や結果に関するエラーやバグの報告も重要であり、「リンクが切れている」や「情報が間違っている」といったエラー報告もフィードバック情報に含まれる。加えて、ユーザＵがどのようなアクションをとったかのログもフィードバック情報である。行動ログには例えば「リンクをクリックした」、「ダウンロードを行った」といった情報が含まれる。さらに、特定の項目に対する満足度を示す満足度指数もフィードバック情報に含まれる。例えば、「応答速度」、「情報の正確さ」、「使いやすさ」などに対する満足度が含まれる。このほかに、ユーザＵからの追加情報やフォローアップのリクエストもフィードバック情報となる。例えば、「次のステップを教えてほしい」や「類似の情報が欲しい」といったフォローアップリクエストが含まれる。

【0084】

情報処理部８４４は、第一実施形態の情報処理部２４４と同様、プロンプトに基づいて学習済みモデル２２２による情報処理、取得されたプロンプトを常時監視、プロンプトのテンプレート内のプレースホルダに対応する追加情報を生成、異なるバージョンのプロンプトに基づいた出力結果同士を比較し評価の実行、格納部内のプロンプトを検索を行う。また、情報処理部８４４は、フィードバック情報を基に必要に応じて入力情報の修正提案及び修正案の少なくとも一方を生成する。すなわち、具体的な例を挙げると、入力情報として「ＡＩ技術の最新動向について詳細に説明してください。」というプロンプトがあり、フィードバック情報として「処理に時間がかかりました。具体例を減らすと良いかもしれません。」とのコメントが得られた場合、修正提案として「詳細な説明を簡略化して、具体例の数を減らす」というものが生成される。この修正案としては、「ＡＩ技術の最新動向について概要を説明してください。」とすることができる。

【0085】

次に、フィードバック情報として評価スコアが提供された場合の例について説明する。入力情報として「ＡＩ技術の最新動向について詳細に説明してください。」というプロンプトがあり、フィードバック情報として評価スコアが２とされた場合、当該スコアからユーザＵが不満であると推定して修正提案の一例として「プロンプトの内容を簡略化し、わかりやすくする」が生成される。この修正案としては、「ＡＩ技術の最新動向について概要を説明してください。」とすることができる。

【0086】

次に、フィードバック情報としてサムズアップ／サムズダウン情報が提供された場合の例である。入力情報として「マーケティング戦略の基礎を教えてください。」というプロンプトがあり、フィードバック情報としてサムズダウン情報が提供された場合、当該フィードバック情報からユーザＵが不満であると推定して修正提案の一例として「プロンプトの内容を具体化し、実践的な要素を追加する」が生成される。この修正案としては、「マーケティング戦略の基礎と具体的な事例を教えてください。」とすることができる。

【0087】

次に、フィードバック情報としてタグ情報が提供された場合の例である。入力情報として「深層学習アルゴリズムの最適化手法について詳細に解説してください。」というプロンプトがあり、フィードバック情報として「難解」というタグが付与された場合、修正提案の一例として「難解な用語を簡素化し、わかりやすい説明を追加する」が生成される。この修正案としては、「深層学習アルゴリズムの最適化手法について、初心者にもわかりやすく解説してください。」とすることができる。

【0088】

次に、フィードバック情報として使用時間が提供された場合の例である。入力情報として「なぜこの問題が解決できなかったのか説明してください。」というプロンプトがあり、フィードバック情報が「使用時間（滞在時間）２分」という情報がありそれがこの状況においては短いと判断される場合、より詳細な説明を求める必要があると推定して、修正提案の一例として「より詳細な説明を追加し、ユーザーが長く滞在するようにする」が生成される。この修正案としては、「この問題がどのようにして発生したのか、もう少し詳しく教えていただけますか？」とすることができる。

【0089】

次に、フィードバック情報として結果の選択が提供された場合の例である。入力情報として「経済学の理論について教えてください。」というプロンプトがあり、フィードバック情報として簡単な説明を選択した場合、修正提案の一例として「初心者向けに内容を簡素化する」が生成される。この修正案としては、「経済学の基礎理論について、初心者にもわかりやすく教えてください。」とすることができる。なお、上述した例はプロンプトの場合であるが、テンプレートの場合についても同様である。すなわち、プロンプトのテンプレートとして「〇〇〇（〇〇〇はプレースホルダに相当）について最新の情報を詳細に説明してください。具体的な事例を５つ含めてください。」というものがあり、フィードバック情報として「処理に時間がかかりました。具体例を少なくすると良いかもしれません。」とのコメントが得られた場合、修正提案の一例として「具体例の数を減らし、概要を重視する」というものが生成される。この修正案としては、「〇〇〇について最新の情報を説明してください。具体的な事例を２つ含めてください。」とすることができる。なお、本実施形態では、修正提案と修正案とをそれぞれ生成する構成とされているが、これに限らず、修正提案及び修正案の少なくとも一方のみ生成する構成としてもよい。

【0090】

（情報処理システム６００が実行する処理）
次に、情報処理システム６００の作用について説明する。図７は、情報処理システム６００による処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム７２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。なお、第一実施形態と同一の処理については、同一符号を付してその説明を省略する。

【0091】

ステップＳ１３６の処理後、プロセッサ１２０は、フィードバック情報を取得したか否かを判定する（ステップＳ３００）。フィードバック情報が取得していない場合（ステップＳ３００：ＮＯ）、プロセッサ１２０は、プログラム８２０に基づく処理を終了する。一方、フィードバック情報を取得した場合（ステップＳ３００：ＹＥＳ）、プロセッサ１２０は、当該フィードバック情報を解析して入力情報の修正提案及び修正案の少なくとも一方が必要か否かを判定する（ステップＳ３０２）。修正提案等が必要なければ（ステップＳ３０２：ＮＯ）、プロセッサ１２０は、プログラム８２０に基づく処理を終了する。一方、修正提案等が必要であれば（ステップＳ３０２：ＹＥＳ）、プロセッサ１２０は、修正提案及び修正案の少なくとも一方を生成して（ステップＳ３０４）、ステップＳ３００へ処理を移行する。なお、上述のステップＳ３００が請求項１１に記載の「フィードバック情報取得ステップ」に相当する。また、上述のステップＳ３０２が請求項１２に記載の「修正レコメンドステップ」に相当する。

【0092】

（第三実施形態の作用効果）
本実施形態に係る情報処理システム６００においても、入力情報に対するフィードバック情報を取得する点等以外は第一実施形態と同様の構成とされているので、第一実施形態と同様の作用効果が得られる。また、情報処理システム６００は、入力情報に対するフィードバック情報を取得することから、どの入力情報が多くの修正を必要としているか、どの入力情報が最も効果的かを特定できる。これにより、入力情報の更新においてリソースを最も効果的に配分し、開発および改善の効率を高めることが可能となる。

【0093】

また、情報処理システム６００は、フィードバック情報を基に入力情報の修正提案及び修正案の少なくとも一方を生成する修正レコメンドステップと、を実行することから、ユーザＵは自身で問題を見つけて修正する必要がない。これにより、ユーザＵの負担が軽減され、快適にシステムを利用できるようになる。また、フィードバック情報と修正レコメンドステップの相乗効果により、入力情報を継続的に改良することができる。

【0094】

なお、上述した実施形態では、フィードバック情報を解析して必要に応じて入力情報の修正提案及び修正案の少なくとも一方の生成を行うが、これに限らず、フィードバック情報を解析してそれが良いフィードバック情報である場合は、当該フィードバック情報に対応する入力情報の推奨レベルを高めたり、評価の際の基準に設定するなど、修正提案や修正案の生成以外を実行してもよい。また、良いフィードバック情報を得た入力情報については、この入力情報に対応する出力情報を所定のタイミングで出力するように制御してもよい。この所定のタイミングとは、一例として、良いフィードバック情報を得た入力情報と同一あるいは類似する入力情報が別のタイミングで入力された際である。つまり、再度学習済みモデル２２２にて情報処理することなく出力情報を返すことができるので、計算コストを抑制しながらユーザＵにとって（良いフィードバック情報を得ていることから）満足度が高いと推定される出力情報を素早く出力することができる。

【0095】

（変形例１）
また、上述した情報処理システムを異なる視点で捉えると、本実施形態に係る情報処理システムの解決しようとする課題（目的）を、「学習済みモデルを切り替えた場合であっても所望する処理結果を効率良く得る」と捉えることもできる。

【0096】

上記のように課題を捉えると、課題を解決するための手段としての発明は、例えば以下のようになる。
「情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記学習済みモデル及び前記学習済みモデルとは異なる学習済みモデルへ所定の前記バージョン識別子に対応する前記入力情報を入力した結果である出力情報をそれぞれ取得する出力情報取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法。」

【0097】

上記構成によれば、異なる学習済みモデルにそれぞれ所定のバージョン識別子に対応する入力情報を入力してその出力情報を比較し評価する。そして、評価ステップでの評価結果が所定の結果、すなわち、非類似となる場合に入力情報の変更を行う調整ステップと、を実行することから、変更された入力情報に基づいて出力情報を変化させることができる。つまり、一方の学習済みモデルの出力情報と、他方の学習済みモデルの出力情報とを類似にすることが可能となる。これにより、学習済みモデルを切り替えた場合であっても出力情報の変化を抑制できるので、所望する結果を効率よく得ることができる。なお、一方の学習済みモデルの出力情報と、他方の学習済みモデルの出力情報との評価は、大規模言語モデルにそれぞれの出力情報と、それを比較評価する指示のプロンプトを入力することで実行可能となる。また、調整ステップにおいても、評価結果を踏まえて入力情報を調整する指示のプロンプトを大規模言語モデルに入力することで、入力情報の変更を行うことができる。

【0098】

（変形例２）
さらに、上述した情報処理システムを異なる視点で捉えると、本実施形態に係る情報処理システムの解決しようとする課題（目的）を、「更新した内容を連携した外部のシステム等にも反映させる」と捉えることもできる。

【0099】

上記のように課題を捉えると、課題を解決するための手段としての発明は、例えば以下のようになる。
「情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、
前記入力情報及び前記出力情報の少なくとも一方を利用可能に出力する出力ステップと、を含む情報処理方法。」

【0100】

上記構成によれば、出力ステップにて入力情報及び前記出力情報の少なくとも一方を利用可能に出力することから、更新ステップにて入力情報が更新された場合でもこの更新結果を出力することができる。これにより、本情報処理方法を実行するシステムと連携した外部のシステム等においても、更新した入力情報を利用できるので、変更の即時対応が実現される。つまり、ユーザビリティを向上させることができる。

【0101】

＜付記＞
本実施形態は、以下の開示を含む。

【0102】

（付記１）
情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、
を含む情報処理方法。

【0103】

（付記２）
所定の前記バージョン識別子を指定すると、当該バージョン識別子に対応する前記入力情報を前記レポジトリから取得する取得ステップとを含む、
付記１に記載の情報処理方法。

【0104】

（付記３）
前記バージョン識別子が異なる複数の前記入力情報をそれぞれ前記学習済みモデルへ入力した結果同士を比較及び評価の少なくとも一方を行う、
付記１及び付記２に記載の情報処理方法。

【0105】

（付記４）
前記レポジトリ内に、前記入力情報に対応するブランチ情報を格納する、
付記１～付記３のいずれか一項に記載の情報処理方法。

【0106】

（付記５）
前記格納ステップは、取得した前記入力情報に基く前記学習済みモデルから出力情報を当該入力情報に紐付けて前記レポジトリに格納する、
付記１～付記４のいずれか一項に記載の情報処理方法。

【0107】

（付記６）
前記入力情報に応じて前記学習済みモデルからの前記出力情報を得るために必要な追加情報を生成し、当該追加情報を付加した前記入力情報を取得する、
付記５に記載の情報処理方法。

【0108】

（付記７）
前記出力情報に対応する前記バージョン識別子を生成しかつ前記レポジトリに格納する、
付記５に記載の情報処理方法。

【0109】

（付記８）
前記入力情報及び前記出力情報の少なくとも一方を閲覧可能に出力する出力ステップと、を含む、
付記５に記載の情報処理方法。

【0110】

（付記９）
情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得ステップと、
前記入力情報及び前記タグ情報をレポジトリに格納する格納ステップと、
を含む情報処理方法。

【0111】

（付記１０）
前記入力情報を基に前記タグ情報を生成するタグ生成ステップと、を含む、
付記９に記載の情報処理方法。

【0112】

（付記１１）
前記入力情報を、自然言語による検索条件情報にて検索を実施する検索ステップと、を含む、
付記１～付記１０のいずれか一項に記載の情報処理方法。

【0113】

（付記１２）
情報処理装置が実行する情報処理方法であって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報に対応するフィードバック情報を取得するフィードバック情報取得ステップと、
を含む情報処理方法。

【0114】

（付記１３）
前記フィードバック情報を基に前期入力情報の修正提案及び修正案の少なくとも一方を生成する修正レコメンドステップと、
付記１２に記載の情報処理方法。

【0115】

（付記１４）
情報処理装置に、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップと、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新ステップと、
を含む情報処理方法を実行させるためのプログラム。

【0116】

（付記１５）
情報処理装置に、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得する入力情報取得ステップと、
前記入力情報及び前記タグ情報をレポジトリに格納する格納ステップと、
を含む情報処理方法を実行させるためのプログラム。

【0117】

（付記１６）
情報処理装置に、
学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップと、
前記入力情報をレポジトリに格納する格納ステップと、
前記レポジトリ内の前記入力情報に対応するフィードバック情報を取得するフィードバック情報取得ステップと、
を含む情報処理方法を実行させるためのプログラム。

【0118】

（付記１７）
情報処理装置が実行する情報処理システムであって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、
前記入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成部と、
前記入力情報及び当該入力情報に対応する前記バージョン識別子をレポジトリに格納する格納実行部と、
前記レポジトリ内の前記入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の前記入力情報とこれに対応する前記バージョン識別子を前記レポジトリ内に格納する更新部と、
を有する情報処理システム。

【0119】

（付記１８）
情報処理装置が実行する情報処理システムであって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、
学習済みモデルへ入力するための入力情報及び当該入力情報におけるタグ情報を取得するタグ情報取得部と、
前記入力情報及び前記タグ情報をレポジトリに格納する格納実行部と、
を有する情報処理システム。

【0120】

（付記１９）
情報処理装置が実行する情報処理システムであって、
学習済みモデルへ入力するための入力情報を取得する入力情報取得部と、
前記入力情報をレポジトリに格納する格納実行部と、
前記レポジトリ内の前記入力情報に対応するフィードバック情報を取得するフィードバック情報取得部と、
を有する情報処理システム。

【0121】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0122】

１０ 情報処理システム
１２ サーバ（情報処理装置）
１４ 利用者端末（情報処理装置）
２２０ プログラム
２２２ 学習済みモデル
２４２ 情報取得部（入力情報取得部）
２４４ 情報処理部（バージョン識別子生成部、格納実行部、更新部）
５００ 情報処理システム
６００ 情報処理システム
７４２ 情報取得部（入力情報取得部、タグ情報取得部）
７４４ 情報処理部（バージョン識別子生成部、格納実行部、更新部）
８４２ 情報取得部（入力情報取得部）
８４４ 情報処理部（バージョン識別子生成部、格納実行部、更新部）

【要約】      （修正有）

【課題】所望する処理結果を効率良く得るための情報処理方法、情報処理システム及びプログラムを提供する。
【解決手段】方法は、学習済みモデルへ入力するための入力情報を取得する入力情報取得ステップＳ１００と、入力情報のバージョンを識別するためのバージョン識別子を生成するバージョン識別子生成ステップＳ１０４と、入力情報及び当該入力情報に対応するバージョン識別子をレポジトリに格納する格納ステップＳ１０６と、レポジトリ内の入力情報が更新されると、これに対応して新たなバージョン識別子を生成し更新後の入力情報とこれに対応するバージョン識別子をレポジトリ内に格納する更新ステップＳ１０８～Ｓ１１４と、を含む。
【選択図】図４

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】