特許 7471044 情報処理方法、プログラム及び情報処理システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-04-11

(45)【発行日】2024-04-19

(54)【発明の名称】情報処理方法、プログラム及び情報処理システム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240412BHJP

【ＦＩ】

G06N20/00

【請求項の数】 10

(21)【出願番号】P 2024018222

(22)【出願日】2024-02-08

【審査請求日】2024-02-15

【早期審査対象出願】

(73)【特許権者】

【識別番号】517255566

【氏名又は名称】株式会社エクサウィザーズ

(72)【発明者】

【氏名】大西 真輝

(72)【発明者】

【氏名】長谷川 駿

(72)【発明者】

【氏名】プトラ ジャンウィラゴタマ

(72)【発明者】

【氏名】岩田 晟

【審査官】大倉 崚吾

(56)【参考文献】

【文献】特開２０２３－１５８９９２（ＪＰ，Ａ）

【文献】特開２０２０－００４１７８（ＪＰ，Ａ）

【文献】中島京太郎 ほか，"語彙内トークンを媒介とした大規模言語モデルへのソフトプロンプトの転移"，情報処理学会研究報告，2023年09月，Vol. 2023-NL-257，No. 1，p. 1-8

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理装置が実行する情報処理方法であって、
第一学習済みモデル及び当該第一学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法。

【請求項2】

前記評価ステップは、前記第一学習済みモデルの出力情報を基準として前記第二学習済みモデルの出力情報を評価する、
請求項１に記載の情報処理方法。

【請求項3】

前記調整ステップにて変更された前記入力情報を前記第二学習済みモデルへ入力した出力情報を取得し、変更前の前記入力情報を入力した前記第一学習済みモデルからの前記出力情報を比較し評価する再評価ステップを含む、
請求項１に記載の情報処理方法。

【請求項4】

前記再評価ステップによる前記評価の結果が所定の結果となる場合に再度前記調整ステップを実行する、
請求項３の記載の情報処理方法。

【請求項5】

前記評価の結果が前記所定の結果とならない場合、前記第一学習済みモデルから前記第二学習済みモデルへの変更が可能である旨を出力する出力ステップを含む、
請求項１に記載の情報処理方法。

【請求項6】

前記第一学習済みモデル及び前記第二学習済みモデルは、言語モデルである、
請求項１に記載の情報処理方法。

【請求項7】

前記評価ステップにおいて、複数の処理を組合せた所定の処理フローに沿って前記出力情報の評価を行う、
請求項１に記載の情報処理方法。

【請求項8】

前記評価ステップにおいて、前記入力情報の意図に沿って前記出力情報の評価を行う、
請求項１に記載の情報処理方法。

【請求項9】

情報処理装置に、
第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法を実行させるためのプログラム。

【請求項10】

情報処理装置が実行する情報処理システムであって、
第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を行う情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理方法、プログラム及び情報処理システムに関する。

【背景技術】

【0002】

特許文献１には、学習済みモデルを利用した処理システムが開示されている。この処理システムでは、データのタイムスタンプ情報を基に処理に用いる学習済みモデルを切り替える。

【先行技術文献】

【特許文献】

【0003】

【文献】特許６５５８１８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、学習済みモデルを用いて情報処理を行う場合、学習済みモデル自体のサービスの停止や類似の学習済みモデルへの切替などを背景に、利用する学習済みモデルの変更が要望される場合がある。しかしながら、学習済みモデルを変更すると出力情報が変化する可能性があり、この点で改善の余地がある。

【0005】

本発明は、上記事実を考慮し、出力情報の変化を抑制しながら学習済みモデルの変更を可能にすることを目的とする。

【課題を解決するための手段】

【0006】

一実施形態に係る情報処理方法によれば、情報処理装置が実行する情報処理方法であって、情報処理装置が実行する情報処理方法であって、第一学習済みモデル及び当該第一学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、それぞれの前記出力情報を比較し評価する評価ステップと、前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、を含む。

【0007】

一実施形態に係るプログラムによれば、情報処理装置に、第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、それぞれの前記出力情報を比較し評価する評価ステップと、前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、を含む情報処理方法を実行させる。

【0008】

一実施形態に係る情報処理システムによれば、情報処理装置が実行する情報処理システムであって、第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、それぞれの前記出力情報を比較し評価する評価ステップと、前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、を行う。

【発明の効果】

【0009】

一実施形態によれば、出力情報の変化を抑制しながら学習済みモデルの変更を可能にする。

【図面の簡単な説明】

【0010】

【図1】一実施形態に係る情報処理システムの構成の一例を示す図である。

【図2】一実施形態に係るサーバのハードウェア構成の一例を示す図である。

【図3】一実施形態に係るサーバの機能構成の一例を示す図である。

【図4】一実施形態に係る情報処理システムの処理の流れの一例を示す図である。

【図5】一実施形態に係る情報処理システムにおける評価ステップの流れの一例を示す図である。

【図6】一実施形態に係る情報処理システムの変形例における評価ステップの流れの一例を示す図である。

【発明を実施するための形態】

【0011】

以下、図１～図６を用いて、本発明に係る情報処理システムの一実施形態について説明する。なお、各図において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0012】

（システム概要）
まず、本実施形態に係る情報処理システム１０の概要について説明する。本実施形態に係る情報処理システム１０は、使用する学習済みモデルの変更（切替）処理の少なくとも一部を行うための情報処理システムである。この情報処理システム１０は、学習済みモデルを利用した情報処理を行う別の情報処理システムに対して学習済みモデルの変更処理を行うものに限らず、情報処理システム１０自身が有する学習済みモデルに対する変更処理を行うものでもよい。

【0013】

（システム構成）
図１は、本実施形態に係る情報処理システム１０の構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１０は、ネットワークＮを介して相互に通信可能に接続された、情報処理装置としてのサーバ１２と、情報処理装置としての利用者端末１４と、を備える。ネットワークＮは、例えば、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ、インターネット、公衆回線網、モバイルデータ通信網、又はこれらの組み合わせである。

【0014】

利用者端末１４は、ユーザＵにより各種情報の入力及び表示のための操作を行う情報処理装置の一例である。利用者端末１４は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、ウェアラブルデバイス、又はこれらの組み合わせであってもよい。

【0015】

サーバ１２は、利用者端末１４から入力された情報を取得し、当該情報を基に処理を行い結果を出力する情報処理装置の一例である。サーバ１２は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、スマートフォン、タブレット端末、サーバ装置、マイクロコンピュータ、又はこれらの組み合わせであってもよい。サーバ１２の具体的な構成及び作用については、後述する。

【0016】

（ハードウェア構成）
図２は、サーバ１２のハードウェア構成を示すブロック図である。サーバ１２は、バスＢを介して相互に通信可能に接続された、プロセッサ１２０と、メモリ１２２と、ストレージ１２４と、通信Ｉ／Ｆ１２６と、入出力Ｉ／Ｆ１２８と、ドライブ装置１３４と、を備える。

【0017】

プロセッサ１２０は、ストレージ１２４に記憶された各種プログラムをメモリ１２２に展開して実行することにより、サーバ１２の各構成を制御し、サーバ１２の機能を実現する。プロセッサ１２０が実行するプログラムは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）及び後述するプログラム２２０を含むが、これに限られない。プロセッサ１２０がこれらプログラムを実行することにより、本実施形態に係る状態可視化方法の一部が実現される。プロセッサ１２０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、又はこれらの組み合わせである。

【0018】

メモリ１２２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又はこれらの組み合わせである。ＲＯＭは、例えば、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、又はこれらの組み合わせである。ＲＡＭは、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ ＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ ＲＡＭ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ ＲＡＭ）、又はこれらの組み合わせである。

【0019】

ストレージ１２４は、ＯＳ、後述する各種プログラム、及び各種のデータを記憶する。ストレージ１２４は、例えば、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＳＣＭ（Ｓｔｏｒａｇｅ Ｃｌａｓｓ Ｍｅｍｏｒｉｅｓ）、又はこれらの組み合わせである。

【0020】

通信Ｉ／Ｆ１２６は、サーバ１２を、ネットワークＮを介して、利用者端末１４を含む外部装置に接続し、通信を制御するためのインタフェースである。通信Ｉ／Ｆ１２６は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｅｔｈｅｒｎｅｔ（登録商標）、又は光通信（例えば、Ｆｉｂｒｅ Ｃｈａｎｎｅｌ）に準拠したアダプタであるが、これに限られない。

【0021】

入出力Ｉ／Ｆ１２８は、サーバ１２に入力装置１３２及び出力装置１３０を接続するためのインタフェースである。入力装置１３２は、例えば、マウス、キーボード、タッチパネル、マイク、スキャナ、カメラ、各種センサ、操作ボタン、又はこれらの組み合わせである。出力装置１３０は、例えば、ディスプレイ、プロジェクタ、プリンタ、スピーカ、バイブレータ、又はこれらの組み合わせである。

【0022】

ドライブ装置１３４は、ディスクメディア１３６のデータを読み書きする。ドライブ装置１３４は、例えば、磁気ディスクドライブ、光学ディスクドライブ、光磁気ディスクドライブ、又はこれらの組み合わせである。ディスクメディア１３６は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＦＤ（Ｆｌｏｐｐｙ Ｄｉｓｋ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、又はこれらの組み合わせである。

【0023】

なお、本実施形態において、プログラムは、サーバ１２の製造段階でメモリ１２２又はストレージ１２４に書き込まれてもよいし、ネットワークＮを介してサーバ１２に提供されてもよいし、ディスクメディア１３６などの非一時的でコンピュータ読み取り可能な記録媒体を介してサーバ１２に提供されてもよい。

【0024】

また、利用者端末１４のハードウェア構成については、上述したサーバ１２のハードウェア構成と略同一の構成とされているため、詳細な説明については省略する。

【0025】

（機能構成）
次に、サーバ１２の機能構成について説明する。図３は、サーバ１２の機能構成の一例を示す図である。各種プログラムを実行する際に、サーバ１２は上記のハードウェア資源を用いて、各種の機能を実現する。サーバ１２は、サーバ１２が実現する機能構成として、通信部２０と、記憶部２２と、制御部２４と、を有している。各機能構成は、プロセッサ１２０がメモリ１２２又はストレージ１２４に記憶されたプログラム２２０を読み出し、実行することで実現される。

【0026】

通信部２０は、通信Ｉ／Ｆ１２６により実現される。通信部２０は、ネットワークＮを介して、利用者端末１４との間で情報の送受信を行う。通信部２０は、利用者端末１４から入力された情報を受信する。また、通信部２０は、利用者端末１４に対して情報を送信し、利用者端末１４からユーザＵによるリクエストを受信する。

【0027】

記憶部２２は、メモリ１２２及びストレージ１２４により実現される。記憶部２２には、プログラム２２０と、第一学習済みモデル２２２と、第二学習済みモデル２２４と、入力情報２２６と、出力情報２２８と、評価情報２３０と、調整情報２３２と、が格納される。

【0028】

第一学習済みモデル２２２及び第二学習済みモデル２２４は、少なくとも一つの学習済み機械学習モデルにより構成されている。この第一学習済みモデル２２２及び第二学習済みモデル２２４は、一例として、大規模言語モデルとされ、インターネット上の記事、書籍及びウェブサイトなどからの大量のテキストデータを学習させたモデルとされており、入力情報２２６としてプロンプトと称されるテキストデータを入力すると、プロンプトに応じた情報処理を実行し結果としてテキストデータを含む各種データ生成し当該データを出力情報２２８として出力する。

【0029】

第一学習済みモデル２２２と第二学習済みモデル２２４とは、それぞれ異なる学習済みモデルとされている。具体的な例として、第一学習済みモデル２２２はＯｐｅｎＡＩ社のＧＰＴ―４、第二学習済みモデル２２４はＡＮＴＨＲＯＰＩＣ社のＣｌａｕｄｅとしている。なお、第一学習済みモデル２２２と第二学習済みモデル２２４とは、この例に限らず、そのほかの大規模言語モデルを含む言語モデルとしてもよい。また、第一学習済みモデル２２２と第二学習済みモデル２２４とは、それぞれ記憶部２２ではなく外部のサーバ等に格納されたものであってもよい。なお、前述の「（第一学習済みモデル２２２と第二学習済みモデル２２４とは、）それぞれ異なる（学習済みモデルとされている）」には、別の学習済みモデルのみならず、同一の学習済みモデルにおけるバージョン違いのモデルも「異なる」モデルに含まれる。

【0030】

入力情報２２６は、前述のように第一学習済みモデル２２２及び第二学習済みモデル２２４への処理を指示するプロンプトとされており、自然言語によるテキストデータとされている。この入力情報２２６は、ユーザＵにより入力されるが、これに限らず、システムが自動で生成したものや改変したものでもよい。

【0031】

出力情報２２８は、プロンプトに基いて第一学習済みモデル２２２及び第二学習済みモデル２２４の少なくとも一方が処理を実行した結果を示す情報である。出力情報２２８は、テキスト情報や画像情報を含む各種情報であり、プロンプトに紐付けられて格納されている。

【0032】

評価情報２３０は、第一学習済みモデル２２２及び第二学習済みモデル２２４の少なくとも一方の出力情報２２８とこれに紐付けられたプロンプト（入力情報２２６）との評価の結果の情報である。具体的には、入力情報２２６の意図を判定すると共に、当該意図に対して出力情報２２８がどの程度マッチしているかを評価した情報である。また、評価情報２３０には、第一学習済みモデル２２２と第二学習済みモデル２２４との出力情報２２８同士を比較し、内容の類似度合を判定した情報が含まれる。詳細は後述する。

【0033】

調整情報２３２は、入力情報２２６の変更を行ったテキストデータである。この調整情報２３２には、当初の入力情報２２６に対して変更内容が追加された情報を追加したものや、当初の入力情報２２６に対して変更内容を踏まえて書き換えられた情報である。詳細は後述する。

【0034】

制御部２４は、プロセッサ１２０がメモリ１２２（図２参照）からプログラム２２０を読み出して実行し、他のハードウェア構成と協働することにより実現される。制御部２４は、情報取得部２４２と、情報処理部２４４と、出力評価部２４６と、入力情報調整部２４８と、出力部２５０と、を備える。

【0035】

情報取得部２４２は、第一学習済みモデル２２２及び第二学習済みモデル２２４としてユーザＵにより指定される大規模言語モデルに関する情報及び当該大規模言語モデルを利用するための情報等を取得する。具体的には、現在利用している学習済みモデルを第一学習済みモデル２２２として当該学習済みモデルの種類、名称（本実施形態の場合、大規模言語モデルのＧＰＴ―４）及び当該学習済みモデルを利用するための情報としてＩＤやパスワード、ＡＰＩキー等を取得する。また、情報取得部２４２は、利用している第一学習済みモデル２２２から利用を切り替え（変更し）たい学習済みモデルを第二学習済みモデル２２４として当該学習済みモデルの種類、名称（本実施形態の場合、大規模言語モデルのＣｌａｕｄｅ）及び当該学習済みモデルを利用するための情報としてＩＤやパスワード、ＡＰＩキー等を取得する。この第一学習済みモデル２２２及び第二学習済みモデル２２４に関する情報は、ユーザＵや情報処理装置による学習済みモデルの切替指示を受信した際に取得してもよいし、切替指示の有無を問わず予め取得してもよい。

【0036】

また、情報取得部２４２は、情報処理部２４４での処理において必要となる各種情報を取得する。具体的には、処理を指示する入力情報２２６及び入力情報２２６に基づいて第一学習済みモデル２２２及び第二学習済みモデル２２４の少なくとも一方の処理結果である出力情報２２８を取得する。これらの取得する情報は、利用者端末１４から取得された情報でもよいし、記憶部２２の格納された情報であってもよいし、外部のデータソース等から取得されたものであってもよい。

【0037】

情報処理部２４４は、入力情報２２６に基づいて第一学習済みモデル２２２及び第二学習済みモデル２２４による情報処理を行う。この入力情報２２６に基づく処理は、第一学習済みモデル２２２及び第二学習済みモデル２２４のそれぞれにて同一の入力情報２２６を基に処理を行う制御と、第一学習済みモデル２２２及び第二学習済みモデル２２４のどちらか一方のみにて入力情報２２６を基に処理を行う制御と、を必要に応じて実行する。

【0038】

出力評価部２４６は、同一の入力情報２２６を基に第一学習済みモデル２２２及び第二学習済みモデル２２４の処理結果である出力情報２２８をそれぞれ取得し、入力情報２２６に対する出力内容の差異を評価する。この評価は、第一学習済みモデル２２２の出力情報を基準として後述する意図の判定を含む複数の処理を組合せた所定の処理フローに従って評価を行う。出力評価部２４６は、出力情報２２８の評価において、第一学習済みモデル２２２を利用して評価を行う。すなわち、第一学習済みモデル２２２にプロンプトとして入力情報２２６に対する２つの出力情報２２８の評価を実施する旨及び所定の処理フローに従って評価を行うように指示することで、第一学習済みモデル２２２を利用して評価を行う。

【0039】

また、出力評価部２４６は、入力情報２２６の意図の判定を行う。この意図とは、入力情報２２６であるプロンプトの背後にある思考や目的を指すものであり、具体的には、意図として大きく「ブレインストーミング（ブレスト）」、「確認」、「要約」、「情報要求」及び「その他」の５つに分類する。「ブレスト」は、ユーザーがアイデアや提案を求めているものである。この場合、ユーザーには決まった答えがないものが大半となる。「確認」は、ユーザーが処理すべき具体的な入力なしに、いくつかのガイドラインや指示（具体的な例として、「あなたは知的財産の専門家です」と大規模言語モデルに対して役割を指示するプロンプト）を提供するものである。この場合のシステムの応答は通常、肯定や認識となる。「要約」は、ユーザーが高レベルの、広範な情報を求めているものである。一例として、特定のプログラミング言語でコードを書くことや、特定の技術用語を定義または説明することや、文章を要約することや、詳細な具体性を要求しない一般知識の質問に答えることが含まれる。「情報要求」は、ユーザーが低レベルの情報を求めたり、非常に詳細な特定のタスクを実行するよう求めたりするものである。一例として、特定のシナリオで特定の情報を求めることや、文章を翻訳または言い換えるように要求することや、特定のスタイルで応答をフォーマットすることや、特定の表形式での応答することなどが含まれる。「その他」は、上述した４つの意図に当てはまらないものである。なお、本実施形態では、上述した５つの意図に大きく分類する構成とされているが、これに限らず、他の意図による分類や異なる分類数による分類等としてもよい。また、出力評価部２４６は、入力情報２２６の意図を「その他」と分類した際に、当該入力情報２２６の意図についてさらに個別具体的に判定を行う。

【0040】

入力情報調整部２４８は、出力評価部２４６における評価結果が所定の結果として「第一学習済みモデル２２２と第二学習済みモデル２２４とのそれぞれの出力情報は非類似（以下、単に「非類似」と称する。）」とされた場合、入力情報２２６の調整を行う。すなわち、入力情報調整部２４８は、第一学習済みモデル２２２の出力情報を基準として、第二学習済みモデル２２４の出力情報が第一学習済みモデル２２２の出力結果に類似となるよう入力情報２２６の調整を行う。具体的には、入力情報２２６に対して、補足情報等を追加したり、補足情報等を織り込んで改めて入力情報２２６を構築するように指示する入力情報（プロンプト）を第一学習済みモデル２２２へ入力し、それに対応する出力情報を調整した入力情報２２６、つまり調整情報２３２として得る。この補足情報として、出力様式、出力フォーマット、対象者情報、背景情報、詳細情報、文脈特有指示情報等がある。出力様式の具体的な例として、アカデミックな出力、説明的又は教育的な出力、物語的な出力、礼儀正しい表現による出力、営業的な説得力のある出力、明示的な出力、又は暗黙的な出力などがある。つまり、出力様式とは、出力の表現方法を表す情報である。また、出力フォーマットの具体的な例として、文章形式、表形式、リスト形式などがある。なお、この出力フォーマットについては、レベル情報、階層数及びレイヤー数等を含めてもよい。つまり、出力フォーマットとは、出力結果を表示するための構造や形式を示す情報である。さらに、対象者情報の具体的な例としては、一般ユーザ、プログラマなどの開発者、ビジネスプロフェッショナル、専門家等がある。つまり、対象者情報は、出力結果を誰に向けて出力するのかを示す情報である。さらにまた、背景情報の具体的な例としては、顧客への連絡メール、採用のための求人票作成などがある。つまり、背景情報は、出力がどのように使用されるかについてのコンテキストを示す情報である。また、詳細情報の具体的な例としては、シンプル、簡潔、包括的、詳細、解説的などがある。つまり、詳細情報は、情報の精緻さを示す情報である。この入力情報調整部２４８にて得られた調整情報２３２は、入力情報２２６及び評価情報２３０と紐付けられて記憶部２２へ格納される。さらに、文脈特有指示情報は、基準とする学習済みモデル（本実施形態では第一学習済みモデル２２２）に対して入力情報２２６を入力したことで得られる出力情報２２８と、切替先対象の学習済みモデル（本実施形態では第二学習済みモデル２２４）に対して前述の入力情報２２６と同一の入力情報２２６を入力したことで得られる出力情報２２８とを比較し、その差異を小さくするための指示情報である。具体的な例としては、入力情報２２６が「私は日本円から米国ドルへ両替したい」とした場合、第一学習済みモデル２２２では「ＴＴＳ（Ｔｅｌｅｇｒａｐｈｉｃ Ｔｒａｎｓｆｅｒ Ｓｅｌｌｉｎｇ）レートに基づいた場合、現在は１ドル１４８円で両替が可能です」との出力情報２２８が得られる一方、第二学習済みモデル２２４では「レートによりますが現在は１ドル１４０円台で両替されるでしょう」との出力情報２２８が得られるとする。この場合、基準となる第一学習済みモデル２２２の出力に対する第二学習済みモデル２２４の出力は抽象的であるので、この差異を小さくすべく「ＴＴＳレートに基づいて両替を行うものとする」という文脈特有指示情報が生成される。つまり、文脈特有指示情報は、第一学習済みモデル２２２の出力情報２２８に対して第二学習済みモデル２２４の出力情報２２８が抽象的であれば、何かしらの観点を絞り込んで追加される文脈に沿った具体的な情報である。なお、文脈特有指示情報は、上述した抽象度だけではなく、信頼度、完全性、可用性、時間性、関連性などその他の観点における、第一学習済みモデル２２２と第二学習済みモデル２２４との出力差異を小さくする情報も含まれる。

【0041】

なお、入力情報調整部２４８にて調整情報２３２が生成された場合、前述の情報処理部２４４は、調整情報２３２を取得して第二学習済みモデル２２４のみにて調整情報２３２を元に処理を行うように制御する。また、出力評価部２４６は、調整情報２３２による第二学習済みモデル２２４の出力情報２２８と、入力情報２２６による第一学習済みモデル２２２の出力情報２２８と、を第一学習済みモデル２２２を利用して所定の処理フローに従って評価を行う。この評価結果が、「非類似」とされた場合、再度入力情報調整部２４８が入力情報２２６の調整を行い、この調整の結果である調整情報２３２が生成された場合、前述の情報処理部２４４は、当該調整情報２３２を取得して第二学習済みモデル２２４のみにて当該調整情報２３２を元に処理を行うように制御すると共に出力評価部２４６による評価までの処理を繰り返す。換言すると、「第一学習済みモデル２２２と第二学習済みモデル２２４とのそれぞれの出力情報は類似」（請求項５の「所定の結果とならない場合」に相当）とされるまで、上記の一連の処理が繰り返される。なお、再度行われる入力情報２２６の調整において、当該調整の対象となる入力情報２２６は、その直前に出力評価部２４６による評価が行われた入力情報２２６でもよいし、最初に出力評価部２４６による評価が行われた入力情報２２６でもよいし、それ以外の入力情報２２６でもよい。

【0042】

出力部２５０は、出力評価部２４６による評価結果が「第一学習済みモデル２２２と第二学習済みモデル２２４とのそれぞれの出力情報は類似（以下、単に「類似」と称する。）」とされた場合、第一学習済みモデル２２２から第二学習済みモデル２２４へに切替が可能な旨を利用者端末１４に通知するように制御を行う。

【0043】

（情報処理システム１０が実行する処理－全体のフロー）
次に、情報処理システム１０の作用について説明する。図４は、情報処理システム１０による処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム２２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。なお、図示しないが、プロセッサ１２０は、情報処理システム１０の作動終了操作情報、又は実行中の判定処理において利用者端末１４より操作終了の情報（これらを単に「終了操作」と称する）を受信した場合は、処理中のプログラム２２０に基づく処理を終了する。

【0044】

プロセッサ１２０は、システムが利用する学習済みモデルを他の学習済みモデルへ切り替える指示の有無を判定する（ステップＳ１００）。この指示は、ユーザＵが利用者端末１４を通じて行われたものでもよいし、情報処理システム１０、利用者端末１４又は他の情報処理装置が所定の判定結果を踏まえて自動で行ったものでもよい。切替指示が無い場合（ステップＳ１００：ＮＯ）、プロセッサ１２０は、プログラム２２０に基づく処理を終了する。一方、切替指示を受信した場合（ステップＳ１００：ＹＥＳ）、プロセッサ１２０は、第一学習済みモデル２２２及び第二学習済みモデル２２４に関する各種情報を取得する（ステップＳ１０２）。

【0045】

プロセッサ１２０は、入力情報２２６を取得する（ステップＳ１０２）と共に、当該入力情報２２６に基づいて第一学習済みモデル２２２による処理を行う（ステップＳ１０６）。また、プロセッサ１２０は、同一の入力情報２２６に基づいて第二学習済みモデル２２４による処理を行う（ステップＳ１０８）。

【0046】

プロセッサ１２０は、第一学習済みモデル２２２及び第二学習済みモデル２２４の処理結果である出力情報２２８をそれぞれ取得する（ステップＳ１１０）。なお、ステップＳ１１０の処理が請求項１に記載の「取得ステップ」に相当する。そして、プロセッサ１２０は、入力情報２２６に対する出力内容の差異を評価する（ステップＳ１１２）。その後、プロセッサ１２０は、評価結果が類似であるか否かを判定する（ステップＳ１１４）。類似と判定された場合（ステップＳ１１４：ＹＥＳ）、プロセッサ１２０は、後述するステップＳ１２６へ処理を移行する。一方、類似ではない（つまり、非類似）と判定された場合（ステップＳ１１４：ＮＯ）、プロセッサ１２０は、入力情報２２６の調整を行う（ステップＳ１１６）。なお、ステップＳ１１２及びステップＳ１１４が請求項１に記載の「評価ステップ」に相当すると共に、ステップＳ１１６が請求項１に記載の「調整ステップ」に相当する。調整ステップでは、換言すると、第一学習済みモデル２２２の出力情報２２８と第二学習済みモデル２２４の出力情報２２８とが類似となるように入力情報２２６の変更を行う。

【0047】

プロセッサ１２０は、入力情報２２６の調整の結果生成された調整情報２３２を基に第二学習済みモデル２２４にて処理を行う（ステップＳ１１８）。そして、プロセッサ１２０は、調整情報２３２による第二学習済みモデル２２４の出力情報と、入力情報２２６による第一学習済みモデル２２２の出力情報２２８とをそれぞれ取得する（ステップＳ１２０）と共に、取得した出力情報２２８の出力内容の差異を評価する（ステップＳ１２２）。その後、プロセッサ１２０は、評価結果が類似であるか否かを判定する（ステップＳ１２４）。類似と判定された場合（ステップＳ１２４：ＹＥＳ）、プロセッサ１２０は、第一学習済みモデル２２２から第二学習済みモデル２２４へに切替が可能な旨を利用者端末１４に通知し（ステップＳ１２６）、処理を終了する。一方、類似ではない（つまり、非類似）と判定された場合（ステップＳ１２４：ＮＯ）、プロセッサ１２０は、ステップＳ１１６へ処理を移行する。なお、上述したステップＳ１２０からステップＳ１２４までの処理が請求項３に記載の「再評価ステップ」に相当すると共に、ステップＳ１２６が請求項５に記載の「出力ステップ」に相当する。

【0048】

（情報処理システム１０が実行する処理－評価ステップのフロー）
次に、情報処理システム１０が実施する評価ステップにて実施される複数の処理を組合せた所定の処理フローについて説明する。図５は、情報処理システム１０による評価ステップの処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム２２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。この処理フローは、前述した図４におけるフローチャートにおけるステップＳ１１４及びステップＳ１２４で行われる処理に相当する。

【0049】

プロセッサ１２０は、入力情報２２６と、第一学習済みモデル２２２及び第二学習済みモデル２２４の処理結果であるそれぞれの出力情報２２８と、をそれぞれ取得する（ステップＳ２００）。そして、プロセッサ１２０は、入力情報２２６の意図の判定を行う（ステップＳ２０２）。

【0050】

プロセッサ１２０は、入力情報２２６の意図が明確であるか否かを判定する（ステップＳ２０４）。意図が明確でない場合（ステップＳ２０４：ＮＯ）、プロセッサ１２０は、後述するステップＳ２３０へ処理を移行する。一方、意図が明確である場合（ステップＳ２０４：ＹＥＳ）、プロセッサ１２０は、当該意図がブレストを目的としたものであるか否かを判定する（ステップＳ２０６）。意図がブレストを目的としたものでない場合（ステップＳ２０６：ＮＯ）、プロセッサ１２０は、後述するステップＳ２０８へ処理を移行する。一方、意図がブレストを目的としたものである場合（ステップＳ２０６：ＹＥＳ）、プロセッサ１２０は、第一学習済みモデル２２２の出力情報２２８と第二学習済みモデル２２４の出力情報２２８との各出力（以下、単に「各出力」と称する。）が前判定の意図に合っているか否かを判定する（ステップＳ２２２）。各出力が前判定の意図に合っている場合（ステップＳ２２２：ＹＥＳ）、プロセッサ１２０は、各出力の意図が同じ種類であるか否かを判定する（ステップＳ２２４）。一方、各出力が前判定の意図に合っていない場合（ステップＳ２２２：ＮＯ）、プロセッサ１２０は、非類似判定を行い（ステップＳ２３２）、本処理フローを終了する。

【0051】

ステップＳ２２４の判定において、各出力の意図が同じ種類である場合（ステップＳ２２４：ＹＥＳ）、プロセッサ１２０は、類似判定を行い（ステップＳ２３０）、本処理フローを終了する。一方、各出力の意図が同じ種類でない場合（ステップＳ２２４：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。

【0052】

プロセッサ１２０は、入力情報２２６の意図が確認であるか否かを判定する（ステップＳ２０８）。意図が確認である場合（ステップＳ２０８：ＹＥＳ）、プロセッサ１２０は、ステップＳ２２２へ処理を移行する。一方、意図が確認でない場合（ステップＳ２０８：ＮＯ）、プロセッサ１２０は、後述するステップＳ２１０へ処理を移行する。

【0053】

プロセッサ１２０は、入力情報２２６の意図が要約であるか否かを判定する（ステップＳ２１０）。意図が要約である場合（ステップＳ２１０：ＹＥＳ）、プロセッサ１２０は、各出力が要約前の元の情報における重要な情報を保持しているか否かを判定する（ステップＳ２２６）。元の情報を保持している場合（ステップＳ２２６：ＹＥＳ）、プロセッサ１２０は、ステップＳ２３０へ処理を移行する。一方、元の情報を保持していない場合（ステップＳ２２６：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。なお、意図が要約でない場合（ステップＳ２１０：ＮＯ）、プロセッサ１２０は、後述するステップＳ２１２へ処理を移行する。

【0054】

プロセッサ１２０は、入力情報２２６の意図が情報要求であるか否かを判定する（ステップＳ２１２）。意図が情報要求である場合（ステップＳ２１２：ＹＥＳ）、プロセッサ１２０は、各出力が入力情報２２６の情報要求に対する要求レベルを満たしているか否かを判定する（ステップＳ２２８）。要求レベルを満たしている場合（ステップＳ２２８：ＹＥＳ）、プロセッサ１２０は、ステップＳ２３０へ処理を移行する。一方、要求レベルを満たしていない場合（ステップＳ２２８：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。なお、意図が情報要求でない場合（ステップＳ２１２：ＮＯ）、プロセッサ１２０は、入力情報２２６の意図をその他のものとして判定する（ステップＳ２１４）。

【0055】

プロセッサ１２０は、各出力が入力情報２２６から推定される意図に合っているか否かを判定する（ステップＳ２１６）。ここでの「意図」は、入力情報２２６の個別具体的な意図に相当する（段落

【0056】

下段参照）。意図に合っていない場合（ステップＳ２１６：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。一方、意図に合っている場合（ステップＳ２１６：ＹＥＳ）、プロセッサ１２０は、各出力に類似情報があるか否かを判定する（ステップＳ２１８）。この類似情報に係る判定は、表現が異なるものであってもその内容を基いて判定を行う。類似情報がない場合（ステップＳ２１８：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。一方、類似情報がある場合（ステップＳ２１８：ＹＥＳ）、プロセッサ１２０は、各出力が入力情報２２６にある情報に対応しているか否かを判定する（ステップＳ２２０）。この情報の対応については、一例として、前述した補足情報として挙げた出力様式、出力フォーマット、対象者情報、背景情報、詳細情報においてそれぞれ対応しているか否か判定してもよいし、それ以外の情報について対応しているか否か判定してもよい。対応していない場合（ステップＳ２２０：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。一方、対応している場合（ステップＳ２２０：ＹＥＳ）、プロセッサ１２０は、ステップＳ２３０へ処理を移行する。

【0057】

（一実施形態の作用効果）
本実施形態に係る情報処理システム１０によれば、第一学習済みモデル２２２及び第一学習済みモデル２２２とは異なる第二学習済みモデル２２４へ所定の入力情報２２６を入力した結果である出力情報２２８をそれぞれ取得する取得ステップと、それぞれの出力情報２２８を比較し評価する評価ステップと、評価結果が所定の結果、すなわち、非類似となる場合に入力情報２２６の変更を行う調整ステップと、を実行することから、変更された入力情報２２６に基づいて出力情報２２８を変化させることができる。つまり、第一学習済みモデル２２２の出力情報２２８と第二学習済みモデル２２４の出力情報２２８とを類似にすることが可能となる。これにより、出力情報２２８の変化を抑制しながら学習済みモデルの変更が可能となる。

【0058】

また、評価ステップは、第一学習済みモデル２２２の出力情報を基準として第二学習済みモデル２２４の出力情報を評価する。したがって、この評価結果を利用することで現在情報処理に利用している学習済みモデルである第一学習済みモデル２２２に対して出力の変化が小さい第二学習済みモデル２２４の選択が容易となる。これにより、出力情報２２８の変化をより抑制しながら学習済みモデルの変更が可能となる。

【0059】

さらに、調整ステップにて変更された入力情報２２６である調整情報２３２を第二学習済みモデル２２４へ入力した際の処理結果である出力情報２２８を取得し、変更前の入力情報２２６を入力した際の処理結果である第一学習済みモデル２２２からの出力情報２２８を比較し評価する再評価ステップを実行することから、出力情報２２８の変化が一層少ない調整情報２３２の生成や第二学習済みモデル２２４の選定を行うことができる。これにより、出力情報２２８の変化をさらに抑制しながら学習済みモデルの変更が可能となる。

【0060】

さらにまた、再評価ステップによる評価結果が所定の結果、すなわち、非類似となる場合に再度調整ステップを実行することから、出力情報２２８の変化がより一層少ない調整情報２３２の生成や第二学習済みモデル２２４の選定を行うことができる。これにより、出力情報２２８の変化を一層抑制しながら学習済みモデルの変更が可能となる。

【0061】

また、評価結果が所定の結果とならない場合、すなわち、類似となる場合に第一学習済みモデル２２２から第二学習済みモデル２２４への変更が可能である旨の通知を出力する出力ステップを含むことから、ユーザは当該通知をもって学習済みモデルの変更を行うことができる。これにより、円滑な学習済みモデルの変更が可能となる。

【0062】

さらに、第一学習済みモデル２２２及び第二学習済みモデル２２４は、言語モデルであることから、入力情報２２６の調整がいわゆるプロンプトのチューニングとなる。つまり、入力情報２２６の調整を容易に行うことができるので、出力情報２２８の変化をより一層抑制しながら学習済みモデルの変更が可能となる。

【0063】

さらにまた、評価ステップにおいて、複数の処理を組合せた所定の処理フローに沿って出力情報２２８の評価を行うことから、評価を安定して行うことができる。したがって、出力情報２２８の変化が一層少なくなる調整情報２３２の生成や第二学習済みモデル２２４の選定を安定した評価を通じてより精度高く行うことができる。これにより、出力情報２２８の変化を一層抑制しながら学習済みモデルの変更が可能となる。また、別の観点では、予め決められた所定の処理フローに沿って処理を行うことで、大規模言語モデルにて評価を行う場合に予め処理指示プロンプトをまとめることができる。すなわち、処理指示プロンプトを入力してその処理結果を踏まえて再度処理指示プロンプトを入力する、という逐次的な処理と比べて、トークン数を削減できるので、コストを低減することが可能となる。

【0064】

また、評価ステップにおいて、入力情報２２６の意図に沿って出力情報２２８の評価を行うことから、出力情報２２８の変化が一層少なくなる調整情報２３２の生成や第二学習済みモデル２２４の選定をより精度高く行うことができる。これにより、出力情報２２８の変化の更なる抑制を行いながら学習済みモデルの変更が可能となる。

【0065】

なお、上述した実施形態では、第一学習済みモデル２２２と第二学習済みモデル２２４とが、大規模言語モデルとされているが、これに限らず、そのほかの言語モデルや、画像分類モデル、画像生成モデル、物体検出モデル、音声認識モデル、推論モデルなど、大規模言語モデル以外の学習済みモデルでもよい。画像分類モデルにおいては、クラスごとの精度の比較、混同行列の比較、ＲＯＣ曲線とＡＵＣ（Ａｒｅａ Ｕｎｄｅｒ ｔｈｅ Ｃｕｒｖｅ）、コーエンのカッパ係数などを用いて２つの画像分類モデルのそれぞれの出力を評価してもよく、ハイパーパラメータの調整や、学習率の調整、データ拡張などによって入力情報２２６の調整を行ってもよい。画像生成モデルにおいては、Ｉｎｃｅｐｔｉｏｎ Ｓｃｏｒｅ、Ｆｒｅｃｈｅｔ Ｉｎｃｅｐｔｉｏｎ Ｄｉｓｔａｎｃｅ、Ｐｅｒｃｅｐｔｕａｌ Ｐａｔｈ Ｌｅｎｇｔｈ、Ｋｅｒｎｅｌ Ｉｎｃｅｐｔｉｏｎ Ｄｉｓｔａｎｃｅ、目視による比較などを用いて２つの画像生成モデルのそれぞれの出力を評価してもよく、ハイパーパラメータの調整や、生成器と識別器のバランス調整などによって入力情報２２６の調整を行ってもよい。物体検出モデルにおいては、Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ、ＰｒｅｃｉｓｉｏｎとＲｅｃａｌｌ、Ｍｅａｎ Ａｖｅｒａｇｅ Ｐｒｅｃｉｓｉｏｎなどを用いて２つの物体検出モデルのそれぞれの出力を評価してもよく、Ａｎｃｈｏｒ ｂｏｘのサイズとアスペクト比の調整、ハイパーパラメータの調整、Ｎｏｎ－Ｍａｘｉｍｕｍ Ｓｕｐｐｒｅｓｓｉｏｎの閾値調整などによって入力情報２２６の調整を行ってもよい。音声認識モデルにおいては、Ｗｏｒｄ Ｅｒｒｏｒ Ｒａｔｅ、Ｓｅｎｔｅｎｃｅ Ｅｒｒｏｒ Ｒａｔｅ、Ｃｈａｒａｃｔｅｒ Ｅｒｒｏｒ Ｒａｔｅなどを用いて２つの音声認識モデルのそれぞれの出力を評価してもよく、ハイパーパラメータの調整や、学習データのノイズ除去やデータ拡張などによって入力情報２２６の調整を行ってもよい。推論モデルにおいては、Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｅｒｒｏｒ、Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ、Ｒ－ｓｑｕａｒｅｄ（決定係数）、Ｍｅａｎ Ａｂｓｏｌｕｔｅ Ｐｅｒｃｅｎｔａｇｅ Ｅｒｒｏｒなどを用いて２つの推論モデルのそれぞれの出力を評価してもよく、ハイパーパラメータの調整や、特徴量の選択や調整、過学習防止のための正則化などによって入力情報２２６の調整を行ってもよい。

【0066】

また、第一学習済みモデル２２２を利用して評価を行う構成とされているが、これに限らず、第二学習済みモデル２２４や、評価のためにその他の学習済みモデルを利用する構成としてもよい。さらに、第一学習済みモデル２２２の出力情報２２８を基準として評価を行う構成とされているが、これに限らず、第二学習済みモデル２２４の出力情報２２８や、その他の学習済みモデルやアルゴリズム等の出力情報、ユーザＵが指定した情報などを基準として評価を行う構成としてもよい。

【0067】

さらにまた、上述した実施形態では、再評価ステップを実行する構成とされているが、これに限らず、再評価を行わない構成としてもよい。

【0068】

また、出力ステップでは、第一学習済みモデル２２２から第二学習済みモデル２２４への変更が可能である旨の通知を出力するが、これに限らず、通知を行わない構成としてもよい。さらに、前述の通知の有無を問わず、第一学習済みモデル２２２から第二学習済みモデル２２４への切替の実行指示を出力してもよいし、切替の実行を自動で行う構成としてもよい。

【0069】

さらにまた、調整ステップにて変更された入力情報２２６である調整情報２３２を第二学習済みモデル２２４のみへ入力する構成とされているが、これに限らず、第一学習済みモデル２２２のみ又は第一学習済みモデル２２２と第二学習済みモデル２２４とのそれぞれへ入力とする構成としてもよい。調整情報２３２を第一学習済みモデル２２２のみに入力する場合、第二学習済みモデル２２４の出力情報２２８を基準として入力情報２２６を変更する構成となるが、これに限らない。また、調整情報２３２を第一学習済みモデル２２２と第二学習済みモデル２２４とのそれぞれに入力する場合、第一学習済みモデル２２２の出力情報２２８又は第二学習済みモデル２２４の出力情報２２８のいずれかを出力情報２２８の内容に応じて動的に基準として設定する構成となるが、これに限らない。

【0070】

（変形例１）
なお、上述した実施形態では、図５に示されるように、評価ステップにて所定のフローに沿って評価される構成とされているが、この評価において、類似度を「高類似」「中類似」「非類似」などのように３以上の複数の段階にて評価する構成としてもよい。

【0071】

一例として、図６は、情報処理システム１０による評価ステップの処理の流れの一例を示すフローチャートである。プロセッサ１２０がストレージ１２４に記憶されたプログラム２２０を読み出して、メモリ１２２に展開して実行することにより、処理が行われる。この処理フローは、前述した図４におけるフローチャートにおけるステップＳ１１４及びステップＳ１２４で行われる処理に相当する。なお、前述した実施形態と同一の処理については、同一符号を付してその説明を省略する。

【0072】

ステップＳ２０２の処理後、プロセッサ１２０は、入力情報２２６の意図が明確であるか否かを判定する（ステップＳ３００）。意図が明確でない場合（ステップＳ３００：ＮＯ）、プロセッサ１２０は、後述するステップＳ３１２へ処理を移行する。一方、意図が明確である場合（ステップＳ３００：ＹＥＳ）、プロセッサ１２０は、ステップＳ２０６へ処理を移行する。

【0073】

ステップＳ２２２の処理において、各出力が前判定の意図に合っている場合（ステップＳ２２２：ＹＥＳ）、プロセッサ１２０は、各出力の意図が同じ種類であるか否かを判定する（ステップＳ３０２）。一方、各出力が前判定の意図に合っていない場合（ステップＳ２２２：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。一方、各出力の意図が同じ種類である場合（ステップＳ３０２：ＹＥＳ）、プロセッサ１２０は、高類似判定を行い（ステップＳ３１２）、本処理フローを終了する。一方、各出力の意図が同じ種類でない場合（ステップＳ３０２：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。

【0074】

ステップＳ２１０の処理において、意図が要約である場合（ステップＳ２１０：ＹＥＳ）、プロセッサ１２０は、各出力が要約前の元の情報における重要な情報を保持しているか否かを判定する（ステップＳ３０４）。元の情報を保持している場合（ステップＳ３０４：ＹＥＳ）、プロセッサ１２０は、後述するステップＳ３０８へ処理を移行する。一方、元の情報を保持していない場合（ステップＳ３０４：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。

【0075】

ステップＳ２１２の処理において、意図が情報要求である場合（ステップＳ２１２：ＹＥＳ）、プロセッサ１２０は、各出力が入力情報２２６の情報要求に対する要求レベルを満たしているか否かを判定する（ステップＳ３０６）。要求レベルを満たしている場合（ステップＳ３０６：ＹＥＳ）、プロセッサ１２０は、ステップＳ３０８へ処理を移行する。一方、要求レベルを満たしていない場合（ステップＳ３０６：ＮＯ）、プロセッサ１２０は、ステップＳ２３２へ処理を移行する。

【0076】

ステップＳ２２０の処理において、対応している場合（ステップＳ２２０：ＹＥＳ）、プロセッサ１２０は、類似度が高いか否かを判定する（ステップＳ３０８）。この類似度の判定は、所定の類似度判定処理によって類似度を算出すると共に、所定の類似度以上であれば高類似、所定の類似度以下であれば中類似度の判定を行う。所定の類似度以上である場合（ステップＳ３０８：ＹＥＳ）、プロセッサ１２０は、高類似度判定を行う（ステップＳ３１２）と共に、処理を終了する。一方、所定の類似度以下である場合（ステップＳ３０８：ＮＯ）、プロセッサ１２０は、中類似判定を行う（ステップＳ３１０）と共に、処理を終了する。

【0077】

上述した変形例によれば、３以上の複数の段階にて評価する構成とすることで、出力情報２２８の変化がさらに少なくなる調整情報２３２の生成や第二学習済みモデル２２４の選定を安定した評価を通じてより精度高く行うことができる。これにより、出力情報２２８の変化をより一層抑制しながら学習済みモデルの変更が可能となる。なお、上述した変形例では、複数の段階とされているが、これに限らず、類似度数に応じて連続的に評価する構成としてもよい。

【0078】

（変形例２）
さらに、上述した情報処理システムを異なる視点で捉えると、本実施形態に係る情報処理システムの解決しようとする課題（目的）を、「所望する所定の情報に沿うように学習済みモデルの出力を行う」と捉えることもできる。

【0079】

上記のように課題を捉えると、課題を解決するための手段としての発明は、例えば以下のようになる。
「情報処理装置が実行する情報処理方法であって、
指定された所定の情報と、学習済みモデルへ所定の入力情報を入力した結果である出力情報と、をそれぞれ取得する取得ステップと、
前記所定の情報と、前記出力情報を比較し評価する評価ステップと、
前記評価の結果が非類似となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法。」

【0080】

上記構成によれば、学習済みモデルの出力情報と、所定の情報とを比較して評価する。具体的には、類似度について評価を行う。そして、評価に結果が非類似となる場合、入力情報の変更を行うことから、学習済みモデルの出力情報と所定の情報とを類似にすることが可能となる。この所定の情報とは、別の学習済みモデルによる出力情報、同一の学習済みモデルにおける異なるバージョンや条件下での出力情報、ルールベース等を利用したシステムを介した出力情報、及びユーザ等の人が作成又は指定した情報の少なくとも一つであり、得たい所望の情報として指定されたものである。これにより、指定された所望する所定の情報に沿うような学習済みモデルの出力を得ることができる。

【0081】

本変形例において、「前記所定の情報を基準として前記学習済みモデルの出力情報を評価する」構成としてもよい。これにより、指定された所望する所定の情報に一層沿うような学習済みモデルの出力を得ることができる。

【0082】

また、本変形例において、「前記調整ステップにて変更された前記入力情報を前記学習済みモデルへ入力した出力情報を取得し、前記所定の情報と比較し評価する再評価ステップを含む」構成としてもよい。これにより、指定された所望する所定の情報により一層沿うような学習済みモデルの出力を得ることができる。

【0083】

さらに、本変形例において、「前記再評価ステップによる前記評価の結果が非類似となる場合に再度前記調整ステップを実行する」構成としてもよい。これにより、指定された所望する所定の情報にさらに沿うような学習済みモデルの出力を得ることができる。

【0084】

さらにまた、本変形例において、「複数の処理を組合せた所定の処理フローに沿って前記出力情報の評価を行う」構成としてもよい。これにより、評価を安定して行うことができる。したがって、指定された所望する所定の情報にさらに沿うような学習済みモデルの出力を得ることができる。また、別の観点では、予め決められた所定の処理フローに沿って処理を行うことで、大規模言語モデルにて評価を行う場合に予め処理指示プロンプトをまとめることができる。すなわち、処理指示プロンプトを入力してその処理結果を踏まえて再度処理指示プロンプトを入力する、という逐次的な処理と比べて、トークン数を削減できるので、コストを低減することが可能となる。

【0085】

また、本変形において、「前記評価ステップにおいて、前記入力情報の意図に沿って前記出力情報の評価を行う」構成としてもよい。これにより、所望する所定の情報の意図との乖離が少ない出力を得ることができるので、指定された所望する所定の情報により一層沿うような学習済みモデルの出力を得ることができる。

【0086】

＜付記＞
本実施形態は、以下の開示を含む。

【0087】

（付記１）
情報処理装置が実行する情報処理方法であって、
第一学習済みモデル及び当該第一学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法。

【0088】

（付記２）
前記評価ステップは、前記第一学習済みモデルの出力情報を基準として前記第二学習済みモデルの出力情報を評価する、
付記１に記載の情報処理方法。

【0089】

（付記３）
前記調整ステップにて変更された前記入力情報を前記第二学習済みモデルへ入力した出力情報を取得し、変更前の前記入力情報を入力した前記第一学習済みモデルからの前記出力情報を比較し評価する再評価ステップを含む、
付記１に記載の情報処理方法。

【0090】

（付記４）
前記再評価ステップによる前記評価の結果が所定の結果となる場合に再度前記調整ステップを実行する、
付記３に記載の情報処理方法。

【0091】

（付記５）
前記評価の結果が前記所定の結果とならない場合、前記第一学習済みモデルから前記第二学習済みモデルへの変更が可能である旨を出力する出力ステップを含む、
付記１に記載の情報処理方法。

【0092】

（付記６）
前記第一学習済みモデル及び前記第二学習済みモデルは、言語モデルである、
付記１に記載の情報処理方法。

【0093】

（付記７）
前記評価ステップにおいて、複数の処理を組合せた所定の処理フローに沿って前記出力情報の評価を行う、
付記１に記載の情報処理方法。

【0094】

（付記８）
前記評価ステップにおいて、前記入力情報の意図に沿って前記出力情報の評価を行う、
付記１に記載の情報処理方法。

【0095】

（付記９）
情報処理装置に、
第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を含む情報処理方法を実行させるためのプログラム。

【0096】

（付記１０）
情報処理装置が実行する情報処理システムであって、
第一学習済みモデル及び当該学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、
それぞれの前記出力情報を比較し評価する評価ステップと、
前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、
を行う情報処理システム。

【0097】

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【符号の説明】

【0098】

１０ 情報処理システム
１２ サーバ（情報処理装置）
１４ 利用者端末（情報処理装置）
２２０ プログラム
２２２ 第一学習済みモデル
２２４ 第二学習済みモデル
２２６ 入力情報
２２８ 出力情報

【要約】

【要約】
【課題】出力情報の変化を抑制しながら学習済みモデルの変更を可能にする。
【解決手段】
一実施形態に係る情報処理方法によれば、情報処理装置が実行する情報処理方法であって、情報処理装置が実行する情報処理方法であって、第一学習済みモデル及び当該第一学習済みモデルとは異なる第二学習済みモデルへ所定の入力情報を入力した結果である出力情報をそれぞれ取得する取得ステップと、それぞれの前記出力情報を比較し評価する評価ステップと、前記評価の結果が所定の結果となる場合に前記入力情報の変更を行う調整ステップと、を含む。
【選択図】図３

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】