特許 7495543 事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】事前トレーニングモデルのプロンプトベクトルの決定方法、装置及び電子機器

(51)【国際特許分類】

   G06N 3/082 20230101AFI20240528BHJP

   G06F 16/906 20190101ALI20240528BHJP

【ＦＩ】

G06N3/082

G06F16/906

【請求項の数】 19

(21)【出願番号】P 2023034494

(22)【出願日】2023-03-07

(65)【公開番号】P2023071912

(43)【公開日】2023-05-23

【審査請求日】2023-03-07

(31)【優先権主張番号】202210524324.X

(32)【優先日】2022-05-14

(33)【優先権主張国・地域又は機関】CN

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100118913

【弁理士】

【氏名又は名称】上田 邦生

(74)【代理人】

【識別番号】100142789

【弁理士】

【氏名又は名称】柳 順一郎

(74)【代理人】

【識別番号】100201466

【弁理士】

【氏名又は名称】竹内 邦彦

(72)【発明者】

【氏名】チャイ， イークン

(72)【発明者】

【氏名】ワン， ショウファン

(72)【発明者】

【氏名】サン， ユー

【審査官】千葉 久博

(56)【参考文献】

【文献】Brian Lester et al.，The Power of Scale for Parameter-Efficient Prompt Tuning，arXiv[オンライン]，version 2，2021年，頁１～１５，[検索日 2024.01.09] インターネット: <URL：https://arxiv.org/abs/2104.08691>

【文献】Yuning Mao et al.，UNIPELT: A Unified Framework for Parameter-Efficient Language Model Tuning，arXiv[オンライン]，version 1，2021年，頁1～９，[検索日 2024.01.09] インターネット: <URL：https://arxiv.org/abs/2110.07577v1>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０８２

Ｇ０６Ｆ １６／９０６

(57)【特許請求の範囲】

【請求項1】

事前トレーニングモデルのプロンプトベクトルの決定方法であって、事前トレーニングモデルのプロンプトベクトルの決定装置によって実行され、
第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得するステップと、
事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得するステップであって、Ｎは１よりも大きい任意の整数であるステップと、
前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得するステップと、
前記第１のスコアに基づいて、前記第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定するステップと、
前記第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第１のスコアを取得する操作の実行に戻るステップと、
を含む、事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項2】

前記第１のスコアを取得する操作の実行に戻ることが、
第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトル及び前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを取得し、ＬはＮ以下で１よりも大きい正の整数であり、Ｎは１よりも大きい正の整数であることと、
前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、前記第Ｎ＋１のプロンプトベクトルの修正モードを決定することと、
前記第Ｎ＋１のプロンプトベクトルの修正モードに基づいて、前記第Ｎ＋１のプロンプトベクトルを修正して、第Ｎ＋２のプロンプトベクトルを生成することと、
を含む請求項１に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項3】

前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、前記第Ｎ＋１のプロンプトベクトルの修正モードを決定することが、
最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定することと、
各第１の差に含まれる正の値の数が１つの場合、前記正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定することと、
前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項２に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項4】

前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、前記第Ｎ＋１のプロンプトベクトルの修正モードを決定することが、
最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定することと、
各第１の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定することと、
前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項２に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項5】

前記最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定した後、
各第１の差に含まれる最も大きい正の値の数が複数の場合、複数の前記最も大きい正の値にそれぞれ対応する２つのプロンプトベクトルを決定することと、
前記２つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とＮ＋１の間の第２の差を決定することと、
最も小さい第２の差に対応する２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することと、
を含む請求項４に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項6】

前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得するステップが、
前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得するステップと、
各前記予測ラベルとラベリングラベルの差に基づいて、各前記枝刈りモデルでの前記第１のプロンプトベクトルに対応する第２のスコアを決定するステップと、
複数の前記第２のスコアを平均化して、前記第１のプロンプトベクトルに対応する第１のスコアを決定するステップと、
を含む請求項１に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項7】

前記サンプルデータに対応するターゲットプロンプトベクトルを決定することが、
候補プロンプトベクトルのシーケンスを記録し、前記候補プロンプトベクトルのシーケンスのうち隣接する２つの候補プロンプトベクトルに対応する番号値の間の第３の差はＫであり、Ｋは正の整数であることと、
検証データに対応する第２のベクトルと候補プロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得することと、
各前記予測ラベルとラベリングラベルの差に基づいて、前記候補プロンプトベクトルに対応する第１のスコアを決定することと、
スコア値が最も高い第１のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定することと、
を含む請求項１に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項8】

前記事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得するステップが、
枝刈りされるニューロンの数ｍを決定するステップであって、ｍは任意の正の整数であるステップと、
前記枝刈りされるニューロンの数ｍに基づいて、前記事前トレーニングモデルに対して異なるＮ回の枝刈り処理をそれぞれ実行して、Ｎ個の枝刈りモデルを取得するステップであって、２つの前記枝刈りモデルごとに、少なくとも１つのニューロンが異なるステップと、
を含む請求項１に記載の事前トレーニングモデルのプロンプトベクトルの決定方法。

【請求項9】

第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得するための第１の取得モジュールと、
事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得するための処理モジュールであって、Ｎは１よりも大きい任意の整数である処理モジュールと、
前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得するための第２の取得モジュールと、
前記第１のスコアに基づいて、前記第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定するための修正モジュールと、
前記第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第１のスコアを取得する操作の実行に戻るための決定モジュールと、
を備える、事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項10】

前記決定モジュールが、
第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトル及び前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを取得するための取得ユニットであって、ＬはＮ以下で１よりも大きい正の整数であり、Ｎは１よりも大きい正の整数である取得ユニットと、
前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、前記第Ｎ＋１のプロンプトベクトルの修正モードを決定するための決定ユニットと、
前記第Ｎ＋１のプロンプトベクトルの修正モードに基づいて、前記第Ｎ＋１のプロンプトベクトルを修正して、第Ｎ＋２のプロンプトベクトルを生成するための生成ユニットと、
を含む請求項９に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項11】

前記決定ユニットが、
最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、
各第１の差に含まれる正の値の数が１つの場合、前記正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、
前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する請求項１０に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項12】

前記決定ユニットが、
最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、
各第１の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、
前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する請求項１０に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項13】

前記決定ユニットが、
各第１の差に含まれる最も大きい正の値の数が複数の場合、複数の前記最も大きい正の値にそれぞれ対応する２つのプロンプトベクトルを決定し、
前記２つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とＮ＋１の間の第２の差を決定し、
最も小さい第２の差に対応する２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する請求項１０に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項14】

前記第２の取得モジュールが、
前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、
各前記予測ラベルとラベリングラベルの差に基づいて、各前記枝刈りモデルでの前記第１のプロンプトベクトルに対応する第２のスコアを決定し、
複数の前記第２のスコアを平均化して、前記第１のプロンプトベクトルに対応する第１のスコアを決定する請求項９に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項15】

前記決定モジュールが、
候補プロンプトベクトルのシーケンスを記録し、前記候補プロンプトベクトルのシーケンスのうち隣接する２つの候補プロンプトベクトルに対応する番号値の間の第３の差はＫであり、Ｋは正の整数であり、
検証データに対応する第２のベクトルと候補プロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、
各前記予測ラベルとラベリングラベルの差に基づいて、前記候補プロンプトベクトルに対応する第１のスコアを決定し、
スコア値が最も高い第１のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定する請求項９に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項16】

前記第１の取得モジュールが、
枝刈りされるニューロンの数ｍを決定し、ｍは任意の正の整数であり、
前記枝刈りされるニューロンの数ｍに基づいて、前記事前トレーニングモデルに対して異なるＮ回の枝刈り処理をそれぞれ実行して、Ｎ個の枝刈りモデルを取得し、２つの前記枝刈りモデルごとに、少なくとも１つのニューロンが異なる請求項９から１４のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定装置。

【請求項17】

少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行される命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサが請求項１から８のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行できるように、前記少なくとも１つのプロセッサによって実行される電子機器。

【請求項18】

コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、コンピュータに請求項１から８のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。

【請求項19】

プロセッサによって実行される場合、請求項１から８のいずれか一項に記載の事前トレーニングモデルのプロンプトベクトルの決定方法が実現されるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術の分野に関し、具体的に自然言語処理、深層学習などの人工知能技術の分野に関し、特に事前トレーニングモデルのプロンプトベクトルの決定方法、装置、電子機器及び記憶媒体に関する。

【背景技術】

【0002】

コンピュータ技術の発展に伴い、自然言語処理の応用もますます広くなっている。

【0003】

関連技術では、事前トレーニングモデルの入力に連続的なプロンプト（ｐｒｏｍｐｔ）ベクトルのセットを追加し、そして、事前トレーニングモデルのパラメーターが特定の値に設定される場合、トレーニングサンプルを使用してプロンプトベクトルを逆伝播し最適化し、最適なプロンプトベクトルを決定することができる。通常、単一の事前トレーニングモデルのみによって決定されたプロンプトベクトルは一方的で不正確である可能性がある。そのため、プロンプトベクトルの精度をいかに向上させるかが非常に重要である。

【発明の概要】

【0004】

本開示は、事前トレーニングモデルのプロンプトベクトルの決定方法、装置、電子機器及び記憶媒体を提供する。

【0005】

本開示一態様は、事前トレーニングモデルのプロンプトベクトルの決定方法を提供し、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得するステップと、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得するステップであって、Ｎは１よりも大きい任意の整数であるステップと、前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得するステップと、前記第１のスコアに基づいて、前記第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定するステップと、前記第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第１のスコアを取得する操作の実行に戻るステップと、を含む。

【0006】

本開示の別の態様は、事前トレーニングモデルのプロンプトベクトルの決定装置を提供し、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得するための第１の取得モジュールと、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得するための処理モジュールであって、Ｎは１よりも大きい任意の整数である処理モジュールと、前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得するための第２の取得モジュールと、前記第１のスコアに基づいて、前記第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定するための修正モジュールと、前記第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第１のスコアを取得する操作の実行に戻るための決定モジュールと、を備える。

【0007】

本開示の別の態様は、電子機器を提供し、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行される命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが上記の一態様の実施例に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

【0008】

本開示の別の態様は、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに上記の一態様の実施例に記載の事前トレーニングモデルのプロンプトベクトルの決定方法を実行させる。

【0009】

本開示の別の態様は、コンピュータプログラムを提供し、上記コンピュータプログラムがプロセッサによって実行される場合、上記の一態様の実施例に記載の事前トレーニングモデルのプロンプトベクトルの決定方法が実現される。

【発明の効果】

【0010】

本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法、装置、電子機器及び記憶媒体は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、そして事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻る。これにより、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0011】

なお、この部分に記載の内容は、本開示の実施例の肝心または重要な特徴を特定することを意図しておらず、本開示の範囲を限定することも意図していない。本出願の他の特徴は下記の明細書の記載を通して理解しやすくなる。

【図面の簡単な説明】

【0012】

図面は、本出願をより良く理解するためのものであり、本開示を限定するものではない。

【図1】本開示の一実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートである。

【図2】本開示の一実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートである。

【図3】本開示の一実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートである。

【図3A】本開示の一実施例によって提供される枝刈りモデルの模式図である。

【図3B】本開示の一実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定過程の模式図である。

【図4】本開示の別の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定装置の概略構成図である。

【図5】本開示の実施例の事前トレーニングモデルのプロンプトベクトルの決定方法を実現するための電子機器のブロック図である。

【発明を実施するための形態】

【0013】

以下、図面と組み合わせて本開示の例示的な実施例を説明する。理解を容易にするために、その中には本発明の実施例の様々な詳細が含まれ、それらは単なる例示と見なされるべきである。したがって、当業者は、本発明の範囲及び精神から逸脱することなく、本明細書に記載の実施例に対して様々な変更及び修正を行うことができる。また、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

【0014】

人工知能とは、コンピュータに人間のある思考過程及び知能行為（例えば、学習、推論、考え、計画など）をシミュレーションさせることを研究する学科であり、ハードウェアレベルの技術とソフトウェアレベルの技術との両方がある。人工知能ハードウェアテクノロジには、一般に、センサー、専用の人工知能チップ、クラウドコンピューティング、分散ストレージ、ビッグデータ処理などのテクノロジが含まれ、人工知能ハードウェア技術は、一般に、コンピュータビジョン技術、音声認識技術、自然言語処理技術及び学習／深層学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方面を含む。

【0015】

自然言語処理とは、コンピュータを使用して人間の言語（中国語、英語など）を処理、理解、および使用することである。それはコンピュータサイエンスと言語学の間の学際的な課題であり、計算言語学と呼ばれることが多い。自然言語は、人間を他の動物と区別する基本的な記号であり、言語がなければ人間の思考は不可能なので、自然言語処理は人工知能の最高のタスクと領域を具現化し、つまり、コンピュータが自然言語を処理する能力を備えている場合にのみ、機械は真の知能を実現することができる。

【0016】

深層学習とは、多層の人工ニューラルネットワークとそのトレーニング方法を指す。一層のニューラルネットワークは、入力として多数の行列数字を取り、非線形活性化法によって重みを取り、出力として別のデータセットを生成する。適切な行列数で多層の組織が互いにリンクされて、正確で複雑な処理のためのニューラルネットワーク「脳」が形成され、これは、人間が物体を認識して写真にラベルを付けるのと同じである。

【0017】

以下、図面を参照して、本開示の実施例の事前トレーニングモデルのプロンプトベクトルの決定方法、装置、電子機器及び記憶媒体について説明する。

【0018】

本開示では、関連技術において、事前トレーニングモデルのプロンプトベクトルが正確でないという問題を目指して、事前トレーニングモデルのプロンプトベクトルの決定方法を提供し、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、プロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。また、本開示では、枝刈りモデルとプロンプトベクトルに対して順方向推論を行うことでターゲットプロンプトベクトルを決定することができるため、この過程には枝刈りモデル及びプロンプトベクトルの逆伝播と処理が含まれず、関連するデータ量が少ないため、コンピューティングリソースを節約し、構成と展開を容易にすることができる。

【0019】

本開示の実施例の事前トレーニングモデルのプロンプトベクトルの決定方法は、本開示の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定装置によって実行されてもよく、この装置は電子機器に構成されてもよい。

【0020】

図１は本開示の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートである。

【0021】

図１に示すように、この事前トレーニングモデルのプロンプトベクトルの決定方法は、以下のステップを含む。

【0022】

ステップ１０１では、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得する。

【0023】

通常、プロンプト（ｐｒｏｍｐｔ）は、追加のプロンプト情報を入力としてテキストに追加し、予測などの下流タスクを言語モデルタスクに変換し、言語モデルの予測結果を元の下流タスクの予測結果に変換することと理解できる。したがって、本開示の実施例におけるプロンプトは、プロンプトベクトル情報として理解することができる。

【0024】

ここで、第１のプロンプトベクトルは、ランダムに初期化されたベクトルであってもよいし、ベクトル空間でランダムにサンプリングされたベクトルのセットを線形変換して生成されたプロンプトベクトルなどであってもよく、本開示では限定されない。

【0025】

また、第１のベクトルは、サンプルデータに対応するベクトルであってもよい。例えば、サンプルデータがテキストデータである場合、第１のベクトルは、このテキストデータに対応するテキストベクトルにすることができ、例えば、ベクトルボキャブラリからテキストデータに対応する第１のベクトルを取得することができ、または他の方法によって、このサンプルデータに対応する第１のベクトルを取得することもできるが、本開示では限定されない。

【0026】

また、サンプルデータの種類は複数であってもよく、例えばテキストデータであってもよいし、画像データや音声データ等であってもよい。また、通常、サンプルデータは複数あり、例えば、複数のテキストタイプのサンプルデータであり、各サンプルデータは、ぞれぞれに対応する第１のベクトルがあり、それは、わずか１６個、２０個のサンプルデータが含まれる小さなサンプルデータであってもよいし、大きなサンプルデータなどであってもよいが、本開示では限定されない。

【0027】

ステップ１０２では、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、ここで、Ｎは、１より大きい任意の整数である。

【0028】

ここで、多くの種類の枝刈り処理があり得、例えば、事前トレーニングモデルのニューロンを枝刈りしてもよく、他の任意の望ましい枝刈り方法を使用して事前トレーニングモデルのニューロンを枝刈りしてもよく、本開示では限定されない。

【0029】

また、事前トレーニングモデルは、任意のタイプの事前トレーニングモデルであってもよく、例えば、ＢＥＲＴ（ｂｉｄｉｒｅｃｔｉｏｎ ｅｃｏｄｅｒ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ ｔｒａｎｓｆｏｒｍｅｒｓ、双方向エンコーダー）又はＥＬＭｏ（ｅｍｂｅｄｄｉｎｇｓ ｆｒｏｍ ｌａｎｇｕａｇｅ ｍｏｄｅｌｓ、言語モデルの埋め込み）などであってもよく、本開示では限定されない。

【0030】

また、事前トレーニングモデルのパラメーターは多数である可能性があり、タスクに関係のない冗長なパラメータが存在する可能性があるため、本開示の実施例では、事前トレーニングモデルを枝刈りして、枝刈りされた枝刈りモデルを得ることができる。なお、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行することによって得られるＮ個の枝刈りモデルは、通常、互いに異なるＮ個の枝刈りモデルである。

【0031】

ステップ１０３では、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得する。

【0032】

例えば、第１のベクトルと第１のプロンプトベクトルを融合してから、事前トレーニングモデルにそれぞれ入力して、Ｎ個の枝刈りモデルによる処理後、Ｎ個の第１のベクトルにそれぞれ対応する予測ラベル、即ち、Ｎ個の枝刈りモデルにおけるこのサンプルデータにそれぞれ対応する予測ラベルを出力することができ、そして、各予測ラベルをこのサンプルデータに対応するラベリングラベルと照合して、両者の差を決定し、その差に基づいて、第１のプロンプトベクトルに対応する第１のスコアなどを決定することができるが、本開示では限定されない。

【0033】

また、第１のスコアは、複数の枝刈りモデルでのプロンプトベクトルの状況を統合し、複数の視点と包括性を有するため、プロンプトベクトルをより適切に予測することができる。

【0034】

ステップ１０４では、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定する。

【0035】

例えば、第１のプロンプトベクトル内の各要素をそれぞれ第１のスコアに加算することにより、この第１のプロンプトベクトルを修正し、修正されたベクトルを、第２のプロンプトベクトルとして決定することができるが、本開示では限定されない。

【0036】

これにより、本開示の実施例では、枝刈り処理された異なる複数の枝刈りモデルを使用してプロンプトベクトルをそれぞれ予測することができ、その後、多視点情報を含む第１のスコアを使用してプロンプトベクトルを最適化することができ、それによってプロンプトベクトルの精度を向上させることができる。

【0037】

ステップ１０５では、第２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻る。

【0038】

ここで、ターゲットプロンプトベクトルは、このサンプルデータに対応する比較的正確なプロンプトベクトルであり得、このターゲットプロンプトベクトルを使用すると、サンプルデータをより正確かつ確実に処理することができる。そのため、サンプル数の少ない学習シナリオでも、より優れた学習効果などを効果的に維持することができる。本開示はこれを限定しない。

【0039】

選択的に、指定されたトレーニングステップ数に達したとき、上記の第１のスコアを取得する操作の実行を停止してもよく、又は、指定されたトレーニング周期に達した後、上記の第１のスコアを取得する操作の実行を停止してもよく、その後、トレーニング中に得られた複数のプロンプトベクトルの中からターゲットプロンプトベクトルを決定することができ、本開示では限定されない。

【0040】

例えば、第２のプロンプトベクトルが決定された後、サンプルデータに対応する第１のベクトルと第２のプロンプトベクトルを融合し、融合されたベクトルをＮ個の枝刈りモデルにそれぞれ入力して、第２のプロンプトベクトルに対応する第１のスコアを取得し、その後、この第１のスコアに基づいて、第２のプロンプトベクトルを修正して、第３のプロンプトベクトルを決定し、その後、第３のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることができるが、本開示では限定されない。

【0041】

なお、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法は、テキスト分類、質問と応答のペアの生成、テキスト理解など、任意の事前トレーニングモデルのプロンプトベクトルの決定シナリオに適用可能であるが、本開示では限定されない。

【0042】

以下、テキスト分類への適用を例として、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定過程を簡単に説明する。

【0043】

なお、まず、テキストデータを処理して、テキストデータに対応する第１のベクトルを生成し、第１のプロンプトベクトルを取得することができる。また、Ｎは、１より大きい任意の整数であってもよく、Ｎの値が５の場合、事前トレーニングモデルがＢＥＲＴの場合、ＢＥＲＴを５回個別に枝刈りして、例えば、異なるニューロンをそれぞれ枝刈りするなどして、５つの枝刈り処理された枝刈りモデルを取得することができる。その後、テキストデータに対応する第１のベクトルと第１のプロンプトベクトルを融合してから、上記の５つの枝刈りモデルにそれぞれ入力し、５つの枝刈りモデルによる処理後、第１のプロンプトベクトルに対応する第１のスコアを取得することができる。その後、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定することができる。その後、第２のプロンプトベクトルとテキストデータに対応する第１のベクトルを融合してから、上記の５つの枝刈りモデルにそれぞれ入力して、第２のプロンプトベクトルに対応する第１のスコアを取得することができる。その後、第１のスコアに基づいて、第２のプロンプトベクトルを修正して、第３のプロンプトベクトルを決定することができる。その後、第３のプロンプトベクトルに基づいて、テキストデータに対応するターゲットプロンプトベクトルが決定されるまで、例えば、第２のプロンプトベクトルの過程を参照して、前記第１のスコアを取得する操作の実行に戻ることができる。

【0044】

なお、上記の例は、例示的な説明にすぎず、本開示の実施例における事前トレーニングモデルのプロンプトベクトルの決定プロセスに対する限定とすることはできない。

【0045】

本開示の実施例は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻る。これにより、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0046】

図２は本開示の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートであり、図２に示すように、この事前トレーニングモデルのプロンプトベクトルの決定方法は、以下のステップを含む。

【0047】

ステップ２０１では、第１のベクトルと第Ｎ＋１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第Ｎ＋１のプロンプトベクトルに対応する第１のスコアを取得する。

【0048】

ここで、第１のベクトルは、サンプルデータに対応するベクトルであり得る。

【0049】

なお、本開示では、まず、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、その後、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、その後、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、その後、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、上記第１のスコアを取得する操作の実行に戻ることができる。例えば、第Ｎ＋１のプロンプトベクトルが決定された後、第１のベクトルと第Ｎ＋１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第Ｎ＋１のプロンプトベクトルに対応する第１のスコアを取得することができる。

【0050】

ステップ２０２では、第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトル及び最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを取得する。

【0051】

ここで、Ｌは、Ｎ以下で１より大きい正の整数であり、Ｎは、１より大きい正の整数である。

【0052】

なお、各プロンプトベクトルは、対応する第１のスコアを有し、異なるプロンプトベクトルに対応する第１のスコアは、同じであっても異なっていてもよいが、本開示では限定されない。

【0053】

ステップ２０３では、最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、第Ｎ＋１のプロンプトベクトルの修正モードを決定する。

【0054】

なお、プロンプトベクトルに対応する第１のスコアが異なる場合、通常、第Ｎ＋１のプロンプトベクトルの修正モードも異なる場合がある。

【0055】

ここで、修正モードは、ベクトルの修正方向、又はベクトルの修正値などであっても良いが、本開示では限定されない。

【0056】

なお、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができる。

【0057】

選択的に、まず、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、各第１の差に含まれる正の値の数が１つの場合、正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、その後、２つのプロンプトベクトルの各対応する要素間の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができる。

【0058】

例えば、Ｎの値が５でＬの値が４の場合、第２のプロンプトベクトルと第１のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が－７であり、第３のプロンプトベクトルと第２のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が－２であり、第４のプロンプトベクトルと第３のプロンプトベクトルにそれぞれに対応する第１のスコア間の第１の差が５であり、整数の値には「５」が１つしかない場合、第４のプロンプトベクトルと第３のプロンプトベクトルの各対応する要素間の差をさらに決定することができる。

【0059】

第４のプロンプトベクトルと第３のプロンプトベクトルとの第１の対応する要素間の差が－５であり、第２の対応する要素間の差が＋８であり、第３の対応する要素間の差が＋１１である場合、第Ｎ＋１のプロンプトベクトルにおいて、第１の要素の修正の値が、－２、－８などの負の数になる可能性があり、第２の要素の修正の値が、＋３、＋９などの正の数になる可能性があり、第３の要素の修正の値が、＋６、＋１５などの正の数になる可能性があると決定することができる。第Ｎ＋１のプロンプトベクトルの修正モードが、減少、増加、増加であると決定することができ、または、第Ｎ＋１のプロンプトベクトルの修正モードが、－３、＋５、＋１３などであると決定することができる。本開示では限定されない。

【0060】

選択的に、まず、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、各第１の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、その後、２つのプロンプトベクトルの各対応する要素間の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができる。

【0061】

例えば、Ｎの値が５でＬの値が４の場合、第２のプロンプトベクトルと第１のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が＋３であり、第３のプロンプトベクトルと第２のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が＋１０であり、第４のプロンプトベクトルと第３のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が－８であり、２つの正の数の値がある場合、最も大きい正の値に対応する２つのプロンプトベクトルの各対応する要素間の差をさらに決定することができ、即ち、第３のプロンプトベクトルと第２のプロンプトベクトルの各対応する要素間の差を決定することができる。

【0062】

その後、第３のプロンプトベクトルと第２のプロンプトベクトルの各対応する要素間の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定し、例えば、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードは、増加、減少、増加であるなどの各要素の修正方向であると決定することができ、または、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードは、＋２、－１、＋１１であるなどの各要素の修正値であると決定することもできるが、本開示では限定されない。

【0063】

なお、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差には、複数の最も大きい正の値が含まれる可能性があり、この場合、この複数の最も大きい正の値に対応するプロンプトベクトルと第Ｎ＋１のプロンプトベクトルとの間の関係をさらに決定し、ひいては、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができる。

【0064】

選択的に、各第１の差に含まれる最も大きい正の値の数が複数の場合、まず、複数の最も大きい正の値にそれぞれ対応する２つのプロンプトベクトルを決定し、その後、２つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とＮ＋１の間の第２の差を決定し、その後、最も小さい第２の差に対応する２つのプロンプトベクトルの各対応する要素間の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができる。

【0065】

例えば、Ｎの値が６でＬの値が５の場合、第２のプロンプトベクトルと第１のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が＋３であり、第３のプロンプトベクトルと第２のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が＋１０であり、第４のプロンプトベクトルと第３のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が－２であり、第５のプロンプトベクトルと第４のプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差が＋１０であり、最も大きい正の値の数が２つある場合、最も大きい正の値に対応する２つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値とＮ＋１の間の第２の差をさらに決定することができる。ここで、第３のプロンプトベクトルとＮ＋１間の第２の差が４であり、第５のプロンプトベクトルとＮ＋１間の第２の差が２である場合、最も小さい第２の差である「２」に対応する第５のプロンプトベクトルと第４のプロンプトベクトルの各対応する要素間の差に基づいて、第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定することができ、即ち第７のプロンプトベクトル内の各要素の修正モードなどを決定することができるが、本開示では限定されない。

【0066】

ステップ２０４では、第Ｎ＋１のプロンプトベクトルの修正モードに基づいて、第Ｎ＋１のプロンプトベクトルを修正して、第Ｎ＋２のプロンプトベクトルを生成する。

【0067】

例えば、第Ｎ＋１のプロンプトベクトルの修正モードが＋３、－１、＋８であり、第Ｎ＋１のプロンプトベクトルが［ａ，ｂ，ｃ］である場合、第Ｎ＋２のプロンプトベクトルは［ａ＋３，ｂ－１，ｃ＋８］であり得る。または、第Ｎ＋１のプロンプトベクトルの修正モードが増加、減少、増加であり、第Ｎ＋１のプロンプトベクトルが［ａ，ｂ，ｃ］である場合、第Ｎ＋２のプロンプトベクトルは［ａ＋１０，ｂ－５，ｃ＋１３］であり得るが、本開示では限定されない。

【0068】

ステップ２０５では、第Ｎ＋２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻る。

【0069】

なお、本実施例における事前トレーニングモデルのプロンプトベクトルの決定方法は、テキスト分類、質問と応答のペアの生成、テキスト理解などのシナリオに適用可能であり、具体的な適用過程は、他の各実施例の説明を参照することができるが、ここでは説明を省略する。

【0070】

本開示の実施例は、第１のベクトルと第Ｎ＋１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第Ｎ＋１のプロンプトベクトルに対応する第１のスコアを取得し、その後、第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトル及び最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを取得し、最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、第Ｎ＋１のプロンプトベクトルの修正モードを決定し、その後、第Ｎ＋１のプロンプトベクトルの修正モードに基づいて、第Ｎ＋１のプロンプトベクトルを修正して、第Ｎ＋２のプロンプトベクトルを生成し、第Ｎ＋２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻ることができる。これにより、異なる複数の枝刈りモデルに基づいて、まず、第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを決定し、その後、第１のスコアに基づいて、第Ｎ＋１のプロンプトベクトルの修正モードを決定し、この修正モードに基づいて、それを修正して、第Ｎ＋２のプロンプトベクトルを生成し、その後、第Ｎ＋２のプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルに対応する第１のスコアにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0071】

図３は本開示の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法の概略フローチャートであり、図３に示すように、この事前トレーニングモデルのプロンプトベクトルの決定方法は、以下のステップを含む。

【0072】

ステップ３０１では、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得する。

【0073】

ステップ３０２では、枝刈りされるニューロンの数ｍを決定し、ｍは任意の正の整数である。

【0074】

ここで、ｍの値は、事前に設定されてもよく、または実際の使用中に調整されてもよく、例えば、事前トレーニングモデルのニューロンの数や層数などに基づいて調整されてもよいが、本開示では限定されない。

【0075】

ステップ３０３では、枝刈りされるニューロンの数ｍに基づいて、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得する。

【0076】

ここで、２つの枝刈りモデルごとに、少なくとも１つのニューロンが異なる。

【0077】

ここで、枝刈りされるニューロンの数ｍが決定された後、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行し、１回の枝刈り過程でｍ個のニューロンが枝刈りされ、これらＮ回の枝刈り処理で、２回の枝刈り処理ごとに枝刈りされたｍ個のニューロンのうち少なくとも１つが異なるため、Ｎ個の枝刈りモデルが得られ、このＮ個の枝刈りモデルのうち２つの枝刈りモデルごとに少なくとも１つのニューロンが異なる。

【0078】

例えば、枝刈りされるニューロンの数ｍが決定された後、異なるランダム枝刈り戦略を使用して、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得することができる。例えば、事前トレーニングモデルを別の方法で枝刈りし、生成された２つの枝刈りモデルを図３Ａに示し、ここで、ｐｒｕｎｅｄ ｎｅｒｏｎは枝刈りされるニューロンを表し、ｐｒｕｎｅは枝刈り操作を表す。

【0079】

また、剪枝刈り順序に応じて、異なる枝刈り処理を行うこともできる。例えば、事前トレーニングモデルの第１のニューロンから始めて、合計ｍ個のニューロンを枝刈りして第１の枝刈りモデルを生成し、事前トレーニングモデルの第２のニューロンから始めて、合計ｍ個のニューロンを枝刈りして、第２の枝刈りモデルを生成し、同様に、Ｎ回の枝刈り処理を行って、Ｎ個の枝刈りモデルを生成することができる。あるいは、事前トレーニングモデルの第１のネットワーク層からｍ個のニューロンをランダムに枝刈りして、第１の枝刈りモデルを生成し、事前トレーニングモデルの第２のネットワーク層からｍ個のニューロンをランダムに枝刈りして、第２の枝刈りモデルを生成し、同様に、Ｎ回の枝刈り処理を行って、Ｎ個の枝刈りモデルを生成することができる。

【0080】

なお、上述の枝刈り方法は、例示的な説明にすぎず、本開示の実施例においてＮ個の枝刈りモデルを取得する方法を限定するものとすることはできない。

【0081】

これによって、本開示の実施例では、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得することで、事前トレーニングモデのパラメーターを可能な限り使用し、事前トレーニングモデのパラメーターの使用効率を高めることができ、Ｎ個の枝刈りモデルが互いに異なるため、プロンプトベクトルを多視点および全方位から最適化することができ、プロンプトベクトルの精度と信頼性が保証される。

【0082】

ステップ３０４では、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、各枝刈りモデルから出力された予測ラベルを取得する。

【0083】

ステップ３０５では、各予測ラベルとラベリングラベルの差に基づいて、各枝刈りモデルでの第１のプロンプトベクトルに対応する第２のスコアを決定する。

【0084】

例えば、第１のベクトルと第１のプロンプトベクトルを融合してから、事前トレーニングモデルにそれぞれ入力し、Ｎ個の枝刈りモデルによる処理後、Ｎ個の枝刈りモデルからそれぞれ出力された予測ラベルを取得し、そして、各予測ラベルをこのサンプルデータに対応するラベリングラベルと照合して、両者の差を決定し、その差に基づいて、各枝刈りモデルでの第１のプロンプトベクトルに対応する第２のスコアを決定することができる。

【0085】

例えば、損失関数を使用して、各枝刈りモデルでの各サンプルデータに対応する予測ラベルとラベリングラベルとの間の損失値を決定し、この損失値に基づいて、各枝刈りモデルでの第１のプロンプトベクトルに対応する第２のスコアを決定することができる。あるいは、各枝刈りモデルでの各サンプルデータに対応する予測ラベルとラベリングラベルとの差に応じて正解率や総合評価指数などを決定し、それを各枝刈りモデルでの第１のプロンプトベクトルに対応する第２のスコアとして使用することもできるが、本開示では限定されない。

【0086】

ステップ３０６では、複数の第２のスコアを平均化して、第１のプロンプトベクトルに対応する第１のスコアを決定する。

【0087】

ここで、Ｎ個の枝刈りモデルにそれぞれ対応する第２のスコアが決定された後、このＮ個の第２のスコアを平均化することができ、得られた結果は、第１のプロンプトベクトルに対応する第１のスコアである。

【0088】

選択的に、複数の第２のスコアに対して、分散処理などの他の処理を実行することができ、得られた結果は、第１のプロンプトベクトルに対応する第１のスコアであり、本開示では限定されない。

【0089】

ステップ３０７では、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定する。

【0090】

ステップ３０８では、第２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻る。

【0091】

選択的に、サンプルデータに対応するターゲットプロンプトベクトルを決定するプロセスにおいて、ＮＥＳ（ｎａｔｕｒａｌ ｅｖｏｌｕｔｉｏｎ ｓｔｒａｔｅｇｙ、自然進化戦略）、ＣＭＡＥＳ（ｃｏｖａｒｉａｎｃｅ ｍａｔｒｉｘ ａｄａｐｔａｔｉｏｎ ｅｖｏｌｕｔｉｏｎ ｓｔｒａｔｅｇｙ、共分散行列自己適応進化戦略）などの進化アルゴリズムを使用して、プロンプトベクトルを検索および最適化することができ、あるいは、任意の望ましいアルゴリズムを使用してプロンプトベクトルを検索および最適化することができ、本開示では限定されない。

【0092】

選択的に、サンプルデータに対応するターゲットプロンプトベクトルを決定するプロセスにおいて、まず、候補プロンプトベクトルのシーケンスを記録することができ、ここで、候補プロンプトベクトルのシーケンスのうち隣接する２つの候補プロンプトベクトルに対応する番号値の間の第３の差はＫであり、Ｋは正の整数であり、その後、検証データに対応する第２のベクトルと候補プロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、各枝刈りモデルから出力された予測ラベルを取得し、その後、各予測ラベルとラベリングラベルの差に基づいて、候補プロンプトベクトルに対応する第１のスコアを決定し、その後、スコア値が最も高い第１のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定することができる。

【0093】

なお、第１のプロンプトベクトル、第２のプロンプトベクトル、……、第Ｎのプロンプトベクトルが決定された後、この複数のプロンプトベクトルから、複数の候補プロンプトベクトルを選択することができる。例えば、プロンプトベクトルは合計５０個あり、第３の差Ｋの値が１０である場合、第１のプロンプトベクトル、第１１のプロンプトベクトル、第２１のプロンプトベクトル、第３１のプロンプトベクトル、及び第４１のキューベクトルを候補プロンプトベクトルとして、候補プロンプトベクトルのシーケンスを構成することができ、または、第３のプロンプトベクトル、第１３プロンプトベクトル、第２３プロンプトベクトル、第３３プロンプトベクトル、及び第４３プロンプトベクトルを候補プロンプトベクトルとして使用することもできるが、本開示では限定されない。

【0094】

また、第２のベクトルは、検証データに対応するベクトルであり得、第２のベクトルと候補プロンプトベクトルとの融合には様々な方法があり得る。例えば、両者は継ぎ合わされて融合されてもよいし、他の方法で融合されてもよいが、本開示では限定されない。

【0095】

なお、第２のベクトルと候補プロンプトベクトルを融合した後、Ｎ個の枝刈りモデルにそれぞれ入力し、Ｎ個の枝刈りモデルによる処理後、第２のベクトル、即ち検証データに対応する予測ラベルを出力し、その後、この予測ラベルをこの検証データに対応するラベリングラベルと照合して、両者の差を決定し、その差に基づいて、この候補プロンプトベクトルに対応する第１のスコアを決定することができる。例えば、損失関数を使用して、予測ラベルとラベリングラベルの間の損失値を決定し、その後、この損失値に基づいて、対応する第１のスコアを決定することができる。または、予測ラベルとラベリングラベルの差に基づいて、正解率や総合評価指数などを決定し、それを対応する第１のスコアとして使用することもできるが、本開示では限定されない。

【0096】

例えば、候補プロンプトベクトル１に対応する第１のスコアが＋７であり、候補プロンプトベクトル２に対応する第１のスコアが－３であり、候補プロンプトベクトル３に対応する第１のスコアが＋９である場合、「候補プロンプトベクトル３」を、ターゲットプロンプトベクトルとして決定することができるが、本開示では限定されない。

【0097】

なお、上記の例は、例示的な説明にすぎず、本開示の実施例におけるターゲットプロンプトベクトルの決定方法などに対する限定とすることはできない。

【0098】

なお、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法は、テキスト分類、質問と応答のペアの生成、テキスト理解など、任意の事前トレーニングモデルのプロンプトベクトルの決定シナリオに適用可能であるが、本開示では限定されない。

【0099】

以下、テキスト分類を例として、図３Ｂと組み合わせて、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定過程を説明する。

【0100】

まず、ベクトルｉｎｔｒｉｎｓｉｃ ｅｍｂｅｄｄｉｎｇのセットを、ベクトルス空間でランダムにサンプリングし、その後、それを線形処理Ｗして、第１のプロンプトベクトルを生成することができる。その後、第１のプロンプトベクトル［Ｐ１ … Ｐｍ］とテキストデータ［Ｔｏｋ １ Ｔｏｋ ２ … Ｔｏｋ Ｎ］に対応する第１のベクトル［Ｅ１ Ｅ２ … ＥＮ］を融合してから、Ｎ個の枝刈りモデルＰｒｕｎｅｄ ＰＬＭにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、その後、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、その後、第２のプロンプトベクトルに基づいて、テキストデータに対応するターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻ることができる。

【0101】

選択的に、進化学習アルゴリズム（ｅｖｏｌｕｔｉｏｎａｒｙ ａｇｅｎｔ）を使用して、第１のスコアに対して解析処理を実行することによって対応するベクトルを出力し、その後、線形変換を実行してプロンプトベクトルを生成することもできるが、本開示では限定されない。

【0102】

また、第１のプロンプトベクトルとテキストデータに対応する第１のベクトルを融合し、例えば、第１のプロンプトベクトル［Ｐ１ … Ｐｍ］をテキストデータ［Ｔｏｋ １ Ｔｏｋ ２ … Ｔｏｋ Ｎ］に対応する第１のベクトル［Ｅ１ Ｅ２ … ＥＮ］の左側に接合し、その後、それを第１の枝刈りモデルに入力することができる。ここで、Ｅ［ＣＬＳ］を、第１のプロンプトベクトルとテキストデータに対応する第１のベクトルが融合されたベクトルとして使用し、それを第１の枝刈りモデルＰｒｕｎｅｄ ＰＬＭ－１に入力し、第１の枝刈りモデルによる処理後、例えば、入力［ＣＬＳ］を線形分類器で処理した後、予測ラベル

【数1】

をテキストデータｙに対応するラベリングラベルと照合して、第１の枝刈りモデルでの第１のプロンプトベクトルに対応する第２のスコアｓｃｏｒｅを決定することができる。同様に、第１のプロンプトベクトルとテキストデータに対応する第１のベクトルを融合した後、残りの各枝刈りモデルにそれぞれ入力して、複数の第２のスコアを取得し、その後、この複数の第２のスコアを平均化して、第１のプロンプトベクトルに対応する第１のスコアを生成することができる。

【0103】

その後、進化学習アルゴリズムを使用して第１のスコアを解析して、対応するベクトルを出力し、その後、線形変換を実行して、第２のプロンプトベクトルを生成することができる。そして、第２のプロンプトベクトルに基づいて、テキストデータに対応するターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻ることができる。

【0104】

ここで、上記第１のスコアを取得する操作の実行に戻る過程には、いくつかの場合がある。

【0105】

以下、Ｎの値が５であることを例として、第１のスコアを取得する操作について簡単に説明する。

【0106】

例えば、Ｎの値が５でＬの値が４の場合、まず、第６のプロンプトベクトルに隣接する最初の４つのプロンプトベクトル及びそれぞれに対応する第１のスコア、即ち第２のプロンプトベクトルに対応する第１のスコア、第３のプロンプトベクトルに対応する第１のスコア、第４のプロンプトベクトルに対応する第１のスコア及び第５のプロンプトベクトルに対応する第１のスコアを取得し、その後、この４つのプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、第６のプロンプトベクトルの修正モードを決定し、その後、この修正モードに基づいて、第６のプロンプトベクトルを修正して、第７のプロンプトベクトルを生成することができる。そして、第７のプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、上記第１のスコアを取得する操作の実行に戻ることができる。なお、上記の例は、例示的な説明にすぎず、本開示の実施例における事前トレーニングモデルのプロンプトベクトルの決定方法に対する限定とすることはできない。

【0107】

本開示の実施例は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることができる。これにより、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0108】

上記実施例を実現するために、本開示は、事前トレーニングモデルのプロンプトベクトルの決定装置をさらに提供する。

【0109】

図４は本開示の実施例によって提供される事前トレーニングモデルのプロンプトベクトルの決定装置の概略構成図である。

【0110】

図４に示すように、この事前トレーニングモデルのプロンプトベクトルの決定装置４００は、第１の取得モジュール４１０、処理モジュール４２０、第２の取得モジュール４３０、修正モジュール４４０及び決定モジュール４５０を備える。

【0111】

ここで、第１の取得モジュール４１０は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得する。

【0112】

処理モジュール４２０は、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、Ｎは、１より大きい任意の整数である。

【0113】

第２の取得モジュール４３０は、前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、前記第１のプロンプトベクトルに対応する第１のスコアを取得する。

【0114】

修正モジュール４４０は、前記第１のスコアに基づいて、前記第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定する。

【0115】

決定モジュール４５０は、前記第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、前記第１のスコアを取得する操作の実行に戻る。

【0116】

選択的に、前記決定モジュール４５０は、第Ｎ＋１のプロンプトベクトルに隣接する最初のＬ個のプロンプトベクトル及び前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアを取得するための取得ユニットであって、Ｌは、Ｎ以下で１より大きい正の整数であり、Ｎは、１より大きい正の整数である取得ユニットと、前記最初のＬ個のプロンプトベクトルのうちの各プロンプトベクトルに対応する第１のスコアに基づいて、前記第Ｎ＋１のプロンプトベクトルの修正モードを決定するための決定ユニットと、前記第Ｎ＋１のプロンプトベクトルの修正モードに基づいて、前記第Ｎ＋１のプロンプトベクトルを修正して、第Ｎ＋２のプロンプトベクトルを生成するための生成ユニットとを備える。

【0117】

選択的に、前記決定ユニットは、具体的に、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、各第１の差に含まれる正の値の数が１つの場合、前記正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する。

【0118】

選択的に、前記決定ユニットは、具体的に、最初のＬ個のプロンプトベクトルのうち隣接する２つのプロンプトベクトルにそれぞれ対応する第１のスコア間の第１の差を決定し、各第１の差に含まれる正の値の数が複数の場合、最も大きい正の値に対応する２つのプロンプトベクトルの各対応する要素間の差を決定し、前記２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する。

【0119】

選択的に、前記決定ユニットは、具体的に、各第１の差に含まれる最も大きい正の値の数が複数の場合、複数の前記最も大きい正の値にそれぞれ対応する２つのプロンプトベクトルを決定し、前記２つのプロンプトベクトルのうちの後のプロンプトベクトルに対応する番号値と前記Ｎ＋１の間の第２の差を決定し、最も小さい第２の差に対応する２つのプロンプトベクトルの各対応する要素間の差に基づいて、前記第Ｎ＋１のプロンプトベクトル内の各要素の修正モードを決定する。

【0120】

選択的に、前記第２の取得モジュール４３０は、具体的に、前記第１のベクトルと前記第１のプロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、各前記予測ラベルとラベリングラベルの差に基づいて、各前記枝刈りモデルでの前記第１のプロンプトベクトルに対応する第２のスコアを決定し、複数の前記第２のスコアを平均化して、前記第１のプロンプトベクトルに対応する第１のスコアを決定する。

【0121】

選択的に、前記決定モジュール４５０は、具体的に、候補プロンプトベクトルのシーケンスを記録し、前記候補プロンプトベクトルのシーケンスのうち隣接する２つの候補プロンプトベクトルに対応する番号値の間の第３の差はＫであり、Ｋは正の整数であり、検証データに対応する第２のベクトルと候補プロンプトベクトルを融合してから、前記Ｎ個の枝刈りモデルにそれぞれ入力して、各前記枝刈りモデルから出力された予測ラベルを取得し、各前記予測ラベルとラベリングラベルの差に基づいて、前記候補プロンプトベクトルに対応する第１のスコアを決定し、スコア値が最も高い第１のスコアに対応する候補プロンプトベクトルを、ターゲットプロンプトベクトルとして決定する。

【0122】

選択的に、前記第１の取得モジュール４１０、具体的に、枝刈りされるニューロンの数ｍを決定し、ｍは任意の正の整数であり、前記枝刈りされるニューロンの数ｍに基づいて、前記事前トレーニングモデルに対して異なるＮ回の枝刈り処理をそれぞれ実行して、Ｎ個の枝刈りモデルを取得し、２つの前記枝刈りモデルごとに、少なくとも１つのニューロンが異なる。

【0123】

本開示の実施例における上記の各モジュールの機能及び具体的には実現原理は、上記の各方法の実施例を参照することができ、ここでは説明を省略する。

【0124】

本開示の実施例の事前トレーニングモデルのプロンプトベクトルの決定装置は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることができる。これにより、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0125】

本開示の実施例によれば、本開示は電子機器、および読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示はコンピュータプログラムをさらに提供し、コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される事前トレーニングモデルのプロンプトベクトルの決定方法が実現される。

【0126】

図５は、本開示の実施例を実施するための例示的な電子機器５００の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセシング、セルラー電話、スマートフォン、ウェアラブルデバイス、及び他の同様のコンピューティングデバイスなど、様々な形態のモバイルデバイスを表してもよい。本明細書に示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記載及び／または求められる本願の実現を限定することを意図しない。

【0127】

図５に示すように、電子機器５００は、リードオンリーメモリ（ＲＯＭ）５０２に記憶されたコンピュータプログラム、または記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にローディングされたコンピュータプログラムに基づいて、様々な適切な動作と処理を実行できる計算ユニット５０１を備える。ＲＡＭ５０３には、電子機器５００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。計算ユニット５０１と、ＲＯＭ５０２と、ＲＡＭ５０３とは、バス５０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース５０５もバス５０４に接続されている。

【0128】

電子機器５００における複数のコンポーネントは、Ｉ／Ｏインタフェース５０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット５０６と、種々なディスプレイやスピーカなどの出力ユニット５０７と、磁気ディスクや光学ディスクなどの記憶ユニット５０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット５０９と、を備える。通信ユニット５０９は、電子機器５００がインターネットのようなコンピュータネット及び／または種々なキャリアネットワークを介して他の機器と情報／データを交換することを可能にする。

【0129】

計算ユニット５０１は、処理及び計算能力を有する様々な汎用及び／または専用の処理コンポーネントであってもよい。計算ユニット５０１のいくつかの例としては、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタ信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。計算ユニット５０１は、上述で説明された各方法及び処理、例えば事前トレーニングモデルのプロンプトベクトルの決定方法を実行する。例えば、いくつかの実施形態では、事前トレーニングモデルのプロンプトベクトルの決定方法を、記憶ユニット５０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現されてもよい。一部の実施形態では、コンピュータプログラムの一部または全ては、ＲＯＭ５０２及び／または通信ユニット５０９を介して、電子機器５００にロード及び／またはインストールされてもよい。コンピュータプログラムがＲＡＭ５０３にロードされて計算ユニット５０１によって実行される場合に、前述した事前トレーニングモデルのプロンプトベクトルの決定方法の一つまたは複数のステップを実行することができる。選択的に、他の実施例では、計算ユニット５０１は、他の任意の適当な方式（例えば、ファームウェア）により事前トレーニングモデルのプロンプトベクトルの決定方法を実行するように構成されてもよい。

【0130】

ここで記載されているシステムまたは技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、専用集積回路（ＡＳＩＣ）、専用標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／またはこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを備えるプログラマブルシステムにて実行及び／または解釈される１つまたは複数のコンピュータプログラムにより実行することを含み得、当該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、当該少なくとも１つの入力デバイス、及び当該少なくとも１つの出力デバイスに転送することができる専用または汎用のプログラマブルプロセッサであってもよい。

【0131】

本開示の方法を実施するためのプログラムコードは、１または複数のプログラミング言語の組み合わせで記述されていてもよい。これらのプログラムコードは、プロセッサ又はコントローラによって実行されるとされた際に、フローチャート及び／またはブロック図で規定された機能・動作が実施されるように、汎用コンピュータや専用コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサやコントローラに提供されてもよい。プログラムコードは、機械上で完全に実行されるか、機械上で部分的に実行されるか、独立したソフトウェアパッケージとして機械上で部分的に実行されるとともにリモートマシン上で部分的に実行されるか、またはリモートマシンまたはサーバ上で完全に実行されてもよい。

【0132】

本開示の文脈において、機械読み取り可能な媒体は、命令実行システム、装置またはデバイスによって使用されるために、または命令実行システム、装置またはデバイスと組み合わせて使用されるためのプログラムを含むか、または記憶することができる有形媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体であってもよいし、機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体としては、電子的、磁気的、光学的、電磁的、赤外線的、半導体システム、装置、デバイス、またはこれらの任意の適切な組み合わせが挙げられるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例としては、１または複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラム可能なリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせが挙げられる。

【0133】

ユーザとのインタラクションを提供するために、ここで説明されているシステム及び技術をコンピュータで実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置（例えば、ＣＲＴ（陰極線管）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供するために用いられることができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよく、任意の形式（音響入力と、音声入力と、触覚入力とを含む）でユーザからの入力を受信することができる。

【0134】

ここで説明されるシステム及び技術は、バックエンドコンポーネントを備えるコンピューティングシステム（例えば、データサーバとする）、またはミドルウェアコンポーネントを備えるコンピューティングシステム（例えば、アプリケーションサーバー）、またはフロントエンドコンポーネントを備えるコンピューティングシステム（例えば、グラフィカルユーザインタフェースまたはウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェースまたは当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする）、またはこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを備えるコンピューティングシステムで実施することができる。任意の形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、ブロックチェーンネットワークとを含む。

【0135】

コンピュータシステムは、クライアントとサーバとを備えることができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータで実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。ここで、サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービス体系のうちのホスト製品であり、従来の物理ホストとＶＰＳサービス（Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ、また、「ＶＰＳ」と略記する）では、管理が難しく、業務拡張性が弱いという欠点を解決している。サーバは、分散システムのサーバ、またはブロックチェーンを結合したサーバであってもよい。

【0136】

本開示の技術案は、第１のプロンプトベクトル及びサンプルデータに対応する第１のベクトルを取得し、事前トレーニングモデルに対して異なるＮ回の枝刈り処理を実行して、Ｎ個の枝刈りモデルを取得し、第１のベクトルと第１のプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力して、第１のプロンプトベクトルに対応する第１のスコアを取得し、第１のスコアに基づいて、第１のプロンプトベクトルを修正して、第２のプロンプトベクトルを決定し、第２のプロンプトベクトルに基づいて、前記サンプルデータに対応するターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることができる。これにより、サンプルデータに対応する第１のベクトルとプロンプトベクトルを融合してから、Ｎ個の枝刈りモデルにそれぞれ入力することにより、対応する第１のスコアを取得し、第１のスコアに基づいてプロンプトベクトルを修正して、次のプロンプトベクトルを決定し、新たに決定されたプロンプトベクトルに基づいて、ターゲットプロンプトベクトルが決定されるまで、第１のスコアを取得する操作の実行に戻ることにより、異なる複数の枝刈りモデルにより、複数の視点からプロンプトベクトルを最適化し、決定されたターゲットプロンプトベクトルをより包括的かつ信頼できるものにすることができ、ターゲットプロンプトベクトルの精度を向上させることができる。

【0137】

なお、上述した様々な形態のフローを用いて、ステップを並び替え、追加または削除を行うことができることを理解されるべきである。例えば、本開示に記載された各ステップは、本願に開示された技術方案の所望の結果が達成できる限り、並列に実行されてもよいし、順番に実行されてもよいし、異なる順序で実行されてもよく、本明細書では制限されない。

【0138】

上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブ組合、及び代替を行うことができることは理解される。本願の精神及び原理内で行われたあらゆる修正、同等の置換及び改善などは、いずれも本開示の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図3A】

【図3B】

【図4】

【図5】