特開 2024-129086 命令データを生成する方法、装置、機器及び媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024129086

(43)【公開日】2024-09-26

(54)【発明の名称】命令データを生成する方法、装置、機器及び媒体

(51)【国際特許分類】

   G06F 40/56 20200101AFI20240918BHJP

   G06F 16/90 20190101ALI20240918BHJP

   G06N 3/0475 20230101ALI20240918BHJP

   G06F 40/44 20200101ALI20240918BHJP

【ＦＩ】

G06F40/56

G06F16/90 100

G06N3/0475

G06F40/44

【審査請求】有

【請求項の数】23

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2024103999

(22)【出願日】2024-06-27

(31)【優先権主張番号】202310804563.5

(32)【優先日】2023-06-30

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ ＰＨＯＮＥ

２．ＡＮＤＲＯＩＤ

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100229448

【弁理士】

【氏名又は名称】中槇 利明

(72)【発明者】

【氏名】ハイフオン ワーン

(72)【発明者】

【氏名】ホワ ウー

(72)【発明者】

【氏名】ダイ ダイ

(72)【発明者】

【氏名】ジーン リウ

(72)【発明者】

【氏名】ホーンユイ リー

(72)【発明者】

【氏名】ガーンチアーン ホゥ

(57)【要約】      （修正有）

【課題】大型モデル用の命令データを生成する方法、装置、電子機器、記憶媒体及びプログラムを提供する。
【解決手段】方法は、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できる自然言語に基づく参照命令を取得し、参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを取得し、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定し、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づく複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう大型モデルに指示できるサンプル命令を生成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータで実行される大型モデル用の命令データを生成する方法であって、
自然言語に基づく参照命令を取得することであって、前記参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できることと、
前記参照命令に対する構造化分解結果を取得して、前記複数の第１の要求種別に対応する複数の参照スロットと、前記複数の第１の要求に対応する複数の参照スロット値とを得ることと、
前記複数の参照スロット、前記複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、前記複数のサンプルスロットに対応する複数のサンプルスロット値とを確定することと、
前記複数のサンプルスロットと前記複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成することであって、前記サンプル命令が、前記複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう前記大型モデルに指示できることとを含む、大型モデル用の命令データを生成する方法。

【請求項2】

前記参照命令は、トレーニングセットから取得した複数のトレーニング命令を含み、
ここで、前記複数の参照スロット、前記複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、前記複数のサンプルスロットに対応する複数のサンプルスロット値とを確定することは、
前記複数のトレーニング命令に対応する複数の従来スロットと複数の従来スロット値の分布結果を統計することであって、前記複数の従来スロットが、前記複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロットを含むとともに、前記複数の従来スロット値が、前記複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロット値を含むことと、
前記分布結果と前記予め設定されるルールに基づき、前記複数のサンプルスロットと前記複数のサンプルスロット値を確定することとを含む、請求項１に記載の方法。

【請求項3】

前記予め設定されるルールは、前記複数の従来スロットにおける分布数が最も少ない少なくとも一部の従来スロットに基づき、前記複数のサンプルスロットを確定することを指示し、及び／又は
前記予め設定されるルールは、前記複数の従来スロット値における分布数が最も少ない少なくとも一部の従来スロット値に基づき、前記複数のサンプルスロット値を確定することを指示する、請求項２に記載の方法。

【請求項4】

前記予め設定されるルールは、共起回数が最も多い複数の従来スロット組み合わせに基づき、前記複数のサンプルスロットを確定することを指示し、前記複数のサンプルスロットの数は、前記複数の従来スロット組み合わせのうちのいずれか一つの従来スロット組み合わせに含まれる従来スロットの数よりも大きく、及び／又は
前記予め設定されるルールは、共起回数が最も多い複数の従来スロット値の組み合わせに基づき、前記複数のサンプルスロット値を確定することを指示し、前記複数のサンプルスロット値の数は、前記複数の従来スロット値の組み合わせのうちのいずれか一つの従来スロット値の組み合わせに含まれる従来スロット値の数よりも大きい、請求項２に記載の方法。

【請求項5】

前記参照命令は、オンラインユーザログから取得したターゲット命令を含み、前記ターゲット命令に対応する複数の参照スロットは、ターゲットスロットを含み、前記ターゲット命令に対応する複数の参照スロット値は、ターゲットスロット値を含み、
ここで、前記予め設定されるルールは、前記複数の従来スロットが前記ターゲットスロットを含まないか、又は前記ターゲットスロットの分布数が、第１の予め設定される値よりも少なく又は少なくとも一部の他の従来スロットの分布数よりも少ないと確定することに応答して、前記ターゲットスロットをサンプルスロットとして設定することを指示し、及び／又は
前記予め設定されるルールは、前記複数の従来スロット値が前記ターゲットスロット値を含まないか、又は前記ターゲットスロット値の分布数が、第２の予め設定される値よりも少なく又は少なくとも一部の他の従来スロット値の分布数よりも少ないと確定することに応答して、前記ターゲットスロット値をサンプルスロット値として設定することを指示する、請求項２に記載の方法。

【請求項6】

前記複数のサンプルスロットと前記複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成することは、
前記複数のサンプルスロットと前記複数のサンプルスロット値に基づき、自然言語命令生成モデルを利用して、表現が異なるが、意味が同じである複数のサンプル命令を生成することを含む、請求項１に記載の方法。

【請求項7】

前記予め設定されるルールは、前記複数の参照スロットを前記複数のサンプルスロットとして直接確定するとともに、前記複数の参照スロット値を前記複数のサンプルスロット値として直接確定することを指示する、請求項６に記載の方法。

【請求項8】

前記予め設定されるルールは、前記複数の参照スロットにおいて前記複数のサンプルスロットをランダムに確定するとともに、前記複数の参照スロット値において前記複数のサンプルスロット値をランダムに確定することを指示する、請求項１に記載の方法。

【請求項9】

前記大型モデルは、深層学習に基づく大規模言語モデルであり、前記方法は、
前記サンプル命令に対応するグラウンドトゥルース回答データを取得することと、
前記サンプル命令と、前記サンプル命令に対応するグラウンドトゥルース回答データとを利用して、前記大型モデルをトレーニングすることとをさらに含む、請求項２に記載の方法。

【請求項10】

前記サンプル命令と、前記サンプル命令に対応するグラウンドトゥルース回答データとを利用して、前記大型モデルをトレーニングすることは、
前記サンプル命令と、前記サンプル命令に対応するグラウンドトゥルース回答データとをトレーニングセットに加えて、ターゲットトレーニングセットを得ることと、
前記ターゲットトレーニングセットを利用して前記大型モデルをトレーニングすることとを含む、請求項９に記載の方法。

【請求項11】

大型モデル用の命令データを生成する装置であって、
自然言語に基づく参照命令を取得するように構成される第１の取得ユニットであって、前記参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できる第１の取得ユニットと、
前記参照命令に対する構造化分解結果を取得して、前記複数の第１の要求種別に対応する複数の参照スロットと、前記複数の第１の要求に対応する複数の参照スロット値とを得るように構成される第２の取得ユニットと、
前記複数の参照スロット、前記複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、前記複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するように構成される確定ユニットと、
前記複数のサンプルスロットと前記複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成するように構成される生成ユニットであって、前記サンプル命令が、前記複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう前記大型モデルに指示できる生成ユニットとを含む、大型モデル用の命令データを生成する装置。

【請求項12】

前記参照命令は、トレーニングセットから取得した複数のトレーニング命令を含み、
ここで、前記確定ユニットは、
前記複数のトレーニング命令に対応する複数の従来スロットと複数の従来スロット値の分布結果を統計するように構成される統計サブユニットであって、前記複数の従来スロットが、前記複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロットを含むとともに、前記複数の従来スロット値が、前記複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロット値を含む統計サブユニットと、
前記分布結果と前記予め設定されるルールに基づき、前記複数のサンプルスロットと前記複数のサンプルスロット値を確定するように構成される確定サブユニットとを含む、請求項１１に記載の装置。

【請求項13】

前記予め設定されるルールは、前記複数の従来スロットにおける分布数が最も少ない少なくとも一部の従来スロットに基づき、前記複数のサンプルスロットを確定することを指示し、及び／又は
前記予め設定されるルールは、前記複数の従来スロット値における分布数が最も少ない少なくとも一部の従来スロット値に基づき、前記複数のサンプルスロット値を確定することを指示する、請求項１２に記載の装置。

【請求項14】

前記予め設定されるルールは、共起回数が最も多い複数の従来スロット組み合わせに基づき、前記複数のサンプルスロットを確定することを指示し、前記複数のサンプルスロットの数は、前記複数の従来スロット組み合わせのうちのいずれか一つの従来スロット組み合わせに含まれる従来スロットの数よりも大きく、及び／又は
前記予め設定されるルールは、共起回数が最も多い複数の従来スロット値の組み合わせに基づき、前記複数のサンプルスロット値を確定することを指示し、前記複数のサンプルスロット値の数は、前記複数の従来スロット値の組み合わせのうちのいずれか一つの従来スロット値の組み合わせに含まれる従来スロット値の数よりも大きい、請求項１２に記載の装置。

【請求項15】

前記参照命令は、オンラインユーザログから取得したターゲット命令を含み、前記ターゲット命令に対応する複数の参照スロットは、ターゲットスロットを含み、前記ターゲット命令に対応する複数の参照スロット値は、ターゲットスロット値を含み、
ここで、前記予め設定されるルールは、前記複数の従来スロットが前記ターゲットスロットを含まないか、又は前記ターゲットスロットの分布数が、第１の予め設定される値よりも少なく又は少なくとも一部の他の従来スロットの分布数よりも少ないと確定することに応答して、前記ターゲットスロットをサンプルスロットとして設定することを指示し、又は
前記予め設定されるルールは、前記複数の従来スロット値が前記ターゲットスロット値を含まないか、又は前記ターゲットスロット値の分布数が、第２の予め設定される値よりも少なく又は少なくとも一部の他の従来スロット値の分布数よりも少ないと確定することに応答して、前記ターゲットスロット値をサンプルスロット値として設定することを指示する、請求項１２に記載の装置。

【請求項16】

前記生成ユニットは、
前記複数のサンプルスロットと前記複数のサンプルスロット値に基づき、自然言語命令生成モデルを利用して、表現が異なるが、意味が同じである複数のサンプル命令を生成するように構成される生成サブユニットを含む、請求項１１に記載の装置。

【請求項17】

前記予め設定されるルールは、前記複数の参照スロットを前記複数のサンプルスロットとして直接確定するとともに、前記複数の参照スロット値を前記複数のサンプルスロット値として直接確定することを指示する、請求項１６に記載の装置。

【請求項18】

前記予め設定されるルールは、前記複数の参照スロットにおいて前記複数のサンプルスロットをランダムに確定するとともに、前記複数の参照スロット値において前記複数のサンプルスロット値をランダムに確定することを指示する、請求項１１に記載の装置。

【請求項19】

前記大型モデルは、深層学習に基づく大規模言語モデルであり、前記装置は、
前記サンプル命令に対応するグラウンドトゥルース回答データを取得するように構成される第３の取得ユニットと、
前記サンプル命令と、前記サンプル命令に対応するグラウンドトゥルース回答データとを利用して、前記大型モデルをトレーニングするように構成されるトレーニングユニットとをさらに含む、請求項１２～１５のいずれか一項に記載の装置。

【請求項20】

前記トレーニングユニットは、
前記サンプル命令と、前記サンプル命令に対応するグラウンドトゥルース回答データとをトレーニングセットに加えて、ターゲットトレーニングセットを得るように構成される更新サブユニットと、
前記ターゲットトレーニングセットを利用して前記大型モデルをトレーニングするように構成されるトレーニングサブユニットとを含む、請求項１９に記載の装置。

【請求項21】

電子機器であって、前記電子機器は、
少なくとも一つのプロセッサと、
前記少なくとも一つのプロセッサに通信接続されるメモリとを含み、ここで、
前記メモリは、前記少なくとも一つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも一つのプロセッサによって実行されて、前記少なくとも一つのプロセッサに請求項１～１０のいずれか一項に記載の方法を実行させることを可能にする、ことを特徴とする電子機器。

【請求項22】

コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項１～１０のいずれか一項に記載の方法を実行させるために用いられる、ことを特徴とする非一時的コンピュータ可読記憶媒体。

【請求項23】

コンピュータプログラムを含むコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行されるとき、請求項１～１０のいずれか一項に記載の方法を実現する、コンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、人工知能の技術分野に関し、特に自然言語処理などの技術分野に関し、具体的に大型モデル用の命令データを生成する方法、大型モデル用の命令データを生成する装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品に関する。

【背景技術】

【0002】

人工知能は、コンピュータに人間のいくつかの思惟過程や知的行動（例えば学習、推論、思考、計画など）を模擬させるように研究する科目であり、ハードウェア面の技術もあれば、ソフトウェア面の技術もある。人工知能のハードウェア技術は、一般的にセンサ、専用人工知能チップ、クラウドコンピューティング、分散型ストレージ、ビッグデータ処理などの技術を含み、人工知能のソフトウェア技術は、主に自然言語処理技術、コンピュータビジョン技術、ボイス識別技術及び機械学習、ビッグデータ処理技術、ナレッジグラフ技術などのいくつかの方向を含む。

【0003】

この部分で説明される方法は、必ずしも以前に想定された方法又は採用された方法ではない。特に断りのない限り、この部分に記載されているいずれの方法も、この部分に含まれていることで従来技術であると考えられるべきではない。類似しているように、特に断りのない限り、この部分で言及している課題は、いかなる従来技術でも公認されたものとして考えられるべきではない。

【発明の概要】

【0004】

本開示は、大型モデル用の命令データを生成する方法、大型モデル用の命令データを生成する装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム製品を提供する。

【0005】

本開示の一態様によれば、コンピュータで実行される大型モデル用の命令データを生成する方法を提供し、この方法は、自然言語に基づく参照命令を取得することであって、参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できることと、参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを得ることと、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定することと、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成することであって、サンプル命令が、複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう大型モデルに指示できることとを含む。

【0006】

本開示の別の態様によれば、大型モデル用の命令データを生成する装置を提供し、この装置は、自然言語に基づく参照命令を取得するように構成される第１の取得ユニットであって、参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できる第１の取得ユニットと、参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを得るように構成される第２の取得ユニットと、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するように構成される確定ユニットと、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成するように構成される生成ユニットであって、サンプル命令が、複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう大型モデルに指示できる生成ユニットとを含む。

【0007】

本開示の別の態様によれば、電子機器を提供し、この電子機器は、少なくとも一つのプロセッサと、少なくとも一つのプロセッサに通信接続されるメモリとを含み、ここで、メモリは、少なくとも一つのプロセッサによって実行可能な命令を記憶しており、これらの命令は、少なくとも一つのプロセッサによって実行されて、少なくとも一つのプロセッサに上記方法を実行させることを可能にする。

【0008】

本開示の別の態様によれば、コンピュータ命令が記憶されている非一時的コンピュータ可読記憶媒体を提供し、ここで、コンピュータ命令は、コンピュータに上記方法を実行させるために用いられる。

【0009】

本開示の別の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、コンピュータプログラムがプロセッサによって実行されるとき、上記方法を実現する。

【0010】

本開示の一つ又は複数の実施例によれば、本開示は、自然言語に基づく参照命令に対して構造化分解を行うことによって、要求種別に対応する複数の参照スロットと、各要求種別の具体的な要求に対応する複数の参照スロット値とを得て、さらに複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、サンプル命令を生成するための複数のサンプルスロットと複数のサンプルスロット値を確定し、最終的に自然言語に基づくサンプル命令を得ることによって、命令トレーニングデータを生成するプロセスの柔軟性を向上させ、生成的大型モデルのためにより複雑で多様な、方向性と指向性のある命令トレーニングデータを提供し、大型モデルの命令追従能力を効果的に向上させる。

【0011】

理解すべきこととして、この部分に説明される内容は、本開示の実施例の要点又は重要な特徴を識別することを意図しておらず、本開示の範囲を限定するためのものでもない。本開示の他の特徴は、以下の明細書によって容易に理解される。

【図面の簡単な説明】

【0012】

図面は、実施例を例示的に示すとともに明細書の一部を構成し、明細書の文章による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示される実施例は、例を示すためであり、特許請求の範囲を限定するものではない。すべての図面において、同一の符号は、類似しているが、必ずしも同じとは限らない要素を指す。

【図1】本開示の実施例による、本明細書で説明される様々な方法を実施できる例示的なシステムの概略図である。

【図2】本開示の実施例による、大型モデル用の命令データを生成する方法のフローチャートである。

【図3】本開示の実施例による、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するフローチャートである。

【図4】本開示の実施例による、大型モデル用の命令データを生成する方法のフローチャートである。

【図5】本開示の実施例による、大型モデル用の命令データを生成する装置の構造ブロック図である。

【図6】本開示の実施例を実現するために使用できる例示的な電子機器の構造ブロック図である。

【発明を実施するための形態】

【0013】

以下、図面を結び付けながら本開示の例示的な実施例を説明し、理解を容易にするために、その中には本開示の実施例の様々な詳細が含まれているが、それらは単なる例示的なものと見なされるべきである。そのため、当業者であれば認識すべきこととして、本開示の範囲から逸脱することなく、本明細書で説明された実施例に対して様々な変更及び修正を行うことができる。同様に、明瞭さと簡潔さのために、以下の説明では公知の機能及び構造についての説明を省略している。

【0014】

本開示では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、一つの要素を別の要素から区別するためにのみ使用される。いくつかの例では、第１の要素と第２の要素は、該要素の同一の例を指してもよく、場合によっては、コンテキストの説明に基づいて、異なる例を指してもよい。

【0015】

本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストで別途に明確に示されていない限り、特に要素の数を限定しないなら、該要素は一つであってもよいし、複数であってもよい。なお、本開示で使用される用語「及び／又は」は、列挙されたアイテムのいずれか一つ及び可能なすべての組み合わせをカバーする。

【0016】

関連技術では、大型モデルの命令追従能力をトレーニングするために、一般的には手動で書いた命令データに頼ることしかできないが、このような命令データは、方向性と指向性に欠けている。

【0017】

上記問題を解決するために、本開示は、自然言語に基づく参照命令に対して構造化分解を行うことによって、要求種別に対応する複数の参照スロットと、各要求種別の具体的な要求に対応する複数の参照スロット値とを得て、さらに複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、サンプル命令を生成するための複数のサンプルスロットと複数のサンプルスロット値を確定し、最終的に自然言語に基づくサンプル命令を得ることによって、命令トレーニングデータを生成するプロセスの柔軟性を向上させ、生成的大型モデルのためにより複雑で多様な、方向性と指向性のある命令トレーニングデータを提供し、大型モデルの命令追従能力を効果的に向上させる。

【0018】

以下、図面を結び付けながら本開示の実施例について詳細に説明する。

【0019】

図１は、本開示の実施例によると、本明細書に記載された様々な方法及び装置を、その中で実施することができる例示的なシステム１００の概略図を示す。図１を参照すると、該システム１００は、一つ又は複数のクライアント機器１０１、１０２、１０３、１０４、１０５と１０６、サーバ１２０、及び一つ又は複数のクライアント機器をサーバ１２０に結合する一つ又は複数の通信ネットワーク１１０を含む。クライアント機器１０１、１０２、１０３、１０４、１０５と１０６は、一つ又は複数のアプリケーションを実行するように構成されてもよい。

【0020】

本開示の実施例では、サーバ１２０は、本開示による、大型モデル用の命令データを生成する方法の一つ又は複数のサービス又はソフトウェアアプリケーションを実行できるように運行することができる。一つの例示的な実施例では、サーバ上に大型モデルが配備されてもよい。

【0021】

いくつかの実施例では、サーバ１２０は、他のサービス又はソフトウェアアプリケーションをさらに提供することができ、これらのサービス又はソフトウェアアプリケーションは、非仮想環境と仮想環境を含んでもよい。いくつかの実施例では、これらのサービスは、ｗｅｂベースのサービス又はクラウドサービスとして提供することができ、例えば、ソフトウェアアズアサービス（ＳａａＳ）モデルでクライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザに提供される。

【0022】

図１に示す配置では、サーバ１２０は、サーバ１２０によって実行される機能を実現する一つ又は複数のアセンブリを含んでもよい。これらのアセンブリは、一つ又は複数のプロセッサによって実行できるソフトウェアアセンブリ、ハードウェアアセンブリ、又はそれらの組み合わせを含んでもよい。クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６を操作するユーザは、一つ又は複数のクライアントアプリケーションを順次利用してサーバ１２０とのインタラクションを行うことで、これらのアセンブリにより提供されるサービスを利用することができる。理解すべきこととして、様々な異なるシステム構成が可能であり、システム１００と異なっていてもよい。そのため、図１は、本明細書に記載された様々な方法を実施するためのシステムの一例であり、そして制限することを意図していない。

【0023】

ユーザは、クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６を使用して大型モデルで回答データを生成することができる。クライアント機器は、クライアント機器とのインタラクションを行うことのできるインターフェースをクライアント機器のユーザに提供することができる。クライアント機器はさらに、該インターフェースを介してユーザに情報を出力することができ、例えば、ユーザ入力に対して大型モデルによって生成された回答をユーザに出力することができる。図１では６つのクライアント機器しか図示されていないが、当業者であれば理解できるように、本開示は、任意の数のクライアント機器をサポートすることができる。

【0024】

クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６は、様々なタイプのコンピュータ機器、例えば、携帯型ハンドヘルドデバイス、汎用コンピュータ（例えば、パーソナルコンピュータやラップトップコンピュータ）、ワークステーションコンピュータ、ウェアラブルデバイス、スマートスクリーンデバイス、セルフサービス端末機器、サービスロボット、ゲームシステム、シンクライアント、様々なメッセージ送受信機器、センサ、又は他の検知デバイスなどを含んでもよい。これらのコンピュータ機器は、ＭＩＣＲＯＳＯＦＴ Ｗｉｎｄｏｗｓ、ＡＰＰＬＥ ｉＯＳ、ＵＮＩＸ（登録商標）系オペレーティングシステム、Ｌｉｎｕｘ（登録商標）又はＬｉｎｕｘ（登録商標）系オペレーティングシステム（例えば、ＧＯＯＧＬＥ Ｃｈｒｏｍｅ ＯＳ）などのような各種のタイプ及びバージョンのソフトウェアアプリケーションとオペレーティングシステムを実行したり、ＭＩＣＲＯＳＯＦＴ Ｗｉｎｄｏｗｓ Ｍｏｂｉｌｅ ＯＳ、ｉＯＳ、Ｗｉｎｄｏｗｓ Ｐｈｏｎｅ、Ａｎｄｒｏｉｄなどのような各種のモバイルオペレーティングシステムを含んだりすることができる。携帯用ハンドヘルドデバイスは、セルラー電話、スマートフォン、タブレットパソコン、パーソナルデジタルアシスタント（ＰＤＡ）などを含んでもよい。ウェアラブルデバイスは、ヘッドマウント型ディスプレイ（例えばスマートグラス）と他のデバイスを含んでもよい。ゲームシステムは、様々なハンドヘルド型のゲームデバイス、インターネット対応のゲームデバイスなどを含んでもよい。クライアント機器は、Ｉｎｔｅｒｎｅｔに関連する様々なアプリケーション、通信アプリケーション（例えば電子メールアプリケーション）、ショートメッセージサービス（ＳＭＳ）アプリケーションのような各種の異なるアプリケーションを実行できるとともに、各種の通信プロトコルを使用することができる。

【0025】

ネットワーク１１０は、当業者に知られている任意のタイプのネットワークであってもよく、それは、データ通信をサポートするために、複数の利用可能なプロトコルのうちのいずれか一つ（ＴＣＰ／ＩＰ、ＳＮＡ、ＩＰＸなどを含むがこれらに限定されない）を使用してもよい。例として、一つ又は複数のネットワーク１１０は、ローカルエリアネットワーク（ＬＡＮ）、イーサネットベースのネットワーク、トークンループ、ワイドエリアネットワーク（ＷＡＮ）、インターネット、仮想ネットワーク、仮想プライベートネットワーク（ＶＰＮ）、イントラネット、エクストラネット、ブロックチェーンネットワーク、公衆交換電話網（ＰＳＴＮ）、赤外線ネットワーク、無線ネットワーク（例えば、ブルートゥース（登録商標）、ＷＩＦＩ）、及び／又はこれら及び／又はその他のネットワークの任意の組み合わせであってもよい。

【0026】

サーバ１２０は、一つ又は複数の汎用コンピュータ、専用サーバコンピュータ（例えば、ＰＣ（パーソナルコンピュータ）サーバ、ＵＮＩＸ（登録商標）サーバ、ミッドレンジサーバ）、ブレードサーバ、大型コンピュータ、サーバクラスタ、又はその他のいかなる適切な配置及び／又は組み合わせを含んでもよい。サーバ１２０は、仮想オペレーティングシステムを運行する一つ又は複数の仮想マシン、又は仮想化に関わる他のコンピューティングアーキテクチャ（例えば、サーバの仮想記憶デバイスを維持するために仮想化され得る論理記憶デバイスの一つ又は複数のフレキシブルプール）を含んでもよい。様々な実施例では、サーバ１２０は、以下に説明する機能を提供する一つ又は複数のサービス又はソフトウェアアプリケーションを実行することができる。

【0027】

サーバ１２０における計算ユニットは、上記任意のオペレーティングシステム及び商業で利用可能な任意のサーバオペレーティングシステムを含む一つ又は複数のオペレーティングシステムを運行することができる。サーバ１２０はさらに、ＨＴＴＰサーバ、ＦＴＰサーバ、ＣＧＩサーバ、ＪＡＶＡ（登録商標）サーバ、データベースサーバなどを含む様々な追加のサーバアプリケーション及び／又は中間層アプリケーションのいずれか一つを運行することができる。

【0028】

いくつかの実施例では、サーバ１２０は、クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６のユーザから受信したデータフィード及び／又はイベント更新を分析と統合するために、一つ又は複数のアプリケーションを含んでもよい。サーバ１２０は、クライアント機器１０１、１０２、１０３、１０４、１０５及び／又は１０６の一つ又は複数の表示デバイスを介してデータフィード及び／又はリアルタイムイベントを表示するために、一つ又は複数のアプリケーションをさらに含んでもよい。

【0029】

いくつかの実施例では、サーバ１２０は、分散型システムのサーバであってもよいし、ブロックチェーンを組み込んだサーバであってもよい。サーバ１２０は、クラウドサーバであってもよいし、人工知能技術を備えたスマートクラウドコンピューティングサーバやスマートクラウドホストであってもよい。クラウドサーバは、クラウドコンピューティングサービス体系におけるホスト製品であり、それによって管理難易度が高く、業務拡張性が低いという、従来の物理的ホストと仮想専用サーバ（ＶＰＳ、Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ）サービスに存在する欠陥を解決する。

【0030】

システム１００は、一つ又は複数のデータベース１３０をさらに含んでもよい。いくつかの実施例では、これらのデータベースは、データと他の情報を記憶するために用いられてもよい。例えば、データベース１３０のうちの一つ又は複数は、オーディオファイルとビデオファイルの情報を記憶するために用いられてもよい。データベース１３０は、さまざまな位置に配置されてもよい。例えば、サーバ１２０によって使用されるデータベースは、サーバ１２０のローカルにあってもよいし、又はサーバ１２０から離れてネットワーク又は専用の接続を介してサーバ１２０と通信してもよい。データベース１３０は、様々なタイプであってもよい。いくつかの実施例では、サーバ１２０によって使用されるデータベースは、例えば関係データベースであってもよい。これらのデータベースのうちの一つ又は複数は、命令に応答してデータベース及びデータベースからのデータを記憶、更新、検索することができる。

【0031】

いくつかの実施例では、データベース１３０のうちの一つ又は複数はさらに、アプリケーションによって使用されてアプリケーションのデータを記憶することができる。アプリケーションによって使用されるデータベースは、異なるタイプのデータベースであってもよく、例えばキー値リポジトリ、オブジェクトリポジトリ、又はファイルシステムによってサポートされる汎用リポジトリである。

【0032】

図１のシステム１００は、本開示に基づいて説明した様々な方法と装置を応用できるように、様々な方式で構成し操作することができる。

【0033】

本開示の一態様によれば、コンピュータで実行される大型モデル用の命令データを生成する方法を提供する。図２に示すように、大型モデル用の命令データを生成する方法は、自然言語に基づく参照命令を取得するステップＳ２０１であって、参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できるステップＳ２０１と、参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを得るステップＳ２０２と、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するステップＳ２０３と、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成することであって、サンプル命令が、複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう大型モデルに指示できるステップＳ２０４とを含む。

【0034】

これにより、自然言語に基づく参照命令に対して構造化分解を行うことによって、要求種別に対応する複数の参照スロットと、各要求種別の具体的な要求に対応する複数の参照スロット値とを得て、さらに複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、サンプル命令を生成するための複数のサンプルスロットと複数のサンプルスロット値を確定し、最終的に自然言語に基づくサンプル命令を得ることによって、命令トレーニングデータを生成するプロセスの柔軟性を向上させ、生成的大型モデルのためにより複雑で多様な、方向性と指向性のある命令トレーニングデータを提供し、大型モデルの命令追従能力を効果的に向上させる。

【0035】

本開示では、大型モデルは、深層学習に基づく生成的大型モデルである。大型モデルは、エンドツーエンドの特徴を有し、ユーザにより入力される命令データに基づいて直接に回答データを生成することができる。言い換えれば、大型モデル自体に生成機能がある。いくつかの実施例では、大型モデルは、深層学習に基づく大規模言語モデルであってもよい。大規模言語モデルは、一般的に数十億ひいては数千億個のパラメータを有し、それらは、一般的に大規模なテキストデータ又は他のモーダルデータ上でトレーニングされる。大規模言語モデルは、様々な自然言語処理タスク、例えばテキスト生成、言語翻訳と質問回答システムなどに用いられてもよい。

【0036】

大型モデルは、例えば、エンコーダ（Ｅｎｃｏｄｅｒ）とデコーダ（Ｄｅｃｏｄｅｒ）とを有するＮ層のＴｒａｎｓｆｏｒｍｅｒネットワーク構造、又は統一プリトレーニング言語モデル（Ｕｎｉｆｉｅｄ ｐｒｅ－ｔｒａｉｎｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ、ＵｎｉＬＭ）ネットワーク構造を採用してもよい。理解できるように、大型モデルはさらに、Ｔｒａｎｓｆｏｒｍｅｒネットワーク構造に基づく他のニューラルネットワークモデルであってもよく、ここでは限定しない。大型モデルの入力と出力は、いずれもトークン（ｔｏｋｅｎ）で構成される。各トークンは、一つの文字、キャラクタ、単語、特殊符号に対応してもよい。大型モデルは、事前トレーニングタスクを利用してトレーニングし、上記生成機能を備えるように、命令データと該当するグラウンドトゥルース回答データを使用して微調整を行ってもよい。

【0037】

いくつかの実施例では、ステップＳ２０１において、トレーニングセットからトレーニング命令を取得してもよく、オンラインユーザログから真のターゲット命令を取得してもよく、且つこれらの命令を参照命令にする。一つの例示的な実施例では、参照命令の例として、「全文に『酒』という文字を出現させずに、酒に関する散文を１００文字以内で書いてください」というものであってもよい。該参照命令は、「大型モデルが実行すべきタスク」、「生成するコンテンツのジャンル」、「生成するコンテンツの主題」、「生成するコンテンツの文字数」及び「生成するコンテンツへの要求」という計五つの第１の要求種別に関し、そしてこの五つの第１の要求種別に対して、それぞれ「テキストの創作をタスクとする」、「ジャンルは散文」、「主題は酒」、「文字数は１００文字以内」且つ「全文に酒という文字を出現させない」という計五つの第１の要求がある。該参照命令は、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示することができる。

【0038】

上記例から分かるように、「要求種別」は、大型モデルを利用して回答データを生成するプロセスにおいて、生成するコンテンツのジャンルや主題など、どのような条件を満たすべきかであると理解されてもよい。「要求種別」に対応する「要求」は、該要求種別に対し、回答データを生成するのに具体的にどの条件を満たすべきかを説明するために用いられる。例えば、大型モデルは、「生成するコンテンツのジャンル」という要求種別に対しは、散文を生成すべきであり、又は「生成するコンテンツの主題」という要求種別に対しは、酒に関するコンテンツを生成すべきである。

【0039】

いくつかの実施例では、ステップＳ２０２において、欠陥参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを得てもよい。一つの例示的な実施例では、上記例示参照命令に対して構造化分解を行って、上記五つの第１の要求種別に対応する「タスク」、「ジャンル」、「主題」、「文字数」及び「コンテンツ要求」という五つの参照スロットを得て、且つ上記五つの第１の要求に対応する「テキスト創作」、「散文」、「酒」、「＜１００文字」及び「酒という文字を出現させない」という五つの参照スロット値を得てもよい。

【0040】

注意すべきこととして、第１の要求種別と第１の要求は、大型モデルが回答データを生成するのに満たすべき条件についての抽象概念として理解されてもよいが、参照スロットと参照スロット値は、該抽象概念を分解して得られた具体的で、確定的な構造化表現である。いくつかの実施例では、複数の参照スロットは、複数の予め設定されるスロットから選択されてもよく、そして複数の候補スロット値は、複数の予め設定されるスロット値から選択されてもよい。

【0041】

いくつかの実施例では、参照命令に対する構造化分解結果は、例えば、自然言語命令分解モデルを利用して参照命令を処理して得られるものであってもよい。自然言語命令分解モデルは、分類モデルであってもよく、それにより複数の予め設定されるスロットにおいて参照命令に対応する複数の参照スロットを選択し、且つ複数の予め設定されるスロット値において参照命令に対応する複数の参照スロット値を選択することを実現する。自然言語命令分解モデルは、生成的モデルであってもよく（上で言及した大型モデルとは異なるモデルであってもよい）、且つコンテンツ生成の方式によって、直接的に参照命令に対応する複数の参照スロットと複数の参照スロット値を得る。

【0042】

これにより、上記ステップによって、参照命令に対する構造化分解結果を得ることができ、さらに該構造化分解結果に基づき、参照命令に対して統計と分析を行い、且つ該当する統計分析結果に基づき、どのサンプルスロット及びどのサンプルスロット値に対応するサンプル命令を生成すべきかを確定することができる。いくつかの実施例では、参照命令に対する構造化分解結果に基づいて直接にサンプル命令生成を行ってもよい。

【0043】

いくつかの実施例によれば、予め設定されるルールは、複数の参照スロットを複数のサンプルスロットとして直接確定するとともに、複数の参照スロット値を複数のサンプルスロット値として直接確定することを指示してもよい。これにより、参照命令に対する書き換えを実現することができる。なお、参照命令を構造化分解し、さらに構造化分解結果に基づき命令を書き換えることによって、参照命令における各要求種別と各要求がいずれも新しく生成されるサンプル命令に反映されることを確保し、生成されるサンプル命令が間違いなく正確であることを保証することができる。

【0044】

いくつかの実施例では、複数のサンプルスロットと複数のサンプルスロット値を自然言語命令生成モデルに入力して、サンプル命令を得てもよい。自然言語命令生成モデルは、上で言及した大型モデルと異なる別の大型モデルであってもよい（例えば、同様に深層学習に基づく言語大型モデルである）。該モデルは、複数のサンプルスロットに対応する複数のサンプルスロット値を組み合わせ、自然言語に基づくサンプル命令を生成することができる。自然言語命令分解モデルを利用して参照命令に対する分解結果を取得し、且つ自然言語命令生成モデルを利用してサンプル命令を生成することによって、全自動的なサンプル命令の生成フローを実現し、期間中に人力を必要とせず、それによってサンプル命令の生成コストを低下させ、生成速度を上げる。

【0045】

いくつかの実施例によれば、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成するステップＳ２０４は、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語命令生成モデルを利用して、表現が異なるが、意味が同じである複数のサンプル命令を生成することを含む。これにより、上記方式によって、表現が異なるが、意味が同じである大量のサンプル命令を自動的に生成することができ、それによって該当するスロットとスロット値に対する大型モデルの学習を助けて加速する。なお、これらのサンプル命令が同じ意味を有し、これらのサンプル命令は、同一のグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）回答データに対応できるため、大量のサンプルデータ（サンプル命令及び対応するグラウンドトゥルース回答データを含む）を迅速に生成することができる。

【0046】

一つの例示的な実施例では、「タスク」、「ジャンル」、「主題」、「文字数」、「コンテンツ要求」という五つのサンプルスロット、及び「テキスト創作」、「散文」、「酒」、「＜１００文字」、「酒という文字を出現させない」という五つのサンプルスロット値に基づき、「散文を書いて、主題は酒であり、文中に「酒」という文字を出現させず、そして文字数を１００文字以内にする」というサンプル命令を生成することができる。例示的な実施例では、サンプルスロットと参照スロットが同じであり、サンプルスロット値と参照スロット値が同じであるため、サンプル命令に対応する複数の第２の要求と、参照命令に対応する複数の第１の要求とは、同じである。

【0047】

ステップＳ２０３に戻る。いくつかの実施例によれば、予め設定されるルールは、複数の参照スロットにおいて複数のサンプルスロットをランダムに確定するとともに、複数の参照スロット値において複数のサンプルスロット値をランダムに確定することを指示してもよい。これにより、ランダムに確定する方式によって、異なる意味を有する大量のサンプル命令を自動的且つ迅速に生成できるとともに、トレーニングデータ又はオンラインログデータに出現していなかったスロット組み合わせ又はスロット値の組み合わせを有するサンプル命令を生成することができ、それによって大型モデルの一般化性能を向上させる。

【0048】

いくつかの実施例によれば、参照命令は、トレーニングセットから取得した複数のトレーニング命令を含んでもよい。図３に示すように、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するステップＳ２０３は、複数のトレーニング命令に対応する複数の従来スロットと複数の従来スロット値の分布結果を統計するステップＳ３０１であって、複数の従来スロットが、複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロットを含むとともに、複数の従来スロット値が、複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロット値を含むステップＳ３０１と、分布結果と予め設定されるルールに基づき、複数のサンプルスロットと複数のサンプルスロット値を確定するステップＳ３０２とを含んでもよい。

【0049】

これにより、トレーニングセットにおけるトレーニング命令に対して構造化分解を行い、複数のトレーニング命令に対応する複数の従来スロットと複数の従来スロット値の分布状況を統計し、さらに統計した分布結果に基づき、どのサンプルスロット及びどのサンプルスロット値を含むサンプル命令を生成すべきかを確定することによって、より方向性のあるように、体系的にサンプル命令データの構築と補充を行うことができる。

【0050】

いくつかの実施例では、複数のトレーニング命令を分解した後に、構造化の命令体系集合を構築することができ、その中に、複数のトレーニング命令に係るすべてのスロット（即ち、複数の従来スロット）及びすべてのスロット値（即ち、複数の従来スロット値）が含まれる。上記実施例で記述した、サンプルスロット／サンプルスロット値をランダムに確定するというプロセスは、命令体系集合においてランダムにサンプリングして、新たなサンプル命令を組み合わせることであってもよい。命令体系集合を得た後に、複数の従来スロット／従来スロット値の分布結果、例えば各従来スロット／従来スロット値の分布数を統計してもよい。理解できるように、分布結果は、他のコンテンツ、例えば以下に紹介する共起回数をさらに含んでもよく、ここでは限定しない。

【0051】

いくつかの実施例では、トレーニングセットに含まれるサンプル命令は、常に偏ったものであり（例えば、少量の特定スロット／スロット値又はその組み合わせの分布数が多いが、他のスロット／スロット値又はその組み合わせの分布数が少ない）、このようなトレーニングセットを使用して大型モデルをトレーニングすると、その生成する回答データの品質に影響を与える。

【0052】

いくつかの実施例によれば、予め設定されるルールは、複数の従来スロットにおける分布数が最も少ない少なくとも一部の従来スロットに基づき、複数のサンプルスロットを確定することを指示してもよく、及び／又は、予め設定されるルールは、複数の従来スロット値における分布数が最も少ない少なくとも一部の従来スロット値に基づき、複数のサンプルスロット値を確定することを指示してもよい。これにより、分布結果に基づき、トレーニング命令においてどのスロット又はスロット値の欠落が深刻であるかを分析し、欠落が深刻であるスロット又はスロット値をサンプルスロット又はサンプルスロット値として確定することによって、サンプル命令データに対する、方向性のある構築と補充を実現し、さらに大型モデルの欠陥に対して該当するトレーニングデータを指向的に構築し、トレーニングセットの偏り問題を克服し、大型モデルにより生成される回答データの品質を向上させることができる。

【0053】

いくつかの実施例では、予め設定されるルールは、上記方式によって複数のサンプルスロットのうちの一部のサンプルスロット／サンプルスロット値を確定し、且つ他の方式（例えば、共起関係に基づくか、又はランダムにサンプリングする）によって他の部分のサンプルスロット／サンプルスロット値を確定することを指示してもよく、予め設定されるルールは、上記方式によってすべてのサンプルスロット／サンプルスロット値を確定することを指示してもよい。

【0054】

いくつかの実施例では、複数の従来スロット／従来スロット値における分布数が最も少ない、予め設定される数の従来スロット／従来スロット値をサンプルスロット／サンプルスロット値として確定してもよく、複数の従来スロット／従来スロット値における分布数が予め設定される値よりも少ない従来スロット／従来スロット値をサンプルスロット／サンプルスロット値として確定してもよく、さらに他の方式によって、トレーニングデータが深刻に欠落している従来スロット／従来スロットをサンプルスロット／サンプルスロット値として確定してもよく、ここでは限定しない。

【0055】

いくつかの実施例では、ステップＳ３０１において、複数のトレーニング命令がそれぞれ含む複数の参照スロット値／参照スロットの共起状況を統計して、複数の従来スロット値の組み合わせ／従来スロット組み合わせの分布結果（例えば、共起回数）を得てもよい。一つの例示的な実施例では、「ジャンル」と「文字数」の二つのスロットから構成される従来スロット組み合わせは、高い共起回数を有し、「小論文」と「＞８００文字」の二つのスロット値から構成される従来スロット値の組み合わせは、高い共起回数を有する。

【0056】

一般的には、従来スロット組み合わせ／従来スロット値の組み合わせに含まれるスロット／スロット値が少ないほど、その共起回数が高くなるが、スロット／スロット値の数が多いサンプルデータは少なく、それにより大型モデルは、ユーザの要求種別又は要求が多くて複雑な命令を処理するときに、生成する回答データの品質が不良である。

【0057】

いくつかの実施例によれば、予め設定されるルールは、共起回数が最も多い複数の従来スロット組み合わせに基づき、複数のサンプルスロットを確定することを指示してもよく、複数のサンプルスロットの数は、複数の従来スロット組み合わせのうちのいずれか一つの従来スロット組み合わせに含まれる従来スロットの数よりも大きく、及び／又は、予め設定されるルールは、共起回数が最も多い複数の従来スロット値の組み合わせに基づき、複数のサンプルスロット値を確定することを指示してもよく、複数のサンプルスロット値の数は、複数の従来スロット値の組み合わせのうちのいずれか一つの従来スロット値の組み合わせに含まれる従来スロット値の数よりも大きい。

【0058】

これにより、従来スロット組み合わせ／従来スロット値の組み合わせの共起回数を統計し、且つ共起回数が最も多い複数の従来スロット組み合わせ／従来スロット値の組み合わせに基づき、複数のサンプルスロット／サンプルスロット値を確定することによって、より豊富で、より複雑なサンプル命令を合理的に構築することができ、複雑な命令に対する大型モデルの追従能力を効果的に向上させる。

【0059】

一つの例示的な実施例では、「ジャンル」と「文字数」の二つのスロットから構成される第１の従来スロット組み合わせは、高い共起回数を有し、「タスク」と「ジャンル」の二つのスロットから構成される第２の従来スロット組み合わせも、高い共起回数を有するが、「タスク」と「ジャンル」と「文字数」との三つのスロットから構成される第３の従来スロット組み合わせの共起回数は低い。上記方式により、第１の従来スロット組み合わせと第２の従来スロット組み合わせに基づき、複数のサンプルスロットを確定することができ、例えば第１の従来スロット組み合わせと第２の従来スロット組み合わせとを統合して、「タスク」と「ジャンル」と「文字数」との三つのスロットをサンプルスロットとして確定する。理解できるように、さらに他の方式によって、共起回数が最も多い複数の従来スロット組み合わせ／従来スロット値の組み合わせに基づき、複数のサンプルスロット／サンプルスロット値を確定してもよく、ここでは限定しない。

【0060】

いくつかの実施例では、予め設定されるルールは、上記方式によって複数のサンプルスロットのうちの一部のサンプルスロット／サンプルスロット値を確定し、且つ他の方式（例えば、共起関係に基づくか、又はランダムにサンプリングする）によって他の部分のサンプルスロット／サンプルスロット値を確定することを指示してもよく、予め設定されるルールは、上記方式によってすべてのサンプルスロット／サンプルスロット値を確定することを指示してもよい。

【0061】

いくつかの実施例では、複数の従来スロット／従来スロット値における分布数が最も少ない、予め設定される数の従来スロット／従来スロット値をサンプルスロット／サンプルスロット値として確定してもよく、複数の従来スロット／従来スロット値における分布数が予め設定される値よりも少ない従来スロット／従来スロット値をサンプルスロット／サンプルスロット値として確定してもよく、さらに他の方式によって、トレーニングデータが深刻に欠落している従来スロット／従来スロットをサンプルスロット／サンプルスロット値として確定してもよく、ここでは限定しない。

【0062】

いくつかの実施例によれば、参照命令は、オンラインユーザログから取得したターゲット命令を含んでもよい。ターゲット命令に対応する複数の参照スロットは、ターゲットスロットを含んでもよく、ターゲット命令に対応する複数の参照スロット値は、ターゲットスロット値を含んでもよい。予め設定されるルールは、複数の従来スロットがターゲットスロットを含まないか、及び／又はターゲットスロットの分布数が、第１の予め設定される値よりも少なく又は少なくとも一部の他の従来スロットの分布数よりも少ないと確定することに応答して、ターゲットスロットをサンプルスロットとして設定することを指示してもよく、又は予め設定されるルールは、複数の従来スロットがターゲットスロット値を含まないか、又はターゲットスロット値の分布数が、第２の予め設定される値よりも少なく又は少なくとも一部の他の従来スロット値の分布数よりも少ないと確定することに応答して、ターゲットスロット値をサンプルスロット値として設定してもよい。

【0063】

これにより、オンラインユーザログから取得したターゲット命令を分解し、且つその中に含まれるターゲットスロット／ターゲットスロット値の、トレーニング命令における出現回数に基づいてサンプルスロット／サンプルスロット値を確定することによって、サンプル命令データに対してより方向性のある構築と補充を行うことができ、さらに大型モデルの欠陥に対して該当するトレーニングデータを指向的に構築することができる。なお、オンラインログをマイニングし続けることによって、持続的に大型モデルの欠陥を発見し、且つ該当する命令データを構築して能力を補足し、最終的に強い命令追従能力を獲得するように大型モデルを推進する。

【0064】

いくつかの実施例では、ターゲット命令に対応する複数の参照スロット／参照スロット値における各参照スロット／参照スロット値をターゲットスロット／ターゲットスロット値として、上記予め設定されるルールを使用して判断してもよい。理解できるように、当業者は、需要に応じて上記第１の予め設定される値、第２の予め設定される値、及び少なくとも一部の他の従来スロットの範囲を確定してもよく、ここでは限定しない。

【0065】

いくつかの実施例では、予め設定されるルールは、上記方式によって複数のサンプルスロットのうちの一部のサンプルスロット／サンプルスロット値を確定し、且つ他の方式（例えば、共起関係に基づくか、又はランダムにサンプリングする）によって他の部分のサンプルスロット／サンプルスロット値を確定することを指示してもよく、予め設定されるルールは、上記方式によってすべてのサンプルスロット／サンプルスロット値を確定することを指示してもよい。

【0066】

いくつかの実施例によれば、大型モデルは、大規模言語モデルであってもよい。図４に示すように、大型モデル用の命令データを生成する方法は、サンプル命令に対応するグラウンドトゥルース（ｇｒｏｕｎｄ ｔｒｕｔｈ）回答データを取得するステップＳ４０５と、サンプル命令と、サンプル命令に対応するグラウンドトゥルース回答データとを利用して大型モデルをトレーニングするステップＳ４０６とをさらに含む。理解できるように、図４におけるステップＳ４０１～ステップＳ４０４の操作は、図２におけるステップＳ２０１～ステップＳ２０４の操作と類似しており、ここでは説明を省略する。

【0067】

これにより、サンプル命令に対応するグラウンドトゥルース回答データを取得し、且つ該グラウンドトゥルース回答データとサンプル命令を利用して大型モデルをトレーニングすることによって、より複雑で多様な、方向性と指向性のある命令トレーニングデータを提供し、大型モデルの命令追従能力を効果的に向上させることができる。

【0068】

いくつかの実施例では、ステップＳ４０５において、手動アノテーションの方式によってグラウンドトゥルース回答データを取得してもよく、モデル生成の方式を利用してグラウンドトゥルース回答データを取得してもよく、さらに他の方式によってグラウンドトゥルース回答データを取得してもよく、ここでは限定しない。

【0069】

いくつかの実施例では、ステップＳ４０６において、サンプル命令を大型モデルに入力して、大型モデルにより出力される予測回答データを取得してもよく、さらにグラウンドトゥルース回答データと予測回答データに基づいて損失値を計算し、損失値に基づいて大型モデルのパラメータを調整して、大型モデルのトレーニングを実現する。理解できるように、さらに他の方式によって、サンプル命令及び対応するグラウンドトゥルース回答データを利用して大型モデルをトレーニングしてもよく、ここでは限定しない。

【0070】

いくつかの実施例によれば、サンプル命令と、サンプル命令に対応するグラウンドトゥルース回答データとを利用して大型モデルをトレーニングするステップＳ４０６は、サンプル命令と、サンプル命令に対応するグラウンドトゥルース回答データとをトレーニングセットに加えて、ターゲットトレーニングセットを得ることと、ターゲットトレーニングセットを利用して大型モデルをトレーニングすることとを含んでもよい。これにより、分布結果に基づいて構築されたサンプル命令と、対応するグラウンドトゥルース回答データとをトレーニングセットに加えて、トレーニングセットを利用して大型モデルをトレーニングすることによって、バランスの取れた全面的な能力を有する大型モデルを得ることができる。

【0071】

いくつかの実施例では、更新後のターゲットトレーニングセットに基づいて命令体系集合を更新してもよく、さらに更新後の命令体系集合の分布結果を統計して、新たなサンプル命令とサンプルデータを生成することによって、大型モデルの命令追従能力を持続的に向上させる。

【0072】

以上に述べたように、いくつかの実施例では、複数のサンプルスロットと複数のサンプルスロット値に対し、自然言語命令生成モデルを利用して、表現が異なるが、意味が同じである複数のサンプル命令を生成してもよい。これらのサンプル命令に対し、一つのグラウンドトゥルース回答データのみを取得し、且つ各サンプル命令を、それぞれ該グラウンドトゥルース回答データと組み合わせてトレーニングセットに加えてもよい。

【0073】

本開示の別の態様によれば、大型モデル用の命令データを生成する装置を提供する。図５に示すように、装置５００は、自然言語に基づく参照命令を取得するように構成される第１の取得ユニット５１０であって、参照命令が、複数の第１の要求種別に対応する複数の第１の要求を満たす回答データを生成するよう大型モデルに指示できる第１の取得ユニット５１０と、参照命令に対する構造化分解結果を取得して、複数の第１の要求種別に対応する複数の参照スロットと、複数の第１の要求に対応する複数の参照スロット値とを得るように構成される第２の取得ユニット５２０と、複数の参照スロット、複数の参照スロット値及び予め設定されるルールに基づき、複数のサンプルスロットと、複数のサンプルスロットに対応する複数のサンプルスロット値とを確定するように構成される確定ユニット５３０と、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語に基づくサンプル命令を生成するように構成される生成ユニット５４０であって、サンプル命令が、複数のサンプルスロット値に対応する複数の第２の要求を満たす回答データを生成するよう大型モデルに指示できる生成ユニット５４０とを含む。

【0074】

理解できるように、装置５００におけるユニット５１０～ユニット５４０の操作は、図２におけるステップＳ２０１～ステップＳ２０４の操作と類似しており、ここでは説明を省略する。

【0075】

いくつかの実施例によれば、予め設定されるルールは、複数の参照スロットを複数のサンプルスロットとして直接確定するとともに、複数の参照スロット値を複数のサンプルスロット値として直接確定することを指示してもよい。

【0076】

いくつかの実施例によれば、予め設定されるルールは、複数の参照スロットにおいて複数のサンプルスロットをランダムに確定するとともに、複数の参照スロット値において複数のサンプルスロット値をランダムに確定することを指示してもよい。

【0077】

いくつかの実施例によれば、参照命令は、トレーニングセットから取得した複数のトレーニング命令を含んでもよい。確定ユニットは、複数のトレーニング命令に対応する複数の従来スロットと複数の従来スロット値の分布結果を統計するように構成される統計サブユニットであって、複数の従来スロットが、複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロットを含むとともに、複数の従来スロット値が、複数のトレーニング命令における各トレーニング命令に対応する複数の参照スロット値を含む統計サブユニットと、分布結果と予め設定されるルールに基づき、複数のサンプルスロットと複数のサンプルスロット値を確定するように構成される確定サブユニットとを含んでもよい。

【0078】

いくつかの実施例によれば、予め設定されるルールは、複数の従来スロットにおける分布数が最も少ない少なくとも一部の従来スロットに基づき、複数のサンプルスロットを確定することを指示してもよく、及び／又は、予め設定されるルールは、複数の従来スロット値における分布数が最も少ない少なくとも一部の従来スロット値に基づき、複数のサンプルスロット値を確定することを指示してもよい。

【0079】

いくつかの実施例によれば、予め設定されるルールは、共起回数が最も多い複数の従来スロット組み合わせに基づき、複数のサンプルスロットを確定することを指示してもよく、複数のサンプルスロットの数は、複数の従来スロット組み合わせのうちのいずれか一つの従来スロット組み合わせに含まれる従来スロットの数よりも大きく、及び／又は、予め設定されるルールは、共起回数が最も多い複数の従来スロット値の組み合わせに基づき、複数のサンプルスロット値を確定することを指示してもよく、複数のサンプルスロット値の数は、複数の従来スロット値の組み合わせのうちのいずれか一つの従来スロット値の組み合わせに含まれる従来スロット値の数よりも大きい。

【0080】

いくつかの実施例によれば、参照命令は、オンラインユーザログから取得したターゲット命令を含んでもよい。ターゲット命令に対応する複数の参照スロットは、ターゲットスロットを含み、ターゲット命令に対応する複数の参照スロット値は、ターゲットスロット値を含む。予め設定されるルールは、複数の従来スロットがターゲットスロットを含まないか、又はターゲットスロットの分布数が、第１の予め設定される値よりも少なく又は少なくとも一部の他の従来スロットの分布数よりも少ないと確定することに応答して、ターゲットスロットをサンプルスロットとして設定することを指示してもよく、及び／又は予め設定されるルールは、複数の従来スロットがターゲットスロット値を含まないか、又はターゲットスロット値の分布数が、第２の予め設定される値よりも少なく又は少なくとも一部の他の従来スロット値の分布数よりも少ないと確定することに応答して、ターゲットスロット値をサンプルスロット値として設定することを指示してもよい。

【0081】

いくつかの実施例によれば、大型モデルは、深層学習に基づく大規模言語モデルであってもよい。装置９００は（図示せず）、サンプル命令に対応するグラウンドトゥルース回答データを取得するように構成される第３の取得ユニットと、サンプル命令と、サンプル命令に対応するグラウンドトゥルース回答データとを利用して、大型モデルをトレーニングするように構成されるトレーニングユニットとをさらに含んでもよい。

【0082】

いくつかの実施例によれば、トレーニングユニットは、サンプル命令と、サンプル命令に対応するグラウンドトゥルース回答データとをトレーニングセットに加えて、ターゲットトレーニングセットを得るように構成される更新サブユニットと、ターゲットトレーニングセットを利用して大型モデルをトレーニングするように構成されるトレーニングサブユニットとを含んでもよい。

【0083】

いくつかの実施例によれば、生成ユニットは、複数のサンプルスロットと複数のサンプルスロット値に基づき、自然言語命令生成モデルを利用して、表現が異なるが、意味が同じである複数のサンプル命令を生成するように構成される生成サブユニットを含んでもよい。

【0084】

本開示の技術案において、関連するユーザ個人情報の収集、記憶、使用、加工、伝送、提供と開示などの処理は、すべて関連法律法規の規定に適合し、公序良俗に反しない。

【0085】

本開示の実施例によれば、電子機器、可読記憶媒体及びコンピュータプログラム製品をさらに提供する。

【0086】

次に、図６を参照して、本開示のサーバ又はクライアントとして利用できる電子機器６００の構造ブロック図について説明し、それは、本開示の各態様に応用できるハードウェア機器の一例である。電子機器は、様々な形態のデジタル電子コンピュータ、例えば、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ステージ、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、その他の適切なコンピュータを示す。電子機器は更に、様々な形態の移動装置、例えば、パーソナルデジタル処理、携帯電話、インテリジェントフォン、ウェアラブル機器とその他の類似する計算装置を示してもよい。本明細書に示される部品、これらの接続関係及びこれらの機能は例示的なものに過ぎず、本明細書に説明した及び／又は請求した本開示の実現を制限しない。

【0087】

図６に示すように、電子機器６００は、計算ユニット６０１を含み、それは、リードオンリーメモリ（ＲＯＭ）６０２に記憶されているコンピュータプログラム、又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされるコンピュータプログラムに基づいて、種々の適当な動作と処理を実行することができる。ＲＡＭ６０３には、電子機器６００の操作に必要な様々なプログラムとデータがさらに記憶されていてもよい。計算ユニット６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続される。入力／出力（Ｉ／Ｏ）インターフェース６０５も、バス６０４に接続される。

【0088】

電子機器６００における複数の部材は、Ｉ／Ｏインターフェース６０５に接続され、入力ユニット６０６、出力ユニット６０７、記憶ユニット６０８及び通信ユニット６０９を含む。入力ユニット６０６は、電子機器６００に情報を入力できる任意のタイプのデバイスであってもよく、入力ユニット６０６は、入力された数字又は文字情報を受信し、且つ電子機器のユーザ設定及び／又は機能制御に関するキー信号入力を生成することができるとともに、マウス、キーボード、タッチスクリーン、トラックボード、トラックボール、操作レバー、マイク及び／又はリモコンを含んでもよいが、これらに限定されない。出力ユニット６０７は、情報を提示できる任意のタイプのデバイスであってもよく、そしてディスプレイ、スピーカ、ビデオ／オーディオ出力端末、バイブレータ、及び／又はプリンタを含んでもよいが、これらに限定されない。記憶ユニット６０８は、磁気ディスク、光ディスクを含んでもよいが、これらに限定されない。通信ユニット６０９は、電子機器６００が、例えばインターネットであるコンピュータネットワーク及び／又は様々な電気通信ネットワークを介して他の機器と情報／データを交換することを可能にするとともに、モデム、ネットワークカード、赤外線通信デバイス、無線通信送受信機、及び／又はチップセット、例えば、ブルートゥース（登録商標）デバイス、８０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信デバイス及び／又は類似物を含んでもよいが、これらに限定されない。

【0089】

計算ユニット６０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理アセンブリであってもよい。計算ユニット６０１のいくつかの例として、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを運行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット６０１は、以上に説明した各方法と処理、例えば大型モデル用の命令データを生成する方法を実行する。例えば、いくつかの実施例では、大型モデル用の命令データを生成する方法は、機械可読媒体、例えば、記憶ユニット６０８に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例では、コンピュータプログラムの一部の又は全部は、ＲＯＭ６０２及び／又は通信ユニット６０９を介して電子機器６００にロード及び／又はインストールされてもよい。コンピュータプログラムがＲＡＭ６０３にロードされて計算ユニット６０１によって実行されるとき、以上に説明した、大型モデル用の命令データを生成する方法の一つ又は複数のステップを実行することができる。代替的に、他の実施例では、計算ユニット６０１は、他の任意の適切な方式（例えば、ファームウェア）によって、大型モデル用の命令データを生成する方法を実行するように構成されてもよい。

【0090】

本明細書で上述したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブル論理デバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、以下を含んでもよい。一つ又は複数のコンピュータプログラムにおいて実施され、該一つ又は複数のコンピュータプログラムは、少なくとも一つのプログラマブルプロセッサを含むプログラマブルシステムで実行及び／又は解釈されてもよく、該プログラマブルプロセッサは、専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも一つの入力装置、少なくとも一つの出力装置からデータと命令を受信するとともに、データと命令を該記憶システム、該少なくとも一つの入力装置、該少なくとも一つの出力装置に送信してもよい。

【0091】

本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで書かれてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによりプログラムコードがプロセッサ又はコントローラによって実行されるとき、フローチャート及び／又はブロック図に規定される機能／操作が実施される。プログラムコードは、完全に機械で実行されてもよく、部分的に機械で実行されてもよく、独立したソフトウェアパッケージとして部分的に機械で実行され且つ部分的に遠隔機械で実行されてもよく、又は完全に遠隔機械又はサーバで実行されてもよい。

【0092】

本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、それは、命令実行システム、装置又はデバイスに使用されるか又は命令実行システム、装置又はデバイスに結合されて使用されるプログラムを包含又は記憶してもよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子的、磁気的、光学的、電磁的、赤外線的、又は半導体システム、装置又は機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限らない。機械可読記憶媒体のより具体的な例は、一つ又は複数の線による電気的接続、携帯型コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、携帯型コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光学記憶デバイス、磁気記憶デバイス、又は上記内容の任意の適切な組み合わせを含む。

【0093】

ユーザとのインタラクションを提供するために、コンピュータにおいてここで説明したシステムと技術を実施してもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）監視モニタ）、及びキーボードとポインティング装置（例えば、マウスやトラックボール）を有し、ユーザは、該キーボードと該ポインティング装置によって入力をコンピュータに提供してもよい。その他の種類の装置はさらに、ユーザとのインタラクティブを提供するためのものであってもよい。例えば、ユーザに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、そして任意の形式（音声入力、ボイス入力、触覚入力を含む）でユーザからの入力を受信してもよい。

【0094】

ここで説明したシステム及び技術は、バックグラウンド部材を含む計算システム（例えば、データサーバ）や、ミドルウェア部材を含む計算システム（例えば、アプリケーションサーバ）や、フロントエンド部材を含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、該グラフィカルユーザインタフェース又は該ウェブブラウザを通じて、ここで説明したシステム及び技術の実施形態とインタラクションできる）や、このようなバックグラウンド部材、ミドルウェア部材、又はフロントエンド部材の任意の組み合わせを含む計算システムにおいて実施されてもよい。システムの部材は、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互に接続されてもよい。通信ネットワークの例として、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、インターネットとブロックチェーンネットワークを含む。

【0095】

コンピュータシステムは、クライアントとサーバを含んでもよい。クライアントとサーバは、一般的に互に遠く離れており、通常、通信ネットワークを介してインタラクションを行う。互にクライアント－サーバという関係を有するコンピュータプログラムを、該当するコンピュータにおいて運行することによって、クライアントとサーバの関係を生成する。サーバは、クラウドサーバであってもよく、分散型システムのサーバ、又はブロックチェーンを組み込んだサーバであってもよい。

【0096】

理解すべきこととして、以上に示す様々な形式のフローを使用して、ステップを改めて順位付け、追加又は削除してもよい。例えば、本開示に記載された各ステップは、並行して実行されてもよいし、順次又は異なる順番で実行されてもよいし、本開示に開示された技術案が所望する結果を実現できれば、本明細書では限定しない。

【0097】

図面を参照しながら本開示の実施例又は例について説明したが、理解すべきこととして、上記方法、システム及び機器は、単に例示的な実施例又は例に過ぎず、本発明の範囲は、これらの実施例又は例によって制限されるものではなく、授権後の特許請求の範囲及びその同等範囲のみによって限定される。実施例又は例における様々な要素は、省略されてもよく、又はそれらの同等要素によって代替されてもよい。なお、各ステップは、本開示で説明した順序と異なる順序で実行されてもよい。さらに、実施例又は例における様々な要素は、様々な方法で組み合わせられてもよい。要点として、技術の進化に伴い、ここで説明された多くの要素は、本開示の後に現れる同等の要素に置き換えられてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】