特表 2025-511721 事前訓練サービスシステム及び事前訓練サービスシステムに基づくサービス提供方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-04-16

(54)【発明の名称】事前訓練サービスシステム及び事前訓練サービスシステムに基づくサービス提供方法

(51)【国際特許分類】

   G06N 3/096 20230101AFI20250408BHJP

   G06N 20/00 20190101ALI20250408BHJP

   G06F 21/14 20130101ALI20250408BHJP

【ＦＩ】

G06N3/096

G06N20/00

G06F21/14

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024559159

(86)(22)【出願日】2022-11-25

(85)【翻訳文提出日】2024-10-04

(86)【国際出願番号】 CN2022134496

(87)【国際公開番号】W WO2023193453

(87)【国際公開日】2023-10-12

(31)【優先権主張番号】202210353465.X

(32)【優先日】2022-04-06

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】523322689

【氏名又は名称】アリババ イノベーション プライベート リミテッド

(74)【代理人】

【識別番号】100169904

【弁理士】

【氏名又は名称】村井 康司

(74)【代理人】

【識別番号】100216150

【弁理士】

【氏名又は名称】香山 良樹

(72)【発明者】

【氏名】▲門▼睿

(72)【発明者】

【氏名】周▲暢▼

(72)【発明者】

【氏名】王▲鵬▼

(72)【発明者】

【氏名】▲張▼一昌

(72)【発明者】

【氏名】林俊▲暘▼

(72)【発明者】

【氏名】▲楊▼安

(72)【発明者】

【氏名】李永

(72)【発明者】

【氏名】林▲偉▼

(72)【発明者】

【氏名】丁▲銘▼

(72)【発明者】

【氏名】▲鄒▼旭

(72)【発明者】

【氏名】杜政▲曉▼

(72)【発明者】

【氏名】唐杰

(72)【発明者】

【氏名】▲楊▼▲紅▼霞

(72)【発明者】

【氏名】周靖人

(57)【要約】

本願の１つ又は複数の実施例は事前訓練サービスシステム及び事前訓練サービスシステムに基づくサービス提供方法を提供し、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記システムは、モデル生産者が事前訓練モデルを生成するように提供するための生産者サービスモジュールと、モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するための最適化者サービスモジュールと、モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するための消費者サービスモジュールであって、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するための消費者サービスモジュールと、を含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

事前訓練サービスシステムであって、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記事前訓練サービスシステムは、
モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するための生産者サービスモジュールと、
モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するための最適化者サービスモジュールと、
モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するための消費者サービスモジュールであって、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するための消費者サービスモジュールと、を含むことを特徴とする事前訓練サービスシステム。

【請求項2】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含むことを特徴とする請求項１に記載のシステム。

【請求項3】

前記生産者サービスモジュールはさらに前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するために用いられ、
前記最適化者サービスモジュールはさらに前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するために用いられることを特徴とする請求項２に記載のシステム。

【請求項4】

前記消費者サービスモジュールは、
前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うために用いられ、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うために用いられることを特徴とする請求項１～３のいずれか１項に記載のシステム。

【請求項5】

前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含むことを特徴とする請求項１～４のいずれか１項に記載のシステム。

【請求項6】

前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶されることを特徴とする請求項１～５のいずれか１項に記載のシステム。

【請求項7】

前記最適化者サービスモジュールはさらに前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するために用いられ、及び／又は、
前記消費者サービスモジュールはさらに前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するために用いられる、
ことを特徴とする請求項１～６のいずれか１項に記載のシステム。

【請求項8】

前記事前訓練サービスシステムは前記事前訓練モデル又は前記最適化されたモデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされることを特徴とする請求項１～７のいずれか１項に記載のシステム。

【請求項9】

事前訓練サービスシステムに基づくサービス提供方法であって、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記方法は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するステップと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するステップであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられるステップと、を含むことを特徴とする事前訓練サービスシステムに基づくサービス提供方法。

【請求項10】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含むことを特徴とする請求項９に記載の方法。

【請求項11】

前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するステップと、
前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するステップと、をさらに含む、
ことを特徴とする請求項１０に記載の方法。

【請求項12】

前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うために用いられるステップ、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うステップと、をさらに含む、
ことを特徴とする請求項９～１１のいずれか１項に記載の方法。

【請求項13】

前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含むことを特徴とする請求項９～１２のいずれか１項に記載の方法。

【請求項14】

前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶されることを特徴とする請求項９～１３のいずれか１項に記載の方法。

【請求項15】

前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するステップ、及び／又は、
前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するステップ、をさらに含む、
ことを特徴とする請求項９～１４のいずれか１項に記載の方法。

【請求項16】

前記事前訓練サービスシステムは前記目標事前訓練モデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされることを特徴とする請求項９～１５のいずれか１項に記載の方法。

【請求項17】

事前訓練サービスシステムに基づくサービス提供装置であって、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記装置は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するための取得ユニットと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するための開放ユニットであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる開放ユニットと、を含むことを特徴とする事前訓練サービスシステムに基づくサービス提供装置。

【請求項18】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含むことを特徴とする請求項１７に記載の装置。

【請求項19】

前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するための生成ユニットと、
前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するための提供及び修正ユニットと、をさらに含む、
ことを特徴とする請求項１８に記載の装置。

【請求項20】

前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うためのオフライン配置ユニット、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うためのオンライン推理ユニット、をさらに含む、
ことを特徴とする請求項１７～１９のいずれか１項に記載の装置。

【請求項21】

前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含むことを特徴とする請求項１７～２０のいずれか１項に記載の装置。

【請求項22】

前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶されることを特徴とする請求項１７～２１のいずれか１項に記載の装置。

【請求項23】

前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するための第１検証ユニット、及び／又は、
前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するための第２検証ユニットをさらに含む、
ことを特徴とする請求項１７～２２のいずれか１項に記載の装置。

【請求項24】

前記事前訓練サービスシステムは前記目標事前訓練モデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされることを特徴とする請求項１７～２３のいずれか１項に記載の装置。

【請求項25】

プロセッサ、メモリ及び不揮発性メモリを含み、
前記プロセッサは前記不揮発性メモリから対応するコンピュータプログラムを前記メモリに読み取り、前記コンピュータプログラムに基づいて請求項９～１６のいずれか１項に記載の方法を実行するために用いられることを特徴とする電子機器。

【請求項26】

コンピュータプログラムを記憶し、前記コンピュータプログラムがプロセッサに実行されるときに請求項９～１６のいずれか１項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。

【請求項27】

コンピュータプログラムを含み、前記コンピュータプログラムが実行されるときにコンピュータに請求項９～１６のいずれか１項に記載の方法を実行させることを特徴とするコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本願は２０２２年０４月０６日に中国特許局に提出され、出願番号が２０２２１０３５３４６５．Ｘであり、出願の名称が「事前訓練サービスシステム及び事前訓練サービスシステムに基づくサービス提供方法」である中国特許出願の優先権を主張し、その全ての内容は参照により本願に組み込まれる。

【0002】

本願の１つ又は複数の実施例は深層学習の分野に関し、特に事前訓練サービスシステム及び事前訓練サービスシステムに基づくサービス提供方法に関する。

【背景技術】

【0003】

人工知能技術が急速に発展する背景で、各種の大規模な事前訓練モデルが時運に応じて現れ、事前訓練モデルが有する理解、生成及び検索などの能力は各行業に応用されて顕著に成功する。しかし、事前訓練モデルの使用条件が高いため、どのように使用の難易度を低減させ、より多くのユーザーに簡単な操作で事前訓練モデルを運用できるプラットフォームを提供することが早急に解決すべき問題である。また、事前訓練モデルは極めて強い理解、生成及び検索能力を有するため、どのように事前訓練モデルの悪用を回避することも考えられる問題である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

これに鑑み、本願の１つ又は複数の実施例は事前訓練サービスシステムを提供する。

【課題を解決するための手段】

【0005】

上記目的を達成するために、本願の１つ又は複数の実施例が提供する技術的解決手段は以下のとおりである。

【0006】

本願の１つ又は複数の実施例の第１態様によれば、事前訓練サービスシステムを提供し、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記事前訓練サービスシステムは、
モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するための生産者サービスモジュールと、
モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するための最適化者サービスモジュールと、
モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するための消費者サービスモジュールであって、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するための消費者サービスモジュールと、を含む。

【0007】

本願の１つ又は複数の実施例の第２態様によれば、事前訓練サービスシステムに基づくサービス提供方法を提供し、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記方法は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するステップと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するステップであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられるステップと、を含む。

【0008】

本願の１つ又は複数の実施例の第３態様によれば、事前訓練サービスシステムに基づくサービス提供装置を提供し、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記装置は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するための取得ユニットと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するための開放ユニットであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる開放ユニットと、を含む。

【0009】

本願の１つ又は複数の実施例の第４態様に基づき、電子機器を提供し、プロセッサ、メモリ及び不揮発性メモリを含み、
前記プロセッサは前記不揮発性メモリから対応するコンピュータプログラムを前記メモリに読み取り、前記コンピュータプログラムに基づいて上記第２態様に記載の方法を実行するために用いられる。

【0010】

本願の１つ又は複数の実施例の第５態様によれば、コンピュータプログラムを記憶するコンピュータ可読記憶媒体を提供し、前記コンピュータプログラムがプロセッサに実行されるときに上記第２態様に記載の方法を実現することを特徴とする。

【0011】

本願の１つ又は複数の実施例の第６態様によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムが実行されるときにコンピュータに上記第２態様に記載の方法を実行させる。

【発明の効果】

【0012】

本願にて提供される技術的解決手段において、生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含む事前訓練サービスシステムにより異なる身分を有するユーザーにタイプの異なるサービスを提供し、事前訓練モデルの使用の難易度を低減させ、事前訓練モデルの汎用性を向上させ、事前訓練モデルを生成する能力を有しないモデル最適化者に事前訓練モデルに基づいて最適化されたモデルを迅速且つ容易に取得する能力を提供し、しかも、さらにサービスインタフェースをモデル消費者に提供し、モデル消費者はサービスインタフェースを介して事前訓練モデル又は最適化されたモデルを迅速に利用して推理してモデル予測結果を取得することができる。且つ事前訓練サービスシステムが提供するモデル構造コード及びモデルパラメータは難読化されたモデル構造コード及び難読化されたモデルパラメータであるため、それは機能的に初期モデル構造コード及び初期モデルパラメータと同様であるが、難読化されたモデル構造コードにより該事前訓練モデルを再現しにくく、難読化された構造コード及び難読化されたモデルパラメータを用いて事前訓練モデルの悪用を回避することができ、それにより事前訓練モデルを保護する効果を達成する。

【図面の簡単な説明】

【0013】

【図1】本願の１つの例示的な実施例が提供する事前訓練サービスシステムの構造概略図である。

【図2】本願の１つの例示的な実施例が提供する事前訓練サービスシステムに基づくサービス提供方法のフローチャートの概略図である。

【図3】本願の１つの例示的な実施例が提供する電子機器の構造概略図である。

【図4】本願の１つの例示的な実施例が提供する事前訓練サービスシステムに基づくサービス提供装置の概略図である。

【発明を実施するための形態】

【0014】

以下、例示的な実施例を図面に基づいて詳細に説明する。以下の説明が図面に関する場合、特に示しがない限り、異なる図面における同一の参照番号は同一又は類似の要素を示す。以下の例示的な実施例において説明する実施形態は本願の１つ又は複数の実施例と一致する全ての実施形態が含まれることが意図していない。むしろ、それらは単に添付の特許請求の範囲に詳述されるように、本願の１つ又は複数の実施例のいくつかの態様と一致する装置及び方法の例である。

【0015】

なお、他の実施例において本願に示され及び説明された順序に基づいて対応する方法のステップを実行するとは限らない。いくつかの他の実施例において、その方法に含まれるステップは本願に説明されたものより多く又はより少なくもてもよい。また、本願に説明された単一のステップは、他の実施例において複数のステップに分解して説明する可能性があるが、本願において説明された複数のステップは、他の実施例においても単一のステップに統合されて説明される可能性がある。

【0016】

人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩ）技術の応用シーンの複雑化のために、異なる応用シーンにおいて、タスク目標、訓練データ、問題設定などの面にいずれも差異が存在する。そのため、共通性を有する事前訓練モデルをユーザーに提供することにより、ユーザーが該事前訓練モデルに基づいて微調整を行って特定の応用シーンに合致する最適化されたモデルの応用モードを取得して訓練データに対する需要を低減させ、訓練効率を向上させ、より多くの中小型企業が特定の応用シーンに合致する最適化されたモデルを取得する能力を備え、それによりＡＩ技術の応用普及を推進する。しかも、ユーザーは応用シーンに応じて異なる事前訓練モデル又はサービス特定シーンの最適化されたモデルを選択して自己のデータを利用して推理することができ、それにより選択された事前訓練モデル又は最適化されたモデルに基づくモデル出力結果を取得する。

【0017】

タイプの異なる身分を有するユーザーにタイプの異なる事前訓練モデルに基づくサービスを提供しやすくするために、本願の１つの例示的な実施例は図１に示すような事前訓練サービスシステムを提供し、該事前訓練サービスシステムは、生産者サービスモジュール１１、最適化者サービスモジュール１２及び消費者サービスモジュール１３を含む。そのうち、生産者サービスモジュール１１はモデル生産者に事前訓練データセット１１１に対するモデルの事前訓練機能を提供し、対応する事前訓練モデル１１２を生成するために用いられ、最適化者サービスモジュール１２は、モデル最適化者が提供する微調整データセット１２１に基づいて前記事前訓練モデル１１２を最適化し、最適化されたモデル１２２を取得するために用いられ、消費者サービスモジュール１３は、モデル消費者に前記事前訓練モデル１１２及び／又は前記最適化されたモデル１２２に対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル１１２又は前記最適化されたモデル１２２は前記モデル消費者が提供するデータ１３１に対して推理してモデル予測結果１３２を出力するために用いられる。

【0018】

そのうち、上記モデル生産者とは事前訓練サービスシステム側のアルゴリズム開発者であり、事前訓練モデル１１２の生産者であり、本願の１つの例示的な実施例において、モデル生産者は事前訓練データセット１１１に基づいて事前訓練サービスシステムが提供するモデルの事前訓練機能を利用して分散式事前訓練を起動して事前訓練モデル１１２を生成し、該事前訓練モデル１１２は事前訓練サービスシステムが人工知能関連サービスを提供する基礎であり、他の事前訓練モデルはいずれも該事前訓練モデル１１２により修正された後に取得される。

【0019】

本願の１つの例示的な実施例において、事前訓練モデル１１２の事前訓練過程において、モデルの事前訓練機能はチェックポイント活性化（Ａｃｔｉｖａｔｉｏｎ Ｃｈｅｃｋｐｏｉｎｔｉｎｇ）技術を実現する。ネットワークにいくつかのチェックポイント（Ｃｈｅｃｋｐｏｉｎｔ）を設定し、下り過程において一部の一時的に無駄な中間結果を捨ててメモリ占有を低減させ、後続過程においてこれらの中間結果を必要とする場合、最近のチェックポイントから追加の下り計算により対応する中間結果を回復させ、このようにグラフィックメモリを節約するだけでなく、最初から計算する煩雑な過程を回避し、それにより事前訓練モデルの訓練過程における中間活性化（Ａｃｔｉｖａｔｉｏｎ）によるグラフィックメモリ占有を低減させる。

【0020】

また、事前訓練過程においてさらに混合精度訓練技術を採用し、１６ビット浮動小数点数（ＦＰ１６）により事前訓練モデルの深層学習の訓練を行って訓練に必要なグラフィックメモリを低減させ、計算の速度を向上させる。しかも、事前訓練システムはさらにスパース専門家並列及びデータ並列などの技術を採用して事前訓練過程の計算効率を向上させ、事前訓練過程の低炭素及び環境保護を保証する。そのうち、スパース専門家並列技術とはスパースゲート専門家混合ネットワーク（Ｍｉｘｔｕｒｅ ｏｆ Ｅｘｐｅｒｔｓ、ＭｏＥ）であり、大きなモデルを複数の小さなモデルに分割し、各小さなモデルは独立したパラメータを保留し、モデル事前訓練過程において、１つのサンプルに対して、全ての小さなモデルにより計算する必要とせず、予め設定されたポリシーにより適切な小さなモデルを選択し、対応するパラメータを選択して計算し、このような解決手段における事前訓練の総パラメータ数は非常に高いが、活性化されるのはごく一部であり、計算過程におけるグラフィックメモリの使用を節約する。

【0021】

本願の１つの例示的な実施例において、生成された事前訓練モデル１１２が有する能力をより多様化させ、且つより高い共通性を有させるために、事前訓練モデル１１２の事前訓練過程において、マルチモーダル事前訓練の形式を採用する。そのうち、モーダルとはデータの存在形式、例えばテキスト、オーディオ、画像、ビデオなどのファイルフォーマットである。

【0022】

本願の１つの例示的な実施例において、事前訓練モデル１１２の事前訓練過程において、事前訓練モデル１１２は、言語モデル（Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｉｎｇ）、テキストノイズ除去（Ｔｅｘｔ Ｄｅｎｏｓｉｎｇ）、画像キャプション生成（Ｉｍａｇｅ Ｃａｐｔｉｏｎｉｎｇ）、画像に基づくテキストノイズ除去（Ｉｍａｇｅ－ｂａｓｅｄ Ｔｅｘｔ Ｄｅｎｏｉｓｉｎｇ）などを含む複数のタスクを使用することができる。また、事前訓練過程において、事前訓練データセット１１１の規模及び分野の広汎度は最終的に取得された事前訓練モデル１１２の能力及び共通性に影響を与える。そこで、本願の１つの例示的な実施例において、事前訓練モデル１１２の事前訓練過程において、複数の分野をカバーする超大規模なユニモーダル及びマルチモーダルデータセットを事前訓練モデル１１２の事前訓練データセット１１１として用いる。マルチモーダルの事前訓練を起動し及び事前訓練データセット１１１の規模及びカバー分野を拡大することにより事前訓練モデル１１２はユニモーダル及びマルチモーダルの理解と生成などの能力を同時に備え、また分野の異なるタスクにいずれも良好な適応能力を有し、事前訓練モデル１１２の共通性を向上させる。

【0023】

モデル開発者に対応し、モデル最適化者とは、他の分野において、事前訓練モデル１１２に基づいて自分が属する分野に適合する最適化されたモデル１２２を取得しようとするユーザーである。本願の１つの例示的な実施例において、図１に示すような事前訓練サービスシステムはサービス最適化者が提供する最適化者サービスモジュール１２であり、上記最適化者サービスモジュール１２はモデル最適化者が提供する微調整データセット１２１に基づいて生産者サービスモジュール１１により生成された事前訓練モデル１１２を最適化し、最適化されたモデル１２２を取得する。

【0024】

本願の１つの例示的な実施例において、事前訓練サービスシステムが提供するモデルの事前訓練機能は事前訓練データセット１１１に基づいて訓練して共通の事前訓練モデルを取得するために用いられる。そして、生産者サービスモジュールは上記共通の事前訓練モデルに基づいてモデル生産者が指示した下流タスクに対応する専用の事前訓練モデルを生成する。すなわちモデル生産者は共通の事前訓練モデルの原子能力に基づいて事前訓練サービスシステムを指示し、共通の事前訓練モデルに基づいて専用用途を有し、あるタイプの下流タスクに適用する専用の事前訓練モデルを生成する。そのうち、共通の事前訓練モデルの原子能力はクロスモーダル生成能力、クロスモーダル理解能力及びクロスモーダル検索能力などを含む。それに応じて、専用の事前訓練モデルはクロスモーダル生成モデル、クロスモーダル理解モデル及びクロスモーダル検索モデルなどを含むことができる。事前訓練モデル１１２は共通の事前訓練モデル及び専用の事前訓練モデルを含む。

【0025】

本願の１つの例示的な実施例において、事前訓練サービスシステムにおける生産者サービスモジュール１１はさらに専用の事前訓練モデルに対応するコード開発テンプレートを生成するために用いられる。上記専用の事前訓練モデルに対応するコード開発テンプレートは事前訓練サービスシステムが最適化者サービスモジュール１２によりモデル最適化者に提供される。

【0026】

いずれかの事前訓練モデルは主にモデル構造コード及びモデルパラメータという２つの部分を含む。そのうち、モデル構造コードとは事前訓練モデルを構築するコードであり、モデルを仮定のものと見なしてもよく、モデルパラメータは特定のデータセットに基づいて仮定のものに対して具体的な調整を行い、モデルパラメータ値はモデル機能を定義することができる。

【0027】

モデル最適化者は上記コード開発テンプレートを参照し、自身の最適化要求に応じて、事前訓練サービスシステムにモデル修正命令を出す。具体的には、事前訓練サービスシステムにおける最適化者サービスモジュール１２はモデル最適化者が提供するモデル修正インタフェースであり、上記モデル最適化者はコード開発テンプレートを参照して前記モデル修正インタフェースを利用して専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータに対してモデル修正命令を出し、最適化者サービスモジュールはモデル修正命令に基づいて対応するモデル構造コード及び／又はモデルパラメータを修正し、続いて修正された事前訓練モデルに対してモデル最適化者が提供する微調整データセット１２１に基づいて訓練を起動し、最適化されたモデルを取得する。

【0028】

本願の１つの例示的な実施例において、事前訓練モデルを迅速に試用しようとするモデル最適化者については、上記コード開発テンプレートが提供する例示的なパラメータを修正することだけで、本分野のデータ（微調整データセット）を利用することができ、事前訓練サービスシステムにより分散データ並列の分散式訓練タスクを起動して該モデル最適化者に属する最適化されたモデルパラメータを生成する。該最適化されたモデルパラメータを事前訓練モデルのモデル構造コードと結合すれば最適化されたモデルを生成することができる。

【0029】

本願の別の例示的な実施例において、モデル最適化者はさらに事前訓練モデルを最適化しようとする場合、事前訓練サービスシステムはさらに事前訓練モデルを最適化して他の分野に運用する例示的な例を提供することができ、最適化者は自分の要求に応じて、上記例示的な例を参照して事前訓練モデルに修正命令を出し、本分野の微調整データセットを入力することができ、事前訓練サービスシステムは分散式訓練タスクを起動し、対応する最適化されたモデルパラメータを生成し、それにより最適化されたモデルを取得する。

【0030】

該最適化されたモデルはモデル最適化者が提供する微調整データセットに基づいて訓練し、且つモデル最適化者は自身の要求に応じてモデルに対して最適化微調整を行うことができ、そこで、最適化されたモデルはモデル最適化者が属する分野に適用する。且つ事前訓練サービスシステムを利用してモデル最適化を行う過程において、モデル最適化者は事前訓練モデルの開発過程、事前訓練モデルの分散式訓練、事前訓練モデルの評価フローなどの具体的な実現詳細、例えば、データＩＯ、データ並列などを注目する必要とせず、事前訓練サービスシステムが提供するコード開発テンプレートに基づいて対応するモデル構造コード又はモデルパラメータを修正してモデル訓練を起動すれば、モデル最適化者が属する業界に適用する最適化されたモデルを取得することができる。事前訓練サービスシステムはユーザーが事前訓練モデルを最適化する難易度を低減させ、事前訓練モデル開発能力を有しないモデル最適化者も事前訓練サービスシステムによりモデルを最適化することができる。

【0031】

本願の１つの例示的な実施例において、成熟している業界解決手段（例えばコピーライティングの生成、サーチリコール、服飾デザイン、スマート対話、金融質問応答など）について、それを試験例として事前訓練サービスシステムにより他のユーザー（他の開発者を含む）に提供して参照することができる。モデル最適化者はコード開発テンプレートを参照して事前訓練モデルに修正命令を送信する以外に、さらに業界解決手段を参照してモデルを修正することができる。

【0032】

本願の１つの例示的な実施例において、事前訓練サービスシステムはさらに共有インタフェースを提供し、モデル最適化者は事前訓練モデルに対する最適化過程を共有インタフェースを介して事前訓練サービスシステムにアップロードし、新たな試験例として共有することができ、他のモデル最適化者に提供して最適化参考とし、ケース共有機能により事前訓練モデルの適用範囲を拡大することができ、さらに事前訓練サービスシステムの使用の難易度を低減させる。

【0033】

本願において、事前訓練サービスシステムのユーザーはさらにモデル消費者を含み、モデル消費者は事前訓練モデル又は最適化されたモデルにより自分に属するデータを利用して推理し、モデル予測結果を取得しようとするユーザーである。事前訓練サービスシステムは消費者サービスモジュールによりモデル消費者に事前訓練モデル及び／又は最適化されたモデルに対するサービスインタフェースを提供し、事前訓練モデル又は最適化されたモデルはモデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる。図１に示すように、モデル消費者は事前訓練モデル１１２又は最適化されたモデル１２２を呼び出して推理することができる。上記推理過程はオフラインであってもよく、事前訓練サービスシステムはサービスインタフェースを介してモデル消費者が選択した事前訓練モデル１１２又は最適化されたモデル１２２を該モデル消費者に対応する機器に配置し、該モデル消費者が提供するデータに対してオフライン推理を行うために用いられる。当然のことながら、上記事前訓練モデル１１２又は最適化されたモデル１２２は低遅延のオンラインサービスとして配置することができ、消費者は事前訓練サービスシステムが提供するｗｅｂページ内に自分に属するデータ１３１を直接入力することにより、該ｗｅｂページは事前訓練サービスシステムが提供するサービスインタフェースに相当し、モデル消費者のデータ１３１を取得した後、対応する事前訓練モデル１１２又は最適化されたモデル１２２を呼び出してオンライン推理を行い、モデル予測結果を取得し、該モデル予測結果をｗｅｂページの形式によりモデル消費者に提供する。

【0034】

本願の１つの例示的な実施例において、事前訓練サービスシステムは事前訓練モデルのクロスモーダル生成、クロスモーダル検索、クロスモーダル理解能力に基づいてユーザーにユニモーダル又はクロスモーダルの複数の異なる人工知能サービスを提供することができる。

【0035】

例えば、あるニュースイベントについて、テキスト、画像又はビデオなどの複数の形式で表示することができ、そこで、情報検索を行うときに、単一のモーダルのデータのみに対して検索を行うと、取得した情報内容が大きく制限され、他のモーダルのデータにより同一物又はイベントに対する豊富な認知を必要とし、このときにクロスモーダル検索によりモーダルの異なるデータ間の検索を実現する必要がある。本願の１つの例示的な実施例において、事前訓練サービスシステムは事前訓練モデルのクロスモーダル検索能力に基づき、ユーザーが入力したピクチャ形式のニュース情報に基づいて該ニュースイベントのビデオを取得することができる。

【0036】

本願の１つの例示的な実施例において、事前訓練サービスシステムは事前訓練モデルのクロスモーダル生成能力に基づいてモデル消費者に服装デザインのサービスを提供することができ、例えば、モデル消費者は事前訓練サービスシステムが提供するｗｅｂページにより、「紳士ストライプシャツ」を入力し、事前訓練サービスシステムが提供する服装デザインの分野の目標事前訓練モデルを計算することにより、いくつかの「紳士ストライプシャツ」の文字説明に合致する服飾デザインピクチャを生成することができる。上記の例は、事前訓練モデルのクロスモーダル生成能力を利用したものである。当然のことながら、事前訓練サービスシステムはユーザーにクロスモーダルの人工知能サービスを提供するが、事前訓練サービスシステムもユニモーダルに基づいて人工知能サービスを提供する能力を有し、例えば、消費者は事前訓練サービスシステムが提供する服飾デザインの分野の目標事前訓練モデルのオフライン推理機能により以下の服飾デザイン操作を行うとき、モデル消費者は２枚のスタイルの異なる衣類ピクチャを入力し、オフライン推理を行った後、モデル消費者はオフライン推理の結果、すなわち、２枚のスタイルの異なる衣類を融合した後に取得した衣類ピクチャを取得することができる。

【0037】

服飾デザイン機能以外に、事前訓練サービスシステムはさらに事前訓練モデルのクロスモーダル検索、生成、理解能力を利用して例えばコピーライティング生成などの文字処理に関連する訓練推理を行うことができる。例えば、文字処理の分野での目標事前訓練モデルに対する推理過程において、１枚のラテックス枕のピクチャを入力し、事前訓練サービスシステムが提供する文字処理の分野での目標事前訓練モデルを利用して推理するとき、該事前訓練モデルのクロスモーダル理解能力を利用し、該ラテックス枕に対する宣伝コピーライティングを取得することができる。また、該事前訓練サービスシステムはさらに事前訓練モデルの上記能力を利用してテキストからテキストへの変換を実現し、変換過程において、テキストノイズ除去及び言語モデリングを実行する。

【0038】

上記事前訓練サービスシステムに対する紹介から分かるように、事前訓練サービスシステムのサービス過程において、事前訓練モデルは非常に重要な役割を有し、ユーザーは事前訓練サービスシステムにより目標事前訓練モデルを呼び出すことができ、事前訓練モデルは非常に強いテキスト及び画像生成能力を有するため、事前訓練モデルの悪用を回避するために、事前訓練サービスシステムにさらに事前訓練モデルの悪用を防止する複数の防御機構が設定され、且つ該防御機構は同様に最適化されたモデルの悪用を回避することに適用する。

【0039】

上記の紹介から分かるように、事前訓練モデル又は最適化されたモデルはモデル構造コード及びモデルパラメータという２つの部分を含む。モデル構造コードについて、業界で共通されるフレームなどの資料に基づき、ユーザーは完全なモデル構造コードを逆方向で再現し、再現されたモデル構造コード及び他の手段により取得されたモデルパラメータを結合することにより事前訓練モデル又は最適化されたモデルを取得する可能性がある。事前訓練モデル又は最適化されたモデルに適用する管理制御に不利である。モデルパラメータはモデルの機能を定義するため、モデルパラメータに対する保護及びモデル構造コードに対する保護は事前訓練サービスシステムに対して同様に重要である。事前訓練モデル全体を保護するとき、モデル構造コードに対する保護を考慮する必要があるだけでなく、モデルパラメータに対する保護も考慮する必要がある。

【0040】

本願の１つの例示的な実施例において、事前訓練モデル及び／又は最適化されたモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、そのうち、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成される。モデル構造コード及びモデルパラメータを関連付けて難読化することにより、難読化されたモデル構造コード及び難読化されたモデルパラメータは初期モデル構造コード及び初期モデルパラメータと等価な機能を有するが、形式的に再現されず、それにより事前訓練モデルが悪用されることを回避する効果を達成する。モデルパラメータ値はモデル機能を定義することができる。

【0041】

具体的には、該関連する難読化処理は以下のような形式で実現することができる。事前訓練モデルの初期モデル構造コードにおける少なくとも一部のコードに対して通常の難読化操作（通常注釈除去、無関係コード注入、関数、クラス、変数の名前変更などの方法によりコードの可読性を低減させ、クラッキング条件を向上させるが、実行結果が難読化される前と一致することを保証する）を行う上で、モデル構造コードにおける少なくとも１つの計算過程を修正し、それとともにモデルパラメータにおける該計算過程に対応する一部のパラメータを修正することに合わせ、修正された難読化されたモデル構造コードと対応する修正された難読化されたモデルパラメータを結合して構成された難読化された事前訓練モデルの実行結果を難読化される前の初期事前訓練モデルに一致させる。該難読化過程はモデルパラメータに対する修正調整と合わせるため、他人は難読化が発生する具体的な位置を位置決めしにくく、上記方法はさらにモデル構造コードを再現する難易度を向上させ、モデル構造コードに対する保護を実現する。

【0042】

前記モデル構造コードにおける少なくとも１つの計算過程を修正することは、修正されていない初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、該初期モデルパラメータのうちの修正された一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行い、事前訓練モデルの実行結果を変更しない上で、事前訓練モデルの再現の難易度を増大させることを含む。

【0043】

例えば、前記順方向難読化処理は、事前訓練モデルの初期モデル構造コードにおける少なくとも一部のコードに対して通常の難読化操作を行う上で、モデル構造コードの計算過程においてあるベクトルを減算することを含むことができる。対応する逆方向難読化処理は、モデルパラメータにおける対応部分にこのベクトルを加算して補償し、難読化された事前訓練モデルの実行結果を難読化される前の初期事前訓練モデルに一致させることを含むことができる。

【0044】

事前訓練モデルの安全性をさらに向上させるために、本願の１つの例示的な実施例において、モデルパラメータを事前訓練サービスシステムが管理する記憶空間に記憶し、目標ユーザーが目標事前訓練モデル又は目標最適化されたモデルに対して呼び出すとき、目標ユーザーの呼び出し要求に指示された読み取り経路に基づき、該記憶空間から対応するモデルパラメータを取得する。そのうち、該記憶空間は事前訓練サービスシステムにより管理される対象記憶（クラウドストレージ）であってもよく、又は、該記憶空間は直接事前訓練サービスシステムにより提供されてもよい。上記モデルパラメータは難読化されたモデルパラメータであってもよい。事前訓練サービスシステムは該難読化されたモデルパラメータを取得した後、それを対応する難読化されたモデル構造コードと結合して目標事前訓練モデル又は目標最適化されたモデルを取得する。

【0045】

事前訓練サービスシステムのユーザーは異なる身分を有するため、モデル開発者、モデル最適化者及びモデル消費者を含む。タイプの異なるユーザーは異なる需要を有し、それは事前訓練サービスシステムを利用して異なるタスクを完了させ、そのため、事前訓練サービスシステムにおいて全てのタイプのユーザーに全ての使用権限を開放すると、事前訓練モデルに対する保護に不利である。

【0046】

ユーザー身分に基づいて対応するモデル使用権限を提供するために、本願における事前訓練サービスシステムはさらに以下のサービスを提供する。

【0047】

最適化者サービスモジュールはさらに前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するために用いられ、及び／又は、
前記消費者サービスモジュールはさらに前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するために用いられる。

【0048】

例えば、事前訓練サービスシステムにおける最適化者サービスモジュールはあるモデル最適化者がその選択された目標事前訓練モデルのモデルパラメータを呼び出す権限を有することを検証し、そのうち、該モデルパラメータは難読化されたモデルパラメータであってもよい。該モデル最適化者は上記難読化されたモデルパラメータを呼び出す権限を有する場合、システムは該難読化されたパラメータモデルを取得した後、対応する難読化されたモデル構造コードと結合すれば、目標事前訓練モデルを取得することができる。該目標事前訓練モデルを上記モデル最適化者に提供して該目標事前訓練モデルを最適化するために用いられる。モデル消費者について、検証過程が上記モデル最適化者と同様である。

【0049】

当然のことながら、事前訓練サービスシステムの実行過程において、事前訓練モデル及び最適化されたモデルのモデル構造コード及びモデルパラメータ以外に、事前訓練モデル又は最適化されたモデルを呼び出して使用するために、事前訓練サービスシステムにさらにいずれかの事前訓練モデル又は最適化されたモデルに対するモデルアクセスコード及びモデル訓練推理コードが実行し、この部分のコードをモデル構造コードとデカップリングし、独立したモデルアクセスコード及びモデル訓練推理コードを取得し、モデルアクセスコード及びモデル構造コードを暗号化処理し、事前訓練モデル又は最適化されたモデルの記憶位置の暴露又はモデル構造コードの漏れを回避することができ、事前訓練サービスシステムの安全性を向上させ、事前訓練モデル又は最適化されたモデルの悪用を回避する。しかしモデル訓練推理コードについて、事前訓練サービスシステムにより平文でメンテナンスすることができる。

【0050】

本願の１つの例示的な実施例において、図２に示すような事前訓練サービスシステムに基づくサービス提供方法を提供する。該方法は図１に示すような事前訓練サービスシステムに適用することができる。上記事前訓練サービスシステムは生産者サービスモジュール１１、最適化者サービスモジュール１２及び消費者サービスモジュール１３を含むことができる。上記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、難読化されたモデル構造コード及び難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、上記方法は以下のステップを含むことができる。

【0051】

Ｓ２０１において、前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定する。

【0052】

例えば、事前訓練サービスシステムは目標ユーザーのログインアカウントに基づいて該目標ユーザーの身分情報を決定し、目標ユーザーが属する予め設定されたユーザータイプを決定することができる。又は、事前訓練サービスシステムは目標ユーザーの呼び出し要求に基づいて該目標ユーザーの身分情報を決定することができる。

【0053】

Ｓ２０２において、前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放する。

【0054】

そのうち、前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられる。

【0055】

前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられる。

【0056】

前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる。

【0057】

そのうち、上記モデルの事前訓練機能は事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは共通の事前訓練モデル、生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含む。

【0058】

本願の１つの例示的な実施例において、上記事前訓練サービスシステムに基づくサービス提供方法はさらに前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するステップと、前記コード開発テンプレートを前記モデル最適化者に提供するステップと、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するステップと、を含む。

【0059】

例えば、本願の１つの例示的な実施例において、服装デザインの分野のモデル最適化者（目標ユーザーＡ）は目標事前訓練モデルに基づいて修正する必要があると仮定し、目標分野すなわち服装デザインの分野に対する最適化されたモデルを取得し、該目標事前訓練モデルは図１に示すような事前訓練モデル１１２であると仮定する。このとき、該服装デザインの分野の目標ユーザーＡは事前訓練サービスシステムにログインした後、目標事前訓練システムは該目標ユーザーの身分情報を取得し、該目標ユーザーがモデル最適化者であることを確認する。事前訓練サービスシステムは目標ユーザーＡに最適化サービスモジュール１２を開放する。目標ユーザーＡは事前訓練サービスシステムが提供するコード開発テンプレートを参照し、事前訓練モデル１１２のパラメータを修正し、服装デザインの分野に属する目標ユーザーＡ自身の微調整データセット１２１におけるデータを利用して修正された事前訓練モデルを訓練し、最適化されたモデル１２２を取得することができる。又は、該目標ユーザーＡは事前訓練サービスシステムにより付与された最適化権限を利用するように選択することができ、事前訓練サービスシステムが提供する修正インタフェースを介して修正命令を出して事前訓練サービスシステムが対応するモデル構造コードを修正することを指示し、同様に、微調整データセットを利用してモデル訓練を起動し、最終的に最適化されたモデル１２２を取得する。該最適化されたモデル１２２は服装デザインの分野に適用する。

【0060】

本願の別の例示的な実施例において、事前訓練サービスシステムは目標ユーザーＢのユーザータイプがモデル消費者であると決定する場合、事前訓練サービスシステムは目標ユーザーＢに消費者サービスモジュール１３を開放し、前記消費者サービスモジュール１３は前記モデル消費者に事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、そのうち、事前訓練モデル又は最適化されたモデルはモデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる。例えば、目標ユーザーＢは事前訓練サービスシステムが提供する人工知能サービスにより特定のテーマの服装デザイン手段を取得しようとする場合、目標ユーザーＢは服装デザインの分野内の目標最適化されたモデル、すなわち、前の実施例において開発者目標ユーザーＡを用いて事前訓練モデル１１２の上で最適化して取得した最適化されたモデル１２２を呼び出すように要求する。事前訓練サービスシステムの消費者サービスモジュール１３はサービスインタフェースを介して目標ユーザーＢに最適化されたモデル１２２を利用して推理してモデル予測結果を取得するモデル使用権限を提供する。具体的には、目標ユーザーＢは事前訓練サービスシステムにおいてオンラインで配置された推理サービスを利用し、「紳士ストライプシャツ」を入力し、最適化されたモデル１２２を呼び出してオンラインの推理計算を行い、モデル予測結果、例えば、いくつかの「紳士ストライプシャツ」の文字説明に合致する服飾デザインピクチャを取得することができる。当然のことながら、該推理機能はオフライン機能として設定されてもよく、例えば、事前訓練サービスシステムの消費者サービスモジュールが提供するサービスインタフェースを介して最適化されたモデル１２２をモデル消費者、すなわち、ユーザーＢに対応する機器に配置し、モデル消費者Ｂが提供するデータに対してオフライン推理を行うために用いられる。

【0061】

同様に、モデル消費者も文字処理の分野、金融の分野などのモデル最適化者が上記実施例と同様の最適化方式で取得した異なる分野内の最適化されたモデルを呼び出し、推理して分野の異なるモデル予測結果を取得することができる。

【0062】

モデル最適化者は事前訓練サービスシステムにより目標事前訓練モデルを最適化した後、最適化されたモデルを他のユーザーに提供して使用する必要があるため、本願の１つの例示的な実施例において、事前訓練サービスシステムは、さらに事前訓練サービスシステムにより生成された最適化されたモデルのパラメータを該事前訓練サービスシステムにより管理された記憶空間に記憶することという機能を提供する。アップロードされた最適化されたモデルパラメータは上記の方式により、目標ユーザーが提供する読み取り経路に基づいて呼び出されることができる。例えば、上記実施例において、目標ユーザーＡは最適化されたモデル１２２を取得した後にそのモデルパラメータを事前訓練サービスシステムが管理する記憶空間に記憶する。目標ユーザーＢが該最適化されたモデル１２２を呼び出したい場合、事前訓練サービスシステムはユーザーＢが提供する読み取り経路により、該最適化されたモデル１２２のモデルパラメータを呼び出すことができる。当然のことながら、上記モデルパラメータは難読化されたモデルパラメータであってもよく、該難読化されたモデルパラメータを対応する難読化されたモデル構造コードと結合すれば最適化されたモデル１２２を取得することができる。そのうち、上記難読化されたモデル構造コード及び難読化されたモデルパラメータは予め最適化されたモデル１２２の初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成される。上記関連する難読化処理の具体的な方法は上記の事前訓練サービスシステムに関する関連紹介を参照してください。

【0063】

本願の１つの例示的な実施例において、事前訓練サービスシステムは目標ユーザーが難読化されたモデルパラメータを呼び出す権限を有するか否かを検証することができ、前記目標ユーザーは該難読化されたモデルパラメータを呼び出す権限を有する場合、該難読化されたモデルパラメータを対応する難読化されたモデル構造コードと結合して目標事前訓練モデル又は目標最適化されたモデルを取得する。モデルパラメータは通常ｃｋｐｔファイルの形式で記憶され、モデルパラメータのｃｋｐｔファイルが事前訓練サービスシステムから離脱して独立して使用できないことを保証するために、ライセンスサーバ（Ｌｉｃｅｎｓｅ Ｓｅｒｖｅｒ）を導入し、目標ユーザーは事前訓練サービスシステムが提供するモデルパラメータ（ｃｋｐｔファイル）を呼び出す権限を有するか否かを検証し、該目標ユーザーが上記権限を有する場合、取得されたモデルパラメータをモデル構造コードと結合して目標事前訓練モデルを取得する。

【0064】

図３は本願の１つの例示的な実施例の電子機器の構造概略図である。図３を参照し、ハードウェア面では、該機器はプロセッサ３０２、内部バス３０４、ネットワークインタフェース３０６、メモリ３０８及び不揮発性メモリ３１０を含む。当然のことながら、他の機能に必要なハードウェアを含むことができる。プロセッサ３０２は不揮発性メモリ３１０から対応するコンピュータプログラムをメモリ３０８に読み取ってから実行し、論理面で事前訓練サービスシステムに基づくサービス提供装置を形成する。当然のことながら、ソフトウェアの実現方式以外に、本願の１つ又は複数の実施例は他の実現方式、例えば論理デバイス又はソフトウェアとハードウェアを結合する方式などを排除するものではなく、すなわち以下の処理フローの実行主体は各論理ユニットに限定されるものではなく、ハードウェア又は論理デバイスであってもよい。

【0065】

上記方法の実施例に対応し、図４に示すように、本願はさらに事前訓練サービスシステムに基づくサービス提供装置を提供し、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、前記装置は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するための取得ユニット４１０と、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するための開放ユニット４２０であって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられる開放ユニット４２０と、を含む。

【0066】

選択可能に、前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルにより生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含む。

【0067】

選択可能に、前記事前訓練サービスシステムに基づくサービス提供装置はさらに、
前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するための生成ユニット４３０と、
前記コード開発テンプレートを前記モデル最適化者に提供し、及び前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するための提供及び修正ユニット４４０と、を含むことができる。

【0068】

選択可能に、前記事前訓練サービスシステムに基づくサービス提供装置はさらに、
前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うためのオフライン配置ユニット４５０、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うためのオンライン推理ユニット４６０、を含むことができる。

【0069】

選択可能に、前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含む。

【0070】

選択可能に、前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶される。

【0071】

選択可能に、前記事前訓練サービスシステムに基づくサービス提供装置はさらに、
前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するための第１検証ユニット４７０、及び／又は、
前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するための第２検証ユニット４８０を含むことができる。

【0072】

選択可能に、前記事前訓練サービスシステムは前記目標事前訓練モデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされる。

【0073】

上記装置における各ユニットの機能及び作用の実現過程は具体的に上記方法における対応するステップの実現過程を参照し、ここでは説明を省略する。

【0074】

本願はさらにコンピュータプログラム製品を提供し、コンピュータプログラムを含み、前記コンピュータプログラムが実行されるとき、コンピュータに上記実施例に記載の方法を実行させる。

【0075】

本願はさらにコンピュータ可読記憶媒体を提供し、前記コンピュータ可読記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサに実行されるときに上記実施例に記載の方法を実現することを特徴とする。

【0076】

上記実施例が説明したシステム、装置、モジュール又はユニットは、具体的にはコンピュータチップ又はエンティティにより実現され、又はある機能を有する製品により実現されることができる。典型的な実現機器はコンピュータであり、コンピュータの具体的な形態はパーソナルコンピュータ、ラップトップ型コンピュータ、携帯電話、カメラ電話、スマートフォン、パーソナルデジタルアシスタント、メディアプレーヤ、ナビゲーション機器、電子メール送受信機器、ゲームコンソール、タブレットコンピュータ、ウェアラブル機器又はこれらの機器のうちの任意のいくつかの組み合わせであってもよい。

【0077】

一つの典型的な構成では、コンピュータは１つ又は複数のプロセッサ（ＣＰＵ）、入力／出力インタフェース、ネットワークインタフェース及びメモリを含む。

【0078】

メモリはコンピュータ可読媒体における不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）及び／又は不揮発性メモリなどの形式を含む可能性があり、例えばリードオンリーメモリ（ＲＯＭ）又はフラッシュメモリ（ｆｌａｓｈＲＡＭ）である。メモリは、コンピュータ可読媒体の一例である。

【0079】

コンピュータ可読媒体は永久性及び非永久性を含み、可搬及び非可搬媒体はいずれかの方法又は技術で情報記憶を実現することができる。情報はコンピュータ可読命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体としては、例えば、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他のタイプのランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ又は他のメモリ技術、リードオンリーディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多機能ディスク（ＤＶＤ）又は他の光ストレージ、磁気テープカートリッジ、ディスクストレージ、量子メモリ、グラフェンに基づく記憶媒体又は他の磁気記憶機器又は他の非伝送媒体などが挙げられるが、これらに限定されるものではなく、コンピューティング機器がアクセス可能な情報を記憶するために用いられることができる。本明細書の定義によれば、コンピュータ可読媒体は一時記憶コンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｍｅｄｉａ）、例えば変調されたデータ信号及び搬送波を含まない。

【0080】

本願の１つ又は複数の実施例において、用語「含む」、「包含」又はそのいずれかの他の変形は非排他的な包含を含むことを意図し、それにより一連の要素を含む過程、方法、商品又は機器はそれらの要素を含むだけでなく、また明確に列挙されていない他の要素を含み、又はこのような過程、方法、商品又は機器に固有の要素を含む。より多くの制限がない場合、文「１つの…を含む」により限定される要素は、前記要素を含む過程、方法、商品又は機器にさらに別の同じ要素が存在することを排除するものではない。

【0081】

本願の１つ又は複数の実施例において使用される用語は、特定の実施例を説明する目的のためだけであり、本願の１つ又は複数の実施例を限定することを意図していない。本願の１つ又は複数の実施例及び添付の特許請求の範囲で使用される単数形の「１種」、「前記」及び「該」は、文脈が明らかに他の意味を示さない限り、複数形を含むことを意図している。また、本明細書で使用される用語「及び／又は」とは１つ又は複数の関連する列挙項目の任意又は全ての組み合わせを含むことを意味することが理解すべきである。

【0082】

本願の１つ又は複数の実施例において第１、第２、第３などの用語を用いて様々な情報を説明することがあるが、これらの情報はこれらの用語に限定されるものではないことが理解すべきである。これらの用語は単に同じタイプの情報を互いに区別するために用いられるものである。例えば、本願の１つ又は複数の実施例の範囲を逸脱しない場合、第１情報は第２情報と呼ばれてもよく、同様に、第２情報は第１情報と呼ばれてもよい。また、文脈に応じて、本明細書で使用される「もし」は、「……とき」又は「……場合」又は「決定に応答する」と解釈されることがある。

【0083】

以上記載したのは本願の１つ又は複数の実施例の好適な実施例に過ぎず、本願の１つ又は複数の実施例を限定するものではなく、本願の１つ又は複数の実施例の精神及び原則内で行われたいかなる修正、均等置換、改善などは、いずれも本願の１つ又は複数の実施例の保護範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【手続補正書】

【提出日】2024-10-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するための生産者サービスモジュールと、
モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するための最適化者サービスモジュールと、
モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するための消費者サービスモジュールであって、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するための消費者サービスモジュールと、
を含むことを特徴とする、
事前訓練サービスシステム。

【請求項2】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含むことを特徴とする、
請求項１に記載のシステム。

【請求項3】

前記生産者サービスモジュールはさらに前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するために用いられ、
前記最適化者サービスモジュールはさらに前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するために用いられることを特徴とする、
請求項２に記載のシステム。

【請求項4】

前記消費者サービスモジュールは、
前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うために用いられ、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うために用いられることを特徴とする、
請求項１に記載のシステム。

【請求項5】

前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成されることを特徴とする、
請求項１に記載のシステム。

【請求項6】

前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含むことを特徴とする、
請求項５に記載のシステム。

【請求項7】

前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶されることを特徴とする、
請求項５に記載のシステム。

【請求項8】

前記最適化者サービスモジュールはさらに前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するために用いられ、及び／又は、
前記消費者サービスモジュールはさらに前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するために用いられる、
ことを特徴とする、
請求項５に記載のシステム。

【請求項9】

前記事前訓練サービスシステムは前記事前訓練モデル又は前記最適化されたモデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされることを特徴とする、
請求項１に記載のシステム。

【請求項10】

事前訓練サービスシステムに基づくサービス提供方法であって、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、
前記方法は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するステップと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するステップであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられるステップと、
を含むことを特徴とする、
事前訓練サービスシステムに基づくサービス提供方法。

【請求項11】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含むことを特徴とする、
請求項１０に記載の方法。

【請求項12】

前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するステップと、
前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するステップと、をさらに含む、
ことを特徴とする、
請求項１１に記載の方法。

【請求項13】

前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うために用いられるステップ、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うステップと、をさらに含む、
ことを特徴とする、
請求項１０に記載の方法。

【請求項14】

前記事前訓練サービスシステムにメンテナンスされるモデルは難読化されたモデル構造コード及び難読化されたモデルパラメータを含み、前記難読化されたモデル構造コード及び前記難読化されたモデルパラメータは予め初期モデル構造コード及び初期モデルパラメータに対して関連する難読化処理を行った後に生成され、
前記関連する難読化処理は前記初期モデル構造コードのうちの少なくとも一部のコードに対して順方向難読化処理を行い、前記初期モデルパラメータのうちの前記少なくとも一部のコードに関連するモデルパラメータに対して逆方向難読化処理を行うことを含むことを特徴とする、
請求項１０に記載の方法。

【請求項15】

前記難読化されたモデルパラメータは前記事前訓練サービスシステムが管理する記憶空間に記憶されることを特徴とする、
請求項１４に記載の方法。

【請求項16】

前記モデル最適化者が前記事前訓練モデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル最適化者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデルを取得して前記モデル最適化者に提供するステップ、及び／又は、
前記モデル消費者が前記事前訓練モデル又は前記最適化されたモデルに対応する難読化されたモデルパラメータを呼び出す権限を有するか否かを検証し、前記モデル消費者が前記難読化されたモデルパラメータを呼び出す権限を有する場合、前記難読化されたモデルパラメータを前記難読化されたモデル構造コードと結合して前記事前訓練モデル又は前記最適化されたモデルを取得して前記モデル消費者に提供するステップ、をさらに含む、
ことを特徴とする、
請求項１５に記載の方法。

【請求項17】

前記事前訓練サービスシステムは目標事前訓練モデルに対して独立したモデルアクセスコード及びモデル訓練推理コードをメンテナンスし、そのうち、前記モデル構造コード及び前記モデルアクセスコードは前記事前訓練サービスシステムにより暗号化された後にメンテナンスされ、前記モデル訓練推理コードは前記事前訓練サービスシステムにより平文でメンテナンスされることを特徴とする、
請求項１０に記載の方法。

【請求項18】

コンピュータプログラムであって、一つ又は複数のプロセッサに実行されるときに事前訓練サービスシステムに基づくサービス提供方法を実現させ、前記事前訓練サービスシステムは生産者サービスモジュール、最適化者サービスモジュール及び消費者サービスモジュールを含み、
前記方法は、
前記事前訓練サービスシステムにアクセスする目標ユーザーの身分情報を取得し、前記目標ユーザーが属する予め設定されたユーザータイプを決定するステップと、
前記目標ユーザーにそれが属する予め設定されたユーザータイプにマッチングするサービスモジュールを開放するステップであって、そのうち、
前記目標ユーザーがモデル生産者である場合、前記目標ユーザーに前記生産者サービスモジュールを開放し、前記生産者サービスモジュールは前記モデル生産者に事前訓練データセットに対するモデルの事前訓練機能を提供し、対応する事前訓練モデルを生成するために用いられ、
前記目標ユーザーがモデル最適化者である場合、前記目標ユーザーに前記最適化者サービスモジュールを開放し、前記最適化者サービスモジュールは前記モデル最適化者が提供する微調整データセットに基づいて前記事前訓練モデルを最適化し、最適化されたモデルを取得するために用いられ、
前記目標ユーザーがモデル消費者である場合、前記目標ユーザーに前記消費者サービスモジュールを開放し、前記消費者サービスモジュールは前記モデル消費者に前記事前訓練モデル及び／又は前記最適化されたモデルに対するサービスインタフェースを提供するために用いられ、前記事前訓練モデル又は前記最適化されたモデルは前記モデル消費者が提供するデータを推理してモデル予測結果を出力するために用いられるステップと、
を含むことを特徴とする、
コンピュータプログラム。

【請求項19】

前記モデルの事前訓練機能は前記事前訓練データセットに基づいて訓練して共通の事前訓練モデルを取得するために用いられ、そのうち、前記事前訓練モデルは前記共通の事前訓練モデル、前記生産者サービスモジュールが前記共通の事前訓練モデルに基づいて生成された前記モデル生産者が指示した下流タスクに対応する専用の事前訓練モデルのうちの少なくとも１つを含み、
前記方法は、
前記専用の事前訓練モデルに対応するコード開発テンプレートを生成するステップと、
前記コード開発テンプレートを前記モデル最適化者に提供し、及び、前記モデル最適化者から出したモデル修正命令に基づき、前記専用の事前訓練モデルのモデル構造コード及び／又はモデルパラメータを修正するステップと、
をさらに含む、
ことを特徴とする、
請求項１８に記載のコンピュータプログラム。

【請求項20】

前記方法は、
前記サービスインタフェースを介して前記事前訓練モデル又は前記最適化されたモデルを前記モデル消費者に対応する機器に配置し、前記モデル消費者が提供するデータに対してオフライン推理を行うステップ、又は、
前記サービスインタフェースを介して前記モデル消費者が提供するデータを取得し、前記事前訓練モデル又は前記最適化されたモデルを呼び出してオンライン推理を行うステップ、
をさらに含む、
ことを特徴とする、
請求項１８に記載のコンピュータプログラム。

【国際調査報告】