特開 2022-68264 モデル訓練方法、モデル訓練プラットフォーム、電子機器及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022068264

(43)【公開日】2022-05-09

(54)【発明の名称】モデル訓練方法、モデル訓練プラットフォーム、電子機器及び記憶媒体

(51)【国際特許分類】

   G06N 20/00 20190101AFI20220426BHJP

   G06N 3/08 20060101ALI20220426BHJP

   G06F 8/30 20180101ALI20220426BHJP

   G06F 9/445 20180101ALI20220426BHJP

【ＦＩ】

G06N20/00

G06N3/08

G06F8/30

G06F9/445 130

【審査請求】有

【請求項の数】26

【出願形態】ＯＬ

【外国語出願】

【公開請求】

(21)【出願番号】P 2022020564

(22)【出願日】2022-02-14

(31)【優先権主張番号】202110386608.2

(32)【優先日】2021-04-12

(33)【優先権主張国・地域又は機関】CN

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ジエン ゴーン

(72)【発明者】

【氏名】ユイ スゥン

(72)【発明者】

【氏名】ハオ ティエン

(72)【発明者】

【氏名】ホワ ウー

(72)【発明者】

【氏名】ハイフオン ワーン

(72)【発明者】

【氏名】チヤオチヤオ ショーァ

(57)【要約】      （修正有）

【課題】ユーザーエクスペリエンスを向上させる効率的なモデル訓練、特に深層学習モデル訓練の能力を提供する。
【解決手段】モデル訓練方法は、入力を受信すること４０２と、入力に基づいてユーザー指向のプレハブ機能を確定すること４０４と、入力に基づいてモデル訓練機能を確定すること４０６と、入力に基づいて事前訓練モデルを確定すること４０８と、事前訓練モデルの使用をサポートするように、入力に基づいて事前訓練モデルに関連するネットワーク構造を確定すること４１０と、入力に基づいて、プレハブ機能、モデル訓練機能及び事前訓練モデルを使用してモデルを訓練すること４１２と、訓練されたモデルに関連する出力を提供することと４１４を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

少なくとも１つのインタラクションモードを利用して行うインタラクションによって入力を受信することであって、前記インタラクションモードはインタラクションインターフェイスに関連することと、
前記入力に基づいてユーザー指向のプレハブ機能を確定することであって、前記プレハブ機能は訓練すべきモデルに関連することと、
前記入力に基づいて、モデルト訓練を行うことをサポートするために必要なモデル訓練機能を確定することであって、前記モデル訓練機能は前記モデルの訓練過程に関連することと、
前記入力に基づいて、深層学習に基づいて事前訓練された事前訓練モデルを確定することと、
前記事前訓練モデルの使用をサポートするように、前記入力に基づいて前記事前訓練モデルに関連するネットワーク構造を確定することと、
前記入力に基づいて、前記プレハブ機能、前記モデル訓練機能及び前記事前訓練モデルを使用してモデルを訓練することと、
前記少なくとも１つのインタラクションモードを利用して行うインタラクションによって、訓練された前記モデルに関連する出力を提供することとを含む、モデル訓練方法。

【請求項2】

前記インタラクションは、
ネットワーク選択に関連するインタラクションと、
ネットワーク組立に関連するインタラクションと、
ネットワーク記憶に関連するインタラクションと、
訓練パッケージの組立に関連するインタラクションと、
訓練タスクの開始に関連するインタラクションと、
認証に関連するインタラクションと、
統計に関連するインタラクションと、のうちの１つまたは複数のインタラクションを含む、請求項１に記載の方法。

【請求項3】

モデル訓練に関連付けられている機能の適用請求に関連する設定情報を受信することを更に含む、請求項１に記載の方法。

【請求項4】

前記の設定情報を受信することは、
前記設定情報を導入することと、
前記設定情報を登録することと、
前記設定情報に基づいてｊｓｏｎ解析を行うことと、
前記設定情報に基づいてクラス名マッチングを行うことと、のうちの１つまたは複数を含む、請求項３に記載の方法。

【請求項5】

受信された前記入力を前処理することを更に含む、請求項１に記載の方法。

【請求項6】

受信された前記入力を前処理することは、
前処理のために前記入力からデータセットを読み取ることと、
前処理のために前記入力からドメインを読み取ることと、
前処理のために、前記入力をトークン化することと、
前処理のために、前記入力からボキャブラリーを取得することと、のうちの１つまたは複数を含む、請求項５に記載の方法。

【請求項7】

複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを使用することを更に含む、請求項１に記載の方法。

【請求項8】

複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを使用することは、
前記複雑学習タスクに用いられる順方向伝播ネットワークを使用することと、
前記ネットワーク構造の設計及び開発に用いられる最適化戦略を使用することと、
前記ネットワーク構造の設計及び開発に用いられる評価指標を使用することと、のうちの１つまたは複数を含む、請求項７に記載の方法。

【請求項9】

前記入力に基づいてモデル訓練に関連する操作を調整することを更に含む、請求項１に記載の方法。

【請求項10】

前記入力に基づいてモデル訓練に関連する操作を調整することは、
前記入力に基づいて前記モデル訓練に関連する訓練フローを調整することと、
前記入力に基づいて前記モデル訓練に関連する評価フローを調整することと、
前記入力に基づいて前記モデル訓練に関連する可視化評価を調整することと、のうちの１つまたは複数を含む、請求項９に記載の方法。

【請求項11】

訓練された前記モデルの適用に関連する機能を使用することで、訓練された前記モデルを適用することを更に含む、請求項１に記載の方法。

【請求項12】

訓練された前記モデルの適用に関連する機能を使用することは、
専用処理部配置機能、中央処理部配置機能、単一予測機能、バッチ予測機能、Ｃ＋＋アプリケーションプログラミングインターフェース機能、及びＰｙｔｈｏｎアプリケーションプログラミングインターフェース機能のうちの１つまたは複数の機能を使用することを含む、請求項１１に記載の方法。

【請求項13】

モデル訓練プラットフォームであって、
前記モデル訓練プラットフォームの外部から入力を受信すること及び前記モデル訓練プラットフォームの前記外部に出力を提供することをサポートするように、少なくとも１つのインタラクションモードを提供するように配置されるデータインタラクションモジュールであって、前記インタラクションモードはインタラクションインターフェイスに関連するデータインタラクションモジュールと、
前記データインタラクションモジュールと前記モデル訓練プラットフォームにおけるほかのモジュールとの間のインタラクションのサポートを提供するように配置されるインタラクションサポートモジュールであって、前記インタラクションはモデル訓練に関連するインタラクションサポートモジュールと、
ユーザー指向のプレハブ機能を提供するように配置される機能提供モジュールであって、前記プレハブ機能は前記モデル訓練プラットフォームによって訓練されたモデルに関連する機能提供モジュールと、
前記モデル訓練プラットフォームを使用してモデル訓練を行うことをサポートすることに必要なモデル訓練機能を提供するように配置されるモデル訓練サポートモジュールであって、前記モデル訓練機能は前記モデルの訓練過程に関連するモデル訓練サポートモジュールと、
深層学習に基づいて事前訓練された事前訓練モデルを提供するように配置される事前訓練モデルモジュールと、
前記事前訓練モデルの使用をサポートするように、前記事前訓練モデルに関連するネットワーク構造を提供するように配置される事前訓練モデルサポートモジュールとを含む、モデル訓練プラットフォーム。

【請求項14】

前記インタラクションサポートモジュールは、
ネットワーク選択に関連するインタラクションと、
ネットワーク組立に関連するインタラクションと、
ネットワーク記憶に関連するインタラクションと、
訓練パッケージの組立に関連するインタラクションと、
訓練タスクの開始に関連するインタラクションと、
認証に関連するインタラクションと、
統計に関連するインタラクションと、のうちの１つまたは複数のインタラクションのサポートを提供するように配置される、請求項１３に記載のモデル訓練プラットフォーム。

【請求項15】

前記モデル訓練プラットフォームにおけるモジュールによって提供される機能の適用請求に関連する設定情報を受信するように配置される設定情報受信モジュールを更に含む、請求項１３に記載のモデル訓練プラットフォーム。

【請求項16】

前記設定情報受信モジュールは、
前記設定情報を導入するように配置される設定情報導入モジュールと、
前記設定情報を登録するように配置されるレジストラモジュールと、
前記設定情報に基づいてｊｓｏｎ解析を行うように配置されるｊｓｏｎ解析モジュールと、
前記設定情報に基づいてクラス名マッチングを行うように配置されるクラス名マッチングモジュールと、のうちの１つまたは複数を含む、請求項１５に記載のモデル訓練プラットフォーム。

【請求項17】

受信された前記入力を前処理するように配置されるデータ前処理モジュールを更に含む、請求項１３に記載のモデル訓練プラットフォーム。

【請求項18】

前記データ前処理モジュールは、
前処理のために、前記入力からデータセットを読み取るように配置されるデータセット読み取りモジュールと、
前処理のために、前記入力からドメインを読み取るように配置されるドメイン読み取りモジュールと、
前処理のために、前記入力をトークン化するように配置されるトークナイザーモジュールと、
前処理のために、前記入力からボキャブラリーを取得するように配置されるボキャブラリーモジュールと、のうちの１つまたは複数を含む、請求項１７に記載のモデル訓練プラットフォーム。

【請求項19】

複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを提供するように配置される複雑学習タスクサポートモジュールを更に含む、請求項１３に記載のモデル訓練プラットフォーム。

【請求項20】

前記複雑学習タスクサポートモジュールは、
前記複雑学習タスクに用いられる順方向伝播ネットワークを提供するように配置される順方向伝播ネットワークモジュールと、
前記ネットワーク構造の設計及び開発に用いられる最適化戦略を提供するように配置される最適化戦略モジュールと、
前記ネットワーク構造の設計及び開発に用いられる評価指標を提供するように配置される評価指標モジュールと、のうちの１つまたは複数を含む、請求項１９に記載のモデル訓練プラットフォーム。

【請求項21】

前記入力に基づいてモデル訓練に関連する操作を調整するように配置される訓練カスタムモジュールを更に含む、請求項１３に記載のモデル訓練プラットフォーム。

【請求項22】

前記訓練カスタムモジュールは、
前記入力に基づいて前記モデル訓練に関連する訓練フローを調整するように配置されるカスタム訓練フローモジュールと、
前記入力に基づいて前記モデル訓練に関連する評価フローを調整するように配置されるカスタム評価フローモジュールと、
前記入力に基づいて前記モデル訓練に関連する可視化評価を調整するように配置される可視化評価モジュールと、のうちの１つまたは複数を含む請求項２１に記載のモデル訓練プラットフォーム。

【請求項23】

訓練された前記モデルの適用に関連する機能を提供するように配置されるモデル適用モジュールを更に含む、請求項１３に記載のモデル訓練プラットフォーム。

【請求項24】

前記モデル適用モジュールは、
専用処理部配置機能、中央処理部配置機能、単一予測機能、バッチ予測機能、Ｃ＋＋アプリケーションプログラミングインターフェース機能、及びＰｙｔｈｏｎアプリケーションプログラミングインターフェース機能のうちの１つ又は複数の機能を提供するように配置される、請求項２３に記載のモデル訓練プラットフォーム。

【請求項25】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、
前記メモリは、前記少なくとも１つのプロセッサによって実行可能な命令を記憶しており、前記命令は、前記少なくとも１つのプロセッサによって実行されて、請求項１～１２のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに実行させることを特徴とする電子機器。

【請求項26】

請求項１～１２のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータ命令が記憶されている、ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術、より具体的には、モデル訓練方法、モデル訓練プラットフォーム、電子機器及び記憶媒体に関し、人工知能の分野、特に自然言語処理の分野と深層学習の分野で使用できる。

【背景技術】

【0002】

近年、人工知能の分野での、事前訓練に代表される自然言語処理技術が爆発的な発展を遂げ、新しい技術や新しいモデルが次々と出現している。新時代では、どのように、自然言語処理の分野における多様で高度な科学的研究結果を産業実践に効率的に適用し、実際的な問題を解決するかは、自然言語処理の分野における中心的な問題である。さらに、深層学習は人工知能の分野における重要な技術であり、研究者は通常、深層学習のフレームワークに基づいて関連する作業を実行する。

【0003】

しかしながら、モデル訓練のための従来の方法およびプラットフォームは、複雑な深層学習開発要件を満たすことができず、したがって、効率的なモデル訓練方法およびモデル訓練プラットフォームに対するユーザのニーズを満たすことができない。

【発明の概要】

【0004】

本開示の実施例によれば、モデル訓練方法、モデル訓練プラットフォーム、電子機器及び記憶媒体を提供する。

【0005】

本開示の第１の態様では、モデル訓練方法を提供する。当該方法は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって入力を受信することであって、インタラクションモードはインタラクションインターフェイスに関連することと、入力に基づいてユーザー指向のプレハブ機能を確定することであって、プレハブ機能は訓練すべきモデルに関連することと、入力に基づいて、モデルト訓練を行うことをサポートするために必要なモデル訓練機能を確定することであって、モデル訓練機能はモデルの訓練過程に関連することと、入力に基づいて、深層学習に基づいて事前訓練された事前訓練モデルを確定することと、事前訓練モデルの使用をサポートするように、入力に基づいて事前訓練モデルに関連するネットワーク構造を確定することと、入力に基づいて、プレハブ機能、モデル訓練機能及び事前訓練モデルを使用してモデルを訓練することと、少なくとも１つのインタラクションモードを利用して行うインタラクションによって、訓練されたモデルに関連する出力を提供することとを含む。

【0006】

本開示の第２の態様では、モデル訓練プラットフォームを提供する。当該モデル訓練プラットフォームは、モデル訓練プラットフォームの外部から入力を受信すること及びモデル訓練プラットフォームの外部に出力を提供することをサポートするように、少なくとも１つのインタラクションモードを提供するように配置されるデータインタラクションモジュールであって、インタラクションモードはインタラクションインターフェイスに関連するデータインタラクションモジュールと、データインタラクションモジュールとモデル訓練プラットフォームにおけるほかのモジュールとの間のインタラクションのサポートを提供するように配置されるインタラクションサポートモジュールであって、インタラクションはモデル訓練に関連するインタラクションサポートモジュールと、ユーザー指向のプレハブ機能を提供するように配置される機能提供モジュールであって、プレハブ機能はモデル訓練プラットフォームによって訓練されたモデルに関連する機能提供モジュールと、モデル訓練プラットフォームを使用してモデル訓練を行うことをサポートすることに必要なモデル訓練機能を提供するように配置されるモデル訓練サポートモジュールであって、モデル訓練機能はモデルの訓練過程に関連するモデル訓練サポートモジュールと、深層学習に基づいて事前訓練された事前訓練モデルを提供するように配置される事前訓練モデルモジュールと、事前訓練モデルの使用をサポートするように、事前訓練モデルに関連するネットワーク構造を提供するように配置される事前訓練モデルサポートモジュールとを含む。

【0007】

本開示の第３の態様では、電子機器を提供する。当該電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信可能に接続されたメモリとを含み、メモリは、少なくとも１つのプロセッサによって実行可能な命令を記憶しており、当該命令は、少なくとも１つのプロセッサによって実行されて、本開示の第１の態様の方法を少なくとも１つのプロセッサに実行させる。

【0008】

本開示の第４の態様では、本開示の第１の態様の方法をコンピュータに実行させるためのコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供する。

【0009】

本開示の実施形態の技術案により、事前訓練意味理解技術に基づく汎用自然言語処理カスタム化訓練および開発プラットフォームを構築することにより、データ注釈および基礎となるコード開発のための人的資源および物的資源を大幅に削減することができる。これにより、産業上の利用のニーズを満たすことができる。具体的には、本開示の実施形態の技術案により、モデル訓練プラットフォームが提供される。当該モデル訓練プラットフォームは、包括的な自然言語処理のカスタム化開発シナリオをカバーすることができ、カスタム化事前訓練技術を通じてより効率的なモデル訓練能力を提供でき、シンプルで容易なインタラクション方法を提供でき、モジュール間の独立性を通じてプラットフォームのスケーラビリティを向上させることができるため、効率的なモデル訓練、特に深層学習モデル訓練の能力を提供することにより、ユーザーエクスペリエンスを向上させることができる。

【0010】

なお、発明の概要では説明される内容は、本開示の実施例のキーとなる特徴又は重要な特徴を限定することを意図しておらず、本開示の範囲を制限することも意図していない。本開示の他の特徴は、以下の説明によって容易に理解される。

【図面の簡単な説明】

【0011】

本開示の上記及び他の目的、特徴、及び利点は、図面をもって、本開示の例示的な実施例をより詳細に説明することにより、より明らかになる。本開示の例示的な実施例では、同じ参照符号は、通常、同じ部材を表す。図面は、この技術案をよりよく理解するために使用されており、本開示を制限するものではないことを理解されたい。

【図1】本開示の実施例に係るモデル訓練プラットフォーム１００を示す模式ブロック図である。

【図2】本開示の実施例に係るモデル訓練プラットフォーム２００を示す模式ブロック図である。

【図3】本開示のいくつかの実施例におけるモデル訓練方法を実現することができるモデル訓練環境３００を示す模式ブロック図である。

【図4】本開示の実施例に係るモデル訓練方法４００を示すフローチャートである。

【図5】本開示の実施例に係るモデル訓練方法５００を示すフローチャートである。

【図6】本開示の実施例を実施することができる例示的な電子機器６００を示す模式ブロック図である。 各図では、同じまたは対応する符号は、同じまたは対応する部分を示す。

【発明を実施するための形態】

【0012】

以下、図面を参照して本開示の好ましい実施例をより詳細に説明する。図面には本開示の好ましい実施例が示されているが、本開示は、様々な形態で実施することができ、ここで説明する実施例によって制限されるべきではない。それどころか、これらの実施例は、本開示をより徹底的かつ完全にし、本開示の範囲を当業者に完全に伝えるために提供されている。

【0013】

本明細書に使用される「含む」という用語およびその変形は、オープンな包含を意味し、すなわち「含むが、これらに限定されない」ことを意味する。特に明記しない限り、「または」という用語は「および／または」を意味する。「に基づく」という用語は、「少なくとも部分的に基づく」ことを意味する。「１つの例示的な実施例」と「１つの実施例」という用語は、「少なくとも１つの例示的な実施例」を意味する。「別の実施例」という用語は、「少なくとも１つの別の実施例」を意味する。「第１の」、「第２の」等の用語は、異なる又は同じ対象を指すことができる。以下には、他の明示的及び暗黙的な定義を含む場合もある。

【0014】

上記の背景技術で説明したように、モデル訓練のための従来の方法とプラットフォームは、複雑な深層学習開発の要件を満たすことができないため、効率的なモデル訓練方法とモデル訓練プラットフォームに対するユーザーのニーズを満たすことができない。

【0015】

たとえば、従来の技術では、通常、モデル訓練プラットフォームを実現する方法は２つある。第１の実現方法は、基本的なタスクに焦点を当てた産業グレードの自然言語処理ツールキットを使用する。当該実現方法は、基本的な自然言語処理訓練タスクを達成するように、ＴｅｎｓｏｒＦｌｏｗ、Ｐｙｔｏｒｃｈなどの、国際にオープンソースされた深層学習開発フレームワークに基づいて特定のコードパッケージ化を行い、テキスト分類、テキストマッチング、シーケンスラベリングなどの基本的なタスクの開発サンプルコードをプレハブするとともに、国際にオープンソースされた事前訓練モデルをプレハブする。第２の実現方法は、従来の機械学習技術に基づくデータ分析プラットフォームを使用し、このような実現方法は、主に、内蔵されるアルゴリズムモデルを提供し、非深層学習の、事前訓練モデルに基づかない分類、回帰、およびクラスタリングなどのアルゴリズムを含む。結合されたモデルを合成し、繰り返し分析する。単一のインターフェースモジュールを介してパラメータ設定及び結果表示などを行う。ただし、従来技術の実現方法には明らかな欠点がある。

【0016】

第１の実現方法については、アプリケーションの観点から見ると、そのプレハブタスクが少なすぎて、工業化シナリオでの複雑で多様な自然言語処理訓練のニーズを満たすことができず、国際にオープンソースされた深層学習フレームワーク及び事前訓練モデルを採用するが、これらの技術のコア制御権を持っておらず、技術的に制限されるリスクがある。当該方法は、汎用事前訓練モデルを提供するだけであり、特定のシナリオのタスクでは、さらに事前訓練が必要であり、従って、コストが高くなる。且つ、わずかな調整のみを実行した場合、その効果は理想的ではない。通常、特定のタスクのデータ前処理用にのみカスタマイズされており、より柔軟で複雑なデータ前処理シナリオには柔軟で便利ではない。その蒸留ツールは単一すぎ、蒸留方法さえ提供していないため、モデルの展開に影響を与える。一般に、展開シナリオの加速ソリューションを提供していないため、複雑な産業化シナリオのニーズを満たすことが困難である。システムの観点から見ると、そのネットワークコードパッケージは、十分な柔軟性がなく、ネットワーク構造を柔軟に変更することができず、マルチラベルおよびマルチタスク学習をサポートすることはできない。通常、Ｗｅｂインタラクティブ開発プラットフォームとの互換性がなく、さまざまな技術レベルのユーザーに対して十分にサポートされない。

【0017】

第２の実現方法については、深層学習アルゴリズムの複雑さは従来の機械学習アルゴリズムよりもはるかに高いため、関連するアルゴリズムと機能統合機能には、開発者にとってより高い要件がある。その結果、元の機械学習フレームワークは複雑な深層学習開発要件を満たすことができず、深層学習で一般的なモデルに対してホットスタート機能が保存され、従来の機械学習プラットフォームには対応するサポートがない。

【0018】

上記の問題および他の潜在的な問題の１つまたは複数を少なくとも部分的に解決するために、本開示の実施例は、モデル訓練プラットフォームを提案し、当該モデル訓練プラットフォームは、包括的な自然言語処理カスタム化開発シナリオをカバーすることができ、カスタム化事前訓練技術によりより効率的なモデル訓練能力を提供でき、シンプルで容易なインタラクション方式を提供でき、モジュールの独立性によってプラットフォームのスケーラビリティを向上できるため、効率的なモデル訓練、特に深層学習モデル訓練の能力を提供することにより、ユーザーエクスペリエンスを向上させることができる。

【0019】

図１は本開示の実施例に係るモデル訓練プラットフォーム１００の模式ブロック図である。図１に示すように、モデル訓練プラットフォーム１００は、データインタラクションモジュール１０１、インタラクションサポートモジュール１０２、機能提供モジュール１０３、モデル訓練サポートモジュール１０４、事前訓練モデルモジュール１０５及び事前訓練モデルサポートモジュール１０６を備える。

【0020】

データインタラクションモジュール１０１は、モデル訓練プラットフォーム１００の外部から入力を受信すること及びモデル訓練プラットフォーム１００の外部に出力を提供することをサポートするように、少なくとも１つのインタラクションモードを提供するように配置され、インタラクションモードはインタラクションインターフェイスに関連する。本開示の１つまたは複数の実施例によれば、異なるユーザーに対して、異なるインタラクションインターフェイスを提供して、異なるインターフェイスを公開することができる。例えば、Ｅａｓｙｄｌフリーダムプラットフォームでは、ユーザはデータ入力アドレスと出力アドレスを設定するだけで済む。ＢＭＬフル機能プラットフォームでは、ユーザはタスクパラメータ、ワークフロー、さらにはニューラルネットワーク構造等をさらに設定することができる。

【0021】

インタラクションサポートモジュール１０２は、データインタラクションモジュールとモデル訓練プラットフォーム１００における他のモジュールとの間のインタラクションのサポートを提供するように配置され、インタラクションはモデル訓練に関連する。本開示の１つまたは複数の実施例によれば、インタラクションサポートモジュール１０２は、ネットワーク選択に関連するインタラクションモードと、ネットワーク組立に関連するインタラクションモードと、ネットワーク記憶に関連するインタラクションモードと、訓練パッケージの組立に関連するインタラクションモードと、訓練タスクの開始に関連するインタラクションモードと、認証に関連するインタラクションモードと、統計に関連するインタラクションモードと、のうちの１つまたは複数のインタラクションのサポートを提供するように配置されてもよい。なお、インタラクションサポートモジュール１０２はデータインタラクションモジュール１０１から切り離されているので、同じインタラクションサポートモジュール１０２は、製品のポジショニングが異なるデータインタラクションモジュール１０１に使用することができ、技術上、異なるインターフェースを公開することによってのみ実現でき、これにより、良好な利便性を提供することができる。

【0022】

機能提供モジュール１０３は、ユーザー指向のプレハブ機能を提供するように配置され、プレハブ機能はモデル訓練プラットフォームによって訓練されたモデルに関連する。本開示の１つまたは複数の実施例によれば、機能提供モジュール１０３は、ユーザー向けにプレハブされた、さまざまな業界で必要とされる特定の機能を提供するように配置され、これらの機能は、例えば、テキストマルチラベル分類機能、テキスト階層分類機能、小さなサンプルテキスト分類機能、ノイズの多いテキスト分類機能、エンティティ認識機能、エンティティ関係抽出機能、エンティティ属性抽出機能、用語重要度分析機能、感情分析機能、テキストレビュー機能、検索－リコール機能、検索－ソート機能、テキスト要約生成機能、テキストエラー訂正機能、データ蒸留機能、モデル蒸留機能、マルチラベル学習機能、マルチタスク学習機能、自己管理型事前訓練学習機能、特徴重要度分析機能、医療機関認識機能、医療質疑応答マッチング機能、法律条文推薦機能、および罪名予測機能のうちの１つ又は複数の機能を含んでもよい。

【0023】

モデル訓練サポートモジュール１０４は、モデル訓練プラットフォーム１００を使用してモデル訓練を行うことをサポートすることに必要なモデル訓練機能を提供するように配置され、モデル訓練機能はモデルの訓練過程に関連する。本開示の１つまたは複数の実施例によれば、モデル訓練サポートモジュール１０４は、アクチュエータ初期化機能、オペレーティングプログラム初期化機能、シングルマシンマルチカード環境設定機能、マルチマシンマルチカード環境設定機能、マルチマシン中央処理装置環境設定機能、モデルロード機能、およびモデル保存機能のうちの１つ又は複数の機能を提供するように配置される。ユーザーは基礎となるコードを記述する必要はなく、関連する設定を介して上記機能を直接適用できる。

【0024】

事前訓練モデルモジュール１０５は、深層学習に基づいて事前訓練された事前訓練モデルを提供するように配置される。本開示の１つまたは複数の実施例によれば、事前訓練モデルは、深層学習に基づいて事前に訓練されたモデルであり、これらのモデル及びそのネットワークは、他のタスクのニューラルネットワークに組み込むことができ、次に、訓練済みのモデルのホットスタートに基づいて訓練をさらに微調整できるため、事前訓練モデルを使用しない場合よりも大幅に優れた結果を得ることができ。例えば、事前訓練モデルモジュール１０５は、汎用事前訓練モデル、医療健康に関連する事前訓練モデル、法規制に関連する事前訓練モデル、感情コンピューティングに関連する事前訓練モデル、テキストレビューに関連する事前訓練モデル及び金融分野に関連する事前訓練モデル、のうちの１つ又は複数の事前訓練モデルを提供するように配置されてもよい。

【0025】

事前訓練モデルサポートモジュール１０６は、事前訓練モデルの使用をサポートするように、事前訓練モデルに関連するネットワーク構造を提供するように配置される。本開示の１つまたは複数の実施例によれば、異なる事前訓練モデルのネットワーク構造は異なるので、事前訓練モデルサポートモジュール１０６は、異なる事前訓練モデルが共有するネットワーク構造を統合するように配置することができ、配置を柔軟に変更することで異なるネットワーク構造を切り替えることができるため、事前訓練モデルをワンクリックで置き換える機能をユーザーに提供することができる。

【0026】

図２は、本開示の実施例に係るモデル訓練プラットフォーム２００を示す模式ブロック図である。図２に示すように、モデル訓練プラットフォーム２００は、データインタラクションモジュール２０１、インタラクションサポートモジュール２０２、機能提供モジュール２０３、モデル訓練サポートモジュール２０４、事前訓練モデルモジュール２０５、事前訓練モデルサポートモジュール２０６、設定情報受信モジュール２０７、データ前処理モジュール２０８、複雑学習タスクサポートモジュール２０９、訓練カスタムモジュール２１０及びモデル適用モジュール２１１を含む。

【0027】

データインタラクションモジュール２０１、インタラクションサポートモジュール２０２、機能提供モジュール２０３、モデル訓練サポートモジュール２０４、事前訓練モデルモジュール２０５及び事前訓練モデルサポートモジュール２０６の機能は、データインタラクションモジュール１０１、インタラクションサポートモジュール１０２、機能提供モジュール１０３、モデル訓練サポートモジュール１０４、事前訓練モデルモジュール１０５及び事前訓練モデルサポートモジュール１０６の機能と基本的に同じなので、ここでは繰り返しない。

【0028】

設定情報受信モジュール２０７は、モデル訓練プラットフォーム２００におけるモジュールによって提供される機能の適用請求に関連する設定情報を受信するように配置される。本開示の１つまたは複数の実施例によれば、設定情報受信モジュール２０７は、定情報を導入するように配置される設定情報導入モジュール（未図示）と、設定情報を登録するように配置されるレジストラモジュール（未図示）と、設定情報に基づいてｊｓｏｎ解析を行うように配置されるｊｓｏｎ解析モジュール（未図示）と、設定情報に基づいてクラス名マッチングを行うように配置されるクラス名マッチングモジュール（未図示）と、のうちの１つまたは複数を含む。上記モジュールにより、ユーザーは、規定されるプロファイルフォーマットに従って設定情報を入力するだけで、所望の機能を適用できる。

【0029】

データ前処理モジュール２０８は、受信されたモデル訓練プラットフォーム２００の入力を前処理するように配置される。本開示の１つまたは複数の実施例によれば、データ前処理モジュール２０８は、前処理のために、入力からデータセットを読み取るように配置されるデータセット読み取りモジュールと、前処理のために、入力からドメインを読み取るように配置されるドメイン読み取りモジュールと、前処理のために、前記入力をトークン化するように配置されるトークナイザーモジュールと、前処理のために、入力からボキャブラリーを取得するように配置されるボキャブラリーモジュールと、のうちの１つまたは複数を含む。特徴ドメインの概念を抽象化することにより、同じサンプルに異なるドメインがある場合、異なるドメインは別々のデータ型（テキスト、数値、整数、浮動小数点）を持ち、オープンソースは別々のボキャブラリー（ｖｏｃａｂｕｌａｒｙ）などを持つ。例えば、テキストからｉｄへの変換などの操作というセマンティック表現は、異なるドメインに応じて実行できるため、さまざまな複雑なタスクに必要なデータ構造を柔軟に拡張でき、テキスト以外の数値類特徴の入力をサポートできる。

【0030】

複雑学習タスクサポートモジュール２０９は、複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを提供するように配置される。本開示の１つまたは複数の実施例によれば、複雑学習タスクサポートモジュール２０９は、複雑学習タスクに用いられる順方向伝播ネットワークを提供するように配置される順方向伝播ネットワークモジュールと、ネットワーク構造の設計及び開発に用いられる最適化戦略を提供するように配置される最適化戦略モジュールと、ネットワーク構造の設計及び開発に用いられる評価指標を提供するように配置される評価指標モジュールと、のうちの１つまたは複数を含む。上記モジュールにより、マルチラベル学習やマルチタスク学習などの複雑なタスクのネットワーク構造の設計及び開発を実現できる。

【0031】

訓練カスタムモジュール２１０は、入力に基づいてモデル訓練に関連する操作を調整するように配置される。本開示の１つまたは複数の実施例によれば、訓練カスタムモジュール２１０は、入力に基づいてモデル訓練に関連する訓練フローを調整するように配置されるカスタム訓練フローモジュールと、入力に基づいてモデル訓練に関連する評価フローを調整するように配置されるカスタム評価フローモジュールと、入力に基づいてモデル訓練に関連する可視化評価を調整するように配置される可視化評価モジュールと、のうちの１つまたは複数を含む。上記モジュールにより、モデル訓練プラットフォーム２００のユーザは、訓練、評価フローを柔軟に変更することができ、それにより、より複雑な訓練タスクの設計及び開発を完了することができる。

【0032】

モデル適用モジュール２１１は、訓練されたモデルの適用に関連するための機能を提供するように配置される。本開示の１つまたは複数の実施例によれば、モデル適用モジュール２１１は、専用処理部配置機能、中央処理部配置機能、単一予測機能、バッチ予測機能、Ｃ＋＋アプリケーションプログラミングインターフェース機能、及びＰｙｔｈｏｎアプリケーションプログラミングインターフェース機能のうちの１つ又は複数の機能を提供するように配置される。上記機能により、訓練されたモデルに関連する機能の産業上の利用を完了することができる。

【0033】

図３は、本開示のいくつかの実施例におけるモデル訓練方法を実現することができるモデル訓練環境３００を示す模式ブロック図である。本開示の１つまたは複数の実施例によれば、モデル訓練環境３００はクラウド環境であってもよい。図３に示すように、モデル訓練環境３００は、コンピューティング機器３１０を含む。モデル訓練環境３００では、入力データ３２０は、コンピューティング機器３１０の入力としてコンピューティング機器３１０に提供される。入力データ３２０は、例えば、以上に、モデル訓練プラットフォーム１００及びモデル訓練プラットフォーム２００を参照しながら説明された、モデル訓練プラットフォーム１００及びモデル訓練プラットフォーム２００の入力とすることができる入力データを含んでもよい。例えば、入力データ３２０は、モデル訓練に関連するデータ入力出力アドレス、タスクパラメータ、ワークフロー、ニューラルネットワーク構造、インタラクションモードの選択、ユーザー指向のプレハブ機能の選択、モデル訓練機能の選択、事前訓練モデルの選択、事前訓練モデルに関連するネットワーク構造の選択、設定情報及び設定情報に対して希望する操作、前処理の選択、複雑学習タスクのネットワーク構造の設計及び開発に関連する入力、モデル訓練に関連する操作を調整するための入力、及び訓練されたモデルの適用に関連する機能の選択等を含んでもよい。本開示の１つまたは複数の実施例によれば、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって入力データ３２０を受信することができる。

【0034】

入力データ３２０を受信した後、コンピューティング機器３１０は、入力データ３２０に基づいてモデル訓練操作を実行し、訓練されたモデルに関連する出力を出力データ３３０として提供することができる。本開示の１つまたは複数の実施例によれば、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって、訓練されたモデルに関連する出力を出力データ３３０として提供することができ、出力データ３３０は、例えば訓練されたモデルに関連するパラメータ、評価結果、更には訓練されたモデルそのものなどを含んでもよい。

【0035】

ただし、モデル訓練環境３００は単なる例示であり、制限的ではなく、拡張可能であり、より多くのコンピューティング機器３１０を含んでもよく、且つコンピューティング機器３１０により多くの入力データ３２０を提供することができ、コンピューティング機器３１０からより多くの出力データ３３０を提供することができ、これにより、より多くのユーザがより多くのコンピューティング機器３１０を同時に使用できるようになり、さらにはより多くの入力データ３２０を使用してモデル訓練操作を同時にまたは非同時に実行して、より多くの出力データ３３０の要件を取得することができる。

【0036】

図３に示すモデル訓練環境３００では、入力データ３２０のコンピューティング機器３１０への入力及び出力データ３３０のコンピューティング機器３１０からの出力はネットワークを介して実行することができる。

【0037】

図４は本開示の実施例に係るモデル訓練方法４００を示すフローチャートである。具体的にはモデル訓練方法４００は図１に示すモデル訓練プラットフォーム１００を使用して実現することができ、且つ図３に示すモデル訓練環境３００におけるコンピューティング機器３１０によって実行することができる。ただし、モデル訓練方法４００は図示されていない追加の操作をさらに含んでもよく、および／または示される操作を省略してもよく、本開示の範囲は、この点に関して限定されない。

【0038】

ブロック４０２では、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって入力を受信し、インタラクションモードはインタラクションインターフェイスに関連する。本開示の１つまたは複数の実施例によれば、異なるユーザーに対して、異なるインタラクションインターフェイスを提供して、異なるインターフェイスを公開することができる。例えば、Ｅａｓｙｄｌフリーダムプラットフォームでは、ユーザはデータ入力アドレスと出力アドレスを設定するだけで済む。ＢＭＬフル機能プラットフォームでは、ユーザはタスクパラメータ、ワークフロー、さらにはニューラルネットワーク構造等をさらに設定することができる。

【0039】

本開示の１つまたは複数の実施例によれば、少なくとも１つのインタラクションモードを利用して行うインタラクションは、ネットワーク選択に関連するインタラクションと、ネットワーク組立に関連するインタラクションと、ネットワーク記憶に関連するインタラクションと、訓練パッケージの組立に関連するインタラクションと、訓練タスクの開始に関連するインタラクションと、認証に関連するインタラクションと、及び統計に関連するインタラクションと、のうちの１つ又は複数のインタラクションを含む。

【0040】

ブロック４０４では、コンピューティング機器３１０は、入力に基づいてユーザー指向のプレハブ機能を確定し、プレハブ機能は訓練すべきモデルに関連する。本開示の１つまたは複数の実施例によれば、ユーザー指向のプレハブ機能を確定することは、テキストマルチラベル分類機能、テキスト階層分類機能、小さなサンプルテキスト分類機能、ノイズの多いテキスト分類機能、エンティティ認識機能、エンティティ関係抽出機能、エンティティ属性抽出機能、用語重要度分析機能、感情分析機能、テキストレビュー機能、検索－リコール機能、検索－ソート機能、テキスト要約生成機能、テキストエラー訂正機能、データ蒸留機能、モデル蒸留機能、マルチラベル学習機能、マルチタスク学習機能、自己管理型事前訓練学習機能能、特徴重要度分析機能、医療機関認識機能、医療質疑応答マッチング機能、法律条文推薦機能、および罪名予測機能のうちの１つ又は複数の機能を確定することを含む。上記のさまざまな機能はユーザー向けにプレハブされた、さまざまな業界で必要とされる特定の機能である。

【0041】

ブロック４０６では、コンピューティング機器３１０は、入力に基づいて、モデルト訓練を行うことをサポートするために必要なモデル訓練機能を確定し、モデル訓練機能はモデルの訓練過程に関連する。本開示の１つまたは複数の実施例によれば、モデル訓練を行うことをサポートするために必要なモデル訓練機能を確定することは、アクチュエータ初期化機能、オペレーティングプログラム初期化機能、シングルマシンマルチカード環境設定機能、マルチマシンマルチカード環境設定機能、マルチマシン中央処理装置環境設定機能、モデルロード機能、およびモデル保存機能のうちの１つ又は複数の機能を確定することを含む。ユーザーは基礎となるコードを記述する必要はなく、関連する設定を介して上記機能を直接適用できる。

【0042】

ブロック４０８では、コンピューティング機器３１０は、入力に基づいて、深層学習に基づいて事前訓練された事前訓練モデルを確定する。本開示の１つまたは複数の実施例によれば、事前訓練モデルは、深層学習に基づいて事前に訓練されたモデルであり、これらのモデル及びそのネットワークは、他のタスクのニューラルネットワークに組み込むことができ、次に、訓練済みのモデルのホットスタートに基づいて訓練をさらに微調整できるため、事前訓練モデルを使用しない場合よりも大幅に優れた効果を得ることができる。

【0043】

ブロック４１０では、コンピューティング機器３１０は、事前訓練モデルの使用をサポートするように、入力に基づいて事前訓練モデルに関連するネットワーク構造を確定する。本開示の１つまたは複数の実施例によれば、異なる事前訓練モデルのネットワーク構造は異なるので、異なる事前訓練モデルが共有するネットワーク構造を統合することができ、設定を柔軟に変更することで異なるネットワーク構造を切り替えることができるため、事前訓練モデルをワンクリックで置き換える機能をユーザーに提供することができる。

【0044】

ブロック４１２では、コンピューティング機器３１０は、入力に基づいて、プレハブ機能、モデル訓練機能及び事前訓練モデルを使用してモデルを訓練する。本開示の１つまたは複数の実施例によれば、使用されるプレハブ機能、モデル訓練機能、及び事前訓練モデルを確定した後、コンピューティング機器３１０は、訓練されたモデルを取得するように、これらのコンテンツおよび入力される可能性のある任意の他のコンテンツに基づいてモデルを訓練する。

【0045】

ブロック４１４では、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって、訓練されたモデルに関連する出力を提供する。本開示の１つまたは複数の実施例によれば、訓練されたモデルに関連する出力は、例えば訓練されたモデルに関連するパラメータ、評価結果、更には訓練されたモデルそのものなどを含んでもよい。

【0046】

図５は、本開示の実施例に係るモデル訓練方法５００を示すフローチャートである。具体的にはモデル訓練方法５００は、図２に示すモデル訓練プラットフォーム２００を使用して実現することができ、且つ図３に示すモデル訓練環境３００におけるコンピューティング機器３１０によって実行することができる。ただし、モデル訓練方法５００は図示されていない追加の操作をさらに含んでもよく、および／または示される操作を省略してもよく、本開示の範囲は、この点に関して限定されない。

【0047】

ブロック５０２では、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって入力を受信し、インタラクションモードはインタラクションインターフェイスに関連する。ブロック５０２に係るステップの具体的な内容はブロック４０２に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0048】

ブロック５０４では、コンピューティング機器３１０は、受信された入力を前処理する。本開示の１つまたは複数の実施例によれば、受信された入力を前処理することは、前処理のために、入力からデータセットを読み取ることと、前処理のために、入力からドメインを読み取ることと、前処理のために、入力をトークン化することと、前処理のために、入力からボキャブラリーを取得することと、のうちの１つまたは複数を含む。特徴ドメインの概念を抽象化することにより、同じサンプルに異なるドメインがある場合、異なるドメインは別々のデータ型（テキスト、数値、整数、浮動小数点）を持ち、オープンソースは別々のボキャブラリー（ｖｏｃａｂｕｌａｒｙ）などを持つ。例えば、テキストからｉｄへの変換などの操作というセマンティック表現は、異なるドメインに応じて実行できるため、さまざまな複雑なタスクに必要なデータ構造を柔軟に拡張でき、テキスト以外の数値類特徴の入力をサポートできる。

【0049】

ブロック５０６では、コンピューティング機器３１０は、モデル訓練に関連付けられている機能の適用請求に関連する設定情報を受信する。本開示の１つまたは複数の実施例によれば、設定情報を受信することは、設定情報を導入することと、設定情報を登録することと、設定情報に基づいてｊｓｏｎ解析を行うことと、設定情報に基づいてクラス名マッチングを行うことと、のうちの１つまたは複数を含む。設定情報を使用すると、ユーザーは、規定される設定ファイルフォーマットに従って設定情報を入力するだけで、目的の機能を適用できる。

【0050】

ブロック５０８では、コンピューティング機器３１０は、入力に基づいてユーザー指向のプレハブ機能を確定し、プレハブ機能は訓練すべきモデルに関連する。ブロック５０８に係るステップの具体的な内容はブロック４０４に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0051】

ブロック５１０では、コンピューティング機器３１０は、入力に基づいて、モデルト訓練を行うことをサポートするために必要なモデル訓練機能を確定し、モデル訓練機能はモデルの訓練過程に関連する。ブロック５１０に係るステップの具体的な内容はブロック４０６に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0052】

ブロック５１２では、コンピューティング機器３１０は、入力に基づいて、深層学習に基づいて事前訓練された事前訓練モデルを確定する。ブロック５１２に係るステップの具体的な内容はブロック４０８に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0053】

ブロック５１４では、コンピューティング機器３１０は、事前訓練モデルの使用をサポートするように、入力に基づいて事前訓練モデルに関連するネットワーク構造を確定する。ブロック５１４に係るステップの具体的な内容はブロック４１０に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0054】

ブロック５１６では、コンピューティング機器３１０は、複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを使用する。本開示の１つまたは複数の実施例によれば、複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを使用することは、複雑学習タスクに用いられる順方向伝播ネットワークを使用することと、ネットワーク構造の設計及び開発に用いられる最適化戦略を使用することと、ネットワーク構造の設計及び開発に用いられる評価指標を使用することと、のうちの１つまたは複数を含む。複雑学習タスクのネットワーク構造の設計及び開発に対するサポートを使用すると、マルチラベル学習やマルチタスク学習などの複雑なタスクのネットワーク構造の設計及び開発を実現できる。

【0055】

ブロック５１８では、コンピューティング機器３１０は、入力に基づいて、プレハブ機能、モデル訓練機能及び事前訓練モデルを使用してモデルを訓練する。ブロック５１８に係るステップの具体的な内容はブロック４１２に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0056】

ブロック５２０では、コンピューティング機器３１０は、少なくとも１つのインタラクションモードを利用して行うインタラクションによって、訓練されたモデルに関連する出力を提供する。ブロック５２０に係るステップの具体的な内容はブロック４１４に係るステップの具体的な内容と同じなので、ここでは繰り返しない。

【0057】

ブロック５２２では、コンピューティング機器３１０は、入力に基づいてモデル訓練に関連する操作を調整する。本開示の１つまたは複数の実施例によれば、入力に基づいてモデル訓練に関連する操作を調整することは、入力に基づいてモデル訓練に関連する訓練フローを調整することと、入力に基づいてモデル訓練に関連する評価フローを調整することと、入力に基づいてモデル訓練に関連する可視化評価を調整することと、のうちの１つまたは複数を含む。モデル訓練に関連する操作を調整することにより、ユーザは、訓練、評価フローを柔軟に変更することができ、それにより、より複雑な訓練タスクの設計及び開発を完了することができる。

【0058】

ブロック５２４では、コンピューティング機器３１０は、訓練されたモデルの適用に関連する機能を使用することで、訓練されたモデルを適用する。本開示の１つまたは複数の実施例によれば、訓練されたモデルの適用に関連する機能を使用することは、専用処理部配置機能、中央処理部配置機能、単一予測機能、バッチ予測機能、Ｃ＋＋アプリケーションプログラミングインターフェース機能、及びＰｙｔｈｏｎアプリケーションプログラミングインターフェース機能のうちの１つ又は複数の機能を使用することを含む。訓練されたモデルの適用に関連する機能を使用することで、訓練されたモデルを適用することにより、訓練されたモデルに関連する機能の産業上の利用を完了することができる。

【0059】

以上、図１～図５を参照しながら、本開示の実施例に係るモデル訓練プラットフォーム１００、本開示の実施例に係るモデル訓練プラットフォーム２００、本開示のいくつかの実施例におけるモデル訓練方法を実現することができるモデル訓練環境３００、本開示の実施例に係るモデル訓練方法４００及び本開示の実施例に係るモデル訓練方法５００の関連内容を説明した。ただし、上記説明は、本開示に記載された内容をよりよく表示するためのものであり、何らかの方法でそれを制限するものではない。

【0060】

ただし、本開示の上記の各図面で使用される様々な要素の数および物理量の大きさは単なる例であり、本開示の保護範囲を制限するものではない。上記の数および大きさは、本開示の実施形態の通常の実施に影響を与えることなく、必要に応じて任意に設定することができる。

【0061】

図１～図５を参照する上記の説明を通じて、本開示の実施形態による技術的解決策は、従来の解決策に対して多くの利点を有する。例えば、本開示の実施形態の技術的解決策を使用すると、事前訓練意味理解技術に基づく汎用自然言語処理カスタム化訓練および開発プラットフォームを構築すること、及びモデル訓練方法を使用することにより、データ注釈および基礎となるコード開発のための人的資源および物的資源を大幅に削減することができる。これにより、産業上の利用のニーズを満たすことができる。

【0062】

具体的には、本開示の実施形態の技術案により、モデル訓練プラットフォームが提供される。当該モデル訓練プラットフォームは、包括的な自然言語処理のカスタム化開発シナリオをカバーすることができ、カスタム化事前訓練技術を通じてより効率的なモデル訓練能力を提供でき、シンプルで容易なインタラクション方法を提供でき、モジュール間の独立性を通じてプラットフォームのスケーラビリティを向上させることができるため、効率的なモデル訓練、特に深層学習モデル訓練の能力を提供することにより、ユーザーエクスペリエンスを向上させることができる。

【0063】

さらに、本開示の実施形態に係るモデル訓練プラットフォームおよびモデル訓練方法を使用すると、可能な限り包括的かつ典型的な自然言語処理のカスタム化開発シナリオをカバーし、豊富な産業レベルのアプリケーションサポートシステムを形成することができる。これらのプレハブタスクのほとんどは、ｊｓｏｎ設定ファイルを介して直接設定でき、すばやく開始して実行できる。医療健康、法規制、感情コンピューティング、テキストレビュー、金融分野などの特定のシナリオに対して、カスタム化事前訓練技術の研究開発を行うことができ、これにより、特定のシナリオの適用では高価なモデルの事前訓練なしで非常に良い効果を得ることができ、最終的に豊富な事前訓練モデルシステムを形成する。各モジュール間の独立性を通じて新しい機能を柔軟に拡張できるので、複雑な開発タスクに適応することができる。また、シンプルで使いやすいｗｅｂインタラクション式開発方法を提供できるため、異なる技術的バックグラウンドを持つユーザー、ひいては深層学習の開発経験がないユーザーでも、カスタム化開発を実行することができる。

【0064】

本開示の実施例によれば、本開示は、電子機器及びコンピュータ読み取り可能な記憶媒体を更に提供する。

【0065】

図６は、本開示の実施例を実施するために使用することができる例示的な電子機器６００を示す模式ブロック図である。例えば、図１に示すモデル訓練プラットフォーム１００、図２に示すモデル訓練プラットフォーム２００及び図３に示すコンピューティング機器３１０は電子機器６００によって実施することができる。電子機器６００は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及びその他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図している。電子機器は、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブル機器、及びその他の類似の計算装置など、様々な形態の移動装置を示してもよい。本明細書に示されている部材、それらの接続と関係、及びそれらの機能は単なる例であるが、本明細書の説明及び／又は要求される本開示の実現を制限することを意図するものではない。

【0066】

図６に示すように、機器６００は、読み取り専用（ＲＯＭ）６０２に記憶されたコンピュータプログラム又は記憶ユニット６０８からランダムアクセスメモリ（ＲＡＭ）６０３にロードされたコンピュータプログラムに従って、様々な適切な動作及び処理を実行することができる計算ユニット６０１を含む。ＲＡＭ６０３には、機器６００の動作に必要な様々なプログラム及びデータが記憶されてもよい。計算ユニット６０１、ＲＯＭ６０２及びＲＡＭ６０３は、バス６０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インターフェース６０５もバス６０４に接続されている。

【0067】

機器６００の複数の部材はＩ／Ｏインターフェース６０５に接続され、キーボード、マウスなどの入力ユニット６０６と、さまざまなタイプのディスプレイ、スピーカーなどの出力ユニット６０７と、磁気ディスク、光ディスクなどの記憶ユニット６０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット６０９とを含む。通信ユニット６０９は、機器６００が例えばインターネットのコンピュータネットワーク及び／又は各種の電信ネットワークを介して他の機器と情報／データを交換することを可能とする。

【0068】

計算ユニット６０１は、処理能力及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット６０１のいくつかの例には、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、様々な専用人工知能（ＡＩ）計算チップ、機械学習モデルアルゴリズムを実行する様々な計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどが含まれるが、これらに限定されるものではない。計算ユニット６０１は、上述した様々な方法及び処理、例えば、方法４００、５００を実行する。例えば、いくつかの実施例では、方法４００、５００は、記憶ユニット６０８などの機械読み取り可能な媒体に物理的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例では、コンピュータプログラムの一部又は全部を、ＲＯＭ６０２及び／又は通信ユニット６０９を介して機器６００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ６０３にロードされ、計算ユニット６０１によって実行されると、上述した方法４００、５００の１つ又は複数のステップを実行することができる。オプションとして、別の実施例では、計算ユニット６０１は、他の任意の適切な方式で（例えば、ファームウェアによって）方法４００、５００を実行するように構成されてもよい。

【0069】

本明細書に記載のシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップシステム（ＳＯＣ）、ロードプログラマブルロジック機器（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、以下を含むことができる。１つ又は複数のコンピュータプログラムにおいて実施され、この１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステムで実行及び／又は解釈され得、このプログラム可能なプロセッサは専用又は汎用のプログラム可能なプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令をこのストレージシステム、この少なくとも１つの入力装置、及びこの少なくとも１つの出力装置に送信することができる。

【0070】

本開示の方法を実施するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせで記述することができる。これらのプログラムコードは汎用コンピュータ、専用コンピュータ又は他のプログラム可能なデータ処理装置のプロセッサ又はコントローラに提供することができ、それによりプログラムコードはプロセッサ又はコントローラにより実行されると、フローチャート及び／又はブロック図に規定された機能／動作が実施される。プログラムコードは完全に機械で実行されてもよく、部分的に機械で実行されてもよく、独立したソフトウェアパッケージとして一部が機械で実行されかつ一部が遠隔機械で実行されるか、又は完全に遠隔機械又はサーバで実行されてもよい。

【0071】

本開示の文脈では、コンピュータ読み取り可能な媒体は、命令実行システム、装置、又は機器によって使用されるための、又は命令実行システム、装置、又は機器とともに使用されるためのプログラムを含むか格納することができる有形媒体とすることができる。コンピュータ読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体的なシステム、装置又は機器、あるいはこれらの任意の適切な組み合わせを含むことができるが、これらに限定されるものではない。機械読み取り可能な記憶媒体のより具体的な例は、１つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、便利コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、光学記憶機器、磁気記憶機器、又はこれらの任意の適切な組み合わせを含む。

【0072】

ユーザとのインタラクションを提供するために、ここで記載されたシステム及び技術はコンピュータ上で実施してもよく、このコンピュータは、ユーザに情報を表示するためのディスプレイ装置（たとえば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供するキーボード及びポインティング装置（たとえば、マウス又はトラックボール）とを含む。他の種類の装置は、ユーザとのインタラクションを提供するためにも使用され得、たとえば、ユーザに提供されるフィードバックは、任意の形態の感知フィードバック（たとえば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、ユーザからの入力は、任意の形式（音声入力、音声入力、又は触覚入力を含む）で受信することができる。

【0073】

ここで記載されたシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（たとえば、データサーバとして）、又はミドルウェアコンポーネントを含むコンピューティングシステム（たとえば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（たとえば、ユーザがここで記載されたシステム及び技術の実施形態とインタラクションできるグラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）、又はそのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント、又はフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムにおいて実現され得る。システムのコンポーネントは、任意の形態又は媒体のデジタルデータ通信（たとえば、通信ネットワーク）を介して相互に接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。

【0074】

コンピュータシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは、一般的に互いに離れており、通常、通信ネットワークを介してインタラクションする。クライアントとサーバの関係は、対応するコンピュータ上で実行され互いにクライアント－サーバ関係を有するコンピュータプログラムによって生成される。

【0075】

なお、上記の様々な形態のフローを使用して、ステップを並べ替えたり、追加したり、削除したりすることができる。たとえば、本開示に記載された各ステップは、本開示で開示された技術案の所望の結果を達成できる限り、並行して実行されてもよいし、連続的に実行されてもよいし、異なる順序で実行されてもよく、本明細書において限定しない。

【0076】

上記の具体的な実施形態は、本開示の保護範囲に対する制限を構成しない。当業者が理解できるように、設計要件及びその他の要素に応じて、様々な修正、組み合わせ、サブ組み合わせ及び代替が可能である。本開示の精神及び原則の範囲内で行われたいかなる修正、同等の置換や改良も、本開示の保護範囲に含まれるものとする。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】