特許 7553515 テキスト処理方法、装置、システム、デバイス、記憶媒体、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】テキスト処理方法、装置、システム、デバイス、記憶媒体、及びプログラム

(51)【国際特許分類】

   G06F 40/284 20200101AFI20240910BHJP

   G06F 40/216 20200101ALI20240910BHJP

【ＦＩ】

G06F40/284

G06F40/216

【請求項の数】 10

(21)【出願番号】P 2022124589

(22)【出願日】2022-08-04

(65)【公開番号】P2023086661

(43)【公開日】2023-06-22

【審査請求日】2022-08-04

(31)【優先権主張番号】202111505371.1

(32)【優先日】2021-12-10

(33)【優先権主張国・地域又は機関】CN

【前置審査】

(73)【特許権者】

【識別番号】514322098

【氏名又は名称】ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ．

【住所又は居所原語表記】２／Ｆ Ｂａｉｄｕ Ｃａｍｐｕｓ， Ｎｏ．１０， Ｓｈａｎｇｄｉ １０ｔｈ Ｓｔｒｅｅｔ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】ツォーユイ チェン

(72)【発明者】

【氏名】ハイフォン ワン

(72)【発明者】

【氏名】ティエン ウー

(72)【発明者】

【氏名】ティエンハイ ユイ

(72)【発明者】

【氏名】イェンチュン マー

(72)【発明者】

【氏名】シアオコアン フー

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】DANGGUO SHAO 他6名，Domain-Specific Chinese Word Segmentation Based on Bi-Directional Long-Short Term Memory Model，IEEE，［online］，Vol 7, 2019，2019年02月06日，pp. 12993～13002，［令和5年10月11日検索］，インターネット ＜URL：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8612932＞

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ４０／００－４０／５８

(57)【特許請求の範囲】

【請求項1】

テキスト処理装置が実行するテキスト処理方法であって、
複数の文字列テキストに対してテキスト処理を行い、各文字列テキストに対応する整数型フォーマットのコンテンツを得ることができる、テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うことと、
前記テキスト処理加速演算子を使用して、テキスト処理後の整数型フォーマットのコンテンツに対して並列加速を行うことと、を含み、
テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うことは、
前記第１テキストに対応する第１テンソルを取得することと、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることと、
マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことと、
マッピング結果を使用して、第２テンソルを生成することであって、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることを含む、ことと、を含み、
ここで、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、且つ前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有し、且つ前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の整数型フォーマットの数値を含み、Ｎは正の整数であり、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることとは、
前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、
前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることと、
のうちの少なくとも１つを含み、
前記マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことは、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割文字を数値にマッピングすることと、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割単語を数値にマッピングすることと、
のうちの少なくとも１つを含み、
前記テキスト処理加速演算子を使用して、テキスト処理後の整数型フォーマットのコンテンツに対して並列加速を行うことは、
マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うことを含む、
テキスト処理方法。

【請求項2】

前記テキスト処理は、第１言語による実行から第２言語による実行に変換され、
前記第１言語はインタープリタ型言語であり、前記第２言語はコンパイル型言語である、
請求項１に記載のテキスト処理方法。

【請求項3】

前記テキスト処理方法は、
自然言語理解モデルを使用して、前記テキスト処理加速演算子により加速後のコンテンツに対して、自然言語理解処理を行うことをさらに含み、
前記自然言語理解モデルが、前記テキスト処理加速演算子と変換エンコーダ演算子とを含み、ここで、前記変換エンコーダ演算子は、前記テキスト処理加速演算子により加速後のコンテンツに対して文字列エンコードを行うことに用いられ、
前記変換エンコーダ演算子が、融合されたアテンションメカニズム演算子と融合されたフィードフォワード演算子とを含み、ここで、前記融合されたアテンションメカニズム演算子は前記自然言語理解モデルのマルチヘッドアテンションメカニズムにおける汎用行列乗算（ＧＥＭＭ）、オフセット加算（ｂｉａｓ ａｄｄ）及び転置（ｔｒａｎｓｐｏｓｅ）をそれぞれ融合して得られ、前記融合されたフィードフォワード演算子は前記自然言語理解モデルのＦｅｅｄｆｏｒｗａｒｄ層におけるカーネル（Ｋｅｒｎｅｌ）演算子を融合して得られる、
請求項１に記載のテキスト処理方法。

【請求項4】

前記テキスト処理方法は、
前記テキスト処理加速演算子によって使用されるマッピング関係を導出することをさらに含む、
請求項１に記載のテキスト処理方法。

【請求項5】

前記テキスト処理方法は、
導出されたマッピング関係を、バイナリシリアライズ形式で保存することと、
圧縮アルゴリズムを使用して、導出されたシソーラスを圧縮して保存することと、
のうちの少なくとも１つをさらに含む、
請求項４に記載のテキスト処理方法。

【請求項6】

複数の文字列テキストに対してテキスト処理を行い、各文字列テキストに対応する整数型フォーマットのコンテンツを得ることができる、テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うためのテキスト処理モジュールと、
前記テキスト処理加速演算子を使用して、テキスト処理後の整数型フォーマットのコンテンツに対して並列加速を行うための並列加速モジュールと、を備え、
前記テキスト処理モジュールは、具体的には、
前記第１テキストに対応する第１テンソルを取得することと、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることと、
マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことと、
マッピング結果を使用して、第２テンソルを生成することであって、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることを含む、ことと、に用いられ、
ここで、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、且つ前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有し、且つ前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の整数型フォーマットの数値を含み、Ｎは正の整数であり、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることとは、
前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、
前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることと、
のうちの少なくとも１つを含み、
前記マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことは、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割文字を数値にマッピングすることと、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割単語を数値にマッピングすることと、
のうちの少なくとも１つを含み、
前記並列加速モジュールは、具体的には、
マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うことに用いられる、
テキスト処理装置。

【請求項7】

複数の文字列テキストに対してテキスト処理を行い、各文字列テキストに対応する整数型フォーマットのコンテンツを得ることができる、テキスト処理加速演算子であって、
第１テキストに対してテキスト処理を行うことであって、
前記第１テキストに対応する第１テンソルを取得することと、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることと、
マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことと、
マッピング結果を使用して、第２テンソルを生成することであって、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることを含む、ことと、を含み、
ここで、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、且つ前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有し、且つ前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の整数型フォーマットの数値を含み、Ｎは正の整数であり、
前記第１テンソルに対して分割を行って、複数の分割結果を得ることとは、
前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、
前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることと、
のうちの少なくとも１つを含み、
前記マッピング関係に基づいて、各前記分割結果に対してマッピングを行うことは、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割文字を数値にマッピングすることと、
予め設定された分割文字及び／又は分割単語と整数型フォーマットの数値とのマッピング関係に基づいて、各分割単語を数値にマッピングすることと、
のうちの少なくとも１つを含む、ことと、
テキスト処理後の整数型フォーマットコンテンツに対して並列加速を行うことであって、
マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うことを含む、ことと、
に用いられるテキスト処理加速演算子を備える、
ディープラーニングフレームワークに基づくシステム。

【請求項8】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項５のいずれか１項に記載のテキスト処理方法を実行させる、
電子デバイス。

【請求項9】

コンピュータに請求項１から請求項５のいずれか１項に記載のテキスト処理方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項10】

コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項５のいずれか１項に記載のテキスト処理方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピュータ技術分野、特に自然言語処理、ディープラーニング等の人工知能の分野に関する。

【背景技術】

【0002】

自然言語処理（Ｎａｔｕｒａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＮＬＰ）はディープラーニングフレームワークの応用シーンの一つである。事前学習モデル技術の急速な普及に伴い、自然言語理解と生成との２つの重要なタスクの応用パラダイムが次第に統一され、開発者と業務シーンがその性能と使いやすさに対する要求も次第に向上されてきた。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本開示は、テキスト処理方法、装置、システム、デバイス及び記憶媒体を提供する。

【課題を解決するための手段】

【0004】

本開示の１つの態様では、テキスト処理方法を提供し、該方法は、
テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うことと、
前記テキスト処理加速演算子を使用して、テキスト処理後のコンテンツに対して並列加速を行うことと、を含む。

【0005】

本開示のもう１つの態様では、テキスト処理装置を提供し、該装置は、
テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うためのテキスト処理モジュールと、前記テキスト処理加速演算子を使用して、テキスト処理後のコンテンツに対して並列加速を行うための並列加速モジュールと、を備える。

【0006】

本開示のもう１つの態様では、ディープラーニングフレームワークに基づくシステムを提供し、該システムは、
第１テキストに対してテキスト処理を行い、テキスト処理後のコンテンツに対して並列加速を行うためのテキスト処理加速演算子を備える。

【0007】

本開示のもう１つの様態では、電子デバイスを提供し、該デバイスは、
少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令は、前記少なくとも１つのプロセッサにより実行されると、本開示の任意の１つ実施例の方法を実行させる。

【0008】

本開示のもう１つの様態では、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、前記コンピュータ命令は本開示の任意の１つ実施例の方法を前記コンピュータに実行させることに用いられる。

【0009】

本開示のもう１つの様態では、プログラムを提供し、前記プログラムは、プロセッサにより実行されると、本開示の任意の１つ実施例の方法を実現する。

【0010】

ここに記載された内容は、本開示の実施例のキーポイント又は重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他の特徴については、下記の明細書を通して理解を促すことができる。

【図面の簡単な説明】

【0011】

【図1】本開示の一実施例によるテキスト処理方法の流れを示す模式図である。

【図2】本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。

【図3】本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。

【図4】本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。

【図5】本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。

【図6】本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。

【図7】本開示の一実施例によるテキスト処理装置の構成を示す概略図。

【図8】本開示の他の実施例によるテキスト処理装置の構成を示す概略図。

【図9】本開示の他の実施例によるテキスト処理装置の構成を示す概略図。

【図10】本開示の他の実施例によるテキスト処理装置の構成を示す概略図。

【図11】本開示の一実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図。

【図12】本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図。

【図13】本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図。

【図14】本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図。

【図15】エンド・ツー・エンドのテキスト処理の演算子化の流れを示す模式図である。

【図16】変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ演算子の一例の構成を示す模式図である。

【図17a】デコーダタイプの生成ネットワークを示す模式図である。

【図17b】プリフィックス言語モデルタイプの生成ネットワークを示す模式図である。

【図17c】エンコーダデコーダタイプの生成ネットワークを示す模式図である。

【図18a】デコード戦略がビームサーチである場合の模式図である。

【図18b】デコード戦略がサンプリングサーチである場合の模式図である。

【図19】ディープラーニングフレームワークの理解と生成モデルの組合せ最適化の流れを示す模式図である。

【図20a】変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ演算子の融合の流れを示す模式図である。

【図20b】変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ演算子の融合の流れを示す模式図である。

【図20c】変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ演算子の融合の流れを示す模式図である。

【図21a】フレームワーク別テキスト処理性能の比較の例を示す図である。

【図21b】トレーニング速度の向上の例を示す図である。

【図21c】推理速度の向上の例を示す図である。

【図21d】変換エンコード速度の比較の例を示す図である。

【図22】本開示の実施例を実施するための例示的な電子デバイスの概略ブロック図である。

【発明を実施するための形態】

【0012】

添付図面は、本方案をより良く理解するためのものであり、本開示を限定するものではない。

【0013】

以下では、本開示の例示的な実施例を、理解を容易にするために本開示の実施例の様々な詳細を含む添付の図面に関連して説明するが、これらは単に例示的なものであると考えるべきである。したがって、当業者は、本開示の範囲及び精神を逸脱することなく、本明細書に記載された実施例に様々な変更及び修正を加えることができることを認識すべきである。同様に、以下の説明では、周知の機能及び構成については、明確化及び簡明化のために説明を省略する。

【0014】

本開示の一実施例によるテキスト処理方法の流れを示す模式図である。該テキスト処理方法は、
Ｓ１０１において、テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うことと、
Ｓ１０２において、前記テキスト処理加速演算子を使用して、テキスト処理後のコンテンツに対して並列加速を行うことと、を含む。

【0015】

具体的に、第１テキストには、処理を継続する必要がある具体的な内容、例えば、１つ以上の文字列テキスト（Ｓｔｒｉｎｇ Ｔｅｘｔ）が含まれていてもよい。テキスト加速処理演算子、例えば、加速単語分割器演算子（ＦａｓｔｅｒＴｏｋｅｎｉｚｅｒＯｐｅｒａｔｏｒ）は、複数の文字列テキストに対して一連のテキスト処理を行い、各文字列テキストに対応する整数型（Ｉｎｔｅｇｅｒ）フォーマットの内容を得ることができる。そして、テキスト加速処理演算子は、テキスト処理後の整数型フォーマットの内容に対して並行加速を行うこともできる。このように、テキスト加速処理演算子を通してテキスト処理と並列加速を行うことで、テキスト処理速度を向上させることができる。

【0016】

図２は、本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。本実施例のテキスト処理方法は、上述した方法の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、Ｓ１０１において、テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うことは、
Ｓ２０１において、前記第１テキストに対応する第１テンソルを取得することと、
Ｓ２０２において、前記第１テンソルに対して分割を行って、複数の分割結果を得ることと、
Ｓ２０３において、各前記分割結果に対して識別子マッピングを行うことと、
Ｓ２０４において、マッピング結果を使用して、第２テンソルを生成することと、を含む。

【0017】

例示的に、第１テンソル演算子を通して第１テキストのテンソル表現を取得し、第１テキストを第１テンソルに変換することができる。テンソルはニューラルネットワークにおけるデータ構造の１つであり、多次元配列や行列などに類似したデータコンテナと理解することができる。第１テンソルは、文字列テンソルを含むことができ、文字列テンソルは、第１テキストにおける１つ以上の文字列テキスト（文字列と略称することができる）を含むことができる。例えば、第１テンソルには、第１テキストから分割したＮ行の文字列が含まれていてもよい。分割演算子により第１テンソルに対して分割を行うことができ、第１テンソルにおける文字列に対して分割を行うことを含むことができる。そして、マッピング演算子により分割結果をそれぞれマッピングした後、第２テンソル演算子によりマッピング結果に基づき第２テンソルを得ることができる。第２テンソルには、Ｎ行の文字列に対応するＮ行の整数型フォーマットの数値を含めることができる。本開示の実施例では、第１テンソルによりテキストに対して順序付けすることができ、処理結果の正確性を向上させるのに有利であり、テキスト処理プロセスを演算子化することによって処理速度を向上させるのに有利である。

【0018】

１つの実施形態において、Ｓ２０２において、前記第１テンソルに対して分割を行って、複数の分割結果を得ることは、
前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、
前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることと、を含む。

【0019】

例えば、分割文字演算子により第１テンソルにおけるある文字列「今日は空気がいい」を文字分割処理し、この文字列の複数の分割文字「今」、「日」、「は」、「空」、「気」、「が」、「い」、「い」を得る。

【0020】

また、分割単語演算子により第１テンソルにおける文字列「一緒に旅行に行く」を単語分割処理し、この文字列の複数の分割単語「一緒に」、「行く」、「旅行」を得る。

【0021】

本開示の実施例では、具体的に文字分割を行うのか、単語分割を行うのか、又は文字分割と単語分割の両方を行うのかは、実際の応用シーンのニーズに応じて処理することができ、これに対して限定を行わない。本開示の実施例では、第１テンソルに対して文字分割及び／又は単語分割処理を行うことにより、より多くのテキスト処理シーンに柔軟に適応することが有利である。

【0022】

１つの実施形態において、Ｓ２０３において、各前記分割結果に対して識別子マッピングを行うことは、マッピング関係に基づいて、各分割文字及び／又は分割単語を数値にマッピングすることを含む。例えば、辞書、辞典、シソーラス等を予めマッピング関係として設定し、辞書、辞典、シソーラス等において対応するそれぞれの整数型フォーマットの数値を見つけることができる。本開示の実施例では、マッピング関係により第１テンソルの各文字分割及び／又は単語分割の対応する数値を見つけることは、機械処理をより容易にし、処理速度及び精度を向上させるのに有利である。

【0023】

１つの実施形態において、Ｓ２０４において、マッピング結果を使用して、第２テンソルを生成することは、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることを含み、前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の数値を含み、Ｎは正の整数である。

【0024】

例えば、第１テンソルにＮ行の文字列が含まれている場合、上記のマッピング関係により、各文字列行の対応する数値を見つけることができ、Ｎ行の数値を得ることができる。このＮ行の数値からなる行列を第２テンソルとすることができる。本開示の実施例では、第２テンソルにより、第１テキスト変換から得られた数値に対して順序付けを行うことができ、後続の加速処理を容易にする。

【0025】

１つの実施形態において、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有する。本開示の実施例では、第１テンソルにより文字列に対して順序付けを行い、第２テンソルにより文字列変換により得られた整数型数値に対して順序付けを行い、後続の加速処理を容易にする。

【0026】

１つの実施形態において、Ｓ１０２において、前記テキスト処理加速演算子を使用して、テキスト処理後のコンテンツに対して並列加速を行うことは
Ｓ２０５において、マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うことを含む。例えば、マルチスレッド並列加速演算子により複数のスレッドを呼び出し、各スレッドが第２テンソルの一行の数値を処理できる場合に、第２テンソルの複数の行の数値を並列処理することができる。本開示の実施例では、マルチスレッドにより、テキスト処理速度を大幅に向上させることができ、高性能な文字コーデックを容易に実現することができる。一般に、同時に呼び出すことができるスレッドの数が多いほど、並列処理の速度は速くなる。

【0027】

１つの実施形態において、前記テキスト処理は、第１言語による実行から第２言語による実行に変換される。本開示の実施例では、テキスト処理を第１言語による実行から第２言語による実行に変換することで、マルチスレッド並列加速を利用することができ、異なる言語環境に柔軟に適応するのに有利であり、処理速度をさらに向上させることができる。

【0028】

１つの実施形態において、前記第１言語はインタープリタ型言語であり、前記第２言語はコンパイル型言語である。例えば、本来はインタープリタ型言語により実行していたテキスト処理のフローをコンパイル型言語による実行に変換し、コンパイル型言語がマルチスレッドを呼び出せるという特徴を利用して並列加速を実現する。具体的に、例えば、インタープリタ型言語には、Ｐｙｔｈｏｎ、Ｊａｖａ（登録商標）などを含み、コンパイル型言語には、Ｃ＋＋などを含む。インタープリタ型言語とコンパイル型言語は、上記の例以外のタイプであってもよく、ここでは限定しない。これにより、異なる言語環境に柔軟に適応し、開発の難易度を軽減し、コンパイル型言語による処理速度の向上を図ることができる。

【0029】

図３は、本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。本実施例のテキスト処理方法は、上述した方法の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該方法は、
Ｓ３０１において、自然言語理解モデルを使用して、前記テキスト処理加速演算子により加速後のコンテンツに対して、自然言語理解処理を行うことをさらに含む。本開示の実施例では、テキスト処理加速演算子を自然言語理解モデルに適用することにより、自然言語理解の処理速度を速めることができる。

【0030】

１つの実施形態において、前記自然言語理解モデルは、前記テキスト処理加速演算子と変換エンコーダ演算子とを含む。本実施例では、テキスト処理加速演算子の具体的な機能は、図１及び図２の実施例の説明を参照することができる。例えば、テキスト処理加速演算子の中のマルチスレッド並列加速演算子は、第２テンソルから数値を並列に読み取った後、変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ演算子に伝達し、変換エンコーダ演算子は受け取った数値に対して文字列エンコードを行うことができる。変換エンコーダ演算子は、多層変換エンコーダを含むことができる。本開示の実施例では、テキスト処理加速演算子及び変換エンコーダ演算子により、迅速かつ正確に自然言語理解処理を行うことができる。

【0031】

１つの実施形態において、前記変換エンコーダ演算子は、融合されたアテンションメカニズム演算子と融合されたフィードフォワード演算子とを含む。

【0032】

例えば、融合されたアテンションメカニズム演算子は、アテンションメカニズムのＯＰ数を減少することができる。具体的に、例えば、マルチヘッドアテンションメカニズムにおける汎用行列乗算（Ｇｅｎｅｒａｌ Ｍａｔｒｉｘ－ｍａｔｒｉｘ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ、ＧＥＭＭ）、オフセット加算（ｂｉａｓ ａｄｄ）、転置（ｔｒａｎｓｐｏｓｅ）などを３から１に減らし、データ再利用率を高め、融合されたアテンションメカニズム（Ｆｕｓｅｄ Ａｔｔｅｎｔｉｏｎ）演算子を得ることができる。

【0033】

また、Ｋｅｒｎｅｌｓを融合し、融合されたフィードフォワード（Ｆｕｓｅｄ Ｆｅｅｄｆｏｒｗａｒｄ）演算子、例えばＦｕｓｅｄＤｒｏｐｏｕｔＡｃｔＢｉａｓ、ＦｕｓｅｄＬｎＡｄｄＤｒｏｐｏｕｔＢｉａｓ、ＦｕｓｅｄＡｄｄＤｒｏｐｏｕｔＢｉａｓなどを得ることができる。

【0034】

本開示の実施例では、融合されたアテンションメカニズム演算子によりフレームワークスケジューリングオーバーヘッドを低減することができ、融合されたフィードフォワード演算子によりメモリへのアクセスのオーバーヘッドを低減することができる。

【0035】

１つの実施形態において、該方法は、
Ｓ３０２において、自然言語生成モデルを使用して、前記自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うこと、をさらに含む。例えば、自然言語生成モデルの変換エンコーダ演算子が自然言語理解結果を出力した後、自然言語生成モデルは、デコーダを利用して自然言語生成モデルに対してデコードや予測などの処理を行い、自然言語生成結果を得ることができる。本発明の実施例では、自然言語生成モデルにより、自然言語理解結果に基づいて生成結果を正確に予測することができる。

【0036】

１つの実施形態において、前記自然言語生成モデルは、変換デコーダ演算子とデコード戦略演算子とを含む。本開示の実施例では、自然言語生成モデルは、変換（Ｔｒａｎｓｆｏｒｍｅｒ）デコーダ演算子及びデコード戦略演算子を介して、迅速かつ正確に自然言語生成処理を行うことができる。

【0037】

１つの実施形態において、Ｓ３０２において、自然言語生成モデルを使用して、前記自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うことは、前記変換デコーダ演算子を使用して、使用された生成ネットワークタイプを識別するように、デコーダコード特性を識別することと、前記生成ネットワークタイプに対応する、予め設定されたデコード演算子を呼び出すことと、を含む。

【0038】

例えば、各種の生成ネットワークタイプに、高性能のデコード演算子を予め設定しておくことができる。ユーザがあるタイプのデコーダコードを選択した場合、変換デコーダ演算子は、該デコーダコードに基づいて、ユーザによって使用された生成ネットワークのタイプを識別することができる。その後、変換デコーダ演算子は、識別された生成ネットワークタイプに対応する、予め設定された高性能のデコード演算子を呼び出すことができる。したがって、本開示の実施例では、複数の生成ネットワークタイプをサポートすることができ、ひいてはより多くのデコード能力をサポートすることができる。

【0039】

１つの実施形態において、生成ネットワークタイプは、
デコーダＤｅｃｏｄｅｒタイプと、
プリフィックス言語モデルＰｒｅｆｉｘ ＬＭタイプと、
エンコーダデコーダＥｎｃｏｄｅｒーＤｅｃｏｄｅｒタイプと、
のうちの少なくとも１つを含む。

【0040】

例えば、Ｄｅｃｏｄｅｒタイプの生成ネットワークは、デコーダ層及びＴｒａｎｓｆｏｒｍｅｒ層などを含むことができる。また、Ｐｒｅｆｉｘ ＬＭタイプの生成ネットワークは、Ｐｒｅｆｉｘ ＬＭ層やＴｒａｎｓｆｏｒｍｅｒ層などを含むことができる。別の例として、ＥｎｃｏｄｅｒーＤｅｃｏｄｅｒタイプの生成ネットワークは、デコーダ層、Ｔｒａｎｓｆｏｒｍｅｒ層、エンコーダデコーダ層、及びエンコーダ層などを含むことができる。本開示の実施例では、より包括的な生成ネットワークタイプをサポートすることによって、より豊富なデコード能力が提供される。

【0041】

１つの実施形態において、Ｓ３０２では、自然言語理解モデルを使用して、前記自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うことは、前記デコード戦略演算子を使用して、使用されたデコードアルゴリズムを識別するように、デコード戦略特性を識別し、前記デコードアルゴリズムを使用して、第１言語で実行されるループコードを、第２言語のコードに自動的に翻訳することを含む。

【0042】

例えば、ある種のデコードアルゴリズムがユーザによって選択された場合、デコード戦略演算子は、デコード戦略特性を識別し、そしてユーザによって使用された暗号化アルゴリズムを識別し、ひいては第１言語上で実行されるループコードを第２言語のコードに自動的に翻訳することができる。上記の例を参照すると、第１言語はインタープリタ型言語であってもよく、第２言語はコンパイル型言語であってもよい。識別されたデコードアルゴリズムを用いて、インタープリタ型言語上で実行されるループコードをコンパイル型言語のコードに自動的に翻訳することができる。これにより、異る言語間のコード変換を自動的に行い、自然言語生成処理の性能を向上させ、開発の難易度を低減する効果がある。

【0043】

１つの実施形態において、前記デコードアルゴリズムは、
サーチベースのデコードアルゴリズムと、
サンプリングベースのデコードアルゴリズムと、
のうちの少なくとも１つを含む。

【0044】

例えば、サーチベースのデコードアルゴリズムは、貪欲法サーチ、ビームサーチなどを含むことができる。ここで、貪欲法サーチは、ステップごとに最も可能性の高い単語を予測し、その単語を次回の予測の入力とする。ビームサーチは、入力される文法文をエンコーダデコーダで先に用意し、最初の単語の最も可能性の高い確率値を出力し、さらに、各選択された最初の可能性のある単語に対応して、２番目の単語が何であるかを考える。

【0045】

別の例として、サンプリングベースのデコードアルゴリズムは、ランダムサンプリング、トップＫサンプリング（Ｔｏｐ―Ｋ Ｓａｍｐｌｉｎｇ）、コアサンプリング（Ｔｏｐ―Ｐ（ｎｕｃｌｅｕｓ） Ｓａｍｐｌｉｎｇ）を含むことができる。ここで、ランダムサンプリングには、言語モデルによって得られた次の単語のシソーラス全体に対する確率分布に基づいて、ランダムサンプリングを行い、次の単語が何を生成するかを決定することが含まれることができる。Ｔｏｐ―Ｋ Ｓａｍｐｌｉｎｇには、確率の最も高いＫ個の単語をとり、その後、そのＫ個の単語の確率を正規化してからサンプリングすることが含まれることができる。Ｔｏｐ―Ｐサンプリングには、現在のすべての単語の確率に対して、大きいものから順に累積し、累積した値が閾値Ｐより大きい場合に、後続の確率の小さい単語を使用せず、前の単語を再びサンプリングすることが含まれることができる。

【0046】

本開示の実施例において、異なるデコードアルゴリズムによって、より豊富な自動デコード機能をサポートし、コード変換性能を向上させることができる。

【0047】

１つの実施形態において、Ｓ３０２では、自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うことは、ディープラーニングフレームワークの即時コンパイル能力を呼び出して、前記第２言語のコードをコンパイルしてダイナミックリンクライブラリを得、前記ダイナミックリンクライブラリを前記ディープラーニングフレームワークとリンクさせることをさらに含む。

【0048】

上記の例を参照すると、第２言語はコンパイル型言語であってもよい。ディープラーニングフレームワークの即時コンパイル能力を呼び出して、該コンパイル型言語のコードを自動的にコンパイルして、動的リンクライブラリを得ることができ、さらにディープラーニングフレームワークを動的リンクライブラリとリンクさせて、高性能な変換デコーダ演算子を得ることができる。

【0049】

図４は、本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。本実施例のテキスト処理方法は、上述した方法の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該方法はさらに、以下のステップを含む。

【0050】

Ｓ４０１において、前記テキスト処理加速演算子のシソーラスを導出する。例えば、テキスト処理加速演算子のシソーラスは、テキスト処理加速演算子によって使用される各単語と数値とのマッピング関係を含むことができる。使用するテキスト処理加速演算子のシソーラスは、自然言語理解モデルごとに異なる場合があり、一部あるいは全部が同一である場合もあり、具体的に自然言語理解モデルが具体的に実現する必要がある機能に応じて決定される。本開示の実施例では、テキスト処理加速演算子のシソーラスを導出した後に繰り返し使用することができ、その後のデプロイの速度を向上させ、デプロイの難易度を減少させるのに役立つ。

【0051】

１つの実施形態において、該方法は、以下の少なくとも１つをさらに含むことができる。

【0052】

Ｓ４０２において、導出されたシソーラスを、バイナリシリアライズ形式で保存する。

【0053】

Ｓ４０３において、圧縮アルゴリズムを使用して、導出されたシソーラスを圧縮して保存する。

【0054】

シリアライズして保存することにより、シソーラスの読み込み速度を向上させ、テキスト処理速度を向上させることに有利である。圧縮して保存することにより、シソーラスが占有する保存容量を削減し、保存リソースを節約することに有利である。

【0055】

図５は、本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。本実施例のテキスト処理方法は、上述した方法の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該方法はさらに以下のステップを含む。

【0056】

Ｓ５０１において、前記テキスト処理加速演算子と変換エンコーダ演算子とを１つの演算子に統合し、自然言語理解モデル計算グラフを導出する。

【0057】

本開示の実施例では、計算グラフは有向グラフとすることができ、その中のノードは数学演算に対応することができる。計算グラフは、数式を表現し評価する方法の１つであることがある。本開示の実施例では、自然言語理解モデル計算グラフにテキスト処理加速演算子及び変換エンコーダ演算子を統合させることは、自然言語理解の速度を速め、正確な自然言語理解結果を得るのに有利である。

【0058】

図６は、本開示の他の実施例によるテキスト処理方法の流れを示す模式図である。本実施例のテキスト処理方法は、上述した方法の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、方法はさらに以下のステップを含む。

【0059】

Ｓ６０１において、デコード戦略に従って、ループデコードのフレームワーク計算グラフを生成する。

【0060】

Ｓ６０２において、前記ループデコードのフレームワーク計算グラフに変換デコーダ演算子を埋め込む。

【0061】

Ｓ６０３において、自然言語生成モデル計算グラフを導出する。

【0062】

例えば、最初に、デコード戦略に従って、ループデコードのためのフレームワーク計算グラフ（デコードフレームワーク計算グラフと略称することができる。）を生成し、該デコードフレームワーク計算グラフは主にループフローチャートを含む。そして、該デコードフレームワーク計算グラフにデコーダの計算構造を補完する。例えば、デコーダの計算構造は、デコーダコード特性を変換デコーダ演算子で識別して得られた生成ネットワーク構造を含むことができる。

【0063】

本開示の実施例では、変換デコーダ演算子をデコードフレームワーク計算グラフに埋め込むことは、自然言語生成モデル計算グラフを迅速に導出することを可能にし、後続のデプロイの困難さを低減し、デプロイの速度を向上させるのに有利である。

【0064】

１つの実施形態において、該方法は、自然言語理解モデル計算グラフと自然言語生成モデル計算グラフとが統合された計算グラフを含む、自然言語処理統合計算グラフを導出することをさらに含み、ここで、前記自然言語理解モデル計算グラフは、テキスト処理加速演算子と変換エンコーダ演算子とを含み、前記自然言語生成モデル計算グラフは、変換デコーダ演算子とデコード戦略演算子とを含む。ここで、統合された計算グラフは、自然言語理解モデル計算グラフの演算子と自然言語生成モデル計算グラフの演算子とを含むことができる。

【0065】

本開示の実施例では、統合された計算グラフを導出することにより、一体化保存を実現でき、導出方法が簡単であり、導出された計算グラフによって豊かな自然言語理解及び生成機能がサポートされることができる。

【0066】

１つの実施形態において、該方法は、自然言語理解モデル計算グラフと、自然言語生成モデル計算グラフと、統合された計算グラフと、のうちの少なくとも１つを、複数のデバイスのディープラーニングフレームワークに導入することをさらに含む。このようにすれば、一度の導出により、多くのデプロイを実現するのに有利であり、複数のデバイスの訓練・推論一体化に対する統一デプロイのニーズを満たすことができる。

【0067】

図７は、本開示の一実施例によるテキスト処理装置の構成を示す概略図である。この装置は、
テキスト処理加速演算子を使用して、第１テキストに対してテキスト処理を行うためのテキスト処理モジュール７０１と、
前記テキスト処理加速演算子を使用して、テキスト処理後のコンテンツに対して並列加速を行うための並列加速モジュール７０２と、を備える。

【0068】

本開示の実施例では、テキスト加速処理演算子によるテキスト処理及び加速により、テキスト処理速度を向上させることができる。

【0069】

図８は、本開示の他の実施例によるテキスト処理装置の構成を示す概略図である。本実施例のテキスト処理装置は、上述した装置の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、テキスト処理モジュール７０１は、
前記第１テキストに対応する第１テンソルを取得するための第１テンソルサブモジュール８０１と、
前記第１テンソルに対して分割を行って、複数の分割結果を得るための分割サブモジュール８０２と、
各前記分割結果に対して識別子マッピングを行うためのマッピングサブモジュール８０３と、
マッピング結果を使用して、第２テンソルを生成するための第２テンソルサブモジュール８０４と、を備える。

【0070】

１つの実施形態において、分割サブモジュール８０２は、具体的に、前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることとのうちの少なくとも１つを実行することに用いられる。

【0071】

１つの実施形態において、前記マッピングサブモジュール８０３は、具体的に、マッピング関係に基づいて、各分割文字及び／又は分割単語を数値にマッピングすることに用いられる。

【0072】

１つの実施形態において、前記第２テンソルサブモジュール８０４は、具体的に、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることに用いられ、ここで、前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の数値を含み、Ｎは正の整数である。

【0073】

１つの実施形態において、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有する。

【0074】

１つの実施形態において、前記並列加速モジュール７０２は、具体的に、マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うことに用いられる。

【0075】

１つの実施形態において、前記テキスト処理モジュール７０１によるテキスト処理は、第１言語による実行から第２言語による実行に変換される。

【0076】

図９は、本開示の他の実施例によるテキスト処理装置の構成を示す概略図である。本実施例のテキスト処理装置は、上述した装置の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該装置は、自然言語理解モデルを使用して、前記テキスト処理加速演算子により加速後のコンテンツに対して、自然言語理解処理を行うための自然言語理解モジュール９０１をさらに備える。

【0077】

１つの実施形態において、前記自然言語理解モデルは、前記テキスト処理加速演算子と変換エンコーダ演算子とを含む。

【0078】

１つの実施形態において、前記変換エンコーダ演算子は、融合されたアテンションメカニズム演算子と融合されたフィードフォワード演算子とを含む。

【0079】

１つの実施形態において、該装置は、自然言語生成モデルを使用して、前記自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うための自然言語生成モジュール９０２をさらに備える。

【0080】

１つの実施形態において、前記自然言語生成モデルは、変換デコーダ演算子とデコード戦略演算子とを含む。

【0081】

１つの実施形態において、自然言語生成モジュール９０２は、前記変換デコーダ演算子を使用して、使用された生成ネットワークタイプを識別するように、デコーダコード特性を識別し、前記生成ネットワークタイプに対応する、予め設定されたデコード演算子を呼び出すための変換デコードサブモジュール９０２１を備える。

【0082】

１つの実施形態において、前記生成ネットワークタイプは、
デコーダＤｅｃｏｄｅｒタイプと、
プリフィックス言語モデルＰｒｅｆｉｘ ＬＭタイプと、
エンコーダデコーダＥｎｃｏｄｅｒーＤｅｃｏｄｅｒタイプと、
のうちの少なくとも１つを含む。

【0083】

１つの実施形態において、自然言語生成モジュール９０２は、前記デコード戦略演算子を使用して、使用されたデコードアルゴリズムを識別するように、デコード戦略特性を識別し、前記デコードアルゴリズムを使用して、第１言語で実行されるループコードを、第２言語のコードに自動的に翻訳することためのデコード戦略サブモジュール９０２２を備える。

【0084】

１つの実施形態において、前記デコードアルゴリズムは、
サーチベースのデコードアルゴリズムと、
サンプリングベースのデコードアルゴリズムと、
のうちの少なくとも１つを含む。

【0085】

１つの実施形態において、自然言語生成モジュール９０２は、ディープラーニングフレームワークの即時コンパイル能力を呼び出して、前記第２言語のコードをコンパイルしてダイナミックリンクライブラリを得、前記ダイナミックリンクライブラリを前記ディープラーニングフレームワークとリンクさせるためのコンパイルサブモジュール９０２３をさらに備える。

【0086】

１つの実施形態において、第１言語はインタープリタ型言語であり、第２言語はコンパイル型言語である。

【0087】

図１０は、本開示の他の実施例によるテキスト処理装置の構成を示す概略図である。本実施例のテキスト処理装置は、上述した装置の実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該装置はさらに、テキスト処理加速演算子のシソーラスを導出するための第１導出モジュール１００１を備える。

【0088】

１つの実施形態において、該装置は、
導出されたシソーラスを、バイナリシリアライズ形式で保存することと、
圧縮アルゴリズムを使用して、導出されたシソーラスを圧縮して保存することと、
のうちの少なくとも１つに用いられる保存モジュール１００２をさらに備える。

【0089】

１つの実施形態において、該装置は、前記テキスト処理加速演算子と変換エンコーダ演算子とを１つの演算子に統合し、自然言語理解モデル計算グラフを導出するための第２導出モジュール１００３をさらに備える。

【0090】

１つの実施形態において、該装置は、デコード戦略に従って、ループデコードのフレームワーク計算グラフを生成し、前記ループデコードのフレームワーク計算グラフに変換デコーダ演算子を埋め込み、自然言語生成モデル計算グラフを導出するための第３導出モジュール１００４をさらに備える。

【0091】

１つの実施形態において、該装置は、自然言語理解モデル計算グラフと自然言語生成モデル計算グラフとが統合された計算グラフを含む、自然言語処理統合計算グラフを導出するための第４導出モジュール１００５をさらに備え、ここで、前記自然言語理解モデル計算グラフは、テキスト処理加速演算子と変換エンコーダ演算子とを含み、前記自然言語生成モデル計算グラフは、変換デコーダ演算子とデコード戦略演算子とを含む。

【0092】

１つの実施形態において、該装置は、自然言語理解モデル計算グラフと、自然言語生成モデル計算グラフと、統合された計算グラフと、のうちの少なくとも１つを、複数のデバイスのディープラーニングフレームワークに導入するためのデプロイモジュール１００６をさらに備える。

【0093】

本開示の実施例に係るテキスト処理装置の各モジュールの具体的な機能及び例は、上述したテキスト処理方法の実施例における説明を参照することができるので、ここではこれ以上言及しない。

【0094】

図１１は、本開示の一実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図ある。該システムは、第１テキストに対してテキスト処理を行い、テキスト処理後のコンテンツに対して並列加速を行うためのテキスト処理加速演算子１００１を含む。

【0095】

本開示の実施例では、テキスト加速処理演算子によるテキスト処理及び加速によって、ディープラーニングフレームワークに基づくシステムのテキスト処理速度を向上させることができる。

【0096】

図１２は、本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図である。本実施例のディープラーニングフレームワークに基づくシステムは、上述したシステムの実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、テキスト処理加速演算子１１０１は、
前記第１テキストに対応する第１テンソルを取得するための第１テンソル演算子１２０１と、
前記第１テンソルに対して分割を行って、複数の分割結果を得るための分割演算子１２０２と、
各前記分割結果に対して識別子マッピングを行うためのマッピング演算子１２０３と、
マッピング結果を使用して、第２テンソルを生成するための第２テンソル演算子１２０４と、を備える。

【0097】

１つの実施形態において、前記分割演算子１２０２は、具体的に

【0098】

前記第１テンソルに対して文字分割処理を行って、複数の分割文字を得ることと、
前記第１テンソルに対して単語分割処理を行って、複数の分割単語を得ることと、
のうちの少なくとも１つを実行するために用いられる。

【0099】

１つの実施形態において、マッピング演算子１２０３は、具体的に、マッピング関係に基づいて、各分割文字及び／又は分割単語を数値にマッピングすることに用いられる。

【0100】

１つの実施形態において、第２テンソル演算器１２０４は、具体的に、前記第１テンソルの各行の文字列のマッピング結果に基づいて、前記第２テンソルの各行の数値を得ることに用いられ、ここで、前記第１テンソルはＮ行の文字列を含み、前記第２テンソルは前記Ｎ行の文字列に対応するＮ行の数値を含み、Ｎは正の整数である。

【0101】

１つの実施形態において、前記第１テキストは文字列を含み、前記第１テンソルは文字列テンソルであり、前記第２テンソルは整数型テンソルであり、前記第２テンソルの各行の数値は前記第１テンソルの各行の文字列と対応関係を有する。

【0102】

１つの実施形態において、前記テキスト処理加速演算子１１０１は、マルチスレッドを使用して、前記第２テンソルに対して並列処理を行うためのマルチスレッド並列加速演算子１２０５をさらに備える。

【0103】

１つの実施形態において、前記第１テンソル演算子、分割演算子、マッピング演算子、及び第２テンソル演算子は、第１言語により実行され、前記マルチスレッド並列加速演算子は、第２言語により実行される。

【0104】

図１３は、本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図である。該実施例のディープラーニングフレームワークに基づくシステムは、上述したシステムの実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該システムは、前記テキスト処理加速演算子により加速後のコンテンツに対して、自然言語理解処理を行うための自然言語理解モデル１３０１をさらに備える。

【0105】

１つの実施形態において、前記自然言語理解モデルは、前記テキスト処理加速演算子１１０１及び変換エンコーダ演算子１１０２を含む。

【0106】

１つの実施形態において、前記変換エンコーダ演算子１１０２は、融合されたアテンションメカニズム演算子と融合されたフィードフォワード演算子とを含む。

【0107】

１つの実施形態において、該システムは、前記自然言語理解モデルにより処理後のコンテンツに対して、自然言語生成処理を行うための自然言語生成モデル１３０２をさらに備える。

【0108】

１つの実施形態において、前記自然言語生成モデル１３０２は、変換デコーダ演算子１３０２１とデコード戦略演算子１３０２２とを含む。

【0109】

１つの実施形態において、前記変換デコーダ演算子１３０２１は、
使用された生成ネットワークタイプを識別するように、デコーダコード特性を識別し、
前記生成ネットワークタイプに対応する、予め設定されたデコード演算子を呼び出すことに用いられる。

【0110】

１つの実施形態において、前記生成ネットワークタイプは、
デコーダＤｅｃｏｄｅｒタイプと、
プリフィックス言語モデルＰｒｅｆｉｘ ＬＭタイプと、
エンコーダデコーダＥｎｃｏｄｅｒーＤｅｃｏｄｅｒタイプと、
のうちの少なくとも１つを含む。

【0111】

１つの実施形態において、前記デコード戦略演算子１３０２２は、
使用されたデコードアルゴリズムを識別するように、デコード戦略特性を識別し、
前記デコードアルゴリズムを使用して、第１言語で実行されるループコードを、第２言語のコードに自動的に翻訳することに用いられる。

【0112】

１つの実施形態において、前記デコードアルゴリズムは、
サーチベースのデコードアルゴリズムと、
サンプリングベースのデコードアルゴリズムと、
のうちの少なくとも１つを含む。

【0113】

１つの実施形態において、該自然言語生成モデルは、ディープラーニングフレームワークの即時コンパイル能力を呼び出して、前記第２言語のコードをコンパイルしてダイナミックリンクライブラリを得、前記ダイナミックリンクライブラリを前記ディープラーニングフレームワークとリンクさせるためのコンパイル演算子１３０２３をさらに含む。

【0114】

１つの実施形態において、前記第１言語はインタープリタ型言語であり、前記第２言語はコンパイル型言語である。

【0115】

図１４は、本開示の他の実施例によるディープラーニングフレームワークに基づくシステムの構成を示す概略図である。本実施例のディープラーニングフレームワークに基づくシステムは、上述したシステムの実施例の１つ又は複数の特徴を含むことができる。１つの実施形態において、該システムは、前記テキスト処理加速演算子のシソーラスを導出するための第１導出モジュール１４０１をさらに備える。

【0116】

１つの実施形態において、該システムは、
導出されたシソーラスを、バイナリシリアライズ形式で保存することと、
圧縮アルゴリズムを使用して、導出されたシソーラスを圧縮して保存することと、
のうちの少なくとも１つを実行するための保存モジュール１４０２をさらに含む。

【0117】

１つの実施形態において、該システムは、前記テキスト処理加速演算子と変換エンコーダ演算子とを１つの演算子に統合し、自然言語理解モデル計算グラフを導出するための第２導出モジュール１４０３をさらに備える。

【0118】

１つの実施形態において、該システムは、デコード戦略に従って、ループデコードのフレームワーク計算グラフを生成し、前記ループデコードのフレームワーク計算グラフに変換デコーダ演算子を埋め込み、自然言語生成モデル計算グラフを導出するための第３導出モジュール１４０４をさらに備える。

【0119】

１つの実施形態において、該システムは、自然言語理解モデル計算グラフと自然言語生成モデル計算グラフとが統合された計算グラフを含む、自然言語処理統合計算グラフを導出するための第４導出モジュール１４０５をさらに備える。

【0120】

ここで、前記自然言語理解モデル計算グラフは、テキスト処理加速演算子と変換エンコーダ演算子とを含み、前記自然言語生成モデル計算グラフは、変換デコーダ演算子とデコード戦略演算子とを含む。

【0121】

１つの実施形態において、該システムは、自然言語理解モデル計算グラフと、自然言語生成モデル計算グラフと、統合された計算グラフと、のうちの少なくとも１つを、複数のデバイスのディープラーニングフレームワークに導入するためのデプロイモジュール１４０６をさらに備える。

【0122】

本開示の実施例のディープラーニングフレームワークに基づくシステムの各演算子及び／又はモジュールの具体的な機能及び例は、上述したテキスト処理方法の実施例における関連の説明を参照することができ、ここではこれ以上言及しない。

【0123】

現在のディープラーニングフレームワークは、ＮＬＰシーンに応用するためにモデルの事前訓練を解決する際に、訓練・推論性能には依然として改善余地が多く残されており、かつ開発体験は訓練とデプロイの際に不一致を呈し、実際の産業シーンにおいても応用とデプロイのコストを高めている。

【0124】

ＰｙＴｏｒｃｈのようなディープラーニングフレームワークはフレームワーク外でインタープリタ型言語（例えばＰｙｔｈｏｎ）を用いて処理を行い、ディープラーニングフレームワークはディープラーニングモデル、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ、ディープニューラルネットワーク）モデル、変換（Ｔｒａｎｓｆｏｒｍｅｒ）モデル、ＥＲＮＩＥ（ＰａｄｄｌｅＰａｄｄｌｅ意味理解フレームワーク）モデル、ＢＥＲＴ（ＢｉＤｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｐｒｅｓｅｎｔａｔｉｏｎ Ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ、変換からの双方向エンコーダ表現）部分の高性能計算に焦点を合わせる。しかし、インターネット企業のような産業界のシーンに対して、究極の性能とコストを追求して、モデルをオンラインでデプロイする必要がある時にコンパイル型言語（Ｃ＋＋など）を選択して使い、モデルに対してエンドツーエンドの開発を実現する。このとき、Ｃ＋＋側でテキスト処理部分のロジックを実現するが必要となる。ディープラーニングフレームワークが（ＤＮＮ／Ｔｒａｎｓｆｏｒｍｅｒ／ＢＥＲＴ／ＥＲＮＩＥ）のような事前に訓練されたモデルに対してＣ＋＋推論のみを行う場合、開発者はＰｙｔｈｏｎの複雑なテキスト処理ロジックに対してＣ＋＋バージョンのものを書き直し、厳密に位置合わせとテストを行う必要がある。モデルとアプリケーションシーンの遷移に伴い、テキスト処理の流れは大幅に変化し（例えば、テキスト分類から機械翻訳への遷移など、２つのテキスト処理ロジックはまったく異なる。）、開発コストは非常に高く、コード化などの詳細な問題が発生しやすく、オンラインデプロイ効果の誤りや不整合が発生する。例えば、ＢＥＲＴモデルを参照して学習と推論を行うテキスト処理モジュールは、Ｃ＋＋バージョンを持たず、ＴｅｎｓｏｒＦｌｏｗフレームワークと分離した純粋なＰｙｔｈｏｎバージョンの処理を用いている。

【0125】

いくつかのフレームワークは、テキスト処理（Ｔｏｋｅｎｉｚｅｒ部分）の実現ロジックが複雑で開発コストが高く、多くはインタープリタ型言語（例えば、Ｐｙｔｈｏｎ）で実現されているため、実現性能が比較的低い。また、インタープリタ型言語に限定されており、マルチスレッド並列加速が困難である。このため、本開示の実施例は、テキスト処理自動演算子のフローを提案し、フレームワーク内において事前に訓練されたモデルに対するテキスト処理演算子を提供することができ、コンパイル型言語を利用してマルチスレッド並列加速を実現することができる。

【0126】

自然言語生成モデルについて、デコード戦略の複雑さにより、多くのフレームワークはデコードのためのループをインタープリタ型言語上で行うため、大量のフレームワークスケジューリングオーバーヘッドが発生することで、ＧＰＵの利用率が低く、テキスト生成速度が遅い。このため、本開示の実施例は、ネットワーク識別の自動生成、デコード戦略識別、コンパイル型コード生成、即時コンパイルなどの加速プロセスを提案する。

【0127】

その他のフレームワークＮＬＰは、産業レベルのデプロイプロセスが煩雑でコストが比較的高い。このために、本開示の実施例は、ＮＬＰモデルに対して導出のデプロイを行い、テキスト処理演算子部分を計算グラフと融合して導出することができ、テキスト処理、自然言語理解、及び生成計算グラフの連合導出を含むプロセスを提案し、デプロイコストを低減する。

【0128】

本開示の実施例では、例えば、バイドゥＰａｄｄｌｅＰａｄｄｌｅディープラーニングフレームワークなどの、自然言語理解と生成という２つの重要な応用シーンを満たす効率的な開発、訓練、推論のセットであるディープラーニングフレームワークに依拠した方法及びシステムを提供する。本開示の実施例の態様は、テキスト分類、シーケンスラベリング、機械翻訳、テキスト生成、読解、汎用対話等の様々な自然言語処理の産業化の現場に広く適用することができる。

【0129】

本開示の実施例は、自然言語処理のディープラーニングフレームワークにおける適用特徴について、エンドツーエンドのテキスト処理演算子化、自然言語理解モデルと生成モデルとの連合加速、及び訓練と推論の一体的な配置スキームのうちの少なくとも１つを含む、以下の適用フローを提案する。

【0130】

ディープラーニングフレームワークのエンドツーエンドテキスト処理の演算子化の流れ

【0131】

ディープラーニングフレームワークの全体的にテンソル（Ｔｅｎｓｏｒ）を使用して加速できる特徴に対して、プレーンテキスト（Ｒａｗ Ｔｅｘｔ）タイプについてのテンソル表現セットを提供する。この方式は、文字列テンソルのプロトコルにより、コンパイラ技術のコード生成（Ｃｏｄｅ Ｇｅｎ）原理を組み合わせて、インタープリタ型言語（例えば、Ｐｙｔｈｏｎ）上で実現されている低性能プロセスを自動的に融合し、対応する高性能Ｃ＋＋コードを自動的に生成することができる。例えば、ＭＫＬＤＮＮなどの中央処理装置（ＣＰＵ）高性能加速ライブラリによる自動並列化は、従来の解釈型（例えばＰｙｔｈｏｎ）コードの実現速度の約１００倍に達した。例示的に、上記の低性能プロセスは、例えば、基礎単語分割モジュール、識別子（Ｉｄｅｎｔｉｆｉｅｒ、ＩＤ）マッピングモジュールなどの細粒度モジュールの機能などの複数の複雑なテキスト処理プロセスを含むことができる。

【0132】

図１５に示すように、ディープラーニングエンドツーエンドテキスト処理の演算子化プロセスであり、テキスト処理を自動で演算子化し、マルチスレッドにより並列加速することができる。例えば、テキスト処理自動演算子化では、まず文字列テンソル演算子が元の文字列テキスト（Ｓｔｒｉｎｇ Ｔｅｘｔ）を文字列テンソル（Ｓｔｒｉｎｇ Ｔｅｎｓｏｒ）に変換し、分割演算子が基礎文字分割モジュールを利用して文字列テンソルに対して文字分割を行う。そして、マッピング演算子は各文字分割結果に対してそれぞれＩＤマッピングを行い、各文字分割結果に対応する整数型数値を得て、さらに整数型テンソル演算子は元の文字列に対応する正規値を利用して整数型テンソル（Ｉｎｔｅｇｅｒ Ｔｅｎｓｏｒ）を得る。マルチスレッドにより整数型テンソルを並列処理することができる。テキスト処理自動演算子化プロセスは、上記のテキスト処理と並列加速を、例えば加速単語分割器演算子（ＦａｓｔｅｒＴｏｋｅｎｉｚｅｒ Ｏｐｅｒａｔｏｒ）によって実現することができ、インタープリタ型言語実行時に実現した基本的なテキスト処理機能を、コンパイル型言語実行時に実現するように変換し、コンパイル型言語のマルチスレッド並列処理が可能な特徴を利用して、テキスト処理速度を大幅に向上する。加速単語分割器演算子は、加速版単語分割器、加速版単語分割器、単語分割器などとも呼ぶことができる。

【0133】

自然言語理解とタスク生成自動化によるプロセスの加速

【0134】

自然言語理解モデルのタイプについて、主に変換モデルに基づくエンコーダ（Ｔｒａｎｓｆｏｒｍｅｒ Ｅｎｃｏｄｅｒ）（変換エンコーダと略してもよい）タイプである。

【0135】

図１６に示すように、変換（Ｔｒａｎｓｆｏｒｍｅｒ）エンコーダ構造の模式図である。該Ｔｒａｎｓｆｏｒｍｅｒエンコーダは、Ａｄｄ＆Ｎｏｒｍ、フィードフォワード（Ｆｅｅｄ Ｆｏｒｗａｒｄ）を含むことができ、
例示的に、自然言語生成モデルのタイプは、エンコーダタイプに応じて、以下のようなものを含むことができる。

【0136】

純粋なデコーダ（Ｄｅｃｏｄｅｒ）タイプとして、図１７ａに示すように、純粋なＤｅｃｏｄｅｒタイプの自然言語生成モデルは、変換（Ｔｒａｎｓｆｏｒｍｅｒ）層、デコーダ（Ｄｅｃｏｄｅｒ）層、及びＴｒａｎｓｆｏｒｍｅｒ層を含むことができる。純粋なＤｅｃｏｄｅｒタイプの代表的なモデル構造として、例えば生成式事前訓練（Ｇｅｒｅｒａｔｅ Ｐｒｅ―Ｔｒａｉｎｉｎｇ，ＧＰＴ）モデルがある。

【0137】

プリフィックス言語モデル（Ｐｒｅｆｉｘ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ、Ｐｒｅｆｉｘ ＬＭ）タイプとして、図１７ｂに示すように、純粋なＰｒｅｆｉｘ ＬＭタイプの自然言語生成モデルには、Ｔｒａｎｓｆｏｒｍｅｒ層、Ｐｒｅｆｉｘ ＬＭ層、及びＴｒａｎｓｆｏｒｍｅｒ層を含むことができる。Ｐｒｅｆｉｘ ＬＭタイプの代表的なモデルとして、統一言語モデル（Ｕｎｉｆｉｅｄ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌ，ＵｎｉＬＭ）、ＰＬＡＴＯモデル（汎用ドメイン対話生成事前訓練モデルの一種）がある。

【0138】

エンコーダデコーダ（Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ）タイプとして、図１７ｃに示すように、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒタイプの自然言語生成モデルは、Ｔｒａｎｓｆｏｒｍｅｒ層、Ｄｅｃｏｄｅｒ層、Ｔｒａｎｓｆｏｒｍｅｒ層、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ層、Ｔｒａｎｓｆｏｒｍｅｒ層、Ｅｎｃｏｄｅｒ－Ｄｅｃｏｄｅｒ層、Ｔｒａｎｓｆｏｒｍｅｒ層、Ｅｎｃｏｄｅｒ層、Ｅｎｃｏｄｅｒ層、Ｅｎｃｏｄｅｒ層、及びＴｒａｎｓｆｏｒｍｅｒ層を含むことができる。Ｅｎｃｏｄｅｒ―Ｄｅｃｏｄｅｒタイプの代表的なモデルには、ＢＡＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ａｎｄ Ａｕｔｏ―Ｒｅｇｒｅｓｓｉｖｅ Ｔｒａｎｓｆｏｒｍｅｒｓ）モデルなどがある。

【0139】

例示的に、生成されたデコード戦略は、以下のタイプを含むことができる。

【0140】

サーチベースの デコードアルゴリズムは、例えば、ビームサーチ（Ｂｅａｍ Ｓｅａｒｃｈ）、貪欲法サーチ（Ｇｒｅｅｄｙ Ｓｅａｒｃｈ）、多様同胞サーチ（Ｄｉｖｅｒｓｅ Ｓｉｂｌｉｎｇ Ｓｅａｒｃｈ）などである。図１８ａに示すように、ビームサーチの一例である。入力された文法文は、最初にエンコーダデコーダを用いて与えられ、最初の単語の最も可能性の高い確率値、例えば、単語１から単語２までの確率は０．４、単語３までの確率は０．５、単語４までの確率は０．１である。次に、選択された第１可能性のある単語ごとに、第２単語が何であるかを考慮する。例えば、単語２から単語５への確率は０．０５、単語６への確率は０．０５、単語７への確率は０．９である、単語３から単語８への確率は０．４、単語９への確率は０．４、単語１０への確率は０．３、単語４から単語１１への確率は０．３、単語１２への確率は０．５、単語１３への確率は０．２である。

【0141】

サンプルに基づくデコードモジュール、例えば、トップＫサンプル（Ｔｏｐ―Ｋ Ｓａｍｐｌｉｎｇ）、コアサンプル（Ｔｏｐ―Ｐ Ｓａｍｐｌｉｎｇ）など。図１８（ｂ）に示すように、サンプリングサーチの一例である。

【0142】

本開示の実施例では、図１９に示されるように、自然言語理解モデル（理解モジュールと略称される）と自然言語生成モデル（生成モジュールと略称される）との両方を統合的に加速するためのプロセスが提供され、該プロセスは、以下の部分を含むことができる。

【0143】

１．図１９に示すように、理解モデルＴｒａｎｓｆｏｒｍｅｒエンコーダに対する加速最適化は、以下のステップを含むことができる。

【0144】

Ｓ１１において、オリジナルテキスト、例えば文字列（Ｓｔｒｉｎｇ Ｔｅｘｔ）入力に対して、フレームワークは、高速版分割演算子（ＦａｓｔｅｒＴｏｋｅｎｉｚｅｒ Ｏｐｅｒａｔｏｒ）を自動挿入してオリジナルテキストを高性能に処理することができる。

【0145】

Ｓ１２において、マルチレイヤＴｒａｎｓｆｏｒｍｅｒエンコーダを呼び出して文字列をエンコードする。

【0146】

例示的に、理解モデル内のエンコーダに対する最適化は、アテンションメカニズム融合及びフィードフォワード融合を含むことができる。

【0147】

（１）フレームワークスケジューリングのオーバーヘッドを低減するため、符号化プロセス中にマルチヘッドアテンションメカニズムに対して融合最適化を行うことができる。例えば、演算子の数を１／３に減らすことができ、図２０ａ、図２０ｂ、図２０ｃに示すように、マルチヘッドアテンションメカニズムにおけるＧＥＭＭ、オフセット加算（ｂｉａｓ ａｄｄ）、転置（ｔｒａｎｓｐｏｓｅ）などを３から１に減らし、データ再利用率を高め、融合アテンションメカニズム（Ｆｕｓｅｄ Ａｔｔｅｎｔｉｏｎ）演算子を得ることができる。

【0148】

（２）Ｆｅｅｄｆｏｒｗａｒｄ層を融合最適化する。例えば、図２０ｃに示すように、従来の３つのＧＰＵのカーネル（Ｋｅｒｎｅｌ）演算子を１つに融合すると、例えば、融合した演算子はＦｕｓｅｄＤｒｏｐｏｕｔＡｃｔＢｉａｓ、ＦｕｓｅｄＬｎＡｄｄＤｒｏｐｏｕｔＢｉａｓ、ＦｕｓｅｄＡｄｄＤｒｏｐｏｕｔＢｉａｓなどを含むことができ、融合したフィードフォワード（Ｆｕｓｅｄ Ｆｅｅｄｆｏｒｗａｒｄ）演算子が得られる。例えば、８ ｌｏａｄ／ｓｔｏｒｅから４ ｌｏａｄ／ｓｔｏｒｅへと、２倍のアクセス動作オーバーヘッドを大幅に削減することができる。

【0149】

２．生成モデルにおけるＴｒａｎｓｆｏｒｍｅｒデコーダの加速最適化。図２０ａ、２０ｂ及び２０ｃも参照する。例えば、加速最適化プロセスは、以下のステップを含むことができる。

【0150】

Ｓ２１において、生成ネットワークタイプを識別し、閾値デコード演算子を呼び出す。具体的には、多層Ｔｒａｎｓｆｏｒｍｅｒデコーダ演算子は、ユーザデコーダコード特性を識別し、生成ネットワークタイプを分類することができ、例えば、図１７ａ、図１７ｂ及び図１７ｃに示されるタイプに応じて、ユーザデコーダコード特性は、これら３つのタイプの生成ネットワークのうちのいずれかのタイプとして識別される可能性がある。次に、識別された生成ネットワークに対応する予め設定された高性能デコード演算子を自動的に起動して計算することができる。

【0151】

Ｓ２２において、デコード戦略を認識し、コンパイル型言語を自動生成する。具体的に、デコード戦略演算子は、ユーザデコード戦略特性を識別し、ユーザデコード戦略がサーチベースの アルゴリズムか、又はサンプリングベースのアルゴリズムかを決定することができる。サーチベースのアルゴリズムとサンプリングベースのアルゴリズムとの違いに対して、インタープリタ型言語上のループコードを、コンパイル型言語のコードに自動翻訳して性能を向上させることができる。

【0152】

Ｓ２３において、フレームワークが自動的に即時コンパイルし、演算子を自動生成してリンクする。例えば、ＰａｄｄｌｅＰａｄｄｌｅフレームワークのようなディープラーニングフレームワークの即時コンパイル（Ｊｕｓｔ Ｉｎ－ｔｉｍｅ Ｃｏｍｐｉｌｅｒ）能力を呼び出して、高速にダイナミックリンクライブラリを得て、リンクによって高性能なデコーダ演算子を得る。

【0153】

プロセスは、テキストの生成が終了するまで、Ｎ回繰り返される。

【0154】

三．理解モデルと生成モデルの訓練・推論一体化のデプロイ方案の流れは、次の部分を含むことができる。

【0155】

第１部は、理解モデルの導出であり、以下のステップを含むことができる。Ｓ１．１において、まず、単語分割器にあるシソーラスを導出し、バイナリシリアライズ形式で保存する必要がある。（選択可能な）Ｓ１．２において、シソーラスのテキスト特性に対して一連の圧縮アルゴリズムを用いてシソーラスファイルの保存を減少させることも可能である。Ｓ１．３において、単語分割器と多層Ｔｒａｎｓｆｏｒｍｅｒエンコーダを１つの演算子に統合し、全体の理解モデル計算グラフとして導出する。

【0156】

第２部は、生成モデルの導出であり、以下のステップを含むことができる。Ｓ２．１において、まずデコード戦略に基づいて、ループデコードのフレームワーク計算グラフ（ループフレームワーク計算グラフと略称してもよい）を生成する。Ｓ２．２において、多層Ｔｒａｎｓｆｏｒｍｅｒデコーダの演算子をデコード戦略ループであるループフレームワーク計算グラフに埋め込む。Ｓ２．３において、生成モデル計算グラフを生成する。

【0157】

第３部は、業務ニーズに応じて計算グラフの統合を行う。自然言語理解部分のみが必要であれば、理解モデル計算グラフを用いるだけでよい。生成モデル部分の計算グラフが必要である場合に、理解モデル計算グラフと生成モデル計算グラフとを１つの計算グラフに統合することができ、複数デバイスの訓練・推論を一体的かつ統一的にデプロイするニーズを満たすことができる。

【0158】

本開示の実施例の方案は、自然言語理解の全体シーン応用の訓練モデル速度、推論速度及びデプロイコストを効果的に向上させ、訓練と推論の一体的なデプロイ体験を達成することができる。

【0159】

図２１ａに示すように、フレームワーク別テキスト処理性能を比較したグラフであるが、高速版単語分割方案（本方案）により、他のフレームワークによるテキスト処理速度を大きく上回ることができる。本方案は、例えば、Ｐａｄｄｌｅ ＦａｓｔｅｒＴｏｋｅｎｉｚｅｒであってもよい。比較方案１はＨｕｇｇｉｎｇＦａｃｅ Ｔｏｋｅｎｉｚｅｒｓ（Ｒｕｓｔ）であり、比較方案２はＨｕｇｇｉｎｇＦａｃｅ Ｔｏｋｅｎｉｚｅｒｓ（Ｐｙｔｈｏｎ）であり、比較方案３はＴｅｎｓｏｒＦｌｏｗ Ｔｅｘｔである。

【0160】

本方案のモデルフォワード計算はオリジナルテキストの入力をサポートし、テキスト処理とモデル計算はグラフ全体の導出をサポートする。本方案の訓練速度と推論速度とは、従来の方式に比べて、２００％以上加速でき、推論速度は１６０％向上しており、図２１ｂと図２１ｃに示すように記録されている。

【0161】

同時デプロイのコストは非訓練・推論一体化バージョンに比べ、コード量を９４％削減できる。例えば、Ｃ＋＋デプロイコードは８００行以上から４８行に削減される。

【0162】

図２１ｄを参照すると、機械翻訳のような生成タスクは、本方案による生成モデルと理解モデルを融合して最適化する戦略を用いた場合、加速比が同種のフレームワーク、例えばＰｙＴｏｒｃｈのネイティブな実現に比べて最大１０倍以上向上していることが分かる。

【0163】

本開示の実施例は、ディープラーニングフレームワークを中心とした自然言語理解及び自然言語生成の全体応用シーンにおける全体流れの開発パラダイムを提案し、モデル訓練と推論の性能を大幅に向上させ、デプロイコストを削減することができる。ディープラーニングテンソル化計算の特性を生かし、インタープリタ型言語のテキスト処理流れに対してコンパイル型言語を自動生成し、並行加速の能力をテンソル化する。自然言語理解と生成の計算グラフの演算子は融合して最適化し、フレームワークのスケジューリングとアクセスメモリのオーバーヘッドを低減させ、性能を大幅に向上させる。テキスト処理、自然言語理解、自然言語生成の計算グラフを共同で導出し、全体流れを一体化して保存し、１回の導出で複数箇所にデプロイする、訓練と推論が一体となった特色のある開発体験を形成し、デプロイコストを削減する。

【0164】

本開示の技術方案において、関連するユーザの個人情報の取得、保存及び応用等は、いずれも関連法律法規の規定に合致しており、公序良俗に反するものではない。

【0165】

本開示の実施例によれば、本開示は、電子デバイス、読取可能記憶媒体及びコンピュータプログラム製品をさらに提供する。

【0166】

図２２は、本開示の実施例を実現するための例示的電子デバイス２２００のブロック図である。電子デバイスは、各形式のデジタルコンピュータを指し、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適合するコンピュータが挙げられる。電子デバイスは、各形式の移動装置をさらに指し、例えば、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス、及びその他の類似のコンピュータ装置が挙げられる。本開示に記載されているコンポーネント、それらの接続関係、及び機能は例示的なものに過ぎず、本開示に記載・特定されているものの実現を限定するわけではない。

【0167】

図２２に示すように、電子デバイス２２００は、リードオンリーメモリ（ＲＯＭ）２２０２に記憶されたコンピュータプログラム命令、又は記憶ユニット２２０８からランダムアクセスメモリ（ＲＡＭ）２２０３にローディングされたコンピュータプログラム命令に基づいて、各種の適切な動作と処理を実行できる計算ユニット２２０１を含む。ＲＡＭ２２０３には、デバイス２２００の動作に必要な各種のプログラム及びデータをさらに記憶することができる。計算ユニット２２０１と、ＲＯＭ２２０２と、ＲＡＭ２２０３とは、バス２２０４を介して互いに接続されている。入力／出力（Ｉ／Ｏ）インタフェース２２０５もバス２２０４に接続されている。

【0168】

電子デバイス２２００における複数のコンポーネントは、Ｉ／Ｏインタフェース２２０５に接続されており、その複数のコンポーネントは、キーボードやマウスなどの入力ユニット２２０６と、種々なディスプレイやスピーカなどの出力ユニット２２０７と、磁気ディスクや光学ディスクなどの記憶ユニット２２０８と、ネットワークカード、モデム、無線通信トランシーバーなどの通信ユニット２２０９と、を備える。通信ユニット２２０９は、デバイス２２００がインターネットのようなコンピュータネット及び／又は種々なキャリアネットワークを介して他の機器と情報／データを交換することを許可する。

【0169】

計算ユニット２２０１は、処理及び計算能力を有する様々な汎用及び／又は専用の処理コンポーネントであってもよい。計算ユニット２２０１のいくつかの例としては、中央処理装置（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、様々な専用の人工知能（ＡＩ）計算チップ、様々な機械学習モデルアルゴリズムを実行する計算ユニット、デジタル信号プロセッサ（ＤＳＰ）、及び任意の適切なプロセッサ、コントローラ、マイクロコントローラなどを備えるが、これらに限定されない。計算ユニット２２０１は、上述で説明された各方法及び処理を実行する。例えば、いくつかの実施例では、上述で説明された各方法を、記憶ユニット２２０８のような機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウエアプログラムとして実現することができる。一部の実施例では、コンピュータプログラムの一部又は全ては、ＲＯＭ２２０２及び／又は通信ユニット２２０９を介して、電子デバイス２２００にロード及び／又はインストールすることができる。コンピュータプログラムがＲＡＭ２２０３にロードされて計算ユニット２２０１によって実行される場合に、上述で説明された各方法の一つ又は複数のステップを実行することができる。追加可能に、他の実施例では、計算ユニット２２０１は、他の任意の適当な方式（例えば、ファームウェア）により上述で説明された各方法を実行するように構成することができる。

【0170】

ここで記載されているシステム又は技術の各種の実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラマブルロジックデバイス（ＣＰＬＤ）、コンピュータのハードウェア、ファームウェア、ソフトウェア、及び／又はこれらの組み合わせによって実現することができる。これらの各実施形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにて実行及び／又は解釈される１つ又は複数のコンピュータプログラムにより実行することを含み得、該プログラマブルプロセッサは、ストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスからデータ及び命令を受け取り、データ及び命令を該ストレージシステム、該少なくとも１つの入力デバイス、及び該少なくとも１つの出力デバイスに転送することができる専用又は汎用のプログラマブルプロセッサであってもよい。

【0171】

本開示の方法を実行するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせで作成することができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラミングデータ処理装置のプロセッサ又はコントローラに提供されることにより、プログラムコードがプロセッサ又はコントローラによって実行される場合に、フローチャート及び／又はブロック図に規定された機能／動作を実行することができる。プログラムコードは、完全にマシンで実行されてもよいし、部分的にマシンで実行されてもよいし、独立したソフトパッケージとして部分的にマシンで実行されるとともに部分的にリモートマシンで実行されてもよし、又は完全にリモートマシン又はサーバで実行されてもよい。

【0172】

本開示の説明において、機械読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又は機器によって、又は命令実行システム、装置又は機器と合わせて使用されるプログラムを含み、又は記憶する。機械読み取り可能な媒体は、機械読み取り可能な信号媒体又は機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、又は前述した内容の任意の適切な組み合わせを含むことができるがこれらに限定されない。機械読み取り可能な記憶媒体のさらなる具体例として、１つ又は複数の配線による電気的接続、ポータブルコンピュータディスクカートリッジ、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＭＯ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＭＯ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＭＯ）、光学記憶装置、磁気記憶装置、又は前述した内容の任意の組み合わせを含む。

【0173】

ユーザとのインタラクションを提供するために、コンピュータでここで記載されているシステム及び技術を実施することができ、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニターなど）、ユーザが入力をコンピュータに提供するためのキーボード及びポインティングデバイス（例えば、マウス又はトラックボールなど）を備えるができる。ユーザとのインタラクションを提供するために、他の種類の装置を使用することもでき、例えば、ユーザに提供するフィードバックは、いかなる形式のセンサーフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックなど）であってもよく、また、いかなる形式（例えば、音響入力、音声入力、触覚入力など）によって、ユーザからの入力を受付取るができる。

【0174】

ここに記載されているシステムと技術を、バックグラウンド部品に含まれる計算システム（例えば、データサーバとして）、又はミドルウェア部品を含む計算システム（例えば、アプリケーションサーバ）、又はフロント部品を含む計算システム（例えば、ＧＵＩ又はネットワークブラウザを有するユーザコンピュータが挙げられ、ユーザがＧＵＩ又は該ネットワークブラウザによって、ここに記載されているシステムと技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロント部品のいかなる組合した計算システムで実施することができる。如何なる形式又はメディアのデジタルデータ通信（例えば、通信ネットワーク）を介して、システムの部品を互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。

【0175】

コンピュータシステムは、クライアント端末とサーバを含み得る。通常、クライアント端末とサーバは、互いに離れており、通信ネットワークを介してインタラクションを行うことが一般的である。対応するコンピュータで動作することで、クライアント端末－サーバの関係を有するコンピュータプログラムによってクライアント端末とサーバの関係を生み出す。

【0176】

上記の様々な態様のフローを用いて、ステップを新たに順序付け、追加、又は削除することが可能であることを理解すべきである。例えば、本開示で記載された各ステップは、並列に実行しても良いし、順次に実行しても良いし、異なる順序で実行しても良い。本開示で開示された技術案が所望する結果を実現することができる限り、本開示ではこれに限定されない。

【0177】

上記具体的な実施形態は、本開示の保護範囲に対する限定を構成するものではない。当業者は、設計事項やその他の要因によって、様々な修正、組み合わせ、サブ組み合わせ、及び代替が可能であることを理解するべきである。本開示の要旨及び原理原則内における変更、均等な置換及び改善等は、いずれも本開示の保護範囲に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17a】

【図17b】

【図17c】

【図18a】

【図18b】

【図19】

【図20a】

【図20b】

【図20c】

【図21a】

【図21b】

【図21c】

【図21d】

【図22】