特開 2024-172450 機械学習方法、機械学習プログラムおよび情報処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024172450

(43)【公開日】2024-12-12

(54)【発明の名称】機械学習方法、機械学習プログラムおよび情報処理装置

(51)【国際特許分類】

   G06F 40/216 20200101AFI20241205BHJP

【ＦＩ】

G06F40/216

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023090178

(22)【出願日】2023-05-31

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002918

【氏名又は名称】弁理士法人扶桑国際特許事務所

(72)【発明者】

【氏名】ダン タン デュイ

(57)【要約】

【課題】自然言語処理モデルの訓練時間を削減する。
【解決手段】情報処理装置１０は、複数の単語それぞれを表す文字列と複数の単語それぞれを識別する符号とを対応付けた単語辞書データ１３を取得する。情報処理装置１０は、単語辞書データ１３に基づいて、テキストデータ１４に含まれる単語を符号化することで、テキストデータ１４を符号化テキストデータ１５に変換する。情報処理装置１０は、単語辞書データ１３と符号化テキストデータ１５とに基づいて、機械学習モデル１６に含まれるパラメータを初期化する。情報処理装置１０は、初期化後に機械学習モデル１６から単語辞書データ１３を切り離した状態で、符号化テキストデータ１５に基づいて機械学習モデル１６を訓練する学習処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

自然言語で用いられる複数の単語それぞれを表す文字列と前記複数の単語それぞれを識別する符号とを対応付けた単語辞書データを取得し、
前記単語辞書データに基づいて、前記自然言語で記載されたテキストデータに含まれる単語を符号化することで、前記テキストデータを符号化テキストデータに変換し、
前記単語辞書データと前記符号化テキストデータとに基づいて、機械学習モデルに含まれるパラメータを初期化し、
初期化後に前記機械学習モデルから前記単語辞書データを切り離した状態で、前記符号化テキストデータに基づいて前記機械学習モデルを訓練する学習処理を実行する、
処理をコンピュータが実行する機械学習方法。

【請求項2】

前記学習処理の後に前記機械学習モデルに入力データを入力することで、前記複数の単語のうちの少なくとも１つの単語の前記符号を含む予測結果データを取得し、前記単語辞書データに基づいて、前記予測結果データに含まれる前記符号を前記少なくとも１つの単語を表す前記文字列に変換する処理を、前記コンピュータに更に実行させる、
請求項１記載の機械学習方法。

【請求項3】

前記初期化する処理は、前記機械学習モデルに、前記複数の単語それぞれに割り当てられる分散表現ベクトルと前記符号とを対応付けた分散表現データを設定する処理を含み、
前記機械学習モデルは、前記符号化テキストデータに含まれる前記符号を前記分散表現ベクトルに変換する埋め込み層を含む、
請求項１記載の機械学習方法。

【請求項4】

自然言語で用いられる複数の単語それぞれを表す文字列と前記複数の単語それぞれを識別する符号とを対応付けた単語辞書データを取得し、
前記単語辞書データに基づいて、前記自然言語で記載されたテキストデータに含まれる単語を符号化することで、前記テキストデータを符号化テキストデータに変換し、
前記単語辞書データと前記符号化テキストデータとに基づいて、機械学習モデルに含まれるパラメータを初期化し、
初期化後に前記機械学習モデルから前記単語辞書データを切り離した状態で、前記符号化テキストデータに基づいて前記機械学習モデルを訓練する学習処理を実行する、
処理をコンピュータに実行させる機械学習プログラム。

【請求項5】

自然言語で用いられる複数の単語それぞれを表す文字列と前記複数の単語それぞれを識別する符号とを対応付けた単語辞書データと、前記自然言語で記載されたテキストデータとを記憶する記憶部と、
前記単語辞書データに基づいて、前記テキストデータに含まれる単語を符号化することで、前記テキストデータを符号化テキストデータに変換し、前記単語辞書データと前記符号化テキストデータとに基づいて、機械学習モデルに含まれるパラメータを初期化し、初期化後に前記機械学習モデルから前記単語辞書データを切り離した状態で、前記符号化テキストデータに基づいて前記機械学習モデルを訓練する学習処理を実行する処理部と、
を有する情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は機械学習方法、機械学習プログラムおよび情報処理装置に関する。

【背景技術】

【0002】

コンピュータは、自然言語で記載されたテキストデータを処理する自然言語処理モデルを用いて、機械翻訳や質問応答などの自然言語処理タスクを実行することがある。コンピュータは、訓練データとして与えられたサンプルテキストを用いて、機械学習によって自然言語処理モデルを生成することがある。

【0003】

自然言語処理モデルは、ニューラルネットワークであることがある。また、自然言語処理モデルは、入力データに含まれる単語を、複数次元の数値で表された分散表現ベクトルに変換することがあり、分散表現ベクトルから特徴量を算出することがある。通常、自然言語処理モデルは、ターゲットとする自然言語の語彙を表す単語辞書データに依存する。

【0004】

なお、目的言語のテキストを逆翻訳することで疑似対訳コーパスを生成し、少量かつ高精度の基本対訳コーパスと生成された疑似対訳コーパスの両方を用いて機械翻訳モデルを訓練する機械翻訳装置が提案されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－１５３０２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

自然言語の語彙は多数の単語を含むため、単語の文字列表現を含む単語辞書データはデータサイズが大きい。そのため、単語辞書データが組み込まれた自然言語処理モデルをそのまま訓練すると、機械学習の負荷が高く、訓練時間が長くなることがある。そこで、１つの側面では、本発明は、自然言語処理モデルの訓練時間を削減することを目的とする。

【課題を解決するための手段】

【0007】

１つの態様では、以下の処理をコンピュータが実行する機械学習方法が提供される。自然言語で用いられる複数の単語それぞれを表す文字列と複数の単語それぞれを識別する符号とを対応付けた単語辞書データを取得する。単語辞書データに基づいて、自然言語で記載されたテキストデータに含まれる単語を符号化することで、テキストデータを符号化テキストデータに変換する。単語辞書データと符号化テキストデータとに基づいて、機械学習モデルに含まれるパラメータを初期化する。初期化後に機械学習モデルから単語辞書データを切り離した状態で、符号化テキストデータに基づいて機械学習モデルを訓練する学習処理を実行する。

【0008】

また、１つの態様では、コンピュータに実行させる機械学習プログラムが提供される。また、１つの態様では、記憶部と処理部とを有する情報処理装置が提供される。

【発明の効果】

【0009】

１つの側面では、自然言語処理モデルの訓練時間が削減される。

【図面の簡単な説明】

【0010】

【図1】第１の実施の形態の情報処理装置を説明するための図である。

【図2】第２の実施の形態の情報処理装置のハードウェア例を示す図である。

【図3】自然言語処理モデルの構造例を示す図である。

【図4】テキストと符号化テキストの例を示す図である。

【図5】単語辞書と埋め込み辞書の例を示す図である。

【図6】単語辞書を用いた予測結果の変換例を示す図である。

【図7】訓練時間と予測精度の例を示すグラフである。

【図8】情報処理装置の機能例を示すブロック図である。

【図9】機械学習の手順例を示すフローチャートである。

【発明を実施するための形態】

【0011】

以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。

【0012】

図１は、第１の実施の形態の情報処理装置を説明するための図である。
第１の実施の形態の情報処理装置１０は、機械学習によって自然言語処理モデルを訓練する。情報処理装置１０は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１０が、コンピュータ、機械学習装置または自然言語処理装置と呼ばれてもよい。

【0013】

情報処理装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよい。また、記憶部１１は、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。

【0014】

処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２が、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの電子回路を含んでもよい。プロセッサは、例えば、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。プロセッサの集合が、マルチプロセッサまたは単に「プロセッサ」と呼ばれてもよい。

【0015】

記憶部１１は、単語辞書データ１３およびテキストデータ１４を記憶する。単語辞書データ１３は、自然言語で用いられる複数の単語それぞれを表す文字列と、それら複数の単語それぞれを識別する符号とを対応付ける。符号は、例えば、非負整数である。単語辞書データ１３は、複数の単語を単純に並べた配列でもよい。その場合、符号は、それら複数の単語の順序を示すインデックスであってもよい。インデックスは、ある単語が単語辞書データ１３の中で先頭から何番目の単語であるかを示す。

【0016】

単語辞書データ１３は、単一の自然言語で用いられる単語を列挙した単言語辞書データであってもよいし、複数の自然言語で用いられる単語を列挙した多言語辞書データでもよい。情報処理装置１０は、既存の単語辞書データ１３を情報処理装置１０の外部から取得してもよい。また、情報処理装置１０は、テキストデータ１４または他のテキストデータから単語を抽出することで、単語辞書データ１３を生成してもよい。通常、単語辞書データ１３は、多数の単語が登録された大サイズの辞書データである。

【0017】

テキストデータ１４は、自然言語で記載された１以上の文を含む。テキストデータ１４では、単語辞書データ１３に含まれる単語が用いられる。テキストデータ１４では、単語が文字列として記載されている。テキストデータ１４は、異なる自然言語で記載された複数の文を含んでもよい。テキストデータ１４は、機械学習モデル１６を訓練する機械学習において訓練データとして用いられる。機械学習モデル１６の訓練方法に応じて、テキストデータ１４はラベルを含まなくてもよいし、ラベルを含んでもよい。ラベルは、機械学習モデル１６の出力の正解を示す。ラベルは、ある単語が属するクラスを示すことがあり、ある文に対応する訳文または応答文を示すことがある。

【0018】

処理部１２は、単語辞書データ１３およびテキストデータ１４を用いて機械学習モデル１６を訓練する。このとき、処理部１２は、単語辞書データ１３に基づいて、テキストデータ１４に含まれる単語を符号化する。例えば、処理部１２は、テキストデータ１４に含まれる文を複数のトークンに分割する。各トークンは、単語を表す文字列を含む。処理部１２は、トークンが表す文字列に対応付けられた符号を単語辞書データ１３から検索し、当該トークンの文字列を符号に置換する。

【0019】

これにより、処理部１２は、テキストデータ１４を符号化テキストデータ１５に変換する。符号化テキストデータ１５は、符号の列を含む。例えば、符号化テキストデータ１５は、非負整数の列を含むバイナリデータである。

【0020】

また、処理部１２は、単語辞書データ１３と符号化テキストデータ１５とに基づいて、機械学習モデル１６に含まれるパラメータを初期化する。機械学習モデル１６は、自然言語で記載されたテキストデータを処理する自然言語処理モデルである。機械学習モデル１６は、例えば、ニューラルネットワークである。機械学習モデル１６は、トランスフォーマエンコーダと呼ばれるニューラルネットワークを含んでもよく、ＢＥＲＴ（Bidirectional Encoder Representations from Transformers）であってもよい。

【0021】

機械学習モデル１６は、入力された符号化テキストデータに含まれる符号を分散表現ベクトルに変換する埋め込み層を含んでもよい。分散表現ベクトルは、一定次元数（例えば、５１２次元）の数値を並べた数値ベクトルである。通常、意味が類似する単語には、類似する分散表現ベクトルが割り当てられる。埋め込み層は、ニューラルネットワークに含まれる重みを用いて、符号から分散表現ベクトルを算出してもよい。また、埋め込み層は、ルックアップテーブルから、符号に対応する分散表現ベクトルを検索してもよい。ルックアップテーブルは、符号と分散表現ベクトルとを対応付けた分散表現辞書データである。ある符号に対応付けられる分散表現ベクトルは、単語辞書データ１３において当該符号に対応付けられた単語の分散表現である。

【0022】

また、機械学習モデル１６は、自己アテンション層やフィードフォワード層などのニューラルネットワークを含んでもよい。これらの層は、分散表現ベクトルを他の特徴ベクトルに変換する。特徴ベクトルは、一定次元数の数値を並べた数値ベクトルである。この特徴ベクトルが、隠れ状態ベクトルと呼ばれてもよい。

【0023】

また、機械学習モデル１６は、特徴ベクトルから単語を予測する予測層を含んでもよい。例えば、予測層は、特徴ベクトルと分散表現辞書データとから、複数の単語それぞれの予測確率を示す確率分布を算出する。予測層は、特徴ベクトルと分散表現辞書データに相当する行列との間の積を算出することで、確率分布を求めてもよい。例えば、予測層は、確率分布の中で予測確率が最も高い単語を、出力すべき単語と判定する。

【0024】

機械学習モデル１６の初期化では、例えば、処理部１２は、単語辞書データ１３のサイズおよびテキストデータ１４のサイズに合わせて、機械学習モデル１６のパラメータを初期化する。埋め込み層は、単語辞書データ１３に含まれる単語の数に応じた入力サイズのニューラルネットワークを使用することがあり、単語辞書データ１３と同じ個数のレコードを含む分散表現辞書データを使用することがある。また、予測層は、分散表現辞書データに相当する行列を使用することがあり、単語辞書データ１３に含まれる単語それぞれの予測確率を含む確率分布を算出することがある。よって、機械学習モデル１６のパラメータは、単語辞書データ１３に含まれる単語の数に依存することがある。

【0025】

また、機械学習モデル１６の各層に入力される入力データを表すテンソルは、特徴ベクトルの次元数と、１回に入力されるトークンの最大個数とに応じたサイズをもつことがある。よって、機械学習モデル１６のパラメータは、符号化テキストデータ１５に含まれるバッチ１回分の符号の数に依存することがある。

【0026】

なお、処理部１２は、符号を分散表現ベクトルに変換する埋め込み層を、後述する学習処理の中で他の層と合わせて訓練してもよい。これにより、各単語に割り当てられる分散表現ベクトルも、学習処理を通じて最適化される。その場合、処理部１２は、埋め込み層に含まれるニューラルネットワークの重みを、ランダムな数値に初期化してもよい。また、処理部１２は、ルックアップテーブルとして使用される分散表現辞書データに含まれる分散表現ベクトルを、ランダムな数値ベクトルに初期化してもよい。

【0027】

また、処理部１２は、各単語に割り当てる分散表現ベクトルを、事前に訓練された既存の言語モデルから取得してもよい。その場合、例えば、処理部１２は、単語辞書データ１３に含まれる単語の分散表現ベクトルを取得し、その単語を識別する符号と取得した分散表現ベクトルとを対応付けて分散表現辞書データに登録する。処理部１２は、後述する学習処理の中で埋め込み層を訓練しなくてもよい。ただし、処理部１２は、既存の言語モデルから取得した分散表現ベクトルを初期値として、学習処理の中で分散表現ベクトルを更新するファインチューニングを行ってもよい。

【0028】

上記の初期化は、機械学習を支援するソフトウェアモジュールである機械学習ライブラリのＡＰＩ（Application Programming Interface）を通じて行われてもよい。例えば、処理部１２は、ＡＰＩを呼び出すことで、機械学習モデル１６に単語辞書データ１３および符号化テキストデータ１５を付加（Attach）し、単語辞書データ１３および符号化テキストデータ１５を用いてパラメータを初期化させる。この場合、初期化直後は機械学習モデル１６に単語辞書データ１３が組み込まれている。

【0029】

その後、処理部１２は、符号化テキストデータ１５を訓練データとして用いて機械学習モデル１６を訓練する学習処理を実行する。例えば、処理部１２は、符号化テキストデータ１５に含まれる一部の符号をマスクし、マスク前の元の符号を機械学習モデル１６が予測するように、機械学習モデル１６のパラメータ値を更新する。符号のマスクは、例えば、当該符号を、単語に対応付けられていない無効な数値に置換することで行う。

【0030】

このとき、例えば、処理部１２は、予測層が算出した確率分布を示す予測ベクトルと正解ベクトルとの間の誤差を算出し、誤差逆伝播法によって、誤差が小さくなるようにニューラルネットワークの重みを更新する。予測ベクトルは、複数の符号の予測確率を列挙した数値ベクトルである。正解ベクトルは、マスク前の正しい符号に対応する次元の数値を１に設定し、他の次元の数値を０に設定した数値ベクトルである。

【0031】

学習処理にあたり、処理部１２は、初期化後に機械学習モデル１６から単語辞書データ１３を切り離した（Detach）状態で、学習処理を実行する。機械学習モデル１６は、パラメータが初期化された後は、符号や分散表現ベクトルを用いて一連の計算を行うことができる。また、処理部１２は、符号や分散表現ベクトルを用いて誤差計算を行うことができ、誤差逆伝播法などのパラメータ更新アルゴリズムを実行できる。

【0032】

一方、機械学習モデル１６に単語辞書データ１３が組み込まれていると、学習処理中も単語辞書データ１３に対する種々の付加的処理が実行されることがある。例えば、処理部１２は、単語辞書データ１３をメモリにロードして保持することがある。機械学習にＧＰＵを使用する場合、ＧＰＵメモリに単語辞書データ１３がロードされることがある。また、機械学習モデル１６のサイズが大きいことで、学習処理の負荷が高くなることがある。そこで、単語辞書データ１３を切り離すことで、学習処理の負荷が低下する。

【0033】

例えば、処理部１２は、初期化の後であって学習処理の開始前に、機械学習モデル１６から単語辞書データ１３を切り離す処理を行う。単語辞書データ１３の切り離しは、機械学習ライブラリのＡＰＩを通じて行われてもよい。例えば、処理部１２は、ＡＰＩを呼び出すことで、単語辞書データ１３と機械学習モデル１６との紐付けを解除する。単語辞書データ１３が切り離された状態では、例えば、学習処理の間、単語辞書データ１３のロードや単語辞書データ１３の参照処理が抑制される。

【0034】

ただし、単語辞書データ１３が切り離された状態では、機械学習モデル１６は、符号から文字列への逆変換を行わない。一方、ユーザは、機械学習モデル１６のテスト時、予測された単語を文字列で確認したいことがある。そこで、処理部１２は、学習処理の後、単語辞書データ１３を用いて予測結果を符号から文字列に変換してもよい。このとき、処理部１２は、機械学習モデル１６に単語辞書データ１３を再び組み込んでもよい。また、訓練済みの機械学習モデル１６が、単語辞書データ１３を含む状態で配布されてもよい。

【0035】

以上説明したように、第１の実施の形態の情報処理装置１０は、複数の単語それぞれを表す文字列と、それら複数の単語それぞれを識別する符号とを対応付けた単語辞書データ１３を取得する。情報処理装置１０は、単語辞書データ１３に基づいてテキストデータ１４に含まれる単語を符号化することで、テキストデータ１４を符号化テキストデータ１５に変換する。情報処理装置１０は、単語辞書データ１３と符号化テキストデータ１５とに基づいて、機械学習モデル１６に含まれるパラメータを初期化する。情報処理装置１０は、初期化後に機械学習モデル１６から単語辞書データ１３を切り離した状態で、符号化テキストデータ１５に基づいて機械学習モデル１６を訓練する学習処理を実行する。

【0036】

これにより、学習処理の間、機械学習モデル１６のサイズが小さくなり、学習処理の負荷が低下し、訓練時間が短縮される。また、機械学習モデル１６に含まれるパラメータ値の更新自体は、単語辞書データ１３を参照せずに実行可能である。よって、機械学習モデル１６を軽量化しても、機械学習モデル１６の予測精度が維持される。

【0037】

なお、情報処理装置１０は、学習処理の後に機械学習モデル１６に入力データを入力することで、ある単語の符号を含む予測結果データを取得してもよく、単語辞書データ１３に基づいて、予測結果データに含まれる符号を文字列に変換してもよい。これにより、予測された単語をユーザは文字列で確認でき、予測結果の理解容易性が向上する。

【0038】

また、情報処理装置１０は、初期化時に、機械学習モデル１６に、単語に割り当てられる分散表現ベクトルと符号とを対応付けた分散表現データを設定してもよい。また、機械学習モデル１６は、符号化テキストデータ１５に含まれる符号を分散表現ベクトルに変換する埋め込み層を含んでもよい。これにより、機械学習モデル１６は、分散表現ベクトルを用いた高精度な自然言語処理が可能となる。また、機械学習モデル１６は、単語辞書データ１３を参照しなくても、符号や分散表現ベクトルを用いて計算を行うことができる。

【0039】

［第２の実施の形態］
次に、第２の実施の形態を説明する。
第２の実施の形態の情報処理装置１００は、自然言語処理モデルを訓練する機械学習を実行する。また、情報処理装置１００は、訓練された自然言語処理モデルを用いて自然言語処理タスクを実行する。ただし、機械学習と自然言語処理タスクとが別の情報処理装置によって実行されてもよい。情報処理装置１００は、クライアント装置でもよいしサーバ装置でもよい。情報処理装置１００が、コンピュータ、機械学習装置または自然言語処理装置と呼ばれてもよい。第２の実施の形態の情報処理装置１００は、第１の実施の形態の情報処理装置１０に対応する。

【0040】

図２は、第２の実施の形態の情報処理装置のハードウェア例を示す図である。
情報処理装置１００は、バスに接続されたＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４、入力インタフェース１０５、媒体リーダ１０６および通信インタフェース１０７を有する。ＣＰＵ１０１は、第１の実施の形態の処理部１２に対応する。ＲＡＭ１０２またはＨＤＤ１０３は、第１の実施の形態の記憶部１１に対応する。

【0041】

ＣＰＵ１０１は、プログラムの命令を実行するプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムおよびデータをＲＡＭ１０２にロードし、プログラムを実行する。情報処理装置１００は、複数のプロセッサを有してもよい。

【0042】

ＲＡＭ１０２は、ＣＰＵ１０１で実行されるプログラムおよびＣＰＵ１０１で演算に使用されるデータを一時的に記憶する揮発性半導体メモリである。情報処理装置１００は、ＲＡＭ以外の種類の揮発性メモリを有してもよい。

【0043】

ＨＤＤ１０３は、オペレーティングシステム（ＯＳ：Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラムと、データとを記憶する不揮発性ストレージである。情報処理装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）などの他の種類の不揮発性ストレージを有してもよい。

【0044】

ＧＰＵ１０４は、ＣＰＵ１０１と連携して画像処理を行い、情報処理装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１は、例えば、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイまたはプロジェクタである。情報処理装置１００に、プリンタなどの他の種類の出力デバイスが接続されてもよい。

【0045】

また、ＧＰＵ１０４は、ＧＰＧＰＵ（General Purpose Computing on Graphics Processing Unit）として使用されてもよい。ＧＰＵ１０４は、ＣＰＵ１０１からの指示に応じてプログラムを実行し得る。情報処理装置１００は、ＲＡＭ１０２以外の揮発性半導体メモリをＧＰＵメモリとして有してもよい。

【0046】

入力インタフェース１０５は、情報処理装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２は、例えば、マウス、タッチパネルまたはキーボードである。情報処理装置１００に複数の入力デバイスが接続されてもよい。

【0047】

媒体リーダ１０６は、記録媒体１１３に記録されたプログラムおよびデータを読み取る読み取り装置である。記録媒体１１３は、例えば、磁気ディスク、光ディスクまたは半導体メモリである。磁気ディスクには、フレキシブルディスク（ＦＤ：Flexible Disk）およびＨＤＤが含まれる。光ディスクには、ＣＤ（Compact Disc）およびＤＶＤ（Digital Versatile Disc）が含まれる。媒体リーダ１０６は、記録媒体１１３から読み取られたプログラムおよびデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１によって実行されることがある。

【0048】

記録媒体１１３は、可搬型記録媒体であってもよい。記録媒体１１３は、プログラムおよびデータの配布に用いられることがある。また、記録媒体１１３およびＨＤＤ１０３が、コンピュータ読み取り可能な記録媒体と呼ばれてもよい。

【0049】

通信インタフェース１０７は、ネットワーク１１４を介して他の情報処理装置と通信する。通信インタフェース１０７は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。

【0050】

次に、自然言語処理モデルについて説明する。第２の実施の形態の自然言語処理モデルは、機械翻訳、感情分析、リコメンドシステムなど、様々な自然言語処理タスクに利用可能である。自然言語処理タスクは、データセンタで実装されてもよく、ネットワークを介してアプリケーションサービスとして提供されてもよい。また、この自然言語処理モデルを訓練する機械学習は、データセンタで実行されてもよく、ネットワークを介してアプリケーションサービスとして提供されてもよい。

【0051】

図３は、自然言語処理モデルの構造例を示す図である。
自然言語処理モデル１３０は、ニューラルネットワークを含む機械学習モデルである。自然言語処理モデル１３０は、自己アテンション機構を実装したトランスフォーマエンコーダ（Transformer Encoder）を含む。自然言語処理モデル１３０は、ＢＥＲＴであってもよい。トランスフォーマエンコーダは、テキストに含まれる複数のトークンに対応する複数の特徴ベクトルを、それら複数の特徴ベクトルの間の関係を考慮して、複数のトークンに対応する他の複数のベクトルに変換する。

【0052】

自然言語処理モデル１３０は、埋め込み層１３１、自己アテンション層１３２、正規化層１３３、フィードフォワード層１３４、正規化層１３５および予測層１３６を含む。また、自然言語処理モデル１３０には、単語辞書１３７、埋め込み辞書１３８および符号化テキスト１３９が含まれ得る。

【0053】

単語辞書１３７は、自然言語で用いられる複数の単語をそれぞれ文字列で記載した辞書データである。単語辞書１３７が、Ｒａｗ辞書と呼ばれてもよい。単語辞書１３７に含まれる各単語は、先頭から何番目の単語であるかを示す非負整数のインデックスで識別される。単語辞書１３７は、複数の自然言語の単語を含む多言語辞書であってもよい。単語辞書１３７は、機械学習用のサンプルテキストから単語を抽出することで生成される。

【0054】

埋め込み辞書１３８は、単語辞書１３７に記載された複数の単語それぞれに割り当てられた分散表現ベクトルを示す辞書データである。分散表現ベクトルは、一定次元数（例えば、５１２次元）の数値を含む数値ベクトルである。通常、近い意味をもつ単語に対しては、類似する分散表現ベクトルが割り当てられる。単語を分散表現ベクトルに変換することが、埋め込み（embedding）と呼ばれることがある。埋め込み辞書１３８において、各単語に対応する分散表現ベクトルは、単語辞書１３７と同じインデックスで識別される。単語辞書１３７において、ある単語のインデックスがｋである場合、埋め込み辞書１３８において、その単語に対応する分散表現ベクトルのインデックスもｋである。

【0055】

符号化テキスト１３９は、自然言語で記載されたテキストを、単語辞書１３７のインデックスを用いて符号化したバイナリデータである。元のテキストは、文字列で表現された複数の単語をそれぞれ含む１以上の文を含む。このテキストに含まれる文は、トークナイザを用いて複数のトークンに分割される。通常、１つのトークンは１つの単語に相当する。ただし、１つの単語が２以上のサブワードに分割されることもある。各トークンは、単語辞書１３７が示すインデックスに置換される。これにより、文字列で表現されたテキストが、インデックスの列で表現された符号化テキスト１３９に変換される。

【0056】

埋め込み層１３１は、符号化テキスト１３９に含まれる各インデックスを、分散表現ベクトルに変換するニューラルネットワークである。埋め込み層１３１は、インデックスとしての非負整数を、ｏｎｅ－ｈｏｔベクトルに変換する。ｏｎｅ－ｈｏｔベクトルは、単語辞書１３７に含まれる単語の数に相当する次元数をもつベクトルである。インデックスが示す次元が１に設定され、それ以外の次元が０に設定される。埋め込み層１３１は、このｏｎｅ－ｈｏｔベクトルをニューラルネットワークの入力として使用し、ニューラルネットワークの重みを用いて、一定次元数の分散表現ベクトルを算出する。

【0057】

ただし、埋め込み層１３１は、埋め込み辞書１３８が使用可能である場合、ニューラルネットワークを通して分散表現ベクトルを算出する代わりに、インデックスに対応する分散表現ベクトルを埋め込み辞書１３８から抽出してもよい。この場合、埋め込み辞書１３８がルックアップテーブルとして使用される。

【0058】

なお、埋め込み層１３１が、自己アテンション層１３２やフィードフォワード層１３４と併せて訓練されてもよい。その場合、機械学習の期間中、埋め込み層１３１にパラメータとして含まれるニューラルネットワークの重みが変化し、各インデックスから算出される分散表現ベクトルが変化する。その場合、機械学習の開始時点では、埋め込み層１３１の重みがランダムな数値に初期化されてもよい。

【0059】

また、埋め込み層１３１が、自己アテンション層１３２やフィードフォワード層１３４を訓練する機械学習より前に事前に訓練されてもよい。また、埋め込み辞書１３８に含まれる分散表現ベクトルが、既存の言語モデルから流用されたものであってもよい。例えば、情報処理装置１００は、単語辞書１３７に含まれる各単語の分散表現ベクトルを既存の言語モデルから抽出し、埋め込み辞書１３８に登録してもよい。

【0060】

また、埋め込み層１３１は、位置エンコーディングによって、符号化テキスト１３９に含まれる各トークンの位置から、分散表現ベクトルと同じ次元数の位置ベクトルを算出する。トークンの位置は、当該トークンが、トークン列の先頭（例えば、文の先頭）から何番目のトークンであるかを示す。位置ベクトルは、一定次元数の数値を含む数値ベクトルであり、例えば、サイン関数およびコサイン関数を用いて算出される。埋め込み層１３１は、分散表現ベクトルに位置ベクトルを加算することで、各トークンに対応する特徴ベクトルを算出する。この特徴ベクトルの次元数は、分散表現ベクトルと同じである。

【0061】

自己アテンション層１３２は、符号化テキスト１３９に含まれる複数のトークンに対応する複数の特徴ベクトルを受け付ける。自己アテンション層１３２は、あるトークンに対応する特徴ベクトルを、次のような方法で変換する。

【0062】

自己アテンション層１３２は、着目するトークンの特徴ベクトルを、クエリ用の係数行列を用いて、クエリと呼ばれるベクトルに変換する。また、自己アテンション層１３２は、複数のトークンそれぞれの特徴ベクトルを、キー用の係数行列を用いて、キーと呼ばれるベクトルに変換する。自己アテンション層１３２は、クエリと各トークンのキーとの間で内積を算出することで、各トークンのアテンションスコアを算出する。アテンションスコアは、着目するトークンにとっての複数のトークンそれぞれの重要度を示す。

【0063】

また、自己アテンション層１３２は、複数のトークンそれぞれの特徴ベクトルを、バリュー用の係数行列を用いて、バリューと呼ばれるベクトルに変換する。自己アテンション層１３２は、複数のトークンのバリューをアテンションスコアで重み付けして合算する。これにより、着目するトークンの変換後の特徴ベクトルが算出される。クエリ用の係数行列に含まれる係数、キー用の係数行列に含まれる係数、および、バリュー用の係数行列に含まれる係数は、機械学習によって最適化されるパラメータである。

【0064】

正規化層１３３は、自己アテンション層１３２が出力する特徴ベクトルに含まれる数値を、一定の確率分布に従うようにスケール変換する。一定の確率分布は、例えば、平均が０で分散が１の確率分布である。正規化は、複数のトークンに対応する複数の特徴ベクトルに対して一括して実行される。

【0065】

フィードフォワード層１３４は、正規化層１３３が出力する特徴ベクトルを、ニューラルネットワークを用いて別の特徴ベクトルに変換する。入力の特徴ベクトルの次元数と出力の特徴ベクトルの次元数とは、同じでもよい。フィードフォワード層１３４は、各トークンの特徴ベクトルを、他のトークンの特徴ベクトルとは独立に処理する。このニューラルネットワークの重みは、機械学習によって最適化されるパラメータである。

【0066】

正規化層１３５は、フィードフォワード層１３４が出力する特徴ベクトルに含まれる数値を、一定の確率分布に従うようにスケール変換する。一定の確率分布は、例えば、平均が０で分散が１の確率分布である。正規化は、複数のトークンに対応する複数の特徴ベクトルに対して一括して実行される。なお、自己アテンション層１３２、正規化層１３３、フィードフォワード層１３４および正規化層１３５が、複数回繰り返されてもよい。

【0067】

予測層１３６は、正規化層１３５が出力する各トークンの特徴ベクトルから、当該トークンに関連する単語のインデックスを予測する。例えば、予測層１３６は、埋め込み層１３１の入力において、符号化テキスト１３９に含まれる複数のトークンのうちの一部のトークンのインデックスがマスクされたとき、当該マスクされたインデックスを予測する。これにより、自己アテンション層１３２やフィードフォワード層１３４は、あるトークンの特徴ベクトルを、周辺のトークンの文脈を考慮して算出するよう訓練される。

【0068】

例えば、予測層１３６は、各トークンの特徴ベクトルと埋め込み辞書１３８に相当する行列との積を算出することで、複数のインデックスそれぞれの予測確率を含む確率分布を算出する。予測層１３６は、複数のインデックスのうち予測確率が最大のインデックスを、マスクされたトークンのインデックスと予測する。

【0069】

自然言語処理モデル１３０に含まれるパラメータの最適化は、誤差逆伝播法によって行われる。情報処理装置１００は、マスクされたトークンについて、予測層１３６が算出した確率分布を示す予測ベクトルと、正解のインデックスを示すｏｎｅ－ｈｏｔベクトルとの間の誤差を算出する。情報処理装置１００は、予測層１３６から埋め込み層１３１に向かう方向に誤差情報を伝搬して、各パラメータの誤差勾配を算出し、算出された誤差勾配に基づいて、誤差が小さくなるようにパラメータ値を更新する。

【0070】

図４は、テキストと符号化テキストの例を示す図である。
テキスト１４１は、自然言語で記載されたテキストデータである。テキスト１４１は、自然言語処理モデルを訓練する機械学習に用いられる。情報処理装置１００は、テキスト１４１に含まれる文を複数のトークンに分割する。トークン分割には、自然言語毎に事前に作成されたトークナイザと呼ばれるソフトウェアが使用される。情報処理装置１００は、トークンの集合から重複する単語を除去し、複数の単語を一定基準でソートすることで、各単語にインデックスが付与された単語辞書を生成する。

【0071】

情報処理装置１００は、テキスト１４１に含まれる単語の文字列を、単語辞書が示すインデックスに置換することで、符号化テキスト１４２を生成する。符号化テキスト１４２は、前述の符号化テキスト１３９に対応する。

【0072】

図５は、単語辞書と埋め込み辞書の例を示す図である。
単語辞書１４３は、テキスト１４１から生成される。単語辞書１４３は、前述の単語辞書１３７に対応する。単語辞書１４３は、インデックスと単語の文字列とを対応付ける。例えば、単語「ｗｈｙ」のインデックスは「５６」であり、単語「ｓｔｏｒｙ」のインデックスは「５８」である。なお、図５の例では、不連続なインデックスをもつ複数の単語が記載されているが、単語辞書１４３に列挙された複数の単語には連続した非負整数がインデックスとして付与される。

【0073】

自然言語処理モデルは、単語辞書１４３に対応する埋め込み辞書１４４をもつ。埋め込み辞書１４４は、前述の埋め込み辞書１３８に対応する。埋め込み辞書１４４は、インデックスと単語の分散表現ベクトルとを対応付ける。例えば、インデックス「５６」が付与された分散表現ベクトルは、単語「ｗｈｙ」に割り当てられる分散表現ベクトルである。また、例えば、インデックス「５８」が付与された分散表現ベクトルは、単語「ｓｔｏｒｙ」に割り当てられる分散表現ベクトルである。

【0074】

前述のように、埋め込み辞書１４４に含まれる分散表現ベクトルは、機械学習を通じて変化することがある。ただし、埋め込み辞書１４４のサイズは、単語辞書１４３のサイズから決定される。また、埋め込み辞書１４４に含まれる分散表現ベクトルは、既存の言語モデルが示す学習済みの分散表現ベクトルを流用したものであることがある。その場合、単語辞書１４３に基づいて埋め込み辞書１４４が生成される。

【0075】

次に、第２の実施の形態の自然言語処理モデルを訓練する機械学習について説明する。図３に示した自然言語処理モデル１３０を訓練する場合、情報処理装置１００は、機械学習用のテキストから単語を抽出して、単語辞書１３７を生成する。情報処理装置１００は、単語辞書１３７が示す各単語のインデックスを用いて、テキストを符号化テキスト１３９に変換する。そして、情報処理装置１００は、単語辞書１３７および符号化テキスト１３９を用いて、自然言語処理モデル１３０を初期化する。

【0076】

自然言語処理モデル１３０の初期化には、行列サイズの決定やパラメータの個数の決定などのパラメータ設定が含まれる。また、自然言語処理モデル１３０の初期化には、設定されたパラメータに初期値を代入することが含まれる。例えば、埋め込み層１３１に含まれるニューラルネットワークの入力サイズは、単語辞書１３７に含まれる単語の数に依存する。よって、埋め込み層１３１のニューラルネットワークを表す重み行列のサイズは、単語辞書１３７の単語数、すなわち、インデックスの最大値に応じて決まる。情報処理装置１００は、決定したサイズの重み行列を生成する。

【0077】

また、例えば、インデックス数が単語辞書１３７と同じになるように埋め込み辞書１３８が生成される。自己アテンション層１３２やフィードフォワード層１３４と併せて埋め込み層１３１も訓練する場合、初期化時点では、仮の分散表現ベクトルが埋め込み辞書１３８に登録され得る。また、既存の言語モデルを利用する場合、初期化によって、学習済みの分散表現ベクトルが埋め込み辞書１３８に登録される。また、例えば、予測層１３６が算出する確率分布は、単語辞書１３７の単語数だけ予測確率を含む。情報処理装置１００は、決定したサイズの確率分布ベクトルを生成する。

【0078】

また、例えば、埋め込み層１３１、自己アテンション層１３２、正規化層１３３、フィードフォワード層１３４、正規化層１３５および予測層１３６が受け付ける入力テンソルのサイズは、１回に入力され得るトークンの個数に依存する。よって、これら入力テンソルのサイズは、符号化テキスト１３９のトークン数に応じて決定される。情報処理装置１００は、決定したサイズの入力テンソルを生成する。

【0079】

情報処理装置１００は、機械学習ライブラリのＡＰＩを利用して自然言語処理モデル１３０を初期化する。例えば、情報処理装置１００は、自然言語処理モデル１３０を表すオブジェクトを生成し、このオブジェクトに単語辞書１３７や符号化テキスト１３９を接続して初期化させるＡＰＩを呼び出す。その結果、自然言語処理モデル１３０に、単語辞書１３７や符号化テキスト１３９が組み込まれる。また、自然言語処理モデル１３０の中に、単語辞書１３７に対応する埋め込み辞書１３８が生成される。

【0080】

しかし、単語辞書１３７は多数の単語の文字列表現を含むため、単語辞書１３７のデータサイズは非常に大きい。単語辞書１３７を含んだ状態で自然言語処理モデル１３０を訓練すると、機械学習中に様々な付加的処理が発生する。その結果、機械学習の負荷が高くなり、訓練時間が長くなるおそれがある。例えば、情報処理装置１００は、単語辞書１３７の全体をメモリにロードしようとするおそれがあり、機械学習中にインデックスとしての数値と単語辞書１３７との整合性を適宜確認しようとするおそれがある。

【0081】

これに対し、初期化後のパラメータ値の更新自体は、単語辞書１３７を参照しなくても実行可能である。予測結果に対する誤差計算や誤差逆伝播法の勾配計算は、インデックスおよび分散表現ベクトルを用いて実行可能であり、埋め込み辞書１３８および符号化テキスト１３９が自然言語処理モデル１３０に含まれていればよい。

【0082】

そこで、第２の実施の形態の情報処理装置１００は、自然言語処理モデル１３０を初期化した後、パラメータ値の更新を開始する前に、自然言語処理モデル１３０から単語辞書１３７を切り離す。これにより、自然言語処理モデル１３０の中から単語辞書１３７が削除される。情報処理装置１００は、機械学習ライブラリのＡＰＩを利用して単語辞書１３７を切り離す。例えば、情報処理装置１００は、自然言語処理モデル１３０を表すオブジェクトと単語辞書１３７との接続を解除するＡＰＩを呼び出す。

【0083】

単語辞書１３７が切り離されると、機械学習中、単語辞書１３７に関連する様々な付加的処理が抑制される。その結果、機械学習の負荷が低くなり訓練時間が短縮される。例えば、情報処理装置１００は、単語辞書１３７のメモリへのロードを抑制し、機械学習中にインデックスとしての数値と単語辞書１３７との整合性を適宜確認することを抑制する。

【0084】

ただし、予測層１３６が予測した単語はインデックスで表現されている。自然言語処理モデル１３０が単語辞書１３７を含まないと、このインデックスが人間可読な文字列に変換されない。そこで、情報処理装置１００は、訓練された自然言語処理モデル１３０をテストする際には、切り離された単語辞書１３７を用いて、予測結果に含まれるインデックスを単語の文字列表現に変換する。これにより、ユーザは予測結果の理解が容易になる。

【0085】

このとき、情報処理装置１００は、自然言語処理モデル１３０に単語辞書１３７を再び組み込んでもよい。情報処理装置１００は、機械学習ライブラリのＡＰＩを利用して単語辞書１３７を組み込んでもよい。例えば、情報処理装置１００は、インデックスを文字列に変換するための辞書として単語辞書１３７を指定するＡＰＩを呼び出す。なお、訓練された自然言語処理モデル１３０を配布する場合、自然言語処理モデル１３０と単語辞書１３７とが分離された状態で配布されてもよいし、自然言語処理モデル１３０が単語辞書１３７を含む状態で配布されてもよい。

【0086】

図６は、単語辞書を用いた予測結果の変換例を示す図である。
訓練された自然言語処理モデルは、あるトークンに対して確率分布１５１を算出する。確率分布１５１は、複数のインデックスに対応する複数の予測確率を含む。各予測確率は、０以上１以下の数値である。あるインデックスの予測確率は、予測単語が当該インデックスに対応する単語である確からしさを示す。

【0087】

情報処理装置１００は、確率分布１５１から、予測確率が最大のインデックス１５２を選択する。情報処理装置１００は、単語辞書１４３を参照して、インデックス１５２を予測単語１５３に変換する。予測単語１５３は、インデックス１５２に対応する単語の文字列表現である。例えば、インデックス１５２が「５８」であり、予測単語１５３が「ｓｔｏｒｙ」である。情報処理装置１００は、予測単語１５３を出力する。

【0088】

図７は、訓練時間と予測精度の例を示すグラフである。
バー１６１は、単語辞書を切り離さずに自然言語処理モデルを訓練した場合（方法１）の訓練時間を示す。バー１６２は、単語辞書を切り離して自然言語処理モデルを訓練した場合（方法２）の訓練時間を示す。バー１６３は、方法１における自然言語処理モデルの予測精度を示す。バー１６４は、方法２における自然言語処理モデルの予測精度を示す。

【0089】

この例では、方法１の訓練時間は７１５３秒であるのに対し、方法２の訓練時間は５９５７秒である。よって、単語辞書の切り離しによって、機械学習の速度が約２０％向上している。また、この例では、方法１の予測精度のスコアは１０．８８であるのに対し、方法２の予測精度のスコアは１０．８５である。よって、方法１と方法２の間では、統計誤差を超える予測精度の差異はなく、予測精度が維持されている。

【0090】

次に、情報処理装置１００の機能および処理手順について説明する。
図８は、情報処理装置の機能例を示すブロック図である。
情報処理装置１００は、テキスト記憶部１２１、辞書記憶部１２２、モデル記憶部１２３、符号化部１２４、機械学習部１２５および予測部１２６を有する。テキスト記憶部１２１、辞書記憶部１２２およびモデル記憶部１２３は、例えば、ＲＡＭ１０２またはＨＤＤ１０３を用いて実装される。符号化部１２４、機械学習部１２５および予測部１２６は、例えば、ＣＰＵ１０１、ＧＰＵ１０４およびプログラムを用いて実装される。

【0091】

テキスト記憶部１２１は、自然言語で記載されたテキストを記憶する。例えば、テキスト記憶部１２１は、テキスト１４１を記憶する。辞書記憶部１２２は、テキストから生成された単語辞書を記憶する。例えば、辞書記憶部１２２は、単語辞書１４３を記憶する。モデル記憶部１２３は、訓練された自然言語処理モデルを記憶する。例えば、モデル記憶部１２３は、自然言語処理モデル１３０を記憶する。

【0092】

符号化部１２４は、テキスト記憶部１２１からテキストを読み出し、テキストに含まれる文をトークンに分割する。符号化部１２４は、トークンを集計して、異なる複数の単語を列挙した単語辞書を生成し、辞書記憶部１２２に単語辞書を保存する。また、符号化部１２４は、各トークンの文字列を、単語辞書を参照してインデックスに変換し、符号化テキストを生成する。この符号化テキストは、例えば、符号化テキスト１４２である。

【0093】

符号化部１２４は、単語辞書を機械学習部１２５に提供する。また、符号化部１２４は、符号化テキストのうち訓練用の部分である訓練用符号化テキストを、機械学習部１２５に提供する。また、符号化部１２４は、符号化テキストのうちテスト用の部分であるテスト用符号化テキストを、予測部１２６に提供する。

【0094】

機械学習部１２５は、単語辞書および訓練用符号化テキストを用いて自然言語処理モデルを訓練し、訓練された自然言語処理モデルをモデル記憶部１２３に保存する。このとき、機械学習部１２５は、単語辞書および訓練用符号化テキストを用いて自然言語処理モデルを初期化する。機械学習部１２５は、初期化された自然言語処理モデルから単語辞書を切り離す。機械学習部１２５は、単語辞書が切り離された状態で、訓練用符号化テキストを用いて、誤差逆伝播法により自然言語処理モデルのパラメータ値を更新する。

【0095】

予測部１２６は、辞書記憶部１２２から単語辞書を読み出し、モデル記憶部１２３から自然言語処理モデルを読み出す。予測部１２６は、自然言語処理モデルにテスト用符号化テキストを入力し、予測結果を取得する。予測部１２６は、予測結果に含まれる単語のインデックスを、単語辞書を用いて文字列表現に変換する。そして、予測部１２６は、単語の文字列を含む予測結果を出力する。

【0096】

なお、情報処理装置１００は、自然言語処理モデルを表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。また、情報処理装置１００は、自然言語処理モデルの予測結果を不揮発性ストレージに保存してもよいし、表示装置１１１に表示してもよいし、他の情報処理装置に送信してもよい。

【0097】

図９は、機械学習の手順例を示すフローチャートである。
（Ｓ１０）符号化部１２４は、テキストをトークンに分割する。
（Ｓ１１）符号化部１２４は、ステップＳ１０で分割されたトークンを集計し、単語とインデックスとを対応付けた単語辞書を生成する。

【0098】

（Ｓ１２）符号化部１２４は、単語辞書を用いてテキストの文字列をインデックスに符号化し、符号化テキストを生成する。
（Ｓ１３）機械学習部１２５は、機械学習を分散処理として実行する場合、機械学習に用いる複数のノードを初期化する。各ノードは、機械学習プロセスを実行するプロセッサを含み、例えば、ＧＰＵコアを含む。その場合、機械学習部１２５は、ノード間でメッセージ通信を行えるように、それら複数のノードの通信ポートの設定を行う。

【0099】

（Ｓ１４）機械学習部１２５は、ステップＳ１２で生成された符号化テキストをロードする。ロード先メモリは、例えば、ＲＡＭ１０２またはＧＰＵメモリである。
（Ｓ１５）機械学習部１２５は、ステップＳ１１で生成された単語辞書とステップＳ１４でロードされた符号化テキストとに基づいて、自然言語処理モデルのパラメータを初期化する。初期化は、単語辞書のサイズや符号化テキストのサイズに応じた行列を生成することを含み、パラメータに初期値を代入することを含む。また、初期化は、単語辞書と同じインデックス数をもつ埋め込み辞書を生成することを含む。なお、埋め込み層が訓練対象外である場合、機械学習部１２５は、初期化の中で、符号化テキストに含まれるインデックスを分散表現ベクトルに変換してもよい。

【0100】

（Ｓ１６）機械学習部１２５は、ステップＳ１５で初期化された自然言語処理モデルから単語辞書を切り離し、切り離された単語辞書を保存する。
（Ｓ１７）機械学習部１２５は、機械学習プロセスを起動する。このとき、例えば、機械学習部１２５は、機械学習ライブラリのＡＰＩを呼び出す。

【0101】

（Ｓ１８）機械学習部１２５は、訓練用符号化テキストを用いて、単語辞書が切り離された自然言語モデルを訓練する。例えば、機械学習部１２５は、訓練用符号化テキストに含まれるインデックスを埋め込み層に入力し、予測層が算出した確率分布と正解のインデックスとの間の誤差を算出し、誤差が小さくなるように各層のパラメータ値を更新する。

【0102】

（Ｓ１９）予測部１２６は、テスト用符号化テキストを用いて訓練済みの自然言語処理モデルをテストする。例えば、予測部１２６は、テスト用符号化テキストに含まれるインデックスを埋め込み層に入力し、単語のインデックスを含む予測結果を取得する。

【0103】

（Ｓ２０）予測部１２６は、ステップＳ１６で保存された単語辞書を用いて、ステップＳ１９の予測結果に含まれるインデックスを文字列表現に変換する。
（Ｓ２１）情報処理装置１００は、ステップＳ１８で訓練された自然言語処理モデルと、ステップＳ２０で変換された予測結果とを出力する。なお、ユーザは、予測精度が不十分であると判断した場合、パラメータ値の更なる調整を情報処理装置１００に指示することがある。その場合、情報処理装置１００は、ステップＳ１７～Ｓ２１を再実行することがある。そのとき、追加の符号化テキストが使用されてもよい。

【0104】

以上説明したように、第２の実施の形態の情報処理装置１００は、単語辞書と符号化テキストとに基づいて自然言語処理モデルを初期化した後は、自然言語処理モデルから単語辞書を切り離して、符号化テキストに基づいてパラメータ値を更新する。これにより、自然言語処理モデルのデータサイズが小さくなり、機械学習の負荷が低下し、訓練時間が短縮される。また、誤差が小さくなるようにパラメータ値を更新すること自体は、単語辞書を参照せずに実行可能である。よって、自然言語処理モデルの予測精度が維持される。

【0105】

また、情報処理装置１００は、訓練された自然言語処理モデルを用いて単語を予測する際に、切り離された単語辞書を用いて、自然言語処理モデル内部で使用されているインデックスを単語の文字列表現に変換する。これにより、予測結果の理解容易性が向上する。

【符号の説明】

【0106】

１０ 情報処理装置
１１ 記憶部
１２ 処理部
１３ 単語辞書データ
１４ テキストデータ
１５ 符号化テキストデータ
１６ 機械学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】