特開 2024-82662 機械学習プログラム、機械学習方法及び機械学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024082662

(43)【公開日】2024-06-20

(54)【発明の名称】機械学習プログラム、機械学習方法及び機械学習装置

(51)【国際特許分類】

   G06N 3/063 20230101AFI20240613BHJP

   G06N 3/08 20230101ALI20240613BHJP

【ＦＩ】

G06N3/063

G06N3/08

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022196652

(22)【出願日】2022-12-08

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】麻岡 正洋

(72)【発明者】

【氏名】田原 司睦

(57)【要約】

【課題】機械学習の学習効率を向上させる機械学習プログラム、機械学習方法及び機械学習装置を提供する。
【解決手段】同じ機械学習モデルによる個別の機械学習を、複数の機械学習プロセスそれぞれに実行させ、機械学習プロセスのそれぞれにおける第１処理の実行後のデータを機械学習プロセスのそれぞれがアクセス可能な共有メモリに記憶させ、機械学習プロセスのうちの第１の機械学習プロセスにおいて第１処理より後に実行される第２処理の実行時に異常が生じた場合、共有メモリに記憶された、第１の機械学習プロセスに関する第１処理の実行後の第１のデータを基に、複数の機械学習プロセスのうちの第１の機械学習プロセス以外の第２の機械学習プロセスに、第１の機械学習プロセスに関する第２処理を実行させる処理をコンピュータに実行させる。
【選択図】図４

【特許請求の範囲】

【請求項1】

同じ機械学習モデルによる個別の機械学習を、複数の機械学習プロセスそれぞれに実行させ、
前記機械学習プロセスのそれぞれにおける第１処理の実行後のデータを前記機械学習プロセスのそれぞれがアクセス可能な共有メモリに記憶させ、
前記機械学習プロセスのうちの第１の機械学習プロセスにおいて前記第１処理より後に実行される第２処理の実行時に異常が生じた場合、前記共有メモリに記憶された、前記第１の機械学習プロセスに関する前記第１処理の実行後の第１のデータを基に、前記複数の機械学習プロセスのうちの前記第１の機械学習プロセス以外の第２の機械学習プロセスに、前記第１の機械学習プロセスに関する前記第２処理を実行させる
処理をコンピュータに実行させることを特徴とする機械学習プログラム。

【請求項2】

前記共有メモリに記憶させる処理において、複数の前記機械学習プロセスそれぞれに対応付けられた１以上の共有メモリのうちの前記第１の機械学習プロセスに対応付けられた第１の共有メモリに、前記第１のデータを記憶させることを特徴とする請求項１に記載の機械学習プログラム。

【請求項3】

前記異常が生じた場合の前記第１処理の実行後の前記データに基づく前記第２処理の実行において、
前記異常が生じた前記第１の機械学習プロセスに対応する前記第１の共有メモリに記憶された前記第１処理の実行後の前記データを取得し、
前記取得した前記第１処理の実行後の前記データを基に、前記機械学習モデルのスナップショットを生成して記憶装置に記憶させ、
前記記憶装置に記憶させた前記スナップショットを用いて前記第２の機械学習プロセスに前記第２処理を実行させる
処理を前記コンピュータに実行させることを特徴とする請求項２に記載の機械学習プログラム。

【請求項4】

前記第１処理として、順伝播学習、逆伝播学習又は前記機械学習モデルのパラメータ更新処理のいずれかを前記コンピュータに実行させることを特徴とする請求項１～３のいずれか一つに記載の機械学習プログラム。

【請求項5】

前記第１処理として前記順伝播学習を行う場合、前記第１処理の実行後の前記データとして順伝播の損失を前記共有メモリに記憶させ、
前記第１処理として前記逆伝播学習を行う場合、前記第１処理の実行後の前記データとして逆伝播の勾配を前記共有メモリに記憶させ、
前記第１処理として前記パラメータ更新処理を行う場合、前記第１処理の実行後の前記データとしてオプティマイザー状態及びモデルパラメータを前記共有メモリに記憶させる
処理を前記コンピュータに実行させることを特徴とする請求項４に記載の機械学習プログラム。

【請求項6】

コンピュータが、
同じ機械学習モデルによる個別の機械学習をそれぞれが行う複数の機械学習プロセスを実行し、
前記機械学習プロセスのそれぞれにおける第１処理の実行後のデータを前記機械学習プロセスのそれぞれがアクセス可能な共有メモリに記憶させ、
前記機械学習プロセスのうちの第１の機械学習プロセスにおいて前記第１処理より後に実行される第２処理の実行時に異常が生じた場合、前記共有メモリに記憶された、前記第１の機械学習プロセスに関する前記第１処理の実行後の第１のデータを基に、前記複数の機械学習プロセスのうちの前記第１の機械学習プロセス以外の第２の機械学習プロセスに、前記第１の機械学習プロセスに関する前記第２処理を実行させる
ことを特徴とする機械学習方法。

【請求項7】

同じ機械学習モデルによる個別の機械学習をそれぞれが行う複数の機械学習プロセスをそれぞれが動作させる複数のプロセッサと、
前記プロセッサのそれぞれに対応する複数の個別メモリと、
複数の前記プロセッサのそれぞれがアクセス可能な共有メモリとを有する機械学習装置であって、
前記プロセッサは、
前記機械学習プロセスのうち前記共有メモリを共有する他のプロセッサが動作させる前記機械学習プロセスにおける異常を検知する異常検知部と、
前記個別メモリを用いて前記機械学習プロセスを実行し、前記機械学習プロセスにおける第１処理の実行後のデータを前記共有メモリに記憶させ、前記共有メモリを共有する他のプロセッサが動作させる前記機械学習プロセスのうちの第１機械学習プロセスにおいて前記第１処理より後に実行される第２処理の実行時に前記異常検知部により異常が検知された場合、前記共有メモリに記憶された、前記第１の機械学習プロセスに関する前記第１処理の実行後の第１のデータを基に、前記複数の機械学習プロセスのうちの前記第１の機械学習プロセス以外の第２の機械学習プロセスに、前記第１の機械学習プロセスに関する前記第２処理を実行させる学習実行部とを備えた
ことを特徴とする機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習プログラム、機械学習方法及び機械学習装置に関する。

【背景技術】

【0002】

近年、ディープラーニング（深層学習）の研究や開発が急速に進められており、画像認識、文字認識、音声認識、スマートフォン、自律ロボット、ドローン等の様々な分野への応用が期待されている。ディープラーニングでは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）等のディーブニューラルネットワーク（ＤＮＮ：Deep Neural Network）を用いて学習が行われる。

【0003】

ここで機械学習モデルを用いた学習においては取り扱う重み係数の数が膨大であるため、学習に多大な時間を要する。そこで、大規模なディープニューラルネットワークを用いた学習では、学習データや重み係数の更新を複数の計算ノードに分散させて行う並列分散処理の導入が望ましい。

【0004】

並列分散処理では、計算ノードそれぞれが同じ学習データをメモリに持つことで、機械学習システムを高効率で動作させることが可能である。ただし、大規模学習では全体の取り扱うデータ量が多いため、各計算ノードのメモリが不足するおそれがある。そこで、各計算ノードのメモリに乗せる学習データを分散させるデータ分散と呼ばれる手法が提案されている。

【0005】

なお、従来の機械学習では、学習サイクル毎など予め決められたチェックポイントで頻繁にスナップショットを残しておき、機械学習プロセスが途中で止まっても直近のチェックポイントから学習が再開できるように処理が進められる。また、並列分散処理の技術として、ジョブの演算の完了後、各計算ノードが保持する複数のジョブで共有される共有メモリ領域に対して、ダイレクトメモリアクセスによりジョブのデータ転送を行う技術が提案されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０２１／１１１５８６号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、従来の並列分散処理では、チェックポイントからの学習の再開は可能であるが、チェックポイントから障害発生までの途中経過は保持されないため、データの欠損が発生して学習処理全体が中止され、学習時間が増加するおそれがある。また、データの欠損を抑えるためにチェックポイントを増やす方法も考えられるが、スナップショットの保存時間や記憶容量も大きくなるため現実的ではない。

【0008】

開示の技術は、上記に鑑みてなされたものであって、機械学習の学習効率を向上させる機械学習プログラム、機械学習方法及び機械学習装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

本願の開示する機械学習プログラム、機械学習方法及び機械学習装置の一つの態様において、同じ機械学習モデルによる個別の機械学習を、複数の機械学習プロセスそれぞれに実行させ、前記機械学習プロセスのそれぞれにおける第１処理の実行後のデータを前記機械学習プロセスのそれぞれがアクセス可能な共有メモリに記憶させ、前記機械学習プロセスのうちの第１の機械学習プロセスにおいて前記第１処理より後に実行される第２処理の実行時に異常が生じた場合、前記共有メモリに記憶された、前記第１の機械学習プロセスに関する前記第１処理の実行後の第１のデータを基に、前記複数の機械学習プロセスのうちの前記第１の機械学習プロセス以外の第２の機械学習プロセスに、前記第１の機械学習プロセスに関する前記第２処理を実行させる処理をコンピュータに実行させる。

【発明の効果】

【0010】

１つの側面では、本発明は、機械学習の学習効率を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施例に係る並列分散機械学習システムのブロック図である。

【図2】図２は、順伝播学習、逆伝播学習及びパラメータ更新処理における処理結果の共有メモリへの登録の概要を示す図である。

【図3】図３は、プロセス異常発生時の動作を示す図である。

【図4】図４は、実施例に係る並列分散機械学習システムによる機械学習のフローチャートである。

【図5】図５は、コンピュータのハードウェア構成図である。

【発明を実施するための形態】

【0012】

以下に、本願の開示する機械学習プログラム、機械学習方法及び機械学習装置の実施例を図面に基づいて詳細に説明する。なお、以下の実施例により本願の開示する機械学習プログラム、機械学習方法及び機械学習装置が限定されるものではない。

【実施例0013】

図１は、実施例に係る並列分散機械学習システムのブロック図である。本実施例に係る並列分散機械学習システム１は、複数の計算ノード１０、管理ノード２０及びストレージ装置３０を有する。管理ノード２０と各計算ノード１０とは、ネットワークで接続される。また、各計算ノード１０同士も相互にネットワークで接続される。また、計算ノード１０のそれぞれは、ストレージ装置３０に接続される。なお、並列分散機械学習システム１は、コンピュータの一例である。

【0014】

管理ノード２０は、並列分散処理による機械学習の統括管理を行う。管理ノード２０は、計算ノード１０のいずれかがその機能を有してもよい。管理ノード２０は、図示しない外部端末装置などを介して利用者から学習データの入力を受ける。また、管理ノード２０は、機械学習モデルの学習に用いる学習データの入力を予め受ける。

【0015】

そして、管理ノード２０は、学習を行う対象となる機械学習モデルを各計算ノード１０へ送信してそれぞれに同じ機械学習モデルを配布する。また、管理ノード２０は、学習データを各計算ノード１０へ送信して配布する。この際、管理ノード２０は、学習データを分散させて各計算ノード１０へ配布する。例えば、管理ノード２０は、計算ノード１０のそれぞれに異なる学習データを配布してもよい。また、管理ノード２０は、１台又は２台以上の計算ノード１０のグループに対して、グループ毎に異なる学習ノードを配布してもよい。

【0016】

機械学習が最終サイクルまで完了すると、管理ノード２０は、学習済みの機械学習モデルを計算ノード１０から受信する。そして、管理ノード２０は、取得した学習済みの機械学習モデルを推論を行う装置等へ出力する。

【0017】

ストレージ装置３０は、チェックポイント毎の機械学習モデルのスナップショットが各計算ノード１０により格納される。また、ストレージ装置３０は、機械学習プロセスのプロセス異常の発生時に、順伝播学習、逆伝播学習又はパラメータ更新処理のうち機械学習プロセスが最後に完了した処理の完了時点における機械学習モデルのスナップショットが各計算ノード１０により格納される。ストレージ装置３０が保持するスナップショットは、そのスナップショットが作成された時点からの機械学習の再開に用いられる。

【0018】

各計算ノード１０は、機械学習モデルを用いて機械学習における計算を行う。そして、それぞれの計算ノード１０で得られた学習結果を基に、各計算ノード１０は、機械学習モデルのモデルパラメータを更新する。以下に、計算ノード１０の詳細について説明する。

【0019】

計算ノード１０は、図１に示すように、個別メモリ１０１及び１１１、プロセッサ１０２及び１１２、並びに、共有メモリ１２０を有する。

【0020】

個別メモリ１０１は、プロセッサ１０２に割り当てられた主記憶装置であり、プロセッサ１０２による計算処理に用いられる。個別メモリ１１１は、プロセッサ１１２に割り当てられた主記憶装置であり、プロセッサ１１２による計算処理に用いられる。

【0021】

プロセッサ１０２及び個別メモリ１０１とプロセッサ１１２及び個別メモリ１１１とは、異なる学習データを用いてそれぞれ別個の機械学習プロセスを実行する。図１では、１つの計算ノード１０に２つのプロセッサ１０２及び１１２を記載したが、プロセッサは３つ以上でもよい。

【0022】

共有メモリ１２０は、プロセッサ１０２及び１１２の双方により共有されるメモリである。共有メモリ１２０は、プロセッサ１０２及び１１２のいずれからもデータの読み書きが可能である。個別メモリ１０１、個別メモリ１１１及び共有メモリ１２０は、異なる物理的なメモリでなくても良く、同じメモリ上の異なる部分領域であってもよい。

【0023】

プロセッサ１０２は、学習実行部１０３及び異常検知部１０４を有する。また、プロセッサ１１２は、学習実行部１１３及び異常検知部１１４を有する。プロセッサ１０２とプロセッサ１１２とは同じ機能を有するので、以下では、プロセッサ１０２及び個別メモリ１０１を例に説明する。

【0024】

学習実行部１０３は、管理ノード２０から送信された機械学習モデルを保持する。また、学習実行部１０３は、管理ノード２０から送信された学習データを保持する。学習実行部１０３は、機械学習モデルや学習データを個別メモリ１０１に保持させてもよい。

【0025】

学習実行部１０３は、機械学習モデル及び学習データを用いて順伝播計算を行って順伝播学習を実施する。順伝播学習が完了すると、学習実行部１０３は、順伝播学習で得られた結果である順伝播の損失の情報を共有メモリ１２０に記録する。ここで、順伝播学習の実行中に個別メモリ１０１の障害などによる機械学習プロセスのプロセス異常が発生した場合、学習実行部１０３は、機械学習を停止する。

【0026】

次に、学習実行部１０３は、機械学習モデル及び順伝播学習の結果を用いて逆伝播計算を行って逆伝播学習を実施する。逆伝播学習が完了すると、学習実行部１０３は、逆伝播学習で得られた結果である逆伝播の勾配の情報を共有メモリ１２０に記録する。ここで、逆伝播学習の実行中に機械学習プロセスのプロセス異常が発生した場合、学習実行部１０３は、学習を停止する。

【0027】

次に、学習実行部１０３は、自ノードにおける学習実行部１１３及び他の計算ノード１０における学習実行部１０３及び１１３との間で通信を行い、順伝播学習及び逆伝播学習の結果を共有する。その後、学習実行部１０３は、共有した順伝播学習及び逆伝播学習の結果を用いて、機械学習モデルのモデルパラメータの更新などのパラメータ更新処理を実施する。パラメータ更新処理が完了すると、学習実行部１０３は、パラメータ更新処理の結果であるオプティマイザー状態及びモデルパラメータを共有メモリ１２０に記録する。ここで、パラメータ更新処理の実行中に機械学習プロセスのプロセス異常が発生した場合、学習実行部１０３は、学習を停止する。

【0028】

学習実行部１０３は、順伝播学習、逆伝播学習及びパラメータ更新処理が完了すると、チェックポイント保存サイクルが到来したか否かを判定する。チェックポイント保存サイクルは、スナップショットを保持して機械学習再開の起点となるチェックポイントを生成する定期的な期間である。チェックポイント保存サイクルは、例えば、機械学習における１イテレーションや１エポックといった学習サイクルを基準として設定される。

【0029】

チェックポイント保存サイクルが到来していなければ、学習実行部１０３は、そのまま順伝播学習、逆伝播学習及びパラメータ更新処理を繰り返す。これに対して、チェックポイント保存サイクルが到来した場合、学習実行部１０３は、生成した機械学習モデルのスナップショットを生成してストレージ装置３０に格納する。

【0030】

スナップショットは、機械学習モデルを表す情報であり、例えば、機械学習モデルを構成する中間層に関する情報や、学習によって得られた重み、活性及び勾配等の情報を含んでもよい。スナップショットは当該スナップショットが作成された時点での機械学習モデルを表し、計算ノード１０は、スナップショットを用いることでスナップショットの作成時点での機械学習モデルを再現することができる。

【0031】

学習実行部１０３は、チェックポイントの生成後、次のチェックポイント保存サイクルまで、順伝播学習、逆伝播学習及びパラメータ更新処理を実行することを繰り返す。そして、学習実行部１０３は、機械学習の最終サイクルが到来すると機械学習を終了する。その後、学習実行部１０３は、学習済みの機械学習モデルを管理ノード２０へ送信する。ただし、管理ノード２０への学習済みの機械学習モデルの送信は、計算ノード１０のいずれかの学習実行部１０３が行えばよい。

【0032】

異常検知部１０４は、学習実行部１０３による機械学習の開始時に、学習実行部１０３及び１１３の動作の監視を開始する。これにより、異常検知部１０４は、プロセッサ１０２及び１１２の双方が実行する機械学習プロセスの状態監視を開始する。ここで、異常検知部１０４は、少なくとも共有メモリ１２０をプロセッサ１０２と共有するプロセッサ１１２における機械学習プロセスの状態監視を行えばよく、プロセッサ１０２における機械学習プロセスの状態監視は行わなくてもよい。そして、異常検知部１０４は、順伝播学習、逆伝播学習及びパラメータ更新処理を含む一連の機械学習において、個別メモリ１０１や個別メモリ１１１の障害などによる機械学習プロセスのプロセス異常の発生の検知を行う。

【0033】

学習実行部１１３による順伝播学習の実施中にプロセッサ１１２が実行する機械学習プロセスのプロセス異常を検知した場合、異常検知部１０４は、プロセッサ１１２が実行する機械学習プロセスのデータを共有メモリ１２０から取得する。機械学習プロセスのデータには、順伝播の損失の情報、逆伝播の勾配の情報、並びに、オプティマイザー状態及びモデルパラメータが含まれる。次に、異常検知部１０４は、プロセッサ１１２が実行する機械学習プロセスのデータ及び機械学習モデルを用いて、異常発生時点に最も近い順伝播学習、逆伝播学習又はパラメータ更新処理の完了時点での機械学習モデルのスナップショットを生成する。以下では、異常発生時点に最も近い順伝播学習、逆伝播学習又はパラメータ更新処理の完了時点、すなわち共有メモリ１２０に最後にデータが格納された時点を、「異常発生の直近の時点」と呼ぶ。

【0034】

また、異常検知部１０４は、プロセッサ１０２が実行する機械学習プロセスのデータを共有メモリ１２０から取得して、スナップショットを取得する。その後、異常検知部１０４は、プロセッサ１０２及１１２のそれぞれにおける異常発生の直近の時点での機械学習モデルのスナップショットをストレージ装置３０に格納する。この場合、他の計算ノード１０における異常検知部１０４及び１１４も、それぞれに対応するプロセッサ１０２及び１１２における異常発生の直近の時点の機械学習モデルのスナップショットを取得してストレージ装置３０に格納する。

【0035】

その後、例えば、異常検知部１０４は、プロセッサ１１２の学習実行部１１３が実行する機械学習プロセスでのプロセス異常の発生を管理ノード２０に通知する。管理ノード２０は、通知を受けて、異常発生の直近の時点での各機械学習プロセスにおける機械学習モデルのスナップショットをストレージ装置３０から取得する。そして、管理ノード２０は、取得したそれぞれのスナップショットを各計算ノード１０に送信して、各計算ノード１０に機械学習を異常発生の直近の時点から再開させる。

【0036】

ここで、順伝播学習、逆伝播学習及びパラメータ更新処理が「第１処理」の一例にあたる。そして、順伝播学習を「第１処理」とした場合、逆伝播学習が「第２処理」の一例にあたる。また、逆伝播学習を「第１処理」とした場合、パラメータ更新処理が「第２処理」の一例にあたる。また、パラメータ更新処理を「第１処理」とした場合、順伝播学習が「第２処理」の一例にあたる。

【0037】

図２は、順伝播学習、逆伝播学習及びパラメータ更新処理における処理結果の共有メモリへの登録の概要を示す図である。次に、図２を参照して、順伝播学習、逆伝播学習及びパラメータ更新処理における学習実行部１０３の動作をまとめて説明する。

【0038】

ここでは、計算ノード１０Ａ及び１０Ｂについて説明する。計算ノード１０Ａは、共有メモリ１２０Ａ、個別メモリ１０１Ａ及び１１１Ａ、並びに、プロセッサ１０２Ａ及び１１２Ａを有する。また、計算ノード１０Ｂは、共有メモリ１２０Ｂ、個別メモリ１０１Ｂ及び１１１Ｂ、並びに、プロセッサ１０２Ｂ及び１１２Ｂを有する。

【0039】

状態２０１は、機械学習開始時の計算ノード１０Ａ及び１０Ｂの状態を示す。計算ノード１０Ａ及び１０Ｂは、機械学習モデル及び分散された学習データをそれぞれが管理ノード２０から取得する。この場合、個別メモリ１０１ＡにはデータＤ１が格納され、個別メモリ１１１ＡにはデータＤ２が格納され、個別メモリ１０１ＢにはデータＤ３が格納され、個別メモリ１１１ＢにはデータＤ４が格納される。そして、プロセッサ１０２Ａ、１１２Ａ、１０２Ｂ及び１１２Ｂは、それぞれ取得した学習データを用いて機械学習を開始する。

【0040】

状態２０２は、順伝播学習時の計算ノード１０Ａ及び１０Ｂの状態を示す。プロセッサ１０２Ａは、個別メモリ１０１Ａに格納されたデータＤ１を用いて順伝播計算を実行する。そして、プロセッサ１０２Ａは、順伝播学習の結果を含むデータＤ１’を個別メモリ１０１Ａに格納する。プロセッサ１１２Ａは、個別メモリ１１１Ａに格納されたデータＤ２を用いて順伝播計算を実行する。そして、プロセッサ１１２Ａは、順伝播学習の結果を含むデータＤ２’を個別メモリ１１１Ａに格納する。プロセッサ１０２Ｂは、個別メモリ１０１Ｂに格納されたデータＤ３を用いて順伝播計算を実行する。そして、プロセッサ１０２Ｂは、順伝播学習の結果を含むデータＤ３’を個別メモリ１０１Ｂに格納する。プロセッサ１１２Ｂは、個別メモリ１１１Ｂに格納されたデータＤ４を用いて順伝播計算を実行する。そして、プロセッサ１１２Ｂは、順伝播学習の結果を含むデータＤ４’を個別メモリ１１１Ｂに格納する。

【0041】

状態２０３は、順伝番学習終了後の計算ノード１０Ａ及び１０Ｂの状態を示す。順伝播学習が終了すると、プロセッサ１０２Ａは、順伝播学習で得られた順伝播の損失の情報を共有メモリ１２０Ａに記録してデータＭ１を保持させる。また、プロセッサ１１２Ａは、順伝播学習で得られた順伝播の損失の情報を共有メモリ１２０Ａに記録してデータＭ２を保持させる。また、プロセッサ１０２Ｂは、順伝播学習で得られた順伝播の損失の情報を共有メモリ１２０Ｂに記録してデータＭ３を保持させる。また、プロセッサ１１２Ｂは、順伝播学習で得られた順伝播の損失の情報を共有メモリ１２０Ｂに記録してデータＭ４を保持させる。

【0042】

状態２０４は、逆伝播学習時の計算ノード１０Ａ及び１０Ｂの状態を示す。プロセッサ１０２Ａは、個別メモリ１０１Ａに格納されたデータＤ１’を用いて逆伝播計算を実行する。そして、プロセッサ１０２Ａは、逆伝播学習の結果を含むデータＤ１’’を個別メモリ１０１Ａに格納する。プロセッサ１１２Ａは、個別メモリ１１１Ａに格納されたデータＤ２’を用いて逆伝播計算を実行する。そして、プロセッサ１１２Ａは、逆伝播学習の結果を含むデータＤ２’’を個別メモリ１１１Ａに格納する。プロセッサ１０２Ｂは、個別メモリ１０１Ｂに格納されたデータＤ３’を用いて逆伝播計算を実行する。そして、プロセッサ１０２Ｂは、逆伝播学習の結果を含むデータＤ３’’を個別メモリ１０１Ｂに格納する。プロセッサ１１２Ｂは、個別メモリ１１１Ｂに格納されたデータＤ４’を用いて逆伝播計算を実行する。そして、プロセッサ１１２Ｂは、逆伝播学習の結果を含むデータＤ４’’を個別メモリ１１１Ｂに格納する。

【0043】

状態２０５は、逆伝番学習終了後の計算ノード１０Ａ及び１０Ｂの状態を示す。逆伝播学習が終了すると、プロセッサ１０２Ａは、逆伝播学習で得られた逆伝播の勾配の情報を共有メモリ１２０Ａに記録してデータＭ１’を保持させる。また、プロセッサ１１２Ａは、逆伝播学習で得られた逆伝播の勾配の情報を共有メモリ１２０Ａに記録してデータＭ２’を保持させる。また、プロセッサ１０２Ｂは、逆伝播学習で得られた逆伝播の勾配の情報’を共有メモリ１２０Ｂに記録してデータＭ３’を保持させる。また、プロセッサ１１２Ｂは、逆伝播学習で得られた逆伝播の勾配の情報を共有メモリ１２０Ｂに記録してデータＭ４’を保持させる。

【0044】

状態２０６は、パラメータ更新処理時の計算ノード１０Ａ及び１０Ｂの状態を示す。プロセッサ１０２Ａ、プロセッサ１１２Ａ、１０２Ｂ及び１１２Ｂは、それぞれによる順伝播学習の結果及び逆伝播学習の結果を共有する。次に、プロセッサ１０２Ａは、共有したデータを用いて保持する機械学習モデルのパラメータを更新する。そして、プロセッサ１０２Ａは、パラメータの更新の結果を含むデータＤ１’’’を個別メモリ１０１Ａに格納する。プロセッサ１１２Ａは、共有したデータを用いて保持する機械学習モデルのパラメータを更新する。そして、プロセッサ１１２Ａは、パラメータの更新の結果を含むデータＤ２’’’を個別メモリ１１１Ａに格納する。プロセッサ１０２Ｂは、共有したデータを用いて保持する機械学習モデルのパラメータを更新する。そして、プロセッサ１０２Ｂは、パラメータの更新の結果を含むデータＤ３’’’を個別メモリ１０１Ｂに格納する。プロセッサ１１２Ｂは、共有したデータを用いて保持する機械学習モデルのパラメータを更新する。そして、プロセッサ１１２Ｂは、パラメータの更新の結果を含むデータＤ４’’’を個別メモリ１１１Ｂに格納する。

【0045】

状態２０７は、パラメータ更新処理終了後の計算ノード１０Ａ及び１０Ｂの状態を示す。パラメータ更新処理が終了すると、プロセッサ１０２Ａは、パラメータ更新処理で得られたオプティマイザー状態及びモデルパラメータを共有メモリ１２０Ａに記録して含むデータＭ１’’を保持させる。また、プロセッサ１１２Ａは、パラメータ更新処理で得られたオプティマイザー状態及びモデルパラメータを共有メモリ１２０Ａに記録してデータＭ２’’を保持させる。また、プロセッサ１０２Ｂは、パラメータ更新処理で得られたオプティマイザー状態及びモデルパラメータを共有メモリ１２０Ｂに記録してデータＭ３’’を保持させる。また、プロセッサ１１２Ｂは、パラメータ更新処理で得られたオプティマイザー状態及びモデルパラメータを共有メモリ１２０Ｂに記録してデータＭ４’’を保持させる。

【0046】

図３は、プロセス異常発生時の動作を示す図である。状態２１１は、プロセス異常が発生した計算ノード１０Ａ及び１０Ｂの状態を示す。また、状態２１２は、プロセス異常発生後の計算ノード１０Ａ及び１０Ｂの状態を示す。また、ここでは、共有メモリ１２０ＡがデータＭ１及びＭ２を保持しており、共有メモリ１２０ＢがデータＭ３及びＭ４を保持する場合で説明する。

【0047】

状態２１１に示すように、プロセッサ１１２Ｂ及び個別メモリ１１１Ｂにより実行される機械学習プロセスにプロセス異常が発生した場合で説明する。この場合、プロセッサ１１２Ｂ及び個別メモリ１１１Ｂにより実行される機械学習プロセスは停止する。

【0048】

そして、状態２１２に示すように、プロセッサ１１２Ｂとともに共有メモリ１２０Ｂを共有するプロセッサ１０２Ｂが、共有メモリ１２０Ｂに格納されたデータＭ４を取得する。そして、プロセッサ１０２Ｂは、取得したデータＭ４及び機械学習モデルを用いて機械学習モデルのスナップショットＳＳ４を生成してストレージ装置３０に格納する。また、プロセッサ１０２Ｂは、共有メモリ１２０Ｂに格納されたデータＭ３を取得する。そして、プロセッサ１０２Ｂは、取得したデータＭ３及び機械学習モデルを用いて機械学習モデルのスナップショットＳＳ３を生成してストレージ装置３０に格納する。同様に、プロセッサ１０２Ａは、共有メモリ１２０Ａに格納されたデータＭ１を取得する。そして、プロセッサ１０２Ａは、取得したデータＭ１及び機械学習モデルを用いて機械学習モデルのスナップショットＳＳ１を生成してストレージ装置３０に格納する。また、プロセッサ１１２Ａは、共有メモリ１２０Ａに格納されたデータＭ２を取得する。そして、プロセッサ１１２Ａは、取得したデータＭ２及び機械学習モデルを用いて機械学習モデルのスナップショットＳＳ２を生成してストレージ装置３０に格納する。

【0049】

このように、ある機械学習プロセスにプロセス異常が発生した場合に、他の機械学習プロセスが、完了した直近の順伝播学習、逆伝播学習又はパラメータ更新処理までのデータを用いて異常発生の直近の時点における機械学習モデルのスナップショットを生成する。これにより、並列分散機械学習システム１は、チェックポイントよりもプロセス異常の発生した時点に近い状態から機械学習を再開することができる。

【0050】

図４は、実施例に係る並列分散機械学習システムによる機械学習のフローチャートである。次に、図４を参照して、本実施例に係る並列分散機械学習システム１による機械学習の処理の流れを説明する。

【0051】

管理ノード２０は、学習を行う対象となる機械学習モデルを各計算ノード１０へ送信して分配する（ステップＳ１０１）。

【0052】

次に、管理ノード２０は、利用者から学習データの入力を受ける（ステップＳ１０２）。

【0053】

そして、管理ノード２０は、学習データを分けて各計算ノード１０に分散配布する（ステップＳ１０３）。

【0054】

異常検知部１０４は、共有メモリ１２０を共有する学習実行部１１３により実行される機械学習プロセスの状態監視を開始する（ステップＳ１０４）。

【0055】

学習実行部１０３は、機械学習モデル及び学習データを用いて順伝播計算を行って順伝播学習を実施する（ステップＳ１０５）。

【0056】

異常検知部１０４は、学習実行部１１３による順伝播学習の実施中に、プロセッサ１１２により実行される機械学習プロセスのプロセス異常を検知したか否かを判定する（ステップＳ１０６）。プロセス異常が検知された場合（ステップＳ１０６：肯定）、機械学習の処理は、ステップＳ１１３へ進む。

【0057】

これに対して、プロセス異常が検知されない場合（ステップＳ１０６：否定）、順伝播学習の完了後、学習実行部１０３は、順伝播学習で得られた結果である順伝播の損失の情報を共有メモリ１２０に記録する（ステップＳ１０７）。

【0058】

次に、学習実行部１０３は、機械学習モデル及び順伝播学習の結果を用いて逆伝播計算を行って逆伝播学習を実施する（ステップＳ１０８）。

【0059】

異常検知部１０４は、学習実行部１１３による逆伝播学習の実施中に、プロセッサ１１２により実行される機械学習プロセスのプロセス異常を検知したか否かを判定する（ステップＳ１０９）。プロセス異常が検知された場合（ステップＳ１０９：肯定）、機械学習の処理は、ステップＳ１１３へ進む。

【0060】

これに対して、プロセス異常が検知されない場合（ステップＳ１０９：否定）、逆伝播学習の完了後、学習実行部１０３は、逆伝播学習で得られた結果である逆伝播の勾配の情報を共有メモリ１２０に記録する（ステップＳ１１０）。

【0061】

次に、学習実行部１０３は、自ノードにおける学習実行部１１３及び他の計算ノード１０における学習実行部１０３及び１１３との間で通信を行い、順伝播学習及び逆伝播学習の結果を共有する。その後、学習実行部１０３は、共有した順伝播学習及び逆伝播学習の結果を用いて、機械学習モデルのモデルパラメータの更新などのパラメータ更新処理を実施する（ステップＳ１１１）。

【0062】

異常検知部１０４は、学習実行部１１３によるパラメータ更新処理の実施中に、プロセッサ１１２により実行される機械学習プロセスのプロセス異常を検知したか否かを判定する（ステップＳ１１２）。プロセス異常が検知された場合（ステップＳ１１２：肯定）、機械学習の処理は、ステップＳ１１３へ進む。

【0063】

ここで、プロセス異常が検知された場合（ステップＳ１０６、Ｓ１０９又はＳ１１２：肯定）、異常検知部１０４は、異常が発生したプロセッサ１１２が実行する機械学習プロセスのデータを共有メモリ１２０から取得する（ステップＳ１１３）。例えば、順伝搬学習実施中にプロセス異常を検知した場合には、異常検知部１０４は、現在のサイクルよりもひとつ前のサイクルのオプティマイザー状態及びモデルパラメータに関するデータを取得する。また、異常検知部１０４は、逆伝搬学習実施中にプロセス異常を検知した場合には順伝播の損失に関するデータを、パラメータ更新処理実施中にプロセス異常を検知した際には逆伝播の勾配に関するデータを共有メモリ１２０から取得する。なお、１回目のサイクルにおける順伝搬学習の実施中にプロセス異常を検知した場合には、当該機械学習プロセスのデータが共有メモリ１２０に登録されていないため、機械学習の処理は、ステップＳ１０３に戻る。

【0064】

次に、異常検知部１０４は、プロセッサ１１２が実行していた機械学習プロセスのデータ及び機械学習モデルを用いて、異常発生の直近の時点でのプロセッサ１１２における機械学習モデルのスナップショットを生成する。また、異常検知部１０４は、プロセッサ１０２が実行する機械学習プロセスのデータを共有メモリ１２０から取得して、プロセッサ１０２における機械学習プロセスのスナップショットを生成する。その後、異常検知部１０４は、プロセッサ１０２及１１２のそれぞれが保持していた機械学習モデルのスナップショットをストレージ装置３０に保存する。また、他の計算ノード１０における異常検知部１０４及び１１４も、それぞれに対応するプロセッサ１０２及び１１２のそれぞれにおける機械学習モデルのスナップショットを生成してストレージ装置３０に保存する。すなわち、並列分散機械学習システム１は、異常が発生した機械学習プロセスのデータと他の機械学習プロセスのデータとを合わせて、それぞれのスナップショットを生成してストレージ装置３０に保存する（ステップＳ１１４）。その後、機械学習の処理は、ステップＳ１２０へ進む。

【0065】

これに対して、プロセス異常が検知されない場合（ステップＳ１１２：否定）、パラメータ更新処理の完了後、学習実行部１０３は、パラメータ更新処理の結果であるオプティマイザー状態及びモデルパラメータを共有メモリ１２０に記録する（ステップＳ１１５）。

【0066】

学習実行部１０３は、順伝播学習、逆伝播学習及びパラメータ更新処理が完了すると、チェックポイント保存サイクルが到来したか否かを判定する（ステップＳ１１６）。

【0067】

チェックポイント保存サイクルが到来していない場合（ステップＳ１１６：否定）、機械学習の処理は、ステップＳ１１８へ進む。

【0068】

これに対して、チェックポイント保存サイクルが到来した場合（ステップＳ１１６：肯定）、学習実行部１０３は、生成した機械学習モデルのスナップショットをストレージ装置３０へ保存する（ステップＳ１１７）。なお、ｎ回目以降（ｎ≧２）のサイクルにおいて、順伝搬学習の実施中にプロセス異常を検知した場合に、ｎ－１回目のサイクルの学習実施後のスナップショットがストレージ装置３０に保存されている場合には、異常検知部１０４は、当該スナップショットを取得してもよい。

【0069】

その後、学習実行部１０３は、機械学習の最終サイクルが到来したか否かを判定する（ステップＳ１１８）。機械学習の最終サイクルが到来していない場合（ステップＳ１１８：否定）、機械学習の処理は、ステップＳ１０３へ戻る。

【0070】

これに対して、機械学習の最終サイクルが到来した場合（ステップＳ１１８：肯定）、学習実行部１０３は、機械学習を終了する。その後、学習実行部１０３は、学習済みの機械学習モデルのデータを管理ノード２０へ送信する（ステップＳ１１９）。

【0071】

その後、学習実行部１０３は、共有メモリ１２０を解放する（ステップＳ１２０）。

【0072】

ここで、本実施形態では、並列分散機械学習システム１は、１つの機械学習プロセスにプロセス異常が発生した場合に、全ての機械学習プロセスを停止して、スナップショット生成された時点から学習を再開するとした。ただし、これに限らず、並列分散機械学習システム１は、プロセス異常が発生していない機械学習プロセスは停止せずに、プロセス異常が発生した機械学習プロセスを立ち上げ直してもよい。その場合、学習実行部１０３は、直近の時点で生成されたスナップショットを用いて、そのスナップショットが生成された時点から学習を再開させてもよい。また、その場合、学習実行部１０３は、共有メモリ１２０に格納されたデータを用いて学習を再開することも可能である。

【0073】

さらに、本実施例では、プロセス異常の場合を例に説明したが、プロセッサ１０２や１１２に異常が発生した場合にも、学習実行部１０３は、直近の時点で生成されたスナップショットを用いて機械学習を再開することが可能である。

【0074】

以上に説明したように、本実施例に係る並列分散機械学習システムにおける各機械学習プロセスは、順伝播学習、逆伝播学習及びパラメータ更新処理のそれぞれの終了後にそれまでの機械学習で得られたデータを共有メモリに格納する。そして、特定の機械学習プロセスでプロセス異常が発生した場合、特定の機械学習プロセスと共有メモリを共有する機械学習プロセスが、共有メモリからプロセス異常が発生した特定の機械学習プロセスのデータを取得する。そして、特定の機械学習プロセスと共有メモリを共有する機械学習プロセスは、取得したデータから異常発生の直近の時点でのスナップショットを生成して外部ストレージに格納する。この際、プロセス異常が発生していない他の機械学習プロセスについても、同じ異常発生の直近の時点でのスナップショットが生成されて外部ストレージに格納される。

【0075】

これにより、並列分散機械学習システムは、プロセス異常が発生した時点から最も近い順伝播学習、逆伝播学習又はパラメータ更新処理の終了時点から機械学習を再開することができる。したがって、チェックポイントを多数設けてスナップショットを大量に保存せずに、プロセス異常が発生した時点にチェックポイントよりも近い時点から機械学習を再開することができ、全体的な学習時間の短縮及びコスト削減が可能となる。すなわち、機械学習の学習効率を向上させることができる。

【0076】

（ハードウェア構成）
図５は、コンピュータのハードウェア構成図である。図１に示した計算ノード１０は、例えば、図５に示すコンピュータ９０により実現される。コンピュータ９０は、図５に示すように、ＣＰＵ（Central Processing Unit）９１及び９２、メモリ９３～９５、ハードディスク９６及びネットワークインタフェース９７を有する。ＣＰＵ９１及び９２は、バスを介して、メモリ９３～９５、ハードディスク９６及びネットワークインタフェース９７に接続される。

【0077】

ネットワークインタフェース９７は、コンピュータ９０と外部装置との通信のためのインタフェースである。ネットワークインタフェース９７は、例えば、ＣＰＵ９１及び９２と他の計算ノード１０や、管理ノード２０や、ストレージ装置３０との間の通信を中継する。

【0078】

ハードディスク９６は、補助記憶装置である。ハードディスク９６は、図１に例示した、学習実行部１０３及び１１３、並びに、異常検知部１０４及び１１４の機能を実現するプログラムを含む各種プログラムを格納する。

【0079】

メモリ９３～９５は、主記憶装置である。メモリ９２～９５は、例えば、ＤＲＡＭ（Dynamic Random Access Memory）を用いることができる。メモリ９３は、図１に例示した個別メモリ１０１の機能を実現する。また、メモリ９４は、図１に例示した個別メモリ１１１の機能を実現する。また、メモリ９５は、図１に例示した共有メモリ１２０の機能を実現する。また、メモリ９３～９５は、１つのメモリにおける異なる領域であってもよい。

【0080】

ＣＰＵ９１は、図１に例示したプロセッサ１０２の一例にあたる。ＣＰＵ９１は、ハードディスク９６から各種プログラムを読み出してメモリ９３に展開して実行する。これにより、ＣＰＵ９１は、図１に例示した、学習実行部１０３及び異常検知部１０４の機能を実現することができる。

【0081】

ＣＰＵ９２は、図１に例示したプロセッサ１１２の一例にあたる。ＣＰＵ９２は、ハードディスク９６から各種プログラムを読み出してメモリ９４に展開して実行する。これにより、ＣＰＵ９２は、図１に例示した、学習実行部１１３及び異常検知部１１４の機能を実現することができる。

【符号の説明】

【0082】

１ 並列分散機械学習システム
１０ 計算ノード
２０ 管理ノード
３０ ストレージ装置
１０１、１１１ 個別メモリ
１０２、１１２ プロセッサ
１０３、１１３ 学習実行部
１０４、１１４ 異常検知部
１２０ 共有メモリ

【図1】

【図2】

【図3】

【図4】

【図5】