特開 2024-178811 情報処理装置、学習方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024178811

(43)【公開日】2024-12-25

(54)【発明の名称】情報処理装置、学習方法、及びプログラム

(51)【国際特許分類】

   G06N 3/098 20230101AFI20241218BHJP

【ＦＩ】

G06N3/098

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023097239

(22)【出願日】2023-06-13

(71)【出願人】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(71)【出願人】

【識別番号】304021417

【氏名又は名称】国立大学法人東京科学大学

(74)【代理人】

【識別番号】110004381

【氏名又は名称】弁理士法人ＩＴＯＨ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100124844

【弁理士】

【氏名又は名称】石原 隆治

(72)【発明者】

【氏名】丹羽 健太

(72)【発明者】

【氏名】澤田 宏

(72)【発明者】

【氏名】藤野 昭典

(72)【発明者】

【氏名】原田 登

(72)【発明者】

【氏名】横田 理央

(72)【発明者】

【氏名】石井 央

(57)【要約】

【課題】分散学習において、高速に合意形成に至ることを可能とする技術を提供する。
【解決手段】複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する受信部と、前記変数を用いて、前記モデルのモデルパラメータを更新する更新部とを備える。
【選択図】図４

【特許請求の範囲】

【請求項1】

複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、
正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する受信部と、
前記変数を用いて、前記モデルのモデルパラメータを更新する更新部と
を備える情報処理装置。

【請求項2】

前記ノードをｉ番目のノードとし、前記隣接ノードをｊ番目のノードとし、前記ノードにおける正定値行列をＧ_ｉ｜ｊと表し、前記隣接ノードにおける正定値行列をＧ_ｊ｜ｉと表した場合に、Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉを満たす
請求項１に記載の情報処理装置。

【請求項3】

前記更新ルールに従って前記更新部により更新した変数を前記隣接ノードに送信する送信部
を更に備える請求項１に記載の情報処理装置。

【請求項4】

前記モデルパラメータの更新のための更新ルールは、モデルパラメータを、平均化された正定値行列の逆行列を勾配に乗算した項を含む式で更新するルールである
請求項１に記載の情報処理装置。

【請求項5】

前記更新部は、K-FAC（Kronecker Factored Approximate Curvature）により近似されたガウス・ニュートン行列を用いて前記正定値行列を更新する
請求項１に記載の情報処理装置。

【請求項6】

前記更新部は、前記モデルの確率的勾配の計算を前記モデルのレイヤーごとに行う、又は、前記正定値行列の更新を前記モデルのレイヤーごとに行う
請求項５に記載の情報処理装置。

【請求項7】

複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置が実行する学習方法であって、
正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する受信ステップと、
前記変数を用いて、前記モデルのモデルパラメータを更新する更新ステップと
を備える学習方法。

【請求項8】

コンピュータを、請求項１ないし６のうちいずれか１項に記載の情報処理装置における各部として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、分散学習に関連するものである。

【背景技術】

【0002】

近年、ニューラルネットワーク等のモデルは画像処理や自然言語処理など様々な分野で大きな注目を集めている。モデルを学習するためには、通常、大量の学習データを収集する必要がある。

【0003】

しかし、プライバシーの問題等のために、個人情報を含む学習データを単一のサーバ（ノード）上に収集することは困難である。このようなケースを考慮して、任意にネットワーク接続できる複数のノードにデータを分散させて蓄積し、全データを高い認識率で識別できるようなモデル（例えばニューラルネットワークのモデル）の学習を実現することが検討されている（例えば非特許文献１）。上記の学習は分散学習（Decentralized learning）と呼ばれる。

【0004】

分散学習においては、複数のノード間でどのような合意形成をしながら学習をしたらよいかのアルゴリズムを構築することが研究の主題となっている。合意形成に至るまでに、ノード間の通信回数や通信する情報量が少なく、高速に合意形成に至るような分散学習のアルゴリズムとして性能が良いと言える。

【0005】

非特許文献１には、エッジコンセンサス学習（ECL：Edge-consensus learning）と呼ばれる分散学習の技術が開示されている。

【0006】

ECLのメリットは、ノードに蓄積されるデータサブセットの統計的な偏り（heterogeneity、不均一性）に対してロバストに学習できる点である。これは、ノード間のモデルが一致するという合意形成型の制約下でコスト最小化問題を解いていることに起因する。

【先行技術文献】

【非特許文献】

【0007】

【非特許文献1】Niwa, K., Harada, N., Zhang, G., and Kleijn, W. B. Edge-consensus learning: Deep learning on P2P networks with nonhomogeneous data. In Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, pp. 668-678, 2020.

【非特許文献2】Martens, J. and Grosse, R. Optimizing neural networks with kronecker-factored approximate curvature. In In-ternational conference on machine learning, pp. 2408-2417. PMLR, 2015

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１に開示されたECLは一次収束のアルゴリズムである。そのため、合意形成に至り、モデルの学習が完了するまでにノード間の通信回数が大きくなる。またECLでは、１回あたりの通信で、モデルのサイズとおおよそ同等のサイズの情報（具体的には双対変数）をノード間で交換する必要があり、通信量が大きい。分散学習における通信コストが計算量や実行時間の大半を占めており、分散学習の高速化のために、この通信コストを下げる必要がある。なお、このような課題はECLに限らずに、他の分散学習においても生じ得る課題である。

【0009】

本発明は上記の点に鑑みてなされたものであり、分散学習において、高速に合意形成に至ることを可能とする技術を提供することを目的とする。

【課題を解決するための手段】

【0010】

開示の技術によれば、複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、
正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する受信部と、
前記変数を用いて、前記モデルのモデルパラメータを更新する更新部と
を備える情報処理装置が提供される。

【発明の効果】

【0011】

開示の技術によれば、高速に合意形成に至るような分散学習を実現できる。

【図面の簡単な説明】

【0012】

【図1】分散学習システムの全体構成例を示す図である。

【図2】ネットワークトポロジの例を示す図である。

【図3】ノードｉにおける更新手順を示す図である。

【図4】実験結果を示す図である。

【図5】実験結果を示す図である。

【図6】実験結果を示す図である。

【図7】実験結果を示す図である。

【図8】実験結果を示す図である。

【図9】ノード（情報処理装置）の構成図である。

【図10】情報処理装置のハードウェア構成例を示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

【0014】

以下、分散学習における高速化のために、二次最適化した分散学習アルゴリズムである自然勾配主双対法(NGPD: Natural Gradient Primal-Dual method)について説明する。NGPDは、非特許文献１に開示されたECLをベースとした新しい分散学習技術であり、ECLの二次最適化版に相当する。

【0015】

なお、以下の本実施の形態では、ECLをベースとしたNGPDについて説明するが、本発明に係る技術は、NGPDをベースとした分散学習に限らず、その他の分散学習にも適用可能である。

【0016】

（システム全体構成例）
図１に、本実施の形態における分散学習システムの全体構成例を示す。図１に示すように、本システムは、複数のノード１００がネットワーク２００に接続された構成を備える。ノード間では、ネットワーク２００を介して通信が可能となっている。ネットワーク２００はどのようなネットワークでもよいが、例えばインターネット等のＩＰネットワークである。

【0017】

各ノード１００は、通信機能を持つコンピュータ（情報処理装置と呼んでもよい）である。当該コンピュータは、物理マシンでもよいし、クラウド上に構築した仮想マシンでもよい。また、複数のノード１００のうちのいずれか又は全部が、エッジコンピューティングにおけるエッジ装置であってもよい。また、複数のノード１００のうちのいずれか又は全部が、ＩｏＴ機器であってもよい。

【0018】

各ノード１００が、他のノード１００との間で情報（例えば双対変数）を送受信（交換）することで、モデルの学習がなされる。当該モデルの種類には限定はなく、ニューラルネットワークでもよいし、ニューラルネットワーク以外のモデルでもよい。ただし、本実施の形態では、ニューラルネットワークのモデルを使用することを想定している。

【0019】

複数のノード１００はどのようなトポロジで接続されてもよい。当該トポロジは、例えば、図２に示すような、（ａ）チェイン、（ｂ）リング、（ｃ）多重リング、（ｄ）完全連結グラフのうちのいずれの形であってもよい。また、当該トポロジは、これら以外の形であってもよい。

【0020】

以下、各ノード１００が、モデル学習のために実行する処理（アルゴリズム）を説明する。

【0021】

なお、記載の便宜上、本明細書のテキスト（画像イメージではないテキスト）において、一般的には太字で示されるベクトルや行列の文字を、通常の字体で示している。通常の字体でも、文脈から、それがベクトルや行列を示す文字であることは明らかである。その他、集合を表す文字についても、明細書のテキストにおいては通常の字体を使用する。また、明細書のテキストにおいて、文字の頭上に置くことを意図した記号を、文字の左上に記載している（例：^－θ）。本実施の形態において使用している記号をまとめたもの（Table 1）を図３に示す。

【0022】

（Ａ：実施の形態の概要）
上述した自然勾配主双対法（NGPD）法の説明の概要を説明する。

【0023】

＜Ａ－１：NGPDの定式化と理論的な収束解析＞
後述する「Ｃ：提案手法」において説明するとおり、本実施の形態では、主双対分散学習アルゴリズム（ECL）を再形式化することからはじめ、自然勾配形式（Grosse, R. Second-order optimization. https://www.cs.toronto.edu/ rgrosse/courses/csc2541 2021/.）に従う、関数空間近接（FSP）項を追加することで制約付き損失和最小化問題を解く。このFSP項は、パラメータの更新によりDNN出力値が急激に変化しないことを保証する役割を持つ。

【0024】

また、この制約付き損失和最小化問題を解くためのNGPD更新ルールを導出し、NGPDの平均化パラメータ（すべてのローカルノードパラメータの平均）の振る舞いを説明した後、その理論的な収束解析について説明する。いくつかの前提条件の下で、分類または回帰タスクのための全体最小化への平均化パラメータの収束が示される。なお、更新ルールを「更新則」と呼んでもよい。

【0025】

＜Ａ－２：実用的なアルゴリズムの実装＞
後述する「Ｄ：K-FACを使用した実用的な実装」において説明するとおり、本実施の形態で提案するNGPD法では、前処理行列（ガウス・ニュートン行列）の更新が含まれているが、提案手法を実用的にするためには、計算複雑性を大幅に削減する必要がある。本実施の形態では、ガウス・ニュートン行列のさらなる近似を用いる（又は用いない）K-FAC（Kronecker Factored Approximate Curvature）（非特許文献２）を用いて、２つのアルゴリズム形式（NGPD形式１と２）を示す。特に、ガウス・ニュートン行列のさらなる近似を含むNGPD形式２が、既存の一次分散学習アルゴリズムのように計算複雑性を増加させることなく、二次最適化の効果を実現できるアルゴリズムであることが実験的に確認されている。

【0026】

＜Ａ－３：実験的検証＞
後述する「Ｅ：数値実験」において説明するとおり、本実施の形態において、画像分類ベンチマークテストを用いて実験的な検証を行った。不均一なデータ割り当てを持つDNNs（おそらく悪条件な曲率をもつ）を用いた損失関数の下では、NGPD法で最高のテスト精度が得られた。特に、NGPD形式２は実用的な実装である。我々の数値実験では、既存の一次分散学習アルゴリズムと比較して学習時間の顕著な増加は見られなかった。

【0027】

＜Ａ－４：問題設定等＞
以下、問題設定、表記、及び、本実施の形態の説明で使用される記号について説明する。

【0028】

同期分散ネットワーク：
Ｖ個のローカルノードの集合Ｖが接続され、任意のグラフＧ（Ｖ，Ｅ）を構成する。ここで集合ＥはＥ個の単方向エッジの集合である。ｉ番目のノードに接続された隣接ノードのインデックス集合はＥ_ｉ＝｛ｊ∈Ｖ｜（ｉ，ｊ）∈Ｅ｝である。

【0029】

集合の濃度は要素の数を表す。すなわち、Ｖ＝｜Ｖ｜、Ｅ＝｜Ｅ｜、Ｅ_ｉ＝｜Ｅ_ｉ｜、およびΣ^Ｖ _ｉ＝１Ｅ_ｉ＝２Ｅとなる。Ｖ個のローカルノードの計算性能が似ていると仮定すると、各通信ラウンド｛１，．．，Ｒ｝∈ｒでＫ（≧１）回のローカル更新が行われる。ローカルパラメータとその補助変数の送信のために、接続されたノード間でのみ同期メッセージパッシングが可能である。本実施の形態におけるアルゴリズムでは、一例として、単一のローカル更新（Ｋ＝１）を想定しているが、複数回のローカル更新（Ｋ＞１）を行ってもよい。

【0030】

不均一なデータサブセット：
本実施の形態において、教師あり学習タスク（例えば、画像分類タスク）を解くことを想定すると、ｉ番目のローカルノードにおける入力とラベルのペアからなるデータサブセットは｛ｘ_ｉ，ｔ_ｉ｝と表される。データはローカルノード間で統計的に不均一であり、Ｐｒ（ｘ_ｉ，ｔ_ｉ）≠Ｐｒ（ｘ_ｊ，ｔ_ｊ）（ｉ≠ｊ）である。「Ｅ：数値実験」においては、不均一なデータサブセットは、指定された濃度パラメータに従ってディリクレ分布に従う「Ｄ＝Σ^Ｖ _ｉ＝１Ｄ_ｉ」個のデータサンプルを合成的に割り当てることで準備される。

【0031】

非凸損失関数：
本実施の形態では、教師あり学習タスクを解くためにＤＮＮｓ ｆ_ｉを用いる。ニューラルネットワークのアーキテクチャはＶ個のローカルノード全体で共通であり、損失関数はパラメータ空間の任意の点で微分可能である。図３にまとめられているように、｛θ_１，...，θ_Ｖ｝はニューラルネットワークのローカルパラメータの集合を表す。ローカルのＤＮＮの出力がｙ_ｉ＝ｆ_ｉ（θ_ｉ，ｘ_ｉ）と表されるとき、非凸損失関数は次の式（１）により定義される。

【0032】

【数1】

記号を明確に区別するために、ローカルの全勾配（full gradient）は∇Ｌ_ｉ（θ_ｉ）と表し、確率的データサンプリング｛ζ_ｉ，τ_ｉ｝～｛ｘ_ｉ，ｔ_ｉ｝を用いたローカルの確率的勾配は∇Ｌ_ｉ（θ_ｉ，ζ_ｉ，τ_ｉ）と表す。

【0033】

（Ｂ：主双対法について）
「Ｃ：提案手法」において説明するNGPD更新規則の定式化の準備として、既存の主双対法であるECL (非特許文献１)の概要を説明する。教師あり分散学習のために、線形制約付き損失和最小化が下記のように定式化される：

【0034】

【数2】

ここで、｛Ａ_ｉ｜ｊ，Ａ_ｊ｜ｉ｝＝｛Ｉ，－Ｉ｝（ｉ∈Ｖ，ｊ∈Ｅ_ｉ）は、逆の符号が付けられた単位行列から成る制約パラメータを表す。図３にまとめられているように、スタックされた記法は、ｉ番目のローカルノードの接続要素Ａ_ｉ｜ｊ（ｊ∈Ｅ_ｉ）を含むローカル制約パラメータ集合Ａ_ｉを指す。ここで、Ｖ個のローカルノード全体の制約パラメータはＡで表される。

【0035】

ECLでは、非凸損失関数Ｌ_ｉは、現在のパラメータθ^{（ｃｕｒ）} _ｉを用いて凸関数により下記のように近似される。

【0036】

【数3】

ここでμ（＞０）である。したがって、制約付き凸最小化問題（主問題（２）に近似される）をその双対問題により解くことは自然なことである。非特許文献１に記載のように、双対変数の組｛ν_ｉ｜_ｊ，ν_ｊ｜_ｉ｝は、式（２）の線形制約（Ａ_ｉ｜ｊθ_ｉ＋Ａ_ｊ｜ｉθ_ｊ＝０）として使用される。それらはν_ｉ｜ｊ＝ν_ｊ｜ｉ（ｊ∈Ｅ_ｉ）となるように制約されている。各ローカルノードがν_ｉ（ν_ｉ｜_ｊ（ｊ∈Ｅ_ｉ）を含む）にアクセスでき、Ｖ個のローカルノード全体のすべての双対変数がνにスタックされると、双対問題は次のように与えられる。

【0037】

【数4】

ここで、凸共役関数は下記の式によって与えられる。

【0038】

【数5】

Ｐは接続されたローカルノード間のメッセージパッシングのための置換行列を表し、指示関数ι_{ｋｅｒ（Ｉ－Ｐ）}は双対変数制約ν_ｉ｜ｊ＝ν_ｊ｜ｉを満たすときにゼロになる。これは（Ｉ－Ｐ）ν＝０と等価であり、それ以外の場合、それは＋∞を取る。式（３）から、全体的な損失関数は不釣り合いな（ill-matched）２つの項である「平滑凸項＋非平滑凸項」から成ることがわかる。

【0039】

双対問題（３）を解くために、２つの演算子が定義される。それらのうちの１つは、最初の項の微分である下記の演算子である。

【0040】

【数6】

もう１つは、二つ目の項の劣微分、Ｍ_２（ν）＝∂ι_{ｋｅｒ（Ｉ－Ｐ）}（ν）である。双対変数の定常点ν^＊は下記の式（４）に示すようにゼロを含む。

【0041】

【数7】

この定常点条件は二つの不釣り合いな項で構成されているため、式（４）に演算子分割（例えば、Douglas-Rachford splitting（Douglas, J. and Rachford, H. H. On the numerical solution of heat conduction problems in two and three space variables. Transactions of the American mathematical Society, 82(2):421-439, 1956））を適用することは有効である。これは、よく知られたAlternating Direction Method of Multipliers（ADMM）の導出に似ている。正規化された双対変数ν´＝（１／η）νを使用する場合（ηにおけるη_ｉ｜ｊ（＞０）はη_ｉ｜ｊ＝η_ｊ｜ｉに制約されている）、ECL更新規則（Douglas-Rachford splittingを用いる）に従うノード１００は、各通信ラウンドで、（ｉ）ローカルパラメータの更新と（ｉｉ）メッセージパッシングを交互に行う。すなわち、ECL更新ルールは、下記の式（５）により示されるものである。

【0042】

【数8】

ここでｕ´_ｉ｜ｊはメッセージパッシングのための双対変数（ν´_ｉ｜ｊの補助変数）であり、最終行でν_ｉ｜ｊ＝ν_ｊ｜ｉが満たされる。式（５）におけるθ_ｉの更新ルールは、下記の式（６）に示す閉形式で解くことができる。

【0043】

【数9】

ここで、下記の式が成り立つ。

【0044】

【数10】

後述する「Ｅ：数値実験」においては、θ_ｉの更新ルールは完全勾配∇Ｌ_ｉ（_ｉ）の代わりに確率的勾配∇Ｌ_ｉ（θ_ｉ，ξ_ｉ，τ_ｉ）を使用し、各通信ラウンドでＫ回のローカル更新を行う。

【0045】

式（６）からわかるように、θ_ｉの更新ルールは１次最適化である。収束するためには多くの通信ラウンドが必要であり、これは分散学習にとって課題である。

【0046】

以下、本実施の形態における提案手法を説明する。提案手法では、自然勾配形式（２次最適化）をECLに組み込み、ローカルパラメータの最適化軌跡を滑らかにし、より少ない数の通信ラウンドでより速い定常点への収束を実現する。

【0047】

（Ｃ：提案手法）
提案手法であり、分散学習のためのNGPD法を説明する。「Ｃ－１」では、Function Space Proximity (FSP)項を導入することによる、主問題（式（２））および双対問題（式（３））の自然勾配版の定式化について説明する。FSP項により、ニューラルネットワークの出力の正則化を制約し、パラメータ更新により出力値が急激に変化しないようにしている。「Ｃ－２」では、ガウス・ニュートン行列を用いてパラメータ空間のメトリックを修正して、双対問題の自然勾配版を解くことでNGPD更新ルールを導出する。「Ｃ－３」では、下記の式で示される平均化系列を説明する。

【0048】

【数11】

＜Ｃ－１：主／双対問題の自然勾配版＞
主問題（式（２））およびその双対問題（式（３））を自然勾配形式に変換するために、まずFSPを追加する。これにより、ローカルモデルパラメータが更新されたときの関数出力の急激な変化が抑制される。現在のローカルパラメータθ^{（ｃｕｒ）} _ｉを用いた現在の関数出力をｙ^{（ｃｕｒ）} _ｉ＝ｆ_ｉ（θ^{（ｃｕｒ）} _ｉ，ｘ_ｉ）と表記し、ローカルパラメータが更新された後の関数出力をｙ_ｉ＝ｆ_ｉ（θ_ｉ，ｘ_ｉ）と表記する。FSP項は、それらの差の二乗Ｌ_２ノルムにより定義される。主問題の自然勾配版は次の式（７）により与えられる。

【0049】

【数12】

第１の非凸項Ｌ_ｉ（θ_ｉ）に対して、ECLにおける二次関数＾Ｌ_ｉ（θ_ｉ）により、一次近似が使用される。第２のFSP項については、プルバックテクニックを用いる。この項はローカルパラメータ｛θ_ｉ，θ^{（ｃｕｒ）} _ｉ｝とローカルのガウス・ニュートン行列^－Ｇ_ｉを使用してマハラノビス距離により近似できる。二つの項の和は下記の式（８）として近似できる。

【0050】

【数13】

ここで、正定値行列^－Ｇ_ｉは、下記に示すローカルのヤコビアン共分散行列の加重混合として定義される。

【0051】

【数14】

これにより、接続されるローカルノード（ｉ，ｊ∈Ｅ_ｉ）におけるニューラルネットワーク出力を緩和させ、パラメータ更新後に出力値が急激に変化しないようにすることができる。下記の式の加重混合には曖昧性がある。

【0052】

【数15】

そして、そのことが更新ルールの単純化に影響を与える。－Ｇｉの設計については「Ｃ－２」で説明する。

【0053】

本実施の形態におけるNGPD法の主問題は、次のように定式化される。

【0054】

【数16】

対応する双対問題は次のように与えられる。

【0055】

【数17】

ここでＱ^＊ _ｉはＱ_ｉの凸共役関数を表す。ECLの主問題（式（３））との唯一の違いは、Ｑ^＊ _ｉにおけるFSP項である。以下では、自然勾配形式に従う、式（１０）を解くための更新ルールの導出を説明する。

【0056】

＜Ｃ－２：NGPD更新ルールの導出＞
ここでは、NGPD更新ルールの導出について説明する。この目的のために、式（１０）の最初の項の微分は下記で定義される。

【0057】

【数18】

二つ目の項の劣微分は下記のとおりである。

【0058】

【数19】

定常点ν^＊は下記を満たす。

【0059】

【数20】

ただし、予備的な調査によれば、この定常点条件を単純に解くと、ガウス・ニュートン行列の乗算が何度も使われるような複雑な更新ルールになることがわかる。そこで、定常条件を変えずに更新ルールを簡略化するために、それを、正定値行列Ｇを使用して修正する。当該正定値行列Ｇは、Ｇ_ｉ｜ｊからなるブロック対角行列である（図３）。修正された定常点条件は次の式（１１）で与えられる。

【0060】

【数21】

ここで、Ｇ（０）＝Ｇ^－１（０）＝０なので、Ｇを掛けても定常点条件は移動しない。記述を簡略化するために、正規化された双対変数^～ν＝（１／η）Ｇ^－１νを定義する。これは、^～ν_ｉ｜ｊ＝（１／η_ｉ｜ｊ）Ｇ^－１ _ｉ｜ｊν_ｉ｜ｊから成る。η_ｉ｜ｊとＧ_ｉ｜ｊはそれぞれ、η_ｉ｜ｊ＝η_ｊ｜ｉ，Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉ（ｉ∈Ｖ，ｊ∈Ｅ_ｉ）により制約される。式（１１）にDouglas-Rachford splittingを適用すると、次のNGPD更新ルール（式（１２）が得られる。

【0061】

【数22】

ここで、最後の二行において、^～ν_ｉ｜ｊ＝^～ν_ｊ｜ｉおよびＧ_ｉ｜ｊ＝Ｇ_ｊ｜ｉが満たされる。

【0062】

本実施の形態における通信システムにおける各ノードは、上記の式（１２）に従って、モデルパラメータの更新、各変数の更新、メッセージパッシングを行う。ここで、ｉ番目のノードをノードｉとし、ノードｉに隣接するｊ番目のノードをノードｊとする。

【0063】

式（１２）は、ノードｉが実行する処理手順を示す。式（１２）において、^～ｕ_ｊ｜ｉ、及びΦ_ｊは、ノードｉがノードｊから受信する変数を表し、^～ｕ_ｉ｜ｊ、及びΦ_ｉは、ノードｉがノードｊへ送信する変数を表す。

【0064】

式（１２）において、ノードｉは、式（１２）に示すとおりにθ_ｉ、^～ｕ_ｉ｜ｊ、Φ_ｉを更新するとともに、ノードｊから受信した^～ｕ_ｊ｜ｉ、Φ_ｊを用いて、^～ν_ｉ｜ｊ、Ｇ_ｉ｜ｊを更新する。

【0065】

NGPDの式（１２）とECLの式（５）の違いは下記の（相違点１）－（相違点３）としてまとめることができる。

【0066】

（相違点１）ガウス・ニュートン行列を使用したローカルパラメータ更新：
式（１２）のθ_ｉの更新ルールは、式（８）における一般化された２次関数Ｑ_ｉ（θ_ｉ）と双対変数^～ν_ｉ｜ｊを使用した正規化項の和を最小化するように設計されている。更新ルールを簡略化するために、下記の式（１３）に示すように、Ｑ_ｉ（θ_ｉ）を含む^－Ｇ_ｉを用いる。

【0067】

【数23】

^－Ｇ_ｉはＧ_ｉ｜ｊ（ｊ∈Ｅ_ｉ）の重み付き混合として設計されている。^－Ｇ_ｉの役割は、パラメータθ_ｉ更新後に出力値が急激に変化しないように、接続されたローカルノードでニューラルネットワークの出力を緩和させることである。式（１３）を使用すると、式（１２）のθ_ｉ更新ルールは単純に、下記のように閉形式で解くことができる。

【0068】

【数24】

式（１４）をECLのθ_ｉ更新ルール（式（６））と比較すると、唯一の違いは平均化ガウス・ニュートン行列^－Ｇ^－１ _ｉの逆行列が勾配∇Ｌ_ｉ（θ_ｉ）に掛けられているかどうかである。これは、^－Ｇ_ｉ＝Ｉが選択された場合に、NGPD法がECLになることを示している。ただし、この更新ルールは、式（１１）の修正された定常点条件、双対変数の正規化^～ν＝（１／η）Ｇ^－１ν、そして式（１３）のガウス・ニュートン行列の設計など、いくつかの新技術を通じて得られるものである。

【0069】

（相違点２）ガウス・ニュートン行列のメッセージパッシング：
双対変数^～ｕ_ｉ｜ｊだけでなく、ガウス・ニュートン行列Φ_ｉまたはその成分が、接続されたノード間で交換される。

【0070】

（相違点３）ガウス・ニュートン行列は制約を満たすように更新される：
式（１２）にように、Φ_ｉとΦ_ｊの平均でＧ_ｉ｜ｊが更新される限り、Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉ（ｉ∈Ｖ，ｊ∈Ｅ_ｉ）は保証される。

【0071】

以上が相違点１～３の説明である。

【0072】

式（６）から、NGPDのθ_ｉ更新ルールが２次の自然勾配方式に従っていることがわかる。したがって、悪条件の曲率に対するロバスト性が期待できる。しかし、計算、メモリ、通信コストが、通信ラウンドごとに大幅に増加すると、勾配前処理の効果は意味をなさなくなる。そこで、Ｇ_ｉ｜ｊの計算に対する実用的な実装についてを「Ｄ：K-FACを使用した実用的な実装」で説明する。完全勾配∇Ｌ_ｉ（_ｉ）の代わりに確率的勾配∇Ｌｉ（θ_ｉ，ξ_ｉ，τ_ｉ）を使用した実装と、Ｋ回のローカル更新についても、「Ｄ：K-FACを使用した実用的な実装」で説明する。下記で示される平均化パラメータ系列（sequence of averaged parameter）について説明する。

【0073】

【数25】

＜Ｃ－３：平均化系列の性質>
NGPD法における平均化パラメータ系列^－θを説明する。式（１２）のNGPD更新ルールを使用して下記の式（１５）で示される平均化系列の性質を得る。

【0074】

【数26】

ここで、平均化パラメータ更新ルールは、式（１２）のローカルパラメータ更新が分散学習方式で実行されていても、２次の自然勾配方式に従う。

【0075】

（Ｄ：K-FACを使用した実用的な実装）
二次最適化手法に共通する問題は、前処理ガウス・ニュートン行列とその逆行列の計算にかかる大きなオーバーヘッドである。この問題を軽減するために、本実施の形態では、K-FACを用いてローカルのガウス・ニュートン行列を近似計算する。この実装（疑似コード）をAlgptithm1として図４に示す。Algptithm1には二つの形式（NGPD形式１と２）がまとめて示されている。Algorithm1は、ノードｉで実行されるプログラムの疑似コードに相当する。

【0076】

一般的に、ローカルのガウス・ニュートン行列Φ_ｉは密行列であり、その逆行列を計算するのは非実用的である。K-FACでは、Φ_ｉは、下記のとおり、Ｎ層のＤＮＮに対するレイヤーごとのブロック対角化によって近似される。

【0077】

【数27】

各レイヤーのブロックはクロネッカー積（〇の中に×が入った記号）を用いて近似することができる。ｈ_ｉ，ｎがｉ番目のローカルノードでの直前のレイヤーｎ＋１からの活性化を示し、現在のレイヤーの出力に関するローカルの確率的勾配が単純に∇Ｌ_ｉ，ｎと表される場合、Φ_ｉ，ｎは以下のように近似できる。

【0078】

【数28】

さらに、式（１６）の期待値を、モンテカルロサンプリングを用いて計算することで、高速化することができる。レイヤーごとのブロック対角近似が用いられているため、前処理は部分問題の各ブロックを分解するために適用される。ここで、「△_ｉ，ｎ←ｄｉａｇ（∇Ｌ_ｉ，ｎ）」と定義すると、式（６）は、下記のようにレイヤーごとに計算することができる。

【0079】

【数29】

NGPDのさらなる計算効率化を図るために、本実施の形態では、二つの実装形式が用いられる。NGPD形式１では、式（１２）において、Φ_ｉとその送信は、式（１６）に従って、はるかに次元の小さい行列｛Ｈ_ｉ，ｎ，Ｌ_ｉ，ｎ｝に置き換えられる。一方、NGPD形式２では、実験的な発見を利用している。すなわち、｛Ｈ_ｉ，ｎ，Ｌ_ｉ，ｎ｝は非常にスムーズに更新され、ローカルノード間での類似性が高い。したがって、式（１２）の最後の行のＧ_ｉ｜ｊの更新ルールを、下記のとおり、レイヤーごとの手続きで置き換える。

【0080】

【数30】

この近似は制約Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉを満たすことができないが、式（１３）から、下記に示すように、大幅な計算効率化が可能である。

【0081】

【数31】

後述する「Ｅ：数値実験」でこの効果を示す。Algorithm1のNGPD形式１と２の両方において、完全勾配の代わりに確率的勾配が用いられ、Ｋ回のローカル更新が用いられる。後述する「Ｅ：数値実験」において、（ｉ）NGPD形式２の追加のガウス・ニュートン行列近似、（ｉｉ）確率的勾配、及び（ｉｉｉ）複数のローカル更新による効果を実験的に示す。

【0082】

（Ｅ：数値実験）
本実施の形態におけるNGPD（形式１および２）と他の比較対象方法を、不均一データ分配の下で、（おそらく悪条件の曲率の）損失関数を持つＤＮＮｓ下で比較するための数値実験を行った。

【0083】

＜Ｅ－１：実験設定＞
ネットワーク／通信：
ローカルノードを接続するためにリングネットワークトポロジー（（Ｖ，Ｅ）＝（８，８））を使用した。Ｒ＝２，５００回の同期通信ラウンドがノード間で実行された。ローカル更新の数をＫ＝｛３２，６４，１２８｝で変更し、それに対するロバスト性を実験的に調査した。

【0084】

データ分配：
教師あり学習タスクとして、CIFAR-10を用いた画像認識を選択した。５０，０００個の訓練データセットがＶ＝８個のノードに不均一に割り当てられた。各ローカルノードが保持するデータサブセットは、集中度ハイパーパラメータαを持つディリクレ分布に従うようにした。αがゼロに近づくと、データの不均一性が増加する。不均一データ分配に対するロバスト性を調査するために、α＝｛０．５，１．０，∞｝という三つの不均一性パターンを使用した。評価フェーズでは、すべてのローカルノードが１０，０００のテストデータセットにアクセスすることを許可した。

【0085】

非凸モデル：
ここでは、２つの非凸ＤＮＮモデルである、ResNet-18とVGG-11を使用し、損失関数ｌ_ｉとしてソフトマックス関数を用いる交差エントロピーを使用した。なお、ローカルデータサブセットが統計的に偏っているため、ResNet-18のバッチ正規化レイヤーは、グループ正規化レイヤーに置き換えた。また、グループ正規化レイヤーのローカルガウス・ニュートン行列は計算されない。

【0086】

比較手法：
ここでは、４つの純粋な主方法（pure primal method）と４つの主双対法からなる８つの方法をテストした。

【0087】

４つの純粋な主方法は次のとおりである：（１）DSGD、（２）DSGD＋モーメンタム（Gao, H. and Huang, H. Periodic stochastic gradient descent with momentum for decentralized training. arXiv preprint arXiv:2008.10435, 2020）、（３）DSGD＋自然勾配降下法、（４）分散型SCAFFOLD（Liu, Y. Variance reduction in decentralized training over heterogeneous data. 2021）。

【0088】

４つの主双対法は次のとおりである：（５）ECL（Douglas-Rachford splitting）、（６）NGPD形式１、（７）NGPD形式２、（８）参照方法としての、^－Ｇ_ｉの対角行列近似を伴うNGPD。

【0089】

それぞれの方法について、μ、η_ｉ｜ｊ、及びバッチサイズに対するハイパーパラメータチューニングが事前に行われた。（５）－（８）については、η_ｉ｜ｊ＝１／（μＫ（２Ｅ）／Ｖ）を使用した。これはη_ｉ｜ｊ＝η_ｊ｜ｉを満たす。異なる計算コストを持つ７つの方法を公正に比較するために、ローカル計算とメッセージパッシングを含む学習時間を記録した。

【0090】

計算環境：
８つのＧＰＵ（NVIDIA A100 for NVLink 40GiB HBM2）を備えたサーバを使用し、Glooを使用してメッセージパッシングを行った。

【0091】

＜Ｅ－２：実験結果＞
平均化パラメータ^－θの評価結果を図５～図８に示す。図５、図６ではResNet-18が使用され、図７、図８ではVGG-11が使用された。図５（ａ１）、図７（ｂ１）では、不均一データ分配（α＝１．０）と複数のローカル更新（Ｋ＝３２）を固定し、テスト精度の学習曲線を示している。NGPD形式１と２の学習曲線は滑らかであり、最高のテスト精度はResNet-18のNGPD形式１、又は、VGG-11の形式２で達成された。

【0092】

図５（ａ２）、図７（ｂ２）では、計算量が軽い一次の方法と、本実施の形態に係る二次のNGPDを公平に比較するために、横軸を通信ラウンドから、ローカル計算とメッセージパッシングを含む学習時間に変更した。

【0093】

NGPD形式１については、その学習時間は他の方法よりも大幅に長くなったが、ガウス・ニュートン行列に追加の近似を含むNGPD形式２の学習時間は、他の一次最適化方法と比較してそれほど長くならなかった。そのため、計算効率の観点からは、NGPD形式２の方が形式１よりも適している。

【0094】

図６（ａ３）、図８（ｂ３）では、データの不均一性へのロバスト性を調査するために、各αに対して、Ｋ＝３２を固定して、Ｒ＝２，５００の通信ラウンドでベストのテスト精度を比較した。NGPD形式１と２を含む主双対法のベストのテスト精度は、データの不均一性αによって大幅に影響を受けなかった。それは、主双対法（２）（７）のパラメータ制約がデータの不均一性へのロバスト性を効果的に提供しているためである。

【0095】

NGPD形式１と２に続いて、ECLと、^－Ｇ_ｉの対角行列近似を用いたNGPDも、データの不均一性（α＝｛０．５，１．０｝）の下で相対的に高いテスト精度を達成した。しかし、一定のテスト精度を得るためには、NGPDと比較してより多くの通信ラウンド数が必要になった。この違いは、分散学習に二次の自然勾配法を適用する重要性を明確に示している。一方、純粋な主方法、つまり分散型SCAFFOLDとDSGD（自然勾配又はモメンタム付き）は、データの不均一性が大きい場合にはうまく機能しなかった。これは、それらの理論的な収束証明がデータの不均一性の仮定を必要とし、本実験ではデータの不均一性が大きい状況（α＝｛０．５，１．０｝）でテストを行ったためである。

【0096】

＜Ｅのまとめ＞
以上説明したように、NGPD法の更新ルールにより、パラメータの更新によって、ニューラルネットワークの出力値が急激に変化することなく、ローカルパラメータを一致させることができる。また、NGPD形式１と２の学習曲線は滑らかであり、複数のタスクに対するベストのテスト精度が、データの不均一性が存在するＤＮＮの下でも、NGPD形式１と２により得られた。また、NGPD形式２は、NGPD形式１よりも計算効率が良いことが分かった。

【0097】

（装置構成例）
図９に、NGPD法を実行する分散学習システムにおいて、ノードとして使用される情報処理装置１００の構成例を示す。

【0098】

図９に示すように、情報処理装置１００は、送信部１１０、受信部１２０、更新部１３０、及び記憶部１４０を含む。

【0099】

当該情報処理装置１００は、複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、当該複数のノードの中のあるノードとして使用される情報処理装置である。本分散学習システムは、NGPD法により分散学習を行う。

【0100】

受信部１２０は、正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する。更新部１３０は、前記変数を用いて、前記モデルのモデルパラメータを更新する。送信部１１０は、前記更新ルールに従って前記更新部１３０により更新した変数を前記隣接ノードに送信する。

【0101】

記憶部１４０は、受信したデータ、更新部３０により演算されたデータ、送信するべきデータ等が格納されている。

【0102】

（ハードウェア構成例）
本実施の形態で説明した情報処理装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。

【0103】

すなわち、当該装置は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、当該装置で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

【0104】

図１０は、上記コンピュータのハードウェア構成例を示す図である。図１０のコンピュータは、それぞれバスＢで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。なお、当該コンピュータは、更にＧＰＵを備えてもよい。

【0105】

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0106】

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、情報処理装置１００に係る機能を実現する。インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

【0107】

（実施の形態のまとめ）
本実施の形態におけるまとめを以下の（１）～（５）に示す。

【0108】

（１）本実施の形態では、通信システムを構成する各ノードは、式（１１）の定常点条件を満たす更新ルール（近似も含む）に従って、変数／パラメータの更新を行う。

【0109】

前述のとおり、従来法（ECL）の定常点条件が式（４）である。すなわち、式（１１）は、式（４）から正定値行列Ｇを用いて修正されたものである。前述のとおり、Ｇは小行列（正定値行列）Ｇ_ｉ｜ｊで構成されたブロック対角化行列であり、Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉという制約を満たす。

【0110】

（２）より具体的には、通信システムを構成する各ノードは、式（１１）の定常点条件を満たす更新ルールの基本形である式（１２）（あるいは式（１２）から派生する更新ルール）を用いて、変数／パラメータの更新を行う。前述のように、Douglas-Rachford Splittingを用い、式（１１）の定常点条件を分解することにより式（１２）が得られる。式（１２）により、Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉという制約を守りながら、変数更新が可能である。

【0111】

アルゴリズム（処理手順）としては、ローカルのノードで、パラメータ／変数の更新を１回行い、接続したノード間で通信（メッセージパッシング）を１回行う、という処理を交互に繰り返すものである。

【0112】

（３）式（１２）のθ_ｉの更新ルール(式（１２）の最初の行)は、式（１４）で置き換えてもよい。なお式（１４）に含まれるは式（１３）で計算してもよい。

【0113】

（４）式（１２）におけるΦ_ｉを、K-FACを用いて（１６）式によって近似して計算してもよい。

【0114】

（５）式（１２）のアルゴリズムを改造し、Algorithm1のように実施してもよい。なお、Algorithm1において、式（１２）からの変更点は３つある。１つ目の変更点は、ローカルノードでＫ回更新をした後に接続したノード間で通信（メッセージパッシング）をするようにした点である。２つ目の変更点は、θ_ｉの更新ルール(式（１２）の最初の行)を、式（１４）で置き換えた点である。

【0115】

３つ目の変更点は、確率的勾配ｇの計算において、関数gCalcにおいて記載のとおり、２種類の計算方式（NGPD形式１と形式２）を設け、どちらも使用可能であるとした点である。

【0116】

いずれの方法も、K-FACを用いて軽量に二次最適化を分散学習に導入するための方法である。NGPD形式１は式（１１）の定常点条件を満たす方法をとっているが、計算量やメモリ量がやや大きい。一方でNGPD形式２は式（１１）の定常点条件を厳密には満たさない近似方法であるが、計算量やメモリ量がNGPD形式２に比べて非常に小さくそれは実験結果にも表れている。

【0117】

（実施の形態の効果）
本実施の形態に係る技術により、分散学習に二次最適化(自然勾配法)を取り入れることとしたので、分散学習において、高速に合意形成に至ることが可能になる。

【0118】

以上の実施形態に関し、更に以下の付記を開示する。

【0119】

＜付記＞
（付記項１）
複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置であって、
メモリと、
前記メモリに接続された少なくとも１つのプロセッサと、
を含み、
前記プロセッサは、
正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信し、
前記変数を用いて、前記モデルのモデルパラメータを更新する
情報処理装置。
（付記項２）
前記ノードをｉ番目のノードとし、前記隣接ノードをｊ番目のノードとし、前記ノードにおける正定値行列をＧ_ｉ｜ｊと表し、前記隣接ノードにおける正定値行列をＧ_ｊ｜ｉと表した場合に、Ｇ_ｉ｜ｊ＝Ｇ_ｊ｜ｉを満たす
付記項１に記載の情報処理装置。
（付記項３）
前記プロセッサは、前記更新ルールに従って更新した変数を前記隣接ノードに送信する
付記項１に記載の情報処理装置。
（付記項４）
前記モデルパラメータの更新のための更新ルールは、モデルパラメータを、平均化された正定値行列の逆行列を勾配に乗算した項を含む式で更新するルールである
付記項１に記載の情報処理装置。
（付記項５）
前記プロセッサは、K-FAC（Kronecker Factored Approximate Curvature）により近似されたガウス・ニュートン行列を用いて前記正定値行列を更新する
付記項１に記載の情報処理装置。
（付記項６）
前記プロセッサは、前記モデルの確率的勾配の計算を前記モデルのレイヤーごとに行う、又は、前記正定値行列の更新を前記モデルのレイヤーごとに行う
付記項５に記載の情報処理装置。
（付記項７）
複数のノードにおけるノード間での情報交換によりモデルの学習を行う分散学習システムにおいて、前記複数のノードの中のあるノードとして使用される情報処理装置が実行する学習方法であって、
正定値行列を用いて表された定常点条件から演算子分割を適用することにより得られた更新ルールに従って更新された変数を、隣接ノードから受信する受信ステップと、
前記変数を用いて、前記モデルのモデルパラメータを更新する更新ステップと
を備える学習方法。
（付記項８）
コンピュータを、付記項１ないし６のうちいずれか１項に記載の情報処理装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。

【0120】

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

【符号の説明】

【0121】

１００ 情報処理装置
１１０ 送信部
１２０ 受信部
１３０ 更新部
１４０ 記憶部
２００ ネットワーク
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】