知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024095236
(43)【公開日】2024-07-10
(54)【発明の名称】機械学習プログラム、機械学習方法、及び、情報処理装置
(51)【国際特許分類】
G06N 3/082 20230101AFI20240703BHJP
【ＦＩ】
G06N3/082
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022212372
(22)【出願日】2022-12-28
(71)【出願人】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110003649
【氏名又は名称】弁理士法人真田特許事務所
(74)【代理人】
【識別番号】100189201
【弁理士】
【氏名又は名称】横田 功
(72)【発明者】
【氏名】坂井 靖文
(57)【要約】
【課題】アテンション構造を含むニューラルネットワークの軽量化を実現する。
【解決手段】機械学習プログラムは、アテンション構造１６０を備えるニューラルネットワーク１８０の訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層１６１及びＫｅｙを出力するＫ層１６２の各々の要素について、第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及びＫＴに残すように、前記テンソルＱＴ及びＫＴのうちの少なくとも一方に含まれる要素を削除する、処理をコンピュータに実行させる。
【選択図】図１９
【解決手段】機械学習プログラムは、アテンション構造１６０を備えるニューラルネットワーク１８０の訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層１６１及びＫｅｙを出力するＫ層１６２の各々の要素について、第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及びＫＴに残すように、前記テンソルＱＴ及びＫＴのうちの少なくとも一方に含まれる要素を削除する、処理をコンピュータに実行させる。
【選択図】図１９
【特許請求の範囲】
【請求項1】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素と、のうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータに実行させる、機械学習プログラム。
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素と、のうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータに実行させる、機械学習プログラム。
【請求項2】
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
請求項１に記載の機械学習プログラム。
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
請求項１に記載の機械学習プログラム。
【請求項3】
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータに実行させる、請求項１又は請求項２に記載の機械学習プログラム。
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータに実行させる、請求項１又は請求項２に記載の機械学習プログラム。
【請求項4】
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータに実行させる、請求項３に記載の機械学習プログラム。
処理を前記コンピュータに実行させる、請求項３に記載の機械学習プログラム。
【請求項5】
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
請求項４に記載の機械学習プログラム。
請求項４に記載の機械学習プログラム。
【請求項6】
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
請求項５に記載の機械学習プログラム。
請求項５に記載の機械学習プログラム。
【請求項7】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータが実行する、機械学習方法。
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータが実行する、機械学習方法。
【請求項8】
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
制御部を備える、情報処理装置。
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
制御部を備える、情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習プログラム、機械学習方法、及び、情報処理装置に関する。
【背景技術】
【0002】
画像処理等のＡＩ（Artificial Intelligence）タスクに利用されるＮＮ（Neural Network）は、その構成を複雑にすることで高い性能（例えば高い推論精度）を実現できる傾向にある。一方で、ＮＮの構成の複雑化により、計算機によるＮＮの実行における演算回数、及び、当該計算機がＮＮの実行に用いるメモリサイズが増加し得る。
【0003】
当該演算回数の削減、換言すれば演算時間の短縮（高速化）、並びに、当該メモリサイズの削減、換言すればＮＮの機械学習モデルの軽量化を図るための手法として、「プルーニング」（枝刈り；Pruning）が知られている。
【0004】
プルーニングは、ＮＮのエッジ（重み）、ノード、及び、チャネルの少なくともいずれか１種類の要素を削減する（刈り取る）ことで、機械学習モデルのデータサイズを小さくし、演算時間及び通信時間を削減する手法である。
【0005】
過剰なプルーニングは、ＮＮの推論精度の劣化を引き起こす。このため、推論精度を維持したまま、又は、推論精度の低下量を所定の水準に留めたまま、ＮＮのプルーニングを行なうことが重要である。
【0006】
例えば、プルーニングにおいて、ＮＮの推論精度に大きな影響を与えないレイヤ（層）を選択する手法が知られている。当該手法は、例えば、畳込み層に続くバッチノーマライゼーション（ＢＮ；Batch Normalization）層に用いられるパラメータに基づき、プルーニングを行なう畳込み層のチャネルを決定する手法である。
【0007】
また、マルチヘッドアテンション（Multi-Head Attention：ＭＨＡ）構造等のアテンション構造を備えるＮＮが知られている。アテンション構造は、入力部に３つの全結合層を含む。３つの全結合層は、それぞれ、Ｑ（Query）、Ｋ（Key）及びＶ（Value）のテンソルを出力する層である。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願公開第２０２２／００３６１９４号明細書
【発明の概要】
【発明が解決しようとする課題】
【0009】
ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法は、ＢＮ層が接続された畳込み層に対して適用されるが、それ以外のレイヤ、例えば、ＢＮ層が接続されていない畳込み層、及び、全結合層等への適用は想定されていない。
【0010】
例えば、ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法を、上述した複数のレイヤに適用できるようにした場合において、当該ＮＮがアテンション構造を含む場合を考える。この場合、当該手法によりプルーニングを行なうと、アテンション構造の入力部における３つの全結合層は、いずれもプルーニングされず、機械学習モデル全体のプルーニング率は低下するため、プルーニングによる機械学習モデルのデータサイズの圧縮（軽量化）効果が低減する。
【0011】
１つの側面では、本発明は、アテンション構造を備えるニューラルネットワークの軽量化を実現させることを目的の１つとする。
【課題を解決するための手段】
【0012】
１つの側面では、機械学習プログラムは、コンピュータに、以下の処理を実行させてよい。前記処理は、アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除してよい。
【発明の効果】
【0013】
１つの側面では、本発明は、アテンション構造を備えるニューラルネットワークの軽量化を実現できる。
【図面の簡単な説明】
【0014】
【図1】プルーニングを行なう畳込み層のチャネルを決定する処理の一例を説明するための図である。
【図2】Ｌ１正則化学習の一例を示す図である。
【図4】一実施形態に係るサーバの機能構成例を示すブロック図である。
【図5】精度保証できるプルーニング率の算出例を示す図である。
【図6】プルーニング前後のモデルの精度の算出例を示す図である。
【図7】プルーニング率の探索例を示す図である。
【図8】閾値の導出手法の一例を説明する図である。
【図9】閾値の上限と閾値との一例を示す図である。
【図10】プルーニングするチャネルの決定手法の一例を説明する図である。
【図11】プルーニング誤差の算出例を説明する図である。
【図12】プルーニングするノードの決定手法の一例を説明する図である。
【図13】プルーニング誤差の算出例を説明する図である。
【図14】プルーニングする重みの決定手法の一例を説明する図である。
【図15】プルーニング誤差の算出例を説明する図である。
【図16】アテンション構造を備えるＮＮの一例を示す図である。
【図17】アテンション構造の一例を示す図である。
【図18】アテンション構造の詳細な一例を示す図である。
【図19】アテンション構造を含むＮＮへの一実施形態に係る手法の適用例を説明するための図である。
【図20】モデルに対する要素削除、ゼロパディング及びヘッド削除の処理の一例を説明するための図である。
【図21】一実施形態に係る手法の適用有無に応じた、ＮＮのプルーニング前後の精度、及び、データサイズの圧縮率の一例を示す図である。
【図22】一実施形態に係るサーバによる処理の動作例を説明するためのフローチャートである。
【図23】一実施形態に係る手法における信頼半径の更新に応じたプルーニング誤差比較結果の一例を示す図である。
【図24】第１変形例に係るサーバの機能構成例を示すブロック図である。
【図25】信頼半径を増加させる場合の信頼半径更新処理の一例を説明する図である。
【図26】信頼半径を減少させる場合の信頼半径更新処理の一例を説明する図である。
【図27】第１変形例に係るサーバによる処理の動作例を説明するためのフローチャートである。
【図28】第２変形例に係るサーバの機能構成例を示すブロック図である。
【図29】信頼半径の初期値の設定例を説明する図である。
【図30】第２変形例に係るサーバによる処理の動作例を説明するためのフローチャートである。
【図31】コンピュータのハードウェア（ＨＷ）構成例を示すブロック図である。
【発明を実施するための形態】
【0015】
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形又は技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
【0016】
〔１〕一実施形態
図１は、プルーニングを行なう畳込み層のチャネルを決定する処理の一例を説明するための図であり、図２は、Ｌ１正則化学習の一例を示す図である。図１では、ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法として、計算機が、畳込み層に続くＢＮ層１００で利用されるスケーリング係数γを用いて、プルーニングを行なう畳込み層のチャネルを決定する手法を説明する。なお、図１のチャネル１１１～１１３に示すグラフは、出力テンソルの分布を表す。
図１は、プルーニングを行なう畳込み層のチャネルを決定する処理の一例を説明するための図であり、図２は、Ｌ１正則化学習の一例を示す図である。図１では、ＮＮの推論精度に大きな影響を与えないレイヤを選択する手法として、計算機が、畳込み層に続くＢＮ層１００で利用されるスケーリング係数γを用いて、プルーニングを行なう畳込み層のチャネルを決定する手法を説明する。なお、図１のチャネル１１１～１１３に示すグラフは、出力テンソルの分布を表す。
【0017】
図１に示すように、計算機は、畳込み層からＢＮ層１００に入力される複数のチャネル１１１（＃１～＃ｎ；ｎは２以上の整数）のそれぞれに対して、正規化処理（normalization）１０１を実行する。例えば、計算機は、正規化処理１０１において、下記式（１）に従い、チャネル１１１ごとに平均値μ及び分散σ２を算出することで、平均“0”、分散“1”の正規化された分布を表す複数のチャネル１１２（＃１～＃ｎ）を取得する。下記式（１）において、ｚｉｎ及びｚｍｉｄは、それぞれ、チャネル１１１及び１１２を示し、μＢ及びσＢ
２は、それぞれ、現在のミニバッチＢにおける平均値及び分散を示す。
【数1】
【0018】
また、計算機は、複数のチャネル１１２（＃１～＃ｎ）に対してスケーリング（scaling）１０２を実行する。例えば、計算機は、スケーリング１０２において、複数のチャネル１１２のそれぞれに対して、下記式（２）に従い、スケーリング係数γを乗算し、乗算結果にバイアスβを加算することで、パラメータγ及びβによりスケールされた分布を表す複数のチャネル１１３（＃１～＃ｎ）を出力する。下記式（２）において、ｚｏｕｔはチャネル１１３を示す。なお、パラメータγ及びβは、機械学習により最適化されてよい。
【数2】
【0019】
ここで、γが小さい場合におけるスケーリング１０２の結果となるチャネル１１３（図１の例ではチャネル＃ｎ）の出力は、ほぼ無くなる。これは、当該チャネルをプルーニングにより削除しても、ＮＮの推論精度に大きな影響を与えないことを意味する。そこで、計算機は、小さい（例えば“0”になる）γを探索することで、チャネル単位でのプルーニングの対象となるチャネルを判定する。
【0020】
例えば、計算機は、Ｌ１正則化学習をγに適用することで、小さい（小さくなる）γを探索する。Ｌ１正則化学習は、ＮＮが出力で計算する損失関数に、Ｌ１の正則化項を追加して機械学習を行なうことで、学習対象のパラメータを「疎」にできることで知られている機械学習手法である。
【0021】
図２に例示するように、計算機は、或るベクトル１２１に対して、損失関数１２２を用いたＬ１正則化学習を行なうことで、Ｌ１正則化が行なわれたベクトル１２３を取得する。損失関数１２２は、下記式（３）に示すように、クロスエントロピー等の元の損失関数（第１項）と、Ｌ１ノルム（Σg(γ)=Σ|γ|）を使用するＬ１正則化項（第２項）とを加算した関数Ｌであってよい。
【数3】
【0022】
Ｌ１正則化学習により、ベクトル１２３の各パラメータは、ベクトル１２１の各パラメータがゼロになるか、非ゼロになるかのいずれかを示すパラメータとなる（２分化される）。このようなＬ１正則化学習を利用することで、計算機は、γがゼロになる（ゼロに近くなる）チャネルをプルーニングの対象のチャネルとして特定することができる。
【0023】
図１及び図２に示すＬ１正則化学習を利用したプルーニング対象の特定は、ＢＮ層が接続された畳込み層に対して適用されるが、それ以外のレイヤ、例えば、ＢＮ層が接続されていない畳込み層、及び、全結合層等への適用は想定されていない。
【0024】
図３は、ＮＮ１３０の層（レイヤ）１３１～１３９における図１及び図２の手法の適用可否の一例を示す図である。図３に示すように、畳込み層１３１及び１３３並びにＢＮ層１３２及び１３４は、図１及び図２に示すＬ１正則化学習を適用可能な層であり、畳込み層１３５～１３７並びに全結合層１３８及び１３９は、図１及び図２に示すＬ１正則化学習を適用不可能な層である。
【0025】
そこで、一実施形態では、レイヤの種類に依らずに、レイヤごとのプルーニング率を決定することで、ＮＮの軽量化を実現するための手法を説明する。
【0026】
〔１－１〕一実施形態に係るサーバの機能構成例
図４は、一実施形態に係るサーバ１の機能構成例を示すブロック図である。サーバ１は、プルーニング率を出力する計算機、コンピュータ又は情報処理装置の一例である。図４に示すように、サーバ１は、例示的に、メモリ部１１、取得部１２、機械学習部１３、プルーニング率算出部（以下、単に「算出部」と表記する）１４、及び、出力部１５を備えてよい。取得部１２、機械学習部１３、算出部１４、及び、出力部１５は、制御部１６の一例である。
図４は、一実施形態に係るサーバ１の機能構成例を示すブロック図である。サーバ１は、プルーニング率を出力する計算機、コンピュータ又は情報処理装置の一例である。図４に示すように、サーバ１は、例示的に、メモリ部１１、取得部１２、機械学習部１３、プルーニング率算出部（以下、単に「算出部」と表記する）１４、及び、出力部１５を備えてよい。取得部１２、機械学習部１３、算出部１４、及び、出力部１５は、制御部１６の一例である。
【0027】
メモリ部１１は、記憶領域の一例であり、サーバ１が利用する種々のデータを記憶する。図４に示すように、メモリ部１１は、例示的に、未学習モデル１１ａ、機械学習用データ１１ｂ、機械学習済モデル１１ｃ、プルーニング率１１ｄ、及び、軽量化済モデル１１ｅを記憶可能であってよい。
【0028】
取得部１２は、未学習モデル１１ａ及び機械学習用データ１１ｂを取得し、メモリ部１１に格納する。例えば、取得部１２は、未学習モデル１１ａ及び機械学習用データ１１ｂの一方又は双方を、サーバ１で生成してもよいし、図示しないネットワークを介してサーバ１の外部のコンピュータから受信してもよい。
【0029】
未学習モデル１１ａは、未学習パラメータを含むＮＮの機械学習前のモデルであってよい。当該ＮＮは、種々のレイヤを含んでよく、例えばＤＮＮ（Deep NN）であってもよい。当該ＮＮは、例えば、ＢＮ層が接続されていない畳込み層、又は、全結合層を含んでもよいし、ＢＮ層が接続された畳込み層を含んでもよく、一例として、図３に例示するＮＮ１３０であってもよい。
【0030】
機械学習用データ１１ｂは、例えば、未学習モデル１１ａの機械学習（訓練）に用いる訓練用のデータセットであってよい。一例として、画像処理を実現するためのＮＮの機械学習を行なう場合、機械学習用データ１１ｂには、例えば、画像データ等の訓練データと、当該訓練データに対する正解ラベルとを含む教師データのペアが複数含まれてよい。
【0031】
機械学習部１３は、機械学習フェーズにおいて、機械学習用データ１１ｂに基づいて、未学習モデル１１ａを機械学習する機械学習処理を実行する。例えば、機械学習部１３は、未学習モデル１１ａの機械学習処理により、機械学習済モデル１１ｃを生成してよい。機械学習済モデル１１ｃは、機械学習済パラメータを含むＮＮモデルであってよい。
【0032】
なお、機械学習済モデル１１ｃは、未学習モデル１１ａに含まれるパラメータの更新により得られてよく、例えば、機械学習処理を通じて、未学習モデル１１ａから機械学習済モデル１１ｃに変化した結果のモデルと捉えられてもよい。機械学習処理は、既知の種々の手法により実現されてよい。
【0033】
算出部１４は、機械学習済モデル１１ｃに対するプルーニング率算出処理の実行によりプルーニング率１１ｄを算出し、メモリ部１１に格納する。
【0034】
例えば、算出部１４は、プルーニング率候補のうちの１つを選択するための閾値を層ごとに算出する閾値算出部１４ａと、プルーニング率候補によりプルーニングしたモデルの推論精度に基づき、採用するプルーニング率１１ｄを決定する決定部１４ｂとを備えてよい。
【0035】
出力部１５は、算出部１４により生成（取得）されたプルーニング率１１ｄに基づく出力データを出力する。出力データとしては、例えば、プルーニング率１１ｄそのもの、及び、軽量化済モデル１１ｅの一方又は双方を含んでよい。
【0036】
軽量化済モデル１１ｅは、機械学習済モデル１１ｃに対してプルーニング率１１ｄに基づくプルーニングの実施により得られる、機械学習済モデル１１ｃを軽量化したモデルのデータである。例えば、出力部１５は、機械学習部１３と協働して、プルーニング率１１ｄを適用して機械学習済モデル１１ｃのプルーニング及び再学習を実行することで軽量化済モデル１１ｅを取得し、メモリ部１１に格納してもよい。なお、軽量化済モデル１１ｅは、例えば、機械学習済モデル１１ｃとは別に生成されてもよいし、プルーニング及び再学習を通じて、機械学習済モデル１１ｃを更新したデータであってもよい。
【0037】
出力部１５は、出力データの出力において、例えば、出力データを図示しない他のコンピュータに送信（提供）してもよいし、出力データをメモリ部１１に蓄積してサーバ１又は他のコンピュータから取得可能に管理してもよい。或いは、出力部１５は、出力データの出力において、出力データを示す情報をサーバ１等の出力装置に画面出力してもよく、その他の種々の態様により出力データを出力してよい。
【0038】
〔１－２〕プルーニング率算出処理の一例
次に、サーバ１の算出部１４によるプルーニング率算出処理の一例を説明する。以下の説明では、プルーニング率の算出対象が、レイヤのパラメータの一例である重み行列Ｗであるものとする。
次に、サーバ１の算出部１４によるプルーニング率算出処理の一例を説明する。以下の説明では、プルーニング率の算出対象が、レイヤのパラメータの一例である重み行列Ｗであるものとする。
【0039】
算出部１４は、プルーニングにより発生する層ごとのテンソルの誤差を利用することで、層の種類に依らずに、プルーニング率を決定する。一例として、算出部１４は、下記の（ｉ）～（iii）の手順により、プルーニング率を算出してよい。
【0040】
（ｉ）算出部１４（閾値算出部１４ａ）は、精度保証できるプルーニング率を、層ごとに決定（算出）する。
【0041】
なお、「精度保証」とは、例えば、機械学習済モデル１１ｃに対するプルーニングにより得られる軽量化済モデル１１ｅを利用した推論の精度（推論精度）が所定の基準を超えることを保証することである。
【0042】
図５は、精度保証できるプルーニング率の算出例を示す図である。図５に例示するように、閾値算出部１４ａは、（ｉ）において、プルーニング対象の機械学習済モデル１１ｃに含まれる各層の重み行列Ｗに適用するプルーニング率を、複数の層のそれぞれの重み行列Ｗごとに決定する。なお、図５では、層１３１～１３３に着目して説明するが、これに限定されるものではなく、図３に例示する層１３１～１３９のいずれにおいても図５の説明が適用されてよい。
【0043】
ここで、プルーニング率は、層（レイヤ）の要素を削減する割合（削減割合）の一例であり、機械学習済モデル１１ｃにおけるプルーニング対象を「疎」にする割合を示し、図２の例では、ベクトル１２３において“0”にした箇所の数を意味する。
【0044】
図５に例示するように、閾値算出部１４ａは、層１３１の重み行列Ｗ１（層１３２に接続される重み行列Ｗ１）、及び、層１３２の重み行列Ｗ２（層１３３に接続される重み行列Ｗ２）のそれぞれについて、複数のプルーニング率候補の中から１つのプルーニング率を選択する。プルーニング率候補は、削減割合候補の一例であり、例えば、０％～１００％の間の２つ以上の割合であってよく、複数の層で共通であってもよいし、層ごとに異なる割合であってもよく、これらの組み合わせであってもよい。図５の例では、プルーニング率候補は、０％、２０％、４０％、６０％であるものとする。
【0045】
閾値算出部１４ａは、例えば、プルーニング率候補のそれぞれによりプルーニングを行なった場合のプルーニング前後のテンソルの誤差を求め、閾値ＴＷよりも誤差が小さいプルーニング率候補のうちの最大のプルーニング率候補を決定する。図５の例では、閾値算出部１４ａは、Ｗ１について、閾値Ｔｗ１よりも誤差が小さい最大のプルーニング率候補を４０％と決定する（矢印１４１参照）。また、閾値算出部１４ａは、Ｗ２について、閾値Ｔｗ２よりも誤差が小さい最大のプルーニング率候補を２０％と決定する（矢印１４２参照）。
【0046】
閾値Ｔｗは、プルーニング前後のテンソルの誤差の閾値であり、精度保証できるプルーニング率の上限である。例えば、閾値算出部１４ａは、プルーニング対象をプルーニングした場合の損失関数を近似式、例えば１次テイラー展開することで、層ごとに閾値Ｔｗを算出してよい。閾値Ｔｗの算出手法の詳細は後述する。
【0047】
なお、（ｉ）で算出されるプルーニング率は、（ii）及び（iii）の処理との関係で、「仮算出」されるプルーニング率と位置付けられてよい。
【0048】
以上のように、閾値算出部１４ａは、複数の層を含むＮＮの機械学習済モデル１１ｃにおける、複数の層の各々の要素の削減前後のテンソルの誤差の閾値Ｔを算出する。また、閾値算出部１４ａは、複数の閾値Ｔと、複数の層の各々において複数の削減割合候補の各々により要素を削減する場合の削減前後のテンソルの誤差とに基づき、複数の層の各々に適用する削減割合候補を選択する。
【0049】
（ii）算出部１４（決定部１４ｂ）は、（ｉ）で決定したプルーニング率を用いてプルーニング（軽量化）した機械学習モデルの精度と、プルーニング未実行の機械学習モデルの精度とに基づき、プルーニング率を決定する。
【0050】
例えば、決定部１４ｂは、近似式（１次テイラー展開）による誤差を考慮し、（ｉ）で決定した各層のプルーニング率でプルーニングしたモデルの精度Ａｃｃｐと精度マージンＡｃｃｍとの和と、プルーニングしないモデルの精度Ａｃｃｗｏとを比較する。精度マージンＡｃｃｍは、推論精度の低下を許容できるマージンであり、設計者により設定されてよい。なお、マージンは“0”であってもよく、この場合、決定部１４ｂは、精度Ａｃｃｐと、プルーニングしないモデルの精度Ａｃｃｗｏとを比較すればよい。
【0051】
図６は、プルーニング前後のモデルの精度の算出例を示す図である。例えば、決定部１４ｂは、全ての層（Ｗ１、Ｗ２、・・・）に対してプルーニングしないモデル（機械学習済モデル１１ｃ）の精度Ａｃｃｗｏを算出する（矢印１４３参照）。プルーニングしないモデルは、各層のプルーニング率を０％としてプルーニングしたモデルと位置付けられてもよい。また、決定部１４ｂは、各層を（ｉ）で算出したプルーニング率（Ｗ１＝４０％、Ｗ２＝２０％、・・・）でプルーニングしたモデルの精度Ａｃｃｐを算出する（矢印１４４参照）。
【0052】
決定部１４ｂは、精度の和Ａｃｃｐ＋Ａｃｃｍが精度Ａｃｃｗｏ以上である場合に、（ｉ）で決定したプルーニング率を採用すると決定する。例えば、決定部１４ｂは、（ｉ）で決定したプルーニング率をプルーニング率１１ｄとしてメモリ部１１に保存する。
【0053】
一方、決定部１４ｂは、精度の和Ａｃｃｐ＋Ａｃｃｍが精度Ａｃｃｗｏ未満である場合、（ｉ）で決定したプルーニング率を破棄すると決定する。例えば、決定部１４ｂは、（ｉ）で決定したプルーニング率を破棄して、直前の（ii）で決定した（或いは初期の）プルーニング率１１ｄを採用すると決定する。
【0054】
（iii）算出部１４（決定部１４ｂ）は、（ｉ）及び（ii）を複数回に亘って繰り返し適用することで、精度保証できる最大のプルーニング率を探索する。
【0055】
図７は、プルーニング率の探索例を示す図である。図７の例では、算出部１４が３つの層（１３１～１３３）のプルーニング率を３回に亘って実施する場合を示す。例えば、或るレイヤをプルーニング率２０％でプルーニングするということは、当該レイヤの要素（例えばチャネル）が“４”個である場合、“４”の２０％である“１”個の要素をプルーニング（削減）することを意味する。
【0056】
図７に例示するように、１回目（符号１４５参照）の探索では、（ｉ）において、閾値算出部１４ａが、閾値Ｔｗを算出し、閾値Ｔｗに基づき、層１３１～１３３のプルーニング率を“０％，０％，０％”（初期値）から“４０％，２０％，４０％”に決定した場合を想定する。例えば、決定部１４ｂは、（ii）において、推論精度の比較でＡｃｃｐ＋Ａｃｃｍ＜Ａｃｃｗｏと判定すると、（ｉ）で決定されたプルーニング率を破棄し、決定前の“０％，０％，０％”を採用する。
【0057】
２回目（符号１４６参照）の探索では、（ｉ）において、閾値算出部１４ａが、閾値Ｔｗを算出（更新）し、更新した閾値Ｔｗに基づき、層１３１～１３３のプルーニング率を“０％，０％，０％”から“２０％，２０％，４０％”に決定した場合を想定する。例えば、決定部１４ｂは、（ii）において、推論精度の比較でＡｃｃｐ＋Ａｃｃｍ≧Ａｃｃｗｏと判定すると、“２０％，２０％，４０％”を採用し、プルーニング率１１ｄとしてメモリ部１１に格納する。
【0058】
３回目（符号１４７参照）の探索では、（ｉ）において、閾値算出部１４ａが、閾値Ｔｗを算出（更新）し、更新した閾値Ｔｗに基づき、層１３１～１３３のプルーニング率を“２０％，２０％，４０％”から“２０％，４０％，４０％”に決定した場合を想定する。例えば、決定部１４ｂは、（ii）において、推論精度の比較でＡｃｃｐ＋Ａｃｃｍ≧Ａｃｃｗｏと判定すると、“２０％，４０％，４０％”を採用し、プルーニング率１１ｄとしてメモリ部１１に格納（更新）する。
【0059】
決定部１４ｂは、例えば予め設定された回数等の所定の回数に亘って、プルーニング率の探索を行なってよい。
【0060】
以上のように、決定部１４ｂは、機械学習済モデル１１ｃによる推論精度と、機械学習済モデル１１ｃにおける複数の層の各々の要素を、適用する削減割合候補に応じて削減して得られる削減済モデルの機械学習後の推論精度とに基づき、複数の層の各々に適用する削減割合を決定する。
【0061】
【0062】
閾値算出部１４ａは、プルーニングした場合の損失関数を１次テイラー展開することで、精度保証できるプルーニング率の閾値を層ごとに算出する。例えば、プルーニングにより発生する層ごとのテンソルの誤差をΔｗ、プルーニングした場合の損失関数をＬ（ｗ＋Δｗ）、プルーニング対象のモデルの損失関数をＬ（ｗ）、プルーニングしない場合の損失関数（Ｌｉｄｅａｌ）をＬｗｏ＋Ｌｍとすると、精度保証できるプルーニング率の閾値は、下記式（４）により算出される。なお、Ｌｗｏはプルーニングしない場合のモデルの損失関数であり、Ｌｍは設計者が設定する損失関数のマージンである。
【数4】
【0063】
上記式（４）の左辺（図８の破線枠参照）は、プルーニングした場合の損失関数Ｌ（ｗ＋Δｗ）のテイラー展開であり、プルーニング対象のレイヤごとの重み勾配“∂L(W)/∂w”を含む。レイヤごとの勾配は、逆伝播により算出されてよい。また、上記式（４）の右辺（図８の一点鎖線枠参照）は、プルーニングをしても損失関数は理想値（例えばＦＰ３２の損失関数）よりも小さくなる、という制約である。
【0064】
このように、閾値算出部１４ａは、複数の層の各々の要素を削減する際の機械学習済モデル１１ｃの損失関数の値と、複数の層の各々の重み勾配とに基づき閾値Ｔを算出する。
【0065】
上記式（４）を整理すると、下記式（５）に示すように、プルーニングしたときの損失関数が理想損失関数よりも小さくなるという制約を満たす、「プルーニングの誤差」の条件を導出できる。換言すれば、精度（損失関数）を保証する、プルーニングによる誤差の上限（閾値）を導出できる。閾値算出部１４ａは、下記式（５）の右辺を閾値Ｔに設定する。
【数5】
【0066】
図９に例示するように、閾値算出部１４ａは、レイヤごとに設定される閾値Ｔと、プルーニングによるＬ１ノルムの誤差とを比較する。そして、閾値算出部１４ａは、閾値Ｔよりも誤差が小さくなるプルーニング率候補のうちの最大の値のプルーニング率候補（図９の例では４０％）を、（ｉ）の結果としてのプルーニング率に決定する。
【0067】
一例として、閾値算出部１４ａは、下記式（６）に従い、プルーニング対象のレイヤごとに、プルーニング誤差（左辺）が閾値（右辺）以下となるプルーニング率を決定してよい。下記式（６）において、“||ΔW||1”はプルーニング対象となった重みのＬ１ノルムであり、“n”はプルーニング対象のレイヤの重みの要素数である。
【数6】
【0068】
上記式（６）に示すように、閾値Ｔは、近似により導出したパラメータとなる。近似誤差によるプルーニング率の決定の誤りを防ぐために、閾値Ｔには、上限が設定されてよい（図９参照）。例えば、閾値算出部１４ａは、信頼領域法に基づき、「信頼半径」により閾値Ｔの大きさを制限してよい。信頼半径は、閾値上限の一例である。一例として、閾値算出部１４ａは、全層の閾値ＴのＬ２ノルムが、信頼半径以下となるように閾値Ｔをスケーリングしてよい。図９の例において、Ｔｈは各層の閾値Ｔによるベクトルを示し、“||Th||2”は、全層の閾値ＴのＬ２ノルムを示す。
【0069】
例えば、閾値算出部１４ａは、決定部１４ｂによる（ii）の処理での精度の比較結果に応じて、プルーニング率に加えて、信頼半径を（例えば定数倍等により）更新してもよい。なお、信頼半径の初期値は、例えば設計者等により設定されてよい。
【0070】
一例として、閾値算出部１４ａは、精度の和Ａｃｃｐ＋Ａｃｃｍが精度Ａｃｃｗｏ以上である場合に、信頼半径を定数Ｋ（“K>1.0”）倍し、精度の和Ａｃｃｐ＋Ａｃｃｍが精度Ａｃｃｗｏ未満である場合、信頼半径を定数ｋ（“0<k<1.0”）倍してよい。
【0071】
〔１－３〕プルーニング対象の種類に応じた説明
次に、プルーニング対象の種類に応じた、プルーニングの手法及びプルーニング誤差の算出手法の例を説明する。プルーニング対象の種類としては、例えば、チャネルプルーニング、ノードプルーニング、及び、重みプルーニング等が挙げられる。算出部１４は、プルーニング対象の種類に応じて、プルーニング対象に対応する重みを用いて、プルーニング対象及びプルーニング誤差を決定してよい。
次に、プルーニング対象の種類に応じた、プルーニングの手法及びプルーニング誤差の算出手法の例を説明する。プルーニング対象の種類としては、例えば、チャネルプルーニング、ノードプルーニング、及び、重みプルーニング等が挙げられる。算出部１４は、プルーニング対象の種類に応じて、プルーニング対象に対応する重みを用いて、プルーニング対象及びプルーニング誤差を決定してよい。
【0072】
【0073】
なお、図１０及び図１１では、畳込み演算の処理フローを示している。また、添字の付いたＨ及びＷは、入力データ、カーネル、出力データのサイズを示し、添字の付いたＣｈは、入力データ、カーネル、出力データのチャネル数を示す。以下、プルーニング対象の他の種類に係る説明においても同様である。
【0074】
（プルーニングするチャネルの決定手法の一例）
プルーニング対象の種類がチャネルである場合、算出部１４は、出力データのチャネルに対応するカーネル単位でＬ１ノルムを算出（計算）する。例えば、算出部１４は、図１０の“pruning前”に示すように、プルーニング前のＣｈ１個全てのカーネルについて、それぞれのＬ１ノルムを算出する。これにより、Ｃｈ１個分のＬ１ノルムが算出される。
プルーニング対象の種類がチャネルである場合、算出部１４は、出力データのチャネルに対応するカーネル単位でＬ１ノルムを算出（計算）する。例えば、算出部１４は、図１０の“pruning前”に示すように、プルーニング前のＣｈ１個全てのカーネルについて、それぞれのＬ１ノルムを算出する。これにより、Ｃｈ１個分のＬ１ノルムが算出される。
【0075】
次いで、算出部１４は、図１０の“pruning後”に例示するように、算出したＬ１ノルムの小さい順に、設定されたプルーニング率に応じて、対応する出力データのチャネルをプルーニングする。
【0076】
（プルーニング誤差の算出例）
図１１に例示するように、算出部１４は、プルーニング対象のカーネルのＬ１ノルムを算出する。プルーニング対象のカーネルのＬ１ノルムは、プルーニング前の全カーネルのＬ１ノルムから、プルーニング後の全カーネルのＬ１ノルムを減じたもの、すなわち、プルーニング前後のＬ１ノルムの差である。
図１１に例示するように、算出部１４は、プルーニング対象のカーネルのＬ１ノルムを算出する。プルーニング対象のカーネルのＬ１ノルムは、プルーニング前の全カーネルのＬ１ノルムから、プルーニング後の全カーネルのＬ１ノルムを減じたもの、すなわち、プルーニング前後のＬ１ノルムの差である。
【0077】
算出部１４は、算出したＬ１ノルムを、プルーニング前の全カーネルの要素数で割ることで、プルーニング誤差を取得してよい。
【0078】
【0079】
（プルーニングするノードの決定手法の一例）
プルーニング対象の種類がノードである場合、算出部１４は、出力ノードに接続される重み単位で、Ｌ１ノルムを算出する。図１２の“pruning前”の例では、算出部１４は、実線、破線、一点鎖線の各単位でＬ１ノルムを算出する。
プルーニング対象の種類がノードである場合、算出部１４は、出力ノードに接続される重み単位で、Ｌ１ノルムを算出する。図１２の“pruning前”の例では、算出部１４は、実線、破線、一点鎖線の各単位でＬ１ノルムを算出する。
【0080】
次いで、算出部１４は、図１２の“pruning後”に例示するように、算出したＬ１ノルムの小さい順に、設定されたプルーニング率に応じて、対応する出力ノードをプルーニングする。例えば、算出部１４は、Ｌ１ノルムが小さかった重み群に対応する出力ノードをプルーニング対象のノードに決定する。
【0081】
（プルーニング誤差の算出例）
図１３に例示するように、算出部１４は、プルーニング対象の重み群のＬ１ノルムを算出する。プルーニング対象の重み群のＬ１ノルムは、プルーニング前の全重みのＬ１ノルムから、プルーニング後の全重みのＬ１ノルムを減じたものである。
図１３に例示するように、算出部１４は、プルーニング対象の重み群のＬ１ノルムを算出する。プルーニング対象の重み群のＬ１ノルムは、プルーニング前の全重みのＬ１ノルムから、プルーニング後の全重みのＬ１ノルムを減じたものである。
【0082】
算出部１４は、算出したＬ１ノルムを、プルーニング前の全重みの要素数で割ることで、プルーニング誤差を取得してよい。図１３の“pruning後”の例では、算出部１４は、二点鎖線の重み群のＬ１ノルムを算出し、プルーニング前の全重みの要素数（＝“6”；線の本数）でＬ１ノルムを除算する。
【0083】
【0084】
（プルーニングする重みの決定手法の一例）
プルーニング対象の種類が重みである場合、算出部１４は、全ての重みについて、要素単位でＬ１ノルムを算出する。図１４の“pruning前”の例では、重みの要素数＝“6”であるため、算出部１４は、“6”個のＬ１ノルムを算出する。
プルーニング対象の種類が重みである場合、算出部１４は、全ての重みについて、要素単位でＬ１ノルムを算出する。図１４の“pruning前”の例では、重みの要素数＝“6”であるため、算出部１４は、“6”個のＬ１ノルムを算出する。
【0085】
次いで、算出部１４は、図１４の“pruning後”に例示するように、算出したＬ１ノルムの小さい順に、設定されたプルーニング率に応じて、対応する重みをプルーニングする。例えば、算出部１４は、Ｌ１ノルムが小さかった重みをプルーニング対象の重みに決定する。
【0086】
（プルーニング誤差の算出例）
図１５に例示するように、算出部１４は、プルーニング対象の重みのＬ１ノルムを算出する。プルーニング対象の重みのＬ１ノルムは、プルーニング前の全重みのＬ１ノルムから、プルーニング後の全重みのＬ１ノルムを減じたものである。
図１５に例示するように、算出部１４は、プルーニング対象の重みのＬ１ノルムを算出する。プルーニング対象の重みのＬ１ノルムは、プルーニング前の全重みのＬ１ノルムから、プルーニング後の全重みのＬ１ノルムを減じたものである。
【0087】
算出部１４は、算出したＬ１ノルムを、プルーニング前の全重みの要素数で割ることで、プルーニング誤差を取得してよい。図１５の“pruning後”の例では、算出部１４は、破線の重みのＬ１ノルムを算出し、プルーニング前の全重みの要素数（＝“6”；線の本数）でＬ１ノルムを除算する。
【0088】
〔１－４〕アテンション構造を備えるＮＮのプルーニング処理の説明
図１６は、アテンション構造１６０を備えるＮＮ１５０の一例を示す図である。図１６には、ＮＮ１５０がＴｒａｎｓｆｏｒｍｅｒと呼ばれるＮＮである場合を例に挙げる。なお、ＮＮ１５０は、Ｔｒａｎｓｆｏｒｍｅｒに限定されるものではなく、アテンション構造１６０を備える種々のＮＮであってもよい。
図１６は、アテンション構造１６０を備えるＮＮ１５０の一例を示す図である。図１６には、ＮＮ１５０がＴｒａｎｓｆｏｒｍｅｒと呼ばれるＮＮである場合を例に挙げる。なお、ＮＮ１５０は、Ｔｒａｎｓｆｏｒｍｅｒに限定されるものではなく、アテンション構造１６０を備える種々のＮＮであってもよい。
【0089】
ＮＮ１５０は、Ｅｍｂｅｄｄｉｎｇ層１５１ａ及び１５１ｂ、Ｐｏｓｉｔｉｏｎａｌ Ｅｎｃｏｄｉｎｇ１５２ａ及び１５２ｂ、エンコーダ１５０ａ、デコーダ１５０ｂ、全結合層（図１６では「Linear」と表記）１５５、並びに、Ｓｏｆｔｍａｘ１５６を備える。
【0090】
エンコーダ１５０ａは、Ａｄｄ＆Ｎｏｒｍ１５３ａ及び１５３ｂ、Ｆｅｅｄ Ｆｏｒｗａｒｄ１５４ａ、並びに、ＭＨＡ１６０ａを備える。デコーダ１５０ｂは、Ａｄｄ＆Ｎｏｒｍ１５３ｃ、１５３ｄ及び１５３ｅ、Ｆｅｅｄ Ｆｏｒｗａｒｄ１５４ｂ、並びに、ＭＭＨＡ（Masked MHA）１６０ｂ及びＭＨＡ１６０ｃを備える。Ｔｒａｎｓｆｏｒｍｅｒは既知のＮＮであるため、ＮＮ１５０における各層の説明は省略する。
【0091】
図１６に示すＮＮ１５０において、ＭＨＡ１６０ａ、ＭＭＨＡ１６０ｂ、ＭＨＡ１６０ｃの各々は、アテンション構造１６０の一例である。
【0092】
図１７は、アテンション構造１６０の一例を示す図である。アテンション構造１６０には、トークン及び特徴量の２つの次元を有する入力テンソルが入力される。なお、特徴量とは要素数の一例である。
【0093】
以下、アテンション構造１６０がＭＨＡ構造である場合を例に挙げて説明するが、これに限定されるものではなく、アテンション構造１６０は、ヘッドが１つである（シングルヘッド）アテンション構造であってもよい。
【0094】
【0095】
全結合層１６１～１６３は、アテンション構造１６０の入力部の一例であり、入力テンソルに対する演算を行ない、Ｑ、Ｋ及びＶのそれぞれのテンソルを出力する層である。以下の説明では、Ｑのテンソルを出力する全結合層１６１をＱ層、Ｋのテンソルを出力する全結合層１６２をＫ層、Ｖのテンソルを出力する全結合層１６３をＶ層と表記する場合がある。
【0096】
アテンション層１６４は、例えば、スケール化内積アテンション（Scaled Dot-Product Attention）と呼ばれる層（構造）を含む。図１７に示す例では、アテンション層１６４は、ヘッダ数であるＨ個（１以上の整数）のスケール化内積アテンションを含んでよい。
【0097】
ｃｏｎｃａｔ部１６５は、結合部の一例であり、アテンション層１６４から入力される複数のテンソルを結合し、結合結果のテンソルを出力するｃｏｎｃａｔ演算を行なう。
【0098】
全結合層１６６は、ｃｏｎｃａｔ部１６５から入力されるテンソルに対して演算を行ない、演算結果のテンソルを出力する。
【0099】
図１８は、アテンション構造１６０の詳細な一例を示す図である。図１８では、アテンション構造１６０が、トークン数＝１、特徴量数＝１６の入力テンソル１７０を入力とし、ヘッド数Ｈ＝４のＭＨＡである場合を例に挙げる。
【0100】
Ｑ層は、入力テンソル１７０を入力としてＱのテンソル１７１ａを出力する。Ｋ層は、入力テンソル１７０を入力としてＫのテンソル１７１ｂを出力する。Ｖ層は、入力テンソル１７０を入力としてＶのテンソル１７１ｃを出力する。
【0101】
アテンション層１６４は、Ｓｐｌｉｔ１６４ａ～１６４ｃ、Ｍａｔｍｕｌ１６４ｄ及び１６４ｆ、並びに、Ｓｏｆｔｍａｘ１６４ｅを含んでよい。
【0102】
Ｓｐｌｉｔ１６４ａ～１６４ｃは、テンソル１７１ａ～１７１ｃを、特徴量の次元でヘッド数Ｈに分割することで、テンソル１７１ａ～１７１ｃをマルチヘッド化する。
【0103】
例えば、Ｓｐｌｉｔ１６４ａは、１６次元の特徴量を含むテンソル１７１ａを入力として、テンソル１７１ａをヘッド数である４個に分割することで、４個の４次元のテンソル１７２ａを出力する。Ｓｐｌｉｔ１６４ｂは、１６次元の特徴量を含むテンソル１７１ｂを入力として、テンソル１７１ｂを４個に分割することで、４個の４次元のテンソル１７２ｂを出力する。Ｓｐｌｉｔ１６４ｃは、１６次元の特徴量を含むテンソル１７１ｃを入力として、テンソル１７１ｃを４個に分割することで、４個の４次元のテンソル１７２ｃを出力する。
【0104】
Ｍａｔｍｕｌ１６４ｄは、Ｑのテンソル１７２ａ及びＫのテンソル１７２ｂを入力として、ＱとＫとの行列積を算出する。
【0105】
例えば、Ｑのテンソル１７２ａをＱheadとし、Ｑheadの要素をｑｆとし、Ｋのテンソル１７２ｂをＫheadとし、Ｋheadの要素をｋｆとし、Ｍａｔｍｕｌ１６４ｄによる行列積の結果をＡheadとすると、行列積Ａheadは、以下のように算出される。なお、ｈｅａｄは、各ヘッドのインデックスであり、図１８の例では０～３の整数である。ｆは、各特徴量のインデックスであり、図１８の例では０～１５の整数である。
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０＋ｑ１・ｋ１＋ｑ２・ｋ２＋ｑ３・ｋ３
Ａ１＝Ｑ１・Ｋ１ Ｔ＝ｑ４・ｋ４＋ｑ５・ｋ５＋ｑ６・ｋ６＋ｑ７・ｋ７
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ８・ｋ８＋ｑ９・ｋ９＋ｑ10・ｋ10＋ｑ11・ｋ11
Ａ３＝Ｑ３・Ｋ３ Ｔ＝ｑ12・ｋ12＋ｑ13・ｋ13＋ｑ14・ｋ14＋ｑ15・ｋ15
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０＋ｑ１・ｋ１＋ｑ２・ｋ２＋ｑ３・ｋ３
Ａ１＝Ｑ１・Ｋ１ Ｔ＝ｑ４・ｋ４＋ｑ５・ｋ５＋ｑ６・ｋ６＋ｑ７・ｋ７
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ８・ｋ８＋ｑ９・ｋ９＋ｑ10・ｋ10＋ｑ11・ｋ11
Ａ３＝Ｑ３・Ｋ３ Ｔ＝ｑ12・ｋ12＋ｑ13・ｋ13＋ｑ14・ｋ14＋ｑ15・ｋ15
【0106】
上記のように、Ｍａｔｍｕｌ１６４ｄにおける行列積の演算では、ＱとＫとの間で同一のインデックスの要素どうしの積（内積）が算出される。
【0107】
従って、アテンション構造１６０には、以下の（制約１’）及び（制約２）が課されているといえる。
（制約１’）ＱheadとＫheadとのヘッド数が同一（同数）であること。
（制約２）ＱheadとＫheadとのヘッド間の特徴量数が同一（同数）であること。
（制約１’）ＱheadとＫheadとのヘッド数が同一（同数）であること。
（制約２）ＱheadとＫheadとのヘッド間の特徴量数が同一（同数）であること。
【0108】
Ｓｏｆｔｍａｘ１６４ｅは、Ｍａｔｍｕｌ１６４ｄで算出された行列積の結果を正規化することで、Ａｔｔ（Attention Weight）１７３を出力する。例えば、Ｓｏｆｔｍａｘ１６４ｅは、下記式に従い、Ａｔｔ１７３を算出してよい。
Ａｔｔ＝Softmax（Ａhead）
Ａｔｔ＝Softmax（Ａhead）
【0109】
或いは、Ｓｏｆｔｍａｘ１６４ｅは、下記式に従い、Ａｔｔ１７３を算出してもよい。下記式において、ｄｘは、Ａheadの次元数（図１８の例では４）であり、Softmax{}は正規化を行なう関数である。
Ａｔｔ＝Softmax｛Ａhead／√（ｄｘ）｝
Ａｔｔ＝Softmax｛Ａhead／√（ｄｘ）｝
【0110】
Ｍａｔｍｕｌ１６４ｆは、Ａｔｔ１７３と、Ｖのテンソル１７２ｃとを入力として、重み（Ａｔｔ１７３）とＶとの行列積を算出する。例えば、Ｍａｔｍｕｌ１６４ｆは、行列積の算出結果として、４個のテンソル１７４を出力する。
【0111】
例えば、Ａｔｔ１７３をＡｎheadとし、Ｖのテンソル１７２ｃをＶheadとし、Ｖheadの要素をｖｆとし、Ｍａｔｍｕｌ１６４ｆによる行列積の結果をＣheadとすると、行列積Ｃheadは、以下のように算出される。
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ｖ２，Ａｎ０・ｖ３］
Ｃ１＝Ａｎ１・Ｖ１＝［Ａｎ１・ｖ４，Ａｎ１・ｖ５，Ａｎ１・ｖ６，Ａｎ１・ｖ７］
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ８，Ａｎ２・ｖ９，Ａｎ２・ｖ10，Ａｎ２・ｖ11］
Ｃ３＝Ａｎ３・Ｖ３＝［Ａｎ３・ｖ12，Ａｎ３・ｖ13，Ａｎ３・ｖ14，Ａｎ３・ｖ15］
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ｖ２，Ａｎ０・ｖ３］
Ｃ１＝Ａｎ１・Ｖ１＝［Ａｎ１・ｖ４，Ａｎ１・ｖ５，Ａｎ１・ｖ６，Ａｎ１・ｖ７］
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ８，Ａｎ２・ｖ９，Ａｎ２・ｖ10，Ａｎ２・ｖ11］
Ｃ３＝Ａｎ３・Ｖ３＝［Ａｎ３・ｖ12，Ａｎ３・ｖ13，Ａｎ３・ｖ14，Ａｎ３・ｖ15］
【0112】
以上のように、Ｍａｔｍｕｌ１６４ｆにおける行列積の演算では、重み（Ａｔｔ１７３）とＶとの間で同一のヘッドのインデックスどうしの積（内積）が算出される。
【0113】
従って、アテンション構造１６０には、以下の（制約１”）が課されているといえる。
（制約１”）重み（Ｑhead及びＫhead）とＶheadとのヘッド数が同一（同数）であること。
（制約１”）重み（Ｑhead及びＫhead）とＶheadとのヘッド数が同一（同数）であること。
【0114】
なお、（制約１’）及び（制約１”）を統合し、以下の（制約１）と捉えてもよい。
（制約１）ＱheadとＫheadとＶheadとのヘッド数が同一（同数）であること。
（制約１）ＱheadとＫheadとＶheadとのヘッド数が同一（同数）であること。
【0115】
ｃｏｎｃａｔ部１６５は、複数（図１８の例では４個）のテンソル１７４（ミニテンソル）の要素を結合して１つのテンソル１７５を出力する。
【0116】
例えば、ｃｏｎｃａｔ部１６５による結合の結果（テンソル１７５）をＣとすると、結果Ｃは、以下のように算出される。
Ｃ＝［Ｃ０，Ｃ１，Ｃ２，Ｃ３］
＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ｖ２，Ａｎ０・ｖ３
，Ａｎ１・ｖ４，Ａｎ１・ｖ５，Ａｎ１・ｖ６，Ａｎ１・ｖ７
，Ａｎ２・ｖ８，Ａｎ２・ｖ９，Ａｎ２・ｖ10，Ａｎ２・ｖ11
，Ａｎ３・ｖ12，Ａｎ３・ｖ13，Ａｎ３・ｖ14，Ａｎ３・ｖ15］
Ｃ＝［Ｃ０，Ｃ１，Ｃ２，Ｃ３］
＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ｖ２，Ａｎ０・ｖ３
，Ａｎ１・ｖ４，Ａｎ１・ｖ５，Ａｎ１・ｖ６，Ａｎ１・ｖ７
，Ａｎ２・ｖ８，Ａｎ２・ｖ９，Ａｎ２・ｖ10，Ａｎ２・ｖ11
，Ａｎ３・ｖ12，Ａｎ３・ｖ13，Ａｎ３・ｖ14，Ａｎ３・ｖ15］
【0117】
以上のように、ｃｏｎｃａｔ部１６５における結合の演算（ｃｏｎｃａｔ演算）では、ｃｏｎｃａｔ部１６５に入力されるテンソル１７５（Ｃ０，Ｃ１，Ｃ２，Ｃ３）のテンソルサイズ（次元の要素数）が揃っていることが前提となる。
【0118】
従って、アテンション構造１６０には、以下の（制約３）が課されているといえる。
（制約３）Ｖheadのヘッド間で特徴量数が同一（同数）であること。
（制約３）Ｖheadのヘッド間で特徴量数が同一（同数）であること。
【0119】
このように、アテンション構造１６０に入力テンソル１７０を入力し、テンソル１７５を得るためには、上述した（制約１）～（制約３）が満たされていることが条件となる。なお、アテンション構造１６０がシングルヘッドアテンション構造である場合には、制約は、（制約１）～（制約３）に代えて、下記の（制約２’）のみとなる。
（制約２’）ＱheadとＫheadとの間の特徴量数が同一（同数）であること。
（制約２’）ＱheadとＫheadとの間の特徴量数が同一（同数）であること。
【0120】
図５～図９等を参照して説明したプルーニング率算出部１４によるプルーニング手法により、全結合層１６１～１６３（Ｑ層、Ｋ層、Ｖ層）のプルーニング率がそれぞれ独立して（例えば少なくとも１つが異なるように）選択された場合を想定する。
【0121】
この場合、全結合層１６１～１６３から出力されるテンソル１７１ａ～１７１ｃのうち、少なくとも１つのテンソルサイズが他のテンソルサイズと異なり、Ａｔｔ１７３やテンソル１７５が算出不可能となってしまう。また、プルーニングが機械学習モデルの全てのレイヤに対して独立して行なわれるため、アテンション構造１６０におけるＱ層、Ｋ層及びＶ層のいずれのレイヤの出力ノード数が最大となるかをプルーニング前に把握することは困難である。
【0122】
Ａｔｔ１７３やテンソル１７５が算出不可能になることを回避するためには、例えば、アテンション構造１６０における全結合層１６１～１６３を一律に、プルーニング率の決定対象から除外することが考えられる。しかし、この場合、ＮＮに含まれるアテンション構造の数が増加するほど、ＮＮの機械学習モデル全体のプルーニング率が低下し、プルーニングによる機械学習モデルのデータサイズの圧縮（軽量化）効果が低減する。
【0123】
そこで、一実施形態に係る算出部１４は、テンソルの一部の要素（例えばチャネル）を削除する要素削除部を、全結合層１６１及び１６２の出力側（後段）に設ける。また、一実施形態に係る算出部１４は、アテンション構造１６０がＭＨＡ構造である場合、入力されるテンソルの一部のヘッドを削除するヘッド削除部を、全結合層１６１～１６３の出力側（後段）に設ける。さらに、一実施形態に係る算出部１４は、アテンション構造１６０がＭＨＡ構造である場合、ゼロパディング層を、全結合層１６３の出力側（後段）に挿入する。要素又はヘッドの「削除」は、例えば、要素又はヘッドのプルーニング（削減）であってよい。
【0124】
ゼロパディング層は、テンソルの所定の要素（例えばチャネル）を“0”（ゼロ）でパディングするためのレイヤである。パディングとは、テンソルにゼロ等の値を埋め込むことで、テンソルのサイズ（例えばチャネル数）を大きくする操作である。ゼロパディング層は、テンソルの１以上の要素のパディングを行なうパディング層の一例である。パディング層としては、ゼロパディング層に限定されるものではなく、“0”に近い値等の種々の値をテンソルに埋め込むレイヤが用いられてもよい。
【0125】
図１９は、アテンション構造１６０を含むＮＮ１５０への一実施形態に係る手法の適用例を説明するための図である。例えば、図１９は、図１８に示すアテンション構造１６０を含むＮＮ１５０への、要素削除部、ヘッド削除部及びパディング層適用後のモデル１８０を示す。
【0126】
なお、図１９に示す処理は、プルーニング対象であるＮＮ１５０にアテンション構造１６０が含まれる場合に、プルーニング率候補を選択して実行されてよく、含まれない場合には当該処理の実行が抑止されてよい。例えば、算出部１４は、ＮＮ１５０にアテンション構造１６０が含まれるか否かを、ＮＮ１５０の構成、例えば各レイヤ及びレイヤ間の接続関係等の構成を定義する構成情報（図示省略）を参照して判定してもよい。また、算出部１４は、構成情報に基づき、アテンション構造１６０ごとに、全結合層１６１～１６３を特定してよい。
【0127】
また、図１９では、上述した（ｉ）において、算出部１４が出力データのチャネルに対応するカーネル単位でＬ１ノルムを算出（計算）し、Ｌ１正則化学習（図２参照）等によってプルーニング率を仮算出した場合を例に挙げる。
【0128】
図１９に例示するように、算出部１４は、全結合層１６１及び１６２（Ｑ層、Ｋ層）の後段、一例として、Ｓｐｌｉｔ１６４ａ及び１６４ｂの後段に、要素削除部１８１を設ける。また、算出部１４は、全結合層１６３（Ｖ層）の後段、一例として、Ｓｐｌｉｔ１６４ｃの後段に、パディング層（図１９では「Padding」と表記）１８２を挿入（配置）する。さらに、算出部１４は、全結合層１６１～１６３（Ｑ層、Ｋ層、Ｖ層）の後段、一例として、Ｓｐｌｉｔ１６４ａ～１６４ｃの後段に、ヘッド削除部１８３を設ける。
【0129】
要素削除部１８１及びヘッド削除部１８３は、算出部１４により実行されるプルーニング処理を示す機能ブロックと捉えられてよい。
【0130】
算出部１４は、アテンション構造１６０がＭＨＡ構造である場合、下記（Ｉ）～（III）の全ての条件を満たすように、要素削除部１８１による要素削除、パディング層１８２によるゼロパディング、ヘッド削除部１８３によるヘッド削除を実行してよい。例えば、算出部１４は、仮算出したプルーニング率に基づき、Ｑ層、Ｋ層、Ｖ層のチャネル数を特定し、特定したチャネル数に応じて、これらの処理を行なってよい。
【0131】
（Ｉ）第１の削減割合に基づく要素の削減後のＱ層からのテンソル１７２ａと、第２の削減割合に基づく要素の削減後のＫ層からのテンソル１７２ｂと、第３の削減割合に基づく要素の削減後のＶ層からのテンソル１７２ｃと、のそれぞれのヘッド数が一致する。
【0132】
（II）テンソル１７２ａと、テンソル１７２ｂとにおいて同一のヘッド間の要素数が同一の数となる。
【0133】
（III）テンソル１７２ｃのヘッド間で要素数が同一の数となる。
【0134】
また、アテンション構造１６０がシングルヘッドアテンション構造である場合、算出部１４は、上記（Ｉ）～（III）に代えて、下記（II’）の条件を満たすように、要素削除部１８１による要素削除を実行してよい。
【0135】
（II’）テンソル１７２ａと、テンソル１７２ｂとの間の要素数が同一の数となる。
【0136】
なお、Ｑ層からのテンソル１７２ａは、テンソルＱＴの一例であり、Ｋ層からのテンソル１７２ｂは、テンソルＫＴの一例であり、Ｖ層からのテンソル１７２ｃは、テンソルＶＴの一例である。以下の説明では、テンソル１７２ａ、１７２ｂ、１７２ｃのそれぞれを、単に「Ｑ」、「Ｋ」、「Ｖ」と表記する場合がある。
【0137】
これにより、アテンション構造１６０において、Ｑ、Ｋ、Ｖのテンソルの要素数（サイズ）を同一にすることができる。従って、アテンション構造１６０の全結合層１６１～１６３がプルーニングされることを許容でき、プルーニングによる機械学習モデルのデータサイズの圧縮率を向上させることができる。
【0138】
図２０は、モデル１８０に対する要素削除、ゼロパディング及びヘッド削除の処理の一例を説明するための図である。図２０の例では、簡単のため、入力テンソルの特徴量数が９である、換言すれば、Ｑ層、Ｋ層、Ｖ層（例えばＳｐｌｉｔ１６４ａ～１６４ｃ）の各々の出力が、ヘッド数Ｈ：３、各ヘッドのチャネル数：３であるものとする。
【0139】
図２０の符号Ａは、Ｑ層、Ｋ層、Ｖ層の各々から出力されるプルーニング前のテンソル１７２ａ～１７２ｃ（Ｑ、Ｋ、Ｖ）の一例を示す。
【0140】
図２０の符号Ｂは、Ｑ層、Ｋ層、Ｖ層の各々から出力されるプルーニング後（或いはプルーニング途中）のテンソル１７２ａ～１７２ｃの一例を示す。
【0141】
図２０の符号Ｃは、要素削除部１８１による要素の削除の一例を示す。例えば、要素削除部１８１は、Ｑ層のテンソル１７２ａ及びＫ層のテンソル１７２ｂの各々に含まれる１以上の要素のうち、同一のインデックスを持つ要素どうしのみをテンソル１７２ａ及び１７２ｂに残すように、テンソル１７２ａ及び１７２ｂのうちの少なくとも一方に含まれる要素を削減する。インデックスは、特徴量（要素）のインデックス又は識別情報の一例であり、上述したｆに相当する。
【0142】
例えば、要素削除部１８１は、Ｑ及びＫの各ヘッド間で、Ｑに含まれる非ゼロ要素（０以外の要素）のインデックス（第１インデックス）と、Ｋに含まれる非ゼロ要素のインデックス（第２インデックス）との論理積（ＡＮＤ）を算出してよい。そして、要素削除部１８１は、Ｑ及びＫのうち、論理積が示すインデックスの要素のみを残し、論理積の結果に含まれないインデックスの要素を削除（プルーニング）してよい。
【0143】
図２０の例では、要素削除部１８１は、符号Ｃ１に示すように、特徴量のインデックス１において、ｋ１の要素が０である（存在しない）ため、ヘッド０のｑ１をプルーニングする。また、要素削除部１８１は、符号Ｃ２に示すように、特徴量のインデックス３において、ｋ３の要素が０である（存在しない）ため、ヘッド１のｑ３をプルーニングする。
【0144】
要素削除部１８１による要素のプルーニングにより、後段のＭａｔｍｕｌ１６４ｄでの演算において不要になる要素を削減することができる。
【0145】
例えば、Ｍａｔｍｕｌ１６４ｄで演算される行列積Ａheadは、ヘッド数Ｈ：３、各ヘッドのチャネル数：３の場合、以下のように算出される。
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０＋ｑ１・ｋ１＋ｑ２・ｋ２
Ａ１＝Ｑ１・Ｋ１ Ｔ＝ｑ３・ｋ３＋ｑ４・ｋ４＋ｑ５・ｋ５
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ６・ｋ６＋ｑ７・ｋ７＋ｑ８・ｋ８
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０＋ｑ１・ｋ１＋ｑ２・ｋ２
Ａ１＝Ｑ１・Ｋ１ Ｔ＝ｑ３・ｋ３＋ｑ４・ｋ４＋ｑ５・ｋ５
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ６・ｋ６＋ｑ７・ｋ７＋ｑ８・ｋ８
【0146】
Ｍａｔｍｕｌ１６４ｄでは、要素Ｑｆ及びＫｆの内積（要素積）の算出の際に、Ｑｆ及びＫｆのうちのいずれかが０である場合、例えば、ｆが論理積の結果に含まれないインデックスである場合、要素Ｑｆ及びＫｆの内積が０になる。この場合、Ｍａｔｍｕｌ１６４ｄでは、当該要素Ｑｆ及びＫｆの内積のために無駄な演算リソースが使用される。
【0147】
これに対し、要素削除部１８１による要素のプルーニングによれば、要素Ｑｆ及びＫｆの内積の演算自体を省略することができるため、Ｑ及びＫの要素のうち、論理積の結果に含まるインデックスの要素のみを、Ａｔｔ１７３の算出に用いることができる。
【0148】
要素削除部１８１の処理により、Ｑ及びＫのヘッド間で特徴量数が揃う（一致する）ことになり、上記（制約２）又は（制約２’）を満たすことができる。すなわち、符号Ｃに示す要素削除（ゼロ要素削除）は、上記（II）又は（II’）の条件に従った処理である。
【0149】
図２０の符号Ｄは、符号Ｂに示すプルーニング後のテンソル１７２ｃに対する、算出部１４によるゼロパディングの一例を示す。
【0150】
符号Ｄに示すように、算出部１４は、Ｖのヘッド間で要素数が同一の数となるようにゼロパディングを行なう。例えば、算出部１４は、Ｖの各ヘッドのうちの最大の要素数を有するテンソル以外のテンソルの要素数が当該最大の要素数となるようにゼロ行列を挿入する。
【0151】
図２０の例では、符号Ｄ１に示すように、算出部１４は、ヘッド１の要素数：３（ｖ３、ｖ４、ｖ５）又はヘッド２の要素数：３（ｖ６、ｖ７、ｖ８）に合わせるように、ヘッド０（要素数：２（ｖ０、ｖ１））にパディング層１８２によってゼロ（ゼロ行列）を１つ挿入する。
【0152】
これにより、Ｖのヘッド間で特徴量数が揃う（一致する）ことになり、上記（制約３）を満たすことができる。すなわち、符号Ｄに示すゼロパディングは、上記（III）の条件に従った処理である。
【0153】
図２０の符号Ｅは、ヘッド削除部１８３によるヘッドの削除の一例を示す。例えば、ヘッド削除部１８３は、Ｑ層、Ｋ層、Ｖ層の各々のテンソル１７２ａ～１７２ｃにおいて、全ての要素が０であるヘッドが存在する場合、テンソル１７２ａ～１７２ｃの各々から、当該ヘッドと同一のヘッド番号のヘッドをプルーニングする。換言すれば、ヘッド削除部１８３は、Ｑ層、Ｋ層、Ｖ層の各々のテンソル１７２ａ～１７２ｃの各ヘッドのうち、全ての要素が０であるヘッドと同一のヘッド番号を持つヘッドを、Ｑ、Ｋ、Ｖから削除する。ヘッド番号は、ヘッドのインデックス又は識別情報の一例であり、上述したｈｅａｄに相当する。
【0154】
図２０の例では、Ｖのヘッド１には要素（ｖ３、ｖ４、ｖ５）が存在する一方、符号Ｅ１、Ｅ２に示すように、Ｑのヘッド１、Ｋのヘッド１にそれぞれ要素が存在しない。そこで、ヘッド削除部１８３は、符号Ｅ３に示すように、Ｖのヘッド１自体（ヘッド１の全要素ｖ３、ｖ４、ｖ５）をプルーニングする。
【0155】
これにより、Ｑ、Ｋ、Ｖ間でヘッド数が揃う（一致する）ことになり、上記（制約１）を満たすことができる。すなわち、符号Ｅに示すヘッド削除は、上記（Ｉ）の条件に従った処理である。
【0156】
図２０の符号Ｆは、Ｑ、Ｋを用いたＭａｔｍｕｌ１６４ｄによる行列積の演算である。Ｍａｔｍｕｌ１６４ｄでは、入力されるＱ、Ｋにおいて、符号Ｃにおける要素削除により、符号Ｅにおけるヘッド削除を経て残存するヘッドの全ての要素に「積」の相手となる非ゼロ要素が存在することになるため、行列積の実行が可能となる。行列積は、テンソル積の一例である。
【0157】
例えば、Ｍａｔｍｕｌ１６４ｄは、行列積の演算結果として、以下の結果Ｆ１を出力する。
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ６・ｋ６＋ｑ７・ｋ７＋ｑ８・ｋ８
Ａ０＝Ｑ０・Ｋ０ Ｔ＝ｑ０・ｋ０
Ａ２＝Ｑ２・Ｋ２ Ｔ＝ｑ６・ｋ６＋ｑ７・ｋ７＋ｑ８・ｋ８
【0158】
図２０の符号Ｇは、結果Ｆ１を用いたＳｏｆｔｍａｘ１６４ｅによる正規化処理の演算である。例えば、Ｓｏｆｔｍａｘ１６４ｅは、正規化処理の演算結果として、以下の結果Ｆ１を出力する。結果Ｆ１は、図１９に示すＡｔｔ１７３の一例である。
Ａｎ０＝Softmax（Ａ０）
Ａｎ２＝Softmax（Ａ２）
Ａｎ０＝Softmax（Ａ０）
Ａｎ２＝Softmax（Ａ２）
【0159】
図２０の符号Ｈは、結果Ｇ１とＶとを用いたＭａｔｍｕｌ１６４ｆによる行列積の演算である。Ｍａｔｍｕｌ１６４ｆでは、入力されるＱ、Ｋ、Ｖにおいて、符号Ｅにおけるヘッド削除により不要なヘッドが削除され、残存するヘッドの全ての要素に「積」の相手となる要素が存在することになるため、行列積の実行が可能となる。
【0160】
なお、Ｍａｔｍｕｌ１６４ｆに入力されるＶ（符号Ｅ２参照）は、以下である。
Ｖ０＝［ｖ０，ｖ１， ０］
Ｖ２＝［ｖ６，ｖ７，ｖ８］
Ｖ０＝［ｖ０，ｖ１， ０］
Ｖ２＝［ｖ６，ｖ７，ｖ８］
【0161】
例えば、Ｍａｔｍｕｌ１６４ｆは、結果Ｇ１とＶ（符号Ｅ４）との行列積の演算結果として、以下の結果Ｈ１を出力する。結果Ｈ１は、図１９に示すテンソル１７４の一例である。
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ ０］
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ ０］
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
【0162】
このように、アテンション構造１６０は、要素及びヘッド削除後のＱと要素及びヘッド削除後のＫとの行列積を正規化して得られた行列積（符号Ｇ１）と、パディング及びヘッド削除後のＶ（符号Ｅ２）と、に基づく行列積（符号Ｈ１）を出力する。
【0163】
図２０の符号Ｉは、結果Ｈ１を用いたｃｏｎｃａｔ部１６５によるｃｏｎｃａｔ演算である。ｃｏｎｃａｔ部１６５では、符号Ｄにおけるゼロパディングにより、入力されるＶにおけるヘッド間の要素数が同一になり、結合する複数のベクトル（結果Ｈ１）の特徴量数が同一になるため、結合が可能となる。
【0164】
例えば、ｃｏｎｃａｔ部１６５は、結果Ｈ１のｃｏｎｃａｔ演算結果として、以下の結果Ｉ１を出力する。結果Ｉ１は、図１９に示すテンソル１７５の一例である。
Ｃ＝［Ｃ０，Ｃ２］
＝［Ａｎ０・Ｖ０，Ａｎ０・Ｖ１，Ａｎ０・ ０，
Ａｎ２・Ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
Ｃ＝［Ｃ０，Ｃ２］
＝［Ａｎ０・Ｖ０，Ａｎ０・Ｖ１，Ａｎ０・ ０，
Ａｎ２・Ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
【0165】
以上のように、ゼロパディング処理により、Ｑ、Ｋ、Ｖごとに、テンソルの要素数（サイズ）を同一にすることができる。従って、Ｑ層、Ｋ層、Ｖ層についても、仮算出されたプルーニング率候補を用いてプルーニングすることが可能となり、アテンション構造１６０を含む機械学習モデルのデータサイズの圧縮率を向上させることができる。
【0166】
なお、仮に、符号Ｅにおけるヘッド削除が行なわれない場合、符号ＨにおけるＭａｔｍｕｌ１６４ｆの行列積の演算結果Ｈ１’は、以下のようになる。
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ ０］
Ｃ１＝Ａｎ１・Ｖ１＝０・ｖ１
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
Ｃ０＝Ａｎ０・Ｖ０＝［Ａｎ０・ｖ０，Ａｎ０・ｖ１，Ａｎ０・ ０］
Ｃ１＝Ａｎ１・Ｖ１＝０・ｖ１
Ｃ２＝Ａｎ２・Ｖ２＝［Ａｎ２・ｖ６，Ａｎ２・ｖ７，Ａｎ２・ｖ８］
【0167】
このように、符号Ｅにおけるヘッド削除ヘッドが行なわれない場合、符号ＣにおいてＱ、Ｋのヘッド１の要素が全てゼロであるため、符号ＦにおけるＭａｔｍｕｌ１６４ｄの演算結果のうちのヘッド１の要素もゼロとなる。結果として、Ｍａｔｍｕｌ１６４ｆの演算結果Ｈ１’におけるヘッド１の要素は全てゼロとなるため、ヘッド１に関する演算は、情報の無い、無駄な演算であるといえる。
【0168】
これに対し、一実施形態に係る手法によれば、例えば、Ｍａｔｍｕｌ１６４ｄからの結果Ｆ１及びＭａｔｍｕｌ１６４ｆからの結果Ｈ１のテンソルのサイズは、要素削除及びヘッド削除により、テンソル１６４ａ～１６４ｃのサイズよりも小さくなる。
【0169】
従って、一実施形態に係る手法によれば、Ｑ層、Ｋ層、Ｖ層のプルーニングに起因するモデル１８０での不要な演算の実行を抑制でき、モデル１８０の機械学習処理及びモデル１８０を利用した推論処理を高速化することができる。
【0170】
なお、符号Ｃに示す要素削除処理は、例えば、符号Ｅに示すヘッド削除処理の後に実行されてもよい。これにより、要素削除処理において削除対象候補となる要素数が減少する可能性があり、算出部１４の処理時間を短縮できる場合がある。
【0171】
なお、符号Ｄに示すゼロパディング処理は、例えば、符号Ｅに示すヘッド削除処理の後に実行されてもよい。これにより、ヘッド削除処理において削除されるヘッドに対してゼロパディングが行なわれる可能性を低減でき、算出部１４の処理時間を短縮できる場合がある。
【0172】
【0173】
【0174】
上述した要素削除処理、ゼロパディング処理及びヘッド削除処理は、要素がチャネルである場合の実施に限定されるものではなく、要素が重みである場合、及び、要素がノードである場合、の一方又は双方の場合に実施されてもよい。
【0175】
図２１は、一実施形態に係る手法の適用有無に応じた、ＮＮのプルーニング前後の精度、及び、データサイズの圧縮率の一例を示す図である。図２１では、モデルが、ＱＱＰ（二値分類タスク）の訓練が行なわれたＢＥＲＴ（Bidirectional Encoder Representations from Transformers）ｂａｓｅである場合を例に挙げる。
【0176】
なお、図２１において、「ゼロパディング層の挿入無し」とは、要素削除処理、ゼロパディング処理及びヘッド削除処理を適用せずに、アテンション構造１６０（ＭＨＡ構造）の全結合層１６１～１６３をプルーニングの対象外とした場合を意味する。「ゼロパディング層の挿入有り」とは、要素削除処理、ゼロパディング処理及びヘッド削除処理を適用し、アテンション構造１６０（ＭＨＡ構造）の全結合層１６１～１６３をプルーニングした場合を意味する。
【0177】
図２１に例示するように、要素削除処理、ゼロパディング処理及びヘッド削除処理を適用する場合、これらを適用しない場合と比較して、精度の劣化を抑制しつつ、軽量化済モデル１１ｅのデータサイズの圧縮率を向上できる。
【0178】
【0179】
図２２に例示するように、機械学習部１３は、取得部１２が取得した未学習モデル１１ａの機械学習をプルーニングなしで実行する（ステップＳ１）。
【0180】
算出部１４は、プルーニングしない場合の推論精度（認識率）Ａｃｃｗｏを算出する（ステップＳ２）。
【0181】
閾値算出部１４ａは、信頼半径の初期値を設定する（ステップＳ３）。
【0182】
閾値算出部１４ａは、プルーニング率を設定するための、層ごとの閾値Ｔ、及び、層ごとのプルーニング誤差を算出し（ステップＳ４）、全層の閾値ＴのＬ２ノルムが信頼半径よりも大きいか否かを判定する（ステップＳ５）。全層の閾値ＴのＬ２ノルムが信頼半径以下である場合（ステップＳ５でＮＯ）、処理がステップＳ７に移行する。
【0183】
全層の閾値ＴのＬ２ノルムが信頼半径よりも大きい場合（ステップＳ５でＹＥＳ）、閾値算出部１４ａは、全層の閾値ＴのＬ２ノルム＝信頼半径となるように閾値をスケール（更新）し（ステップＳ６）、処理がステップＳ７に移行する。
【0184】
ステップＳ７において、閾値算出部１４ａは、層ごとのプルーニング率を仮算出する。例えば、閾値算出部１４ａは、層ごとに、設定されたプルーニング率候補からプルーニング率を仮設定する。
【0185】
算出部１４は、プルーニング率を仮算出した層にアテンション構造１６０の全結合層１６１～１６３が含まれるか否かを判定する（ステップＳ８）。プルーニング率を仮算出した層に全結合層１６１～１６３が含まれない場合（ステップＳ８でＮＯ）、処理がステップＳ１１に移行する。
【0186】
プルーニング率を仮算出した層にアテンション構造１６０の全結合層１６１～１６３が含まれる場合（ステップＳ８でＹＥＳ）、算出部１４は、全結合層１６３（Ｖ層）の出力にパディング層１８２を挿入し（ステップＳ９）、ステップＳ１０の処理を実行して、処理がステップＳ１１に移行する。
【0187】
ステップＳ１０では、算出部１４は、全結合層１６１～１６３の各々の出力（Ｑ、Ｋ、Ｖ）のヘッド数、要素数（チャネル数）について、上述した条件（Ｉ）～（III）が満たされるように、要素削除、パディング層１８２へのゼロパディング、ヘッド削除を行なう。なお、ステップＳ４～Ｓ１０は、上記（ｉ）の処理の一例である。
【0188】
機械学習部１３は、閾値算出部１４ａが仮算出したプルーニング率で機械学習済モデル１１ｃをプルーニングし、プルーニング後のモデルの再機械学習を実行する。算出部１４は、再機械学習後のモデルの推論精度Ａｃｃｐを算出する（ステップＳ１１）。
【0189】
決定部１４ｂは、推論精度Ａｃｃｐ＋マージンＡｃｃｍが推論精度Ａｃｃｗｏ以上か否かを判定する（ステップＳ１２）。推論精度（認識率）の評価により、近似誤差によるプルーニング率選択の誤りを補償することできる。
【0190】
推論精度Ａｃｃｐ＋マージンＡｃｃｍが推論精度Ａｃｃｗｏ以上である場合（ステップＳ１２でＹＥＳ）、決定部１４ｂは、仮算出したプルーニング率で機械学習済モデル１１ｃをプルーニングすると決定し（ステップＳ１３）、仮算出したプルーニング率をプルーニング率１１ｄとしてメモリ部１１に格納する。また、閾値算出部１４ａは、信頼半径を定数倍して増加させ（ステップＳ１４）、処理がステップＳ１７に移行する。
【0191】
一方、推論精度Ａｃｃｐ＋マージンＡｃｃｍが推論精度Ａｃｃｗｏ未満である場合（ステップＳ１２でＮＯ）、決定部１４ｂは、仮算出したプルーニング率を破棄する（ステップＳ１５）。閾値算出部１４ａは、信頼半径を定数倍して減少させ（ステップＳ１６）、処理がステップＳ１７に移行する。なお、ステップＳ１０～Ｓ１６は、上記（ii）の処理の一例である。
【0192】
ステップＳ１７において、決定部１４ｂは、所定回数に亘って探索（ステップＳ４～Ｓ１６の処理）を行なったか否か、換言すれば、閾値算出、プルーニング率候補選択及びプルーニング率決定の処理の実施回数が所定の条件を満たすか否かを判定する。所定回数に亘って探索を行なっていない場合（ステップＳ１７でＮＯ）、処理がステップＳ４に移行する。
【0193】
所定回数に亘って探索を行なった場合（ステップＳ１７でＹＥＳ）、出力部１５は、決定したプルーニング率１１ｄを出力し（ステップＳ１８）、処理が終了する。なお、ステップＳ１７は、上記（iii）の処理の一例である。
【0194】
以上のように、一実施形態に係るサーバ１は、閾値算出部１４ａにより、ＮＮに使用されるテンソルの、プルーニングより発生する誤差を算出し、損失関数の値と、ＮＮの逆伝播により得られる勾配とから、閾値を生成する。また、閾値算出部１４ａが、算出されたプルーニングの誤差と閾値とを比較し、プルーニング率を仮算出する。さらに、決定部１４ｂが、算出されたプルーニング率で再学習した後のモデルの推論精度と、プルーニングしない場合のモデルの推論精度とを比較し、レイヤごとにプルーニング率を決定する。このとき、閾値算出部１４ａは、プルーニングした場合の推論精度がプルーニングしない場合の推論精度よりも劣化したと判定された場合、閾値が小さくなるように閾値の上限を再設定し、再度プルーニング率の探索を行なう。
【0195】
これにより、一実施形態に係るサーバ１によれば、層の種類に依らず、各層のプルーニング率を決定することができる。例えば、サーバ１は、ＢＮ層が接続されていない畳込み層、全結合層等を含む機械学習済モデル１１ｃに適用するプルーニング率を層ごとに決定することができる。
【0196】
また、サーバ１によれば、ＮＮにアテンション構造１６０が含まれる場合でも、アテンション構造１６０の全結合層１６１～１６３を適切にプルーニングでき、軽量化済モデル１１ｅのデータサイズの圧縮率を向上できる。
【0197】
〔１－６〕変形例
次に、一実施形態に係る変形例を説明する。なお、以下の説明では、簡単のため、推論精度のマージンＡｃｃｍが“0”である場合、換言すれば、推論精度の比較において、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ以上か否かが判定される場合を想定する。また、以下の説明では、ＮＮがアテンション構造１６０を含まない場合を例に挙げるが、図１６～図２１を参照して説明した処理は、以下の第１及び第２変形例のいずれにおいても同様に適用可能である。
次に、一実施形態に係る変形例を説明する。なお、以下の説明では、簡単のため、推論精度のマージンＡｃｃｍが“0”である場合、換言すれば、推論精度の比較において、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ以上か否かが判定される場合を想定する。また、以下の説明では、ＮＮがアテンション構造１６０を含まない場合を例に挙げるが、図１６～図２１を参照して説明した処理は、以下の第１及び第２変形例のいずれにおいても同様に適用可能である。
【0198】
〔１－６－１〕第１変形例
一実施形態に係る手法では、プルーニング率の探索回数（上記（iii）の処理の試行回数）が、例えば設計者により手動で（マニュアルで）設定されるハイパーパラメータである。このため、例えば、探索回数が少なく設定された場合、機械学習済モデル１１ｃが十分に軽量化されない可能性があり、探索回数が多く設定された場合、機械学習済モデル１１ｃは十分に軽量化されるものの、探索時間が長くなる可能性がある。
一実施形態に係る手法では、プルーニング率の探索回数（上記（iii）の処理の試行回数）が、例えば設計者により手動で（マニュアルで）設定されるハイパーパラメータである。このため、例えば、探索回数が少なく設定された場合、機械学習済モデル１１ｃが十分に軽量化されない可能性があり、探索回数が多く設定された場合、機械学習済モデル１１ｃは十分に軽量化されるものの、探索時間が長くなる可能性がある。
【0199】
図２３は、一実施形態に係る手法における信頼半径の更新に応じたプルーニング誤差比較結果の一例を示す図である。
【0200】
図２３に例示するように、ｍ（ｍは“1”以上の整数）回目の探索の誤差比較結果において、プルーニング率“10%”が算出（決定）された場合を想定する。この場合、信頼半径は、定数Ｋ倍により増加するように更新される。しかし、更新後の信頼半径が、ｍ回目で決定されたプルーニング率候補よりも１つ大きいプルーニング率候補による誤差未満である場合、ｍ＋１回目の探索の誤差比較結果においても、再びプルーニング率“10%”が算出される。
【0201】
このように、信頼半径を定数Ｋ又は定数ｋ倍する場合、信頼半径によって閾値の更新量が制限されるため、複数の探索において同じプルーニング率候補が採用される場合がある。同じプルーニング率の組み合わせが複数回に亘って探索される状態は、モデルのプルーニングが十分に試行されないままプルーニング率の探索回数が増加することに繋がる。
【0202】
そこで、第１変形例では、信頼半径の更新に着目し、ＮＮを軽量化するための適切なプルーニング率の探索時間（探索回数）を短縮（減少）させる手法を説明する。
【0203】
図２４は、第１変形例に係るサーバ１Ａの機能構成例を示すブロック図である。図２４に例示するように、サーバ１Ａは、図４のサーバ１とは異なる算出部１４Ａを備えてよい。算出部１４Ａは、図４の算出部１４とは異なる閾値算出部１４ａ’及び決定部１４ｂ’を備えてよい。
【0204】
算出部１４Ａは、探索ごとに、異なるプルーニング率の組み合わせを探索する。ここで、全てのレイヤのプルーニング率“0%”の組み合わせが選択された状態は、算出部１４Ａがこれ以上プルーニング率の探索を行なわないと判断した状態であるものとする。このような前提において、算出部１４Ａ（決定部１４ｂ’）は、全てのレイヤのプルーニング率が“0%”の組み合わせを選択した場合に、探索を打ち切る。
【0205】
閾値算出部１４ａ’は、決定部１４ｂ’による推論精度の比較結果に応じて、レイヤｉ（ｉは１以上の整数）ごとに、探索したプルーニング率よりも１つ大きな値のプルーニング率の誤差又は探索したプルーニング率の誤差と、閾値との差分の絶対値“Ediff,i”を測定する。
【0206】
例えば、閾値算出部１４ａ’は、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ以上である場合には、探索したプルーニング率よりも１つ大きな値のプルーニング率の誤差と、閾値との差分の絶対値“Ediff,i”を測定する。
【0207】
一方、閾値算出部１４ａ’は、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ未満である場合、探索したプルーニング率の誤差と、閾値との差分の絶対値“Ediff,i”を測定する。
【0208】
閾値算出部１４ａ’は、下記式（７）に例示するように、算出した全レイヤの差分の絶対値“Ediff,i”のうちの、最も小さな値（差分）“Ediff”を取得する。
Ediff= min(Ediff,1, Ediff,2, ..., Ediff,i) （７）
Ediff= min(Ediff,1, Ediff,2, ..., Ediff,i) （７）
【0209】
閾値算出部１４ａ’は、決定部１４ｂ’による推論精度の比較結果に応じて、信頼半径の定数倍、並びに、信頼半径と差分“Ediff”との和又は差、のうちの変動量が大きい方を採用して、信頼半径を更新する。
【0210】
例えば、閾値算出部１４ａ’は、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ以上である場合には、信頼半径の定数Ｋ倍、並びに、信頼半径と差分“Ediff”との和、のうちの変動量が大きい方を採用して、信頼半径が増加するように更新する。
【0211】
一方、閾値算出部１４ａ’は、推論精度Ａｃｃｐが推論精度Ａｃｃｗｏ未満である場合には、信頼半径の定数ｋ倍、並びに、信頼半径と差分“Ediff”との差、のうちの変動量が大きい方を採用して、信頼半径が減少するように更新する。
【0212】
このように、閾値算出部１４ａ’は、複数の層のそれぞれのプルーニング率候補の組み合わせが、プルーニング率候補を選択する処理（換言すれば探索）の実行ごとに互いに異なる組み合わせとなるように、信頼半径を更新する。
【0213】
図２５は、信頼半径を増加させる場合の信頼半径更新処理の一例を説明する図である。図２５に示すように、ｍ回目に探索されたプルーニング率が“(レイヤ1，レイヤ2)=(10%,0%)”である場合を想定する。閾値算出部１４ａ’は、レイヤ１のプルーニング率“20%”の誤差と信頼半径との差分の絶対値“Ediff,1”、及び、レイヤ２のプルーニング率“10%”の誤差と信頼半径との差分の絶対値“Ediff,2”を算出する。閾値算出部１４ａ’は、上記式（７）に従い、値の小さい差分“Ediff,2”を“Ediff”として取得する。
【0214】
そして、閾値算出部１４ａ’は、ｍ＋１回目（次回）の信頼半径を、下記式（８）に従い決定（更新）する。
(m+1回目の信頼半径)
= max((m回目の信頼半径・定数K), (m回目の信頼半径 + Ediff)) （８）
(m+1回目の信頼半径)
= max((m回目の信頼半径・定数K), (m回目の信頼半径 + Ediff)) （８）
【0215】
これにより、ｍ＋１回目の信頼半径には、少なくとも「信頼半径と差分との和」以上の値が選択されるため、ｍ＋１回目では、プルーニング率としてｍ回目とは異なるビット幅が算出される。
【0216】
図２５の例では、ｍ＋１回目の探索における信頼半径（閾値の上限）は、レイヤ２のプルーニング率“10%”の誤差と一致する。従って、ｍ＋１回目の探索では、前回と異なるプルーニング率の組み合わせである、プルーニング率“(レイヤ1，レイヤ2)=(10%,10%)”が探索される。
【0217】
図２６は、信頼半径を減少させる場合の信頼半径更新処理の一例を説明する図である。図２６に示すように、ｍ回目に探索されたプルーニング率が“(レイヤ1，レイヤ2)=(10%,0%)”である場合を想定する。閾値算出部１４ａ’は、レイヤ１のプルーニング率“10%”の誤差と信頼半径との差分の絶対値“Ediff,1”、及び、レイヤ２のプルーニング率“0%”の誤差と信頼半径との差分の絶対値“Ediff,2”を算出する。閾値算出部１４ａ’は、上記式（７）に従い、値の小さい差分“Ediff,1”を“Ediff”として取得する。
【0218】
そして、閾値算出部１４ａ’は、ｍ＋１回目（次回）の信頼半径を、下記式（９）に従い決定（更新）する。
(ｍ＋１回目の信頼半径)
= max((ｍ回目の信頼半径・定数), (ｍ回目の信頼半径 - Ediff)) （９）
(ｍ＋１回目の信頼半径)
= max((ｍ回目の信頼半径・定数), (ｍ回目の信頼半径 - Ediff)) （９）
【0219】
これにより、ｍ＋１回目の信頼半径には、少なくとも「信頼半径と差分との差」以上の値が選択されるため、ｍ＋１回目では、プルーニング率としてｍ回目とは異なるビット幅が算出される。
【0220】
図２６の例では、ｍ＋１回目の探索における信頼半径（閾値の上限）は、レイヤ１のプルーニング率“0%”の誤差と一致する。従って、ｍ＋１回目の探索では、前回と異なるプルーニング率の組み合わせである、プルーニング率“(レイヤ1，レイヤ2)=(0%,0%)”が探索される。
【0221】
上記式（８）及び（９）を一般化すると、次回の信頼半径は、下記式（１０）により表現できる。
次回の信頼半径 = 今回の信頼半径 * max(定数, Qscale_min) （１０）
次回の信頼半径 = 今回の信頼半径 * max(定数, Qscale_min) （１０）
【0222】
ここで、上記式（１０）において、定数はＫ又はｋであり、“Qscale_min”は、下記式（１１）で表される“Qscale”であり、“Qscale”は、下記式（１２）で表される。
Qscale_min = min(全ての量子化対象ベクトルで計算されたQscale) （１１）
Qscale = 1 + Qdiff / Qth （１２）
Qscale_min = min(全ての量子化対象ベクトルで計算されたQscale) （１１）
Qscale = 1 + Qdiff / Qth （１２）
【0223】
上記式（１２）において、“Qdiff”は、“仮算出されたビット幅（プルーニング率）よりも１つ狭いビット幅の量子化誤差と閾値との差分”であり、“Qth”は、閾値である。
【0224】
次に、図２７を参照して、第１変形例に係るサーバ１Ａの動作例を説明する。図２７は、第１変形例に係るサーバ１Ａによる処理の動作例を説明するためのフローチャートである。図２７は、図２２に示すサーバ１に係るフローチャートにおけるステップＳ１４、Ｓ１６、Ｓ１７を、ステップＳ２１、Ｓ２２、Ｓ２３にそれぞれ置き換えたものである。なお、第１変形例においても、閾値算出部１４ａ’は、ステップＳ３において、信頼半径の初期値を設定する。
【0225】
ステップＳ２１では、閾値算出部１４ａ’は、信頼半径を定数Ｋ倍、又は、「差分の和」のうちの大きい方で増加させ、処理がステップＳ２３に移行する。
【0226】
ステップＳ２２では、閾値算出部１４ａ’は、信頼半径を定数ｋ倍、又は、「差分の差」のうちの大きい方で減少させ、処理がステップＳ２３に移行する。
【0227】
ステップＳ２３では、決定部１４ｂ’は、全層のプルーニング率１１ｄが“0%”であるか否か、換言すれば、プルーニング率が所定の条件を満たすか否かを判定する。少なくとも１つの層のプルーニング率１１ｄが“0%”ではない場合（ステップＳ２３でＮＯ）、処理がステップＳ４に移行する。
【0228】
全層のプルーニング率１１ｄが“0%”である場合（ステップＳ２３でＹＥＳ）、出力部１５は、決定したプルーニング率１１ｄを出力し（ステップＳ１８）、処理が終了する。
【0229】
以上のように、第１変形例では、閾値算出部１４ａ’による信頼半径の更新手法、及び、決定部１４ｂ’による探索の終了判定の終了条件を、一実施形態とは異なるものとする。これにより、サーバ１Ａは、ＮＮを十分に軽量化するための適切なプルーニング率を、最短時間（最短回数）で探索することができる。また、設計者等による探索回数の設定（指定）を省略できる。
【0230】
〔１－６－２〕第２変形例
一実施形態及び第１変形例に係る手法では、信頼半径の初期値が設計者等により設定されるハイパーパラメータである。
一実施形態及び第１変形例に係る手法では、信頼半径の初期値が設計者等により設定されるハイパーパラメータである。
【0231】
信頼半径の初期値が大きく設定される場合と小さく設定される場合とでは、同じ探索回数であってもモデルサイズが異なる場合がある。また、信頼半径の初期値が大きく設定される場合、信頼半径の初期値が小さく設定される場合と比較して、モデルサイズが十分に軽量化されるまでの探索回数が多くなる場合がある。
【0232】
このように、信頼半径の初期値に応じて、最終的なモデルサイズ及びプルーニング率の探索回数が変動する、換言すれば、サーバ１及び１Ａの性能にばらつきが生じる可能性がある。
【0233】
そこで、第２変形例では、サーバ１及び１Ａの性能のばらつきを抑える手法を説明する。
【0234】
図２８は、第２変形例に係るサーバ１Ｂの機能構成例を示すブロック図である。図２８に例示するように、サーバ１Ｂは、図４のサーバ１とは異なる算出部１４Ｂを備えてよい。算出部１４Ｂは、図４の算出部１４とは異なる閾値算出部１４ａ”及び決定部１４ｂ”を備えてよい。
【0235】
モデルのプルーニングでは、小さなプルーニング率を用いて徐々にモデルをプルーニングすることで、大きなプルーニング率で一気にプルーニングするよりも、精度を維持でき、且つ、高い圧縮率でモデルを圧縮できることが知られている。
【0236】
また、上記式（５）に示すように、閾値Ｔは勾配の逆数に応じて設定されるため、閾値Ｔが大きい層は、勾配が小さい層であることを意味する。勾配が小さい層は、プルーニングしても精度への影響が小さい層であることを意味する。
【0237】
そこで、サーバ１Ｂ（閾値算出部１４ａ”）は、例えば、信頼半径の初期値を、初回の探索でのプルーニング率が最も小さくなるような値に設定する。このために、閾値算出部１４ａ”は、例えば、信頼半径の初期値を、全層のうちの、閾値Ｔが最も大きい層がプルーニングされ、残りの層がプルーニングされない（プルーニング率“0%”となる）ような値に設定してよい。
【0238】
サーバ１Ｂは、上述のように信頼半径の初期値を設定することで、信頼半径の初期値をマニュアルで例えば大きく設定した場合よりも、モデルサイズをより圧縮でき、又は、精度を維持することができる。
【0239】
図２９は、信頼半径の初期値の設定例を説明する図である。なお、図２９の上段に示すように、信頼半径の初期値が設定されない場合、探索されるプルーニング率の組み合わせは、“(レイヤ1，レイヤ2)=(10%,20%)”である。
【0240】
図２９に例示するように、閾値算出部１４ａ”は、プルーニング率の初回の探索において、全層のうち、最も閾値が大きな層の閾値（max(Th)）と、その層の最も小さな（“0%”を除く）プルーニング率による誤差（Error）とを測定する。
【0241】
Ｔｈは、各層の閾値Ｔ１、Ｔ２、・・・によるベクトルを示し、図２９の例ではＴｈ＝［Ｔ１、Ｔ２］である。閾値（max(Th)）は、閾値が最も大きな層の閾値であり、図２９の例では、Ｔ２である。誤差（Error）は、閾値が最も大きな層の最小プルーニング率の誤差であり、図２９の例では、レイヤ２のプルーニング率“10%”の誤差を測定する。
【0242】
次いで、閾値算出部１４ａ”は、測定した閾値及び誤差を用いて、下記式（１３）に従い、信頼半径の初期値を設定する。下記式（１３）において、“||Th||2”は、全層の閾値のＬ２ノルムである。
【数7】
【0243】
閾値算出部１４ａ”は、算出した信頼半径の初期値により、閾値が最も大きい層（レイヤ２）のプルーニング率として最小のプルーニング率“10%”が選択され、残りの層（レイヤ１）ではプルーニング率“0%”が選択されるように、閾値Ｔ１、Ｔ２を設定する。
【0244】
これにより、図２９の下段に示すように、信頼半径の初期値が設定され、閾値Ｔ１、Ｔ２が設定されると、探索されるプルーニング率の組み合わせは、“(レイヤ1，レイヤ2)=(0%,10%)”となる。プルーニング対象の層（レイヤ２）は、閾値が最も大きい、換言すれば、勾配が最も小さい層であるため、プルーニングによる精度への影響を小さく抑えることができる。
【0245】
なお、閾値算出部１４ａ”の信頼半径の初期値の設定処理以外の機能は、一実施形態に係る閾値算出部１４ａ、及び、第１変形例に係る閾値算出部１４ａ’の一方又は双方と同様であってよい。また、決定部１４ｂ”は、一実施形態に係る決定部１４ｂ、及び、第１変形例に係る決定部１４ｂ’の一方又は双方と同様であってよい。
【0246】
すなわち、第２変形例に係る手法は、一実施形態及び第１変形例の一方又は双方との組み合わせにより実現されてよい。
【0247】
次に、図３０を参照して、第２変形例に係るサーバ１Ｂの動作例を説明する。図３０は、第２変形例に係るサーバ１Ｂによる処理の動作例を説明するためのフローチャートである。図３０は、図２２に示すサーバ１に係るフローチャートにおけるステップＳ３を削除し、ステップＳ４とステップＳ５との間にステップＳ３１及びＳ３２を追加し、ステップＳ１４、Ｓ１６、Ｓ１７をステップＳ３３、Ｓ３４、Ｓ３５にそれぞれ置き換えたものである。
【0248】
ステップＳ３１では、閾値算出部１４ａ”は、ステップＳ４で層ごとの閾値を算出後、初回の探索か否かを判定する。初回の探索ではない場合（ステップＳ３１でＮＯ）、処理がステップＳ５に移行する。
【0249】
初回の探索である場合（ステップＳ３１でＹＥＳ）、閾値算出部１４ａ”は、閾値が最大の層の、閾値、及び、最小プルーニング率誤差に基づき、信頼半径の初期値を設定し（ステップＳ３２）、処理がステップＳ５に移行する。
【0250】
【0251】
以上のように、第２変形例では、閾値算出部１４ａ”による信頼半径の初期値の設定手法を、一実施形態及び第１変形例とは異なるものとする。これにより、サーバ１Ｂは、最終的なモデルサイズ及びプルーニング率の探索回数の変動を抑制でき、サーバ１及び１Ａの性能のばらつきを抑えることができる。
【0252】
また、サーバ１Ｂは、設計者等による手動での信頼半径の初期値（ハイパーパラメータ）の設定を抑止し、機械学習済モデル１１ｃのレイヤに応じて動的に、信頼半径の初期値を設定することができる。従って、モデルごとに適切なプルーニング率を設定することができ、モデルに依らず、最終的なモデルサイズ及びプルーニング率の探索回数の変動を抑制できるため、サーバ１及び１Ａの性能のばらつきを抑えることができる。
【0253】
〔１－７〕ハードウェア構成例
一実施形態並びに第１及び第２変形例に係るサーバ１、１Ａ及び１Ｂは、それぞれ、仮想マシン（ＶＭ；Virtual Machine）であってもよいし、物理マシンであってもよい。また、サーバ１、１Ａ及び１Ｂのそれぞれの機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１、１Ａ及び１Ｂのそれぞれの機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷ（Hardware）リソース及びＮＷ（Network）リソースを用いて実現されてもよい。
一実施形態並びに第１及び第２変形例に係るサーバ１、１Ａ及び１Ｂは、それぞれ、仮想マシン（ＶＭ；Virtual Machine）であってもよいし、物理マシンであってもよい。また、サーバ１、１Ａ及び１Ｂのそれぞれの機能は、１台のコンピュータにより実現されてもよいし、２台以上のコンピュータにより実現されてもよい。さらに、サーバ１、１Ａ及び１Ｂのそれぞれの機能のうちの少なくとも一部は、クラウド環境により提供されるＨＷ（Hardware）リソース及びＮＷ（Network）リソースを用いて実現されてもよい。
【0254】
図３１は、コンピュータ１０のハードウェア（ＨＷ）構成例を示すブロック図である。以下、サーバ１、１Ａ及び１Ｂのそれぞれの機能を実現するハードウェア（ＨＷ）として、コンピュータ１０を例に挙げて説明する。なお、サーバ１、１Ａ及び１Ｂのそれぞれの機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図３１に例示するＨＷ構成を備えてよい。
【0255】
図３１に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、グラフィック処理装置１０ｂ、メモリ１０ｃ、記憶部１０ｄ、ＩＦ（Interface）部１０ｅ、ＩＯ（Input / Output）部１０ｆ、及び読取部１０ｇを備えてよい。
【0256】
プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｊで相互に通信可能に接続されてよい。なお、プロセッサ１０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
【0257】
プロセッサ１０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ；Integrated Circuit）が挙げられる。なお、プロセッサ１０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。
【0258】
グラフィック処理装置１０ｂは、ＩＯ部１０ｆのうちのモニタ等の出力装置に対する画面表示制御を行なう。また、グラフィック処理装置１０ｂは、機械学習モデルを利用した機械学習処理及び推論処理を実行するアクセラレータとしての構成を有してよい。グラフィック処理装置１０ｂとしては、種々の演算処理装置、例えば、ＧＰＵ（Graphics Processing Unit）、ＡＰＵ、ＤＳＰ、ＡＳＩＣ又はＦＰＧＡ等の集積回路（ＩＣ）が挙げられる。
【0259】
例えば、プロセッサ１０ａは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｈ（機械学習プログラム）を実行してよい。プロセッサ１０ａは、例えば、プログラム１０ｈに基づき、サーバ１、１Ａ又は１Ｂ（図４、図２４又は図２８参照）の取得部１２、算出部１４、１４Ａ又は１４Ｂ、並びに、出力部１５の機能を実現してもよい。また、例えば、グラフィック処理装置１０ｂは、行列演算等のＮＮの計算に用いられる演算処理を実行してよく、例えば、サーバ１、１Ａ又は１Ｂ（図４、図２４又は図２８参照）の機械学習部１３の機能を実現してもよい。
【0260】
メモリ１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｃとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
【0261】
記憶部１０ｄは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｄとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。
【0262】
また、記憶部１０ｄは、プログラム１０ｈを格納してよい。例えば、サーバ１、１Ａ及び１Ｂのプロセッサ１０ａは、記憶部１０ｄに格納されたプログラム１０ｈをメモリ１０ｃに展開して実行することにより、サーバ１、１Ａ及び１Ｂの制御部１６（図４、図２４又は図２８参照）としての機能を実現できる。
【0263】
【0264】
ＩＦ部１０ｅは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｅは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、サーバ１、１Ａ及び１Ｂは、ＩＦ部１０ｅを介して、図示しないコンピュータと相互に通信可能に接続されてよい。図４、図２４又は図２８に例示する取得部１２及び出力部１５の一方又は双方の機能は、ＩＦ部１０ｅにより実現されてもよい。また、例えば、プログラム１０ｈは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｄに格納されてもよい。
【0265】
ＩＯ部１０ｆは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。また、ＩＯ部１０ｆは、入力装置及び出力装置が一体となったタッチパネル等を含んでもよい。出力装置は、グラフィック処理装置１０ｂに接続されてよい。例えば、図４、図２４又は図２８に例示する出力部１５は、ＩＯ部１０ｆの出力装置にプルーニング率１１ｄを出力し表示させてもよい。
【0266】
読取部１０ｇは、記録媒体１０ｉに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｇは、記録媒体１０ｉを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｇとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｉにはプログラム１０ｈが格納されてもよく、読取部１０ｇが記録媒体１０ｉからプログラム１０ｈを読み出して記憶部１０ｄに格納してもよい。
【0267】
記録媒体１０ｉとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
【0268】
上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、サーバ１、１Ａ及び１Ｂにおいて、ＩＯ部１０ｆ及び読取部１０ｇの少なくとも一方は、省略されてもよい。
【0269】
〔２〕その他
上述した実施形態並びに第１及び第２変形例に係る技術は、以下のように変形、変更して実施することができる。
上述した実施形態並びに第１及び第２変形例に係る技術は、以下のように変形、変更して実施することができる。
【0270】
【0271】
また、例えば、図４、図２４又は図２８に示すサーバ１、１Ａ又は１Ｂは、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、サーバ１、１Ａ又は１Ｂにおいて、取得部１２及び出力部１５はＷｅｂサーバ及びアプリケーションサーバ、機械学習部１３及び算出部１４、１４Ａ又は１４Ｂはアプリケーションサーバ、メモリ部１１はＤＢサーバ、等であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１、１Ａ又は１Ｂとしての処理機能を実現してもよい。
【0272】
さらに、例えば、図１６～図２１を参照して説明した、アテンション構造１６０を含むＮＮに対する要素削除処理、ゼロパディング処理及びヘッド削除処理を適用する手法は、図４、図２４又は図２８に示すサーバ１、１Ａ又は１Ｂによるプルーニング処理への適用に限定されるものではない。例えば、要素削除処理、ゼロパディング処理及びヘッド削除処理を適用する手法は、ＮＮのレイヤごとにプルーニング率を決定する種々の手法に適用されてもよい。
【0273】
〔３〕付記
以上の実施形態並びに第１及び第２変形例に関し、さらに以下の付記を開示する。
以上の実施形態並びに第１及び第２変形例に関し、さらに以下の付記を開示する。
【0274】
（付記１）
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータに実行させる、機械学習プログラム。
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータに実行させる、機械学習プログラム。
【0275】
（付記２）
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
付記１に記載の機械学習プログラム。
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
付記１に記載の機械学習プログラム。
【0276】
（付記３）
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータに実行させる、付記１又は付記２に記載の機械学習プログラム。
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータに実行させる、付記１又は付記２に記載の機械学習プログラム。
【0277】
（付記４）
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータに実行させる、付記３に記載の機械学習プログラム。
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータに実行させる、付記３に記載の機械学習プログラム。
【0278】
（付記５）
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記４に記載の機械学習プログラム。
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記４に記載の機械学習プログラム。
【0279】
（付記６）
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記５に記載の機械学習プログラム。
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記５に記載の機械学習プログラム。
【0280】
（付記７）
前記パディング層は、入力されるテンソルにゼロ行列を挿入するゼロパディングを行なう層である、
付記３～付記６のいずれか１項に記載の機械学習プログラム。
前記パディング層は、入力されるテンソルにゼロ行列を挿入するゼロパディングを行なう層である、
付記３～付記６のいずれか１項に記載の機械学習プログラム。
【0281】
（付記８）
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータが実行する、機械学習方法。
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
処理をコンピュータが実行する、機械学習方法。
【0282】
（付記９）
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
付記８に記載の機械学習方法。
前記削除する処理は、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、処理を含む、
付記８に記載の機械学習方法。
【0283】
（付記１０）
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータが実行する、付記８又は付記９に記載の機械学習方法。
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
処理を前記コンピュータが実行する、付記８又は付記９に記載の機械学習方法。
【0284】
（付記１１）
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータが実行する、付記１０に記載の機械学習方法。
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
処理を前記コンピュータが実行する、付記１０に記載の機械学習方法。
【0285】
（付記１２）
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記１１に記載の機械学習方法。
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記１１に記載の機械学習方法。
【0286】
（付記１３）
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記１２に記載の機械学習方法。
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記１２に記載の機械学習方法。
【0287】
（付記１４）
前記パディング層は、入力されるテンソルにゼロ行列を挿入するゼロパディングを行なう層である、
付記１０～付記１３のいずれか１項に記載の機械学習方法。
前記パディング層は、入力されるテンソルにゼロ行列を挿入するゼロパディングを行なう層である、
付記１０～付記１３のいずれか１項に記載の機械学習方法。
【0288】
（付記１５）
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
制御部を備える、情報処理装置。
アテンション構造を備えるニューラルネットワークの訓練済機械学習モデルにおける、前記アテンション構造の入力テンソルに対する演算処理結果としてＱｕｅｒｙを出力するＱ層及びＫｅｙを出力するＫ層の各々の要素について、
第１削減割合に基づく要素の削減後のＱ層からのテンソルＱＴに含まれる１以上の要素と、第２削減割合に基づく要素の削減後のＫ層からのテンソルＫＴに含まれる１以上の要素とのうち、同一のインデックスを持つ要素どうしのみを前記テンソルＱＴ及び前記テンソルＫＴに残すように、前記テンソルＱＴ及び前記テンソルＫＴのうちの少なくとも一方に含まれる要素を削除する、
制御部を備える、情報処理装置。
【0289】
（付記１６）
前記制御部は、前記削除する処理において、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、
付記１５に記載の情報処理装置。
前記制御部は、前記削除する処理において、
前記テンソルＱＴに含まれるゼロ以外の要素の第１インデックスと、前記テンソルＫＴに含まれるゼロ以外の要素の第２インデックスとの論理積を算出し、
前記論理積に含まれないインデックスの要素を、前記テンソルＱＴ又は前記テンソルＫＴから削除する、
付記１５に記載の情報処理装置。
【0290】
（付記１７）
前記制御部は、
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
付記１５又は付記１６に記載の情報処理装置。
前記制御部は、
前記アテンション構造がマルチヘッドアテンション構造であって、前記Ｑ層と、前記Ｋ層と、前記アテンション構造において前記入力テンソルに対する演算処理結果としてＶａｌｕｅを出力するＶ層と、の各々が複数のヘッドのそれぞれのテンソルを出力する場合、前記Ｖ層の後段に、テンソルの１以上の要素のパディングを行なうパディング層を挿入し、
第３削減割合に基づく要素の削減後のＶ層からのテンソルＶＴのヘッド間で要素数が同一の数となるように、前記パディング層によるパディングを行なう、
付記１５又は付記１６に記載の情報処理装置。
【0291】
（付記１８）
前記制御部は、
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
付記１７に記載の情報処理装置。
前記制御部は、
前記テンソルＱＴと、前記テンソルＫＴと、前記テンソルＶＴと、のそれぞれのヘッドのうち、全ての要素がゼロであるヘッドと同一のヘッドインデックスを持つヘッドを、前記テンソルＱＴ、前記テンソルＫＴ及び前記テンソルＶＴから削除する、
付記１７に記載の情報処理装置。
【0292】
（付記１９）
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記１８に記載の情報処理装置。
前記アテンション構造は、前記要素の削除及び前記ヘッドの削除後のテンソルＱＴと前記要素の削除及び前記ヘッドの削除後のテンソルＫＴとの行列積を正規化して得た行列積と、前記ヘッドの削除及び前記パディング後のテンソルＶＴと、に基づく行列積を出力する、
付記１８に記載の情報処理装置。
【0293】
（付記２０）
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記１９に記載の情報処理装置。
前記ニューラルネットワークは、前記アテンション構造から出力される前記行列積の要素を結合した結果を出力する、
付記１９に記載の情報処理装置。
【符号の説明】
【0294】
１、１Ａ、１Ｂ サーバ
１０ コンピュータ
１１ メモリ部
１１ａ 未学習モデル
１１ｂ 機械学習用データ
１１ｃ 機械学習済モデル
１１ｄ プルーニング率
１１ｅ 軽量化済モデル
１２ 取得部
１３ 機械学習部
１４、１４Ａ、１４Ｂ プルーニング率算出部（算出部）
１４ａ、１４ａ’、１４ａ” 閾値算出部
１４ｂ、１４ｂ’、１４ｂ” 決定部
１５ 出力部
１６ 制御部
１０ コンピュータ
１１ メモリ部
１１ａ 未学習モデル
１１ｂ 機械学習用データ
１１ｃ 機械学習済モデル
１１ｄ プルーニング率
１１ｅ 軽量化済モデル
１２ 取得部
１３ 機械学習部
１４、１４Ａ、１４Ｂ プルーニング率算出部（算出部）
１４ａ、１４ａ’、１４ａ” 閾値算出部
１４ｂ、１４ｂ’、１４ｂ” 決定部
１５ 出力部
１６ 制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】