特開 2024-10496 機械学習装置およびプルーニング方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024010496

(43)【公開日】2024-01-24

(54)【発明の名称】機械学習装置およびプルーニング方法

(51)【国際特許分類】

   G06N 3/082 20230101AFI20240117BHJP

【ＦＩ】

G06N3/08 120

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022111869

(22)【出願日】2022-07-12

(71)【出願人】

【識別番号】000237592

【氏名又は名称】株式会社デンソーテン

(74)【代理人】

【識別番号】110001933

【氏名又は名称】弁理士法人 佐野特許事務所

(72)【発明者】

【氏名】関 竜介

(72)【発明者】

【氏名】岡田 康貴

(72)【発明者】

【氏名】片山 雄喜

(57)【要約】

【課題】プルーニング後に得られるニューラルネットワークにおける計算効率の向上と、処理精度の低下の抑制との両立を図ることができる技術を提供する。
【解決手段】例示的な機械学習装置は、ニューラルネットワークに対してプルーニングを行う処理部を備える。前記処理部は、前記ニューラルネットワークを構成する複数の層の各層に対して求められる重要度に応じて前記プルーニングを実行する。前記重要度は、前記複数の層の中に依存関係にある層が存在しない第１層については層ごとに求められ、前記複数の層の中に依存関係にある層が存在する第２層については当該依存関係にある層をグループ化して求められる。
【選択図】図１１

【特許請求の範囲】

【請求項1】

ニューラルネットワークに対してプルーニングを行う処理部を備え、
前記処理部は、前記ニューラルネットワークを構成する複数の層の各層に対して求められる重要度に応じて前記プルーニングを実行し、
前記重要度は、
前記複数の層の中に依存関係にある層が存在しない第１層については層ごとに求められ、
前記複数の層の中に依存関係にある層が存在する第２層については当該依存関係にある層をグループ化して求められる、機械学習装置。

【請求項2】

前記依存関係にある層は、残差コネクションで関係づけられる層である、請求項１に記載の機械学習装置。

【請求項3】

前記第２層は、前記複数の層の中の少なくとも１つの層と依存関係にある、請求項１又は２に記載の機械学習装置。

【請求項4】

前記第２層においては、前記重要度は、前記グループ化された層の層ごとに求められた重要度を平均した値とされる、請求項１又は２に記載の機械学習装置。

【請求項5】

前記重要度は、前記複数の層の各層においてチャネルごとに求められる、請求項１に記載の機械学習装置。

【請求項6】

前記第２層においては、前記チャネルごとの前記重要度は、前記グループ化された各層にて前記チャネルごとに求められた重要度を前記チャネルごとに平均した値とされる、請求項５に記載の機械学習装置。

【請求項7】

前記プルーニングは、前記チャネルごとに求められた前記重要度に応じてチャネル単位で実行される、請求項６に記載の機械学習装置。

【請求項8】

前記処理部は、前記チャネルごとに求められた前記重要度が低い方から順に所定の割合を前記プルーニングの対象とする、請求項７に記載の機械学習装置。

【請求項9】

前記処理部は、前記プルーニング後のニューラルネットワークの学習を行う、請求項１又は８に記載の機械学習装置。

【請求項10】

装置がニューラルネットワークに対してプルーニングを行う方法であって、
前記プルーニングは、前記ニューラルネットワークを構成する複数の層の各層に対して求められる重要度に応じて実行され、
前記重要度は、
前記複数の層の中に依存関係にある層が存在しない第１層については層ごとに求められ、
前記複数の層の中に依存関係にある層が存在する第２層については当該依存関係にある層をグループ化して求められる、プルーニング方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ニューラルネットワークに対してプルーニングを行う技術に関する。

【背景技術】

【0002】

従来、ディープラーニングにより学習が行われたニューラルネットワークを、計算リソースが限られたエッジデバイスで動作させる手法としてプルーニング（枝刈り）が知られている。プルーニングでは、ニューラルネットワークに含まれる冗長なパラメータの削除が行われる。プルーニングにより、ニューラルネットワークの圧縮を図り、ニューラルネットワークにおける計算効率の向上を図ることができる。

【0003】

特許文献１には、多層ニューラルネットワークにおける層を削除する技術が開示される。特許文献１における学習装置は、多層ニューラルネットワークにおける各層について、該多層ニューラルネットワークの推定結果に対する寄与の度合いを示す寄与度をそれぞれ計算し、各層の寄与度に基づいて、削除対象の層を選択する。そして、当該学習装置は、選択された削除対象の層を多層ニューラルネットワークから削除し、削除対象の層が削除された多層ニューラルネットワークの学習を行う。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１８５２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ニューラルネットワークを構成する層単位で削除を行う構成とすると、処理後に得られるニューラルネットワークの計算効率の向上を図れるが、ニューラルネットワークの処理精度が低下することが懸念される。一方で、プルーニングにより冗長なパラメータの削除を十分に行うことができないと、プルーニング後に得られるニューラルネットワークの計算効率を十分に高めることができない可能性がある。

【0006】

本発明は、上記の点に鑑み、プルーニング後に得られるニューラルネットワークにおける計算効率の向上と、処理精度の低下の抑制との両立を図ることができる技術を提供することを目的とする。

【課題を解決するための手段】

【0007】

例示的な本発明の機械学習装置は、ニューラルネットワークに対してプルーニングを行う処理部を備える。前記処理部は、前記ニューラルネットワークを構成する複数の層の各層に対して求められる重要度に応じて前記プルーニングを実行する。前記重要度は、前記複数の層の中に依存関係にある層が存在しない第１層については層ごとに求められ、前記複数の層の中に依存関係にある層が存在する第２層については当該依存関係にある層をグループ化して求められる。

【発明の効果】

【0008】

例示的な本発明によれば、プルーニング後に得られるニューラルネットワークにおける計算効率の向上と、処理精度の低下の抑制との両立を図ることができる。

【図面の簡単な説明】

【0009】

【図1】機械学習システムの概略構成を示すブロック図

【図2】プルーニングの概要を示す模式図

【図3】ニューラルネットワークの構造例について説明するための模式図

【図4】ニューラルネットワークが有するステージの構造例を示す模式図

【図5】第１のプルーニング処理の一例について説明するための図

【図6】第１のプルーニング処理の他の例について説明するための図

【図7】第１実施形態に係る、プルーニングを含む機械学習方法の一例を示すフローチャート

【図8】第１実施形態に係るプルーニングの流れを示すフローチャート

【図9】第１実施形態に係る、プルーニングを含む機械学習方法の変形例を示すフローチャート

【図10】第２実施形態に係るプルーニングの流れを示すフローチャート

【図11】第２層の重要度の求め方を説明するための図

【図12】第２層における不要なチャネルか否かの判定手法について説明するための図

【図13】第２実施形態の手法の効果について説明するための図

【図14】チャネル単位で行われるプルーニングについて説明するための図

【図15】チャネル単位で行われるプルーニングについて説明するための図

【発明を実施するための形態】

【0010】

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。

【0011】

＜＜１．第１実施形態＞＞
＜１－１．機械学習システム＞
図１は、本発明の実施形態に係る機械学習システム１００の概略構成を示すブロック図である。図１に示すように、機械学習システム１００は、機械学習装置１とエッジデバイス２とを備える。

【0012】

機械学習装置１は、学習済みのニューラルネットワークの生成に関わる処理を行う。機械学習装置１が行う処理には、少なくとも、学習が行われたニューラルネットに対してプルーニングを行う処理が含まれる。本実施形態では、機械学習装置１が行う処理には、プルーニングの他に、プルーニング後の再学習処理も含まれる。

【0013】

なお、機械学習装置１が行う処理は、プルーニングのみであってもよい。この場合、機械学習装置１は、プルーニング装置であってよい。また、別の例として、機械学習装置１が行う処理には、プルーニングの前に行われるニューラルネットワークを学習する処理（事前学習処理）が含まれてもよい。

【0014】

本実施形態では、機械学習装置１は、インターネット等の通信網を介してエッジデバイス２と接続される。機械学習装置１は、いわゆるサーバ装置であり、プルーニングおよびその後の再学習が行われたニューラルネットワークをエッジデバイス２に配信する。なお、ここで言うサーバ装置は、物理サーバであっても、クラウドサーバであってもよい。エッジデバイス２は、例えば、スマートフォン、パーソナルコンピュータ、車載装置、ＩｏＴ（Internet of Things）家電等であってよい。

【0015】

なお、機械学習装置１によりプルーニングおよびその後の再学習が行われたニューラルネットワークは、例えば、光記録媒体あるいは磁気記録媒体等の記録媒体に記録され、記録媒体を介して他の装置（車載装置等）に提供される構成であってもよい。機械学習装置１によりプルーニングおよびその後の再学習が行われたニューラルネットワークは、有線を介して他の装置（車載装置等）に提供される構成であってもよい。

【0016】

＜１－２．機械学習装置＞
（１－２－１．装置の概要）
図１に示すように、機械学習装置１は、処理部１１および記憶部１２を備える。

【0017】

処理部１１は、例えば、１又は複数のプロセッサにより構成される。プロセッサは、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）を含んで構成されてよい。また、プロセッサは、例えば、ＣＰＵおよびＧＰＵを含んで構成されてもよい。

【0018】

記憶部１２は、コンピュータにより読み取り可能なプログラムおよびデータ等を非一時的に格納または記憶する。記憶部１２は、不揮発性記憶媒体を有する。記憶部１２が有する不揮発性記憶媒体は、例えば、半導体メモリ、磁気媒体、および、光学媒体等のうち、少なくとも一種類により構成されてよい。また、記憶部１２は、ＲＡＭ（Random Access Memory）を構成する揮発性記録媒体を有する。

【0019】

図１に示すように、処理部１１は、機能的な構成として、プルーニング部１１１および学習部１１２を備える。処理部１１が備えるプルーニング部１１１および学習部１１２は、例えば、記憶部１２に記憶されるプログラムに従った演算処理をプロセッサが実行することによって実現される。本実施形態の範囲には、機械学習装置１をコンピュータによって実現するコンピュータプログラムが含まれる。また、本実施形態の範囲には、そのようなプログラムを記録したコンピュータ読取り可能な不揮発性記録媒体が含まれる。

【0020】

なお、上記各部１１１、１１２は、上述のように、プロセッサにプログラムを実行させること、すなわちソフトウェアにより実現されてよいが、他の手法により実現されてもよい。上記各部１１１、１１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等を用いて実現されてもよい。すなわち、上記各部１１１、１１２は、専用のＩＣ等を用いてハードウェアにより実現されてもよい。上記各部１１１、１１２は、ソフトウェアおよびハードウェアを併用して実現されてもよい。また、上記各部１１１、１１２は、概念的な構成要素である。１つの構成要素が実行する機能が、複数の構成要素に分散されてよい。また、複数の構成要素が有する機能が１つの構成要素に統合されてもよい。

【0021】

プルーニング部１１１は、ニューラルネットワークに対してプルーニングを行う。つまり、機械学習装置１は、ニューラルネットワークに対してプルーニングを行う処理部１１を備える。詳細には、プルーニングが行われるニューラルネットワークは、事前に学習が行われた学習済みのニューラルネットワークである。この事前の学習は、機械学習装置１によって行われてもよいし、他の装置によって行われてもよい。なお、プルーニングが行われる学習済みのニューラルネットワークは、機械学習装置１がエッジデバイス２に対して配信する学習済みのニューラルネットワークとは異なる。

【0022】

［１－２－１－１．プルーニングの概要］
図２は、プルーニングの概要を示す模式図である。図２の左側に示すニューラルネットワークＮＮ１は、プルーニングが行われる前のニューラルネットワークである。図２の右側に示すニューラルネットワークＮＮ２は、ニューラルネットワークＮＮ１に対してプルーニングを行った後のニューラルネットワークである。

【0023】

図２に示すように、ニューラルネットワークＮＮ１、ＮＮ２は、複数のニューロンＮが集まった層Ｌを複数有する。図２に示す例では、ニューラルネットワークＮＮ１、ＮＮ２は、４つの層Ｌを有する。ニューロンＮは、いわゆるノードと同じである。層Ｌと層Ｌの間には、ニューロンＮ同士のつながりの強さを示す重みＷが存在する。図２に示すように、プルーニング後のニューラルネットワークＮＮ２は、プルーニング前のニューラルネットワークＮＮ１と比べて、ニューロンＮや重みＷの数が減っている。すなわち、プルーニングが行われると、ニューラルネットワークの重みＷおよびニューロンＮのうちの少なくとも一方が取り除かれる。図２に示されたプルーニング後のニューラルネットワークＮＮ２に含まれるニューロンＮや重みＷの数は、プルーニング前のニューラルネットワークＮＮ１と比較して減少している。言い換えれば、プルーニング後のニューラルネットワークＮＮ２は、プルーニング前と比較して、規模が小さくなっている（圧縮されている）。プルーニング後のニューラルネットワークＮＮ２は圧縮されているので、プルーニング後のニューラルネットワークＮＮ２を利用する場合、計算量に加えてメモリの占有量やメモリへのアクセスも低減され、計算効率の向上を図ることができる。本実施形態におけるプルーニングの詳細については、後述する。

【0024】

図１に戻って、学習部１１２は、プルーニング後のニューラルネットワークを、データセット（不図示）を用いて再学習する。すなわち、処理部１１は、プルーニング後のニューラルネットワークの学習を行う。このような構成とすることによって、プルーニング後のニューラルネットワークの重みの適正化を図り、ニューラルネットワークの処理精度の低下を抑制することができる。

【0025】

なお、学習部１１２は、機械学習装置１に含まれなくてもよい。また、データセットを用いた学習の手法には、公知の手法が利用されてよい。データセットは、学習データと正解ラベルとを含む教師データ群であってよい。本実施形態では、学習部１１２は、再学習により得られた学習済みのニューラルネットワークをエッジデバイス２に向けて出力する。

【0026】

（１－２－２．ニューラルネットワーク）
図３は、処理部１１によってプルーニングが行われるニューラルネットワーク３０の構造例について説明するための模式図である。ニューラルネットワーク３０は、例えば、画像分類や物体検出等を行う画像認識用のニューラルネットワークである。ただし、ニューラルネットワーク３０は、画像認識用のニューラルネットワークに限らず、例えば音声認識用のニューラルネットワーク等であってもよい。

【0027】

図３に示す例において、プルーニングの対象となるニューラルネットワーク３０は、少なくとも１つのブロック３２を含むステージ３１を複数有する。ニューラルネットワーク３０は、詳細には、複数のステージ３１が連なった構造を有する。複数のステージ３１に含まれるブロック３２の数は、互いに同じであっても、異なってもよい。複数のステージ３１の中には、複数のブロック３２を含むステージ３１が少なくとも１つは存在する。

【0028】

図４は、ニューラルネットワーク３０が有するステージ３１の構造例を示す模式図である。図４に示す例では、ステージ３１に含まれるブロック３２の数は複数であり、詳細には３つである。図４に示すように、各ブロック３２には、複数の層３３が含まれる。図４に示す例では、各ブロック３２には、３つの畳み込み層３３が含まれる。各ブロック３２に含まれる層３３の数は、３つに限らず、２つや、４つ以上であってもよい。

【0029】

図４に示す例では、ステージ３１内に含まれる各ブロック３２の最後の畳み込み層３３が残差コネクション３４により接続される。残差コネクションは、Residual Connection、又は、スキップコネクションと同義である。詳細には、ステージ３１内には、残差コネクション３４が２つ含まれる。第１残差コネクション３４ａは、第１ブロック３２ａの最後の畳み込み層３３ａＬの出力と、第２ブロック３２ｂの最後の畳み込み層３３ｂＬの出力とを結合する。第２残差コネクション３４ｂは、第２ブロック３２ｂの最後の畳み込み層３３ｂＬの出力と、第３ブロック３２ｃの最後の畳み込み層３３ｃＬの出力とを結合する。なお、ステージ３１内に含まれる残差コネクション３４の数は、ステージ３１内に含まれるブロック３２の数に応じて適宜変更されてよい。

【0030】

出力が残差コネクション３４により結合される畳み込み層３３同士は、要素同士の足し合せが行われるために、出力チャネルの構成が同じとされる。このため、残差コネクション３４で接続される各ブロック３２の最後の畳み込み層３３のチャネル数は同じとされる。換言すると、ステージ３１内において、各ブロック３２の出力チャネル数は同じである。図４に示す例では、第１ブロック３２ａの最後の畳み込み層３３ａＬ、第２ブロック３２ｂの最後の畳み込み層３３ｂＬ、および、第３ブロック３２ｃの最後の畳み込み層３３ｃＬの出力チャネル数は同数Ｃ１である。換言すると、３つのブロック３２ａ、３２ｂ、３２ｃの出力チャネル数はいずれもＣ１である。

【0031】

本実施形態では、ステージ３１毎に、ブロック３２の出力チャネル数が異なる。換言すると、ステージ３１は、出力するチャネル数が同じとなるブロック３２の集合体である。例えば、ニューラルネットワーク３０が５つのステージ３１を有する場合、第１ステージ、第２ステージ、第３ステージ、第４ステージ、および、第５ステージの各ブロック３２の出力チャネル数は、順に、２４、４０、８０、１２０、１６０等とされる。なお、ステージ３１間を跨ぐ残差コネクション３４は設定されない。

【0032】

以上のように構成されるニューラルネットワーク３０は、例えば、公知のＲｅｓＮｅｔやＭｏｂｉｌｅＮｅｔＶ２等を用いて構成されてよい。例えば、ＲｅｓＮｅｔでは、各ブロック３２に含まれる層の数は２つである。また、例えば、ＭｏｂｉｌｅＮｅｔＶ２では、各ブロック３２に含まれる層の数は３つである。

【0033】

以上では、残差コネクション３４は、各ブロック３２の最後の層３３同士を結合する構成とした。ただし、これは例示である。プルーニングの対象となるニューラルネットワークが残差コネクションを含めばよい。例えば、残差コネクションは、各ブロック３２の中間の層３３同士（例えば、層３３ａＭと層３３ｂＭ）を結合する構成であってもよい。

【0034】

（１－２－３．プルーニングの詳細）
本実施形態において、プルーニングには、第１のプルーニング処理と、第１のプルーニング処理とは異なる第２のプルーニング処理とが含まれる。このような構成とすれば、ニューラルネットワーク３０の構成に応じてプルーニングの手法の使い分けを行うことができる。複数のプルーニング手法の使い分けにより、ニューラルネットワーク３０の重みやノードを適切に取り除くことができ、プルーニング後に得られるニューラルネットワーク３０における計算効率の向上と処理精度の低下の抑制との両立を図ることができる。

【0035】

詳細には、第１のプルーニング処理と第２のプルーニング処理とは、プルーニングを行う、ニューラルネットワーク３０の構成要素の単位が異なる。このような構成とすれば、ニューラルネットワーク３０の局所的な構造の違い等に応じてプルーニングの手法の使い分けを行って、ニューラルネットワーク３０の重みやノードを適切に取り除くことができる。

【0036】

より詳細には、第１のプルーニング処理は、畳み込み層のチャネル単位でプルーニングを行う。第２のプルーニング処理は、重みパラメータ単位でプルーニングを行う。チャネル単位の方が、重みパラメータ単位よりも、プルーニングを行うニューラルネットワーク３０の構成要素の単位が大きい。すなわち、第１のプルーニング処理は、第２のプルーニング処理に比べて、プルーニングを行うニューラルネットワーク３０の構成要素の単位が大きい。

【0037】

上述のように、ニューラルネットワーク３０は、残差コネクション３４を含む。このような構成では、残差コネクション３４により接続される畳み込み層３３同士の出力チャネルを同じ構成にする必要がある。このために、残差コネクション３４により接続される層３３に関しては、単独でチャネル単位のプルーニングを行うことができない。すなわち、残差コネクション３４で接続される層３３に対してチャネル単位でプルーニングを行う場合には、接続される各層３３における各チャネルの重要度を総合的に判定してプルーニングを行う必要がある。すなわち、プルーニング処理が複雑となりやすい。

【0038】

また、残差コネクション３４で接続される層３３の間で、不要なチャネルの数に偏りがある場合、不要なチャネルの数が少ない層３３に合わせてプルーニングを行う必要がある。このために、不要なチャネルの数が多い層３３において、余分なチャネルが残ってしまい、チャネル単位のプルーニングの効果が小さくなることがある。

【0039】

更に、プルーニングにおいては、ニューラルネットワーク３０全体でプルーニングを行う重みパラメータの比率を決める手法が一般的に行われる。この場合、残差コネクション３４で接続される層３３において、チャネル単位のプルーニングに上述のような制約があるために、残差コネクション３４で接続される層３３以外の層３３にプルーニングが偏って行われる傾向がある。この結果、プルーニング後に得られるニューラルネットワーク３０の処理精度が低下することがある。

【0040】

この点、本実施形態では、チャネル単位でのプルーニング処理と、重みパラメータ単位でのプルーニング処理とを使い分けることができるために、プルーニング処理の複雑化、および、プルーニング対象の偏りを避けて適度なプルーニングを行うことができる。この結果、プルーニング後に得られるニューラルネットワーク３０における計算効率の向上と、処理精度の低下の抑制との両立を図ることができる。

【0041】

具体的には、処理部１１は、ニューラルネットワーク３０を構成する複数の層３３のうち、出力が残差コネクション３４で結合される層３３の少なくとも一部を第１のプルーニング処理（チャネル単位のプルーニング処理）の対象外とする。第１のプルーニング処理の対象外とされた層３３に対しては、第２のプルーニング処理（重みパラメータ単位でのプルーニング処理）が行われる。このように構成することで、出力が残差コネクション３４で結合される層３３について、処理が複雑になることを避けつつ、適度なプルーニングを実施することができる。

【0042】

図４に示す例においては、各ブロック３２ａ、３２ｂ、３２ｃの最後の畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬは、第１のプルーニング処理（チャネル単位のプルーニング）の対象から除外される。そして、これらの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬは、第２のプルーニング処理（重みパラメータ単位のプルーニング）の対象とされる。各ブロック３２の最初の畳み込み層３３ａＦ、３３ｂＦ、３３ｃＦと、中間の畳み込み層３３ａＭ、３３ｂＭ、３３ｃＭは、第１のプルーニング処理の対象となる。

【0043】

なお、各ブロック３２の最初の畳み込み層３３ａＦ、３３ｂＦ、３３ｃＦと、中間の畳み込み層３３ａＭ、３３ｂＭ、３３ｃＭとは、第１のプルーニング処理だけが行われる構成であってよい。ただし、各ブロック３２の最初の畳み込み層３３ａＦ、３３ｂＦ、３３ｃＦと、中間の畳み込み層３３ａＭ、３３ｂＭ、３３ｃＭとは、第１のプルーニング処理に加えて、第２のプルーニング処理も行われることが好ましい。

【0044】

図５は、第１のプルーニング処理の一例について説明するための図である。図５において、ｉは畳み込み層３３の番号、Ｃはチャネル数、ｗとｈはそれぞれ特徴マップ４０の幅と高さを表す。ｉの値が小さいほど入力層に近く、ｉの値が大きいほど出力層に近いことを表す。畳み込み層３３の重みは、サイズｋ×ｋの畳み込みフィルタ（カーネル）がＭ×Ｎ枚配列された構成となっている。行数Ｍは、出力特徴マップ４０のチャネル数（Ｃｉ＋１）に対応する。列数Ｎは、入力特徴マップ４０のチャネル数（Ｃｉ）に対応する。

【0045】

図５に示す例では、各畳み込みフィルタについて、重みパラメータの絶対値和が算出される。例えば、畳み込みフィルタのサイズが３×３である場合、９つの重みパラメータの絶対値和が算出される。入力チャネルごと（列ごと）に、求めた絶対値和の総和（Ｍ個の絶対値和の総和）が評価値として算出される。評価値が小さい入力チャネルについて、入力チャネルの畳み込みフィルタと、当該入力チャネルに対応する入力特徴マップ４０とが削除される。削除対象となる入力チャネルは、例えば、評価値が小さい方から順番に予め決められた数である。

【0046】

なお、図５においては、１つの入力チャネルが削除対象となっており、当該削除対象の入力チャネルに含まれる全ての畳み込みフィルタと、当該入力チャネルに対応するハッチングを施した入力特徴マップ４０が削除されている。また、上述の絶対値和の代わりに、例えば、二乗和や、絶対値の最大値が利用される構成等としてもよい。

【0047】

図６は、第１のプルーニング処理の他の例について説明するための図である。図６においても、図５と同様に、ｉは畳み込み層３３の番号、Ｃはチャネル数、ｗとｈはそれぞれ特徴マップ４０の幅と高さを表す。ｉの値が小さいほど入力層に近く、ｉの値が大きいほど出力層に近いことを表す。畳み込み層３３の重みは、サイズｋ×ｋの畳み込みフィルタがＭ×Ｎ枚配列された構成となっている。行数Ｍは、出力特徴マップ４０のチャネル数（Ｃｉ＋１）に対応する。列数Ｎは、入力特徴マップ４０のチャネル数（Ｃｉ）に対応する。

【0048】

図６に示す例でも、各畳み込みフィルタについて、重みパラメータの絶対値和が算出される。ただし、図６に示す例では、出力チャネルごと（行ごと）に、求めた絶対値和の総和（Ｎ個の絶対値和の総和）が評価値として算出される。評価値が小さい出力チャネルについて、出力チャネルの畳み込みフィルタと、当該出力チャネルに対応する出力特徴マップ４０とが削除される。削除対象となる出力チャネルは、例えば、評価値が小さい方から順番に予め決められた数である。

【0049】

なお、図６においては、１つの出力チャネルが削除対象となっており、当該削除対象の出力チャネルに含まれる全ての畳み込みフィルタと、当該出力チャネルに対応するハッチングを施した出力特徴マップ４０が削除される。また、図５に示す例の場合と同様に、上述の絶対値の和の代わりに、例えば、二乗和や、絶対値の最大値が利用される構成としてもよい。

【0050】

図５に示すプルーニング処理は、入力チャネルの数を削減するプルーニングで、いわゆるチャネルプルーニングである。図６に示すプルーニング処理は、出力チャネルの数を削減するプルーニングで、いわゆるフィルタプルーニングである。図５および図６に示すプルーニングは、上述の説明からわかるように、いずれもチャネル単位でプルーニングが行われる。

【0051】

上述のように、第２のプルーニング処理は、チャネル単位よりも小さい単位である重みパラメータ単位でプルーニングが行われる。例えば、重みパラメータの絶対値の大きさが、予め定められた閾値よりも小さい場合に、重みパラメータがゼロとされる。絶対値の大きさの代わりに、例えば二乗値が利用されてもよい。

【0052】

なお、重みパラメータの絶対値が小さい方から順に所定数が、重みパラメータをゼロとされてもよい。また、別の手法として、例えば、ニューラルネットワーク３０の性能（例えば認識率等）に影響を与えない重みパラメータを探索的に見つける手法が用いられてもよい。

【0053】

重みパラメータ単位で行われる第２のプルーニング処理は、ニューラルネットワーク３０におけるプルーニングを行う構成要素の単位が、チャネル単位で行われる第１のプルーニング処理に比べて小さい。このために、第２のプルーニング処理は、第１のプルーニング処理に比べて精度劣化を小さく抑えることができる。

【0054】

＜１－３．機械学習方法＞
次に、本発明の第１実施形態に係る、プルーニング手法を利用した機械学習方法について説明する。図７は、本発明の第１実施形態に係る、プルーニングを含む機械学習方法の一例を示すフローチャートである。

【0055】

ステップＳ１では、ニューラルネットワーク３０の学習が行われる。当該学習は、データセット（不図示）を用いて行われる。データセットは、学習データと正解ラベルとを含む教師データ群であってよい。当該学習は、上述の事前学習である。事前学習は、機械学習装置１によって行われても、他の装置によって行われてもよい。学習が完了すると、次のステップＳ２に処理が進められる。

【0056】

ステップＳ２では、機械学習装置１の処理部１１が、学習済みのニューラルネットワーク３０を対象としてプルーニングを行う。プルーニングが完了すると、次のステップＳ３に処理が進められる。ステップＳ３の処理の説明を行う前に、図８を用いてプルーニングの流れについて説明する。図８は、第１実施形態に係るプルーニングの流れを示すフローチャートである。より詳細には、図８は、図７のステップＳ２におけるプルーニングの詳細な流れを示すフローチャートである。

【0057】

ステップＳ２１では、重みパラメータの削減率が設定される。削減率は、学習済みのニューラルネットワーク３０が有する全ての重みパラメータに対して重みパラメータを削減する比率である。例えばニューラルネットワーク３０の開発を行う開発者等の人が、削減率の設定を行う。機械学習装置１に対する人による削減率の設定は、不図示の入力装置を利用して行われる。なお、削減率の設定は、機械学習装置１が自動的に設定する構成であってもよい。

【0058】

削減率は、１つの値のみが設定される構成でもよいが、本実施形態では、削減率は、段階的に数値が大きくなるように複数設定される。これは、第１回目のプルーニングからプルーニングの回数を重ねるごとに削減率を大きくする構成とするためである。例えば、削減率は、２０％、２５％、３０％、・・・といった形式で設定される。削減率が設定されると、次のステップＳ２２に処理が進められる。

【0059】

ステップＳ２２では、処理部１１が、学習済みのニューラルネットワーク３０における不要なチャネルの特定を行う。不要なチャネルの特定を行う処理は、上述したチャネル単位で行われる第１のプルーニング処理に含まれる処理である。ニューラルネットワーク３０に含まれる複数の層３３のうち、出力が残差コネクション３４で結合される層３３は、不要なチャネルを特定する対象から除外される。例えば、上述した評価値が小さい方から順に、所定数が不要なチャネルとして特定される。所定数は、例えば、削減率に応じて自動的に決められる構成としてよい。不要なチャネルの特定が行われると、次のステップＳ２３に処理が進められる。

【0060】

ステップＳ２３では、処理部１１が、学習済みのニューラルネットワーク３０における不要な重みパラメータの特定を行う。不要な重みパラメータの特定を行う処理は、上述した重みパラメータ単位で行われる第２のプルーニング処理に含まれる処理である。本実施形態では、不要な重みパラメータの特定を行う処理は、ニューラルネットワーク３０に含まれる全ての層３３を対象として行われる。なお、既に不要なチャネルに特定されたチャネルに含まれる重みパラメータは、処理の対象外とされてよい。不要な重みパラメータは、例えば、先の不要なチャネルの特定結果と削減率とに応じて、重みパラメータの絶対値が小さい方から順に特定される。不要な重みパラメータの特定が行われると、次のステップＳ２４に処理が進められる。

【0061】

なお、ステップＳ２２の処理とステップＳ２３の処理とは、処理を行う順番が反対とされてもよい。

【0062】

ステップＳ２４では、処理部１１が、先のステップＳ２２およびステップＳ２３の処理で不要と特定されたチャネルおよび重みパラメータをプルーニングする処理を実行する。ステップＳ２４におけるプルーニング処理は、第１のプルーニング処理の一部と、第２のプルーニング処理の一部とを含む。プルーニング処理が実行されると図７に示すステップＳ３に処理が進められる。

【0063】

以上からわかるように、処理部１１は、ニューラルネットワーク３０を構成する複数の層３３の中から第１のプルーニング処理の対象外となる層３３を特定し、当該特定された層３３を除く層を対象として第１のプルーニング処理を行う。別の言い方をすると、処理部１１は、ニューラルネットワーク３０を構成する複数の層の中から第１のプルーニング処理の対象となる層３３を特定し、当該特定した層３３を対象として第１のプルーニング処理を行う。このような構成とすると、チャネル単位でプルーニングを行う第１のプルーニング処理に適さない層３３に対して第１のプルーニング処理を行わない構成とできる。例えば、出力が残差コネクション３４で結合される層３３の少なくとも一部を第１のプルーニング処理の対象から除外することができる。一方で、チャネル単位でのプルーニングに適した層３３には、チャネル単位でのプルーニングが実行されるために、プルーニングの効果が小さくなることを抑制できる。

【0064】

また、処理部１１は、複数の層３３のうち、第１のプルーニング処理の対象外に特定された層３３を対象として第２のプルーニング処理を行う。別の言い方をすると、処理部１１は、複数の層３３のうち、第１のプルーニング処理の対象となる層３３に特定した層３３と異なる層３３を対象として第２のプルーニング処理を行う。このような構成によれば、第１のプルーニング処理が行われない層３３が第２のプルーニング処理の対象となるために、プルーニングの効果が極端に小さくなることを抑制することができる。例えば、出力が残差コネクション３４で結合される層３３について、重みパラメータ単位でのプルーニングを行うことができる。なお、層３３を対象として第２のプルーニング処理を行う場合、層間の重みパラメータがプルーニング処理の対象となる。

【0065】

また、処理部１１は、第１のプルーニング処理の対象外に特定された層３３を除く層３３をさらに対象として第２のプルーニング処理を行う。別の言い方をすると、処理部１１は、第１のプルーニング処理の対象となる層３３に特定した層３３をさらに対象として第２のプルーニング処理を行う。このような構成とすれば、第１のプルーニング処理の対象となった層３３についても第２のプルーニング処理の対象とできる。このために、プルーニングが不十分となることを避けることができ、処理後のニューラルネットワーク３０の計算効率の向上を期待できる。なお、上述した実施形態の構成は、このような構成である。ただし、処理部１１は、第１のプルーニング処理の対象となる層３３を対象として第２のプルーニング処理を行わない構成としてもよい。

【0066】

図７に戻って、ステップＳ３では、処理部１１は、データセットを用いて、プルーニング後のニューラルネットワーク３０の再学習を行う。再学習が完了すると、次のステップＳ４に処理が進められる。

【0067】

ステップＳ４では、処理部１１は、プルーニングを終了するか否かを判定する。処理部１１は、例えば、プルーニング後のニューラルネットワーク３０の処理精度が予め設定した閾値以下となった場合に、プルーニングを終了すると判定する。また、別の例として、処理部１１は、プルーニング後のニューラルネットワーク３０のタスク（画像認識等）の実行時間が予め設定された目標値以下となった場合に、プルーニングを終了すると判定する。プルーニングを終了すると判定された場合（ステップＳ４でＹｅｓ）、図７に示す処理が終了する。プルーニングを終了しないと判定された場合（ステップＳ４でＮｏ）、ステップＳ２に戻って、ステップＳ２以降の処理が行われる。

【0068】

なお、ステップＳ２に戻った場合、先に使用した削減率よりも大きな削減率に変更されて、プルーニングが行われる。また、図７に示す処理により得られたニューラルネットワーク３０は、例えば、エッジデバイス２に配信される。

【0069】

以上では、第１のプルーニング処理と第２のプルーニング処理とが纏めて実行される構成としたが、図９に示すように、第１のプルーニング処理と第２のプルーニング処理とが順番に行われてもよい。図９は、第１実施形態に係る、プルーニングを含む機械学習方法の変形例を示すフローチャートである。

【0070】

まず、ステップＮ１で学習が行われた学習済みのニューラルネットワークに対して、第１のプルーニング処理が行われる（ステップＮ２）。削減率が設定され、チャネル単位のプルーニングが行われる。なお、ここでは、出力が残差コネクション３４で結合される層３３は、プルーニングの対象から除外される。

【0071】

第１のプルーニング処理後に再学習が行われ（ステップＮ３）、その後、第１のプルーニング処理を終了するか否かの判定が行われる（ステップＮ４）。例えば、第１のプルーニング処理後のニューラルネットワークの処理精度が予め設定した閾値以下となった場合に、第１のプルーニング処理を終了すると判定する。第１のプルーニング処理を終了しない場合（ステップＮ４でＮｏ）、ステップＮ２に戻ってステップＮ２以降の処理が繰り返される。

【0072】

第１のプルーニング処理を終了する場合（ステップＮ４でＹｅｓ）、第１のプルーニング処理が行われたニューラルネットワークに対して第２のプルーニング処理が行われる（ステップＮ５）。削減率が設定され、重みパラメータ単位のプルーニングが行われる。なお、本例では、出力が残差コネクションで結合される層を含む全ての層がプルーニングの対象とされる。

【0073】

第２のプルーニング処理後に再学習が行われ（ステップＮ６）、その後、第２のプルーニング処理を終了するか否かの判定が行われる（ステップＮ７）。例えば、第２のプルーニング処理後のニューラルネットワークの処理精度が予め設定した閾値以下となった場合に、第２のプルーニング処理を終了すると判定する。第２のプルーニング処理を終了しない場合（ステップＮ７でＮｏ）、ステップＮ５に戻ってステップＮ５以降の処理が繰り返される。第２のプルーニング処理を終了する場合（ステップＮ７でＹｅｓ）、図９に示す処理が終了する。図９に示す処理により得られたニューラルネットワークは、例えば、エッジデバイス２に配信される。

【0074】

なお、本変形例では、第１のプルーニング処理の後に第２のプルーニング処理が行われる構成としたが、第２のプルーニング処理の後に第１のプルーニング処理が行われる構成としてもよい。

【0075】

＜＜２．第２実施形態＞＞
次に、第２実施形態の機械学習装置、および、プルーニング方法を含む機械学習方法について説明する。第２実施形態の機械学習装置は、図１に示す第１実施形態の機械学習装置１と同様の構成を備える。以下、第２実施形態の機械学習装置のことを機械学習装置１Ａと表現する。第２実施形態の説明に際しては、第１実施形態と重複する内容については、特に説明の必要がない場合にはその説明を省略し、第１実施形態と異なる部分を中心に説明する。また、第２実施形態の説明に際して、第１実施形態と同様の構成要素については、第１実施形態と同一の符号を用いて説明する。

【0076】

なお、機械学習装置１Ａは、上述した機械学習システム１００（図１参照）に適用可能である。また、機械学習装置１Ａは、ニューラルネットワークに対してプルーニングを行う処理部１１を備える。別の言い方をすると、装置１Ａは、ニューラルネットワークに対してプルーニングを行う方法を実行する。ここで言うニューラルネットワークは、第１実施形態の場合と同様に、事前に学習が行われた学習済みのニューラルネットワーク３０である。ニューラルネットワーク３０の構造は、例えば図３や図４を用いて説明した上述の構成と同様である。ニューラルネットワーク３０は、詳細には、畳み込みニューラルネットワーク（ＣＮＮ；Convolutional Neural Network）である。

【0077】

第２実施形態におけるプルーニングにおいては、ニューラルネットワーク３０を構成する複数の層３３（図４等参照）のいずれもが、上述した第１のプルーニング処理（チャネル単位でのプルーニング）の対象に含まれる点で、上述の第１実施形態と異なる。以下、当該異なる点を中心に説明を行う。

【0078】

図１０は、第２実施形態に係るプルーニングの流れを示すフローチャートである。

【0079】

なお、第２実施形態における、プルーニングを含む機械学習方法の全体の流れは、第１実施形態の機械学習方法を示す図７のフローチャートと同様であってよい。すなわち、第２実施形態のプルーニングを含む機械学習方法は、学習済みのニューラルネットワーク３０に対してプルーニングを行い、当該プルーニング後に再学習（ファインチューニング）を行う構成であってよい。そして、再学習によって得られたニューラルネットワークが所定の要件を満たすまで、プルーニングと再学習が繰り返される構成であってよい。ただし、第２実施形態のプルーニングを含む機械学習方法は、図７のステップＳ２におけるプルーニングの詳細が、上述した第１実施形態の場合と異なる。図１０は、この第１実施形態と異なるプルーニングの詳細を示すフローチャートである。

【0080】

ステップＳ２１Ａでは、処理部１１が、ニューラルネットワーク３０を構成する複数の層３３（図４参照）の各層３３について重要度を求める。重要度は、プルーニングの対象を決めるために求められる。すなわち、処理部１１は、ニューラルネットワーク３０を構成する複数の層３３の各層３３に対して求められる重要度に応じてプルーニングを実行する。更に別の言い方をすると、プルーニングは、ニューラルネットワーク３０を構成する複数の層３３の各層３３に対して求められる重要度に応じて実行される。

【0081】

詳細には、重要度は、複数の層３３の各層３３においてチャネルごとに求められる。これにより、チャネル単位でのプルーニングを行うことができる。本実施形態では、詳細は後述するように、プルーニングは、チャネルごとに求められた重要度に応じてチャネル単位で行われる。チャネル単位でプルーニングを行うことにより、重みパラメータ単位でプルーニングを行う構成に比べて効率良くプルーニングを行うことができる。

【0082】

各層３３におけるチャネルごとの重要度は、例えば、畳み込み演算に用いる上述のサイズｋ×ｋの畳み込みフィルタ（例えば図５、６参照）を用いて求められる。チャネルごとの重要度は、例えば、図５を用いて説明した入力チャネルごとの評価値や、図６を用いて説明した出力チャネルごとの評価値であってよい。また、チャネルごとの重要度は、入力チャネルごとの、重みパラメータの絶対値の平均値（Ｌ１－Ｎｏｒｍ）や、重みパラメータの二乗平均値（Ｌ２－Ｎｏｒｍ）であってよい。また、チャネルごとの重要度は、出力チャネルごとの、重みパラメータの絶対値の平均値や、重みパラメータの二乗平均値であってよい。各層３３におけるチャネルごとの重要度が求められると、次のステップＳ２２Ａに処理が進められる。

【0083】

ステップＳ２２Ａの説明を行う前に、本実施形態のニューラルネットワーク３０の構成に関わる説明をしておく。本実施形態のニューラルネットワーク３０は、依存関係にある層３３が存在しない第１層と、依存関係にある層が存在する第２層とを含む。本実施形態において、依存関係にある層３３は、残差コネクション３４（図４参照）で関係づけられる層である。

【0084】

上述のように残差コネクション３４で接続される層３３同士は出力チャネルの数を同じとする必要がある。層３３ごとに独立してチャネル単位でのプルーニングを実行すると、残差コネクション３４で接続される層３３同士の間でチャネル数に差が生じる可能性がある。このために、残差コネクション３４で関係づけられる層３３同士の間では、独立してチャネル単位でのプルーニングを行うことができない。また、残差コネクション３４で接続される層３３を、プルーニングの対象から除外してプルーニングを行うも考えられる。しかし、この場合には、特定の層３３に対してプルーニングが集中して、プルーニング後のニューラルネットワーク３０の処理精度が低下する可能性が高くなる。本実施形態のプルーニング手法は、このような残差コネクション３４を含むニューラルネットワーク３０のプルーニングに好適である。

【0085】

ステップＳ２２Ａでは、処理部１１が、ニューラルネットワーク３０を構成する複数の層３３の中から、依存関係にある層３３が存在する第２層を抽出する。上述のように、依存関係にある層３３は、残差コネクション３４で関係づけられる層であるために、第２層は、残差コネクション３４で関係づけられる層３３が存在する層３３と言い換えることができる。図４に示す例を用いて説明すると、第１ブロック３２ａの最後の畳み込み層３３ａＬ、第２ブロック３２ｂの最後の畳み込み層３３ｂＬ、および、第３ブロック３２ｃの最後の畳み込み層３３ｃＬが、第２層に該当する。

【0086】

別の言い方をすると、第２層である第１ブロック３２ａの最後の畳み込み層３３ａＬは、第２ブロック３２ｂの最後の畳み込み層３３ｂＬ、および、第３ブロック３２ｃの最後の畳み込み層３３ｃＬと依存関係にある。また、第２層である第２ブロック３２ｂの最後の畳み込み層３３ｂＬは、第１ブロック３２ａの最後の畳み込み層３３ａＬ、および、第３ブロック３２ｃの最後の畳み込み層３３ｃＬと依存関係にある。また、第２層である第３ブロック３２ｃの最後の畳み込み層３３ｃＬは、第１ブロック３２ａの最後の畳み込み層３３ａＬ、および、第２ブロック３２ｂの最後の畳み込み層３３ｂＬと依存関係にある。以上からわかるように、図４に示す例では、第２層は、複数の層３３の中の２つの層と依存関係にある。ただし、これは例示である。すなわち、第２層は、複数の層３３の中の少なくとも１つの層３３と依存関係にあればよい。依存関係にある層３３の数は、奇数でも偶数でもよい。このような構成とすることによって、様々な形態のニューラルネットワークに対応可能とすることができる。

【0087】

なお、図４に示す例では、ニューラルネットワーク３０を構成する１つのステージ３１のみが示されている。ニューラルネットワーク３０を構成する他のステージ３１にも第２層が存在してよい。ステップＳ２２Ａにおいて、全ての第２層が抽出されると、次のステップＳ２３Ａに処理が進められる。

【0088】

ステップＳ２３Ａでは、処理部１１が、複数の層３３の中に依存関係にある層３３が存在する第２層の重要度を算出する。第２層については、詳細は後述するように、このステップ２３Ａで算出された重要度に応じてプルーニングが実行される。すなわち、第２層については、ステップＳ２１Ａで求めた重要度でなく、ステップＳ２３Ａで求めた重要度が、プルーニングの対象を決めるために利用される。

【0089】

第２層の重要度は、依存関係にある層をグループ化して求められる。すなわち、重要度は、複数の層３３の中に依存関係にある層３３が存在する第２層については当該依存関係にある層３３をグループ化して求められる。詳細には、グループ化された各層３３間において、重要度は互いに同じとされる。また、１つのグループに含まれる層３３の数は、２以上の偶数又は奇数であってよい。

【0090】

なお、複数の層３３の中に依存関係にある層３３が存在しない第１層については、ステップＳ２１Ａで求められた重要度に応じてプルーニングが実行される。すなわち、重要度は、複数の層３３の中に依存関係にある層３３が存在しない第１層については層３３ごとに求められる。詳細には、第１層については、層３３ごとに単独で求められる。なお、図４に示す例では、第１ブロック３２ａの２つの畳み込み層３３ａＦ、３３ａＭ、第２ブロック３２ｂの２つの畳み込み層３３ｂＦ、３３ｂＭ、および、第３ブロック３２ｃの２つの畳み込み層３３ｃＦ、３３ｃＭが、第１層に該当する。

【0091】

以上からわかるように、本実施形態では、複数の層３３の中に依存関係にある層３３が存在しない第１層と、依存関係にある層３３が存在する第２層とで重要度の算出方法が異なる構成とされている。そして、依存関係にある層３３が存在する第２層については、依存関係にある層３３をグループ化し、重要度の共通化を図っている。このために、本実施形態の構成では、重要度に応じてプルーニングを行った場合に、依存関係にある層３３同士の間でチャネル数に違いが生じるといった事態の発生を防ぐことができる。そして、依存関係にある層３３が存在する第２層についても、プルーニングを実行することができるために、依存関係にある層がない第１層に偏ってプルーニングが行われるといった事態の発生を抑制することができる。この結果、本実施形態によれば、プルーニング後に得られるニューラルネットワークにおける計算効率の向上と、処理精度の低下の抑制との両立を図ることができる。

【0092】

ここで、図１１を参照して第２層の重要度の求め方の具体例について説明する。なお、図１１は、第２層の重要度の求め方を説明するための図である。図１１におけるニューラルネットワーク３０（正確にはニューラルネットワーク３０の一部）は、図４に例示するニューラルネットワーク３０と同じである。図１１において、ハッチングを施した３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬが第２層である。

【0093】

図１１に示すように、第２層においては、重要度は、グループ化された層３３の層３３ごとに求められた重要度を平均した値とされる。詳細には、第２層においては、チャネルごとの重要度が求められ、チャネルごとの重要度は、グループ化された各層３３にてチャネルごとに求められた値をチャネルごとに平均した値とされる。平均値の利用により、グループ化された各層３３の重要度を容易に求めることができる。

【0094】

図１１に示す例では、第２層である畳み込み層３３ａＬ単独の重要度（ステップＳ２１Ａで求められた重要度）は、第１チャネルが「１」、第２チャネルが「２」、第３チャネルが「３」、第４チャネルが「４」、・・・である。また、第２層である畳み込み層３３ｂＬ単独の重要度は、第１チャネルが「２」、第２チャネルが「３」、第３チャネルが「４」、第４チャネルが「５」、・・・である。また、第２層である畳み込み層３３ｃＬ単独の重要度は、第１チャネルが「３」、第２チャネルが「４」、第３チャネルが「５」、第４チャネルが「６」、・・・である。３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬは、残差コネクション３４で接続されており、互いに依存関係にあるために、１つのグループとされる。

【0095】

３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬのそれぞれのチャネルごとの重要度は、各畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬでチャネルごとに求められた重要度をチャネルごとに平均した値である。すなわち、３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬの第１チャネルの重要度は、「２」＝（１＋２＋３）／３となる。３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬの第２チャネルの重要度は、「３」＝（２＋３＋４）／３となる。３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬの第３チャネルの重要度は、「４」＝（３＋４＋５）／３となる。３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬの第４チャネルの重要度は、「５」＝（４＋５＋６）／３となる。

【0096】

なお、本実施形態では、第２層の重要度を、グループ化された層３３の層３３ごとに求まる重要度を平均した値としているが、これは例示である。平均値に代えて中央値等としてもよい。また、第２層の重要度は、グループを構成する層３３の数に応じて重み付けを変えて求めた値であってもよい。例えば、グループを構成する層３３の数が多いほど重み付けが大きくなるようにされてよい。第２層の重要度は、単純平均ではなく加重平均等であってもよい。

【0097】

図１０に戻って、ステップＳ２２Ａで抽出された第２層の全てについて、グループ化による重要度の算出が完了すると、次のステップＳ２４Ａに処理が進められる。

【0098】

ステップＳ２４Ａでは、処理部１１が不要なチャネルを決定する。不要なチャネルは、プルーニングの対象となるチャネルである。本実施形態では、処理部１１は、チャネルごとに求められた重要度が低い方から順に所定の割合をプルーニングの対象とする。処理部１１は、重要度が低いチャネルから順に所定の割合をプルーニングの対象とする。所定の割合は、特に限定されないが、例えば２０％等である。所定の割合は、人によって設定される構成であっても、装置よって自動的に設定される構成であってもよい。本実施形態のようにプルーニングの対象を決定すると、プルーニングの対象となるチャネルの数が過剰となることや、過小となることを抑制して、安定したプルーニング処理を行うことができる。

【0099】

なお、不要なチャネルの決定方法は、本実施形態の構成に限定されない。例えば、予め設定した閾値と、チャネルごとに求めた重要度とを比較して、予め設定した閾値に比べて重要度が小さな値であるチャネルが、不要なチャネルに決定される構成としてもよい。

【0100】

ここで、図１２を参照して、第２層において、不要なチャネルか否かの判定がどうのように行われるかについて説明する。なお、図１２は、第２層における不要なチャネルか否かの判定手法について説明するための図である。図１２は、図１１に示すようにして第２層である３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬの重要度が求められたことを前提とした図である。そして、重要度が２以下である場合に、重要度が低い方から順に所定の割合以内となることを想定とする。すなわち、重要度が２以下である場合に、不要なチャネルと判定されることとする。図１２において、重要度を表す数字の上のバツ（×）印が付されたチャネルは、不要なチャネルであることを表す。

【0101】

グループ化して求められた各チャネルの重要度（一点鎖線で囲む部分に示される重要度）のうち、第１チャネルだけが、重要度が２以下である。このために、第２層である３つの畳み込み層３３ａＬ、３３ｂＬ、３３ｃＬは、第１チャネルだけが不要なチャネルと判定される。

【0102】

仮に、図１３に示すように、グループ化した重要度ではなく、第２層ついても第１層と同様に層３３ごとに求めた重要度を用いる構成とする場合を考える。そして、本例でも、重要度が２以下である場合に、不要なチャネルと判定されることとする。この場合、第２層である畳み込み層３３ａＬは、第１チャネルおよび第２チャネルが不要なチャネルと判定される。また、第２層である畳み込み層３３ｂＬは、第１チャネルが不要なチャネルと判定される。また、第２層である畳み込み層３３ｃＬは、いずれのチャネルも不要なチャネルと判定されない。すなわち、図１３に示すような構成とすると、プルーニング後において、残差コネクション３４で接続される層３３間においてチャネル数に差が生じることになる。この結果、残差コネクション３４を用いた処理が出来なくなり、問題となる。本実施形態の構成によれば、このような問題は生じない。

【0103】

図１０に戻って、ニューラルネットワーク３０における不要なチャネルが決定されると、次のステップＳ２５Ａに処理が進められる。

【0104】

ステップＳ２５Ａでは、処理部１１が、ニューラルネットワーク３０において不要なチャネルと決定されたチャネルを対象としてプルーニング処理を行う。図１４および図１５は、チャネル単位で行われるプルーニングについて説明するための図である。図１４は、プルーニング前の状態を示す図である。図１５は、プルーニング後の状態を示す図である。なお、図１４および図１５に示す例は、上述したフィルタープルーニング（図６参照）が行われる場合を想定している。

【0105】

図１４および図１５は、詳細には、図１１および図１２に示す第１ブロック３２ａの最後の畳み込み層３３ａＬに対して行われるプルーニング処理を示す。図１２を用いて説明したように、畳み込み層３３ａＬは、第１チャネルがプルーニング処理の対象とされている。このために、図１５に破線で示されるように、プルーニング処理によって、畳み込み層３３ａＬを構成する第１チャネルの特徴マップ４０が削除される。また、プルーニング処理によって、畳み込み層３３ａＬの１つの前の畳み込み層３３ａＭに対する畳み込み演算に利用される畳み込みフィルタ群の第１出力チャネルＣＨＯ１が削除される。また、プルーニング処理によって、畳み込み層３３ａＬの次の畳み込み層３３ｂＦを得るための畳み込み演算に利用される畳み込みフィルタ群の第１入力チャネルＣＨＩ１が削除される。

【0106】

プルーニングの対象とされたチャネルの全てに対して、図１５に示すのと同様のプルーニング処理が行われると、一旦、図１０に示すプルーニングは終了する。図１０に示すプルーニングが終了すると、上述したように、好ましい形態として再学習（図７のステップＳ３）が行われる。すなわち、処理部１１は、プルーニング後のニューラルネットワークの学習を行う。このような構成とすることによって、プルーニング後のニューラルネットワークの重みパラメータの適正化を図り、プルーニング後のニューラルネットワークの処理精度の低下を抑制することができる。

【0107】

＜＜３．留意事項等＞＞
本明細書中に開示されている種々の技術的特徴は、上記の実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記の実施形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は、上記の実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、本明細書中に示される複数の実施形態及び変形例は可能な範囲で適宜組み合わせて実施されてよい。

【符号の説明】

【0108】

１、１Ａ・・・機械学習装置
１１・・・処理部
３０・・・ニューラルネットワーク
３３・・・層、畳み込み層
３４・・・残差コネクション

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】