特許7502972プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-11
(45)【発行日】2024-06-19
(54)【発明の名称】プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法
(51)【国際特許分類】
G06N 3/082 20230101AFI20240612BHJP
【ＦＩ】
G06N3/082
【請求項の数】
9
(21)【出願番号】P 2020190834
(22)【出願日】2020-11-17
(65)【公開番号】P2022079947
(43)【公開日】2022-05-27
【審査請求日】2023-03-01
(73)【特許権者】
【識別番号】000233169
【氏名又は名称】株式会社日立ソリューションズ・テクノロジー
(74)【代理人】
【識別番号】110000062
【氏名又は名称】弁理士法人第一国際特許事務所
(72)【発明者】
【氏名】クレシテリ ヴィヴィアナ
(72)【発明者】
【氏名】三浦 誓士
(72)【発明者】
【氏名】高武 直弘
(72)【発明者】
【氏名】小野 豪一
【審査官】佐藤 直樹
(56)【参考文献】
【文献】特開２０２０－１２３２６９（ＪＰ，Ａ）
【文献】特開２０２０－１５５０１０（ＪＰ，Ａ）
【文献】特開２０１８－１９５２３１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１９／０２７９０８９（ＵＳ，Ａ１）
【文献】中国特許出願公開第１１１７３８４３５（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８２
(57)【特許請求の範囲】
【請求項1】
深層ニューラルネットワークにおける重みフィルタをプルーニングするためのプルーニング管理装置であって、前記深層ニューラルネットワークは、
入力層と、１層以上の中間層と、出力層とを畳み込み演算層として含み、
Ｎ層目の前記中間層は、Ｎ－１層目から出力される値を入力値として入力し、
前記入力値に対して、重み係数を有する複数の重みフィルタを用いて畳み込み演算を行うことで、Ｎ＋１層目に出力する値を生成し、
前記プルーニング管理装置は、
所定の入力データを受け付け、当該入力データを前記深層ニューラルネットワークに入力する加工済みデータに変換するデータ加工部と、
前記入力データを前記深層ニューラルネットワークに入力した場合、各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層の検出精度への影響度を判定し、前記影響度に基づいて、前記各畳み込み演算層において前記畳み込み演算を行うための前記複数の重みフィルタに対するプルーニング率を決定するネットワーク分析部と、
前記プルーニング率に基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行うネットワークプルーニング部と、
を含み、
前記ネットワーク分析部は、
前記各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層において前記畳み込み演算を行うための各重みフィルタの重要度を示す重みフィルタ重要度ランキングを生成し、
前記ネットワークプルーニング部は、
前記重みフィルタ重要度ランキングと、前記プルーニング率とに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う、
ことを特徴とするプルーニング管理装置。
【請求項2】
前記ネットワーク分析部は、前記検出精度の劣化率に基づいて前記各畳み込み演算層の前記影響度を判定する、
ことを特徴とする、請求項１に記載のプルーニング管理装置。
【請求項3】
前記ネットワーク分析部は、前記各畳み込み演算層に含まれる前記重みフィルタの重みの和に基づいて、前記各重みフィルタの重要度を示す重みフィルタ重要度ランキングを生成する、
ことを特徴とする、請求項１に記載のプルーニング管理装置。
【請求項4】
前記ネットワーク分析部は、前記各畳み込み演算層に含まれる前記重みフィルタの活性化値に基づいて、前記各重みフィルタの重要度を示す重みフィルタ重要度ランキングを生成する、
ことを特徴とする、請求項１に記載のプルーニング管理装置。
【請求項5】
前記ネットワーク分析部は、前記各畳み込み演算層によって生成される特徴マップに対するクラスタリング手法を行うことで、前記畳み込み演算層を所定の数のクラスタに分類し、
前記クラスタのそれぞれを比較することで、前記各畳み込み演算層の他の畳み込み演算層に対する冗長性を判定し、
前記ネットワークプルーニング部は、
前記各畳み込み演算層の他の畳み込み演算層に対する前記冗長性と、前記重みフィルタ重要度ランキングとに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う、
ことを特徴とする、請求項１に記載のプルーニング管理装置。
【請求項6】
プルーニング管理システムであって、前記プルーニング管理システムにおいて、
プルーニングの対象となる深層ニューラルネットワークと、
プルーニングを行うためのプルーニング管理装置とが通信ネットワークを介して接続されており、
前記深層ニューラルネットワークは、
入力層と、１層以上の中間層と、出力層とを畳み込み演算層として含み、
Ｎ層目の前記中間層は、Ｎ－１層目から出力される値を入力値として入力し、
前記入力値に対して、重み係数を有する複数の重みフィルタを用いて畳み込み演算を行うことで、Ｎ＋１層目に出力する値を生成し、
前記プルーニング管理装置は、
所定の入力データを受け付け、当該入力データを前記深層ニューラルネットワークに入力する加工済みデータに変換するデータ加工部と、
前記入力データを前記深層ニューラルネットワークに入力した場合、各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層の検出精度への影響度を判定し、前記影響度に基づいて、前記各畳み込み演算層において前記畳み込み演算を行うための前記複数の重みフィルタに対するプルーニング率を決定するネットワーク分析部と、
前記プルーニング率に基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行うネットワークプルーニング部と、
を含み、
前記ネットワーク分析部は、
前記各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層において前記畳み込み演算を行うための各重みフィルタの重要度を示す重みフィルタ重要度ランキングを生成し、
前記ネットワークプルーニング部は、
前記重みフィルタ重要度ランキングと、前記プルーニング率とに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う、
ことを特徴とするプルーニング管理システム。
【請求項7】
前記ネットワーク分析部は、前記各畳み込み演算層によって生成される特徴マップに対するクラスタリング手法を行うことで、前記畳み込み演算層を所定の数のクラスタに分類し、
前記クラスタのそれぞれを比較することで、前記各畳み込み演算層の他の畳み込み演算層に対する冗長性を判定し、
前記ネットワークプルーニング部は、
前記各畳み込み演算層の他の畳み込み演算層に対する前記冗長性と、前記重みフィルタ重要度ランキングとに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う、
ことを特徴とする、請求項６に記載のプルーニング管理システム。
【請求項8】
深層ニューラルネットワークにおける重みフィルタをプルーニングするためのプルーニング管理方法であって、前記深層ニューラルネットワークは、
入力層と、１層以上の中間層と、出力層とを畳み込み演算層として含み、
Ｎ層目の前記中間層は、Ｎ－１層目から出力される値を入力値として入力し、
前記入力値に対して、重み係数を有する複数の重みフィルタを用いて畳み込み演算を行うことで、Ｎ＋１層目に出力する値を生成し、
前記プルーニング管理方法は、
所定の入力データを受け付け、当該入力データを前記深層ニューラルネットワークに入力する加工済みデータに変換する工程と、
前記入力データを前記深層ニューラルネットワークに入力した場合、各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層の検出精度への影響度を判定し、前記影響度に基づいて、前記各畳み込み演算層において前記畳み込み演算を行うための前記複数の重みフィルタに対するプルーニング率を決定する工程と、
前記プルーニング率に基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う工程と、
を含み、
各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層の検出精度への影響度を判定することは、
前記各畳み込み演算層に対する感度分析を行い、前記各畳み込み演算層において前記畳み込み演算を行うための各重みフィルタの重要度を示す重みフィルタ重要度ランキングを生成する工程を含み、
前記プルーニング率に基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行うことは、
前記重みフィルタ重要度ランキングと、前記プルーニング率とに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う工程を含む、
ことを特徴とするプルーニング管理方法。
【請求項9】
前記プルーニング管理方法は、前記各畳み込み演算層によって生成される特徴マップに対するクラスタリング手法を行うことで、前記畳み込み演算層を所定の数のクラスタに分類する工程と、
前記クラスタのそれぞれを比較することで、前記各畳み込み演算層の他の畳み込み演算層に対する冗長性を判定する工程と、
前記各畳み込み演算層の他の畳み込み演算層に対する前記冗長性と、前記重みフィルタ重要度ランキングとに基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行う工程と、
を更に含むことを特徴とする、請求項８に記載のプルーニング管理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プルーニング管理装置、プルーニング管理システム及びプルーニング管理方法に関する。
【背景技術】
【0002】
近年、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の高速化やメモリの大容量化により、ニューラルネットワークを用いた機械学習技術が急速に進展している。このため、数十万から百万といったオーダーの学習データを用いる機械学習が可能となり、精度の高い識別技術や分類技術を有する学習モデルが確立されつつある。
【0003】
このような優れた学習モデルをを第三者に利用させる場合には、学習モデルの前段部分をクラウド上においてその内容を秘匿し、学習モデルの後段部分を第三者に公開して利用させるビジネスモデルや、学習モデルをメモリ・計算リソースが限られているエッジデバイスにおいて実行するビジネスモデル等が考えられる。このとき、学習モデルの利用者の利用環境に応じて学習モデルを省メモリ・省計算リソースで動作させられるように軽量化できれば、クラウド利用料金の削減や、計算資源の限られるローカル端末での実行に有効である。
【0004】
学習モデルを軽量化する手段の一つとして、いわゆるニューラルネットワークのプルーニング(剪定、枝刈り)が知られている。ニューラルネットワークプルーニングとは、学習モデルを実施するニューラルネットワークの演算層間の不要なつながり（重みフィルタ、パラメーター等）を無効化又は削除することで、当該ニューラルネットワークを最適化する方法である。これにより、ニューラルネットワークの演算層における重みフィルタの数を減らして計算を高速化すると共に、ネットワーク全体を軽量化させることができる。
【0005】
従来、ニューラルネットワークプルーニングを行うためのいくつかの提案がなされている。
例えば、米国特許出願公開第２０１９／０２７９０８９号（特許文献１）には、「本開示は、圧縮、加速、および精度がネットワークプルーニングにおいて同時に達成できないという関連技術における問題を解決するニューラルネットワークプルーニングのための方法および装置を提供する。この方法では、ニューロンの活性化値に基づいて、プルーニングされるネットワーク層内のニューロンの（１０１）の重要度値を決定し、ニューロンと次のネットワーク層のニューロンとの間の接続重みに基づいて、プルーニングされるネットワーク層の各ニューロンの多様性値を決定し（１０２）、プルーニングされるネットワーク層から、ボリューム最大化ニューロン選択ポリシーに従ってプルーニングされるネットワーク層内のニューロンの重要度値および多様性値に基づいて保持されるニューロンを選択し（１０３）プルーニングされるネットワーク層から他のニューロンをプルーニングして（１０４）、プルーニングされたネットワーク層を取得する。上記の方法を使用すると、ニューラルネットワークの精度を維持しながら、良好な圧縮および加速効果を実現することができる」技術が記載されている。
例えば、米国特許出願公開第２０１９／０２７９０８９号（特許文献１）には、「本開示は、圧縮、加速、および精度がネットワークプルーニングにおいて同時に達成できないという関連技術における問題を解決するニューラルネットワークプルーニングのための方法および装置を提供する。この方法では、ニューロンの活性化値に基づいて、プルーニングされるネットワーク層内のニューロンの（１０１）の重要度値を決定し、ニューロンと次のネットワーク層のニューロンとの間の接続重みに基づいて、プルーニングされるネットワーク層の各ニューロンの多様性値を決定し（１０２）、プルーニングされるネットワーク層から、ボリューム最大化ニューロン選択ポリシーに従ってプルーニングされるネットワーク層内のニューロンの重要度値および多様性値に基づいて保持されるニューロンを選択し（１０３）プルーニングされるネットワーク層から他のニューロンをプルーニングして（１０４）、プルーニングされたネットワーク層を取得する。上記の方法を使用すると、ニューラルネットワークの精度を維持しながら、良好な圧縮および加速効果を実現することができる」技術が記載されている。
【0006】
また、米国特許出願公開第２０１８／０１１４１１４号（特許文献２）には、「ニューラルネットワークプルーニングのための方法、コンピュータ可読媒体、およびシステムが開示されている。この方法には、訓練されたニューラルネットワークのレイヤーパラメーターに関連するコスト関数の1次勾配を取得するステップと、レイヤーパラメーターに対応する1次勾配に基づいて各レイヤーパラメーターのプルーニング基準を計算するステップとが含まれる。ここで、プルーニング基準は、訓練されたニューラルネットワークに含まれ、レイヤーパラメーターに関連付けられている各ニューロンの重要性を示す。この方法は、重要度が最も低い少なくとも１つのニューロンを識別し、訓練されたニューラルネットワークから少なくとも１つのニューロンを除去して、プルーニングされたニューラルネットワークを生成するステップも更に含む」技術が記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】米国特許出願公開第２０１９／０２７９０８９号
【文献】米国特許出願公開第２０１８／０１１４１１４号
【発明の概要】
【発明が解決しようとする課題】
【0008】
特許文献１には、深層ニューラルネットワークにおけるニューロンの活性化値に基づいてニューロンのプルーニングを行う手段が記載されている。しかし、特許文献１に記載されている手段では、プルーニングするニューロンを判定するためには、特定の演算層と、当該演算層の次の演算層の接続重みのみを考慮しており、深層ニューラルネットワークによる最終的な検出結果への影響が想定されていない。このため、深層ニューラルネットワークによる最終的な検出結果に対して影響度の高いニューロンをプルーニングしてしまい、深層ニューラルネットワークの検出精度を低下させてしまう虞がある。
【0009】
また、特許文献２には、重みフィルタの重みの和に基づいてフィルタのプルーニングを行う手段が記載されている。しかし、重みの和が少ないフィルタが、深層ニューラルネットワークによる最終的な検出結果に対して影響度の低いフィルタであるとは限らず、特許文献１と同様に、最終的な検出結果に対して影響度の高いフィルタをプルーニングしてしまい、深層ニューラルネットワークの検出精度を低下させてしまう虞がある。
【0010】
そこで、本開示は、各演算層の検出結果への影響を考慮し、影響度の低い演算層のフィルタや、他のフィルタと冗長性が高いフィルタのみをプルーニングすることで、検出精度を維持しつつ、ニューラルネットワークを軽量化させるプルーニング管理手段を提供することを目的とする。
【課題を解決するための手段】
【0011】
上記の課題を解決するために、代表的な本発明のプルーニング管理装置の一つは、深層ニューラルネットワークにおけるフィルタをプルーニングするためのプルーニング管理装置であって、前記深層ニューラルネットワークは、入力層と、１層以上の中間層と、出力層とを畳み込み演算層として含み、Ｎ層目の前記中間層は、Ｎ－１層目から出力される値を入力値として入力し、前記入力値に対して、重み係数を有する複数の重みフィルタを用いて畳み込み演算を行うことで、N＋1層目に出力する値を生成し、前記プルーニング管理装置は、所定の入力データを受け付け、当該入力データを前記深層ニューラルネットワークに入力する加工済みデータに変換するデータ加工部と、前記入力データを前記深層ニューラルネットワークに入力した場合、各畳み込み演算層間感度分析を行い、前記各畳み込み演算層の検出精度への影響度を判定し、前記影響度に基づいて、前記各畳み込み演算層において前記畳み込み演算を行うための前記複数の重みフィルタに対するプルーニング率を決定するネットワーク分析部と、前記プルーニング率に基づいて、前記深層ニューラルネットワークにおけるプルーニング対象の重みフィルタを決定し、前記プルーニング対象の重みフィルタに対するプルーニング処理を行うネットワークプルーニング部とを含む。
【発明の効果】
【0012】
本開示によれば、各演算層の検出結果への影響を考慮し、影響度の低い演算層のフィルタや、他のフィルタと冗長性が高いフィルタのみをプルーニングすることで、検出精度を維持しつつ、ニューラルネットワークを軽量化させるプルーニング管理手段を提供することができる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
上記以外の課題、構成及び効果は、以下の発明を実施するための形態における説明により明らかにされる。
【図面の簡単な説明】
【0013】
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の実施形態を説明する。実施例は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。
【0015】
図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。
【0016】
同一あるいは同様の機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。また、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。
【0017】
実施例において、プログラムを実行して行う処理について説明する場合がある。ここで、計算機は、プロセッサ（例えばＣＰＵ、ＧＰＵ）によりプログラムを実行し、記憶資源（例えばメモリ）やインターフェースデバイス（例えば通信ポート）等を用いながら、プログラムで定められた処理を行う。そのため、プログラムを実行して行う処理の主体を、プロセッサとしてもよい。同様に、プログラムを実行して行う処理の主体が、プロセッサを有するコントローラ、装置、システム、計算機、ノードであってもよい。プログラムを実行して行う処理の主体は、演算部であれば良く、特定の処理を行う専用回路を含んでいてもよい。ここで、専用回路とは、例えばＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated Circuit）、ＣＰＬＤ（Complex Programmable Logic Device）等である。
【0018】
プログラムは、プログラムソースから計算機にインストールされてもよい。プログラムソースは、例えば、プログラム配布サーバまたは計算機が読み取り可能な記憶メディアであってもよい。プログラムソースがプログラム配布サーバの場合、プログラム配布サーバはプロセッサと配布対象のプログラムを記憶する記憶資源を含み、プログラム配布サーバのプロセッサが配布対象のプログラムを他の計算機に配布してもよい。また、実施例において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
（本開示の概要）
（本開示の概要）
【0019】
上述したように、近年、ＣＰＵ及びＧＰＵの高速化やメモリの大容量化により、深層ニューラルネットワークを用いた機械学習技術が急速に進展している。例えば、深層ニューラルネットワークは、自動運転、自然言語処理、ロボット工学等、様々な分野応用されている。
しかし、深層ニューラルネットワークは計算コストが高く、メモリを大量に消費するため、メモリ・計算リソースが限られている環境での利用が難しい。深層ニューラルネットワークを軽量化させ、計算リソースやメモリの使用量を抑えるためのプルーニング手段が存在するが、従来のプルーニング手段は、深層ニューラルネットワークにおけるフィルタの重みや活性化のみに基づいてプルーニングを行うため、深層ニューラルネットワークの検出精度に大きく貢献しているフィルタをプルーニングしてしまい、深層ニューラルネットワークの検出精度を低下させてしまうことがある。
しかし、深層ニューラルネットワークは計算コストが高く、メモリを大量に消費するため、メモリ・計算リソースが限られている環境での利用が難しい。深層ニューラルネットワークを軽量化させ、計算リソースやメモリの使用量を抑えるためのプルーニング手段が存在するが、従来のプルーニング手段は、深層ニューラルネットワークにおけるフィルタの重みや活性化のみに基づいてプルーニングを行うため、深層ニューラルネットワークの検出精度に大きく貢献しているフィルタをプルーニングしてしまい、深層ニューラルネットワークの検出精度を低下させてしまうことがある。
【0020】
従って、上記の課題を鑑み、本開示の実施形態に係るプルーニング管理手段は、以下の工程を主に含む。
入力データ加工：検出対象のオブジェクトが写る入力データに対して、検出対象のオブジェクトが強調され、当該オブジェクト以外の領域が除去されるように加工する。これにより、深層ニューラルネットワークのおけるどのフィルタがどのようなオブジェクトの検出に貢献しているかとの対応関係がより明確となる。
演算層間感度分析：深層ニューラルネットワークにおける演算層間感度分析を行い、各演算層の検出精度への影響度を判定する。これにより、各演算層が単独で評価される従来のプルーニング処理と異なり、演算層毎に、当該演算層をプルーニングした場合の検出精度への影響が考慮される。
演算層内感度分析：深層ニューラルネットワークにおける演算層の中で、それぞれの重みフィルタの重要度を判定する。
上記感度分析に基づいたプルーニング処理：演算層間感度分析及び演算層内感度分析に基づいて、深層ニューラルネットワークにおける各演算層毎に、プルーニングするフィルタの割合であるプルーニング率を判定する。
入力データ加工：検出対象のオブジェクトが写る入力データに対して、検出対象のオブジェクトが強調され、当該オブジェクト以外の領域が除去されるように加工する。これにより、深層ニューラルネットワークのおけるどのフィルタがどのようなオブジェクトの検出に貢献しているかとの対応関係がより明確となる。
演算層間感度分析：深層ニューラルネットワークにおける演算層間感度分析を行い、各演算層の検出精度への影響度を判定する。これにより、各演算層が単独で評価される従来のプルーニング処理と異なり、演算層毎に、当該演算層をプルーニングした場合の検出精度への影響が考慮される。
演算層内感度分析：深層ニューラルネットワークにおける演算層の中で、それぞれの重みフィルタの重要度を判定する。
上記感度分析に基づいたプルーニング処理：演算層間感度分析及び演算層内感度分析に基づいて、深層ニューラルネットワークにおける各演算層毎に、プルーニングするフィルタの割合であるプルーニング率を判定する。
【0021】
上記の工程を備える、本開示の実施形態に係るプルーニング管理手段によれば、各演算層の検出結果への影響を考慮し、影響度の低い演算層のフィルタや、他のフィルタと冗長性が高いフィルタのみをプルーニングすることで、検出精度を維持しつつ、ニューラルネットワークを軽量化させるプルーニング管理手段を提供することができる。
【0022】
まず、図１を参照して、本開示の実施形態を実施するためのコンピュータシステム３００について説明する。本明細書で開示される様々な実施形態の機構及び装置は、任意の適切なコンピューティングシステムに適用されてもよい。コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインタフェース３１４、Ｉ／Ｏ（入出力）デバイスインタフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェースユニット３０９、及びＩ／Ｏバスインターフェースユニット３１０を介して、相互的に接続されてもよい。
【0023】
コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の汎用プログラマブル中央処理装置（ＣＰＵ）３０２Ａ及び３０２Ｂを含んでもよい。ある実施形態では、コンピュータシステム３００は複数のプロセッサを備えてもよく、また別の実施形態では、コンピュータシステム３００は単一のＣＰＵシステムであってもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。
【0024】
ある実施形態では、メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。メモリ３０４は、本明細書で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、プルーニング管理アプリケーション３５０を格納していてもよい。ある実施形態では、プルーニング管理アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよい。
【0025】
ある実施形態では、プルーニング管理アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および/または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。ある実施形態では、プルーニング管理アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。ある実施形態では、カメラ、センサ、または他のデータ入力デバイス（図示せず）が、バスインターフェースユニット３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。
【0026】
コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェースユニット３１０間の通信を行うバスインターフェースユニット３０９を含んでもよい。Ｉ／Ｏバスインターフェースユニット３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェースユニット３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインタフェースユニット３１２，３１４，３１６、及び３１８と通信してもよい。
【0027】
表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された1つまたは複数のセンサ等のデバイスを含んでもよい。
【0028】
例えば、コンピュータシステム３００は、心拍数データやストレスレベルデータ等を収集するバイオメトリックセンサ、湿度データ、温度データ、圧力データ等を収集する環境センサ、及び加速度データ、運動データ等を収集するモーションセンサ等を含んでもよい。これ以外のタイプのセンサも使用可能である。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。
【0029】
Ｉ／Ｏインタフェースユニットは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インタフェースユニット３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたり、プリンタを介して印刷されたりしてもよい。
【0030】
ストレージインタフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２（通常は磁気ディスクドライブストレージ装置であるが、単一のディスクドライブとして見えるように構成されたディスクドライブのアレイ又は他のストレージ装置であってもよい）の取り付けが可能である。ある実施形態では、ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインタフェース３１６は、プリンタ、ファックスマシン等の他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。
【0031】
ある実施形態では、コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。他の実施形態では、コンピュータシステム３００は、デスクトップコンピュータ、携帯型コンピュータ、ノートパソコン、タブレットコンピュータ、ポケットコンピュータ、電話、スマートフォン、又は任意の他の適切な電子機器であってもよい。
【0032】
次に、図２を参照して、本開示の実施形態に係るプルーニング管理システムの構成について説明する。
【0033】
図２は、本開示の実施形態に係るプルーニング管理システム２００の構成の一例を示す図である。図２に示すように、本開示の実施形態に係るプルーニング管理システム２００は、プルーニング管理装置２１０と、深層ニューラルネットワーク２２０とを主に含む。プルーニング管理装置２１０及び深層ニューラルネットワーク２２０は、同じネットワークに含まれてもよく、ＬＡＮやインターネット等の通信ネットワークを介して接続されてもよく、同一のハードウェアデバイスに格納されてもよい。
【0034】
プルーニング管理装置２１０は、所定の深層ニューラルネットワーク（例えば深層ニューラルネットワーク２２０）に対するプルーニング処理を行うための装置である。図２に示すように、プルーニング管理装置２１０は、データ加工部２１２、ネットワーク分析部２１４、及びネットワークプルーニング部２１６を含む。
【0035】
データ加工部２１２は、所定の入力データ２０５を受け付け、当該入力データを深層ニューラルネットワーク２２０に入力する加工済みデータに変換するための機能部である。この入力データ２０５は、深層ニューラルネットワーク２２０の検出精度を検証するために用いられる画像データである。深層ニューラルネットワーク２２０の、特定の対象オブジェクトに対する検出精度を検出するためには、データ加工部２１２は、入力データ２０５を加工し、当該対象オブジェクトが強調される加工済みデータを生成してもよい。
なお、データ加工部２１２によるデータ加工の詳細については後述するため、ここではその説明を省略する。
なお、データ加工部２１２によるデータ加工の詳細については後述するため、ここではその説明を省略する。
【0036】
ネットワーク分析部２１４は、深層ニューラルネットワーク２２０に対する感度分析を行うことにより、深層ニューラルネットワーク２２０からプルーニングする重みフィルタを判定するための機能部である。後述するように、本開示の実施形態に係るネットワーク分析部２１４は、感度分析として、演算層における重みフィルタの重要度を判定するための感度分析である演算層内感度分析と、各演算層の影響度を判定するための感度分析である演算層間感度分析との二種類の感度分析を行うことができる。
なお、ネットワーク分析部２１４による感度分析処理の詳細については後述するため、ここではその説明を省略する。
なお、ネットワーク分析部２１４による感度分析処理の詳細については後述するため、ここではその説明を省略する。
【0037】
ネットワークプルーニング部２１６は、深層ニューラルネットワーク２２０に対するプルーニング処理を行うための機能部である。ネットワークプルーニング部は、ネットワーク分析部によって行われた感度分析の結果に基づいて、特定の重みフィルタをプルーニング（削除したり、排除したり）してもよい。
なお、ネットワークプルーニング部２１６によるプルーニング処理の詳細については後述するため、ここではその説明を省略する。
なお、ネットワークプルーニング部２１６によるプルーニング処理の詳細については後述するため、ここではその説明を省略する。
【0038】
深層ニューラルネットワーク２２０は、プルーニング処理の対象となる深層ニューラルネットワークである。図２に示すように、深層ニューラルネットワーク２２０は、入力層２２２と、１層以上の中間層２２４と、出力層２２６とを畳み込み演算層として含む。深層ニューラルネットワーク２２０では、Ｎ層目の中間層は、Ｎ－１層目から出力される値を入力値として入力し、当該入力値に対して、重み係数を有する複数の重みフィルタを用いて畳み込み演算を行うことで、Ｎ＋１層目に出力する値を生成する。
なお、図２では、深層ニューラルネットワーク２２０は、プルーニング管理装置２１０から独立したものとして示されているが、本開示はこれに限定されない。例えば、ある実施形態では、深層ニューラルネットワーク２２０とプルーニング管理装置２１０とが同一のハードウェアデバイスに格納されてもよい。
また、ある実施形態では、深層ニューラルネットワーク２２０は、図２に図示されていないクライアント端末に格納されてもよい。この場合、このクライアント端末は、通信ネットワークを介して、深層ニューラルネットワーク２２０に対するプルーニング処理要求をプルーニング管理装置２１０に送信し、深層ニューラルネットワーク２２０へのアクセス権限をプルーニング管理装置２１０に付与した後、プルーニング管理装置２１０は深層ニューラルネットワーク２２０に対するプルーニング処理を行ってもよい。
なお、図２では、深層ニューラルネットワーク２２０は、プルーニング管理装置２１０から独立したものとして示されているが、本開示はこれに限定されない。例えば、ある実施形態では、深層ニューラルネットワーク２２０とプルーニング管理装置２１０とが同一のハードウェアデバイスに格納されてもよい。
また、ある実施形態では、深層ニューラルネットワーク２２０は、図２に図示されていないクライアント端末に格納されてもよい。この場合、このクライアント端末は、通信ネットワークを介して、深層ニューラルネットワーク２２０に対するプルーニング処理要求をプルーニング管理装置２１０に送信し、深層ニューラルネットワーク２２０へのアクセス権限をプルーニング管理装置２１０に付与した後、プルーニング管理装置２１０は深層ニューラルネットワーク２２０に対するプルーニング処理を行ってもよい。
【0039】
以上説明したように構成したプルーニング管理システム２００によれば、深層ニューラルネットワークにおける各演算層の検出結果への影響を考慮し、影響度の低い演算層のフィルタや、他のフィルタと冗長性が高いフィルタのみをプルーニングすることで、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0040】
次に、図３を参照して、本開示の実施形態に係るプルーニング管理方法について説明する。
【0041】
図３は、本開示の実施形態に係るプルーニング管理方法３６０の一例を示す図である。図３に示すプルーニング管理方法３６０は、本開示の実施形態に係るプルーニング管理装置（例えば、図２に示すプルーニング管理装置２１０）の各機能部によって実施され、検出精度を維持しつつ、対象の深層ニューラルネットワークを軽量化させるためのプルーニング方法である。
【0042】
まず、ステップＳ３６２では、データ加工部（例えば、図２に示すデータ加工部２１２）は、所定の入力データを受け付け、当該入力データを加工済みデータに変換した後、この加工済みデータを深層ニューラルネットワーク（例えば、図２に示す深層ニューラルネットワーク２２０）に入力する。ここでの入力データは、例えばプルーニング管理装置の管理者によって選択されてもよく、深層ニューラルネットワークの管理者によって選択されてもよい。
上述したように、データ加工部は、入力データを加工し、当該対象オブジェクトが強調される加工済みデータを生成してもよい。なお、データ加工部によるデータ加工の詳細については後述するため、ここではその説明を省略する。
上述したように、データ加工部は、入力データを加工し、当該対象オブジェクトが強調される加工済みデータを生成してもよい。なお、データ加工部によるデータ加工の詳細については後述するため、ここではその説明を省略する。
【0043】
次に、ステップＳ３６４では、ネットワーク分析部（例えば、図２に示すネットワーク分析部２１４）は、深層ニューラルネットワークに対する感度分析を行う。後述するように、本開示の実施形態に係るネットワーク分析部は、感度分析として、演算層内感度分析と、演算層間感度分析との二種類の感度分析を行うことができる。
なお、ネットワーク分析部による感度分析処理の詳細については後述するため、ここではその説明を省略する。
なお、ネットワーク分析部による感度分析処理の詳細については後述するため、ここではその説明を省略する。
【0044】
次に、ステップＳ３６６では、ネットワークプルーニング部（例えば、図２に示すネットワークプルーニング部２１６）は、ステップＳ３６４でのネットワーク分析の結果に基づいて、深層ニューラルネットワークに対するプルーニング処理を行い、プルーニング済みの深層ニューラルネットワークを生成する。ここでは、プルーニング処理として、ネットワークプルーニング部は、ネットワーク分析部によって行われる感度分析の結果に基づいて、深層ニューラルネットワークの検出精度に対する影響度が低い演算層のフィルタや、他のフィルタと冗長性が高いフィルタを削除してもよい。
なお、ステップＳ３６６の終了後、深層ニューラルネットワークが所定の圧縮率基準を満たさない場合、本処理はステップＳ３６４へ戻り、所定の圧縮率基準を満たすまで、深層ニューラルネットワークに対する感度分析及びプルーニング処理を繰り返してもよい。所定の圧縮率基準が満たされると、本処理は終了する。
なお、ステップＳ３６６の終了後、深層ニューラルネットワークが所定の圧縮率基準を満たさない場合、本処理はステップＳ３６４へ戻り、所定の圧縮率基準を満たすまで、深層ニューラルネットワークに対する感度分析及びプルーニング処理を繰り返してもよい。所定の圧縮率基準が満たされると、本処理は終了する。
【0045】
次に、図４を参照して、本開示の実施形態に係るネットワーク分析部による感度分析について説明する。
【0046】
図４は、本開示の実施形態に係るネットワーク分析部による感度分析の流れの一例を示す図である。上述したように、本開示の実施形態に係るネットワーク分析部（例えば、図２に示すネットワーク分析部２１４）は、演算層に対する感度分析として、演算層における重みフィルタの重要度を判定するための感度分析である演算層内感度分析４１０と、各演算層の影響度を判定するための感度分析である演算層間感度分析４２０との二種類の感度分析を行うことができる。そして、プルーニングの対象となる重みフィルタは、この二種類の感度分析の結果に基づいて判定されてもよい。
【0047】
演算層内感度分析４１０とは、プルーニング対象の深層ニューラルネットワーク（例えば、図２に示す深層ニューラルネットワーク２２０）の各演算層における重みフィルタの重要度を判定するための処理である。図４に示すように、演算層内感度分析４１０は、ステップＳ４１２とＳ４１４とを含む。
ステップＳ４１２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層における重みフィルタの特徴値を分析する。この特徴値は、例えば、重みフィルタの重みや、活性化値であってもよい。
次に、ステップＳ４１４では、ネットワーク分析部２１４は、ステップＳ４１２での重みフィルタの特徴の分析に基づいて、深層ニューラルネットワークにおける演算層毎に、当該演算層に含まれる重みフィルタの重要度を判定し、重みフィルタを重要度が高い順に並べた重みフィルタ重要度ランキングを生成する。ここでの重要度とは、オブジェクト検出に有用な特徴マップを生成する際の、各重みフィルタの重要性を定量的に示す尺度であり、上述したように、重みフィルタの重みや活性化値に基づいて判定されてもよい。
なお、演算層内感度分析４１０の詳細については後述するため、ここではその説明を省略する。
ステップＳ４１２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層における重みフィルタの特徴値を分析する。この特徴値は、例えば、重みフィルタの重みや、活性化値であってもよい。
次に、ステップＳ４１４では、ネットワーク分析部２１４は、ステップＳ４１２での重みフィルタの特徴の分析に基づいて、深層ニューラルネットワークにおける演算層毎に、当該演算層に含まれる重みフィルタの重要度を判定し、重みフィルタを重要度が高い順に並べた重みフィルタ重要度ランキングを生成する。ここでの重要度とは、オブジェクト検出に有用な特徴マップを生成する際の、各重みフィルタの重要性を定量的に示す尺度であり、上述したように、重みフィルタの重みや活性化値に基づいて判定されてもよい。
なお、演算層内感度分析４１０の詳細については後述するため、ここではその説明を省略する。
【0048】
演算層間感度分析４２０とは、プルーニング対象の深層ニューラルネットワークにおける各演算層の、深層ニューラルネットワークによる検出結果に対する影響度を判定するための処理である。図４に示すように、演算層内感度分析４１０は、ステップＳ４２２とＳ４２４とを含む。
ステップＳ４２２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層の、深層ニューラルネットワークによる検出結果に対する影響度を判定する。ここでは、ネットワーク分析部２１４は、例えば深層ニューラルネットワークの検出精度の劣化率に基づいて各演算層の影響度を判定してもよく、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）によって各演算層の影響度を判定してもよい。
次に、ステップＳ４２４では、ネットワーク分析部２１４は、ステップＳ４２２で判定された各演算層の影響度に基づいて、プルーニングするフィルタの割合を示すプルーニング率を判定してもよい。
なお、演算層間感度分析４２０の詳細については後述するため、ここではその説明を省略する。
ステップＳ４２２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層の、深層ニューラルネットワークによる検出結果に対する影響度を判定する。ここでは、ネットワーク分析部２１４は、例えば深層ニューラルネットワークの検出精度の劣化率に基づいて各演算層の影響度を判定してもよく、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）によって各演算層の影響度を判定してもよい。
次に、ステップＳ４２４では、ネットワーク分析部２１４は、ステップＳ４２２で判定された各演算層の影響度に基づいて、プルーニングするフィルタの割合を示すプルーニング率を判定してもよい。
なお、演算層間感度分析４２０の詳細については後述するため、ここではその説明を省略する。
【0049】
以上説明した演算層内感度分析４１０と、演算層間感度分析４２０との二種類の感度分析の結果に基づいて深層ニューラルネットワークからプルーニングするフィルタを判定することで、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
なお、以上説明した演算層内感度分析４１０と、演算層間感度分析４２０とは、並行（つまり、同時）に行われてもよく、順番に行われてもよい。
また、以上では、演算層内感度分析４１０と、演算層間感度分析４２０との二種類の感度分析の結果に基づいて深層ニューラルネットワークからプルーニングするフィルタを判定する一例を説明したが、本開示はこれに限定されず、演算層内感度分析４１０と、演算層間感度分析４２０との中から、１種類の感度分析に基づいてプルーニングするフィルタを判定してもよい。
ただし、検出精度の劣化を抑えるためには、演算層内感度分析４１０と、演算層間感度分析４２０との二種類の感度分析の結果に基づいて深層ニューラルネットワークからプルーニングするフィルタを判定することが望ましい。
なお、以上説明した演算層内感度分析４１０と、演算層間感度分析４２０とは、並行（つまり、同時）に行われてもよく、順番に行われてもよい。
また、以上では、演算層内感度分析４１０と、演算層間感度分析４２０との二種類の感度分析の結果に基づいて深層ニューラルネットワークからプルーニングするフィルタを判定する一例を説明したが、本開示はこれに限定されず、演算層内感度分析４１０と、演算層間感度分析４２０との中から、１種類の感度分析に基づいてプルーニングするフィルタを判定してもよい。
ただし、検出精度の劣化を抑えるためには、演算層内感度分析４１０と、演算層間感度分析４２０との二種類の感度分析の結果に基づいて深層ニューラルネットワークからプルーニングするフィルタを判定することが望ましい。
【0050】
【0051】
図５は、本開示の実施形態に係る演算層内感度分析４１０を重みフィルタの重みに基づいて行う場合の処理４１０Ａの流れの一例を示す図である。図５に示す処理４１０Ａは、上述した演算層内感度分析４１０の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0052】
まず、ステップＳ５０２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層毎に、当該演算層に含まれる各重みフィルタの重みの和を計算する。この重みフィルタの重みは、重みフィルタの重要度を示す１つの尺度であり、図４を参照して説明した演算層内感度分析４１０における特徴値に対応する。
ここで、重みファイルの重みの和を計算する手段は特に限定されず、任意の既存の手段を用いてもよい。
ここで、重みファイルの重みの和を計算する手段は特に限定されず、任意の既存の手段を用いてもよい。
【0053】
次に、ステップＳ５０４では、ネットワーク分析部２１４は、ステップＳ５０２で計算した各演算層毎の各重みファイルの重みの和に基づいて、これらの重みフィルタを分類する。例えば、ここでは、ネットワーク分析部２１４は、重みフィルタを重みの和が高い順に並べたフィルタ重要度ランキングを生成してもよい。
【0054】
以上説明した処理４１０Ａでは、各重みフィルタの重みの和を計算して、重みフィルタを重みの和が高い順に並べたフィルタ重要度ランキングを生成することができる。また、後述するように、ここで生成した、重みフィルタの重みの和に基づいたフィルタ重要度ランキングに基づいて、深層ニューラルネットワークからプルーニングする重みフィルタを判定することができる。
【0055】
図６は、本開示の実施形態に係る演算層内感度分析４１０を重みフィルタの活性化値に基づいて行う場合の処理４１０Ｂの流れの一例を示す図である。図６に示す処理４１０Ｂは、上述した演算層内感度分析４１０の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0056】
まず、ステップＳ６０２では、ネットワーク分析部２１４は、プルーニング対象の深層ニューラルネットワークの各演算層毎に、当該演算層に含まれる各重みフィルタの活性化値を計算する。この重みフィルタの活性化値は、重みフィルタの重要度を示す１つの尺度であり、図４を参照して説明した演算層内感度分析４１０における特徴値に対応する。
ここで、重みファイルの活性化値を計算する手段は特に限定されず、任意の既存の手段を用いてもよい。
ここで、重みファイルの活性化値を計算する手段は特に限定されず、任意の既存の手段を用いてもよい。
【0057】
次に、ステップＳ６０４では、ネットワーク分析部２１４は、ステップＳ６０２で計算した各演算層毎の各重みファイルの活性化値に基づいて、これらの重みフィルタを分類する。例えば、ここでは、ネットワーク分析部２１４は、重みフィルタを活性化値が高い順に並べたフィルタ重要度ランキングを生成してもよい。
【0058】
以上説明した処理４１０Ｂでは、各重みフィルタの活性化値を計算して、重みフィルタを活性化値が高い順に並べたフィルタ重要度ランキングを生成することができる。また、後述するように、ここで生成した、重みフィルタの活性化値に基づいたフィルタ重要度ランキングに基づいて、深層ニューラルネットワークからプルーニングする重みフィルタを判定することができる。
【0059】
【0060】
図７は、本開示の実施形態に係る演算層間感度分析４２０を深層ニューラルネットワークの検出精度の劣化率に基づいて行う場合の処理４２０Ａの流れの一例を示す図である。図７に示す処理４２０Ａは、上述した演算層間感度分析４２０の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0061】
まず、ステップＳ７０２では、ネットワーク分析部２１４は、プルーニング前の深層ニューラルネットワークの検出精度を判定する。ここでは、ネットワーク分析部２１４は、例えば上述した加工済みデータが深層ニューラルネットワークに入力された場合、深層ニューラルネットワークの加工済みデータについて判定した検出結果（加工済みデータにおけるオブジェクトのカテゴリー及び位置等）を、正しい検出結果を示すグラウンドトゥルースに比較することで深層ニューラルネットワークの検出精度を判定してもよい。
【0062】
次に、ステップＳ７０４では、ネットワーク分析部２１４は、プルーニングするフィルタの割合を示すプルーニング率の初期値Ｐ（以下、「初期プルーニング率」という）を設定する。この初期プルーニング率Ｐは、例えばプルーニング管理装置の管理者やユーザによって設定されてもよい。
なお、ここでの初期プルーニング率は、任意の値に設定されてもよい。しかし、深層ニューラルネットワークの軽量化と検出精度の劣化率とのバランスを考慮し、初期プルーニング率を５０～６０％に設定することが望ましい。
なお、ここでの初期プルーニング率は、任意の値に設定されてもよい。しかし、深層ニューラルネットワークの軽量化と検出精度の劣化率とのバランスを考慮し、初期プルーニング率を５０～６０％に設定することが望ましい。
【0063】
次に、ステップＳ７０６では、ネットワーク分析部２１４は、ステップＳ７０４で設定された初期プルーニング率を用いて、深層ニューラルネットワークのi番目の演算層（なお、初回ではiは０である）に対してプルーニング処理を実行する。一例として、ステップＳ７０４では、初期プルーニング率が「５５％」として設定された場合、ネットワーク分析部２１４は、i番目の演算層において、５５％の重みフィルタを削除する。これにより、プルーニング済みの深層ニューラルネットワークが生成される。
【0064】
次に、ステップＳ７０８では、ネットワーク分析部２１４は、ステップＳ７０６で生成したプルーニング済みの深層ニューラルネットワークの検出精度を判定する。ここでは、ネットワーク分析部２１４は、例えば上述した加工済みデータがプルーニング済みの深層ニューラルネットワークに入力された場合、プルーニング済みの深層ニューラルネットワークの加工済みデータについて判定した検出結果（加工済みデータにおけるオブジェクトのカテゴリー及び位置等）を、正しい検出結果を示すグラウンドトゥルースに比較することでプルーニング済みの深層ニューラルネットワークの検出精度を判定してもよい。
【0065】
次に、ステップＳ７１０では、ネットワーク分析部２１４は、ステップＳ７０２で判定したプルーニング前の深層ニューラルネットワークの検出精度と、ステップＳ７０８で判定したプルーニング済みの深層ニューラルネットワークの検出精度との差分を、検出精度の劣化率ｄ_iとして計算する。例えば、ここでは、ステップＳ７０２で判定したプルーニング前の深層ニューラルネットワークの検出精度から、ステップＳ７０８で判定したプルーニング済みの深層ニューラルネットワークの検出精度を引いた値を検出精度の劣化率ｄ_iとしてもよい。
【0066】
次に、ステップＳ７１２では、ネットワーク分析部２１４は、ステップＳ７０４で設定された初期プルーニング率Ｐと、ステップＳ７１０で判定した検出精度の劣化率ｄ_iとに基づいて、i番目の演算層の最終プルーニング率Ｐiを計算する。
より具体的には、i番目の演算層の最終プルーニング率Ｐiは、以下の数式１で求められる。
より具体的には、i番目の演算層の最終プルーニング率Ｐiは、以下の数式１で求められる。
【数1】
【0067】
次に、ステップＳ７１４では、ネットワーク分析部２１４は、対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下か否かを判定する。対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下でない場合（つまり、iの値がＮ以上の場合）、本処理はステップＳ７１６へ進み、終了する。対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下の場合、iの値が１で加算され、本処理はステップＳ７０６へ戻る。
【0068】
以上説明した処理４２０Ａでは、深層ニューラルネットワークの検出精度の劣化率に基づいてプルーニング率を計算することができる。このように、プルーニングされても深層ニューラルネットワークの検出精度が大きく下がらない重みフィルタをプルーニングし、プルーニングされると深層ニューラルネットワークの検出精度が大きく下がる重みフィルタを残すようなプルーニング率を判定することができる。このように判定したプルーニング率によれば、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0069】
図８は、本開示の実施形態に係る演算層間感度分析４２０を主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）に基づいて行う場合の処理４２０Ｂの流れの一例を示す図である。図８に示す処理４２０Ｂは、上述した演算層間感度分析４２０の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0070】
まず、ステップＳ８０２では、ネットワーク分析部２１４は、深層ニューラルネットワークのi番目の演算層（なお、初回ではiは０である）に対して主成分分析を実行する。ここでの主成分分析とは、相関のある多数の変数から相関のない少数で全体のばらつきを最もよく表す主成分と呼ばれる変数を合成する多変量解析の一手法である。この主成分分析によれば、深層ニューラルネットワークのi番目の演算層において、深層ニューラルネットワークによる検出処理の結果に対して影響度が高い演算層の重みフィルタが特定される。ネットワーク分析部２１４は、深層ニューラルネットワークによる検出処理の結果に対して影響度が高いと主成分分析によって特定された重みフィルタの数を、i番目の演算層において保存するフィルタの数Ｐと判定する。
なお、ここで行われる主成分分析の手法は特に限定されず、深層ニューラルネットワークのi番目の演算層において、深層ニューラルネットワークによる検出処理の結果に対して影響度が高い重みフィルタを特定できれば任意の既存の手段であってもよい。
なお、ここで行われる主成分分析の手法は特に限定されず、深層ニューラルネットワークのi番目の演算層において、深層ニューラルネットワークによる検出処理の結果に対して影響度が高い重みフィルタを特定できれば任意の既存の手段であってもよい。
【0071】
次に、ステップＳ８０４では、ネットワーク分析部２１４は、ステップＳ８０２で判定された重みフィルタの数Ｐと、i番目の演算層における重みフィルタの数Ｍとに基づいて、i番目の演算層の最終プルーニング率Ｐiを計算する。
より具体的には、i番目の演算層の最終プルーニング率Ｐiは、以下の数式２で求められる。
より具体的には、i番目の演算層の最終プルーニング率Ｐiは、以下の数式２で求められる。
【数2】
【0072】
次に、ステップＳ８０６では、ネットワーク分析部２１４は、対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下か否かを判定する。対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下でない場合（つまり、iの値がＮ以上の場合）、本処理はステップＳ８０８へ進み、終了する。対象の演算層iの値が、深層ニューラルネットワークの演算層の総数Ｎ以下の場合、iの値が１で加算され、本処理はステップＳ８０２へ戻る。
【0073】
以上説明した処理４２０Ｂでは、主成分分析に基づいて深層ニューラルネットワークのプルーニング率を計算することができる。このように、深層ニューラルネットワークによる検出処理の結果に対して影響度が高い重みフィルタを保存し、これ以外の重みフィルタをプルーニングすることで、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0074】
次に、図９を参照して、本開示の実施形態に係るプルーニング処理を、判定したプルーニング率と、重みフィルタの重要度ランキングとに基づいて行う場合の処理の流れについて説明する。
【0075】
図９は、本開示の実施形態に係るプルーニング処理を、判定したプルーニング率と、重みフィルタの重要度ランキングとに基づいて行う場合の処理９００の一例を示す図である。
【0076】
まず、ステップＳ９０２では、データ加工部は、入力データを加工することで得られた加工済みデータを深層ニューラルネットワークに入力する。上述したように、ここでの入力データは、深層ニューラルネットワークの検出精度を検証するために用いられる画像データである。
なお、加工済みデータを生成するための加工処理の詳細については図１４を参照して説明するため、ここではその説明を省略する。
なお、加工済みデータを生成するための加工処理の詳細については図１４を参照して説明するため、ここではその説明を省略する。
【0077】
次に、ステップＳ９０４では、ネットワーク分析部は、深層ニューラルネットワークにおける各演算層毎に、当該演算層のプルーニング率を判定する。ここで、演算層のプルーニング率を判定するための処理は、例えば図７を参照して説明した処理４２０Ａ、又は図８を参照して説明した処理４２０Ｂのいずれかであってもよく、ここではその説明を省略する。
【0078】
次に、ステップＳ９０６では、ネットワーク分析部は、各演算層毎に、重みフィルタの重要度ランキングを生成する。ここで、重みフィルタの重要度ランキングを生成するための処理は、例えば図５を参照して説明した処理４１０Ａ、又は図６を参照して説明した処理４１０Ｂのいずれかであってもよく、ここではその説明を省略する。
【0079】
次に、ステップＳ９０８では、ネットワークプルーニング部は、ステップＳ９０４で判定した各演算層のプルーニング率と、ステップＳ９０６で生成した各演算層の重みフィルタ重要度ランキングに基づいて深層ニューラルネットワークに対するプルーニング処理を行う。一例として、ネットワークプルーニング部は、ステップＳ９０４で判定した各演算層のプルーニング率を達成するまで、各演算層の重みフィルタの中から、重要度ランキングが低い重みフィルタ(例えば、所定の重要度基準を満たさない重みフィルタ)を削除してもよい。
【0080】
以上説明した処理９００によれば、各演算層毎の、深層ニューラルネットワークによる検出処理の結果に対する影響度に基づいてプルーニング率と、各演算層内の重みフィルタの重要度ランキングとに基づいてプルーニング処理を行うことで、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0081】
次に、図１０を参照して、本開示の実施形態に係るプルーニング処理を、演算層内感度分析と、特徴マップのクラスタリングとに基づいて行う場合の処理について説明する。
【0082】
図１０は、本開示の実施形態に係るプルーニング処理を、演算層内感度分析と、特徴マップのクラスタリングとに基づいて行う場合の処理１０００の一例を示す図である。
【0083】
まず、ステップＳ１００２では、データ加工部は、入力データを加工することで得られた加工済みデータを深層ニューラルネットワークに入力する。上述したように、ここでの入力データは、深層ニューラルネットワークの検出精度を検証するために用いられる画像データである。
なお、加工済みデータを生成するための加工処理の詳細については図１４を参照して説明する。
なお、加工済みデータを生成するための加工処理の詳細については図１４を参照して説明する。
【0084】
次に、ステップＳ１００４では、ネットワーク分析部は、深層ニューラルネットワークに対して、演算層内感度分析を行うことで、各演算層内の重みフィルタ重要度ランキングを生成する。ここでの演算層内は、上述した演算層内感度分析４１０に実質的に対応し、例えば図５を参照して説明した処理４１０Ａや図６を参照して説明した処理４１０Ｂであってもよい。
【0085】
次に、ステップＳ１００６では、ネットワーク分析部は、深層ニューラルネットワークの各演算層に含まれる重みフィルタによって生成される特徴マップに対するクラスタリング手法を行い、生成した特徴マップのクラスタに基づいて重みフィルタの冗長性を判定する。
なお、特徴マップのクラスタリングの詳細については後述するため、ここではその説明を省略する。
なお、特徴マップのクラスタリングの詳細については後述するため、ここではその説明を省略する。
【0086】
次に、ステップＳ１００８では、ネットワークプルーニング部は、ステップＳ１００４で判定した重みフィルタ重要度ランキングと、ステップＳ１００６で判定した重みフィルタの冗長性とに基づいて深層ニューラルネットワークに対するプルーニング処理を行う。一例として、ネットワークプルーニング部は、所定の重要度基準を満たさない重みフィルタ（例えば、低位５０％の重みフィルタ）の中で、冗長性が所定の冗長性基準を満たす重みフィルタ（例えば、８０％以上の）を削除してもよい。
【0087】
以上説明した処理１０００によれば、重要度が低くて、且つ冗長性が高い重みフィルタをプルーニングの対象として削除することで、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0088】
【0089】
図１１は、本開示の実施形態に係る特徴マップのクラスタをＫ平均法によって生成する場合の処理１００６Ａの一例を示す図である。図１１に示す１００６Ａは、図１０に示すステップＳ１００６で特徴マップのクラスタリングを行う処理の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0090】
まず、ステップＳ１１０２では、ネットワーク分析部２１４は、各演算層において、それぞれの重みフィルタに特徴マップを生成させる。これらの特徴マップは、対象の画像（つまり、加工済みデータ）のどこに特定の特徴が存在するかという反応の強度を示すデータ構造であり、画像におけるオブジェクトを検出するためのオブジェクト検出処理に用いられる。
【0091】
次に、ステップＳ１１０４では、ネットワーク分析部２１４は、特徴マップをいくつのクラスタ（つまり、グループ）に分類するかを指定するクラスタ数Ｋを設定する。このクラスタ数Ｋは、例えばプルーニング管理装置の管理者によって選択されてもよく、深層ニューラルネットワークの構造、入力データ等に応じて自動的にネットワーク分析部によって設定されてもよい。
【0092】
次に、ステップＳ１１０６では、ネットワーク分析部２１４は、いわゆるＫ平均法を用いて、ステップＳ１１０２で各演算層に含まれるそれぞれの重みフィルタによって生成された特徴マップをステップＳ１１０４で設定されたクラスタ数Ｋ個のクラスタに分類した後、それぞれのクラスタ同士の共通特性を判定する。ここでの共通特性とは、クラスタ同士の類似度を示す値である。ここでのクラスタ同士の共通特性を判定する手段は特に限定されず、既存の類似度アルゴリズム（ｓｉｍｉｌａｒｉｔｙ ａｌｇｏｒｉｔｈｍ）を用いてもよい。
【0093】
ここで判定したクラスタ同士の共通特性に基づいて、他の重みフィルタと冗長性が高い重みフィルタを特定することができる。他の重みフィルタと冗長性が高い重みフィルタは、当該他の重みフィルタと実質的に同様の情報を含む特徴マップを生成するため、削除されても深層ニューラルネットワークの検出精度が大きく下がらない。従って、本開示の実施形態に係るプルーニング処理において、冗長性が高い重みフィルタ（例えば、所定の冗長性基準を満たす重みフィルタ）をプルーニングすることにより、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0094】
図１２は、本開示の実施形態に係る特徴マップのクラスタをハッシュアルゴリズムによって生成する場合の処理１００６Ｂの一例を示す図である。図１１に示す１００６Ｂは、図１０に示すステップＳ１００６で特徴マップのクラスタリングを行う処理の具体例の１つであり、ネットワーク分析部（例えば図２に示すネットワーク分析部２１４）によって実施される処理である。
【0095】
まず、ステップＳ１２０２では、ネットワーク分析部２１４は、各演算層において、それぞれの重みフィルタに特徴マップを生成させる。これらの特徴マップは、対象の画像（つまり、加工済みデータ）のどこに特定の特徴が存在するかという反応の強度を示すデータ構造であり、画像におけるオブジェクトを検出するためのオブジェクト検出処理に用いられる。
【0096】
次に、ステップＳ１２０４では、ネットワーク分析部２１４は、ハッシュアルゴリズムを用いて、各演算層に含まれるそれぞれの重みフィルタによって生成された特徴マップを所定の数のクラスタに分類した後、それぞれのクラスタ同士の共通特性を判定する。ここでのハッシュアルゴリズムは特に限定されず、ｈａｓｈ－ｂａｓｅｄ ｃｏ－ｃｌｕｓｔｅｒｉｎｇなど、任意のアルゴリズムであってもよい。
【0097】
上述したように、ここで判定したクラスタ同士の共通特性に基づいて、他の重みフィルタと冗長性が高い重みフィルタを特定することができ、本開示の実施形態に係るプルーニング処理において、冗長性が高い重みフィルタ（例えば、所定の冗長性基準を満たす重みフィルタ）をプルーニングすることにより、検出精度を維持しつつ、ニューラルネットワークを軽量化させることができる。
【0098】
【0099】
図１３は、本開示の実施形態に係る入力データを加工し、加工済みデータを生成するための論理構成の一例を示す図である。
図１３に示すように、まず、入力データ２０５は、プルーニング管理装置２１０におけるデータ加工部２１２に入力される。上述したように、データ加工部２１２は、入力データ２０５を深層ニューラルネットワークに入力する加工済みデータ１３１０に変換するための機能部である。また、入力データ２０５は、深層ニューラルネットワーク２２０の検出精度を検証するために用いられる画像データである。
データ加工部２１２は、入力データ２０５を入力した後、本開示の実施形態に係るデータ加工処理を行うことで、入力データ２０５を加工済みデータ１３１０に変換する。
なお、データ加工部２１２によるデータ加工処理の詳細については図１４を参照して説明する。
図１３に示すように、まず、入力データ２０５は、プルーニング管理装置２１０におけるデータ加工部２１２に入力される。上述したように、データ加工部２１２は、入力データ２０５を深層ニューラルネットワークに入力する加工済みデータ１３１０に変換するための機能部である。また、入力データ２０５は、深層ニューラルネットワーク２２０の検出精度を検証するために用いられる画像データである。
データ加工部２１２は、入力データ２０５を入力した後、本開示の実施形態に係るデータ加工処理を行うことで、入力データ２０５を加工済みデータ１３１０に変換する。
なお、データ加工部２１２によるデータ加工処理の詳細については図１４を参照して説明する。
【0100】
図１４は、本開示の実施形態に係る入力データを加工し、加工済みデータを生成するためのデータ加工処理１４００の一例を示す図である。上述したように、本開示では、深層ニューラルネットワークにおけるどの重みフィルタがどのようなオブジェクトの検出に貢献しているかとの対応関係を明確にするためには、入力データを、対象のオブジェクトが強調されるように加工した加工済みデータに変換する。以下、この処理の流れについて説明する。
【0101】
まず、ステップＳ１４０２では、データ加工部は、入力データにおけるオブジェクトの中から、検出対象のオブジェクトを設定する。ここでは、データ加工部は、例えばユーザからの入力に基づいて対象のオブジェクトを設定してもよい。
【0102】
次に、ステップＳ１４０４では、データ加工部は、入力データを加工することで、対象のオブジェクトのみが残存し、対象のオブジェクト以外の領域が除去された加工済みデータを生成する。例えば、データ加工部は、対象のオブジェクトに対応する画素を特定した後、対象のオブジェクトに対応する画素を残し、対象のオブジェクトに対応しない画素の色を黒としてもよい。
【0103】
次に、ステップＳ１４０６では、データ加工部は、ステップＳ１４０４で生成した加工済みデータを深層ニューラルネットワークに入力する。
【0104】
以上説明したデータ加工処理１４００によれば、深層ニューラルネットワークのおけるどの重みフィルタがどのようなオブジェクトの検出に貢献しているかとの対応関係がより明確となるため、上述した感度分析により、各演算層の影響度や、演算層における重みフィルタの重要度を判定することができる。
【0105】
以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【0106】
２００ プルーニング管理システム
２０５ 入力データ
２１０ プルーニング管理装置
２１２ データ加工部
２１４ ネットワーク分析部
２１６ ネットワークプルーニング部
２２０ 深層ニューラルネットワーク
２２２ 入力層
２２４ 中間層
２２６ 出力層
２０５ 入力データ
２１０ プルーニング管理装置
２１２ データ加工部
２１４ ネットワーク分析部
２１６ ネットワークプルーニング部
２２０ 深層ニューラルネットワーク
２２２ 入力層
２２４ 中間層
２２６ 出力層
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】