ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
▶ 本田技研工業株式会社の特許一覧 ▶ 国立大学法人大阪大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-26
(45)【発行日】2024-02-05
(54)【発明の名称】ノード枝刈り装置、ノード枝刈り方法、およびプログラム
(51)【国際特許分類】
G06N 3/082 20230101AFI20240129BHJP
G06N 3/0499 20230101ALI20240129BHJP
【ＦＩ】
G06N3/082
G06N3/0499
【請求項の数】
6
(21)【出願番号】P 2020183848
(22)【出願日】2020-11-02
(65)【公開番号】P2022073696
(43)【公開日】2022-05-17
【審査請求日】2022-10-07
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(73)【特許権者】
【識別番号】504176911
【氏名又は名称】国立大学法人大阪大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】中臺 一博
(72)【発明者】
【氏名】福本 陽典
(72)【発明者】
【氏名】武田 龍
【審査官】北川 純次
(56)【参考文献】
【文献】特開２０１９－２１２２０６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０１３４４５９（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０３７８０１７（ＵＳ，Ａ１）
【文献】TAKEDA, Ryu et al.，Node pruning based on Entropy of Weights and Node Activity for Small-footprint Acoustic Model based on Deep Neural Networks，INTERSPEECH 2017 [online]，2017年，pp. 1636-1640，[検索日 2023.09.25], インターネット：<URL:https://www.jp.honda-ri.com/api/upload/document/entry/20180316/Takeda_2017_1340_8900.pdf>
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０２－３／１０
(57)【特許請求の範囲】
【請求項1】
複数の層が連続して接続されているニューラルネットワークに対して、ノードの重要度を表すスコア関数に基づいて刈るノードを選択するノード活性化部と、
前記ノード活性化部により前記刈るノードとして選択された前の層の出力に含まれるノードに繋がる、次の層の入力に含まれるノードが刈り取られるようにペアリングする層間ペアリング部と、
層の入力と出力との間に枝刈りを行わないバイパス接続を設けるバイパス設定部と、
前記ノード活性化部により前記刈るノードとして選択されたノードと、前記層間ペアリング部によりペアリングされた前記次の層の入力に含まれるノードとに対して、各層の枝刈り率が同一となるようにノードの枝刈りを行う枝刈り実行部と、
を備えるノード枝刈り装置。
【請求項2】
前記スコア関数は、
ノードエントロピーｑｅ に基づく第１のタイプのスコア関数、
周波数ベースのノードアクティビティｑｆ に基づく第２のタイプのスコア関数、または
分散ベースのノードアクティビティｑｖ に基づく第３のタイプのスコア関数である、
請求項１に記載のノード枝刈り装置。
【請求項3】
前記ノードエントロピーｑｅは、下式で定義され、【数1】
前記周波数ベースのノードアクティビティｑｆは次式で定義され、
【数2】
【数3】
請求項２に記載のノード枝刈り装置。
【請求項4】
活性化関数は、ＲｅＬＵであり、閾値は、０に近いεである、
請求項３に記載のノード枝刈り装置。
【請求項5】
複数の層が連続して接続されているニューラルネットワークに対して、ノードの枝刈りを行うノード枝刈り方法であって、ノード活性化部が、ノードの重要度を表すスコア関数に基づいて刈るノードを選択し、 層間ペアリング部が、前記ノード活性化部により前記刈るノードとして選択された前の層の出力に含まれるノードに繋がる、次の層の入力に含まれるノードが刈り取られるようにペアリングし、
バイパス設定部が、層の入力と出力との間に枝刈りを行わないバイパス接続を設け、
枝刈り実行部が、前記ノード活性化部により前記刈るノードとして選択されたノードと、前記層間ペアリング部によりペアリングされた前記次の層の入力に含まれるノードとに対して、各層の枝刈り率が同一となるようにノードの枝刈りを行う、
ノード枝刈り方法。
【請求項6】
複数の層が連続して接続されているニューラルネットワークに対して、ノードの枝刈りを行うノード枝刈り装置のコンピュータに、ノードの重要度を表すスコア関数に基づいて刈るノードを選択させ、
前記刈るノードとして選択された前の層の出力に含まれるノードに繋がる、次の層の入力に含まれるノードが刈り取られるようにペアリングさせ、
層の入力と出力との間に枝刈りを行わないバイパス接続を設けさせ、
前記刈るノードとして選択されたノードと、ペアリングされた前記次の層の入力に含まれるノードとに対して、各層の枝刈り率が同一となるようにノードの枝刈りを行わせる、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ノード枝刈り装置、ノード枝刈り方法、およびプログラムに関する。
【背景技術】
【0002】
近年、色々な分野でディープラーニング等の機械学習が用いられている。このようなディープラーニングでは、モデルが用いられる。ディープラーニングのモデルは、例えば大規模なラベル付けされたデータとニューラルネットワークの構造を利用して学習を行って作成される。そして、このモデルの軽量化が、重要になってきている。モデルの軽量化の手法としては、枝刈り（Ｐｒｕｎｉｎｇ）、因数分解、知識蒸留等が知られている。
【0003】
モデルの軽量化手法は、ＤＮＮや畳み込みニューラルネットワーク（ＣＮＮ）のような単純および／または一様な完全接続型ニューラルネットワークに適用することができる。
例えば、音声認識に用いられるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の音響モデルに対して、ノード刈り込みを行うことが提案されている（例えば非特許文献１参照）。
例えば、音声認識に用いられるＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の音響モデルに対して、ノード刈り込みを行うことが提案されている（例えば非特許文献１参照）。
【先行技術文献】
【非特許文献】
【0004】
【文献】Ryu Takeda, Kazuhiro Nakadai, Kazunori Komatani,”Node pruning based on Entropy of Weights and Node Activity for Small-footprint Acoustic Model based on Deep Neural Networks’, INTERSPEECH 2017,2017,p1636-1640
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来のモデル軽量化手法はＤＮＮやＣＮＮなどの単純なニューラルネットワークを想定しているのに対し、最近のニューラルネットワークはバイパス接続などのより一般的なネットワークトポロジーを持つ傾向がある。さらに、近年のモデルでは、活性化関数としてＲｅＬＵのような非線形関数が一般的に用いられているが、従来の手法では、シグモイド関数の使用を前提としている。
【0006】
本発明は、上記の問題点に鑑みてなされたものであって、不均一で複雑なネットワークを扱え、モデルを軽量化できるノード枝刈り装置、ノード枝刈り方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
（１）上記目的を達成するため、本発明の一態様に係るノード枝刈り装置は、複数の層が連続して接続されているネットワークモデルに対して、ノードの重要度を表すスコア関数に基づいて刈るノードを選択するノード活性化部と、前の層の出力で刈られたノードに繋がる入力を刈る層間ペアリング部と、層の入力と出力との間にバイパス接続を設け、前記バイパス接続以外のノードを刈るバイパス設定部と、各層の枝刈り率を同一にしてノードの枝刈りを行う枝刈り実行部と、を備える。
【0008】
（２）また、本発明の一態様に係るノード枝刈り装置において、第１のタイプのノードは、ノードエントロピーｑｅであり、第２のタイプのノードは、周波数ベースのノードアクティビティｑｆであり、第３のタイプのノードは、分散ベースのノードアクティビティｑｖであるようにしてもよい。
【0009】
（３）また、本発明の一態様に係るノード枝刈り装置において、前記ノードエントロピーｑｅは、下式で定義され、
上式において、Ｄはデータセットであり、Ｎ０とＮ１は、それぞれ閾値より低い値と高い値を持つシグモイド出力値の数であり、Ｎ０＋１＝Ｎ０＋Ｎ１はデータセットのサンプル数に等しく、前記周波数ベースのノードアクティビティｑｆは次式で定義され、
前記分散ベースのノードアクティビティｑｖは次式で定義され、
上式において、ｘｔはｔ番目のサンプルの活性化関数ＲｅＬＵ出力値であり、ｘ－はデータセット内の全サンプルのｘｔの平均値を示す、ようにしてもよい。
【数1】
【数2】
【数3】
【0010】
（４）また、本発明の一態様に係るノード枝刈り装置において、活性化関数は、ＲｅＬＵであり、閾値は、０に近いεであるようにしてもよい。
【0011】
（５）上記目的を達成するため、本発明の一態様に係るノード枝刈り方法は、複数の層が連続して接続されているネットワークモデルに対して、ノードの枝刈りを行うノード枝刈り方法であって、ノード活性化部が、ノードの重要度を表すスコア関数に基づいて刈るノードを選択し、層間ペアリング部が、前の層の出力で刈られたノードに繋がる入力を刈り、バイパス設定部が、層の入力と出力との間にバイパス接続を設け、前記バイパス接続以外のノードを刈り、枝刈り実行部が、各層の枝刈り率を同一にしてノードの枝刈りを行う。
【0012】
（６）上記目的を達成するため、本発明の一態様に係るプログラムは、複数の層が連続して接続されているネットワークモデルに対して、ノードの枝刈りを行うノード枝刈り装置のコンピュータに、ノードの重要度を表すスコア関数に基づいて刈るノードを選択させ、前の層の出力で刈られたノードに繋がる入力を刈らせ、層の入力と出力との間にバイパス接続を設けさせ、前記バイパス接続以外のノードを刈らせ、各層の枝刈り率を同一にしてノードの枝刈りを行わせる。
【発明の効果】
【0013】
（１）～（６）によれば、不均一で複雑なネットワークを扱え、モデルを軽量化できる。また、（１）～（６）によれば、計算量を減らすことができる。
【図面の簡単な説明】
【0014】
【図1】音響モデルのニューラルネットワーク構造を示す図である。
【図2】Ｋａｌｄｉの代表的なＴＤＮＮ－Ｆ層の構造を示す図である。
【図3】入力と出力との関係を説明するための図である。
【図4】バイパスの役割を説明するための図である。
【図5】層内ペアリング、層間ペアリングおよびバイパスを示す図である。
【図6】第１のケースであり、バイパスを切断しない例を示す図である。
【図7】第２のケースであり、上位層においてバイパスを切断する例を示す図である。
【図8】第３のケースであり、下位層においてバイパスを切断する例を示す図である。
【図9】第４のケースであり、上位層と下位層の両方においてバイパスを切断する例を示す図である。
【図10】枝刈り率を説明するための図である。
【図11】各層に同じ枝刈り率の場合を説明するための図である。
【図12】ネットワークベースの枝刈り率が３０％の構成例を示す図である。
【図13】層ベースの枝刈り率が３０％の構成例を示す図である。
【図14】第１実施形態に係るノード枝刈り装置の構成例を示すブロック図である。
【図15】第１実施形態に係る枝刈り処理手順のフローチャートである。
【図16】第２実施形態に係る音声認識システムの構成例を示すブロック図である。
【図17】評価（１）におけるＪＮＡＳを用いた評価結果を示す図である。
【図18】評価（１）におけるＣＳＪを用いた評価結果を示す図である。
【図19】ＪＮＡＳを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。
【図20】ＣＳＪを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。
【図21】ＪＮＡＳを用いた評価（３）の評価結果を示す図である。
【図22】ＣＳＪを用いた評価（３）の評価結果を示す図である。
【図23】ＪＮＡＳを用いた評価（４）の評価結果を示す図である。
【図24】ＣＳＪを用いた評価（４）の評価結果を示す図である。
【図25】比較例のネットワークベースの枝刈り率構成の場合の結果を示す図である。
【発明を実施するための形態】
【0015】
以下、本発明の実施の形態について図面を参照しながら説明する。
【0016】
＜概要＞
実施形態では、モデルを軽量化するために、ノードエントロピーに基づくノード枝刈り法を拡張し、非一様ニューラルネットワークを扱うための３つの基準（層間ペアリング、バイパス接続枝刈りなし、層ベースの枝刈り率）の構成を備えるようにした。
実施形態では、モデルを軽量化するために、ノードエントロピーに基づくノード枝刈り法を拡張し、非一様ニューラルネットワークを扱うための３つの基準（層間ペアリング、バイパス接続枝刈りなし、層ベースの枝刈り率）の構成を備えるようにした。
【0017】
＜Ｋａｌｄｉのためのネットワーク構造＞
ここで、実施形態で用いた音響モデルであるＫａｌｄｉ音声認識ツールキット（ｈｔｔｐ：／／ｋａｌｄｉ‐ａｓｒ．ｏｒｇ／ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ）のネットワーク構造について説明する。
Ｋａｌｄｉを使った日本語ＡＳＲ（音声認識）モデルの基本レシピは、例えば日本語話言葉コーパスＣＳＪ（Ｃｏｒｐｕｓ ｏｆ Ｓｐｏｎｔａｎｅｏｕｓ Ｊａｐａｎｅｓｅ）を用いたものである。
ここで、実施形態で用いた音響モデルであるＫａｌｄｉ音声認識ツールキット（ｈｔｔｐ：／／ｋａｌｄｉ‐ａｓｒ．ｏｒｇ／ｄｏｃ／ｉｎｄｅｘ．ｈｔｍｌ）のネットワーク構造について説明する。
Ｋａｌｄｉを使った日本語ＡＳＲ（音声認識）モデルの基本レシピは、例えば日本語話言葉コーパスＣＳＪ（Ｃｏｒｐｕｓ ｏｆ Ｓｐｏｎｔａｎｅｏｕｓ Ｊａｐａｎｅｓｅ）を用いたものである。
【0018】
実施形態では、以下のように性能向上のために修正と更新を行った。
Ｉ．ｌｉｂｌｉｓｐｅｅｃｈ ｒｅｃｉｐｅから転送されたｎｎｅｔ３－ｃｈａｉｎモデルをサポートするために機能を拡張した。
ＩＩ．４０次元のＭＳＬＳ（Ｍｅｌ－Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）特徴量からなる２２０次元の入力ベクトルを３フレーム分、１００次元のｉＶｅｃｔｏｒを使用した。なお、オリジナルのＣＳＪレシピではＭＳＬＳの代わりにＭＦＣＣを使用した。
ＩＩＩ．ＣＳＪレシピで使用されているＳＲＩＬＭ（ＳＲＩ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｉｎｇ、参考文献１）を使用する代わりに、言語モデルの学習にｐｏｃｏｌｍ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｄａｎｐｏｖｅｙ／ｐｏｃｏｌｍ）を言語モデルの訓練に利用した。
Ｉ．ｌｉｂｌｉｓｐｅｅｃｈ ｒｅｃｉｐｅから転送されたｎｎｅｔ３－ｃｈａｉｎモデルをサポートするために機能を拡張した。
ＩＩ．４０次元のＭＳＬＳ（Ｍｅｌ－Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）特徴量からなる２２０次元の入力ベクトルを３フレーム分、１００次元のｉＶｅｃｔｏｒを使用した。なお、オリジナルのＣＳＪレシピではＭＳＬＳの代わりにＭＦＣＣを使用した。
ＩＩＩ．ＣＳＪレシピで使用されているＳＲＩＬＭ（ＳＲＩ Ｌａｎｇｕａｇｅ Ｍｏｄｅｌｉｎｇ、参考文献１）を使用する代わりに、言語モデルの学習にｐｏｃｏｌｍ（ｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｄａｎｐｏｖｅｙ／ｐｏｃｏｌｍ）を言語モデルの訓練に利用した。
【0019】
参考文献１；A. Stolcke, J. Zheng, W. Wang, and V. Abrash, “Srilm at sixteen:
Update and outlook,” in Proc. IEEE Automatic Speech Recognition and Understanding Workshop. IEEE SPS, 2011.
Update and outlook,” in Proc. IEEE Automatic Speech Recognition and Understanding Workshop. IEEE SPS, 2011.
【0020】
図１は、音響モデルのニューラルネットワーク構造を示す図である。図１に示す例では、全部で１９層ある例を説明するが、これに限らない。
入力ベクトル５０１は、時間枠ごとに４０次元のＭＳＬＳ特徴量からなる２２０次元の入力ベクトルを３フレーム分と１００次元のｉＶｅｃｔｏｒである。
入力ベクトル５０１は、時間枠ごとに４０次元のＭＳＬＳ特徴量からなる２２０次元の入力ベクトルを３フレーム分と１００次元のｉＶｅｃｔｏｒである。
【0021】
第１層Ｌ１は、ＴＤＮＮ（Ｔｉｍｅ ｄｅｌａｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）である。第１層Ｌ１は、時間枠ごとに２２０次元の入力ベクトル５０１を受け取り、１，５３６次元のベクトルを出力する。また、第１層Ｌ１は、Ａｆｉｎｅ（全結合サブ層）５０２１、ＲｅＬＵ（活性関数サブ層）５０２２、Ｂａｔｃｈ ｎｏｒｍ（ｎｏｒｍａｌｉｚａｔｉｏｎ）（バッチ正規化サブ層）５０２３、およびＤｒｏｐｏｕｔ（ドロップアウトサブ層）５０２４の順に接続されている。
【0022】
第２層Ｌ２からの第１７層Ｌ１７までは、ＴＤＮＮ－Ｆで構成されており、それぞれ１６０次元のボトルネック層（５０３１～５０３５）とバイパス接続５０３７が存在する。また、第２層Ｌ２からの第１７層Ｌ１７は、Ｌｉｎｅｒ ｗ／ｏ（ｗｉｔｈｏｕｔ） Ｂｉａｓ（線形バイアスサブ層）５０３１、Ａｆｉｎｅ５０３２、ＲｅＬＵ５０３３、Ｂａｔｃｈ ｎｏｒｍ５０３４、Ｄｒｏｐｏｕｔ５０３５、および加算層５０３６の順に接続されている。加算層５０３６で、ボトルネック層（５０３１～５０３５）とバイパス接続５０３７が加算される。
【0023】
第１８層は、プリファイナル層５０９であり、２５６次元のボトルネック層のみで、バイパス接続が存在しない。また、プリファイナル層５０９は、Ｌｉｎｅｒ（線形バイアス層）５０９１、Ａｆｉｎｅ５０９２、ＲｅＬＵ５０９３、およびＢａｔｃｈ ｎｏｒｍ５０９４の順に接続されている。
【0024】
第１９層は、出力層５１０であり、フルリニア接続のボトルネック層があり、５１２８次元のベクトルを出力する。出力層５１０は、Ｌｉｎｅｒ（線形バイアス層）５１０１、Ｂａｔｃｈ ｎｏｒｍ５１０２、およびＡｆｉｎｅ５１０３の順に接続されている。
【0025】
出力５１１は、５１２８次元のベクトルである。
【0026】
図１のように、バッチ正規化は全層で行い、ドロップアウトは最後の２層を除く全層で行う。
また、ＴＤＮＮの場合は、第１層Ｌ１から第３層Ｌ３まで連続した３フレーム、つまり（－１，０，１）を使用する。
第４層Ｌ４では、現在のフレームのみ、すなわち（０）を使用する。
第５層Ｌ５から第１７層Ｌ１７では、３フレーム毎、つまり（－３，０，３）のフレームが使用され、より長いコンテクストに対応し、処理の高速化が図られている。
また、ＴＤＮＮの場合は、第１層Ｌ１から第３層Ｌ３まで連続した３フレーム、つまり（－１，０，１）を使用する。
第４層Ｌ４では、現在のフレームのみ、すなわち（０）を使用する。
第５層Ｌ５から第１７層Ｌ１７では、３フレーム毎、つまり（－３，０，３）のフレームが使用され、より長いコンテクストに対応し、処理の高速化が図られている。
【0027】
また、基本的には、出力層５１０以外の非線形活性化関数には、ＲｅＬＵが用いられる。また、上述したように、各層は、因数分解のための線形・アフィンサブ層、活性化関数ＲｅＬＵのための非線形サブ層、バッチ正規化サブ層、ドロップアウトサブ層などからなる５～８層のサブ層を含んでいる。
なお、図１では、ネットワークがＤＮＮの例を示したが、ＲＮＮ等の他のネットワークであってもよい。また、用いる活性化関数は、ＲｅＬＵに限らず他の活性化関数であってもよい。
なお、図１では、ネットワークがＤＮＮの例を示したが、ＲＮＮ等の他のネットワークであってもよい。また、用いる活性化関数は、ＲｅＬＵに限らず他の活性化関数であってもよい。
【0028】
＜ノード枝刈り手法＞
次に、実施形態のノード枝刈り手法について、図１を参照しつつ説明する。
なお、実施形態のノード枝刈り手法は、図１に示したように、ノードエントロピーに基づくノード活性化、層間ペアリング、バイパス接続なしの枝刈り、層ベースの枝刈り率構成の組み合わせである。
次に、実施形態のノード枝刈り手法について、図１を参照しつつ説明する。
なお、実施形態のノード枝刈り手法は、図１に示したように、ノードエントロピーに基づくノード活性化、層間ペアリング、バイパス接続なしの枝刈り、層ベースの枝刈り率構成の組み合わせである。
【0029】
まず、枝刈り基準に用いるノード活性度ベースの基準を定義する。
実施形態では、ノードを３つのタイプに定義する。
第１のタイプのノードは、ノードエントロピーである。ｌ番目の層ｘｌ，ｉにおけるｉ番目のノードのノードエントロピーｑｅは、次式（１）で定義される。
実施形態では、ノードを３つのタイプに定義する。
第１のタイプのノードは、ノードエントロピーである。ｌ番目の層ｘｌ，ｉにおけるｉ番目のノードのノードエントロピーｑｅは、次式（１）で定義される。
【0030】
【数4】
【0031】
式（１）において、Ｄはデータセットであり、Ｎ０とＮ１は、それぞれ閾値より低い値と高い値を持つシグモイド出力値の数である。なお、Ｎ０＋１＝Ｎ０＋Ｎ１は、データセットのサンプル数に等しい。
【0032】
ノードエントロピーは、出力重みノルムよりも優れた働きをするが、これは各層のノード活動の異なる分散を扱うことができるからである。
従来の手法では、対象ネットワークはシグモイドベースの活性化関数を持つ従来のＤＮＮであった。このような従来の手法では、０から１までのシグモイド関数を使用しているので、Ｎ０にカウントするかＮ１にカウントするかを判断するための閾値を０．５としていた。
従来の手法では、対象ネットワークはシグモイドベースの活性化関数を持つ従来のＤＮＮであった。このような従来の手法では、０から１までのシグモイド関数を使用しているので、Ｎ０にカウントするかＮ１にカウントするかを判断するための閾値を０．５としていた。
【0033】
しかしながら、図１に示したＫａｌｄｉでは、０から無限大までの活性化関数ＲｅＬＵが使用されているため、このような閾値を決めることは困難である。このため、実施形態では、活性化関数ＲｅＬＵの出力値がゼロか非ゼロかは少なくとも重要であるため、０に近いεを閾値として使用する。
【0034】
他の２つの第２と第３のタイプのノードは、次式（２）の周波数ベースのノードアクティビティｑｆと、次式（３）の分散ベースのノードアクティビティｑｖで定義される。
【0035】
【数5】
【0036】
【数6】
【0037】
式（３）において、ｘｔはｔ番目のサンプルの活性化関数ＲｅＬＵ出力値であり、ｘ－はデータセット内の全サンプルのｘｔの平均値を示す。
【0038】
次に、各層のネットワークトポロジーについて、バイパス接続や層内の３つのブロック間の関係を説明する。
図１に示したように、ニューラルネットワークは、層内でも一様ではなく、複数のブロックで構成されている。このようなネットワークを枝刈りするには、各ブロックの特性やブロック間の関係を慎重に考慮する必要がある。
図１に示したように、ニューラルネットワークは、層内でも一様ではなく、複数のブロックで構成されている。このようなネットワークを枝刈りするには、各ブロックの特性やブロック間の関係を慎重に考慮する必要がある。
【0039】
図２は、Ｋａｌｄｉの代表的なＴＤＮＮ－Ｆ層の構造を示す図である。図３は、入力と出力との関係を説明するための図である。なお、図２、図３は、層構造の一部を示している。図２、図３において、ＴＤＮＮ－Ｆ層は、入力（Ｉｎｐｕｔ）５５１、出力（Ｏｕｔｐｕｔ）５５２、およびバイパス（Ｂｙｐａｓｓ）５５３の３つの部分を有している。さらに、図３のように、入力５５１は入力５４１と出力５４２とバイパス５４３を有し、出力５５２は入力５６１と出力５６２とバイパス５６３を有している。また、矢印５７１は第１の遷移例であり、矢印５７２は第２の遷移例である。
【0040】
簡素化するために、入力５５１、出力５５２、およびバイパス５５３の３つの部分に分解して枝刈りを説明する。なお、枝刈りは、活性化関数ＲｅＬＵサブレイヤ後の「ノードエントロピー」に基づいて行う。
【0041】
まず、出力（Ｏｕｔｐｕｔ）５５２について説明する。
この出力の特徴は、ＲｅＬＵサブ層を含むことである。これに対応するために、枝刈り部１３（図１４）は、活性化関数ＲｅＬＵ用の式（１）に基づいてノードアクティビティを推定する。枝刈り部１３は、推定されたノードアクティビティと後述する枝刈り率に基づいて、出力（Ｏｕｔｐｕｔ）５５２から刈り取るべきノードを選択する。
この出力の特徴は、ＲｅＬＵサブ層を含むことである。これに対応するために、枝刈り部１３（図１４）は、活性化関数ＲｅＬＵ用の式（１）に基づいてノードアクティビティを推定する。枝刈り部１３は、推定されたノードアクティビティと後述する枝刈り率に基づいて、出力（Ｏｕｔｐｕｔ）５５２から刈り取るべきノードを選択する。
【0042】
入力（Ｉｎｐｕｔ）５５１に関しては、図２の因数分解部分だけに注目すると、出力（Ｏｕｔｐｕｔ）５５２とは独立してノード枝刈りを行うことができるように見える。しかしながら、出力（Ｏｕｔｐｕｔ）５５２は、次の層の入力（Ｉｎｐｕｔ）５５１と直結している。図３に示した構造のように、枝刈りでは、入力と出力との関係を考慮する必要がある。
このため、図３のように入力が互いに直結しているため、実施形態では、前の層の出力（Ｏｕｔｐｕｔ）５５２で枝刈りされたノードと直結しているノードを、現在の層の入力（Ｉｎｐｕｔ）５５１から刈るべきであると判断した。実施形態では、これを「層間ペアリング」と呼ぶ。実際には、同じ層の入力（Ｉｎｐｕｔ）５５１と出力（Ｏｕｔｐｕｔ）５５２とは、バイパス（Ｂｙｐａｓｓ）５５３を介して接続されている。
このため、図３のように入力が互いに直結しているため、実施形態では、前の層の出力（Ｏｕｔｐｕｔ）５５２で枝刈りされたノードと直結しているノードを、現在の層の入力（Ｉｎｐｕｔ）５５１から刈るべきであると判断した。実施形態では、これを「層間ペアリング」と呼ぶ。実際には、同じ層の入力（Ｉｎｐｕｔ）５５１と出力（Ｏｕｔｐｕｔ）５５２とは、バイパス（Ｂｙｐａｓｓ）５５３を介して接続されている。
【0043】
また、同じ層上の入力（Ｉｎｐｕｔ）５５１のノードと出力（Ｏｕｔｐｕｔ）５５２の対応するノードが一緒に刈られる可能性がある。実施形態では、これを「層内ペアリング」と呼ぶ。
【0044】
バイパス（Ｂｙｐａｓｓ）５５３については、ＲｅｓＮｅｔ（参考文献２）で議論されているように、勾配の消失や爆発を避けるのに役立つ。このため、実施形態では、入力（Ｉｎｐｕｔ）５５１や出力（Ｏｕｔｐｕｔ）５５２での枝刈り結果に関わらず、バイパス（Ｂｙｐａｓｓ）５５３を維持するようにした。
【0045】
参考文献２；K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” in Proc. of 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2016.
【0046】
図４は、バイパスの役割を説明するための図である。バイパスがない構造ｇ１では、情報が深層に伝わりにくくなる（＝勾配消失）。これに対して、バイパスがある構造ｇ２では、ショートカット接続によって、情報が深層に伝わりにくくなる問題を緩和できる。従って、実施形態では、ショートカット接続と同じ考えに基づくバイパスは残すべきであると判断した。
【0047】
【0048】
なお、ノードの枝刈り後、入力（Ｉｎｐｕｔ）５５１、出力（Ｏｕｔｐｕｔ）５５２、バイパス（Ｂｙｐａｓｓ）５５３間の層間ノード接続または層内ノード接続のいずれか一方の端のノードのみが、刈り取られることが起こることがある。
このため、実施形態では、下層側のノードが枝刈りされた場合にゼロ出力ノードをパディングし、上層側のノードが枝刈りされた場合に接続と一緒にもう一方のノードも刈り取るようにした。
このため、実施形態では、下層側のノードが枝刈りされた場合にゼロ出力ノードをパディングし、上層側のノードが枝刈りされた場合に接続と一緒にもう一方のノードも刈り取るようにした。
【0049】
ここで、さらに層を接続する際のオープンエンドの問題について説明する。
刈り込み後、図６～図９のように、入力、出力、バイパス間のレイヤ間層接続または層内ノード接続のいずれかの端のノードのみが刈り込まれることがある。図６は、第１のケースであり、バイパスを切断しない例を示す図である。図７は、第２のケースであり、上位層においてバイパスを切断する例を示す図である。図８は、第３のケースであり、下位層においてバイパスを切断する例を示す図である。図９は、第４のケースであり、上位層と下位層の両方においてバイパスを切断する例を示す図である。
刈り込み後、図６～図９のように、入力、出力、バイパス間のレイヤ間層接続または層内ノード接続のいずれかの端のノードのみが刈り込まれることがある。図６は、第１のケースであり、バイパスを切断しない例を示す図である。図７は、第２のケースであり、上位層においてバイパスを切断する例を示す図である。図８は、第３のケースであり、下位層においてバイパスを切断する例を示す図である。図９は、第４のケースであり、上位層と下位層の両方においてバイパスを切断する例を示す図である。
【0050】
図６～図９において、符号６０１は出力層を示し、符号６０２と符号６０４とはバイパスを示し、符号６０３は入力層を示し、ノード間の実線は切断されていない（枝刈りされていない）枝である。図７において、ノード間の鎖線６０７は切断されている（枝刈りされている）枝である。また、黒丸６１２は常に０の値を出力するノードを示し、バツ印６１３は終了したノードを示している。
【0051】
本実施形態では、このオープンエンド接続に対処するために、図７、図９の黒丸６１２のノードのように、入力が提供されない場合には、ゼロ出力ノードをペアリングし、ノードを終了させる。そして、本実施形態では、図８や図９のような出力が不要な場合は、上述したように、入力層や出力層での枝刈り結果に関わらず、バイパスを維持するようにした。
【0052】
次に、枝刈り率について説明する。なお、実施形態では、枝刈り率を、刈り取ったノード数と出力の総ノード数の比として定義した。
実施形態では、層毎に枝刈り率を変えてもよい。
図１０は、枝刈り率を説明するための図である。なお、図１０において、上側のノードが入力層５９１であり、下側のノードが出力層５９４である。
実施形態では、層毎に枝刈り率を変えてもよい。
図１０は、枝刈り率を説明するための図である。なお、図１０において、上側のノードが入力層５９１であり、下側のノードが出力層５９４である。
【0053】
枝刈りを行う場合、以下Ｉ～ＩＩＩの傾向がある。
Ｉ．いくつかの中間層５９２、５９３を初期化すると性能が維持される。
ＩＩ．入力層５９１や出力層５９４を対応する層に置き換えると性能が低下する。
ＩＩＩ．上位層は貢献度が低くなる。
Ｉ～ＩＩＩの傾向より、出力層５９４以外の上位層は、もっと枝刈りされていてもよく、すなわち、実施形態では、用途や目的、ネットワーク構成等に応じて、例えば強化学習の結果、層毎に枝刈り率を変えてもよい。
Ｉ．いくつかの中間層５９２、５９３を初期化すると性能が維持される。
ＩＩ．入力層５９１や出力層５９４を対応する層に置き換えると性能が低下する。
ＩＩＩ．上位層は貢献度が低くなる。
Ｉ～ＩＩＩの傾向より、出力層５９４以外の上位層は、もっと枝刈りされていてもよく、すなわち、実施形態では、用途や目的、ネットワーク構成等に応じて、例えば強化学習の結果、層毎に枝刈り率を変えてもよい。
【0054】
図１１は、各層に同じ枝刈り率の場合を説明するための図である。
ネットワークでは、以下のＩＶ～ＶＩのような関係が知られている。
ＩＶ．出力層に近い高次の層５９６は、低次の層よりも出力層に近いため、最終的な出力に貢献するべきである。
Ｖ．異なる層のノード間の重要度の違いを公平に評価することが難しいため、層間で一様な枝刈り率が適切である。
ＶＩ．高次の層５９６の重要度が低くなると、高次の層のノード数が高い枝刈り率では不十分になる可能性がある。
ＩＶ～ＶＩの関係より、どの層にも同じ枝刈り率で良い場合がある。このため、実施形態では、用途や目的、ネットワーク構成等に応じて各層に同じ枝刈り率を用いてもよい。
ネットワークでは、以下のＩＶ～ＶＩのような関係が知られている。
ＩＶ．出力層に近い高次の層５９６は、低次の層よりも出力層に近いため、最終的な出力に貢献するべきである。
Ｖ．異なる層のノード間の重要度の違いを公平に評価することが難しいため、層間で一様な枝刈り率が適切である。
ＶＩ．高次の層５９６の重要度が低くなると、高次の層のノード数が高い枝刈り率では不十分になる可能性がある。
ＩＶ～ＶＩの関係より、どの層にも同じ枝刈り率で良い場合がある。このため、実施形態では、用途や目的、ネットワーク構成等に応じて各層に同じ枝刈り率を用いてもよい。
【0055】
図１２に示すように、実施形態では、ネットワーク全体に対して単一の枝刈り率を使用する設定を、「ネットワークベースの枝刈り率設定」と呼ぶ。また、図１３のように、実施形態では、各層の枝刈り率を同じにする設定を、「層別枝刈り率設定」と呼ぶ。図１２は、ネットワークベースの枝刈り率が３０％の構成例を示す図である。図１３は、層ベースの枝刈り率が３０％の構成例を示す図である。
ネットワークベースでは、ネットワーク内の全ノードのうち活性度の低いノードの３０％を刈り込み、層ベースでは層毎に３０％を枝刈りする。図１２ｎように、「ネットワークベースの枝刈り率設定」では、ネットワーク全体で枝刈りノードを決定する（７０１。また。図１３のように、「層別枝刈り率設定」では、各層の枝刈り率を同じにする（７０２）。符号７１１は枝刈りを行わないノードを示し、符号７１２は枝刈りを行うノードを示す。
ネットワークベースでは、ネットワーク内の全ノードのうち活性度の低いノードの３０％を刈り込み、層ベースでは層毎に３０％を枝刈りする。図１２ｎように、「ネットワークベースの枝刈り率設定」では、ネットワーク全体で枝刈りノードを決定する（７０１。また。図１３のように、「層別枝刈り率設定」では、各層の枝刈り率を同じにする（７０２）。符号７１１は枝刈りを行わないノードを示し、符号７１２は枝刈りを行うノードを示す。
【0056】
ここで、枝刈りするノードの選択方法について説明する。
ノード枝刈り装置１（図１）は、ノードエントロピーベースでノードの重要度を表すスコア関数を設定し、スコア関数（参考文献３）に基づいて、枝刈りを行うノードを選択する。なお、実施形態において、スコア関数は、ノードに応じて、ノードエントロピーｑｅ、周波数ベースのノードアクティビティｑｆ、分散ベースのノードアクティビティｑｖを用いる。
さらに、上述したように、ノード枝刈り装置１は、バイパス接続に対しては枝刈りを行わない。また、ノード枝刈り装置１は、前の層の出力で枝刈りされたノードと直結しているノードを、現在の層の入力からも刈る。
ノード枝刈り装置１（図１）は、ノードエントロピーベースでノードの重要度を表すスコア関数を設定し、スコア関数（参考文献３）に基づいて、枝刈りを行うノードを選択する。なお、実施形態において、スコア関数は、ノードに応じて、ノードエントロピーｑｅ、周波数ベースのノードアクティビティｑｆ、分散ベースのノードアクティビティｑｖを用いる。
さらに、上述したように、ノード枝刈り装置１は、バイパス接続に対しては枝刈りを行わない。また、ノード枝刈り装置１は、前の層の出力で枝刈りされたノードと直結しているノードを、現在の層の入力からも刈る。
【0057】
参考文献３；Ryu Takeda, Kazuhiro Nakadai, Kazunori Komatani、“Node pruning based on Entropy of Weights and Node Activity for Small-footprint Acoustic Model based on Deep Neural Networks”、INTERSPEECH 2017、ISCA、2017、p1636-1640
【0058】
＜第１実施形態＞
図１４は、本実施形態に係るノード枝刈り装置１の構成例を示すブロック図である。図１４のように、ノード枝刈り装置１は、取得部１１、ネットワークモデル記憶部１２、枝刈り部１３、および出力部１４を備える。
また、枝刈り部１３は、ノード活性化部１３１、層間ペアリング部１３２、バイパス設定部１３３、枝刈り実行部１３４、および層ベースの枝刈り率構成部１３５を備える。
図１４は、本実施形態に係るノード枝刈り装置１の構成例を示すブロック図である。図１４のように、ノード枝刈り装置１は、取得部１１、ネットワークモデル記憶部１２、枝刈り部１３、および出力部１４を備える。
また、枝刈り部１３は、ノード活性化部１３１、層間ペアリング部１３２、バイパス設定部１３３、枝刈り実行部１３４、および層ベースの枝刈り率構成部１３５を備える。
【0059】
取得部１１は、入力データを取得する。
【0060】
ネットワークモデル記憶部１２は、例えば音声認識で用いるＤＮＮやＲＮＮ等のネットワークモデルを記憶する。
【0061】
枝刈り部１３は、例えば音声認識で用いるＤＮＮやＲＮＮ等のネットワークモデルに対して枝刈り処理を実行する。枝刈り部１３は、活性化関数ＲｅＬＵ用の式（１）に基づいてノードアクティビティを推定する。枝刈り部１３は、推定されたノードアクティビティと枝刈り率に基づいて、出力から刈り取るべきノードを選択する。
【0062】
ノード活性化部１３１は、式（１）に基づいてノードアクティビティを推定する。
【0063】
層間ペアリング部１３２は、前の層の出力で枝刈りされたノードと直結しているノードを、現在の層の入力から刈り取られるようにペアリングする。
【0064】
バイパス設定部１３３は、バイパス接続を行う層の選択と、バイパス接続の設定を行う。
【0065】
枝刈り実行部１３４は、ノードアクティビティと枝刈り率に基づいてノードの枝刈りを行う。
【0066】
層ベースの枝刈り率構成部１３５は、各層に用いる枝刈り率を設定する。
【0067】
出力部１４は、枝刈りされたモデルを用いて認識された結果を出力する。
【0068】
次に、処理手順例を説明する。
図１５は、本実施形態に係る枝刈りノード刈り装置によるノード枝刈り処理手順のフローチャートである。
図１５は、本実施形態に係る枝刈りノード刈り装置によるノード枝刈り処理手順のフローチャートである。
【0069】
（ステップＳ１）ノード活性化部１３１は、用いる多層ネットワークを選択する。
【0070】
（ステップＳ２）ノード活性化部１３１は、式（１）に基づいてノードアクティビティを推定する。
【0071】
（ステップＳ３）層間ペアリング部１３２は、前の層の出力で枝刈りされたノードと直結しているノードを、現在の層の入力から刈り取られるようにペアリングする。
【0072】
（ステップＳ４）バイパス設定部１３３は、バイパス接続を行う層の選択と、バイパス接続の設定を行う。
【0073】
（ステップＳ５）枝刈り実行部１３４は、ノードアクティビティと枝刈り率に基づいてノードの枝刈りを行う。
【0074】
（ステップＳ６）出力部１３６は、ノードの枝刈り処理を行ったモデルを、外部装置に出力する。
【0075】
なお、上述した処理手順は一例であり、これに限らない。例えば、使用用途に応じて、入力データを入力し、正答率や処理時間に基づいて枝刈り率を再設定するようにしてもよい。
【0076】
以上のように、本実施形態では、ノードエントロピーに基づくノードの枝刈り、「層間ペアリング」、「枝刈り無しのバイパス」、「層ベースの枝刈り率構成」、および活性化関数に対する０に近いεの閾値を用いるようにした。
また、本実施形態では、層ごとに一定の枝刈り率採用による性能低下防止と、リンク性質を考慮した枝刈り（ショートカットは対象外とするなど）と、頻度ベースのノード貢献度規範導入による枝刈りの高性能化と、層間ペアリング枝刈りによる性能低下防止を行った。
また、本実施形態では、層ごとに一定の枝刈り率採用による性能低下防止と、リンク性質を考慮した枝刈り（ショートカットは対象外とするなど）と、頻度ベースのノード貢献度規範導入による枝刈りの高性能化と、層間ペアリング枝刈りによる性能低下防止を行った。
【0077】
これにより、本実施形態によれば、深層ネットワークの次元を削減できるので、後述する評価結果のように、実行時間を短縮することができる。
また、本実施形態によれば、不均一で複雑なネットワークを扱うことができ、非シグモイド活性化関数を扱うことができる。
また、本実施形態によれば、不均一で複雑なネットワークを扱うことができ、非シグモイド活性化関数を扱うことができる。
【0078】
＜第２実施形態＞
本実施形態では、上述した音響モデルを音声認識に適用する例を説明する。
図１６は、本実施形態に係る音声認識システム２の構成例を示すブロック図である。図１６のように、音声認識システム２は、音声認識装置１０、および収音部２０を備える。
音声認識装置１０は、取得部１０１、音源定位部１０２、音源分離部１０３、音響特徴量抽出部１０４、音響モデル部１０５、音源同定部１０６、および出力部１０７を備える。
音響モデル部１０５は、ノード枝刈り装置１を備える。
本実施形態では、上述した音響モデルを音声認識に適用する例を説明する。
図１６は、本実施形態に係る音声認識システム２の構成例を示すブロック図である。図１６のように、音声認識システム２は、音声認識装置１０、および収音部２０を備える。
音声認識装置１０は、取得部１０１、音源定位部１０２、音源分離部１０３、音響特徴量抽出部１０４、音響モデル部１０５、音源同定部１０６、および出力部１０７を備える。
音響モデル部１０５は、ノード枝刈り装置１を備える。
【0079】
収音部２０は、Ｍ（Ｍは２以上の整数）個のマイクロホンから構成されるマイクロホンアレイである。収音部２０は、音源が発した音響信号を収音し、収音したＭチャネルの音響信号を取得部１０１に出力する。なお、以下の説明において、Ｍ個のマイクロホンのうち１つを特定しない場合は、「マイクロホン」という。
【0080】
取得部１０１は、収音部２０が出力するＭチャネルのアナログの音響信号を取得し、取得したアナログの音響信号を短区間フーリエ変換によって周波数領域に変換する。なお、収音部２０の複数のマイクロホンそれぞれが出力する複数の音響信号は、同じサンプリング周波数の信号を用いてサンプリングが行われる。取得部１０１は、デジタルに変換したＭチャネルの音響信号を音源定位部１０２と音源分離部１０３に出力する。
【0081】
音源定位部１０２は、収音部２０が出力するＭチャネルの音響信号に基づいて各音源の方向を定める（音源定位）。音源定位部１０２は、音源方向を示す音源方向情報を音源分離部１０３に出力する。
【0082】
音源分離部１０３は、音源定位部１０２が出力する音源方向情報と、取得部１０１が出力するＭチャネルの音響信号を取得する。音源分離部１０３は、Ｍチャネルの音響信号を音源方向情報が示す音源方向に基づいて、音源毎の成分を示す音響信号である音源別音響信号に分離する。音源分離部１０３は、音源別音響信号に分離する際、例えば、ＧＨＤＳＳ（Ｇｅｏｍｅｔｒｉｃ－ｃｏｎｓｔｒａｉｎｅｄ Ｈｉｇｈ－ｏｒｄｅｒ Ｄｅｃｏｒｒｅｌａｔｉｏｎ－ｂａｓｅｄ Ｓｏｕｒｃｅ Ｓｅｐａｒａｔｉｏｎ）法を用いる。音源分離部１０３は、分離した音響信号のスペクトルを音響特徴量抽出部１０４に出力する。
【0083】
音響特徴量抽出部１０４は、音源分離部１０３が出力する分離されたスペクトルから音声認識用の音響特徴量を音源毎に計算する。音響特徴量抽出部１０４は、例えば、静的メル尺度対数スペクトル（ＭＳＬＳ：Ｍｅｌ－Ｓｃａｌｅ Ｌｏｇ Ｓｐｅｃｔｒｕｍ）、デルタＭＳＬＳ及び１個のデルタパワーを、所定時間（例えば、１０ｍｓ）毎に算出することで音響特徴量を算出する。なお、ＭＳＬＳは、音響認識の特徴量としてスペクトル特徴量を用い、ＭＦＣＣ（メル周波数ケプストラム係数；Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ）を逆離散コサイン変換することによって得られる。音響特徴量抽出部１０４は、求めた音響特徴量を音源同定部１０６に出力する。
【0084】
音響モデル部１０５は、音源モデルを格納し、ノード枝刈り装置１を備える。音源モデルは、収音された音響信号を音源同定部１０６が同定するために用いるモデルである。音響モデル部１０５は、同定する音響信号の音響特徴量を音源モデルとして、音源名を示す情報に対応付けて音源毎に格納する。また、ノード枝刈り装置１は、音源モデルに対して、第１実施形態と同様にノードの枝刈り処理を行う。
【0085】
音源同定部１０６は、音響特徴量抽出部１０４が出力する音響特徴量を、音響モデル部１０５が格納する枝刈りされた音響モデルを参照して音源を同定する。音源同定部１０６は、同定した同定結果を出力部１０７に出力する。
【0086】
出力部１０７は、例えば画像表示部であり、音源同定部１０６が出力する同定結果を表示する。
【0087】
なお、図１６の構成例は一例であり、これに限らない。例えば、音声認識装置１０は、例えば音源分離部１０３と音響特徴量抽出部１０４との間に、発話区間検出部を備えていてもよい。
【0088】
本実施形態では、音声認識装置の音源モデルに対してノードの枝刈りをするためにノード枝刈り装置１を適用する例を説明したが、これに限られない。ノード枝刈り装置１は、他の学習モデルや認識モデルにも適用可能である。
【0089】
本実施形態によれば、深層ネットワークの次元を削減できるので、後述する評価結果のように、実行時間を短縮することができる。
【0090】
なお、上述した各実施形態では、Ｋａｌｄｉの音響モデルに適用する例を説明したが、これに限らない。不均一なネットワークによる他の音響モデル、不均一なネットワークによる他の学習モデル、他の不均一なネットワークにも実施形態を適用することは可能である。
【0091】
＜評価結果＞
次に、評価結果例を説明する。
評価は、音声認識に実施形態を適用し、単語誤り率（ＷＥＲ）を指標とした４つの評価と、復号速度の評価を行った。
次に、評価結果例を説明する。
評価は、音声認識に実施形態を適用し、単語誤り率（ＷＥＲ）を指標とした４つの評価と、復号速度の評価を行った。
【0092】
・評価（１）ノードエントロピーに基づくノードアクティビティの検証
評価（１）では、実施形態のノードエントロピーと、比較例（周波数ベース（ｆｒｅｑｕｅｎｃｙ－ｂａｓｅｄ）、分散ベース、ランダム）の４つのノードアクティビティ定義を比較した。なお、評価では、枝刈り率を変更（０％、１０％、３０％、５０％、６０％、７０％から選択）し、出力のみに枝刈りを行った。また、評価では、バイパスと入力の枝刈りを行わずに維持した。また、評価では、層ベースの枝刈り率構成を採用した。
評価（１）では、実施形態のノードエントロピーと、比較例（周波数ベース（ｆｒｅｑｕｅｎｃｙ－ｂａｓｅｄ）、分散ベース、ランダム）の４つのノードアクティビティ定義を比較した。なお、評価では、枝刈り率を変更（０％、１０％、３０％、５０％、６０％、７０％から選択）し、出力のみに枝刈りを行った。また、評価では、バイパスと入力の枝刈りを行わずに維持した。また、評価では、層ベースの枝刈り率構成を採用した。
【0093】
・評価（２）入出力間のノードペアリング基準の検証
評価（２）では、実施形態による「層間ペアリング」と、比較例の「層内ペアリング」と「独立した枝刈り」と「枝刈りなし」のペアリング基準を比較した。なお、「独立した枝刈り」とは、入力のノードがランダムに枝刈りされることを意味し、出力と独立している。また、「枝刈りなし」とは、ベストケースの性能を知るために、入力に対して枝刈りを行わないことを意味する。さらに、評価（２）では、評価（１）で得られた結果から、５０％まではＷＥＲが同等に維持されていることがわかったため、層ベースの構成として枝刈り率を５０％に固定した。
評価（２）では、実施形態による「層間ペアリング」と、比較例の「層内ペアリング」と「独立した枝刈り」と「枝刈りなし」のペアリング基準を比較した。なお、「独立した枝刈り」とは、入力のノードがランダムに枝刈りされることを意味し、出力と独立している。また、「枝刈りなし」とは、ベストケースの性能を知るために、入力に対して枝刈りを行わないことを意味する。さらに、評価（２）では、評価（１）で得られた結果から、５０％まではＷＥＲが同等に維持されていることがわかったため、層ベースの構成として枝刈り率を５０％に固定した。
【0094】
・評価（３）バイパス接続を枝刈りするか否かの確認
評価（３）では、バイパス接続がある場合とない場合の２つのケースを比較した。評価条件は、層ベースの構成として、枝刈り率を０から７０％に変更した。また、その他の条件については、ノードエントロピーと層間ペアリングを利用した。
評価（３）では、バイパス接続がある場合とない場合の２つのケースを比較した。評価条件は、層ベースの構成として、枝刈り率を０から７０％に変更した。また、その他の条件については、ノードエントロピーと層間ペアリングを利用した。
【0095】
・評価（４）実施形態の層ベースの枝刈り率構成の検証
評価（４）では、実施形態の層ベースと、ネットワークベースの２つの構成を評価した。なお、評価条件は、枝刈り率を０から７０％に変更し、ノードエントロピーと層間ペアリングを用いた。
評価（４）では、実施形態の層ベースと、ネットワークベースの２つの構成を評価した。なお、評価条件は、枝刈り率を０から７０％に変更し、ノードエントロピーと層間ペアリングを用いた。
【0096】
・評価（５）復号速度の評価
評価（５）では、枝刈りを行った場合のデコード時間と、比較例の枝刈りを行わなかった場合のデコード時間とＷＥＲを比較した。なお、評価条件は、枝刈り率を５０％とした。
評価（５）では、枝刈りを行った場合のデコード時間と、比較例の枝刈りを行わなかった場合のデコード時間とＷＥＲを比較した。なお、評価条件は、枝刈り率を５０％とした。
【0097】
ここで、評価に用いたデータセット等を説明する。
学習データセットとテストデータセットには、ＪＮＡＳ（Ｊａｐａｎｅｓｅ Ｎｅｗｓｐａｐｅｒ Ａｒｔｉｃｌｅ Ｓｅｎｔｅｎｃｅｓ）とＣＳＪの２つのコーパスを用いた。ＪＮＡＳは、ＣＳＪの約１１倍の６０時間分の音声データと、男性話者２３名の５０文と女性話者２３名の５０文からなるテストデータセットから構成されている。ＣＳＪは、学習用の６６０時間音声データと３つのテストデータセット（ｅｖａｌ１－３）から構成されている。
学習データセットとテストデータセットには、ＪＮＡＳ（Ｊａｐａｎｅｓｅ Ｎｅｗｓｐａｐｅｒ Ａｒｔｉｃｌｅ Ｓｅｎｔｅｎｃｅｓ）とＣＳＪの２つのコーパスを用いた。ＪＮＡＳは、ＣＳＪの約１１倍の６０時間分の音声データと、男性話者２３名の５０文と女性話者２３名の５０文からなるテストデータセットから構成されている。ＣＳＪは、学習用の６６０時間音声データと３つのテストデータセット（ｅｖａｌ１－３）から構成されている。
【0098】
各テストデータセットには、約１，３００回の発話が含まれている（合計３，９４９回、１８，３７６秒）。
ノードアクティビティは、各実験で３００回（１９分）の発話を用いて上述した（１）－（３）式を用いて計算した。（１）式と（２）式では、εを０．００１とした。評価では、ノード枝刈り後、ワンエポック再訓練を行った。評価は、同一条件で２回行い、平均したＷＥＲを算出し、３つのテストデータセットから得られたＷＥＲをＣＳＪで平均化した。
ノードアクティビティは、各実験で３００回（１９分）の発話を用いて上述した（１）－（３）式を用いて計算した。（１）式と（２）式では、εを０．００１とした。評価では、ノード枝刈り後、ワンエポック再訓練を行った。評価は、同一条件で２回行い、平均したＷＥＲを算出し、３つのテストデータセットから得られたＷＥＲをＣＳＪで平均化した。
【0099】
次に、評価結果を説明する。
まず、評価（１）の評価結果を説明する。
図１７は、評価（１）におけるＪＮＡＳを用いた評価結果を示す図である。図１８は、評価（１）におけるＣＳＪを用いた評価結果を示す図である。図１７と図１８において、横軸は枝刈り率を示し、縦軸はＷＥＲを示している。また、折れ線ｇ１１とｇ２１は、実施形態のノードエントロピーベースによる評価結果であり、折れ線ｇ１２とｇ２２は比較例の周波数ベースによる評価結果であり、折れ線ｇ１３とｇ２３は比較例の分散ベースによる評価結果であり、折れ線ｇ１４とｇ２４は比較例のランダムによる評価結果である。
まず、評価（１）の評価結果を説明する。
図１７は、評価（１）におけるＪＮＡＳを用いた評価結果を示す図である。図１８は、評価（１）におけるＣＳＪを用いた評価結果を示す図である。図１７と図１８において、横軸は枝刈り率を示し、縦軸はＷＥＲを示している。また、折れ線ｇ１１とｇ２１は、実施形態のノードエントロピーベースによる評価結果であり、折れ線ｇ１２とｇ２２は比較例の周波数ベースによる評価結果であり、折れ線ｇ１３とｇ２３は比較例の分散ベースによる評価結果であり、折れ線ｇ１４とｇ２４は比較例のランダムによる評価結果である。
【0100】
図１７のように、ＪＮＡＳでは、周波数ベースとノードエントロピーベースのノードアクティビティがランダムよりも優れており、ノードエントロピーが最も優れた性能を示している。
図１８のように、ＣＳＪでは、比較例の３つの手法の間に有意な差はないが、ノードエントロピーが０％から６０％の枝刈り率でランダムを上回ったため、枝刈り率に対して最も安定した性能を示した。
図１８のように、ＣＳＪでは、比較例の３つの手法の間に有意な差はないが、ノードエントロピーが０％から６０％の枝刈り率でランダムを上回ったため、枝刈り率に対して最も安定した性能を示した。
【0101】
図１７、図１８より、全体として、実施形態によるノードエントロピーが最も優れた性能を示した。この結果は、シグモイドに閾値０．５を用いるのではなく、活性化関数ＲｅＬＵの閾値としてεを用いることの妥当性を示している。
また、実施形態のノードエントロピーに基づく定義が、基本的に他の定義よりも優れている理由は、以下である。
１）分散ベースの手法は、ガウス分布を仮定しているが、ＲｅＬＵサブレイヤの出力は非線形で非対称な分布である。
２）周波数ベースの手法（（２）式）は、（１）式の右辺の第１項のみを考慮しており、第２項の考慮が欠けている。
また、実施形態のノードエントロピーに基づく定義が、基本的に他の定義よりも優れている理由は、以下である。
１）分散ベースの手法は、ガウス分布を仮定しているが、ＲｅＬＵサブレイヤの出力は非線形で非対称な分布である。
２）周波数ベースの手法（（２）式）は、（１）式の右辺の第１項のみを考慮しており、第２項の考慮が欠けている。
【0102】
次に、評価（２）の評価結果を説明する。
図１９は、ＪＮＡＳを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。図２０は、ＣＳＪを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。なお、図１９と図２０において、入力は、左から順に「枝刈りなし」、「独立した枝刈り」（Ｉｎｄｅｐｅｎｄｅｎｔ）、「層内ペアリング」（ｉｎ－ｌａｙｅｒ）、実施形態の「層間ペアリング」（ｉｎｔｅｒ－ｌａｙｅｒ）である。「枝刈りなし」は、入力に対するプルーニングが行われないため、ベストケースの性能であるオラクル条件とみなすことができる。また、図１９、図２０において、出力は上から下に順に「周波数」、「偏差値」、「エントロピー」である。
図１９は、ＪＮＡＳを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。図２０は、ＣＳＪを用いて枝刈り率を５０％とした場合の評価（２）の評価結果を示す図である。なお、図１９と図２０において、入力は、左から順に「枝刈りなし」、「独立した枝刈り」（Ｉｎｄｅｐｅｎｄｅｎｔ）、「層内ペアリング」（ｉｎ－ｌａｙｅｒ）、実施形態の「層間ペアリング」（ｉｎｔｅｒ－ｌａｙｅｒ）である。「枝刈りなし」は、入力に対するプルーニングが行われないため、ベストケースの性能であるオラクル条件とみなすことができる。また、図１９、図２０において、出力は上から下に順に「周波数」、「偏差値」、「エントロピー」である。
【0103】
図１９のように、ＪＮＡＳでは、分散ベースのノードアクティビティを除いて、実施形態の層間ペアリングが最も優れた性能を示している。図２０のように、ＣＳＪでは、すべてのケースで実施形態の層間ペアリングが最も優れた性能を示した。また、層間ペアリングを用いた場合のＷＥＲは、「枝刈りなし」を用いた場合のＷＥＲと同等であった。
これらの結果は、現在の層の出力と入力が直接接続され、同じ層の出力と入力が因数分解を介して接続されていることから、実施形態の層間ペアリングの有効性を示している。
これらの結果は、現在の層の出力と入力が直接接続され、同じ層の出力と入力が因数分解を介して接続されていることから、実施形態の層間ペアリングの有効性を示している。
【0104】
次に、評価（３）の評価結果を説明する。
図２１は、ＪＮＡＳを用いた評価（３）の評価結果を示す図である。図２２は、ＣＳＪを用いた評価（３）の評価結果を示す図である。図２１と図２２において、横軸は枝刈り率であり、縦軸はＷＥＲである。また、折れ線ｇ３１とｇ４１は実施形態のバイパス接続なしかつ枝刈りありの結果であり、折れ線ｇ３２とｇ４２はバイパス接続なしかつ枝刈りなしの結果である。
図２１は、ＪＮＡＳを用いた評価（３）の評価結果を示す図である。図２２は、ＣＳＪを用いた評価（３）の評価結果を示す図である。図２１と図２２において、横軸は枝刈り率であり、縦軸はＷＥＲである。また、折れ線ｇ３１とｇ４１は実施形態のバイパス接続なしかつ枝刈りありの結果であり、折れ線ｇ３２とｇ４２はバイパス接続なしかつ枝刈りなしの結果である。
【0105】
図２１と図２２のように、ＪＮＡＳとＣＳＪは同等の性能を示した。図２２のように、ＣＳＪでは、対応するノードが入力と出力との間から枝刈りされた場合でもバイパス接続を維持する必要があることを示している。
これらの結果を考慮すると、バイパス接続は枝刈りしない方が良いことが分かり、ネットワーク内の他の部分と比較してバイパス接続が音声認識の性能に強く寄与していることが示唆される。
これらの結果を考慮すると、バイパス接続は枝刈りしない方が良いことが分かり、ネットワーク内の他の部分と比較してバイパス接続が音声認識の性能に強く寄与していることが示唆される。
【0106】
次に、評価（４）の評価結果を説明する。
図２３は、ＪＮＡＳを用いた評価（４）の評価結果を示す図である。図２４は、ＣＳＪを用いた評価（４）の評価結果を示す図である。図２３と図２４において、横軸は枝刈り率であり、縦軸はＷＥＲである。また、折れ線ｇ５１とｇ６１は実施形態の層ベースの構成の結果であり、折れ線ｇ５２とｇ６２はネットワークベースの構成の結果である。
図２３は、ＪＮＡＳを用いた評価（４）の評価結果を示す図である。図２４は、ＣＳＪを用いた評価（４）の評価結果を示す図である。図２３と図２４において、横軸は枝刈り率であり、縦軸はＷＥＲである。また、折れ線ｇ５１とｇ６１は実施形態の層ベースの構成の結果であり、折れ線ｇ５２とｇ６２はネットワークベースの構成の結果である。
【0107】
【0108】
このことを確認するために、各層の残りノード数を確認した。
図２５は、比較例のネットワークベースの枝刈り率構成の場合の結果を示す図である。棒グラフの各棒は、左から右に０％、１０％、２０％、３０％、４０％、５０％、６０％、７０％である。また、横軸は層数であり、縦軸は残りのノード数である。
図２５は、比較例のネットワークベースの枝刈り率構成の場合の結果を示す図である。棒グラフの各棒は、左から右に０％、１０％、２０％、３０％、４０％、５０％、６０％、７０％である。また、横軸は層数であり、縦軸は残りのノード数である。
【0109】
図２５のように、上位層の枝刈り率が高くなってきており、枝刈り率が高くなってもノード数が少ないままである。このことは、高い枝刈り率では、上位層のノード数が少なくなりすぎていることを示唆している。これに対して、実施形態の層ベースの枝刈り率構成では、残りのノード数をレイヤ間で同じに維持し、高い枝刈り率でも性能が安定している。
【0110】
次に、評価（５）の評価結果を説明する。
なお、テストデータとしては、１８，３７６秒の音声データを含むＣＳＪテストデータセット（ｅｖａｌ１～３）を用いた。また、評価では、Ｉｎｔｅｌ（登録商標） Ｘｅｏｎ（登録商標） Ｅ５－２６９７Ａ ｖ４（２．６ＧＨｚ）を１コア使用した。
比較例の枝刈りを行わなかった場合は、平均ＷＥＲが８．４９％であり、復号化時間は３，０３６秒であった。
これに対して、実施形態では、平均ＷＥＲが８．５７％、枝刈り率５０％の場合の復号化時間が２，３８８秒だった。従って、実施形態によれば音声認識の精度を同等に保ちつつ、３１％の速度向上を達成できている。
なお、テストデータとしては、１８，３７６秒の音声データを含むＣＳＪテストデータセット（ｅｖａｌ１～３）を用いた。また、評価では、Ｉｎｔｅｌ（登録商標） Ｘｅｏｎ（登録商標） Ｅ５－２６９７Ａ ｖ４（２．６ＧＨｚ）を１コア使用した。
比較例の枝刈りを行わなかった場合は、平均ＷＥＲが８．４９％であり、復号化時間は３，０３６秒であった。
これに対して、実施形態では、平均ＷＥＲが８．５７％、枝刈り率５０％の場合の復号化時間が２，３８８秒だった。従って、実施形態によれば音声認識の精度を同等に保ちつつ、３１％の速度向上を達成できている。
【0111】
上記の評価結果をまとめると、エントロピーベースのノードアクティビティ、層間パーリング、バイパスの枝刈りなし、層ベースの刈り込み率構成を組み合わせた実施形態の手法が最も優れた性能を示した。
また、評価（１）、（３）および（４）の２つの異なるサイズのコーパスＪＮＡＳとＣＳＪに対して５０％の枝刈り率が適切であり、３１％の速度向上を達成できた。このようにＷＥＲと復号化速度のバランスは、アプリケーションに応じて変化する。
さらに、実施形態の手法は、学習したモデルが圧縮されやすいＪＮＡＳの小サイズのコーパスだけでなく、モデルが圧縮されにくいＣＳＪの大サイズのコーパスに対しても有効であった。
また、評価（１）、（３）および（４）の２つの異なるサイズのコーパスＪＮＡＳとＣＳＪに対して５０％の枝刈り率が適切であり、３１％の速度向上を達成できた。このようにＷＥＲと復号化速度のバランスは、アプリケーションに応じて変化する。
さらに、実施形態の手法は、学習したモデルが圧縮されやすいＪＮＡＳの小サイズのコーパスだけでなく、モデルが圧縮されにくいＣＳＪの大サイズのコーパスに対しても有効であった。
【0112】
なお、本発明におけるノード枝刈り装置１の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりノード枝刈り装置１の処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0113】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0114】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0115】
１…ノード枝刈り装置、１１…取得部、１２…ネットワークモデル記憶部、１３…枝刈り部、１４…出力部、１３１…ノード活性化部、１３２…層間ペアリング部、１３３…バイパス設定部、１３４…枝刈り実行部、１３５…層ベースの枝刈り率構成部、２…音声認識システム、１０…音声認識装置、２０…収音部、１０１…取得部、１０２…音源定位部、１０３…音源分離部、１０４…音響特徴量抽出部、１０５…音響モデル部、１０６…音源同定部、１０７…出力部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】