特開 2024-170070 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170070

(43)【公開日】2024-12-06

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   G06N 3/082 20230101AFI20241129BHJP

   G06N 3/0464 20230101ALI20241129BHJP

【ＦＩ】

G06N3/082

G06N3/0464

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023087029

(22)【出願日】2023-05-26

(71)【出願人】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100094112

【弁理士】

【氏名又は名称】岡部 讓

(74)【代理人】

【識別番号】100106183

【弁理士】

【氏名又は名称】吉澤 弘司

(72)【発明者】

【氏名】谷村 竜太郎

(57)【要約】

【課題】学習モデルの軽量化により予測精度が低下する。
【解決手段】本発明における情報処理装置は、学習データの複数の要素の各々に重み付けをする複数のフィルタを有する学習モデル部と、前記複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択する選択部と、前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成する生成部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習データの複数の要素の各々に重み付けをする複数のフィルタを有する学習モデル部と、
前記複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択する選択部と、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成する生成部と、
を備える情報処理装置。

【請求項2】

前記学習モデル部は、各々が複数のフィルタを有する複数の層を含み、
前記選択部は、前記複数の層のうち一の層をさらに選択し、
前記選択部は、前記一の層に含まれる前記複数のフィルタから前記第１のフィルタおよび前記第２のフィルタを選択する、
請求項１に記載の情報処理装置。

【請求項3】

前記選択部は、前記複数の層のうち、所定の数以上のフィルタを有する層を前記一の層として選択する、
請求項２に記載の情報処理装置。

【請求項4】

前記生成部は、前記一の層における前記統合フィルタの生成に応答して、前記一の層と異なる他の層において前記統合フィルタを生成する、
請求項２に記載の情報処理装置。

【請求項5】

前記他の層は、前記一の層の次の層である、
請求項４に記載の情報処理装置。

【請求項6】

前記フィルタは、複数の重み付け係数を有し、
前記フィルタのパラメータは、前記複数の重み付け係数に基づいて算出される、
請求項１に記載の情報処理装置。

【請求項7】

前記選択部は、前記フィルタの前記複数の重み付け係数の合計に基づいて前記第１のフィルタを選択し、
前記選択部は、前記第１のフィルタの前記複数の重み付け係数に基づいて前記第２のフィルタを選択する、
請求項６に記載の情報処理装置。

【請求項8】

前記統合フィルタの前記複数の重み付け係数は、前記第１のフィルタの前記複数の重み付け係数および前記第２のフィルタの前記複数の重み付け係数に基づいて算出される、
請求項６に記載の情報処理装置。

【請求項9】

学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップと、
を備える情報処理方法。

【請求項10】

コンピュータに、
学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

ニューラルネットワークを軽量化する手法として、学習モデルのフィルタをプルーニング（枝刈り）する技術が案出されている。一般的に、プルーニングされたニューラルネットワークは再学習され、高い予測精度および軽量なネットワーク構造を有するニューラルネットワークが得られる。

【0003】

特許文献１および２には、プルーニングされたニューラルネットワークの再学習手法が開示されている。特許文献３には、プルーニングの対象となるフィルタを選択する判断基準が開示されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Jonathan Frankle and Michael Carbin The lottery ticket hypothesis: Finding sparse, trainable neural networks In International Conference on Learning Representations, 2019

【非特許文献2】Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell Rethinking the Value of Network Pruning In International Conference on Learning Representations, 2019

【非特許文献3】Zhongzhan Huang, Wenqi Shao, Xinjiang Wang, Liang Lin, Ping Luo Rethinking the Pruning Criteria for Convolutional Neural Network NeurIPS 2021 Conference Program Chairs

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、フィルタのプルーニングによって、学習モデルの特徴量抽出の特性が損なわれる場合がある。このため、学習モデルの予測精度が低下し得る。

【0006】

本発明の目的は、予測精度を維持しながら学習モデルを軽量化することである。

【課題を解決するための手段】

【0007】

本発明の一観点によれば、学習データの複数の要素の各々に重み付けをする複数のフィルタを有する学習モデル部と、前記複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択する選択部と、前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成する生成部とを備える情報処理装置が提供される。

【0008】

本発明の他の一観点によれば、学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップとを備える情報処理方法が提供される。

【0009】

本発明の他の一観点によれば、コンピュータに、学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップとを実行させるためのプログラムが提供される。

【発明の効果】

【0010】

本発明によれば、予測精度を維持しながら学習モデルを軽量化することができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る情報処理システムのブロック図である。

【図2】第１実施形態に係る情報処理装置のハードウェア構成を示すブロック図である。

【図3】第１実施形態に係る利用装置のハードウェア構成を示すブロック図である。

【図4】第１実施形態に係る情報処理装置の学習モデルの概念図である。

【図5】第１実施形態に係る情報処理装置の畳み込み処理の例を示す概念図である。

【図6】第１実施形態に係るフィルタの統合処理のフローチャートである。

【図7A】第１実施形態に係る情報処理装置におけるフィルタの選択の一例を示す模式図である。

【図7B】第１実施形態に係る情報処理装置におけるフィルタの選択の一例を示す模式図である。

【図7C】第１実施形態に係る情報処理装置におけるフィルタの選択の一例を示す模式図である。

【図7D】第１実施形態に係る情報処理装置におけるフィルタの選択の一例を示す模式図である。

【図8A】第１実施形態に係る情報処理装置におけるフィルタの統合の一例を示す模式図である。

【図8B】第１実施形態に係る情報処理装置におけるフィルタの統合の一例を示す模式図である。

【図8C】第１実施形態に係る情報処理装置におけるフィルタの統合の一例を示す模式図である。

【図9A】第１実施形態に係る情報処理装置の学習モデルのニューラルネットワーク図である。

【図9B】第１実施形態に係る情報処理装置の学習モデルのニューラルネットワーク図である。

【図9C】第１実施形態に係る情報処理装置の学習モデルのニューラルネットワーク図である。

【図10】第２実施形態に係る情報処理装置の機能ブロック図である。

【発明を実施するための形態】

【0012】

以下、図面を参照して、本開示の例示的な実施形態を説明する。図面において同様の要素または対応する要素には同一の符号を付し、その説明を省略または簡略化することがある。

【0013】

［第１実施形態］
図１は、本実施形態に係る情報処理システムのブロック図である。情報処理システムは、情報処理装置１、利用装置２およびネットワーク３を備える。

【0014】

情報処理装置１は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いた学習モデルを生成する。本実施形態に係る学習モデルは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であり得るが、畳み込み処理を含む任意の学習モデルであってもよい。情報処理装置１は、ワークステーションなどのコンピュータであり得る。

【0015】

利用装置２は、情報処理装置１によって生成される学習モデルを使用し、入力データに対応する出力データを生成する。例えば、利用装置２は、画像認識、画像識別、音声認識などの機能を有し得る。利用装置２は、コンピュータ、タブレットＰＣ、スマートフォンであり得る。

【0016】

情報処理装置１および利用装置２は、ネットワーク３を介して相互に接続され得る。ネットワーク３は、インターネットなどのＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であり得る。

【0017】

なお、図１において情報処理装置１および利用装置２は別の装置として図示されているが、情報処理装置１および利用装置２は一体の装置であってもよい。

【0018】

図２は、情報処理装置１のハードウェア構成を示すブロック図である。情報処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０３、記憶装置１０４、通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１０５、入出力装置１０６および表示装置１０７を備える。情報処理装置１の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

【0019】

ＣＰＵ１０１は、ＲＯＭ１０３、記憶装置１０４等に記憶されたプログラムに従って所定の演算を行うとともに、情報処理装置１の各部を制御する機能をも有するプロセッサである。ＣＰＵ１０１は、ＲＯＭ１０３、記憶装置１０４等に記憶されたプログラムをＲＡＭ１０２にロードして実行する。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ１０３は、不揮発性記憶媒体から構成され、ＣＰＵ１０１の動作プログラム等の必要な情報を記憶する。記憶装置１０４は、フラッシュメモリ、ハードディスクなどの不揮発性記憶媒体から構成され、学習モデルの構築に用いられる入力データを格納する。学習モデルは、記憶装置１０４において構築される。

【0020】

通信Ｉ／Ｆ１０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、利用装置２との通信を行うためのモジュールである。

【0021】

入出力装置１０６は、ユーザが情報処理装置１を操作するために用いられるユーザインターフェース、警告音などを発するスピーカなどを含む。入出力装置１０６は、例えばキーボード、マウス、トラックボール、タッチパネル、ペンタブレット、ボタン等であり得る。

【0022】

表示装置１０７は、例えば液晶ディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等の表示部であって、情報の表示、操作入力用のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示等に用いられる。入出力装置１０６および表示装置１０７は、タッチパネルとして一体に形成されていてもよい。

【0023】

図２では、情報処理装置１を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、記憶装置１０４、入出力装置１０６、表示装置１０７は、ＣＰＵ１０１等とは別の外付け装置であってもよい。

【0024】

図３は、利用装置２のハードウェア構成を示すブロック図である。利用装置２は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、記憶装置２０４、通信Ｉ／Ｆ２０５、入出力装置２０６および表示装置２０７を備える。利用装置２の各部は、不図示のバス、配線、駆動装置等を介して相互に接続される。

【0025】

ＣＰＵ２０１は、ＲＯＭ２０３、記憶装置２０４等に記憶されたプログラムに従って所定の演算を行うとともに、利用装置２の各部を制御する機能をも有するプロセッサである。ＣＰＵ２０１は、ＲＯＭ２０３、記憶装置２０４等に記憶されたプログラムをＲＡＭ２０２にロードして実行する。ＲＡＭ２０２は、揮発性記憶媒体から構成され、ＣＰＵ２０１の動作に必要な一時的なメモリ領域を提供する。ＲＯＭ２０３は、不揮発性記憶媒体から構成され、ＣＰＵ２０１の動作プログラム等の必要な情報を記憶する。記憶装置２０４は、フラッシュメモリ、ハードディスクなどの不揮発性記憶媒体から構成される。

【0026】

通信Ｉ／Ｆ２０５は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）等の規格に基づく通信インターフェースであり、情報処理装置１との通信を行うためのモジュールである。

【0027】

入出力装置２０６は、ユーザが利用装置２を操作するために用いられるユーザインターフェース、警告音などを発するスピーカなどを含む。入出力装置２０６は、例えばキーボード、マウス、トラックボール、タッチパネル、ペンタブレット、ボタン等であり得る。

【0028】

表示装置２０７は、例えば液晶ディスプレイ、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ等の表示部であって、情報の表示、操作入力用のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の表示等に用いられる。入出力装置２０６および表示装置２０７は、タッチパネルとして一体に形成されていてもよい。

【0029】

図３では、利用装置２を構成する各部が一体の装置として図示されているが、これらの機能の一部は外付け装置により提供されるものであってもよい。例えば、記憶装置２０４、入出力装置２０６、表示装置２０７は、ＣＰＵ２０１等とは別の外付け装置であってもよい。

【0030】

図４は、情報処理装置１の学習モデルの概念図である。学習モデルは、畳み込み層１１および畳み込み層１２を備える。また、学習モデルは、入力層４１、中間層４２および出力層４３を備える。なお、畳み込み層の数は２つに限定されず、任意の数であり得る。また、学習モデルは、畳み込み層１１の後または畳み込み層１２の後に、プーリング層および全結合層を備えてもよい。

【0031】

入力層４１には、入力データが与えられる。入力データは、１次元の時系列信号または２次元の画像データであってもよく、より高次元のデータであってもよい。入力データは、データの値のセット（チャンネル）であり得る。なお、図４には入力層４１に１つのチャンネルが設定されているが、複数のチャンネルが設定されてもよい。

【0032】

畳み込み層１１には、入力層４１のチャンネルｃｈ１が入力される。畳み込み層１１は、入力層４１のチャンネルｃｈ１に畳み込み処理を行い、中間層４２にチャンネルｃｈ１およびチャンネルｃｈ２を出力する。畳み込み層１２には、中間層４２のチャンネルｃｈ１およびチャンネルｃｈ２が入力される。畳み込み層１２は、中間層４２のチャンネルｃｈ１およびチャンネルｃｈ２に畳み込み処理を行い、出力層４３にチャンネルｃｈ１、チャンネルｃｈ２およびチャンネルｃｈ３を出力する。なお、畳み込み層１１および畳み込み層１２によって出力されるチャンネルの数は、任意に選択され得る。

【0033】

図５は、情報処理装置１の畳み込み処理の例を示す概念図である。図５には、畳み込み層１２における畳み込み処理の詳細が示されている。なお、畳み込み層１１における畳み込み処理は、畳み込み層１２と同様の処理であり得る。

【0034】

中間層４２におけるチャンネルｃｈ１およびチャンネルｃｈ２は、３行３列の行列として表される。各々の行列における値は、チャンネルｃｈ１、チャンネルｃｈ２のそれぞれに含まれる特徴量を表している。なお、チャンネルｃｈ１およびチャンネルｃｈ２の行列は、３行３列に限定されない。

【0035】

畳み込み層１２は、フィルタＦ１１、Ｆ１２、Ｆ２１、Ｆ２２、Ｆ３１、Ｆ３２を備える。畳み込み層１２のフィルタの数は、中間層４２のチャンネルの数と出力層４３のチャンネルの数との積によって決定される。図５において、中間層４２のチャンネルの数は２であり、出力層４３のチャンネルの数は３であるため、畳み込み層１２は、６つのフィルタを備える。各々のフィルタは、学習モデルの学習パラメータ（重み付け係数）の３行３列の行列として表されている。なお、各々のフィルタの行列のサイズは、中間層のチャンネルのサイズ以下であり、任意に選択され得る。

【0036】

畳み込み層１２は、フィルタＦ１１およびフィルタＦ１２を用いて、中間層４２のチャンネルｃｈ１およびチャンネルｃｈ２から出力層４３のチャンネルｃｈ１を生成する。フィルタＦ１１は、中間層４２のチャンネルｃｈ１の畳み込み処理に用いられる。畳み込み処理は、チャンネルｃｈ１の行列およびフィルタＦ１１の行列において互いに対応する値の乗算の合計を算出する処理であり得る。図５において、チャンネルｃｈ１とフィルタＦ１１とによる畳み込み処理の結果は、０．１×１＋０．３×７＋０．５×１３＋０．７×１９＋０．９×２５＋１．１×３１＋１．３×３７＋１．５×４３＋１．７×４９＝２７４．５となる。フィルタＦ１２は、中間層４２のチャンネルｃｈ２の畳み込み処理に用いられる。図５において、チャンネルｃｈ２とフィルタＦ１２とによる畳み込み処理の結果は、０．２×４＋０．４×１０＋０．６×１６＋０．８×２２＋１．０×２８＋１．２×３４＋１．４×４０＋１．６×４６＋１．８×５２＝３２４．０となる。畳み込み層１２は、チャンネルｃｈ１とフィルタＦ１１との畳み込み処理の結果と、チャンネルｃｈ２とフィルタＦ１２との畳み込み処理の結果とを加算し、出力層４３のチャンネルｃｈ１を生成する。図５において、出力層４３のチャンネルｃｈ１は、２７４．５＋３２４．０＝５９８．５となる。

【0037】

畳み込み層１２は、フィルタＦ２１およびフィルタＦ２２を用いて、中間層４２のチャンネルｃｈ１およびチャンネルｃｈ２から出力層４３のチャンネルｃｈ２を生成する。フィルタＦ２１は、中間層４２のチャンネルｃｈ１の畳み込み処理に用いられる。図５において、チャンネルｃｈ１とフィルタＦ２１とによる畳み込み処理の結果は、０．１×２＋０．３×８＋０．５×１４＋０．７×２０＋０．９×２６＋１．１×３２＋１．３×３８＋１．５×４４＋１．７×５０＝２８２．６となる。フィルタＦ２２は、中間層４２のチャンネルｃｈ２の畳み込み処理に用いられる。図５において、チャンネルｃｈ２とフィルタＦ２２とによる畳み込み処理の結果は、０．２×５＋０．４×１１＋０．６×１７＋０．８×２３＋１．０×２９＋１．２×３５＋１．４×４１＋１．６×４７＋１．８×５３＝３３３．０となる。畳み込み層１２は、チャンネルｃｈ１とフィルタＦ２１との畳み込み処理の結果と、チャンネルｃｈ２とフィルタＦ２２との畳み込み処理の結果とを加算し、出力層４３のチャンネルｃｈ２を生成する。図５において、出力層４３のチャンネルｃｈ２は、２８２．６＋３３３．０＝６１５．６となる。

【0038】

畳み込み層１２は、フィルタＦ３１およびフィルタＦ３２を用いて、中間層４２のチャンネルｃｈ１およびチャンネルｃｈ２から出力層４３のチャンネルｃｈ３を生成する。フィルタＦ３１は、中間層４２のチャンネルｃｈ１の畳み込み処理に用いられる、図５において、チャンネルｃｈ１とフィルタＦ３１とによる畳み込み処理の結果は、０．１×３＋０．３×９＋０．５×１５＋０．７×２１＋０．９×２７＋１．１×３３＋１．３×３９＋１．５×４５＋１．７×５１＝２９０．７となる。フィルタＦ３２は、中間層４２のチャンネルｃｈ２の畳み込み処理に用いられる。図５において、チャンネルｃｈ２とフィルタＦ３２とによる畳み込み処理の結果は、０．２×６＋０．４×１２＋０．６×１８＋０．８×２４＋１．０×３０＋１．２×３６＋１．４×４２＋１．６×４８＋１．８×５４＝３４２．０となる。畳み込み層１２は、チャンネルｃｈ１とフィルタＦ３１との畳み込み処理の結果と、チャンネルｃｈ２とフィルタＦ３２との畳み込み処理の結果とを加算し、出力層４３のチャンネルｃｈ３を生成する。図５において、出力層４３のチャンネルｃｈ３は、２９０．７＋３４２．０＝６３２．７となる。

【0039】

出力層４３におけるチャンネルｃｈ１、チャンネルｃｈ２およびチャンネルｃｈ３は、１行１列の行列として表される。畳み込み層１２は、中間層４２におけるチャンネルｃｈ１およびチャンネルｃｈ２の特徴を抽出し、データ量が削減されたチャンネルｃｈ１、チャンネルｃｈ２およびチャンネルｃｈ３を出力層４３に出力する。

【0040】

図６は、本実施形態に係るフィルタの統合処理のフローチャートであり、情報処理装置１の学習モデルにおけるフィルタの統合処理を示している。本実施形態に係る情報処理装置１は、フィルタを統合することによって、畳み込み層のフィルタの数を減らし、学習モデルを軽量化することができる。

【0041】

まず、情報処理装置１は、畳み込み層のパラメータに基づいて、統合処理を実行する畳み込み層を選択する（ステップＳ１０１）。畳み込み層のパラメータは、畳み込み層に含まれるフィルタの数または入力層４１から数えた場合における畳み込み層の番号であり得る。情報処理装置１は、学習モデルにおける複数の畳み込み層のうち、最も多くのフィルタを有する畳み込み層を選択してもよい。これにより、多くのフィルタから統合対象となるフィルタを選択でき、より適切なフィルタ統合を行うことができる。情報処理装置１は、学習モデルにおける複数の畳み込み層のうち、所定の数以上のフィルタを有する畳み込み層を選択しても良い。これにより、学習モデルの軽量化を効率的に行うことができる。

【0042】

なお、所定の数以上のフィルタを有する畳み込み層が複数存在する場合、最も入力層４１に近い畳み込み層が選択されてもよい。これにより、学習モデルの軽量化をより効率的に行うことができる。

【0043】

次に、情報処理装置１は、統合対象の畳み込み層について、フィルタのパラメータを算出する（ステップＳ１０２）。フィルタのパラメータの算出方法は、特に限定されるものではない。例えば、フィルタのパラメータは、重み付け係数の合計（ノルム）、ノルムの標準偏差などであり得る。なお、ノルムは、重み付け係数の絶対の合計（１次ノルム）であってもよく、重み付け係数の二乗和の平方根（２次ノルム）であってもよい。ノルムは、フィルタによる特徴量抽出の重要度を示す。すなわち、大きいノルムを有するフィルタは、高い重要度を有する。また、ノルムの標準偏差は、フィルタ内の学習量を示す。すなわち、小さい標準偏差を有するフィルタは、高い重要度を有する。なお、情報処理装置１は、フィルタのパラメータに基づいて、フィルタのリストを作成してもよい。フィルタのリストは、統合されるフィルタの優先順位の決定に用いられる。

【0044】

情報処理装置１は、フィルタのパラメータに基づいて、互いに類似する第１のフィルタおよび第２のフィルタを選択する（ステップＳ１０３）。フィルタの選択方法は、特に限定されるものではない。例えば、重み付け係数の合計が最も大きいフィルタを第１のフィルタおよびとして選択してもよい。重み付け係数の合計が大きいフィルタを選択することによって、畳み込み処理による特徴量抽出の特性を保持しつつ、学習モデルの軽量化を行うことができる。また、第１のフィルタの重み付け係数に基づいて第２のフィルタを選択してもよい。例えば、第１のフィルタと第２のフィルタとのノルムの差が所定の数未満となるように第２のフィルタを選択してもよい。なお、フィルタの統合のために選択されるフィルタの数は３以上であってもよい。多くのフィルタから統合フィルタを選択することによって、フィルタの数の削減をより効率的に行うことができる。

【0045】

情報処理装置１は、第１のフィルタおよび第２のフィルタを統合することによって、統合フィルタを生成する（ステップＳ１０４）。統合フィルタの重み付け係数は、第１のフィルタの重み付け係数および第２のフィルタの重み付け係数に基づいて算出される。例えば、統合フィルタの重み付け係数は、第１のフィルタの重み付け係数および第２のフィルタの重み付け係数の平均であり得る。

【0046】

続いて、情報処理装置１は、フィルタの削減率が目標値以上であるか否かを判断する（ステップＳ１０５）。フィルタの削減率は、統合前のフィルタの数に対する統合によって削減されたフィルタの数であり得る。フィルタの削減率が目標値未満である場合（ステップＳ１０５においてＮＯ）、情報処理装置１は、ステップＳ１０１に戻り、統合処理を実行する畳み込み層を選択する。フィルタ削減率が目標値以上である場合（ステップＳ１０５においてＹＥＳ）、情報処理装置１は、フィルタの統合処理を終了する。

【0047】

図７は、第１実施形態に係る情報処理装置１におけるフィルタの選択の一例を示す模式図である。図７において、入力チャンネルの数が２、出力チャンネルの数が４である場合における畳み込み層の８つのフィルタが示されている。図７（ａ）における「入力ｃｈ１」および「入力ｃｈ２」は、チャンネルｃｈ１およびチャンネルｃｈ２にかけ合わされるフィルタをそれぞれ示す。「出力ｃｈ１」、「出力ｃｈ２」、「出力ｃｈ３」および「出力ｃｈ４」は、チャンネルｃｈ１、チャンネルｃｈ２、チャンネルｃｈ３およびチャンネルｃｈ４を出力するために用いられるフィルタを示す。

【0048】

図７（ｂ）は、各々のフィルタのノルムを示している。「平均」は、ノルムの平均である。「標準偏差」は、ノルムの標準偏差である。

【0049】

図７（ｃ）は、フィルタのリストを示している。各々のフィルタは、「平均」の値が高い順に並んでいる。「順位」は、「平均」の順位である。情報処理装置１は、「順位」が１位であるチャンネルｃｈ４のフィルタを第１のフィルタとして選択し得る。

【0050】

図７（ｄ）は、第１のフィルタの標準偏差との差が小さい順にフィルタを示している。情報処理装置１は、第１のフィルタと最も標準偏差が近いチャンネルｃｈ１のフィルタを第２のフィルタとして選択し得る。フィルタの標準偏差の差が小さいフィルタを選択することによって、互いに類似するフィルタを選択することができる。

【0051】

図８は、第１実施形態に係る情報処理装置１におけるフィルタの統合の一例を示す模式図である。図８（ａ）は、フィルタの統合前における学習モデルを示している。図８（ａ）は、第ｎ畳み込み層および第（ｎ＋１）畳み込み層を示している。第ｎ畳み込み層の入力のチャンネルの数は１であり、出力のチャンネルの数は２である。第ｎ畳み込み層は、２つのフィルタを有している。第（ｎ＋１）畳み込み層は、第ｎ畳み込み層の次の畳み込み層である。第（ｎ＋１）畳み込み層の入力のチャンネルの数は２であり、出力のチャンネルの数は３である。第（ｎ＋１）畳み込み層は、６つのフィルタを有している。なお、図８において、フィルタ処理は、チャンネルの行列およびフィルタの行列において互いに対応する値の乗算として表されている。

【0052】

図８（ｂ）は、第ｎ畳み込み層の２つのフィルタが統合される場合における学習モデルの構造の変化を示している。フィルタの統合は、フィルタの重み付け係数の平均である。なお、フィルタの統合は、フィルタのノルムの平均の比率による可算平均であってもよい。

【0053】

第ｎ畳み込み層のフィルタの統合により、第ｎ畳み込み層のフィルタの数が２から１に減少する。これにより、第ｎ畳み込み層の出力のチャンネルの数が１に減少する。ここで、第ｎ畳み込み層の出力のチャンネルの数は、第（ｎ＋１）畳み込み層の入力のチャンネルの数に等しい。すなわち、第ｎ畳み込み層におけるフィルタの統合に応答して、第（ｎ＋１）畳み込み層においてフィルタの統合が行われる。これにより、第（ｎ＋１）畳み込み層の入力のチャンネルの数が２から１に減少し、第（ｎ＋１）畳み込み層のフィルタの数が６から３に減少する。

【0054】

図８（ｃ）は、フィルタの統合後における学習モデルを示している。図８（ｃ）において、フィルタの数が減少することによって学習モデルが軽量化されている。本実施形態において、複数のフィルタを統合し、一つの統合フィルタを生成することによって、畳み込み処理における入力と出力との関係性を保持することができる。これにより、予測精度を維持しつつ学習モデルを軽量化することができる。また、フィルタの統合によって学習モデルを軽量化することによって、学習モデルの再学習の計算量を削減することができる。

【0055】

図９は、本実施形態に係る情報処理装置１の学習モデルのニューラルネットワーク図である。図９（ａ）において、学習モデルは、入力層９１、中間層９２、出力層９３を含むニューラルネットワークを含む。入力層９１のニューロン９５１、中間層９２のニューロン９５２、出力層９３のニューロン９５３はシナプス９６によってそれぞれ結合されている。ニューロン９５１、ニューロン９５２およびニューロン９５３は、それぞれチャンネルに対応する。各々のシナプス９６は、フィルタの重み付け係数に対応する。

【0056】

図９（ｂ）は、本実施形態に係る情報処理装置１における学習モデルのフィルタ統合処理を示している。図９（ｂ）において、中間層９２のニューロン９５２は統合され、新たなニューロン９５２が生成されている。ニューロン９５２の統合によって、中間層９２のニューロン９５２の数およびニューロン９５２に結合するシナプスの数が減少し、学習モデルが軽量化される。また、統合によって得られたニューロン９５２は、統合に用いられたニューロン９５２の性質を有する。すなわち、中間層９２と出力層９３との関係は、ニューロン９５２の統合によって変化しない。これにより、学習モデルの特徴量抽出の特性を保持することができる。

【0057】

図９（ｃ）は、従来例に係る情報処理装置における学習モデルの枝刈り（プルーニング）を示している。学習モデルのプルーニングにおいては、不要と判断された中間層９２のニューロン９５２およびシナプス９６が削除されている。学習モデルのプルーニングにおいては、ニューロン９５２およびシナプス９６のプルーニングによって、学習モデルの構造が変化する。すなわち、中間層９２と出力層９３との関係はプルーニングによって変化する。これにより、学習モデルの予測精度が損なわれ得る。

【0058】

以上に述べたように、本実施形態に係る情報処理装置１は、互いに類似するフィルタを統合し、統合フィルタを生成することによって予測精度を維持しつつ学習モデルを軽量化することができる。また、統合フィルタの生成によって学習モデルの再学習の計算量を削減することができる。

【0059】

［第２実施形態］
図１０は、第２実施形態に係る情報処理装置５の機能ブロック図である。情報処理装置５は、学習モデル部５１、選択部５２および生成部５３を備える。学習モデル部５１は、学習データの複数の要素の各々に重み付けをする複数のフィルタを有する。選択部５２は、複数のフィルタの各々のパラメータに基づいて、複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択する。生成部５３は、第１のフィルタおよび第２のフィルタを統合した統合フィルタを生成する。

【0060】

本実施形態によれば、予測精度を維持しながら学習モデルを軽量化することが可能な情報処理装置５が提供される。

【0061】

［変形実施形態］
本発明は、上述の実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において適宜変更可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

【0062】

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記憶媒体に記録させ、記憶媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記憶媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記憶媒体だけでなく、そのプログラム自体も各実施形態に含まれる。また、上述の実施形態に含まれる１又は２以上の構成要素は、各構成要素の機能を実現するように構成されたＡＳＩＣ、ＦＰＧＡ等の回路であってもよい。

【0063】

該記憶媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記憶媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作して処理を実行するものも各実施形態の範疇に含まれる。

【0064】

上述の各実施形態の機能により実現されるサービスは、ＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）の形態でユーザに対して提供することもできる。

【0065】

なお、上述の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

【0066】

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

【0067】

（付記１）
学習データの複数の要素の各々に重み付けをする複数のフィルタを有する学習モデル部と、
前記複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択する選択部と、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成する生成部と、
を備える情報処理装置。

【0068】

（付記２）
前記学習モデル部は、各々が複数のフィルタを有する複数の層を含み、
前記選択部は、前記複数の層のうち一の層をさらに選択し、
前記選択部は、前記一の層に含まれる前記複数のフィルタから前記第１のフィルタおよび前記第２のフィルタを選択する、
付記１に記載の情報処理装置。

【0069】

（付記３）
前記選択部は、前記複数の層のうち、所定の数以上のフィルタを有する層を前記一の層として選択する、
付記２に記載の情報処理装置。

【0070】

（付記４）
前記生成部は、前記一の層における前記統合フィルタの生成に応答して、前記一の層と異なる他の層において前記統合フィルタを生成する、
付記２に記載の情報処理装置。

【0071】

（付記５）
前記他の層は、前記一の層の次の層である、
付記４に記載の情報処理装置。

【0072】

（付記６）
前記フィルタは、複数の重み付け係数を有し、
前記フィルタのパラメータは、前記複数の重み付け係数に基づいて算出される、
付記１に記載の情報処理装置。

【0073】

（付記７）
前記選択部は、前記フィルタの前記複数の重み付け係数の合計に基づいて前記第１のフィルタを選択し、
前記選択部は、前記第１のフィルタの前記複数の重み付け係数に基づいて前記第２のフィルタを選択する、
付記６に記載の情報処理装置。

【0074】

（付記８）
前記統合フィルタの前記複数の重み付け係数は、前記第１のフィルタの前記複数の重み付け係数および前記第２のフィルタの前記複数の重み付け係数に基づいて算出される、
付記６に記載の情報処理装置。

【0075】

（付記９）
学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップと、
を備える情報処理方法。

【0076】

（付記１０）
コンピュータに、
学習データの複数の要素の各々に重み付けをする複数のフィルタの各々のパラメータに基づいて、前記複数のフィルタのうち互いに類似する第１のフィルタおよび第２のフィルタを選択するステップと、
前記第１のフィルタおよび前記第２のフィルタを統合した統合フィルタを生成するステップと、
を実行させるためのプログラム。

【符号の説明】

【0077】

１、５ 情報処理装置
２ 利用装置
３ ネットワーク
１１、１２ 畳み込み層
４１、９１ 入力層
４２、９２ 中間層
４３、９３ 出力層
５１ 学習モデル部
５２ 選択部
５３ 生成部
９６ シナプス
１０１、２０１ ＣＰＵ
１０２、２０２ ＲＡＭ
１０３、２０３ ＲＯＭ
１０４、２０４ 記憶装置
１０５、２０５ 通信Ｉ／Ｆ
１０６、２０６ 入出力装置
１０７、２０７ 表示装置
９５１、９５２、９５３ ニューロン
ｃｈ１、ｃｈ２、ｃｈ３、ｃｈ４ チャンネル
Ｆ１１、Ｆ１２、Ｆ２１、Ｆ２２、Ｆ３１、Ｆ３２ フィルタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】