(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-10-16
(45)【発行日】2023-10-24
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
G06N 3/08 20230101AFI20231017BHJP
G06N 3/045 20230101ALI20231017BHJP
【ＦＩ】
G06N3/08
G06N3/045
【請求項の数】
10
(21)【出願番号】P 2022523668
(86)(22)【出願日】2019-11-19
(65)【公表番号】
(43)【公表日】2022-12-28
(86)【国際出願番号】 JP2019045281
(87)【国際公開番号】W WO2021100121
(87)【国際公開日】2021-05-27
【審査請求日】2022-04-21
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103894
【弁理士】
【氏名又は名称】家入 健
(72)【発明者】
【氏名】ソンバトシリ サリター
【審査官】佐藤 実
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００４６８９８（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０８
Ｇ０６Ｎ ３／０４
(57)【特許請求の範囲】
【請求項1】
訓練データを用いてＡＮＮ（人工ニューラルネットワーク）モデルを訓練するためのＡＮＮモデル訓練器手段と、前記ＡＮＮモデル訓練器手段によって抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算するための情報行列計算手段と、
前記訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、ポリシーモデルを訓練するためのポリシーモデル訓練器手段と、を備える、情報処理装置。
【請求項2】
入力ＡＮＮモデルから、インクリメンタル訓練段階のための訓練及び妥当性検証の入力と出力のペアからなる新たな訓練データを用いてインクリメンタルにＡＮＮモデルを訓練するためのインクリメンタルＡＮＮモデル訓練器手段と、前記訓練情報を用いて前記新たな訓練データ内の各サンプルの前記情報行列を計算するための前記情報行列計算手段と、
前記新たな訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、入力ポリシーモデルからインクリメンタルに前記ポリシーモデルを訓練するためのインクリメンタルポリシーモデル訓練器手段と、を更に備える、請求項１に記載の情報処理装置。
【請求項3】
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する共同微調整器手段を更に備える、請求項１又は請求項２に記載の情報処理装置。
【請求項4】
前記ポリシーモデルは教師あり学習による伝統的機械学習モデルに基づいた軽量ポリシーモデルである、請求項１～３のいずれか一項に記載の情報処理装置。
【請求項5】
訓練データを用いてＡＮＮ（人工ニューラルネットワーク）モデルを訓練し、前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算し、
前記訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、ポリシーモデルを訓練する、情報処理方法。
【請求項6】
インクリメンタル訓練段階の訓練及び妥当性検証のための入力と出力のペアからなる新たな訓練データを用いて、入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練し、前記訓練情報を用いて前記新たな訓練データの各サンプルの情報行列を計算し、
前記新たな訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する
請求項５に記載の情報処理方法。
【請求項7】
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する、請求項５又は６に記載の情報処理方法。
【請求項8】
前記ポリシーモデルは、教師あり学習による伝統的な機械学習モデルに基づいた軽量ポリシーモデルである、請求項５～７のいずれか一項に記載の情報処理方法。
【請求項9】
訓練データを用いてＡＮＮ（人工ニューラルネットワーク）モデルを訓練する処理と、前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算する処理と、
前記訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、ポリシーモデルを訓練する処理と、
を、コンピュータに実行させるプログラム。
【請求項10】
インクリメンタル訓練段階の訓練及び妥当性検証のための入力と出力のペアからなる新たな訓練データを用いて、入力ＡＮＮモデルからインクリメンタルにＡＮＮモデルを訓練する処理と、前記訓練データを用いて前記新たな訓練データの各サンプルの前記情報行列を計算する処理と、
前記新たな訓練データ及び前記情報行列を用いて、閾値と前記情報行列との比較により決定できるポリシーベクトルを教師データとして、入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する処理と、をコンピュータに実行させる、請求項９に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置，情報処理方法，プログラムに関し、特に、人工ニューラルネットワーク（ＮＮ）推論を増速（accelerating）し、特に、ポリシーモデル及びＡＮＮモデルを構築可能な情報処理装置，情報処理方法及びプログラムに関する。
【背景技術】
【0002】
＜第１部 ＤＬ及びＮＮは大量の計算の原因となる＞
近年、ディープラーニング（ＤＬ）が、コンピュータビジョン、自然言語処理、信号処理などのアプリケーションの様々な分野のタスクに研究及び応用されている。タスクは、例えば、分類（画像分類，正常／異常（abnormal）分類など）、認識（発話認識など）、検出（オブジェクト検出、変則（anomaly）検出など）、回帰（価格予測など）及び生成（音声／テキスト／画像生成など）を含むことができる。タスクの問題は以下の通り、公式化される。
入力ＸはＮ個のインスタンスの集合である。
インスタンスｘｔ∈Ｘは、インスタンスｔのＤｘ次元入力（ｘｔ∈ＲＤｘ））であり，
この場合、ｔ＝｛１，２，３，…，Ｎ｝
出力ＹはＮ個のインスタンスの出力ベクトルの集合であり、
出力ｙｔ∈ＹはインスタンスｔのＤｙ次元出力である。
目的はｆ：Ｘ→Ｙを見つけること、すなわち、ＸをＹにマッピングする関数ｆを見つけることにあることである。
近年、ディープラーニング（ＤＬ）が、コンピュータビジョン、自然言語処理、信号処理などのアプリケーションの様々な分野のタスクに研究及び応用されている。タスクは、例えば、分類（画像分類，正常／異常（abnormal）分類など）、認識（発話認識など）、検出（オブジェクト検出、変則（anomaly）検出など）、回帰（価格予測など）及び生成（音声／テキスト／画像生成など）を含むことができる。タスクの問題は以下の通り、公式化される。
入力ＸはＮ個のインスタンスの集合である。
インスタンスｘｔ∈Ｘは、インスタンスｔのＤｘ次元入力（ｘｔ∈ＲＤｘ））であり，
この場合、ｔ＝｛１，２，３，…，Ｎ｝
出力ＹはＮ個のインスタンスの出力ベクトルの集合であり、
出力ｙｔ∈ＹはインスタンスｔのＤｙ次元出力である。
目的はｆ：Ｘ→Ｙを見つけること、すなわち、ＸをＹにマッピングする関数ｆを見つけることにあることである。
【0003】
ここで、ｙｔはタスクに依存する任意の形態であり得る。例えば、ｙｔは、画像分類用の画像、音声認識用の文内のオブジェクトのクラスであってもよいし、画像ベースのオブジェクト検出用の画像内のオブジェクトのクラス及びバウンディングボックスであってもよい。ディープラーニングにおいて、関数ｆは、多層パーセプトロン（ＭＬＰ），畳み込みニューラルネットワーク（ＣＮＮ），リカレントニューラルネットワーク（ＲＮＮ）などを含む人工ニューラルネットワーク（ＡＮＮ）を用いて表現される。これらのモデルはいくつかの種類の層からなり、例えば、完全接続層、畳み込み層、リカレント層、サブサンプリング層（プーリング層）、正規化層，及び非線形関数層である。一般に、層は特に、完全接続層、畳み込み層及びリカレント層，積和演算（ＭＡＣ；multiply-accumulate）動作を実行するための重み又はカーネルとも呼ばれる訓練可能なＡＮＮパラメータを含むことができる。
【0004】
ＡＮＮの処理は、訓練段階と推論段階という２つの段階に分かれる。訓練段階では、訓練データは、集合｛（ｘｔ，ｙｔ）｜ｘｔ∈Ｘ，ｙｔ∈Ｙ｝で定義され、ＡＮＮパラメータを調整（訓練）するために使用される。訓練データは、画像と画像のラベルなど入力データとそのラベルである。推論段階では、新たなデータ｛ｘ’ｔ｜ｘ’ｔ∈Ｘ’｝の集合が与えられると、ＡＮＮ推論処理が実行され、ＡＮＮ推論結果として出力｛ｙ’ｔ｝を予測する。新たなデータの集合は、単一の新たなデータ又は複数の新たなデータを含むことができる。
【0005】
図９及び図１０はＡＮＮ及びその訓練可能なパラメータθの２つの例を示す。図９はＭＬＰの例を示す。要素２０１はＭＬＰのアーキテクチャを示す。記号は以下の通りに定義される。
ｘｔは入力を示す。
ＬｉはこのＭＬＰの層を示し、Ｎは層の数であり、
θは訓練可能なパラメータを示し、要素２０２として定義される。
θＬｉはＬｉの訓練可能なパラメータを示し、要素２０３に定義される。
θＷＬｉは、Ｌｉの訓練可能な重みパラメータ行列を示し、要素２０４に定義される。
θｂＬｉはＬｉの訓練可能なバイアスパラメータベクトルを示し、要素２０５に定義される。
θＷＬｉ（ｊ，ｋ）はθＷＬｉの位置（ｊ，ｋ）内のＬｉの重み値を示す。
ここで、
及び
ｈＬｉはＬｉ内のニューロンの数であり、ｈＬ０は入力ベクトルｘｔ内の要素の数である。
θｂＬｉ（ｋ）は、θｂＬｉのｋ番目の位置におけるＬｉのバイアス値を示す（図９では簡略化のため省略される）。
ｘｔは入力を示す。
ＬｉはこのＭＬＰの層を示し、Ｎは層の数であり、
θＬｉはＬｉの訓練可能なパラメータを示し、要素２０３に定義される。
θＷＬｉは、Ｌｉの訓練可能な重みパラメータ行列を示し、要素２０４に定義される。
θｂＬｉはＬｉの訓練可能なバイアスパラメータベクトルを示し、要素２０５に定義される。
θＷＬｉ（ｊ，ｋ）はθＷＬｉの位置（ｊ，ｋ）内のＬｉの重み値を示す。
ここで、
θｂＬｉ（ｋ）は、θｂＬｉのｋ番目の位置におけるＬｉのバイアス値を示す（図９では簡略化のため省略される）。
【0006】
図１０はＣＮＮの例を示す。要素３０１はＣＮＮのアーキテクチャを示す。記号は以下のように定義される。
ｘｔは入力を示す。
ＬｉはこのＭＬＰの層を示し、Ｎは層の数であり、
θは訓練可能なパラメータを示し、要素２０２と同じように定義される。；
θＬｉは、Ｌｉの訓練可能なパラメータを示し、要素２０３と同じように定義される。
θＷＬｉはＬｉの多次元訓練可能な重みパラメータテンソルを示し、要素３０２で定義される。
θｂＬｉはＬｉの訓練可能なバイアスパラメータベクトルを示し、要素３０３で定義される。
θＷＬｉ（ｊ，ｋ，ｌ，ｍ）はθＷＬｉの位置（ｊ，ｋ，ｌ，ｍ）におけるＬｉの重み値である。
ここで、
ｃｉはＬｉのチャネルの数であり、ｋｈｉ，ｋｖｉはＬｉのカーネルのサイズである。
θｂＬｉ（ｊ）はθｂＬｉのｊ番目の位置におけるＬｉのバイアス値を示す（図１０では簡略化のため省略される）。
ｘｔは入力を示す。
ＬｉはこのＭＬＰの層を示し、Ｎは層の数であり、
θＬｉは、Ｌｉの訓練可能なパラメータを示し、要素２０３と同じように定義される。
θＷＬｉはＬｉの多次元訓練可能な重みパラメータテンソルを示し、要素３０２で定義される。
θｂＬｉはＬｉの訓練可能なバイアスパラメータベクトルを示し、要素３０３で定義される。
θＷＬｉ（ｊ，ｋ，ｌ，ｍ）はθＷＬｉの位置（ｊ，ｋ，ｌ，ｍ）におけるＬｉの重み値である。
ここで、
ｃｉはＬｉのチャネルの数であり、ｋｈｉ，ｋｖｉはＬｉのカーネルのサイズである。
θｂＬｉ（ｊ）はθｂＬｉのｊ番目の位置におけるＬｉのバイアス値を示す（図１０では簡略化のため省略される）。
【0007】
＜第２部 入力に応じた計算の削減＞
最近の最先端ディープラーニングモデルは、多量のパラメータ及び計算を伴う巨大なＡＮＮモデルにより、複雑な入力の予測のための優れた特徴を抽出するため、目覚ましい分類又は検出精度を実現する。しかしながら、全ての入力が複雑とは限らないので、かかる多量のパラメータや計算は必要とされない。一部の計算を省略することができる。この可能性について、以下の非特許文献に示されている。
最近の最先端ディープラーニングモデルは、多量のパラメータ及び計算を伴う巨大なＡＮＮモデルにより、複雑な入力の予測のための優れた特徴を抽出するため、目覚ましい分類又は検出精度を実現する。しかしながら、全ての入力が複雑とは限らないので、かかる多量のパラメータや計算は必要とされない。一部の計算を省略することができる。この可能性について、以下の非特許文献に示されている。
【0008】
非特許文献１及び非特許文献２はＮＮを増速するための適応的計算時間法を開示している。非特許文献１に記載の方法は、層ごとに停止スコアを計算することでＲＮＮの推論処理を停止する。非特許文献２に記載の方法は、層ごと、及び層の入力画素ごとに停止スコアを計算することでＣＮＮの推論処理を停止する。いずれの文献も停止スコアは、別個の行列乗算又は畳み込み層によりＮＮ自体内で計算される。ＮＮ及び停止スコア関数を同時に訓練することが簡単ではあるが、２つの問題がある。第１に、停止スコア関数自体はまた行列乗算又は畳み込みのような計算量の多い計算である。第２に、停止スコア関数は最初の層から後続の層に累計されるので、停止スコアが初期の層で停止閾値に達した場合には深い特徴が計算されない場合があり、これにより、精度が低下する場合がある。
【0009】
非特許文献３及び非特許文献４は、各入力データの推論段階中にＲｅｓＮｅｔのどの残差ブロック（residual block）を省略できるか決定するため、ポリシーモデルと呼ばれるネットワークを開示する。
【0010】
非特許文献３は、各ＲｅｓＮｅｔの残差ブロックを層ごとに計算又は省略するポリシーを決定するゲーティングネットワークを紹介する。訓練段階では、ゲーティングネットワークは、推論段階の計算を最少にするため、教師あり学習（分類／検出タスクの真のラベルに対する逆伝搬）と強化学習（一部の残差ブロックの計算をランダムにドロップする）とのハイブリッド方法により訓練される。推論段階では、各層のゲーティングネットワークは層ごとのポリシーを計算し、当該ポリシーにしたがって、各残差ブロックの計算が行われ、又は省略される。
【0011】
非特許文献４はすべてのＲｅｓＮｅｔの残差ブロックの計算又は省略するポリシーを決定するポリシーネットワークを紹介する。訓練段階では、ポリシーネットワークは強化学習により訓練される。推論段階では、ポリシーネットワークは、残差ブロックのポリシーを決定し、その後、推論（ＲｅｓＮｅｔを用いた予測）はポリシーにしたがって、計算される。
【0012】
非特許文献３及び非特許文献４の問題としては、（１）ゲーティングネットワーク及びポリシーネットワークは、畳み込み層、リカレント層、及び完全接続層を含むため、計算量が多い、（２）強化学習は、ゲーティングネットワーク及びポリシーネットワークのサーチスペースが大きいので、精度を維持しつつ計算量を最少化する優れたポリシーをもたらさない。
【0013】
＜第３部 ＦＩＭ＞
フィッシャー情報行列（Fisher information matrix：ＦＩＭ）は、観測可能な確率変数Ｘがモデル内の分布の未知のパラメータθに関して伝える情報量を表す。それは、スコアの分散又は観測された情報の期待値である。非特許文献５は、インクリメンタル学習の破局的忘却（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）を解決するために、ＡＮＮのどの層が各タスクにとって重要であるかを特定するに際し、ＦＩＭを使用する。ＦＩＭは訓練段階中の勾配から取得され得る。しかしながら、勾配は推論段階中に抽出できないので、ＦＩＭの使用は推論の増速（acceleration）に適用されていない。
フィッシャー情報行列（Fisher information matrix：ＦＩＭ）は、観測可能な確率変数Ｘがモデル内の分布の未知のパラメータθに関して伝える情報量を表す。それは、スコアの分散又は観測された情報の期待値である。非特許文献５は、インクリメンタル学習の破局的忘却（ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔｔｉｎｇ）を解決するために、ＡＮＮのどの層が各タスクにとって重要であるかを特定するに際し、ＦＩＭを使用する。ＦＩＭは訓練段階中の勾配から取得され得る。しかしながら、勾配は推論段階中に抽出できないので、ＦＩＭの使用は推論の増速（acceleration）に適用されていない。
【先行技術文献】
【非特許文献】
【0014】
【文献】" Adaptive Computation Time for Recurrent Neural Networks" written by Alex Graves, published in 2016 by arXiv preprint arXiv: 1603.08983
【文献】" Spatially Adaptive Computation Time for Residual Networks" written by Figurnov et al., published in 2017 at CVPR2017
【文献】" SkipNet: Learning Dynamic Routing in Convolutional Networks" written by Wang et al., published in 2018 at ECCV2018
【文献】" BlockDrop: Dynamic Inference Paths in Residual Networks" written by Wu et al., published in 2018 at CVPR2018
【文献】" Overcoming catastrophic forgetting in neural networks" written by Kirkpatrick et al., published in 2016 by arXiv preprint arXiv: 1612.00796
【発明の概要】
【発明が解決しようとする課題】
【0015】
第１の課題は、予測精度をできる限り維持しつつ、入力ごとにＡＮＮモデルの一部の計算を省略するための優れたポリシーを生成するポリシーモデルを発見することが難しいことである。優れたポリシーは、予測は依然として正しいまま、できるだけ多くの計算量を省略することができるポリシーを意味する。
【0016】
第１の課題は、ポリシーモデルを訓練する方法が入力データごとにＡＮＮモデルの計算をランダムに省略するので、発生し得る。ＡＮＮモデルの一部の計算を省略することにより、推論の時間と精度のトレードオフが発生する。すなわち、推論時間が短ければ、精度は低くなる。入力インスタンスごとに計算を省略する特定のポリシーは存在しない。ポリシーモデルのサーチスペースは、非常に巨大であるので、既存の非特許文献３及び非特許文献４のようなＡＮＮモデルの計算をランダムに省略するのは時間がかかり、優れたポリシーモデルが得られない場合がある。
【0017】
第２の課題は、既存の文献の入力インスタンスごとにポリシーを生成する計算は、計算量が多いことである。
【0018】
第２の課題は、既存の文献（非特許文献１，非特許文献２，非特許文献３，非特許文献４）のポリシーモデルはＡＮＮモデルであるので発生し得る。結果として、ポリシーモデルの計算及び推論時間は相当膨大である。
【0019】
本開示は上述の課題の少なくとも１つに鑑みてなされたものであり、本開示の目的は、ポリシーネットワークを訓練する効果的な方法を提供することにある。
【0020】
本開示の他の目的は、ポリシーを生成する伝統的な機械学習モデルを使用することにより、軽量のポリシーモデルを提供することにある。
【課題を解決するための手段】
【0021】
本開示の一態様は、
訓練データを用いてＡＮＮモデル（人工ニューラルネットワーク）を訓練するためのＡＮＮモデル訓練器手段と、
前記ＡＮＮモデル訓練器手段によって抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算するための情報行列計算手段と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練するためのポリシーモデル訓練器手段と、を備える、情報処理装置である。
訓練データを用いてＡＮＮモデル（人工ニューラルネットワーク）を訓練するためのＡＮＮモデル訓練器手段と、
前記ＡＮＮモデル訓練器手段によって抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算するための情報行列計算手段と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練するためのポリシーモデル訓練器手段と、を備える、情報処理装置である。
【0022】
本開示の一態様は、
訓練データを用いてＡＮＮモデルを訓練し、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算し、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する、情報処理方法である。
訓練データを用いてＡＮＮモデルを訓練し、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算し、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する、情報処理方法である。
【0023】
本開示の一態様は、
訓練データを用いてＡＮＮモデルを訓練する処理と、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの前記情報行列を計算する処理と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する処理と、
を、コンピュータに実行させるプログラムを格納する非一時的コンピュータ可読媒体である。
訓練データを用いてＡＮＮモデルを訓練する処理と、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの前記情報行列を計算する処理と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する処理と、
を、コンピュータに実行させるプログラムを格納する非一時的コンピュータ可読媒体である。
【発明の効果】
【0024】
第１の効果はポリシーモデルが、できる限り予測精度を維持しつつ、ＡＮＮモデルの一部の計算を省略する優れたポリシーを生成することを確実にすることである。
この効果の理由はポリシーモデルが、ＡＮＮ訓練情報に基づいて重要なＡＮＮパラメータを考慮することによって構築され、それが、各訓練データの推論処理にとって重要なＡＮＮパラメータを示唆するからである。
第２の効果はポリシーモデルが少ない計算量で新たなデータごとに優れたポリシーを生成することを確実にすることである。この効果の理由はポリシーモデルが伝統的な軽量な機械学習（ｎｏｎ－ＤＬ）モデルを使用することで構築され、それは、ＡＮＮ訓練情報に基づいて適切に訓練される。
この効果の理由はポリシーモデルが、ＡＮＮ訓練情報に基づいて重要なＡＮＮパラメータを考慮することによって構築され、それが、各訓練データの推論処理にとって重要なＡＮＮパラメータを示唆するからである。
第２の効果はポリシーモデルが少ない計算量で新たなデータごとに優れたポリシーを生成することを確実にすることである。この効果の理由はポリシーモデルが伝統的な軽量な機械学習（ｎｏｎ－ＤＬ）モデルを使用することで構築され、それは、ＡＮＮ訓練情報に基づいて適切に訓練される。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
以下に、添付図面を参照して本開示の例示的な実施形態を説明する。
【0027】
＜第１の例示的な実施形態＞
図１を参照して、本開示の第１の例示的な実施形態にかかるモデル訓練システム１００を説明する。モデル訓練システム１００は、ＡＮＮモデル訓練器手段１０１、訓練情報からの情報行列計算手段１０２及びポリシーモデル訓練器手段１０３を含む。モデル訓練器システム１００は、限定されないが、汎用プロセッサシステム又はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ Ｐｒｏｃｅｓｓｏｒ）及びＡＳＩＰ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ Ｐｒｏｃｅｓｓｏｒ）及びＦＰＧＡ（フィールドプログラマブルゲートアレイ)など再構成可能デバイスなどの特定の回路を用いて実装され得る。モデル訓練器システムは、汎用プロセッサ又は特定用途チップなどの情報処理装置内の１つ又は複数の機能モジュールによって実装され得る。
図１を参照して、本開示の第１の例示的な実施形態にかかるモデル訓練システム１００を説明する。モデル訓練システム１００は、ＡＮＮモデル訓練器手段１０１、訓練情報からの情報行列計算手段１０２及びポリシーモデル訓練器手段１０３を含む。モデル訓練器システム１００は、限定されないが、汎用プロセッサシステム又はＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ Ｐｒｏｃｅｓｓｏｒ）及びＡＳＩＰ（Ａｐｐｌｉｃａｔｉｏｎ－Ｓｐｅｃｉｆｉｃ Ｉｎｓｔｒｕｃｔｉｏｎ ｓｅｔ Ｐｒｏｃｅｓｓｏｒ）及びＦＰＧＡ（フィールドプログラマブルゲートアレイ)など再構成可能デバイスなどの特定の回路を用いて実装され得る。モデル訓練器システムは、汎用プロセッサ又は特定用途チップなどの情報処理装置内の１つ又は複数の機能モジュールによって実装され得る。
【0028】
モデル訓練システム１００は訓練データ１０を受信する。訓練データ１０は、訓練段階での訓練及び妥当性検証（validation）のためのタスクの入力及びラベルと呼ばれる期待される出力の一対のセット（｛（ｘｔ，ｙｔ）｜ｘｔ∈Ｘ，ｙｔ∈Ｙ｝）で定義される。このセットは、タスクの入力及び出力からなる１つ又は複数のペアを含みうる。モデル訓練システム１００はＡＮＮモデル１２及びポリシーモデル１３を出力する。ポリシーモデルは入力ごとのポリシーを生成する。ＡＮＮモデル１２は、ポリシーに応じて演算を計算又は省略することによって推論段階でタスクの出力（ｙｔ）を予測する。ポリシーモデルは、ＡＮＮ推論中に関わっている又は省略される、重み又はカーネルと呼ばれるＡＮＮパラメータを決定するために使用される。ＡＮＮモデルは、ラベル付け，分類，回帰，検出等のようなタスクの出力を生成する／予測するために使用される。ＡＮＮ推論の計算は、ポリシーモデルから生成されたポリシーに従う。ポリシーは層ごとに各ＲｅｓＮｅｔの残差ブロックを計算又は省略するために使用される。本発明は、ポリシーネットワークを訓練するためのＡＮＮ訓練からの情報を活用し、それによって、ポリシーネットワークを訓練し、各入力データに応じた一部の推論計算を省略する優れた入力毎のポリシーを短時間で生成する。したがって、本実施の形態に係るポリシーモデルは、できる限り予測精度を維持しつつ、入力毎にＡＮＮモデルの一部の計算を省略するための優れたポリシーを生成することができる。
【0029】
モデル訓練システム１００は与えられたタスクに対してＡＮＮモデル１２及びポリシーモデル１３を訓練することができる。モデル訓練システム１００は、ＡＮＮ訓練段階において情報を収集し（以下、訓練情報と称される）、（数式２を用いて後述する）訓練情報から各ＡＮＮパラメータの重要度を抽出し、ＡＮＮパラメータの重要度を使用し（情報行列とも称され得る）、ポリシーモデルを訓練する。「訓練情報」はＡＮＮ訓練中に生成される任意の値又は情報であり、例えば、パラメータ、勾配，移動平均などである。その結果、ポリシーモデル訓練は、軽量の伝統的な機械学習ポリシーモデルは優れた入力毎のポリシーを効果的に生成するために訓練することができるので、短時間しかかからず、容易になる。これにより、当該ポリシーを用いたＡＮＮ推論はＡＮＮモデルにおける一部の計算をスキップすることができ、ＡＮＮ推論システムは、予測精度を維持し、ポリシーを計算するための小さなオーバーヘッドを抑制しつつ、計算時間を縮減することができる。
【0030】
上述の手段は、概ね以下のように動作する。
ＡＮＮモデル訓練器手段１０１は訓練データ１０を用いて勾配ベースの訓練アルゴリズムによりＡＮＮモデル１２を訓練する。ＡＮＮ訓練後、訓練情報はＡＮＮモデル訓練器手段１０１から導出される。訓練情報は、各ＡＮＮパラメータの重要度を示し、上記に定義した訓練データとは異なる。情報行列計算手段１０２は訓練情報を用いて情報行列を計算することができる。情報行列は、訓練データにおける各ｘｔを処理する推論におけるＡＮＮパラメータの重要度を意味する。ポリシーモデル訓練器手段１０３はポリシーモデル１３を訓練する。ポリシーモデル１３は、サポートベクトルマシーン（Support Vector Machine：ＳＶＭ），近傍法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ），ランダムフォレストなど伝統的な機械学習方法のうちの１つから選択されたモデルである。ポリシーモデル訓練器手段１０３は、重要なＡＮＮパラメータを示すベクトル又は行列を生成し、それは、各入力の推論処理のためのＡＮＮ－推論ポリシーとも呼ばれ得る。ＡＮＮ推論ポリシーはＡＮＮ推論段階において計算する又は計算を省略するパラメータを示す。ポリシーモデル訓練は、訓練データのｘｔを入力として、ポリシーモデルの期待される出力を示すラベルとして情報行列を使用する。
ＡＮＮモデル訓練器手段１０１は訓練データ１０を用いて勾配ベースの訓練アルゴリズムによりＡＮＮモデル１２を訓練する。ＡＮＮ訓練後、訓練情報はＡＮＮモデル訓練器手段１０１から導出される。訓練情報は、各ＡＮＮパラメータの重要度を示し、上記に定義した訓練データとは異なる。情報行列計算手段１０２は訓練情報を用いて情報行列を計算することができる。情報行列は、訓練データにおける各ｘｔを処理する推論におけるＡＮＮパラメータの重要度を意味する。ポリシーモデル訓練器手段１０３はポリシーモデル１３を訓練する。ポリシーモデル１３は、サポートベクトルマシーン（Support Vector Machine：ＳＶＭ），近傍法（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒｓ），ランダムフォレストなど伝統的な機械学習方法のうちの１つから選択されたモデルである。ポリシーモデル訓練器手段１０３は、重要なＡＮＮパラメータを示すベクトル又は行列を生成し、それは、各入力の推論処理のためのＡＮＮ－推論ポリシーとも呼ばれ得る。ＡＮＮ推論ポリシーはＡＮＮ推論段階において計算する又は計算を省略するパラメータを示す。ポリシーモデル訓練は、訓練データのｘｔを入力として、ポリシーモデルの期待される出力を示すラベルとして情報行列を使用する。
【0031】
＜動作の説明＞
次に、図２のフローチャートを参照して、本例示の実施形態の一般的な動作を説明する。
まず、モデル訓練手段１０１は勾配ベースのＡＮＮ訓練アルゴリズム、具体的には、勾配降下法（例えば、確率的勾配降下法（ＳＧＤ），モーメンタムによるＳＧＤ、Ｎｅｓｔｅｒｏｖ勾配降下法、ＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ及びＡｄａｍ勾配降下法など）により、訓練データを用いてＡＮＮモデルを訓練する（図２のステップＡ１）。ＡＮＮ訓練が終わった後、訓練情報、具体的には、各サンプルの勾配を取得する。ｚｔを訓練データの各サンプルとする。ｚｔ＝（ｘｔ，ｙｔ），及びｌ（ｚｔ，θ）は、ＡＮＮモデルのパラメータが値θをとる場合におけるサンプルｚｔのＡＮＮモデルの損失とする。ＡＮＮモデルの損失は、限定されないが、対数尤度関数、平均二乗誤差などとして定義され得る。サンプルｚｔの勾配は、ｇ（ｚｔ，θ）により表され、訓練されたＡＮＮモデルを用いた重みの更新なしに、ＡＮＮ訓練中に計算される各ｚｔの勾配、又は順方向及び逆方向伝搬により計算される各ｚｔの勾配から収集され得る。勾配は損失の一次導関数であり、以下の等式を用いて計算される。
（数式１）
訓練情報は情報行列計算手段１０２に送信される。ＡＮＮモデル訓練器手段１０１は訓練されたＡＮＮモデルをモデル訓練システム１００の出力として付与する。
次に、図２のフローチャートを参照して、本例示の実施形態の一般的な動作を説明する。
まず、モデル訓練手段１０１は勾配ベースのＡＮＮ訓練アルゴリズム、具体的には、勾配降下法（例えば、確率的勾配降下法（ＳＧＤ），モーメンタムによるＳＧＤ、Ｎｅｓｔｅｒｏｖ勾配降下法、ＡｄａＧｒａｄ、ＲＭＳＰｒｏｐ及びＡｄａｍ勾配降下法など）により、訓練データを用いてＡＮＮモデルを訓練する（図２のステップＡ１）。ＡＮＮ訓練が終わった後、訓練情報、具体的には、各サンプルの勾配を取得する。ｚｔを訓練データの各サンプルとする。ｚｔ＝（ｘｔ，ｙｔ），及びｌ（ｚｔ，θ）は、ＡＮＮモデルのパラメータが値θをとる場合におけるサンプルｚｔのＡＮＮモデルの損失とする。ＡＮＮモデルの損失は、限定されないが、対数尤度関数、平均二乗誤差などとして定義され得る。サンプルｚｔの勾配は、ｇ（ｚｔ，θ）により表され、訓練されたＡＮＮモデルを用いた重みの更新なしに、ＡＮＮ訓練中に計算される各ｚｔの勾配、又は順方向及び逆方向伝搬により計算される各ｚｔの勾配から収集され得る。勾配は損失の一次導関数であり、以下の等式を用いて計算される。
（数式１）
訓練情報は情報行列計算手段１０２に送信される。ＡＮＮモデル訓練器手段１０１は訓練されたＡＮＮモデルをモデル訓練システム１００の出力として付与する。
【0032】
その後、情報行列計算手段１０２は、ＡＮＮモデル訓練器手段１０１から受信した訓練情報から情報行列を計算する（図２のステップＡ２）。情報行列，具体的には、フィッシャー（Ｆｉｓｈｅｒ）情報行列（ＦＩＭ）は、各サンプルｚｔの各ＡＮＮパラメータに関する情報の量を表す。情報行列は各パラメータの重要度を示唆する。ＡＮＮモデルのパラメータが値θをとる場合におけるサンプルｚｔのフィッシャー情報行列Ｉ（ｚ
ｔ
，θ）は、以下の等式により計算される。
（数式２）
（数式２）
【0033】
Ｉ（ｚｔ，θ）は重要なＡＮＮパラメータを決定するのに使用される。ＡＮＮパラメータは、Ｉ（ｚｔ，θ）におけるその対応する値が大きい場合、ｘｔの推論処理に一層重要となり、その値が小さい場合は、それほど重要ではない。図３はポリシーモデル訓練器手段１０３に送信される情報行列の例を示す。情報行列は訓練データのすべてのｚｔに対するＦＩＭ値を含む。
【0034】
次に、ポリシーモデル訓練器手段１０３は伝統的な軽量な機械学習（非ＤＬ）に基づくポリシーモデルを訓練し（図２のステップＡ３）、その結果、ポリシーモデルはＡＮＮモデルの一部の推論計算を省略するための重要なＡＮＮパラメータを示すポリシーを生成することができる。軽量な機械学習は、ＳＶＭモデル，近傍法モデル，ランダムフォレストモデルなどを含むが、これらに限定されない。ポリシーモデル訓練器手段１０３は、ポリシーモデルの入力として、訓練データのｘｔ又はｘｔの特徴量を、ラベルと呼ばれるポリシーモデルの期待される出力として、ポリシーベクトルＭｔを用いて、教師あり学習方法によりポリシーモデルを訓練する。ここで、ｘｔの特徴量は、ｓｔにより表され、ｘｔの特徴抽出関数の出力を意味し、以下のように記述することができる。
ここで、
は特徴抽出関数である。特徴抽出関数は、限定されないが、主成分分析（ＰＣＡ），ＨＯＧ（ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ），又はＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）であり得る。Ｍｔにおける各要素は、各ＡＮＮパラメータが重要か否かを示す２進値｛０，１｝であり、ｚｔの推論処理（例えば、０は重要ではなく、１は重要である、又はその逆）で関与されるはずである。ポリシーベクトルＭｔは、限定されないが、閾値を有する情報行列から決定される。ＦＩＭ内の要素は閾値より大きい場合、同じＡＮＮパラメータに対応するＭｔ内の要素は１であり、そうでなければ、Ｍｔ内の要素は０である。ポリシーモデル訓練器手段１０３は訓練されたポリシーモデル１３を、モデル訓練システム１００の出力として付与する。
【0035】
なお、ステップＡ１内のＡＮＮ訓練アルゴリズムは、別の勾配ベースの訓練アルゴリズム、例えば、共役勾配訓練アルゴリズム、又はニュートン法又は準ニュートン法などの他の非勾配訓練アルゴリズムであってもよい。非勾配訓練アルゴリズムの場合には、勾配は順方向及び逆方向の伝搬により抽出され得る。
【0036】
なお、ステップＡ１から得られた訓練情報は、例えば、損失、中間値などＡＮＮ訓練段階中の他の情報であってもよく、又はそれを含む。
【0037】
なお、ステップＡ２から得られた情報行列は、他の行列、例えば、ヘシアン行列、ヤコビアン行列などであってもよい。なお、ステップＡ３のポリシーモデルはまた、ＡＮＮの一種であってもよい。ステップＡ３のＭｔの２進値は、｛－１，１｝などの他の値であってもよい。ステップＡ３の２進値の決定は、閾値以外であってもよい。例えば、上位ｋ個のＦＩＭ値に対応するＭｔ内の要素を１として決定し、他の要素は０とする。なお、ステップＡ３においてポリシーモデルを訓練する際に、Ｍｔは情報行列そのものであってもよいし、値のスケーリング、正規化など、変換後の形式であってもよい。値ｋは各サンプルｘｔに対して変化することができるので、残りの計算数は最少となり、予測は依然として正しい。ポリシーベクトルＭｔはこれらの情報行列のうち２つ以上の組み合わせから決定され得る。例えば、ＦＩＭ及びヤコビアン行列の組み合わせを使用して、ポリシーベクトルＭｔを決定する。
【0038】
ステップＡ３では、Ｍｔ内の要素はＡＮＮパラメータグループのポリシー、例えば、同じチャネル，層、又は複数の層（例えば、ＲｅｓＮｅｔのブロック）内のＡＮＮパラメータのグループのポリシーを表すことができる。この場合、フィッシャー情報値は、限定されないが、同じグループ内のパラメータの各フィッシャー情報値の平均値、最大値、又は合計値であってもよい。例えば、ＡＮＮが４つの層（［Ｌ１，Ｌ２，Ｌ３，Ｌ４］）を含むと仮定すると、ポリシーＭｔ＝［０，１，１，１］及びＭｔの各要素は層のすべてパラメータ用である。
【0039】
推論段階は、２つのステップ、すなわち、ポリシー抽出とＡＮＮ推論処理を含む。推論データｘｔ’が与えられる。ポリシー抽出ステップでは、ポリシーモデルは入力としてｘｔ’を取得し、ポリシーベクトルＭｔ’を生成し、各要素は層内の各ＡＮＮパラメータ用のポリシーである。例えば、ＡＮＮが４つの層（［Ｌ１，Ｌ２，Ｌ３，Ｌ４］）を含むと仮定すると、ポリシーモデルは推論データｘｔ’に対してポリシーＭ’ｔ＝［０，１，１，１］を生成する。ＡＮＮ推論処理では、ポリシーが１である層の計算が行われ、ポリシーが０である層の計算はスキップされる。本実施例では、ＡＮＮモデルの推論処理は、層Ｌ２，Ｌ３，Ｌ４のみを計算し、Ｌ１の計算はスキップする。
【0040】
＜効果の説明＞
次に、例示的な実施形態の効果を説明する。
本例示的な実施形態は、モデル訓練システム１００が訓練段階からの情報を用いてポリシーモデルを訓練するように構成され、それは重要なＡＮＮパラメータを示唆し得る。したがって、できる限り予測精度を維持しつつ、ＡＮＮモデルの一部の計算を省略するための優れたポリシーを生成することが可能となる。
次に、例示的な実施形態の効果を説明する。
本例示的な実施形態は、モデル訓練システム１００が訓練段階からの情報を用いてポリシーモデルを訓練するように構成され、それは重要なＡＮＮパラメータを示唆し得る。したがって、できる限り予測精度を維持しつつ、ＡＮＮモデルの一部の計算を省略するための優れたポリシーを生成することが可能となる。
【0041】
加えて、例示的な実施形態はポリシーモデルが軽量の伝統的な機械学習モデルから構築されるように構成されるので、ポリシーを計算するオーバーヘッドを縮減することができる。
【0042】
＜第２の例示的な実施形態：インクリメンタル学習＞
＜構成の説明＞
次に、添付図面を参照して本開示の第２の例示的な実施形態を説明する。
＜構成の説明＞
次に、添付図面を参照して本開示の第２の例示的な実施形態を説明する。
【0043】
図４を参照すると、本開示の第２の例示的な実施形態に係るインクリメンタルモデル訓練システム２００は、インクリメンタルＡＮＮモデル訓練器手段２０１，情報行列計算手段２０２及びインクリメンタルポリシーモデル訓練器手段２０３を含む。
【0044】
インクリメンタルモデル訓練システム２００は、新たな訓練データ２１，ＡＮＮモデル１２及びポリシーモデル１３を受信する。新たな訓練データは、訓練するためのタスク及び第１の実施形態の訓練データに加えてインクリメンタル訓練段階の訓練及び妥当性検証の、入力及びラベルとも呼ばれる期待される出力のペアからなるセットである。セットは、タスクの入力及び出力からなる１つ又は複数のペアを含みうる。ＡＮＮモデル２２及びポリシーモデル２３はそれぞれ、第１の実施形態から訓練されたＡＮＮモデル及びポリシーモデルである。
【0045】
インクリメンタルモデル訓練システム２００は新たなＡＮＮモデル２４及び新たなポリシーモデル２５を出力する。新たなＡＮＮモデル２４及び新たなポリシーモデル２５は新たな訓練データ２１を用いてＡＮＮモデル２２及びポリシーモデル２３からインクリメンタルに訓練されたモデルである。
【0046】
インクリメンタルモデル訓練システム２００は、新たな訓練データにより、インクリメンタルにＡＮＮモデル及び／又はポリシーモデルを微調整することが可能であるので、モデルは他の新たなデータに適応することができ、新たな訓練データが新たなカテゴリー（例えば、分類問題における新たな分類のデータなど）を含む場合、モデルは新たなカテゴリーも学習することができる。
【0047】
上述の手段は概ね以下のように動作する。
インクリメンタルＡＮＮモデル訓練器手段２０１は、新たな訓練データ２１により、入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練する。
情報行列計算手段２０２は図１の情報行列計算手段１０２と同じように動作する。
インクリメンタルポリシーモデル訓練器手段２０３は、新たな訓練データ２１により、入力ポリシーモデルからポリシーモデルをインクリメンタルに訓練する。
インクリメンタルＡＮＮモデル訓練器手段２０１は、新たな訓練データ２１により、入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練する。
情報行列計算手段２０２は図１の情報行列計算手段１０２と同じように動作する。
インクリメンタルポリシーモデル訓練器手段２０３は、新たな訓練データ２１により、入力ポリシーモデルからポリシーモデルをインクリメンタルに訓練する。
【0048】
＜動作の説明＞
次に、図５のフローチャートを参照して、本例示的実施形態の一般的な動作を説明する。
まず、インクリメンタルＡＮＮモデル訓練器手段２０１は新たな訓練データを用いて入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練する（ステップＢ１）。インクリメンタルＡＮＮモデル訓練器手段２０１は、インクリメンタル学習方法又は図１の情報行列計算手段１０１と同じ方法でＡＮＮモデルを訓練する。インクリメンタルＡＮＮモデル訓練器手段２０１は、新たなＡＮＮモデル２４を、インクリメンタルモデル訓練システム２００の出力として付与する。
次に、図５のフローチャートを参照して、本例示的実施形態の一般的な動作を説明する。
まず、インクリメンタルＡＮＮモデル訓練器手段２０１は新たな訓練データを用いて入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練する（ステップＢ１）。インクリメンタルＡＮＮモデル訓練器手段２０１は、インクリメンタル学習方法又は図１の情報行列計算手段１０１と同じ方法でＡＮＮモデルを訓練する。インクリメンタルＡＮＮモデル訓練器手段２０１は、新たなＡＮＮモデル２４を、インクリメンタルモデル訓練システム２００の出力として付与する。
【0049】
その後、ステップＢ２では、情報行列計算手段２０２は新たな訓練データ２１に対して、図１の情報行列計算手段１０２と同様に動作する。
【0050】
最後に、ステップＢ３では、インクリメンタルポリシーモデル訓練器手段２０３は、新たな訓練データ２１を用いて、入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する。インクリメンタルポリシーモデル訓練器手段２０３はインクリメンタル学習方法により、又は図１のポリシーモデル訓練器手段１０３と同様に、ポリシーモデルを訓練する。インクリメンタルポリシーモデル訓練器手段２０３は新たなポリシーモデル２５をインクリメンタルモデル訓練システム２００の出力として付与する。
【0051】
なお、第１の実施形態の訓練データは、第２の実施形態におけるインクリメンタルにも使用することができる。新たな訓練データにおいて新たなカテゴリーがない場合には、ステップＢ１をスキップすることができる。
【0052】
＜効果の説明＞
次に、本例示的な実施形態の効果を説明する。
本例示的な実施形態はシステム２００がインクリメンタルもＡＮＮモデル及びポリシーモデルを微調整できるように構成されるので、新たなデータ及び新たなラベルを取り扱うことが可能になる。
次に、本例示的な実施形態の効果を説明する。
本例示的な実施形態はシステム２００がインクリメンタルもＡＮＮモデル及びポリシーモデルを微調整できるように構成されるので、新たなデータ及び新たなラベルを取り扱うことが可能になる。
【0053】
＜第３の例示的な実施形態：微調整＞
＜構成の説明＞
次に、添付図面を参照して、発明の第３の例示的な実施形態を以下に説明する。
＜構成の説明＞
次に、添付図面を参照して、発明の第３の例示的な実施形態を以下に説明する。
【0054】
図６を参照すると、モデル訓練システム３００はＡＮＮモデル訓練器手段３０１、情報行列計算手段３０２及びポリシーモデル訓練器３０３を含む。また、モデル訓練システム３００は、共同微調整器手段３０４を更に含む。共同微調整器手段３０４はＡＮＮモデル及びポリシーモデルを共同で微調整する。共同微調整器手段３０４は微調整されたＡＮＮモデル３２及び微調整されたポリシーモデル３３を出力する。本実施形態によれば、よりアグレッシブなポリシーを実現できるので、より多くの計算を省略することができる。
【0055】
＜動作の説明＞
次に、図７のフローチャートを参照して、本例示的な実施形態の一般的な動作を説明する。ステップＣ４では、共同微調整器手段３０４は、ポリシーモデルから生成されたポリシーに従ってＡＮＮモデル及びポリシーモデル（任意選択）を微調整する。
次に、図７のフローチャートを参照して、本例示的な実施形態の一般的な動作を説明する。ステップＣ４では、共同微調整器手段３０４は、ポリシーモデルから生成されたポリシーに従ってＡＮＮモデル及びポリシーモデル（任意選択）を微調整する。
【0056】
図８は情報処理装置１００，２００，３００の構成例を示すブロック図を示す。図８を参照すると、情報処理装置１００，２００，３００はネットワークインターフェース１２０１，プロセッサ１２０２，及びメモリ１２０３を含む。ネットワークインターフェース１２０１は、ネットワークノード（例えば、ｅＮＢ，ＭＭＥ，ＳＧＷ，Ｐ－ＧＷ）と通信するために使用される。ネットワークインターフェース１２０１は、例えば、ＩＥＥＥ８０２．３シリーズに準拠するネットワークインターフェースカード（ＮＩＣ）を含み得る。
【0057】
プロセッサ１２０２はメモリ１２０３からソフトウェア（コンピュータプログラム）をロードし、ロードされたソフトウェアを実行することで、前述の実施形態におけるシーケンス図及びフローチャートを参照して説明した情報処理装置１００，２００，３００の処理を実行する。プロセッサ１２０２は例えば、マイクロプロセッサ、ＭＰＵ又はＣＰＵであってもよい。プロセッサ１２０２は、複数のプロセッサを含むことができる。情報処理装置１００，２００，３００はまた、ＧＰＵ，ＦＰＧＡ又は他のＡＳＩＣアクセラレータを含むことができる。
【0058】
メモリ１２０３は揮発性メモリ及び不揮発性メモリの組み合わせからなる。メモリ１２０３はプロセッサ１２０２から離れて配置されたストレージを含むことができる。この場合、プロセッサ１２０２はＩ／Ｏインターフェース（図示せず）を経由してメモリ１２０３にアクセスすることができる。
【0059】
図８に示す例では、メモリ１２０３はソフトウェアモジュールを格納するのに使用される。プロセッサ１２０２は、これらのソフトウェアモジュールをメモリ１２０３からロードし、これらのロードされたソフトウェアモジュールを実行し、それによって、前述の実施形態に記載の情報処理装置１００，２００，３００の処理を実行する。
【0060】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-ray（登録商標） Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0061】
例示的な実施形態を参照して本発明を説明してきたが、本発明は上記例示的な実施形態に限定されない。本発明の構成及び詳細は、発明の範囲内において当業者により理解され得る様々な方法で変形することができる。
【0062】
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
（付記１）
訓練データを用いてＡＮＮ（人工ニューラルネットワーク）モデルを訓練するためのＡＮＮモデル訓練器手段と、
前記ＡＮＮモデル訓練器手段によって抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算するための情報行列計算手段と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練するためのポリシーモデル訓練器手段と、を備える、情報処理装置。
（付記２）
前記入力ＡＮＮモデルから新たな訓練データを用いてインクリメンタルにＡＮＮモデルを訓練するためのインクリメンタルＡＮＮモデル訓練器手段と、
前記訓練情報を用いて前記新たな訓練データ内の各サンプルの前記情報行列を計算するための前記情報行列計算手段と、
前記新たな訓練データを用いて前記入力ポリシーモデルからインクリメンタルに前記ポリシーモデルを訓練するためのインクリメンタルポリシーモデル訓練器手段と、を更に備える、付記１に記載の情報処理装置。
（付記３）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する共同微調整器手段を更に備える、付記１又は付記２に記載の情報処理装置。
（付記４）
前記ポリシーモデルは教師あり学習による伝統的機械学習モデルに基づいた軽量ポリシーモデルである、付記１～３のいずれか一項に記載の情報処理装置。
（付記５）
訓練データを用いてＡＮＮモデルを訓練し、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算し、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する、情報処理方法。
（付記６）
新たな訓練データを用いて、前記入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練し、
前記新たな訓練データ及び／又は訓練データの情報行列を計算し、
前記新たな訓練データを用いて、前記入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する
付記５に記載の情報処理方法。
（付記７）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する、付記５又は６に記載の情報処理方法。
（付記８）
前記ポリシーモデルは、教師あり学習による伝統的な機械学習モデルに基づいた軽量ポリシーモデルである、
付記５～７のいずれか一項に記載の情報処理方法。
（付記９）
訓練データを用いてＡＮＮモデルを訓練する処理と、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの前記情報行列を計算する処理と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する処理と、
を、コンピュータに実行させるプログラムを格納する非一時的コンピュータ可読媒体。
（付記１０）
前記プログラムは、
新たな訓練データを用いて前記入力されたＡＮＮモデルからインクリメンタルにＡＮＮモデルを訓練する処理と、
前記新たな訓練データ及び／又は訓練データの前記情報行列を計算する処理と、
前記新たな訓練データを用いて前記入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する処理と、を実行させる、付記９に記載の非一時的コンピュータ可読媒体。
（付記１１）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する処理をコンピュータに更に実行させる、付記９又は付記１０に記載の非一時的コンピュータ可読媒体。
（付記１２）
前記ポリシーモデルは、教師あり学習による伝統的な機械学習モデルに基づいた軽量ポリシーモデルである、付記９～１１のいずれか一項に記載の非一時的コンピュータ可読媒体。
（付記１）
訓練データを用いてＡＮＮ（人工ニューラルネットワーク）モデルを訓練するためのＡＮＮモデル訓練器手段と、
前記ＡＮＮモデル訓練器手段によって抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算するための情報行列計算手段と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練するためのポリシーモデル訓練器手段と、を備える、情報処理装置。
（付記２）
前記入力ＡＮＮモデルから新たな訓練データを用いてインクリメンタルにＡＮＮモデルを訓練するためのインクリメンタルＡＮＮモデル訓練器手段と、
前記訓練情報を用いて前記新たな訓練データ内の各サンプルの前記情報行列を計算するための前記情報行列計算手段と、
前記新たな訓練データを用いて前記入力ポリシーモデルからインクリメンタルに前記ポリシーモデルを訓練するためのインクリメンタルポリシーモデル訓練器手段と、を更に備える、付記１に記載の情報処理装置。
（付記３）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する共同微調整器手段を更に備える、付記１又は付記２に記載の情報処理装置。
（付記４）
前記ポリシーモデルは教師あり学習による伝統的機械学習モデルに基づいた軽量ポリシーモデルである、付記１～３のいずれか一項に記載の情報処理装置。
（付記５）
訓練データを用いてＡＮＮモデルを訓練し、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの情報行列を計算し、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する、情報処理方法。
（付記６）
新たな訓練データを用いて、前記入力ＡＮＮモデルからＡＮＮモデルをインクリメンタルに訓練し、
前記新たな訓練データ及び／又は訓練データの情報行列を計算し、
前記新たな訓練データを用いて、前記入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する
付記５に記載の情報処理方法。
（付記７）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する、付記５又は６に記載の情報処理方法。
（付記８）
前記ポリシーモデルは、教師あり学習による伝統的な機械学習モデルに基づいた軽量ポリシーモデルである、
付記５～７のいずれか一項に記載の情報処理方法。
（付記９）
訓練データを用いてＡＮＮモデルを訓練する処理と、
前記ＡＮＮモデルの訓練中に抽出された訓練情報を用いて前記訓練データ内の各サンプルの前記情報行列を計算する処理と、
前記訓練データ及び前記情報行列を用いてポリシーモデルを訓練する処理と、
を、コンピュータに実行させるプログラムを格納する非一時的コンピュータ可読媒体。
（付記１０）
前記プログラムは、
新たな訓練データを用いて前記入力されたＡＮＮモデルからインクリメンタルにＡＮＮモデルを訓練する処理と、
前記新たな訓練データ及び／又は訓練データの前記情報行列を計算する処理と、
前記新たな訓練データを用いて前記入力ポリシーモデルからインクリメンタルにポリシーモデルを訓練する処理と、を実行させる、付記９に記載の非一時的コンピュータ可読媒体。
（付記１１）
前記ＡＮＮモデル及び前記ポリシーモデルを共同で微調整する処理をコンピュータに更に実行させる、付記９又は付記１０に記載の非一時的コンピュータ可読媒体。
（付記１２）
前記ポリシーモデルは、教師あり学習による伝統的な機械学習モデルに基づいた軽量ポリシーモデルである、付記９～１１のいずれか一項に記載の非一時的コンピュータ可読媒体。
【産業上の利用可能性】
【0063】
本発明はＡＮＮベースの分類／検出／認識システムのためのシステム及び装置に適用可能である。本発明はまた、画像分類，オブジェクト検出，人の追跡、シーンラベリング及び分類の他のアプリケーション及び人工知能などのアプリケーションに適用可能である。
【符号の説明】
【0064】
１０ 訓練データ
１２，２２ ＡＮＮモデル
１３，２３ ポリシーモデル
２１ 新たな訓練データ
２４ 新たなＡＮＮモデル
２５ 新たなＡＮＮモデル
１００ モデル訓練システム
１０１ ＡＮＮモデル訓練器手段
１０２ 情報行列計算手段
１０３ ポリシーモデル訓練器手段
２００ インクリメンタルモデル訓練システム
２０１ インクリメンタルＡＮＮモデル訓練器手段
２０２ 情報行列計算手段
２０３ インクリメンタルポリシーモデル訓練器手段
３００ モデル訓練システム
３０１ ＡＮＮモデル訓練器手段
３０２ 情報行列計算手段
３０３ ポリシーモデル訓練器手段
３０４ 共同微調整器手段
１２，２２ ＡＮＮモデル
１３，２３ ポリシーモデル
２１ 新たな訓練データ
２４ 新たなＡＮＮモデル
２５ 新たなＡＮＮモデル
１００ モデル訓練システム
１０１ ＡＮＮモデル訓練器手段
１０２ 情報行列計算手段
１０３ ポリシーモデル訓練器手段
２００ インクリメンタルモデル訓練システム
２０１ インクリメンタルＡＮＮモデル訓練器手段
２０２ 情報行列計算手段
２０３ インクリメンタルポリシーモデル訓練器手段
３００ モデル訓練システム
３０１ ＡＮＮモデル訓練器手段
３０２ 情報行列計算手段
３０３ ポリシーモデル訓練器手段
３０４ 共同微調整器手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】