特許 7043742 学習モデル作成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-03-22

(45)【発行日】2022-03-30

(54)【発明の名称】学習モデル作成装置

(51)【国際特許分類】

   G06N 3/08 20060101AFI20220323BHJP

【ＦＩ】

G06N3/08 120

【請求項の数】 3

(21)【出願番号】P 2017100566

(22)【出願日】2017-05-22

(65)【公開番号】P2018195231

(43)【公開日】2018-12-06

【審査請求日】2020-03-18

【前置審査】

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】100115381

【弁理士】

【氏名又は名称】小谷 昌崇

(74)【代理人】

【識別番号】100067828

【弁理士】

【氏名又は名称】小谷 悦司

(74)【代理人】

【識別番号】100111453

【弁理士】

【氏名又は名称】櫻井 智

(72)【発明者】

【氏名】倉本 望

【審査官】北川 純次

(56)【参考文献】

【文献】特開２０１６－１４６１７４（ＪＰ，Ａ）

【文献】特開２０１６－１３３８９５（ＪＰ，Ａ）

【文献】特開２０１６－１０９４９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／０２－３／０８

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

機械学習の学習モデルを生成する学習モデル作成装置であって、
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、
前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、
前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、
前記特定部は、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定し、
前記特定部は、特徴量抽出部間における独立性の度合いを表す独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する、
学習モデル作成装置。

【請求項2】

機械学習の学習モデルを生成する学習モデル作成装置であって、
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、
前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、
前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、
前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定し、
色情報を前記特徴量として抽出する第１特徴量抽出部、エッジ情報を前記特徴量として抽出する第２特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部の中から、前記特定する前記冗長な特徴量抽出部から除外する特徴量抽出部の入力を受け付ける第１入力部をさらに備え、
前記特定部は、前記第１入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する、
学習モデル作成装置。

【請求項3】

機械学習の学習モデルを生成する学習モデル作成装置であって、
前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、
学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、
前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、
前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、
前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定し、
色情報を前記特徴量として抽出する第１特徴量抽出部、エッジ情報を前記特徴量として抽出する第２特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部の中から、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部の入力を受け付ける第２入力部をさらに備え、
前記特定部は、前記第２入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する、
学習モデル作成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習の学習モデルを作成する学習モデル作成装置に関する。

【背景技術】

【0002】

機械学習は、学習データを反復的に学習することで学習モデルを人手を介さずに自動的に生成し、この生成した学習モデルを用いて学習データを分類でき、あるいは、未知のデータの分類を予測できることから、様々な分野に応用され、研究、開発されている。特に、近年では、画像認識の認識精度が高いこと等から、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、以下、「ＣＮＮ」と適宜に略記する）に代表される深層学習（ディープラーニング、Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）が注目され、研究、開発されている。

【0003】

このような機械学習では、学習モデルの生成には、学習データを反復的に学習するため、膨大な演算コスト（計算コスト）がかかってしまう。また、この生成した学習モデルを用いて未知のデータを分析する際でも、学習モデルが大きいと、それだけ演算コストがかかってしまう。特に、近年では、深層学習における学習モデルの層数が増大し、１０００層に及ぶ学習モデルも出現している。このため、学習モデルの冗長な情報を取り除くことで学習モデルを適正化する手法が例えば特許文献１に開示されている。

【0004】

この特許文献１に開示されたニューラルネットワーク最適化方法は、ニューラルネットワークの構造を最適化する方法であって、（１）ニューラルネットワークの初期構造を第１のニューラルネットワークとして入力するステップと、（２）与えられた第１のニューラルネットワークについて学習データを用いて学習を行うステップであって、評価データを用いて計算される前記第１のニューラルネットワークのコストが最小の第１のコストとなるまで学習を行うステップと、（３）前記第１のニューラルネットワークからランダムにユニットを削除して第２のニューラルネットワークを生成するステップと、（４）前記第２のニューラルネットワークについて学習データを用いて学習を行うステップであって、評価データを用いて計算される前記第２のニューラルネットワークのコストが最小の第２のコストとなるまで学習を行うステップと、（５）前記第１のコストと前記第２のコストとを比較するステップと、（６）前記第２のコストが前記第１のコストより小さいときには、前記第２のニューラルネットワークを前記第１のニューラルネットワーク、前記第２のコストを前記第１のコストとしてステップ（３）～（５）を行い、前記第１のコストが前記第２のコストより小さいときには、ステップ（３）において異なる第２のニューラルネットワークを生成してステップ（４）（５）を行うステップと、（７）ステップ（６）において、前記第１のコストの方が前記第２のコストより小さいとの判断が所定回数連続したときに、前記第１のニューラルネットワークをニューラルネットワークの最適構造と決定するステップと、（８）前記ニューラルネットワークの最適構造を出力するステップと、を備える。このニューラルネットワーク最適化方法は、特許文献１に依れば、汎化能力を向上させ、計算量を減らしたネットワーク構造を自動決定できる。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１５－１１５１０号公報（特許第６０４２２７４号公報）

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、特許文献１に開示されたニューラルネットワーク最適化方法は、ニューラルネットワーク（学習モデルの一例）が最適化されているので、このニューラルネットワークを用いる際には、演算コストが低減される。しかしながら、前記特許文献１に開示されたニューラルネットワーク最適化方法は、最適化されたニューラルネットワークを生成するために、第１および第２のニューラルネットワークを生成する学習のステップ（２）および（４）を、ステップ（７）から、複数回実施する必要があり、最適化されたニューラルネットワークの生成では、演算コストが低減できていない。また、前記特許文献１に開示されたニューラルネットワーク最適化方法は、削除対象をランダムに決定し、第２のニューラルネットワークの評価を第１のコストと第２のコストとの比較で行っているため、削除対象がニューラルネットワークの性能に寄与している可能性があり、最適化されたニューラルネットワークの性能が最適化前に較べて劣化してしまう虞がある。

【0007】

本発明は、上述の事情に鑑みて為された発明であり、その目的は、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる学習モデル作成装置を提供することである。

【課題を解決するための手段】

【0014】

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる学習モデル作成装置は、機械学習の学習モデルを生成する学習モデル作成装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定し、前記特定部は、特徴量抽出部間における独立性の度合いを表す独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記独立度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記特定部は、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求め、この求めた差分の二乗の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。好ましくは、上述の学習モデル作成装置において、前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力を受け付ける入力部をさらに備え、前記特定部は、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求め、この求めた差分の二乗の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。好ましくは、前記特定条件は、前記冗長な特徴量抽出部として特定される特徴量抽出部の個数である削除設定個数である。ここで、冗長とは、特徴量抽出部が実質的に同じ特徴量を抽出することを言う。

【0015】

このような学習モデル作成装置は、前記冗長な特徴量抽出部を、独立度の観点から適切に特定できる。上記学習モデル作成装置では、独立度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。

【0020】

本発明の他の一態様にかかる学習モデル作成装置は、機械学習の学習モデルを生成する学習モデル作成装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定し、色情報を前記特徴量として抽出する第１特徴量抽出部、エッジ情報を前記特徴量として抽出する第２特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部の中から、前記特定する前記冗長な特徴量抽出部から除外する特徴量抽出部の入力を受け付ける第１入力部をさらに備え、前記特定部は、前記第１入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。

【0021】

このような学習モデル作成装置は、第１入力部で第１特徴量抽出部を除外するように受け付けた場合には、第１特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第１特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第１特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第１入力部で第２特徴量抽出部を除外するように受け付けた場合には、上記学習モデル作成装置は、第２特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第２特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第２特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第１入力部で第３特徴量抽出部を除外するように受け付けた場合には、上記学習モデル作成装置は、第３特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第３特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置では、第３特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。

【0022】

本発明の他の一態様にかかる学習モデル作成装置は、機械学習の学習モデルを生成する学習モデル作成装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備え、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定部と、前記学習モデルから前記特定部で特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良部と、前記モデル改良部で作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用部とを備え、前記特定部は、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定し、色情報を前記特徴量として抽出する第１特徴量抽出部、エッジ情報を前記特徴量として抽出する第２特徴量抽出部、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部の中から、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部の入力を受け付ける第２入力部をさらに備え、前記特定部は、前記第２入力部で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。

【0023】

このような学習モデル作成装置は、第２入力部で第１特徴量抽出部を優先的に特定するように受け付けた場合には、第１特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第１特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第１特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第１特徴量抽出部を削除（除外）できる。この場合では、上記学習モデル作成装置では、第１特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第２入力部で第２特徴量抽出部を優先的に特定するように受け付けた場合には、上記学習モデル作成装置は、第２特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第２特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第２特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第２特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置では、第２特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。第２入力部で第３特徴量抽出部を優先的に特定するように受け付けた場合には、上記学習モデル作成装置は、第３特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第３特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第３特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置は、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第３特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置では、第３特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。

【発明の効果】

【0032】

本発明にかかる学習モデル作成装置は、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。

【図面の簡単な説明】

【0033】

【図1】第１ないし第５実施形態における学習モデル作成装置の構成を示すブロック図である。

【図2】前記学習モデル作成装置における学習適用部の一構成例を示すブロック図である。

【図3】前記学習モデル作成装置を実装したコンピュータの構成を示すブロック図である。

【図4】学習での、前記学習モデル作成装置の動作を示すフローチャートである。

【図5】分析での、前記学習モデル作成装置の動作を示すフローチャートである。

【図6】図４および図５それぞれで示す各フローチャートにおける冗長削除処理を示すフローチャートである。

【図7】機械学習の反復回数と特徴量抽出部の総情報量との関係を示す図である。

【図8】第１実施形態において、寄与度による冗長削除処理を説明するためのである。

【図9】第１実施形態における学習モデル作成装置の効果を説明するための図である。

【図10】第２実施形態において、差分二乗和による冗長削除処理を説明するためのである。

【図11】第３実施形態において、次元圧縮による冗長削除処理を説明するためのである。

【図12】第４実施形態における学習モデル作成装置に表示される入出力画面の一例を示す図である。

【図13】第４実施形態における学習モデル作成装置の効果を説明するための図である。

【発明を実施するための形態】

【0034】

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

【0035】

（第１実施形態）
図１は、第１実施形態における学習モデル作成装置の構成を示すブロック図である。なお、図１には、第２ないし第５実施形態における学習モデル作成装置の構成も示されている。図２は、前記学習モデル作成装置における学習適用部の一構成例を示すブロック図である。図３は、前記学習モデル作成装置を実装したコンピュータの構成を示すブロック図である。

【0036】

第１実施形態における学習モデル作成装置Ｄａは、機械学習の学習モデルを生成する装置であって、前記学習モデルは、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備える。このような第１実施形態における学習モデル作成装置Ｄａは、例えば、図１に示すように、入力部１と、出力部２と、インターフェース部（ＩＦ部）３と、制御処理部４ａと、記憶部５とを備える。

【0037】

入力部１は、制御処理部４ａに接続され、例えば、学習の開始を指示するコマンドや、学習によって生成した学習モデルを用いて入力サンプル（対象サンプル）の分析を指示するコマンド等の各種コマンド、および、例えば前記冗長な特徴量抽出部を特定する際に用いられる特定条件の入力等の、学習モデルを生成する上で必要な各種データを学習モデル作成装置Ｄａに入力する装置であり、例えば、所定の機能を割り付けられた複数の入力スイッチ、キーボードおよびマウス等である。

【0038】

出力部２は、制御処理部４ａに接続され、制御処理部４ａの制御に従って、入力部１から入力されたコマンドやデータ、および、当該学習モデル作成装置Ｄａによって生成された学習モデルを用いた分析結果等を出力する装置であり、例えばＣＲＴディスプレイ、ＬＣＤ（液晶表示装置）および有機ＥＬディスプレイ等の表示装置や、プリンタ等の印刷装置である。

【0039】

なお、入力部１および出力部２からタッチパネルが構成されても良い。このタッチパネルを構成する場合において、入力部１は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部２は、表示装置である。このタッチパネルでは、表示装置の表示面上に位置入力装置が設けられ、表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として学習モデル作成装置Ｄａに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い学習モデル作成装置Ｄａが提供される。

【0040】

ＩＦ部３は、例えば、外部の機器との間でデータを入出力する回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）規格を用いたインターフェース回路等である。なお、ＩＦ部３は、通信網（ネットワーク）を介して外部の機器と通信を行う回路であっても良く、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であっても良い。

【0041】

記憶部５は、制御処理部４ａに接続され、制御処理部４ａの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、学習モデル作成装置Ｄａの各部１～３、５を当該各部の機能に応じてそれぞれ制御する制御プログラムや、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記複数の特徴量抽出部の中から冗長な特徴量抽出部を特定する特定プログラムや、前記学習モデルから前記特定プログラムで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するモデル改良プログラムや、前記モデル改良プログラムで作成した新たな学習モデルで、前記学習を継続する、または、前記入力サンプルを分析する学習適用プログラム等の制御処理プログラムが含まれる。前記各種の所定のデータには、例えば機械学習に用いられる教師セットや分析の対象となる入力サンプル（対象サンプル）等の、各プログラムを実行する上で必要なデータ等が含まれる。記憶部５は、例えば不揮発性の記憶素子であるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。記憶部５は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部４ａのワーキングメモリとなるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等を含む。そして、記憶部５は、教師セットや対象サンプルを記憶するために、教師セット記憶部５１および対象サンプル記憶部５２を機能的に備える。

【0042】

教師セット記憶部５１は、前記教師セットを記憶するものである。前記教師セットは、機械学習によって学習モデルを作成するための予め正解が既知な学習データであり、複数のサンプル（データ）から成る教師データと、前記教師データにおける前記複数のサンプルそれぞれに対応付けられ、当該サンプルの正解を表す複数の正解情報から成る正解ラベルとを備える。これに応じて教師セット記憶部５１は、前記教師データを記憶部する教師データ記憶部５１１と、前記正解ラベルを記憶する正解ラベル記憶部５１２とを機能的に備える。対象サンプル記憶部５２は、前記対象サンプルを記憶するものである。前記教師セットは、例えば、入力部１から入力され、教師セット記憶部５１に記憶される。また例えば、前記教師セットを管理するサーバ装置から、あるいは、前記教師セットを記憶（記録）する例えばＵＳＢメモリ等の記録媒体から、ＩＦ部３を介して入力され、教師セット記憶部５１に記憶される。同様に、前記対象サンプルは、例えば、入力部１から入力され、対象サンプル記憶部５２に記憶される。また例えば、前記対象サンプルを管理するサーバ装置から、あるいは、前記対象サンプルを記憶（記録）する例えばＵＳＢメモリ等の記録媒体から、ＩＦ部３を介して入力され、対象サンプル記憶部５２に記憶される。

【0043】

制御処理部４ａは、学習モデル作成装置Ｄａの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路である。制御処理部４ａは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびその周辺回路を備えて構成される。制御処理部４ａは、前記制御処理プログラムが実行されることによって、制御部４１、学習適用部４２、特定部４３ａおよびモデル改良部４４を機能的に備える。

【0044】

制御部４１は、学習モデル作成装置Ｄａの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、学習モデル作成装置Ｄａ全体の制御を司るものである。

【0045】

特定部４３ａは、学習中の際に、または、学習後の学習モデルを用いて入力サンプル（対象サンプル）を分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部４３ａは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ａは、学習モデルの性能に寄与する度合いを表す寄与度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部４３ａは、まず、学習モデルにおける複数の特徴量抽出部の中から１個の特徴量抽出部を削除することで、試行用の学習モデルを作成する。次に、特定部４３ａは、この試行用の学習モデルを用いて教師データを分析（分類）する。次に、特定部４３ａは、この分析結果（分類結果）と、前記教師データに対応する正解ラベルとを突き合わせることによって、試行用の学習モデルの性能を評価する評価値を前記削除した１個の特徴量抽出部に対する寄与度として求める。特定部４３ａは、このような試行用の学習モデルの作成、それを用いた分析および寄与度の算出の各処理を、学習モデルにおける複数の特徴量抽出部それぞれについて実施し、前記複数の特徴量抽出部それぞれの各寄与度を求める。そして、特定部４３ａは、寄与度の低い方から順に、前記複数の特徴量抽出部を並べ、予め設定された個数（後述の削除設定個数）になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。

【0046】

モデル改良部４４は、学習モデルから特定部４３ａで特定された特徴量抽出部を削除することによって新たな学習モデルを作成するものである。

【0047】

学習適用部４２は、モデル改良部４４で作成した新たな学習モデルで、学習を継続する、または、入力サンプルを分析するものである。学習適用部４２は、学習によって所定の特徴量を抽出する機能を獲得する複数の特徴量抽出部を備える学習モデルを用いる機械学習のシステムであれば、任意のシステムであって良い。学習適用部４２は、例えば、深層学習のシステムであって良い。特に、画像認識の認識精度が高いことから、学習適用部４２は、畳み込みニューラルネットワーク（ＣＮＮ）が好ましい。

【0048】

一例として、このＣＮＮで構成される学習適用部４２は、例えば、図３に示すように、前処理部４２１と、多層パーセプトロン部４２２とを備える。

【0049】

前処理部４２１は、畳み込み層４２１１１（４２１１１－１、・・・、４２１１１－ｋ）およびプーリング層４２１１２（４２１１２－１、・・・、４２１１２－ｋ）を備える前処理セット４２１１（４２１１－１、・・・、４２１１－ｋ）を１または複数ｋ備えて構成される（ｋは２以上の整数）。前処理セット４２１１が複数である場合には、これら複数の前処理セット４２１１は、直列で接続され、複数段の構成となる。前処理部４２１には、学習するための教師セットや分析（認識、分類、判別）すべき対象サンプルが入力される。ここでは、教師データにおける複数のサンプル、および、対象サンプルは、画像であり、以下、前処理部４２１に入力される教師データのサンプルおよび対象サンプルを入力画像ＩＰと便宜的に呼称する。

【0050】

畳み込み層４２１１１は、入力画像ＩＰに対し畳み込み演算を実行する装置である。より具体的には、畳み込み層４２１１１は、入力画像ＩＰに対し所定のカーネル（画像フィルタ）ＫＮで畳み込む（フィルタリングする）。前記カーネルＫＮは、予め設定された複数であり、これら複数のカーネルＫＮそれぞれによって入力画像ＩＰが畳み込まれ、カーネルＫＮの個数に応じた複数の画像（特徴マップ）ＦＭが生成される。カーネルＫＮが多いほど、入力画像ＩＰにおける様々な特徴を捉えることができる。カーネルＫＮのサイズは、任意であり、各前処理セット４２１１ごとに適宜に設定される。ＣＮＮでは、学習によってカーネルＫＮが生成される。すなわち、カーネルＫＮの各要素（各フィルタ係数）の数値が学習によって自動的に設定される。これによってカーネルＫＮは、学習によって所定の特徴量を抽出する機能を獲得する。カーネルＫＮは、特徴量抽出部の一例に相当する。この畳み込み演算によって入力画像ＩＰ内のパターンが検出できるようになる。畳み込み層４２１１１は、当該段の前処理セット４２１１におけるプーリング層４２１１２に接続され、畳み込み演算によって生成された画像である特徴マップＦＭをこのプーリング層４２１１２へ出力する。

【0051】

プーリング層４２１１２は、マックスプーリング（ｍａｘｐｏｏｌｉｎｇ）の処理を実行する装置である。より具体的には、プーリング層４２１１２は、所定サイズの矩形フィルタを特徴マップＦＭ内で所定の画素ずつずらしながら矩形内の最大値を取り出して新たな画像を生成する。このマックスプーリングの処理によって、抽出される特徴の位置感度が低下される。プーリング層４２１１２は、次段の前処理セット４２１１が存在する場合には、次段の前処理セット４２１１における畳み込み層４２１１１に接続され、その生成した画像をこの畳み込み層４２１１１へ出力し、次段の前処理セット４２１１が存在しない場合（すなわち、最終段の前処理セット４２１１－ｋにおけるプーリング層４２１１２－ｋの場合）には、多層パーセプトロン部４２２に接続され、前記生成した画像を多層パーセプトロン部４２２へ出力する。

【0052】

多層パーセプトロン部４２２は、複数の層にニューロンを配置したニューラルネットワークであり、前記ニューラルネットワークによって、前処理部４２１の処理結果（最終段の前処理セット４２１１－ｋにおけるプーリング層４２１１２－ｋで生成された画像）に基づいて、前処理部４２１に入力された入力画像ＩＰを認識する装置である。多層パーセプトロン部４２２は、前記認識の結果ＯＲを出力する。

【0053】

このような学習モデル作成装置Ｄａは、一例では、図３に示すように、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ＬＣＤ１６、キーボード１７、マウス１８、ＵＳＢインターフェース１９、および、これらＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、ＨＤＤ１４、ＬＣＤ１６、キーボード１７、マウス１８およびＵＳＢインターフェース１９を相互に接続するバス１５を備える、例えば、デスクトップ型やノード型のコンピュータによって構成可能である。

【0054】

次に、本実施形態の動作について説明する。図４は、学習での、前記学習モデル作成装置の動作を示すフローチャートである。図５は、分析での、前記学習モデル作成装置の動作を示すフローチャートである。図６は、図４および図５それぞれで示す各フローチャートにおける冗長削除処理を示すフローチャートである。図７は、機械学習の反復回数と特徴量抽出部の総情報量との関係を示す図である。図７の横軸は、機械学習の反復回数（繰り返し回数）ｉｔｅｒであり、その縦軸は、学習モデルにおける特徴量抽出部の総情報量である。図８は、第１実施形態において、寄与度による冗長削除処理を説明するためのである。図９は、第１実施形態における学習モデル作成装置の効果を説明するための図である。

【0055】

このような構成の学習モデル作成装置Ｄａは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。その制御処理プログラムの実行によって、制御処理部４ａには、制御部４１、学習適用部４２、特定部４３ａおよびモデル改良部４４が機能的に構成される。

【0056】

そして、学習モデルを生成する学習処理では、図４において、学習モデル作成装置Ｄａは、制御処理部４ａによって、処理＃１から処理＃２までの各処理Ｓ１１、Ｓ１２、Ｓ１３が予め設定された学習回数（反復回数）だけ繰り返し、実施され、処理Ｓ１３で判定された改良タイミングで処理Ｓ２１ａおよび処理Ｓ２２が実施される。

【0057】

より具体的には、処理Ｓ１１では、学習モデル作成装置Ｄａは、制御処理部４ａの学習適用部４２によって、制御変数ｉが繰り返し回数ｍａｘ＿ｉｔｅｒより大きいか否かを判定する。前記制御変数ｉは、処理＃１から処理＃２までの各処理の繰り返し回数を表す変数である。前記繰り返し回数ｍａｘ＿ｉｔｅｒは、ユーザ（オペレータ）によって予め設定された教師セットを用いた学習の繰り返し回数（反復回数）であり、例えば１００エポックや５００エポックや１０００エポック等で適宜に設定される。この判定の結果、制御変数ｉが繰り返し回数ｍａｘ＿ｉｔｅｒより大きくない場合（Ｎｏ）には、学習中であり、学習適用部４２は、次に、処理Ｓ１２を実行する。一方、前記判定の結果、制御変数ｉが繰り返し回数ｍａｘ＿ｉｔｅｒより大きい場合（Ｙｅｓ）には、学習の終了であり、学習適用部４２は、この処理＃１から処理＃２までの各処理の繰り返し処理を抜け出し、次に、処理Ｓ１４を実行する。

【0058】

処理Ｓ１２では、学習モデル作成装置Ｄａは、学習適用部４２によって、記憶部５の教師セット記憶部５１に記憶された教師セット（教師データおよび正解ラベル）を用いて機械学習を実行し、次に、処理Ｓ１３を実行する。

【0059】

処理Ｓ１３では、学習モデル作成装置Ｄａは、制御処理部４ａによって、処理Ｓ１２で生成された学習中の学習モデルから冗長な特徴量抽出部を削除し、学習モデルを改良する改良タイミングであるか否かを判定する。必ず毎エポックごとに冗長な特徴量抽出部を削除する処理を実施すると、学習モデルの性能が劣化する可能性があり、そして、その演算コストが増加するため、このような処理Ｓ１３で改良タイミングを判定することによって、これらを避けることができる。

【0060】

この改良タイミングは、例えば、学習モデル作成装置Ｄａを構成するハードウェアの処理能力、分析処理の種類、予測される学習の進捗具合等に応じてユーザ（オペレータ）によって適宜に決定され、学習モデル作成装置Ｄａに予め入力され設定される。あるいは、１エポックの前後で学習モデルの差分が求められ、この差分が予め設定された所定の閾値以下である場合に、改良タイミングが到来したと自動的に判定される。例えば、所定の教師データを用いて１００エポック学習することによって学習モデルが生成される場合、分析処理の種類に対しハードウェアの処理能力が高ければ、最初のエポックが改良タイミングとして設定され、学習モデルが改良されて良く、また例えば、このような場合において、数エポックごとに改良タイミングが設定され、学習モデルが改良されて良い。また例えば、予測される学習の進捗具合が遅ければ、最初の数エポックを避けて、例えば１０エポックごとに改良タイミングが設定され、学習モデルが改良されて良い。このように多段的に改良タイミングが設定される場合、図７に示すように、従前の一般的な機械学習では、反復回数（繰り返し回数）ｉｔｅｒに依らず、特徴量抽出部の総情報量は、ｂ［Ｂｙｔｅ］で一定であるが、本実施形態では、任意の反復回数ｉｘの時点で特徴量抽出部の総情報量は、削除設定個数が削除率でαの場合に、α×ｂ［Ｂｙｔｅ］に削減される。これによって繰り返し学習に要する演算コストが段階的に低減される。さらに、機械学習では、過去の学習モデルとその性能を用いて、正解を導くことができるように学習モデルが改善されていくため、特徴量抽出部の削除によって、その改善のために参照する必要が無くなるので、従前よりもより早く学習モデルが収束できる。このような多段的に改良タイミングを設定する場合、学習モデルにおける実適用上の要求精度が反復回数Ｒｅで得られる場合に、前記実適用上の要求精度を勘案して、ｉｘ≦Ｒｅとなるように、反復回数ｉｘが設定される。

【0061】

処理Ｓ１３の判定の結果、改良タイミングではない場合（Ｎｏ）には、当該エポックの学習が終了し、次のエポックの学習を開始するために、学習モデル作成装置Ｄａは、制御処理部４ａによって、制御変数ｉを１だけインクリメントし（ｉ＝ｉ＋１）、処理を処理Ｓ１１に戻す。

【0062】

一方、前記処理Ｓ１３の判定の結果、改良タイミングである場合には、学習モデル作成装置Ｄａは、制御処理部４ａによって、処理Ｓ２１ａおよび処理Ｓ２２それぞれを実施した後に、制御変数ｉを１だけインクリメントし（ｉ＝ｉ＋１）、処理を処理Ｓ１１に戻す。処理Ｓ２１ａでは、冗長な特徴量抽出部を削除するために、削除対象の特徴量抽出部を特定する削除対象の特定処理が実行され、処理Ｓ２２では、処理Ｓ２１ａで特定された特徴量抽出部を学習モデルから削除し、新たな学習モデルを生成する特徴量抽出部の一部の削除処理が実行される。したがって、次のエポックでは、処理Ｓ１２の機械学習で得られた学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで学習が実施される。これら処理Ｓ２１ａおよび処理Ｓ２２それぞれについては、後に詳述する。

【0063】

そして、繰り返し回数ｍａｘ＿ｉｔｅｒの機械学習が実施されると、上述したように、処理Ｓ１４が実施され、この処理Ｓ１４では、学習モデル作成装置Ｄａは、制御処理部４ａによって、作成された学習モデルを出力し、本処理を終了する。

【0064】

一方、入力サンプルを分析する分析処理では、図５において、学習モデル作成装置Ｄａは、制御処理部４ａによって、前記削除対象の特定処理Ｓ２１ａを実行し、次に、前記特徴量抽出部の一部の削除処理Ｓ２２を実行する。これによって当初の学習モデル（例えば機械学習後の学習モデル）より、冗長な特徴量抽出部を削除した新たな学習モデルが作成される。そして、学習モデル作成装置Ｄａは、制御処理部４ａの学習適用部４２によって、この処理Ｓ２２で作成された新たな学習モデルで対象サンプルを分析し（Ｓ３１）、この分析結果を出力し（Ｓ３２）、本処理を終了する。したがって、前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。

【0065】

次に、前記削除対象の特定処理Ｓ２１ａおよび前記特徴量抽出部の一部の削除処理Ｓ２２について、より具体的に説明する。

【0066】

図６において、学習モデル作成装置Ｄａは、制御処理部４ａによって、特定条件を取得する（Ｓ４１）。前記特定条件は、その一例として、本実施形態では、前記冗長な特徴量抽出部として削除する特徴量抽出部の個数（削除設定個数）である。前記削除設定個数は、例えば数値であるいは特徴量抽出部の総数に対する割合で入力部１から入力され、取得される。前記冗長な特徴量抽出部を削除することによって生成された学習モデルに対する、演算コストの削減量と性能劣化とは、トレードオフの関係にあることから、処理Ｓ４１で削除設定個数を設定できるように学習モデル作成装置Ｄａを構成することで、ユーザは、このトレードオフの関係を勘案して削除設定個数を設定できる。

【0067】

続いて、学習モデル作成装置Ｄａは、制御処理部４ａによって、処理＃１１１から処理＃１１２までの各処理Ｓ４２、Ｓ４３、Ｓ４４が特徴量抽出部の個数だけ繰り返し、その後、処理Ｓ４５、処理Ｓ４６および処理Ｓ４７の各処理を順次に実施する。

【0068】

より具体的には、処理Ｓ４２では、学習モデル作成装置Ｄａは、制御処理部４ａの特定部４３ａによって、学習モデルからｋ番目の特徴量抽出部のみを削除する。これによって新たな試行用の学習モデルＫが生成される（（試行用の学習モデルＫ）＝（学習モデルからｋ番目の特徴量抽出部のみを削除した学習モデル））。前記学習モデルは、前記学習処理の場合では、図４に示す上述の処理Ｓ１２で生成された学習モデルであり、前記分析処理の場合では、前記当初の学習モデルである。

【0069】

処理Ｓ４２に続く処理Ｓ４３では、学習モデル作成装置Ｄａは、制御処理部４ａの特定部４３ａによって、処理Ｓ４２で生成した試行用の学習モデルＫで教師データを分析（判定、分類）する分析処理を実施する。

【0070】

処理Ｓ４３に続く処理Ｓ４４では、学習モデル作成装置Ｄａは、制御処理部４ａの特定部４３ａによって、試行用の学習モデルＫにおける寄与度を求め、ｋを１だけインクリメントし（ｋ＝ｋ＋１）、処理を処理Ｓ４２に戻す。より具体的には、特定部４３ａは、処理Ｓ４３で得られた分析結果（分類結果）と、前記教師データに対応する正解ラベルとを突き合わせることによって、試行用の学習モデルＫの性能を評価する評価値を前記ｋ番目の特徴量抽出部における寄与度として求める。ｋ番目の特徴量抽出部のみの削除の前後において、前記評価値の劣化が小さいほど、前記寄与度も小さく、前記寄与度の小さい特徴量抽出部は、冗長な特徴量抽出部であると判定できる。前記評価値は、例えば分析処理の種類等により、ユーザが予め適宜に定義する。評価値ＡＣは、例えば、１個のサンプルを２値のいずれかに分類する２値分類で正解ラベルが表される場合、教師データの総サンプル数がＮであり、正しく分類できた正解のサンプル数がＣである場合には、Ｃ／Ｎで表される（ＡＣ＝Ｃ／Ｎ）。また例えば、１個のサンプルを多クラスに分類する多クラス分類で正解ラベルが表される場合には、評価値ＡＣは、教師データの総サンプル数がＮであり、正しく分類できた正解のサンプル数がＣである場合には、Ｃ／Ｎで表される（ＡＣ＝Ｃ／Ｎ）。なお、多クラス分類では、１個のサンプルに対し、各クラスの確率が出力され、最も高い確率を持つクラスが正解であれば、前記サンプルを正しく判別（分析、分類）できたとみなすケースだけでなく、例えば上位３以内の確率を持つクラスが正解であれば、前記サンプルを正しく判別（分析、分類）できたとみなすケースもあり、分析処理の種類に依る。また例えば、回帰問題では、評価値ＡＣは、正解からのズレ量である誤差値で与えられる。

【0071】

そして、このような処理Ｓ４２ないし処理Ｓ４４の各処理を学習モデルにおける複数の特徴量抽出部それぞれについて実施することによって複数の特徴量抽出部それぞれにおける複数の寄与度が求められると、続く処理Ｓ４５では、学習モデル作成装置Ｄａは、制御処理部４ａの特定部４３ａによって、寄与度の低い方から順に、前記複数の特徴量抽出部を並べる（ソートする）。これによって前記複数の特徴量抽出部に対する寄与度リストが生成される。その一例が図８に示されている。図８において、その横軸は、寄与度であり、各●印が特徴量抽出部を表している。

【0072】

処理Ｓ４５に続く処理Ｓ４６では、学習モデル作成装置Ｄａは、制御処理部４ａの特定部４３ａによって、削除対象の特徴量抽出部を特定する特定処理を実施する。寄与度が小さい特徴量抽出部は、学習モデルの性能に対する影響が小さく、冗長な特徴量抽出部であると推定できる。一方、寄与度が大きい特徴量抽出部（例えば図８において破線の囲み内の特徴量抽出部）は、学習モデルの性能に対する影響が大きく、冗長ではない、重要な特徴量抽出部であると推定できる。そこで、本実施形態では、特定部４３ａは、前記削除設定個数になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。すなわち、特定部４３ａは、前記寄与度の低い特徴量抽出部から順に、前記入力部で受け付けた特定条件を満たしている間、前記冗長な特徴量抽出部を特定する。ユーザによって入力部１から前記削除設定個数として特徴量抽出部の総数に対するｘ％が入力された場合、最下位から順に図８に示す一点鎖線までの特徴量抽出部が選定され、前記冗長な特徴量抽出部として特定される。これによって学習モデルの性能を維持しつつ、削除可能な特徴量抽出部が特定できる。

【0073】

処理Ｓ４６に続く処理Ｓ４７では、学習モデル作成装置Ｄａは、制御処理部４ａのモデル改良部４４によって、学習モデルから処理Ｓ４６で特定部４３ａによって特定された特徴量抽出部を削除することによって新たな学習モデルを作成し、本処理を終了する。これによって削除した特徴量抽出部の個数だけサイズの小さい新たな学習モデルが作成できる。

【0074】

なお、学習適用部４２が複数段の構成を持つＣＮＮである場合、上述の処理Ｓ４１ないし処理Ｓ４７の各処理は、いずれの段（層）に対して実施されて良く、また、１個の段（層）に対して実施されて良く、また、複数の段（層）に対して実施されて良く、ユーザ（オペレータ）に適宜に設定される。効果的に演算コストを低減できる観点から、上述の処理Ｓ４１ないし処理Ｓ４７の各処理は、１段目（１層目）に対して実施されることが好ましい。

【0075】

以上説明したように、第１実施形態における学習モデル作成装置Ｄａ、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、複数の特徴量抽出部の中から冗長な特徴量抽出部を特定し、この特定した特徴量抽出部を削除するので、学習モデルの性能劣化を抑制できる。そして、上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、学習中では、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで学習を進めるので、学習の演算コストを低減できる。また、上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、分析の際には、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルで入力サンプルを分析するので、分析の演算コストを低減できる。したがって、上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、学習モデルの性能劣化を抑制しつつ、演算コストを低減できる。

【0076】

図９は、第１実施形態における学習モデル作成装置の効果を説明するための図である。一具体例では、図９に示すように、杉やもみの木等の樹木を写した複数の画像を教師データとしてＣＮＮの学習モデルが従前の手法で作成されると、学習中、あるいは、学習後の学習モデルは、緑色に反応する特徴量抽出部Ａ、右上がりのエッジに反応する特徴量抽出部Ｂ、左上がりのエッジに反応する特徴量抽出部Ｃおよび緑色に反応する特徴量抽出部Ｍを含む複数の特徴量抽出部を含む。そこで、第１実施形態における学習モデル作成装置Ｄａによって前記教師データを用いて学習モデルを作成すると、特徴量抽出部Ａと特徴量抽出部Ｍとは、一方が冗長な特徴量抽出部であるので、一方の特徴量抽出部が削除され、これによって、よりサイズの小さい学習モデルが作成され、他方の特徴量抽出部が残ることで、学習モデルの性能劣化が抑制される。

【0077】

また、他の一具体例では、次の環境で実験が実施された。この実験環境は、フレームワークが「ｃａｆｆｅ」であり、データセットが「Ｔｈｅ ＣＩＦＡＲ－１０ ｄａｔａｓｅｔ」であり、入力画像名が「ｃａｎｉｓ＿ｆａｍｉｌｉａｒｉｓ＿ｓ＿００１１２９．ｐｎｇ」であり、ネットワーク定義が「ＡｌｅｘＮｅｔ」である。このような実験環境の下、特徴量抽出部を削除していないオリジナルな学習モデルを用いた場合（削除設定個数が０である場合）、すなわち、本実施形態の学習モデル作成装置Ｄａで改良していない学習モデルを用いた場合では、正解クラスがｄｏｇクラスである場合において、分類結果は、５８．８３％がｄｏｇに分類され、２３．９１％がｃａｔに分類され、７．９２％がｈｏｒｓｅに分類された。一方、このオリジナルな学習モデルが、本実施形態における学習モデル作成装置Ｄａによって、削除設定個数を特徴量抽出部の総数に対する５０％に設定し、ＡｌｅｘＮｅｔの第１層に対し前記冗長な特徴量抽出部を削除するように、改良された。なお、ＡｌｅｘＮｅｔの第１層における特徴量抽出部（カーネル）は、１１×１１サイズであり、その総数は、９６個である。このように改良された学習モデルを用いた場合では、正解クラスがｄｏｇクラスである場合において、分類結果は、６３．４５％がｄｏｇに分類され、２６．７２％がｃａｔに分類され、３．６３％がｈｏｒｓｅに分類された。これらを比較すると分かるように、特徴量抽出部が５０％削除されても、正解のｄｏｇクラスに正しく分類できており、本実施形態における学習モデル作成装置Ｄａは、学習モデルの性能劣化を抑制しつつ、特徴量抽出部の削除によってより小さいサイズの新たな学習モデルを作成できており、演算コストを低減できている。

【0078】

上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、削除設定個数の入力を受け付ける入力部１を備えるので、ユーザは、トレードオフの関係にある演算コストの削減量と性能劣化とを勘案して削除設定個数を設定できる。

【0079】

上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、改良タイミングの入力を受け付ける入力部１を備えるので、ユーザは、例えば、学習モデル作成装置Ｄａを構成するハードウェアの処理能力、分析処理の種類、予測される学習の進捗具合等を勘案して前記タイミングを設定できる。

【0080】

上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、寄与度の観点から適切に特定できる。上記学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムでは、寄与度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。

【0081】

次に、別の実施形態について説明する。

【0082】

（第２実施形態）
図１０は、第２実施形態において、差分二乗和による冗長削除処理を説明するためのである。

【0083】

第１実施形態における学習モデル作成装置Ｄａは、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定したが、第２実施形態における学習モデル作成装置Ｄｂは、学習モデルにおける複数の特徴量抽出部間における独立性の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定するものである。

【0084】

このような第２実施形態における学習モデル作成装置Ｄｂは、例えば、図１に示すように、入力部１と、出力部２と、ＩＦ部３と、制御処理部４ｂと、記憶部５とを備える。これら第２実施形態における学習モデル作成装置Ｄｂにおける入力部１、出力部２、ＩＦ部３および記憶部５は、それぞれ、第１実施形態における学習モデル作成装置Ｄａにおける入力部１、出力部２、ＩＦ部３および記憶部５と同様であるので、その説明を省略する。

【0085】

制御処理部４ｂは、学習モデル作成装置Ｄｂの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、ＣＰＵおよびその周辺回路を備えて構成される。制御処理部４ｂは、その制御処理プログラムが実行されることによって、制御部４１、学習適用部４２、特定部４３ｂおよびモデル改良部４４を機能的に備える。これら第２実施形態の制御処理部４ｂにおける制御部４１、学習適用部４２およびモデル改良部４４は、それぞれ、第１実施形態の制御処理部４ａにおける制御部４１、学習適用部４２およびモデル改良部４４と同様であるので、その説明を省略する。

【0086】

特定部４３ｂは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部４３ｂは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ｂは、学習モデルにおける特徴量抽出部間における独立性の度合いを表す独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ｂは、特徴量抽出部間で成分同士の差分を求め、この求めた差分の絶対値の和を前記独立度として求め、この求めた独立度に基づいて、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部４３ｂは、まず、前記複数の特徴量抽出部それぞれについて、当該特徴量抽出部と前記複数の特徴量抽出部から当該特徴量抽出部を除いた残余の特徴量抽出部それぞれとの間で成分同士の差分を求める。次に、特定部４３ｂは、この求めた各差分の二乗の和（各差分の二乗を全て累積した値）を、前記独立度として求める（独立度＝差分二乗和（差分二乗累積値））。差分二乗和が小さいほど、独立度も小さく、前記独立度の小さい特徴量抽出部は、冗長な特徴量抽出部であると判定できる。その一例が図１０に示されている。図１０の横軸は、特徴量抽出部の一例であるカーネルＫＮの番号（ｋｅｒｎｅｌ＿ｎｕｍ）を示し、その縦軸は、差分二乗和（ｓｕｍ ｏｆ ｓｑｕａｒｅｓ）、すなわち、独立度を示す。そして、特定部４３ｂは、独立度（差分二乗和）の小さい方から順に、前記複数の特徴量抽出部を並べ、予め設定された削除設定個数になるまで、最下位から順に特徴量抽出部を選定し、この選定した特徴量抽出部を前記冗長な特徴量抽出部として特定する。

【0087】

このような第２実施形態における学習モデル作成装置Ｄｂは、学習処理では、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｂによる削除対象の特定処理Ｓ２１ｂを実施する点を除き、図４を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。

【0088】

一方、分析処理では、第２実施形態における学習モデル作成装置Ｄｂは、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｂによる削除対象の特定処理Ｓ２１ｂを実施する点を除き、図５を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。

【0089】

この削除対象の特定処理Ｓ２１ｂでは、学習モデル作成装置Ｄｂは、特定部４３ｂによって、特徴量抽出部間で成分同士の差分を求め、この求めた差分の絶対値の和を、前記独立性の度合いを表す独立度として求め、この求めた独立度に基づいて、前記複数の特徴量抽出部間における独立性の低い特徴量抽出部から順に、前記削除設定個数になるまで（すなわち、前記入力部で受け付けた特定条件を満たしている間）、前記冗長な特徴量抽出部を特定する。

【0090】

このような第２実施形態における学習モデル作成装置Ｄｂ、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第１実施形態における学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。

【0091】

そして、上記学習モデル作成装置Ｄｂ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、独立度の観点から適切に特定できる。上記学習モデル作成装置Ｄｂ、学習モデル作成方法および学習モデル作成プログラムでは、独立度の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。

【0092】

次に、別の実施形態について説明する。

【0093】

（第３実施形態）
図１１は、第３実施形態において、次元圧縮による冗長削除処理を説明するためのである。図１１Ａは、特徴量抽出部の機能をテキストで表した場合の学習モデルを示し、図１１Ｂは、特徴量抽出部の成分をベクトルで表した場合の学習モデルを示し、図１１Ｃは、２次元に圧縮した場合における各特徴量抽出部の分布を示す。

【0094】

第１実施形態における学習モデル作成装置Ｄａは、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定したが、第３実施形態における学習モデル作成装置Ｄｃは、学習モデルにおける複数の特徴量抽出部をグループ分けし、前記複数の特徴量抽出部から各グループを代表する特徴量抽出部を除いた残余の特徴量抽出部を、前記冗長な特徴量抽出部として特定するものである。

【0095】

このような第３実施形態における学習モデル作成装置Ｄｃは、例えば、図１に示すように、入力部１と、出力部２と、ＩＦ部３と、制御処理部４ｃと、記憶部５とを備える。これら第３実施形態における学習モデル作成装置Ｄｃにおける入力部１、出力部２、ＩＦ部３および記憶部５は、それぞれ、第１実施形態における学習モデル作成装置Ｄａにおける入力部１、出力部２、ＩＦ部３および記憶部５と同様であるので、その説明を省略する。

【0096】

制御処理部４ｃは、学習モデル作成装置Ｄｃの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、ＣＰＵおよびその周辺回路を備えて構成される。制御処理部４ｃは、その制御処理プログラムが実行されることによって、制御部４１、学習適用部４２、特定部４３ｃおよびモデル改良部４４を機能的に備える。これら第３実施形態の制御処理部４ｃにおける制御部４１、学習適用部４２およびモデル改良部４４は、それぞれ、第１実施形態の制御処理部４ａにおける制御部４１、学習適用部４２およびモデル改良部４４と同様であるので、その説明を省略する。

【0097】

特定部４３ｃは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部４３ｃは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ｃは、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定することで、前記冗長な特徴量抽出部を特定する。より詳しくは、特定部４３ｃは、まず、前記複数の特徴量抽出部をグループ分けするために、前記複数の特徴量抽出部間で距離を求める。距離が近い特徴量抽出部同士は、互いに類似する特徴量抽出部であると判定できる。前記距離は、特徴量抽出部の成分数に応じた次元で求められても良いが、本実施形態では、特徴量抽出部の次元を低減してから求められる。例えば、特定部４３ｃは、前記複数の特徴量抽出部を主成分分析の手法を用いてその次元を低減する。一例では、図１１Ａに示す学習モデルの特徴量抽出部が図１１Ｂに示すようにｎ次元の成分（ｎ個の成分）から成る場合に、主成分分析の手法を用いて第１および第２主成分の２次元に圧縮され、図１１Ｃに示すように、２次元に圧縮された複数の特徴量抽出部が求められる。次に、特定部４３ｃは、低次元化された特徴量抽出部間で距離を求め、その距離が予め設定された所定の閾値（距離判定閾値）以内の特徴量抽出部をグループに纏める。図１１Ｃに示す例では、複数の特徴量抽出部は、７個の第１ないし第７グループＧＰａ～ＧＰｇに分けられている。次に、特定部４３ｃは、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択する。図１１Ｃに示す例では、特定部４３ｃは、各グループＧＰそれぞれにつて、当該グループの重心位置を求め、この求めた重心位置に距離的に最も近い特徴量抽出部を代表特徴量抽出部として選択する。図１１Ｃに示す例では、第１グループＧＰａでは、特徴量抽出部Ａが代表特徴量抽出部として選択され、第２グループＧＰｂでは、特徴量抽出部Ｂが代表特徴量抽出部として選択され、第３グループＧＰｃでは、特徴量抽出部Ｃが代表特徴量抽出部として選択され、第４グループＧＰｄでは、特徴量抽出部Ｄが代表特徴量抽出部として選択され、第５グループＧＰｅでは、特徴量抽出部Ｅが代表特徴量抽出部として選択され、第６グループＧＰｆでは、特徴量抽出部Ｆが代表特徴量抽出部として選択されている。次に、特定部４３ｃは、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。

【0098】

なお、第３実施形態では、削除設定個数が設定された場合に、グループ分け後のグループの総数が、特徴量抽出部の総数から削除設定個数を減算した個数となるように、前記距離判定閾値が調整される。これによって、特定部４３ｃは、前記学習モデルにおける複数の特徴量抽出部を前記複数のグループに、前記複数の特徴量抽出部の総数から入力部１で受け付けた削除設定個数を減算した個数になるように、分ける。

【0099】

このような第３実施形態における学習モデル作成装置Ｄｃは、学習処理では、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｃによる削除対象の特定処理Ｓ２１ｃを実施する点を除き、図４を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。

【0100】

一方、分析処理では、第３実施形態における学習モデル作成装置Ｄｃは、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｃによる削除対象の特定処理Ｓ２１ｃを実施する点を除き、図５を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。

【0101】

この削除対象の特定処理Ｓ２１ｃでは、学習モデル作成装置Ｄｃは、特定部４３ｃによって、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、グループを代表する特徴量抽出部を代表特徴量抽出部として選択し、前記複数の特徴量抽出部から前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。

【0102】

このような第３実施形態における学習モデル作成装置Ｄｃ、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第１実施形態における学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。

【0103】

そして、上記学習モデル作成装置Ｄｃ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を、類似の観点から適切に特定できる。上記学習モデル作成装置Ｄｃ、学習モデル作成方法および学習モデル作成プログラムでは、類似の観点から特定するので、演算コストの削減を優先に前記冗長な特徴量抽出部が特定される。

【0104】

次に、別の実施形態について説明する。

【0105】

（第４実施形態）
図１２は、第４実施形態における学習モデル作成装置に表示される入出力画面の一例を示す図である。

【0106】

第１ないし第３実施形態における学習モデル作成装置Ｄａ～Ｄｃは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定するが、第４実施形態における学習モデル作成装置Ｄｄは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定するものである。

【0107】

このような第４実施形態における学習モデル作成装置Ｄｄは、例えば、図１に示すように、入力部１と、出力部２と、ＩＦ部３と、制御処理部４ｄと、記憶部５とを備える。これら第４実施形態における学習モデル作成装置Ｄｄにおける入力部１、出力部２、ＩＦ部３および記憶部５は、それぞれ、学習モデルの性能の維持を優先する第１優先項目を入力部１がさらに受け付ける点を除き、第１実施形態における学習モデル作成装置Ｄａにおける入力部１、出力部２、ＩＦ部３および記憶部５と同様であるので、その説明を省略する。

【0108】

入力部１は、本実施形態では、上述のように、学習モデルの性能の維持を優先する第１優先項目の入力をさらに受け付ける。前記第１優先項目は、本実施形態では、色情報を前記特徴量として抽出する第１特徴量抽出部（色情報抽出部）、エッジ情報を前記特徴量として抽出する第２特徴量抽出部（エッジ情報抽出部）、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部（ブラー情報抽出部）の中から選択され、前記特定する前記冗長な特徴量抽出部から除外される特徴量抽出部である。この選択される特徴量抽出部は、１個であって良く、あるいは、複数であって良く、あるいは、全てであって良い。前記第１優先項目は、前記特定条件の他の一例である。したがって、入力部１は、前記第１ないし第３特徴量抽出部の中から、前記特定する前記冗長な特徴量抽出部から除外する特徴量抽出部の入力を受け付ける。

【0109】

制御処理部４ｄは、学習モデル作成装置Ｄｄの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、ＣＰＵおよびその周辺回路を備えて構成される。制御処理部４ｄは、その制御処理プログラムが実行されることによって、制御部４１、学習適用部４２、特定部４３ｄおよびモデル改良部４４を機能的に備える。これら第４実施形態の制御処理部４ｄにおける制御部４１、学習適用部４２およびモデル改良部４４は、それぞれ、第１実施形態の制御処理部４ａにおける制御部４１、学習適用部４２およびモデル改良部４４と同様であるので、その説明を省略する。

【0110】

特定部４３ｄは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部４３ｄは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。すなわち、特定部４３ｄは、前記冗長な特徴量抽出部として特定された特徴量抽出部が、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部である場合には、前記冗長な特徴量抽出部として特定しない。より詳しくは、例えば、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、この寄与度順に並ぶ複数の特徴量抽出部から外され、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を外して寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する。また例えば、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、この独立度順に並ぶ複数の特徴量抽出部から外され、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を外して独立度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する。また例えば、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、この残余の特徴量抽出部から外され、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を外して残余の特徴量抽出部を特定する。

【0111】

このような第４実施形態における学習モデル作成装置Ｄｄは、学習処理では、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｄによる削除対象の特定処理Ｓ２１ｄを実施する点を除き、図４を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。

【0112】

一方、分析処理では、第４実施形態における学習モデル作成装置Ｄｄは、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｄによる削除対象の特定処理Ｓ２１ｄを実施する点を除き、図５を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。

【0113】

この削除対象の特定処理Ｓ２１ｄでは、学習モデル作成装置Ｄｄは、特定部４３ｄによって、前記第１優先項目を入力部１で受け付け、入力部１で受け付けた前記第１優先項目の特徴量抽出部に該当する特徴量抽出部を、前記特定する前記冗長な特徴量抽出部から除外することによって、前記冗長な特徴量抽出部を特定する。

【0114】

この第１優先項目の入力は、例えば、図１２に示す入出力画面を用いて実施される。図１２に示す入出力画面７は、前記特定条件の一例である前記削除設定個数を入力するための削除設定個数入力領域７１と、前記特定条件の他の一例である前記第１優先項目を入力するための優先項目入力領域７２と、前記冗長な特徴量抽出部を削除する前のオリジナルな学習モデルを特徴量抽出部で表示するためのオリジナル学習モデル表示領域７３と、前記冗長な特徴量抽出部を削除した後の学習モデルを特徴量抽出部で表示するための削除後学習モデル表示領域７４とを備える。

【0115】

前記削除設定個数領域７１は、図１２に示す例では、前記削除設定個数を、特徴量抽出部の総数に対する割合で入力できるように構成されている。より具体的には、前記削除設定個数領域７１は、０％から１００％までの割合を表すスケールバー７１１と、スケールバー７１１上の位置を変更することによって前記割合を指定する割合指定カーソル７１２と、割合カーソルで指定されている割合を数値で表示する指定割合数値表示領域７１３とを備える。図１２に示す例では、割合指定カーソル７１２によって、前記削除設定個数は、特徴量抽出部の総数に対し２０％に相当する個数である。

【0116】

前記優先項目入力領域７２は、図１２に示す例では、前記特定する特徴量抽出部からブラー情報を前記特徴量として抽出する第３特徴量抽出部を除外するか除外しないかを指定するための第１チェックボックス７２１と、前記特定する特徴量抽出部から色情報を前記特徴量として抽出する第１特徴量抽出部を除外するか除外しないかを指定するための第２チェックボックス７２２と、前記特定する特徴量抽出部からエッジ情報を前記特徴量として抽出する第２特徴量抽出部を除外するか除外しないかを指定するための第３チェックボックス７２３とを備える。第１チェックボックス７２１がチェックされると、前記特定する特徴量抽出部からブラー情報を前記特徴量として抽出する第３特徴量抽出部が除外され、したがって、ブラー情報は消さない（削除されない）。第２チェックボックス７２２がチェックされると、前記特定する特徴量抽出部から色情報を前記特徴量として抽出する第１特徴量抽出部が除外され、したがって、色情報は消さない（削除されない）。第３チェックボックス７２３がチェックされると、前記特定する特徴量抽出部からエッジ情報を前記特徴量として抽出する第２特徴量抽出部が除外され、したがって、エッジ情報は消さない（削除されない）。図１２に示す例では、第３チェックボックス７２３のみがチェックされている。

【0117】

オリジナル学習モデル表示領域７３には、図１２に示す例では、９６個の特徴量抽出部を持つオリジナルな学習モデルが表示され、削除後学習モデル表示領域７４には、９６個の特徴量抽出部のうちの１９個の特徴量抽出部が前記冗長な特徴量抽出部として削除された削除後の学習モデルが表示されている。この前記冗長な特徴量抽出部として削除された特徴量抽出部は、図１２では、黒塗りで示されている。このような入出力画面７は、オリジナル学習モデル表示領域７３と削除後学習モデル表示領域７４とを備えるので、ユーザは、オリジナル学習モデル表示領域７３および削除後学習モデル表示領域７４それぞれに表示された各特徴量抽出器を見較べながら、前記トレードオフの関係を勘案し、削除設定個数を設定できる。

【0118】

なお、第１ないし第３実施形態における学習モデル作成装置Ｄａ～Ｄｃでは、前記優先項目入力領域７２を備えない入出力画面７が用いられ、前記削除設定個数が学習モデル作成装置Ｄａ～Ｄｃに入力され、設定されて良い。また、入出力画面７において、第１ないし第３チェックボックス７２１～７２３の少なくともいずれか１つがチェックされたか否かで、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部を特定するか、演算コストの削減を優先に前記冗長な特徴量抽出部を特定するかの指示の入力が判定されてもよい。

【0119】

このような第４実施形態における学習モデル作成装置Ｄｄ、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第１実施形態における学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。

【0120】

そして、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムは、入力部１で受け付けた第１優先項目に対応する性能を維持でき、ユーザの意図に沿った、学習モデルの目的に応じた重要な特徴量抽出部を残して学習モデルの性能を維持できる。入力部１で第１特徴量抽出部（色情報抽出部）を除外するように受け付けた場合には、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムは、第１特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第１特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムでは、第１特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部１で第２特徴量抽出部（エッジ情報抽出部）を除外するように受け付けた場合には、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムは、第２特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第２特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムでは、第２特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部１で第３特徴量抽出部（ブラー情報抽出部）を除外するように受け付けた場合には、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムは、第３特徴量抽出部を除外して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第３特徴量抽出部を残すことができる。この場合では、上記学習モデル作成装置Ｄｄ、学習モデル作成方法および学習モデル作成プログラムでは、第３特徴量抽出部を残すので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。

【0121】

図１３は、第４実施形態における学習モデル作成装置の効果を説明するための図である。一具体例では、入力画像の色の差は、着目せずに、エッジ情報が重要である文字認識用の学習モデルを作成する場合、図１２に示すように、第３チェックボックス７２３がチェックされる。これによって、図１３に示すように、オリジナルな学習モデルが、黄色に反応する特徴量抽出部Ａ、右上がりのエッジに反応する特徴量抽出部Ｂ、左上がりのエッジに反応する特徴量抽出部Ｃ、縦方向のエッジに反応する特徴量抽出部Ｄ、横方向のエッジに反応する特徴量抽出部Ｅ、水色に反応する特徴量抽出部Ｆ、赤色に反応する特徴量抽出部Ｇおよび曲線に反応する特徴量抽出部Ｍを含む場合、エッジ情報に反応する特徴量抽出部が前記特定する前記冗長な特徴量抽出部から外され、黄色に反応する特徴量抽出部Ａ、水色に反応する特徴量抽出部Ｆおよび赤色に反応する特徴量抽出部Ｇが削除され、右上がりのエッジに反応する特徴量抽出部Ｂ、左上がりのエッジに反応する特徴量抽出部Ｃ、縦方向のエッジに反応する特徴量抽出部Ｄ、横方向のエッジに反応する特徴量抽出部Ｅおよび曲線に反応する特徴量抽出部Ｍを含む削除後の学習モデルが作成される。これによって、エッジに反応する特徴量抽出部が残ることで、目的に応じた学習モデルが作成される。

【0122】

次に、別の実施形態について説明する。

【0123】

（第５実施形態）
第１ないし第３実施形態における学習モデル作成装置Ｄａ～Ｄｃは、演算コストの削減を優先に、前記冗長な特徴量抽出部を特定するが、第５実施形態における学習モデル作成装置Ｄｅは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定するものである。

【0124】

このような第５実施形態における学習モデル作成装置Ｄｅは、例えば、図１に示すように、入力部１と、出力部２と、ＩＦ部３と、制御処理部４ｅと、記憶部５とを備える。これら第５実施形態における学習モデル作成装置Ｄｅにおける入力部１、出力部２、ＩＦ部３および記憶部５は、それぞれ、学習モデルの性能の維持を優先する優先項目を入力部１がさらに受け付ける点を除き、第１実施形態における学習モデル作成装置Ｄａにおける入力部１、出力部２、ＩＦ部３および記憶部５と同様であるので、その説明を省略する。

【0125】

入力部１は、本実施形態では、上述のように、学習モデルの性能の維持を優先する第２優先項目の入力をさらに受け付ける。前記第２優先項目は、本実施形態では、色情報を前記特徴量として抽出する第１特徴量抽出部（色情報抽出部）、エッジ情報を前記特徴量として抽出する第２特徴量抽出部（エッジ情報抽出部）、および、ブラー情報を前記特徴量として抽出する第３特徴量抽出部（ブラー情報抽出部）の中から選択され、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部である。この選択される特徴量抽出部は、１個であって良く、あるいは、複数であって良く、あるいは、全てであって良い。前記第２優先項目は、前記特定条件の他の一例である。したがって、入力部１は、前記第１ないし第３特徴量抽出部の中から、前記冗長な特徴量抽出部として優先的に特定する特徴量抽出部の入力を受け付ける。

【0126】

制御処理部４ｅは、学習モデル作成装置Ｄｅの各部１～３、５を当該各部の機能に応じてそれぞれ制御し、機械学習の学習モデルを作成するための回路であり、例えば、ＣＰＵおよびその周辺回路を備えて構成される。制御処理部４ｅは、その制御処理プログラムが実行されることによって、制御部４１、学習適用部４２、特定部４３ｅおよびモデル改良部４４を機能的に備える。これら第５実施形態の制御処理部４ｅにおける制御部４１、学習適用部４２およびモデル改良部４４は、それぞれ、第１実施形態の制御処理部４ａにおける制御部４１、学習適用部４２およびモデル改良部４４と同様であるので、その説明を省略する。

【0127】

特定部４３ｅは、学習中の際に、または、学習後の学習モデルを用いて入力サンプルを分析する際に、前記学習モデルにおける複数の特徴量抽出部の中から冗長な特徴量抽出部を特定するものである。本実施形態では、特定部４３ｅは、学習モデルの性能の維持を優先に、前記冗長な特徴量抽出部を特定する。より具体的には、特定部４３ｅは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。すなわち、特定部４３ｅは、前記学習モデルにおける特徴量抽出部が、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部である場合には、前記冗長な特徴量抽出部として優先的に特定する。より詳しくは、例えば、前記寄与度の低い特徴量抽出部から順に前記冗長な特徴量抽出部を特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、この寄与度順に並ぶ複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を外して寄与度の低い特徴量抽出部から順に、削除設定個数から前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数だけ差し引いた個数で、前記冗長な特徴量抽出部を特定する。また例えば、前記独立度の低い特徴量抽出部から順に、前記冗長な特徴量抽出部を特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、この独立度順に並ぶ複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部４３ｄは、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部を外して独立度の低い特徴量抽出部から順に、削除設定個数から前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数だけ差し引いた個数で、前記冗長な特徴量抽出部を特定する。また例えば、前記学習モデルにおける複数の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する場合、入力部１で受け付けた特徴量抽出部に該当する特徴量抽出部は、前記グループ分け前に、複数の特徴量抽出部から外されて前記冗長な特徴量抽出部として優先的に特定され、特定部４３ｄは、この残余の特徴量抽出部を、互いに類似する特徴量抽出部から成る複数のグループに分け、前記複数のグループそれぞれから、前記代表特徴量抽出部を除く残余の特徴量抽出部を前記冗長な特徴量抽出部として特定する。削除設定個数が設定された場合、削除設定個数から、前記冗長な特徴量抽出部として優先的に特定された特徴量抽出部の個数が減算され、新たな削除設定個数が求められ、グループ分け後のグループの総数が、特徴量抽出部の総数からこの新たな削除設定個数を減算した個数となるように、前記距離判定閾値が調整される。

【0128】

このような第５実施形態における学習モデル作成装置Ｄｅは、学習処理では、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｅによる削除対象の特定処理Ｓ２１ｅを実施する点を除き、図４を用いて上述した各処理を実施する。これによって前記冗長な特徴量抽出部を削除した学習モデルが作成される。

【0129】

一方、分析処理では、第５実施形態における学習モデル作成装置Ｄｅは、特定部４３ａによる削除対象の特定処理Ｓ２１ａに代え、特定部４３ｅによる削除対象の特定処理Ｓ２１ｅを実施する点を除き、図５を用いて上述した各処理を実施する。これによって前記当初の学習モデルより、冗長な特徴量抽出部を削除した新たな学習モデルで対象サンプルの分析が実施される。

【0130】

この削除対象の特定処理Ｓ２１ｅでは、学習モデル作成装置Ｄｄは、特定部４３ｄによって、前記第２優先項目を入力部１で受け付け、入力部１で受け付けた前記第２優先項目の特徴量抽出部に該当する特徴量抽出部を、前記冗長な特徴量抽出部として優先的に特定することによって、前記冗長な特徴量抽出部を特定する。

【0131】

このような第５実施形態における学習モデル作成装置Ｄｅ、ならびに、これに実装された学習モデル作成方法および学習モデル作成プログラムは、第１実施形態における学習モデル作成装置Ｄａ、学習モデル作成方法および学習モデル作成プログラムと同様の作用効果を奏する。

【0132】

そして、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、学習モデルの使用用途に応じてノイズとなる特徴量抽出部を第２優先項目に指定することで、学習モデルの使用用途に応じた性能を維持でき、ユーザの意図に沿った、学習モデルの目的に応じた重要な特徴量抽出部を残して学習モデルの性能を維持できる。入力部１で第１特徴量抽出部（色情報抽出部）を優先的に特定するように受け付けた場合には、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、第１特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第１特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第１特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第１特徴量抽出部を削除（除外）できる。この場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムでは、第１特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部１で第２特徴量抽出部（エッジ情報抽出部）を優先的に特定するように受け付けた場合には、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、第２特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第２特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第２特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第２特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムでは、第２特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。入力部１で第３特徴量抽出部（ブラー情報抽出部）を優先的に特定するように受け付けた場合には、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、第３特徴量抽出部を優先して前記冗長な特徴量抽出部を特定するので、前記冗長な特徴量抽出部を削除後の学習モデルに、第３特徴量抽出部を含ませなくできる。特に、学習モデルの使用用途の観点から第３特徴量抽出部がノイズとなる場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムは、前記冗長な特徴量抽出部を削除後の学習モデルから、ノイズとなる第３特徴量抽出部を削除できる。この場合では、上記学習モデル作成装置Ｄｅ、学習モデル作成方法および学習モデル作成プログラムでは、第３特徴量抽出部が優先的に削除されるので、学習モデルの性能の維持を優先に前記冗長な特徴量抽出部が特定される。

【0133】

なお、上述の実施形態において、削除設定個数は、次のように設定されても良い。オリジナルな学習モデルにおける削除対象の特徴量抽出部の総量がｂ［Ｂｙｔｅ］であり、１［Ｂｙｔｅ］の特徴量抽出部を処理するために要する演算ステップ数がＳ［Ｓｔｅｐ／Ｂｙｔｅ］であり、その１［ｓｔｅｐ］を処理するために要する処理時間がｔ［ｓ／ｓｔｅｐ］であり、そして、実適用上の要求処理時間がＲｔ［ｓ］である場合に、学習モデルに要求される精度を勘案して、削除設定個数は、削除率αで、α×ｂ×Ｓ×ｔ≦Ｒｔとなるように、設定される。

【0134】

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

【符号の説明】

【0135】

Ｄａ、Ｄｂ、Ｄｃ、Ｄｄ、Ｄｅ 学習モデル作成装置
１ 入力部
２ 出力部
３ インターフェース部（ＩＦ部）
４ａ、４ｂ、４ｃ、４ｄ、４ｅ 制御処理部
５ 記憶部
４１ 制御部
４２ 学習適用部
４３ａ、４３ｂ、４３ｃ、４３ｄ、４３ｅ 特定部
４４ モデル改良部
５１ 教師セット記憶部
５２ 対象サンプル記憶部
５１１ 教師データ記憶部
５１２ 正解ラベル記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】